CN101877056A - 人脸表情识别方法及系统、表情分类器的训练方法及系统 - Google Patents
人脸表情识别方法及系统、表情分类器的训练方法及系统 Download PDFInfo
- Publication number
- CN101877056A CN101877056A CN2009102434165A CN200910243416A CN101877056A CN 101877056 A CN101877056 A CN 101877056A CN 2009102434165 A CN2009102434165 A CN 2009102434165A CN 200910243416 A CN200910243416 A CN 200910243416A CN 101877056 A CN101877056 A CN 101877056A
- Authority
- CN
- China
- Prior art keywords
- expression
- sequence
- image
- human face
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 214
- 230000008921 facial expression Effects 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 title claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 17
- 230000007935 neutral effect Effects 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 38
- 230000001815 facial effect Effects 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 23
- 238000013459 approach Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 3
- 230000009191 jumping Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000012467 final product Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005309 stochastic process Methods 0.000 description 2
- 206010049976 Impatience Diseases 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 206010041243 Social avoidant behaviour Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种人脸表情识别方法及系统、一种人脸表情分类器的训练方法及系统。其中的人脸表情识别方法具体包括：对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。本发明用以克服现有表情识别结果离散、跳跃、不自然的缺点。
Description
技术领域
本发明涉及模式识别技术领域，特别是涉及一种人脸表情识别方法及系统、一种人脸表情分类器的训练方法及系统。
背景技术
人脸表情是人类视觉中最为普遍的模式，人脸表情识别(FER，facialexpression recognition)研究目的就是如何自动、可靠、高效地利用人脸表情所传达的信息。
人脸表情识别是人机自然交互、计算机视觉、情感计算和图像处理等研究的一个热点课题，在人机交互、远程教育、安全领域、智能机器人研制、医疗、动画制作等领域有着广泛的应用。如果计算机也能够象人类那样具有理解和表达情感的能力，自主适应环境，将从根本上改变人与计算机之间的关系，使计算机更好地为人类服务。这也正是研究人脸表情识别并赋予计算机具有情感理解和情感表达课题的重要意义。
现有的人脸表情识别，通常首先基于美国心理学家艾克曼提出的六种基本情感(分别为：高兴、惊讶、愤怒、恐惧、厌恶和悲伤)获得比较夸张的表情，作为人脸表情库，然后，通过对该人脸表情库中部分样本的训练，识别出数据库中另一部分夸张表情。
然而人在自发状态下出现的表情是连续的，即由中性到夸张，目前对具体的表情，如高兴、惊讶、愤怒、恐惧、厌恶和悲伤六种表情的研究，都是对具体的静态库进行训练和测试。采用这样的模板得到的表情识别结果，实际上是离散的，跳跃式的。例如，在制作动画时，往往需要导入识别出的图片序列，然后对这些图片序列进行合成，不仅工作量大，而且经常出现动画表情不自然顺畅，口型和对话情景相差悬殊的问题。
总之，需要本领域技术人员迫切解决的一个技术问题就是：如何能够提供一种人脸表情识别方法，用以克服现有表情识别结果离散、跳跃、不自然的缺点。
发明内容
本发明所要解决的技术问题是提供一种人脸表情识别方法及系统、一种人脸表情分类器的训练方法及系统，用以克服现有表情识别结果离散、跳跃、不自然的缺点。
为了解决上述问题，本发明公开了一种人脸表情识别方法，包括：
对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。
优选的，在所述特征提取步骤前，所述方法还包括：
针对输入视频图像，获取其中的人脸图像；
对所述人脸图像进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述人脸图像进行归一化操作；
从所述归一化后的人脸图像中割取预设大小的图像。
优选的，所述人脸表情分类器为通过以下步骤获得的分类器：
获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
本发明还公开了一种人脸表情分类器的训练方法，包括：
获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
优选的，所述二值图像序列的特征提取步骤包括：
对输入表情图像序列进行二值化，得到二值图像序列；
对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；
对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位；
对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向信息，作为特征序列。
优选的，所述灰度图像序列的光流运动场的特征提取步骤包括：
对输入表情图像序列进行灰度预处理，得到灰度图像序列；
对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场；
对所述灰度图像运动场进行高通滤波，获取灰度特征部位；
对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方向信息和强度信息，作为特征序列。
优选的，所述组合各种表情的隐马尔可夫模型，形成人脸表情分类器的步骤包括：
将每一种表情的隐马尔可夫模型的输出作为弱分类器；
采用Adaboost算法对所述弱分类器进行选择和训练，获得人脸表情分类器。
优选的，在所述特征提取步骤前，所述方法还包括：
对所述人脸表情样本进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述人脸表情样本进行归一化操作；
从所述归一化后的人脸表情样本中割取预设大小的图像。
本发明还公开了一种人脸表情识别系统，包括：
特征提取模块，用于针对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
识别模块，用于将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。
优选的，所述系统还包括图像校准模块，所述图像校准模块包括：
获取子模块，用于针对输入视频图像，获取其中的人脸图像；
眼睛定位子模块，用于对所述人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述人脸图像进行归一化操作；
割取子模块，用于从所述归一化后的人脸图像中割取预设大小的图像。
本发明还公开了一种人脸表情分类器训练系统，包括：
获取模块，用于获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
特征提取模块，用于针对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
训练模块，用于将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
组合模块，用于组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
优选的，所述特征提取模块包括：
二值化子模块，用于对输入表情图像序列进行二值化，得到二值图像序列；
第一计算子模块，用于对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；
剪切子模块，用于对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位；
方向提取子模块，用于对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向信息，作为特征序列。
优选的，所述特征提取模块包括：
灰度图像获取子模块，用于对输入表情图像序列进行灰度预处理，得到灰度图像序列；
第二计算子模块，用于对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场；
滤波子模块，用于对所述灰度图像运动场进行高通滤波，获取灰度特征部位；
方向和强度提取子模块，用于对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方向信息和强度信息，作为特征序列。
优选的，所述系统还包括预处理模块，所述预处理模块包括：
眼睛定位子模块，对所述人脸表情样本进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述人脸表情样本进行归一化操作；
割取子模块，用于从所述归一化后的人脸表情样本中割取预设大小的图像。
与现有技术相比，本发明具有以下优点：
本发明将弱小的表情变化作为整个表情序列从发生到结束整个序列的前奏。具体而言，在提取得到作为观测序列的特征序列后，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型，然后组合各种表情的隐马尔可夫模型，形成人脸表情分类器；由于所述训练过程通过隐马尔可夫模型的前向学习，对某个观测序列的概率进行评估，也即，某种表情的隐马尔可夫模型具有判别某个观测序列是否为该表情的能力；同时，由于所述训练过程是针对人脸表情样本中的中性表情序列和弱小表情序列进行的，因而该人脸表情分类器可预测出人脸表情的变化趋势；
再者，在输入视频图像只包含中性表情、弱小表情时，本发明即可将所述输入视频图像中的弱小表情识别出来；因此，相对于现有技术，只考虑夸张表情，在表情已经积累到明显的表情后，才开始进行识别，本发明可以实现对弱小表情的识别；这样，获得的弱小表情能够与后面的夸张表情相连接，进而获得较为完整的连续表情序列。
附图说明
图1是本发明一种人脸表情分类器训练方法实施例的流程图；
图2是本发明一种眼睛定位的示意图；
图3是本发明一种高兴表情序列的示意；
图4是本发明一种人脸表情识别方法实施例的流程图；
图5是本发明一种人脸表情分类器训练系统实施例的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
人在自发状态下出现的表情是连续的，即由中性到夸张，而各种表情的正常表现经常是比较弱小的，因此，解决从弱小表情到强烈的夸张表情的序列识别是表情识别实用化、自然化的关键。
本发明实施例的核心构思之一在于，将弱小的表情变化作为整个表情序列从发生到结束整个序列的前奏。具体而言，基于学习的方法，对连续人脸表情库进行训练，由于连续人脸表情序列包括中性表情序列、弱小表情序列和夸张表情序列，在学习过程中，如果只对库中的中性表情序列和弱小表情序列进行训练，获得人脸表情分类器；那么，在对人脸表情进行识别时，在夸张表情出现之前，即可实现对弱小表情的识别。这样，获得的弱小表情能够与后面的夸张表情相连接，进而获得较为完整的连续表情序列。
参照图1，示出了本发明一种人脸表情分类器训练方法实施例的流程图，具体可以包括：
步骤101、获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
在实际中，所述人脸表情样本可以存在于连续人脸表情库中，所述各种表情可以包括六种基本表情：高兴、惊讶、愤怒、恐惧、厌恶和悲伤，也可以对所述六种表情进行进一步分类，如高兴表情可以进一步包括：smile(微笑)、laugh(大笑)和sneer(冷笑)；愤怒表情可进一步包括：impatience(急躁)、anger(气愤)和fury(狂怒)；惊讶表情可进一步包括：doubt(疑惑)、curiousness(好奇)、surprise(吃惊)和gape(目瞪口呆)；恐惧表情可进一步包括：fear(害怕)和shyness(胆怯)；厌恶表情可进一步包括：disgust(憎恶)和contempt(蔑视)；悲伤表情可进一步包括：despair(绝望)和sadness(悲伤)等。
在实际中，由于经过人脸检测后的人脸表情样本大小、位置和灰度各不相同，为保证获得较好的识别效果，在本发明的一种优选实施例中，对所有人脸表情样本的尺寸、位置和灰度进行预处理，使不同的人脸样本图像的尺寸、灰度保持一致。
所述预处理步骤具体可以通过以下子步骤实现：
子步骤A1、对所述人脸表情样本进行眼睛定位，得到眼睛位置；
在具体实现中，可以采用统计模式识别方法，将采集并分割获得的正面人脸图像中的双眼区域图像和非双眼区域图像作为训练样本，训练得到双眼区域检测器。例如，采用自适应增强(Adaboost，adaptive boosting)算法对10000张24×16的双眼区域图像和非双眼区域图像进行训练，得到双眼区域检测器。
在进行眼睛定位时，可以采用所述双眼区域检测器在人脸图像内搜索双眼区域位置，确定双眼区域位置后，在所述双眼区域位置内定位左眼位置和右眼位置。参考图2示出了一种眼睛定位的示意图，其中2a为双眼区域检测器搜索到的眼睛矩形区域位置，2b所示的矩形中心即为眼睛位置。
子步骤A2、根据所述眼睛位置，对所述人脸表情样本进行归一化操作；
在具体实现中，所述归一化操作可以包括尺寸归一化和灰度归一化操作。其中，尺寸归一化的操作可以为：将样本图像旋转，使每个人脸的双眼之间的连线为水平方向，然后按照双眼中心距离固定的原则，比例缩放旋转后的图像，根据双眼距离固定、双眼中心连线中点到人脸图像上矩形框距离固定的原则裁剪图像，即得到了尺寸归一化后的图像。
灰度归一化的操作可以采取对尺寸归一化后的图像进行灰度拉伸，以改善图像的对比度；或者，采用直方图均衡化等直方图修正技术使图像具有相近的统计意义上的均值和方差，以部分消除光照的影响，本发明对具体的操作方式不加以限制。
子步骤A3、从所述归一化后的人脸表情样本中割取预设大小的图像。
例如，从归一化后的人脸样本中截取出64×64的裸脸图像。
经过这些预处理后，相同表情序列样本在某些特征上才会具有一定的相似性，而不同表情序列样本之间才会具有一定的差异，此时才可以采用统计模式识别算法进行人脸表情分类器的训练。
步骤102、对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
由于通常采用的经过归一化后的人脸表情样本，仍然具有很高的维数(例如64×64，128×128)，直接在人脸表情样本的灰度特征基础上进行处理，一方面信息冗余，另一方面复杂度很高，对计算机的硬件性能是一个挑战，因此，特征提取成为图像识别领域中最基本的问题之一，能否提取出有效的分类特征是解决该问题的关键。常用特征提取方法的基本思想是将原始样本映射到某一低维特征空间，得到最能反映样本本质的低维样本特征，这样能够有效地减少样本的存储量和处理速度，实现人脸的自动分类。
常用的特征方法有提取几何特征、统计特征、频率域特征和运动特征等。由于能够反映表情变化的实质，受光照不均性影响较小，运动特征提取在人连表情识别中得到广泛应用。
而在众多运动特征提取方法中，光流算法主要应用于基于视频图像的系统中，光流能够表示点的运动，而表清发生时主要表现在各点眼睛、眉毛、嘴巴等的上下、弯曲等变化。利用光流来表示表情发生过程中不同表情特征点的运动。通过计算视频图像中表情特征点的光流来得到各特征点的运动，并以此作为表情特征。
此外，二值图像占用空间小，且轮廓描述能力强；而灰度图像具有一定的细节描述能力，因此，本发明进行融合二值图像和灰度图像序列的光流运动场的特征提取。
在具体实现中，所述二值图像序列的的特征提取步骤可以包括：
子步骤B1、对输入表情图像序列进行二值化，得到二值图像序列；
子步骤B2、对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；
H-S(Horn & Schunck)方法是光流计算中的经典方法之一，其主要思想是图像中两点间的灰度变化被假定为线性。
子步骤B3、对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位；
子步骤B4、对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向信息，作为特征序列。
由于二值图像序列运动场通过面部轮廓剪裁后，保留了特征部位的运动方向，那么，分别统计各个特征部位边界向上和向下运动的像素点数目，采取其比值判断该特征部位动作的方向，如向上向下等，即可得到特征序列。
所述灰度图像序列的光流运动场的特征提取可以通过以下子步骤来实现：
子步骤C1、对输入表情图像序列进行灰度预处理，得到灰度图像序列；
子步骤C2、对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场；
子步骤C3、对所述灰度图像运动场进行高通滤波，获取灰度特征部位；
子步骤C4、对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方向信息和强度信息，作为特征序列。
通过高通滤波后，灰度图像序列运动场，保留了特征部位运动较强的矢量；在此基础上，可以统计各个特征部位边界上像素点的数目判断该特征部位动作的强度。
经过上述二值和灰度图像序列的特征抽取后，可以获得眉毛的动作方向、鼻子的动作方向、嘴巴的动作方向、眉毛与鼻子的动作强度之比以及眉毛与嘴巴的动作强度之比，共5维特征序列。
步骤103、将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
在人脸表情识别的分类器设计和选择阶段，主要有：线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等分类识别方法。其中，隐马尔可夫模型(HMM，Hidden Markov Model)作为一种统计分析模型，具有健壮的数学结构，适用于动态过程时间序列建模，且具有强大的模式分类能力，因此，本发明采用HMM方法，以精确地描绘表情的变化本质和动态性能。
人脸面部表情动作变化可以看成是一个随机过程，以高兴、惊讶、愤怒、恐惧、厌恶和悲伤6种基本表情为例，每种表情对应一个HMM模型，其中，每个HMM模型具有6种状态，每个HMM模型的观测序列也即步骤102提取的特征序列，其转移概率也即从某一种表情转变到另一种表情的概率，输出概率是某一观测序列呈现出某一种表情的概率，初始分布是各种表情的概率，具体到本发明，也即人脸表情样本。
因此，本步骤将所述特征序列作为观测序列，对人脸表情样本进行训练，为各种表情建立相应的隐马尔可夫模型。训练过程为，通过时间序列分析，学习人脸表情样本中的夸张表情，记忆特征序列变化和表情之间的关系。由于所述训练过程通过HMM模型的前向学习，对某个观测序列的概率进行评估，因而，本发明通过统计随机过程发生的特点建立反映该过程特点的概率模型，也即，某种表情的HMM模型具有判别某个观测序列是否为该表情的能力；这样，当输入表情特征序列时，该HMM模型可预测出人脸表情的变化趋势。
参考图3，示出了本发明一种高兴表情序列。在一个连续表情序列中，中性表情→弱小表情→夸张表情，是一个渐进的过程。图中，中性表情(13-16帧)，弱小表情(17-22帧)，夸张表情(23-34帧)。本发明将弱小的表情变化作为整个表情序列从发生到结束整个序列的前奏，也即，训练操作只针对人脸表情样本中的中性表情序列和弱小表情序列进行。例如，一种训练示例可以为，通过对13帧-20帧的处理，来建立该高兴表情的HMM模型，即可预测出该高兴表情的变化趋势。
当然，上述训练图像帧的选取只是作为示例，本领域技术人员可以根据经验进行所述训练图像帧的选取，本发明对此不加以限制。
步骤104、组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
尽管HMM具有较好的统计特性，但各种表情中有些面部特征部位的动作是非常接近的，如恐惧和高兴时，嘴巴都是张开，且嘴角都向两侧拉伸；悲伤和愤怒时，鼻子都微微塌下去等等。
针对上述问题，本发明可以采用自适应增强(Adaboost，adaptiveboosting)方法，加大分类错误样本的权值，提高连续表情分类器的性能。
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。
因此，所述组合步骤可以包括：
将每一种表情的隐马尔可夫模型的输出作为弱分类器；
采用Adaboost算法对所述弱分类器进行选择和训练，获得人脸表情分类器。
参照图4，示出了本发明一种人脸表情识别方法实施例的流程图，具体可以包括：
步骤401、对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
在实际中，所述输入视频图像一般通过摄像头或摄像机采集得到，所以其中的帧图像中可能不存在人脸，或者，即使存在人脸，所述人脸的大小、位置和灰度也各不相同。为保证获得较好的识别效果，在特征提取前，本发明可以采用如下图像校准步骤，具体可以包括：
子步骤D1、针对输入视频图像，获取其中的人脸图像；
在实际中，可采用人脸追踪算法等人脸检测方法，获取输入视频图像中的人脸区域所在位置，从而获取得到其中的人脸图像。
子步骤D2、对所述人脸图像进行眼睛定位，得到眼睛位置；
子步骤D3、根据所述眼睛位置，对所述人脸图像进行归一化操作；
子步骤D4、从所述归一化后的人脸图像中割取预设大小的图像。
步骤402、将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别。
在具体实现中，所述人脸表情分类器可以通过以下训练步骤获得：
步骤E1、获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
步骤E2、对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
步骤E3、将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
步骤E4、组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
对于上述训练步骤而言，由于其与图1所示的训练方法实施例的实现过程相似，这里就不一一赘述。由于训练获得的人脸表情分类器为组合各种表情的HMM模型得到的，所述HMM模型具有判别观测序列是否为某种表情的能力，因此，所述识别过程可以为，
将输入的特征序列作为观测序列，判别该观测序列所属的表情类别。
例如，训练获得的人脸表情分类器将人脸表情分为高兴、惊讶、愤怒、恐惧、厌恶和悲伤6种基本表情，那么，当输入特征序列时，该人脸表情分类器可以输出所述特征序列所属的表情类别。
此外，由于训练是针对人脸表情样本中的中性表情序列和弱小表情序列进行的，因而该人脸表情分类器可预测出人脸表情的变化趋势。这样，在所述输入视频图像只包含中性表情和弱小表情时，本发明即可将所述输入视频图像中的弱小表情识别出来。因此，相对于现有技术，只考虑夸张表情，在表情已经积累到明显的表情后，才开始进行识别，本发明可以实现对弱小表情的识别。这样，获得的弱小表情能够与后面的夸张表情相连接，进而获得较为完整的连续表情序列。
由于本发明能够通过识别获得较为完整的连续表情序列，在制作动画时，就能够避免出现动画表情不自然顺畅，口型和对话情景相差悬殊的问题。
对于识别方法实施例而言，由于其训练步骤与图1所示的训练方法实施例基本相似，所以描述的比较简单，相关之处参见训练方法实施例的部分说明即可。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
参考图5，示出了本发明一种人脸表情分类器训练系统实施例的结构图，具体可以包括：
获取模块501，用于获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
特征提取模块502，用于针对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
训练模块503，用于将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
组合模块504，用于组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
在具体实现中，步骤可以包括：
子步骤B1、对输入表情图像序列进行二值化，得到二值图像序列；
子步骤B2、对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；
H-S(Horn & Schunck)方法是光流计算中的经典方法之一，其主要思想是图像中两点间的灰度变化被假定为线性。对应于所述二值图像序列的的特征提取，所述特征提取模块可以进一步包括：
二值化子模块，用于对输入表情图像序列进行二值化，得到二值图像序列；
第一计算子模块，用于对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；
剪切子模块，用于对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位；
方向提取子模块，用于对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向信息，作为特征序列。
对应于所述灰度图像序列的的特征提取，所述特征提取模块的结构可以为：
灰度图像获取子模块，用于对输入表情图像序列进行灰度预处理，得到灰度图像序列；
第二计算子模块，用于对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场；
滤波子模块，用于对所述灰度图像运动场进行高通滤波，获取灰度特征部位；
方向和强度提取子模块，用于对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方向信息和强度信息，作为特征序列。
在实际中，由于经过人脸检测后的人脸表情样本大小、位置和灰度各不相同，为保证获得较好的识别效果，在本发明的一种优选实施例中，对所有人脸表情样本的尺寸、位置和灰度进行预处理，使不同的人脸样本图像的尺寸、灰度保持一致，此时，所述系统还可以包括预处理模块，所述预处理模块可以进一步包括：
眼睛定位子模块，对所述人脸表情样本进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述人脸表情样本进行归一化操作；
割取子模块，用于从所述归一化后的人脸表情样本中割取预设大小的图像。
对于系统实施例而言，由于其与图1所示的方法实施例基本相似，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。
本发明还公开了一种人脸表情识别系统实施例，具体可以包括：
特征提取模块，用于针对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
识别模块，用于将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。
在实际中，所述输入视频图像一般通过摄像头或摄像机采集得到，所以其中的帧图像中可能不存在人脸，或者，即使存在人脸，所述人脸的大小、位置和灰度也各不相同。为保证获得较好的识别效果，在特征提取前，所述系统还可以包括图像校准模块，所述图像校准模块可以进一步包括：
获取子模块，用于针对输入视频图像，获取其中的人脸图像；
眼睛定位子模块，用于对所述人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述人脸图像进行归一化操作；
割取子模块，用于从所述归一化后的人脸图像中割取预设大小的图像。
对于系统实施例而言，由于其与图4所示的方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于视频电话、视频数字娱乐领域，例如，用于制作人脸动画，获取人脸动作等。
以上对本发明所提供的一种人脸表情识别方法及系统、一种人脸表情分类器的训练方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种人脸表情识别方法，其特征在于，包括：
对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。
2.如权利要求1所述的方法，其特征在于，在所述特征提取步骤前，还包括：
针对输入视频图像，获取其中的人脸图像；
对所述人脸图像进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述人脸图像进行归一化操作；
从所述归一化后的人脸图像中割取预设大小的图像。
3.如权利要求1所述的方法，其特征在于，所述人脸表情分类器为通过以下步骤获得的分类器：
获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
4.一种人脸表情分类器的训练方法，其特征在于，包括：
获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
5.如权利要求4所述的方法，其特征在于，所述二值图像序列的特征提取步骤包括：
对输入表情图像序列进行二值化，得到二值图像序列；
对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；
对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位；
对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向信息，作为特征序列。
6.如权利要求4所述的方法，其特征在于，所述灰度图像序列的光流运动场的特征提取步骤包括：
对输入表情图像序列进行灰度预处理，得到灰度图像序列；
对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场；
对所述灰度图像运动场进行高通滤波，获取灰度特征部位；
对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方向信息和强度信息，作为特征序列。
7.如权利要求4所述的方法，其特征在于，所述组合各种表情的隐马尔可夫模型，形成人脸表情分类器的步骤包括：
将每一种表情的隐马尔可夫模型的输出作为弱分类器；
采用Adaboost算法对所述弱分类器进行选择和训练，获得人脸表情分类器。
8.如权利要求4所述的方法，其特征在于，在所述特征提取步骤前，还包括：
对所述人脸表情样本进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述人脸表情样本进行归一化操作；
从所述归一化后的人脸表情样本中割取预设大小的图像。
9.一种人脸表情识别系统，其特征在于，包括：
特征提取模块，用于针对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
识别模块，用于将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。
10.如权利要求9所述的系统，其特征在于，还包括图像校准模块，所述图像校准模块包括：
获取子模块，用于针对输入视频图像，获取其中的人脸图像；
眼睛定位子模块，用于对所述人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述人脸图像进行归一化操作；
割取子模块，用于从所述归一化后的人脸图像中割取预设大小的图像。
11.一种人脸表情分类器训练系统，其特征在于，包括：
获取模块，用于获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；
特征提取模块，用于针对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；
训练模块，用于将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；
组合模块，用于组合各种表情的隐马尔可夫模型，形成人脸表情分类器。
12.如权利要求11所述的系统，其特征在于，所述特征提取模块包括：
二值化子模块，用于对输入表情图像序列进行二值化，得到二值图像序列；
第一计算子模块，用于对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；
剪切子模块，用于对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位；
方向提取子模块，用于对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向信息，作为特征序列。
13.如权利要求11所述的系统，其特征在于，所述特征提取模块包括：
灰度图像获取子模块，用于对输入表情图像序列进行灰度预处理，得到灰度图像序列；
第二计算子模块，用于对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场；
滤波子模块，用于对所述灰度图像运动场进行高通滤波，获取灰度特征部位；
方向和强度提取子模块，用于对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方向信息和强度信息，作为特征序列。
14.如权利要求11所述的系统，其特征在于，还包括预处理模块，所述预处理模块包括：
眼睛定位子模块，对所述人脸表情样本进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述人脸表情样本进行归一化操作；
割取子模块，用于从所述归一化后的人脸表情样本中割取预设大小的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009102434165A CN101877056A (zh) | 2009-12-21 | 2009-12-21 | 人脸表情识别方法及系统、表情分类器的训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009102434165A CN101877056A (zh) | 2009-12-21 | 2009-12-21 | 人脸表情识别方法及系统、表情分类器的训练方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101877056A true CN101877056A (zh) | 2010-11-03 |
Family
ID=43019609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009102434165A Pending CN101877056A (zh) | 2009-12-21 | 2009-12-21 | 人脸表情识别方法及系统、表情分类器的训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101877056A (zh) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663429A (zh) * | 2012-04-11 | 2012-09-12 | 上海交通大学 | 运动目标的运动模式分类和动作识别的方法 |
| CN102955946A (zh) * | 2011-08-18 | 2013-03-06 | 刘军 | 基于线性分类树和神经网络的两阶段快速分类器 |
| CN103376950A (zh) * | 2012-04-13 | 2013-10-30 | 原相科技股份有限公司 | 图像定位方法及使用所述方法的互动图像系统 |
| CN104766041A (zh) * | 2014-01-07 | 2015-07-08 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置及系统 |
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| CN104899544A (zh) * | 2014-03-04 | 2015-09-09 | 佳能株式会社 | 图像处理装置和图像处理方法 |
| CN105847735A (zh) * | 2016-03-30 | 2016-08-10 | 宁波三博电子科技有限公司 | 一种基于人脸识别的即时弹幕视频通信方法及系统 |
| CN105847734A (zh) * | 2016-03-30 | 2016-08-10 | 宁波三博电子科技有限公司 | 一种基于人脸识别的视频通信方法及系统 |
| CN105872442A (zh) * | 2016-03-30 | 2016-08-17 | 宁波三博电子科技有限公司 | 一种基于人脸识别的即时弹幕礼物赠送方法及系统 |
| CN105898182A (zh) * | 2016-03-30 | 2016-08-24 | 宁波三博电子科技有限公司 | 一种基于人脸识别的弹幕点歌方法及系统 |
| CN103793718B (zh) * | 2013-12-11 | 2017-01-18 | 台州学院 | 一种基于深度学习的人脸表情识别方法 |
| CN106372622A (zh) * | 2016-09-30 | 2017-02-01 | 北京奇虎科技有限公司 | 一种人脸表情分类方法及装置 |
| CN106384083A (zh) * | 2016-08-31 | 2017-02-08 | 上海交通大学 | 一种自动面部表情识别并进行信息推荐的方法 |
| CN106650555A (zh) * | 2015-11-02 | 2017-05-10 | 苏宁云商集团股份有限公司 | 一种基于机器学习的真人验证方法及系统 |
| CN106778450A (zh) * | 2015-11-25 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 一种面部识别方法和装置 |
| CN106940792A (zh) * | 2017-03-15 | 2017-07-11 | 中南林业科技大学 | 基于特征点运动的人脸表情序列截取方法 |
| CN107103269A (zh) * | 2016-02-23 | 2017-08-29 | 芋头科技（杭州）有限公司 | 一种表情反馈方法及智能机器人 |
| CN107330407A (zh) * | 2017-06-30 | 2017-11-07 | 北京金山安全软件有限公司 | 人脸表情识别方法、装置、电子设备及存储介质 |
| CN108229642A (zh) * | 2017-12-28 | 2018-06-29 | 北京光年无限科技有限公司 | 虚拟人情感能力表现输出方法及系统 |
| CN108334196A (zh) * | 2018-01-18 | 2018-07-27 | 维沃移动通信有限公司 | 一种文件处理方法及移动终端 |
| CN108460364A (zh) * | 2018-03-27 | 2018-08-28 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108647625A (zh) * | 2018-05-04 | 2018-10-12 | 北京邮电大学 | 一种表情识别方法及装置 |
| CN109101956A (zh) * | 2018-09-21 | 2018-12-28 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN109191791A (zh) * | 2018-10-30 | 2019-01-11 | 罗普特（厦门）科技集团有限公司 | 一种融合多特征的疲劳检测方法以及装置 |
| CN109621418A (zh) * | 2018-12-03 | 2019-04-16 | 网易（杭州）网络有限公司 | 一种游戏中虚拟角色的表情调整及制作方法、装置 |
| CN109919100A (zh) * | 2019-03-11 | 2019-06-21 | 重庆科技学院 | 一种基于手机客户端与云服务技术的用户体验评价方法及系统 |
| US10360441B2 (en) | 2015-11-25 | 2019-07-23 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus |
| CN110347246A (zh) * | 2019-06-19 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 人机交互方法、装置、存储介质及电子设备 |
| WO2020063835A1 (zh) * | 2018-09-29 | 2020-04-02 | 北京三快在线科技有限公司 | 模型生成 |
| CN111079827A (zh) * | 2019-12-13 | 2020-04-28 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种铁路数据状态评估方法及系统 |
| CN111523524A (zh) * | 2020-07-02 | 2020-08-11 | 江苏原力数字科技股份有限公司 | 一种基于机器学习以及图像处理的面部动画捕捉矫正方法 |
| CN112307942A (zh) * | 2020-10-29 | 2021-02-02 | 广东富利盛仿生机器人股份有限公司 | 一种面部表情量化表示方法、系统及介质 |
| CN113763518A (zh) * | 2021-09-09 | 2021-12-07 | 北京顺天立安科技有限公司 | 基于虚拟数字人的多模态无限表情合成方法及装置 |
-
2009
- 2009-12-21 CN CN2009102434165A patent/CN101877056A/zh active Pending
Non-Patent Citations (5)
| Title |
|---|
| 余棉水等: "《基于光流的动态人脸表情识别》", 《微电子学与计算机》 * |
| 崔晓青: "《基于AdaBoost算法的人脸检测系统的研究与实现》", 《信息科技辑》 * |
| 曹林等: "《基于二维Gabor小波的人脸识别算法》", 《电子与信息学报》 * |
| 王宇博等: "《人脸表情的实时分类》", 《计算机辅助设计与图形学学报》 * |
| 缪少军等: "《基于光流和多HSMMs的容忍建档的面部表情识别》", 《信息科技辑》 * |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102955946A (zh) * | 2011-08-18 | 2013-03-06 | 刘军 | 基于线性分类树和神经网络的两阶段快速分类器 |
| CN102663429B (zh) * | 2012-04-11 | 2014-03-26 | 上海交通大学 | 运动目标的运动模式分类和动作识别的方法 |
| CN102663429A (zh) * | 2012-04-11 | 2012-09-12 | 上海交通大学 | 运动目标的运动模式分类和动作识别的方法 |
| CN103376950A (zh) * | 2012-04-13 | 2013-10-30 | 原相科技股份有限公司 | 图像定位方法及使用所述方法的互动图像系统 |
| CN103376950B (zh) * | 2012-04-13 | 2016-06-01 | 原相科技股份有限公司 | 图像定位方法及使用所述方法的互动图像系统 |
| CN103793718B (zh) * | 2013-12-11 | 2017-01-18 | 台州学院 | 一种基于深度学习的人脸表情识别方法 |
| CN104766041A (zh) * | 2014-01-07 | 2015-07-08 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置及系统 |
| CN104899544A (zh) * | 2014-03-04 | 2015-09-09 | 佳能株式会社 | 图像处理装置和图像处理方法 |
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| CN106650555A (zh) * | 2015-11-02 | 2017-05-10 | 苏宁云商集团股份有限公司 | 一种基于机器学习的真人验证方法及系统 |
| US10360441B2 (en) | 2015-11-25 | 2019-07-23 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus |
| CN106778450A (zh) * | 2015-11-25 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 一种面部识别方法和装置 |
| CN107103269A (zh) * | 2016-02-23 | 2017-08-29 | 芋头科技（杭州）有限公司 | 一种表情反馈方法及智能机器人 |
| WO2017143951A1 (zh) * | 2016-02-23 | 2017-08-31 | 芋头科技（杭州）有限公司 | 一种表情反馈方法及智能机器人 |
| US11819996B2 (en) | 2016-02-23 | 2023-11-21 | Yutou Technology (Hangzhou) Co., Ltd. | Expression feedback method and smart robot |
| CN105872442A (zh) * | 2016-03-30 | 2016-08-17 | 宁波三博电子科技有限公司 | 一种基于人脸识别的即时弹幕礼物赠送方法及系统 |
| CN105898182A (zh) * | 2016-03-30 | 2016-08-24 | 宁波三博电子科技有限公司 | 一种基于人脸识别的弹幕点歌方法及系统 |
| CN105847734A (zh) * | 2016-03-30 | 2016-08-10 | 宁波三博电子科技有限公司 | 一种基于人脸识别的视频通信方法及系统 |
| CN105847735A (zh) * | 2016-03-30 | 2016-08-10 | 宁波三博电子科技有限公司 | 一种基于人脸识别的即时弹幕视频通信方法及系统 |
| CN106384083A (zh) * | 2016-08-31 | 2017-02-08 | 上海交通大学 | 一种自动面部表情识别并进行信息推荐的方法 |
| CN106372622A (zh) * | 2016-09-30 | 2017-02-01 | 北京奇虎科技有限公司 | 一种人脸表情分类方法及装置 |
| CN106940792A (zh) * | 2017-03-15 | 2017-07-11 | 中南林业科技大学 | 基于特征点运动的人脸表情序列截取方法 |
| CN107330407A (zh) * | 2017-06-30 | 2017-11-07 | 北京金山安全软件有限公司 | 人脸表情识别方法、装置、电子设备及存储介质 |
| CN107330407B (zh) * | 2017-06-30 | 2020-08-04 | 北京金山安全软件有限公司 | 人脸表情识别方法、装置、电子设备及存储介质 |
| CN108229642A (zh) * | 2017-12-28 | 2018-06-29 | 北京光年无限科技有限公司 | 虚拟人情感能力表现输出方法及系统 |
| CN108334196A (zh) * | 2018-01-18 | 2018-07-27 | 维沃移动通信有限公司 | 一种文件处理方法及移动终端 |
| CN108334196B (zh) * | 2018-01-18 | 2021-12-10 | 维沃移动通信有限公司 | 一种文件处理方法及移动终端 |
| CN108460364A (zh) * | 2018-03-27 | 2018-08-28 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108460364B (zh) * | 2018-03-27 | 2022-03-11 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108647625A (zh) * | 2018-05-04 | 2018-10-12 | 北京邮电大学 | 一种表情识别方法及装置 |
| CN109101956A (zh) * | 2018-09-21 | 2018-12-28 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| WO2020063835A1 (zh) * | 2018-09-29 | 2020-04-02 | 北京三快在线科技有限公司 | 模型生成 |
| CN109191791A (zh) * | 2018-10-30 | 2019-01-11 | 罗普特（厦门）科技集团有限公司 | 一种融合多特征的疲劳检测方法以及装置 |
| CN109621418A (zh) * | 2018-12-03 | 2019-04-16 | 网易（杭州）网络有限公司 | 一种游戏中虚拟角色的表情调整及制作方法、装置 |
| CN109621418B (zh) * | 2018-12-03 | 2022-09-30 | 网易（杭州）网络有限公司 | 一种游戏中虚拟角色的表情调整及制作方法、装置 |
| CN109919100A (zh) * | 2019-03-11 | 2019-06-21 | 重庆科技学院 | 一种基于手机客户端与云服务技术的用户体验评价方法及系统 |
| CN110347246A (zh) * | 2019-06-19 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 人机交互方法、装置、存储介质及电子设备 |
| CN111079827A (zh) * | 2019-12-13 | 2020-04-28 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种铁路数据状态评估方法及系统 |
| CN111523524A (zh) * | 2020-07-02 | 2020-08-11 | 江苏原力数字科技股份有限公司 | 一种基于机器学习以及图像处理的面部动画捕捉矫正方法 |
| CN112307942A (zh) * | 2020-10-29 | 2021-02-02 | 广东富利盛仿生机器人股份有限公司 | 一种面部表情量化表示方法、系统及介质 |
| CN113763518A (zh) * | 2021-09-09 | 2021-12-07 | 北京顺天立安科技有限公司 | 基于虚拟数字人的多模态无限表情合成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101877056A (zh) | 人脸表情识别方法及系统、表情分类器的训练方法及系统 | |
| CN110427867B (zh) | 基于残差注意力机制的面部表情识别方法及系统 | |
| Zhu et al. | Continuous gesture segmentation and recognition using 3DCNN and convolutional LSTM | |
| Sarvakar et al. | Facial emotion recognition using convolutional neural networks | |
| CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| Salmam et al. | Emotion recognition from facial expression based on fiducial points detection and using neural network | |
| Ali et al. | Facial emotion detection using neural network | |
| Theodoridis et al. | Cross-modal variational alignment of latent spaces | |
| Wu et al. | Generalized zero-shot emotion recognition from body gestures | |
| Yang et al. | Combination of manual and non-manual features for sign language recognition based on conditional random field and active appearance model | |
| Tur et al. | Evaluation of hidden markov models using deep cnn features in isolated sign recognition | |
| Kandhro et al. | [Retracted] Impact of Activation, Optimization, and Regularization Methods on the Facial Expression Model Using CNN | |
| Wu et al. | A generalized zero-shot framework for emotion recognition from body gestures | |
| Lee et al. | Face and facial expressions recognition system for blind people using ResNet50 architecture and CNN | |
| Wang et al. | Deep neural networks in video human action recognition: A review | |
| Sooch et al. | Emotion Classification and Facial Key point detection using AI | |
| Babanne et al. | Emotion based personalized recommendation system | |
| Sunil et al. | Facial Emotion Recognition using a Modified Deep Convolutional Neural Network Based on the Concatenation of XCEPTION and RESNET50 V2 | |
| Gupta et al. | Survey paper on gender and emotion classification using facial expression detection | |
| Kowalczuk et al. | Identification of emotions based on human facial expressions using a color-space approach | |
| Morshed et al. | Customer’s spontaneous facial expression recognition | |
| ViswanathReddy et al. | Facial emotions over static facial images using deep learning techniques with hysterical interpretation | |
| Khubchandani et al. | Sign Language Recognition | |
| CN116682168B (zh) | 一种多模态表情识别方法、介质及系统 | |
| Devasena et al. | A study of various algorithms for facial expression recognition: A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20101103 |