CN110705467A - 一种人脸表情识别方法、系统、装置和存储介质 - Google Patents
一种人脸表情识别方法、系统、装置和存储介质 Download PDFInfo
- Publication number
- CN110705467A CN110705467A CN201910938866.XA CN201910938866A CN110705467A CN 110705467 A CN110705467 A CN 110705467A CN 201910938866 A CN201910938866 A CN 201910938866A CN 110705467 A CN110705467 A CN 110705467A
- Authority
- CN
- China
- Prior art keywords
- facial expression
- degree
- mouth
- action degree
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000009471 action Effects 0.000 claims abstract description 117
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims description 31
- 230000007935 neutral effect Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 239000013604 expression vector Substances 0.000 claims description 13
- 230000004424 eye movement Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 abstract 1
- 230000014509 gene expression Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明公开了一种人脸表情识别方法、系统、装置和存储介质，所述方法包括识别图像中的人脸区域，分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定相应的人脸表情可能值，以及获取所有所述人脸表情可能值中的最优解作为人脸表情识别结果等步骤。通过对嘴部、眼部以及眉毛部分析得到的嘴部动作程度、眼部动作程度和眉毛部动作程度可以准确地分析出人脸表情，因此本发明具有高的识别准确率。本发明对硬件设备性能要求低，从而使得可以低成本地实现人脸表情识别功能，从而在低性能移动设备、商场自助服务机、投币游戏机以及儿童玩具等低端设备上实现人脸表情识别功能，提高用户的使用体验。本发明广泛应用于人脸表情识别技术领域。
Description
技术领域
本发明涉及人脸识别技术领域，尤其是一种人脸表情识别方法、系统、装置和存储介质。
背景技术
人脸表情是人类传达情感的重要途径，人脸表情识别技术可以广泛地应用于人机交互、计算机视觉、医疗辅助、疲劳驾驶检测等领域。
表情特征提取是人脸表情识别技术中的核心技术手段，现有的表情特征提取技术主要是基于深度学习的特征提取方法。在完成表情特征提取之后还需要进行表情分类，现有的表情分类技术主要是使用支持向量机、决策树以及基于卷积神经网络的分类器进行表情分类。
基于深度学习的特征提取技术以及基于卷积神经网络的表情分类技术等现有技术虽然具有较高的识别精度，但这些技术所依赖的卷积神经网络等工具需要强大的硬件性能进行支持，因此局限于应用在具有强大硬件设备的专业场合。而随着用户体验需求越来越强烈，商场自助服务机、投币游戏机以及儿童玩具等都设备越来越需要应用人脸表情识别技术，而这些设备的硬件性能普遍较低，难以运行卷积神经网络等软件工具来支持现有的人脸表情识别技术。
发明内容
为了解决上述至少一个技术问题，本发明的目的在于提供一种人脸表情识别方法、系统、装置和存储介质。
一方面，本发明实施例包括一种人脸表情识别方法，包括以下步骤：
识别图像中的人脸区域；
计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度；
分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定人脸表情可能值；
获取所有所述人脸表情可能值中的最优解作为人脸表情识别结果。
进一步地，所述识别图像中的人脸区域这一步骤，具体包括：
对所述图像进行灰度化处理；
使用dlib人脸检测算法从所述图像中划分出检测框，使所述检测框框定所述图像中的人脸区域；
使用dlib关键点检测算法识别所述人脸区域中的多个人脸特征关键点；各所述人脸特征关键点组合成分别对应嘴部、眼部、眉毛部和鼻部的各组点集；
定义所述检测框内的坐标系；所述坐标系以嘴部与鼻部连线的方向为纵向；
根据所定义的坐标系，确定各所述人脸特征关键点的坐标。
进一步地，所述计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度这一步骤中，执行以下步骤从而计算所述嘴部动作程度：
从对应所述嘴部的所有所述人脸特征关键点中，查找出嘴部中轴上具有最大纵坐标的第一人脸特征关键点以及具有最小纵坐标的第二人脸特征关键点；
计算所述第一人脸特征关键点与第二人脸特征关键点的纵坐标差与所述检测框高度的比值；计算所得的比值为所述嘴部动作程度。
进一步地，所述计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度这一步骤中，执行以下步骤从而计算所述眼部动作程度：
从对应所述眼部的所有所述人脸特征关键点中查找出具有相同横坐标的人脸特征关键点对；
计算各所述人脸特征关键点对的纵坐标差，进而计算所有所述纵坐标差的平均值；
计算所述纵坐标差的平均值与所述检测框高度的比值；计算所得的比值为所述眼部动作程度。
进一步地，所述计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度这一步骤中，执行以下步骤从而计算所述眉毛部动作程度：
使用numpy库函数polyfit将对应所述眉毛部的所述人脸特征关键点拟合成直线；
计算所述直线与所述坐标系的横向之间的夹角值；计算所得的夹角值为所述眉毛部动作程度。
进一步地，所述分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定相应的人脸表情可能值这一步骤，具体包括：
在所述嘴部动作程度大于预设的第一阈值的情况下，确定相应的人脸表情可能值为高兴、惊讶，反之确定相应的人脸表情可能值为生气、中性；
在所述眼部动作程度大于预设的第二阈值的情况下，确定相应的人脸表情可能值为惊讶，反之确定相应的人脸表情可能值为高兴；
在所述眉毛部动作程度大于预设的第三阈值的情况下，确定相应的人脸表情可能值为生气，反之确定相应的人脸表情可能值为中性。
进一步地，所述人脸表情识别方法还包括以下步骤：
建立人脸表情向量；所述人脸表情向量包括第一分量、第二分量和第三分量；所述第一分量的取值为嘴部动作程度，所述第二分量的取值为眼部动作程度，所述第三分量的取值为眉毛部动作程度；
对所述人脸区域进行一段时间内持续的监测，识别所述嘴部动作程度、眼部动作程度和眉毛部动作程度的变化，进而识别人脸表情向量的相应变化；
记录所述人脸表情向量变化过程中终点移动所形成的轨迹；
计算所述轨迹对时间积分的时间平均值，并根据所述时间平均值确定所述轨迹上的平均值点；
获取所述平均值点所对应的嘴部动作程度平均值、眼部睁开平均值和眉毛部动作程度平均值；
分别根据所述嘴部动作程度平均值、眼部动作程度平均值和眉毛部动作程度平均值，确定相应的人脸表情可能值。
另一方面，本发明实施例还包括一种人脸表情识别系统，包括：
第一模块，用于识别图像中的人脸区域；
第二模块，用于计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度；
第三模块，用于分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定人脸表情可能值；
第四模块，用于获取所有所述人脸表情可能值中的最优解作为人脸表情识别结果。
另一方面，本发明实施例还包括一种人脸表情识别装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明实施例所述方法。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明方法。
本发明的有益效果是：本发明实施例中所提供的技术方案是通过获取嘴部动作程度、眼部动作程度和眉毛部动作程度等数值来确定人脸表情可能值，并从多个人脸表情可能值中选择出最优解作为人脸表情识别结果，由于嘴部、眼部以及眉毛部对于人脸表情来说具有代表性，可以通过对嘴部、眼部以及眉毛部分析得到的嘴部动作程度、眼部动作程度和眉毛部动作程度可以准确地分析出人脸表情，因此实施例中的技术方案具有高的准确率。而且在识别过程中只需涉及到人脸检测、人脸关键点检测以及简单的数学计算过程，所需的计算机资源远小于现有人脸表情识别技术中所使用的卷积神经网络、支持向量机以及决策树等程序，对硬件设备的性能要求低，方便应用在低性能移动设备、商场自助服务机、投币游戏机以及儿童玩具等低端设备上，使得这些领域可以低成本来实现人脸表情识别功能，使得本领域技术人员可以在人脸表情识别功能的基础上开发出更丰富的功能，提高用户的使用体验。
附图说明
图1为实施例中所述人脸表情识别方法的流程图；
图2为实施例中识别出的人脸区域以及人脸特征关键点的示意图；
图3为实施例中所述人脸表情识别方法的原理图。
具体实施方式
研究以及实践经验表明，通过人脸上的关键部位即可确定人脸表情，这些关键部位包括嘴巴、眼睛以及眉毛等，即人脸上的其他大部分区域对于表情的表达是没有贡献的。基于上述原理，在人脸表情识别过程中，如果重点针对嘴巴、眼睛以及眉毛部分进行识别和分析，那么可以取得较高的识别成功率，同时由于避免了现有技术中所使用的卷积池化操作、多维矩阵计算等复杂的运算过程，对执行人脸表情识别算法的硬件设备的性能要求较低，可以广泛应用于低性能移动设备、商场自助服务机、投币游戏机以及儿童玩具等低端设备上，从而使得人脸表情识别的技术效果可以惠及更多应用领域，解决这些应用领域中原本存在的对人脸表情识别功能的需求但是受限于硬件性能而无法低成本地实现的问题，从而提高用户体验。例如，在投币游戏机中应用人脸表情识别技术后，为相关游戏开发商提供技术基础，使得他们可以开发基于人脸表情识别的互动游戏，包括通过生成一个与用户的当前表情相同或者相反的虚拟形象并与用户交流等。又如，在儿童玩具中应用人脸表情识别技术后，为相关软件开发商提供技术基础，使得他们可以开发基于人脸表情识别的早教玩具，包括通过生成一个与幼儿的当前表情相同或者相反的动画形象并与幼儿交流等，起到对幼儿学习的促进作用。
当在商场自助服务机、投币游戏机以及儿童玩具等设备上应用本实施例人脸表情识别方法时，通过调用设置在这些设备上的摄像头，可以获取到包含用户人脸的图像。这些图像可以是静态的，也可以是动态的，即可以只对用户进行一次拍摄，并对拍摄所得的静态图像执行本实施例人脸表情识别方法，也可以对用户进行连续的拍摄，获得一段动态视频，这些视频最终可以分解成多张静态图像用于作为本实施例人脸表情识别方法的处理对象。
本实施例中，对拍摄所得的图像所要执行的人脸表情识别方法包括以下如图1所示的步骤：
S1.识别图像中的人脸区域；
S2.计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度；
S3.分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定人脸表情可能值；
S4.获取所有所述人脸表情可能值中的最优解作为人脸表情识别结果。
在本实施例中，S1和S2是使用dlib算法执行的。其中，步骤S1具体包括以下子步骤S101-S105：
S101.对所述图像进行灰度化处理；
S102.使用dlib人脸检测算法从所述图像中划分出检测框，使所述检测框框定所述图像中的人脸区域；
S103.使用dlib关键点检测算法识别所述人脸区域中的多个人脸特征关键点；各所述人脸特征关键点组合成分别对应嘴部、眼部、眉毛部和鼻部的各组点集；
S104.定义所述检测框内的坐标系；所述坐标系以嘴部与鼻部连线的方向为纵向；
S105.根据所定义的坐标系，确定各所述人脸特征关键点的坐标。
通过执行步骤S101，可以将原本彩色的图像转换成为灰度图像，减少图像的信息量，避免占用过多的计算机资源。当然如果图像本身是灰度的，就不必执行步骤S101。由于本实施例中所执行的人脸表情识别方法的所有步骤都不依赖于图像的颜色，因此将图像灰度化不会影响人脸表情识别方法的识别效果。
通过执行dlib算法中的人脸检测算法，在图像中存在人脸区域的情况下，将生成一个矩形的检测框，该检测框将图像中的人脸区域包含在内。
通过执行dlib算法中的关键点检测算法，可以输出人脸区域中的68个人脸特征关键点，其效果如图2所示，其中，编号为49-68等人脸特征关键点组成的点集与图像中人脸区域的嘴部对应，编号为37-48等人脸特征关键点组成的点集与眼部对应，编号为18-27等人脸特征关键点组成的点集与眉毛部对应，编号为28-36等人脸特征关键点组成的点集与鼻部对应。
在执行步骤S103时也可以使用opencv或MTCNN等算法来代替dlib算法，同样可以获取到人脸特征关键点，但是准确度可能会比dlib算法低。
为了精确地区分各人脸特征关键点，本实施例中通过坐标系为dlib关键点检测算法识别出的各人脸特征关键点赋予坐标。所建立的坐标系为平面直角坐标系，其纵轴(Y轴)被配置为嘴部与鼻部连线的方向，对于图2所示的人脸特征关键点识别效果，可以选定编号为28、29、30、31、34、52、63、67和58中任意两个人脸特征关键点连线的方向作为坐标系的纵轴，而坐标系的零点以及单位长度则可以是任选的。
在为识别出的各人脸特征关键点赋予坐标后，即可执行以下步骤从而定量地计算出所述嘴部动作程度：
S201.从对应所述嘴部的所有所述人脸特征关键点中，查找出嘴部中轴上具有最大纵坐标的第一人脸特征关键点以及具有最小纵坐标的第二人脸特征关键点。针对图2所示的识别情况，所述第一人脸特征关键点是编号为52的人脸特征关键点，其纵坐标为y52，所述第二人脸特征关键点是编号为58的人脸特征关键点，其纵坐标为y58。如果嘴部中轴上不具有符合条件的第一人脸特征关键点和第二人脸特征关键点，可以从中轴开始分别向左右两边寻找，直到找到距离中轴最近的人脸特征关键点，再从中查找出符合条件的第一人脸特征关键点和第二人脸特征关键点。
S202.计算所述第一人脸特征关键点与第二人脸特征关键点的纵坐标差与所述检测框高度的比值；计算所得的比值为所述嘴部动作程度。所述检测框的高度face_w可以由dlib人脸检测算法输出。比值
即为所述嘴部动作程度，其意义是所识别出的人脸区域中嘴巴张开的高度占整个人脸高度的比例，这个比例越大，嘴部动作程度越大。根据嘴部动作程度的定量计算结果，可以获取到相应的人脸表情可能值，即仅考虑嘴部动作程度的情况下对人脸表情的识别结果。
本实施例中，可以针对嘴部动作程度设置数个离散的人脸表情可能值，包括高兴、惊讶、生气或中性，并采用离散方式去进行人脸表情可能值的确认，例如，当嘴部张开的程度达到第一阈值0.035时，确认当前人脸表情可能值为高兴或者惊讶，而当嘴部张开的程度小于第一阈值0.035时，则确认当前人脸表情可能值为生气或者中性。
本实施例中，还可以针对嘴部动作程度设置连续的人脸表情可能值，并采用连续方式去进行人脸表情可能值的确认。此时，所设置的人脸表示可能值可以兴奋指数的形式来表示，并建立嘴部动作程度与兴奋指数之间的线性映射关系，兴奋指数越高，表明人脸表情越接近高兴或者惊讶，兴奋指数越低，表明人脸表情越接近生气或者中性。
在为识别出的各人脸特征关键点赋予坐标后，即可执行以下步骤从而定量地计算出所述眼部动作程度：
S203.从对应所述眼部的所有所述人脸特征关键点中查找出具有相同横坐标的人脸特征关键点对。针对图2所示的识别情况，编号为38的人脸特征关键点与编号为42的人脸特征关键点、编号为39的人脸特征关键点与编号为41的人脸特征关键点、编号为44的人脸特征关键点与编号为48的人脸特征关键点，以及编号为45的人脸特征关键点与编号为47的人脸特征关键点都是满足条件的人脸特征关键点对，它们的纵坐标分别为y38、y42、y39、y41、y44、y48、y45和y47。
S204.计算各所述人脸特征关键点对的纵坐标差，进而计算所有所述纵坐标差的平均值。本步骤的计算公式为
S205.计算所述纵坐标差的平均值与所述检测框高度的比值；计算所得的比值为所述眼部动作程度，即所述眼部动作程度的计算公式为
其意义是所识别出的人脸区域中眼睛睁开的宽度占整个人脸高度的比例，这个比例越大，眼部动作程度越大。根据眼部动作程度的定量计算结果，可以获取到相应的人脸表情可能值，即仅考虑眼部动作程度的情况下对人脸表情的识别结果。
本实施例中，可以针对眼部动作程度设置数个离散的人脸表情可能值，包括高兴或惊讶，并采用离散方式去进行人脸表情可能值的确认，例如，当眼部睁开的程度达到第二阈值0.053时，确认当前人脸表情可能值为惊讶，而当眼部睁开的程度小于第二阈值0.053时，则确认当前人脸表情可能值为高兴。
本实施例中，还可以针对眼部动作程度设置连续的人脸表情可能值，并采用连续方式去进行人脸表情可能值的确认。此时，所设置的人脸表示可能值可以高兴指数的形式来表示，并建立眼部动作程度与高兴指数之间的线性映射关系，高兴指数越高，表明人脸表情越接近高兴，高兴指数越低，表明人脸表情越接近惊讶。
在为识别出的各人脸特征关键点赋予坐标后，即可执行以下步骤从而定量地计算出所述眉毛部动作程度：
S206.使用numpy库函数polyfit将对应所述眉毛部的所述人脸特征关键点拟合成直线。针对图2所示的识别情况，可以将编号为37-42的人脸特征关键点拟合成直线，也可以将编号为43-48的人脸特征关键点拟合成直线。
S207.计算所述直线与所述坐标系的横向之间的夹角值；计算所得的夹角值为所述眉毛部动作程度。在拟合出的直线的两个端点坐标分别为(x1,y1)和(x2,y2)的情况下，所述眉毛部动作程度为
根据眉毛部动作程度的定量计算结果，可以获取到相应的人脸表情可能值，即仅考虑眉毛部动作程度的情况下对人脸表情的识别结果。
本实施例中，可以针对眉毛部动作程度设置数个离散的人脸表情可能值，包括生气或中性，并采用离散方式去进行人脸表情可能值的确认，例如，当眉毛部动作程度达到第三阈值0.33时，确认当前人脸表情可能值为生气，而当眉毛部动作程度小于第三阈值0.33时，则确认当前人脸表情可能值为中性。
本实施例中，还可以针对眉毛部动作程度设置连续的人脸表情可能值，并采用连续方式去进行人脸表情可能值的确认。此时，所设置的人脸表示可能值可以生气指数的形式来表示，并建立眉毛部动作程度与生气指数之间的线性映射关系，生气指数越高，表明人脸表情越接近生气，生气指数越低，表明人脸表情越接近中性。
通过执行步骤S201-S207，可以获取到嘴部动作程度、眼部动作程度和眉毛部动作程度分别对应的人脸表情可能值，其中嘴部动作程度对应的人脸表情可能值是仅考虑嘴部动作程度的情况下确定的人脸表情可能值，眼部动作程度对应的人脸表情可能值是仅考虑眼部动作程度的情况下确定的人脸表情可能值，眉毛部动作程度对应的人脸表情可能值是仅考虑眉毛部动作程度的情况下确定的人脸表情可能值。
通过执行步骤S4，可以综合考虑嘴部动作程度、眼部动作程度和眉毛部动作程度，从多个人脸表情可能值中选择出最优解，作为最终的人脸表情识别结果。
综合上述步骤的执行结果，在以离散方式去进行人脸表情可能值的确认的情况下，如图3所示，步骤S4的执行过程是：
(1)首先通过嘴部动作程度去确定人脸表情可能值，当嘴部张开的程度达到第一阈值0.035时，确认当前人脸表情可能值为高兴或者惊讶，而当嘴部张开的程度小于第一阈值0.035时，则确认当前人脸表情可能值为生气或者中性；
(2)如果确认当前人脸表情可能值为高兴或者惊讶，再通过眼部动作程度去确定人脸表情可能值，当眼部睁开的程度达到第二阈值0.053时，确认当前人脸表情可能值为惊讶，综合(1)的判断结果考虑，最优解为惊讶，即最终的人脸表情识别结果为惊讶；而当眼部睁开的程度小于第二阈值0.053时，则确认当前人脸表情可能值为高兴，综合(1)的判断结果考虑，最优解为高兴，即最终的人脸表情识别结果为高兴；
(3)如果确认当前人脸表情可能值为生气或者中性，再通过眉毛部动作程度去确定人脸表情可能值，当眉毛部上扬的程度达到第三阈值0.33时，确认当前人脸表情可能值为生气，综合(1)的判断结果考虑，最优解为生气，即最终的人脸表情识别结果为生气；而当眉毛部动作程度小于第三阈值0.33时，则确认当前人脸表情可能值为中性，综合(1)的判断结果考虑，最优解为中性，即最终的人脸表情识别结果为中性。
在以连续方式去进行人脸表情可能值的确认的情况下，步骤S4的执行过程是：
(1)首先通过嘴部动作程度确定兴奋指数；
(2)再通过眼部动作程度确定高兴指数；
(3)用过眉毛部动作程度确定生气指数；
(4)建立以兴奋指数、高兴指数与生气指数为维度的向量，通过该向量作为最优解去描述所述人脸表情识别结果。
进一步作为优选的实施方式，本实施例中所述的人脸表情识别方法还包括以下步骤：
S5.建立人脸表情向量；所述人脸表情向量包括第一分量、第二分量和第三分量；所述第一分量的取值为嘴部动作程度，所述第二分量的取值为眼部动作程度，所述第三分量的取值为眉毛部动作程度。即人脸表情向量的数学形式为vectorexpression＝(mou_h,eye_h,brow_up)。
S6.对所述人脸区域进行一段时间内持续的监测，识别所述嘴部动作程度、眼部动作程度和眉毛部动作程度的变化，进而识别人脸表情向量的相应变化。经过持续监测，可以获取一段时间内采集到的多个图像，分别对这些图像执行步骤S101-S105以及S201-S207，获取一系列的(mou_h,eye_h,brow_up)，因此可以认为人脸表情向量vectorexpression＝(mou_h,eye_h,brow_up)在对人脸区域进行监测的过程中是动态变化的，可以表示为vectorexpression(t)＝[mou_h(t),eye_h(t),brow_up(t)]；
S7.本步骤中，记录人脸表情向量vectorexpression(t)＝[mou_h(t),eye_h(t),brow_up(t)]动态变化过程中终点移动所形成的轨迹，所述轨迹可以表示为参量方程
S8.本步骤中，计算所述轨迹对时间积分的时间平均值，并根据所述时间平均值确定所述轨迹上的平均值点；即所述平均值点为
式中T为执行步骤S6进行监测所持续的时间；
S9.获取所述平均值点所对应的嘴部动作程度平均值、眼部睁开平均值和眉毛部动作程度平均值；即所述嘴部动作程度平均值为
所述眼部动作程度平均值为
所述眉毛上扬程度平均值为
S10.分别根据所述嘴部动作程度平均值
眼部动作程度平均值
和眉毛部动作程度平均值
确定相应的人脸表情可能值；具体地，可以参照步骤S4执行步骤S10，即通过以下步骤来执行步骤S10：
(1)当嘴部动作程度平均值
达到第一阈值0.035时，确认当前人脸表情可能值为高兴或者惊讶，而当嘴部动作程度平均值
小于第一阈值0.035时，则确认当前人脸表情可能值为生气或者中性；
(2)如果确认当前人脸表情可能值为高兴或者惊讶，再通过眼部动作程度平均值
去确定人脸表情可能值，当眼部动作程度平均值达到第二阈值0.053时，确认当前人脸表情可能值为惊讶，综合(1)的判断结果考虑，最优解为惊讶，即最终的人脸表情识别结果为惊讶；而当眼部动作程度平均值小于第二阈值0.053时，则确认当前人脸表情可能值为高兴，综合(1)的判断结果考虑，最优解为高兴，即最终的人脸表情识别结果为高兴；
(3)如果确认当前人脸表情可能值为生气或者中性，再通过眉毛部动作程度平均值
去确定人脸表情可能值，当眉毛部动作程度平均值
达到第三阈值0.33时，确认当前人脸表情可能值为生气，综合(1)的判断结果考虑，最优解为生气，即最终的人脸表情识别结果为生气；而当眉毛部动作程度平均值
小于第三阈值0.33时，则确认当前人脸表情可能值为中性，综合(1)的判断结果考虑，最优解为中性，即最终的人脸表情识别结果为中性。
通过执行步骤S5-S10，可以考虑在一段时间内采集所得图像的嘴部动作程度、眼部动作程度和眉毛部动作程度的计算结果，最终选择出所确定的人脸表情可能值中的最优解作为人脸表情识别结果，避免仅考虑单一图像时，由于所采集的图像刚好是细微的瞬间表情，因不具有代表性而导致最终识别出的人脸表情识别结果发生偏差，从而提高人脸表情识别结果的准确率。
本实施例中还包括一种人脸表情识别系统，包括：
第一模块，用于识别图像中的人脸区域；
第二模块，用于计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度；
第三模块，用于分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定相应的人脸表情可能值；
第四模块，用于获取所有所述人脸表情可能值中的最优解作为人脸表情识别结果。
其中第一模块、第二模块、第三模块和第四模块分别是具有相应功能的硬件模块或软件模块，它们可以是用来执行步骤S1-S4的计算机系统中的硬件部件、软件功能包及其组合。人脸表情识别系统中所设置的第一模块、第二模块、第三模块和第四模块具有与人脸表情识别方法实施例中相同的工作原理，可以取得与人脸表情识别方法相同的技术效果。
本实施例还包括一种人脸表情识别装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明实施例所述方法。
本实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明人脸表情识别方法。
本实施例中的人脸表情识别系统、装置和存储介质，可以执行本发明的人脸表情识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (10)
1.一种人脸表情识别方法，其特征在于，包括以下步骤：
识别图像中的人脸区域；
计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度；
分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定人脸表情可能值；
获取所有所述人脸表情可能值中的最优解作为人脸表情识别结果。
2.根据权利要求1所述的人脸表情识别方法，其特征在于，所述识别图像中的人脸区域这一步骤，具体包括：
对所述图像进行灰度化处理；
使用dlib人脸检测算法从所述图像中划分出检测框，使所述检测框框定所述图像中的人脸区域；
使用dlib关键点检测算法识别所述人脸区域中的多个人脸特征关键点；各所述人脸特征关键点组合成分别对应嘴部、眼部、眉毛部和鼻部的各组点集；
定义所述检测框内的坐标系；所述坐标系以嘴部与鼻部连线的方向为纵向；
根据所定义的坐标系，确定各所述人脸特征关键点的坐标。
3.根据权利要求2所述的人脸表情识别方法，其特征在于，所述计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度这一步骤中，执行以下步骤从而计算所述嘴部动作程度：
从对应所述嘴部的所有所述人脸特征关键点中，查找出嘴部中轴上具有最大纵坐标的第一人脸特征关键点以及具有最小纵坐标的第二人脸特征关键点；
计算所述第一人脸特征关键点与第二人脸特征关键点的纵坐标差与所述检测框高度的比值；计算所得的比值为所述嘴部动作程度。
4.根据权利要求2所述的人脸表情识别方法，其特征在于，所述计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度这一步骤中，执行以下步骤从而计算所述眼部动作程度：
从对应所述眼部的所有所述人脸特征关键点中查找出具有相同横坐标的人脸特征关键点对；
计算各所述人脸特征关键点对的纵坐标差，进而计算所有所述纵坐标差的平均值；
计算所述纵坐标差的平均值与所述检测框高度的比值；计算所得的比值为所述眼部动作程度。
5.根据权利要求2所述的人脸表情识别方法，其特征在于，所述计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度这一步骤中，执行以下步骤从而计算所述眉毛部动作程度：
使用numpy库函数polyfit将对应所述眉毛部的所述人脸特征关键点拟合成直线；
计算所述直线与所述坐标系的横向之间的夹角值；计算所得的夹角值为所述眉毛部动作程度。
6.根据权利要求1-5任一项所述的人脸表情识别方法，其特征在于，所述分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定相应的人脸表情可能值这一步骤，具体包括：
在所述嘴部动作程度大于预设的第一阈值的情况下，确定相应的人脸表情可能值为高兴、惊讶，反之确定相应的人脸表情可能值为生气、中性；
在所述眼部动作程度大于预设的第二阈值的情况下，确定相应的人脸表情可能值为惊讶，反之确定相应的人脸表情可能值为高兴；
在所述眉毛部动作程度大于预设的第三阈值的情况下，确定相应的人脸表情可能值为生气，反之确定相应的人脸表情可能值为中性。
7.根据权利要求6所述的人脸表情识别方法，其特征在于，还包括以下步骤：
建立人脸表情向量；所述人脸表情向量包括第一分量、第二分量和第三分量；所述第一分量的取值为嘴部动作程度，所述第二分量的取值为眼部动作程度，所述第三分量的取值为眉毛部动作程度；
对所述人脸区域进行一段时间内持续的监测，识别所述嘴部动作程度、眼部动作程度和眉毛部动作程度的变化，进而识别人脸表情向量的相应变化；
记录所述人脸表情向量变化过程中终点移动所形成的轨迹；
计算所述轨迹对时间积分的时间平均值，并根据所述时间平均值确定所述轨迹上的平均值点；
获取所述平均值点所对应的嘴部动作程度平均值、眼部睁开平均值和眉毛部动作程度平均值；
分别根据所述嘴部动作程度平均值、眼部动作程度平均值和眉毛部动作程度平均值，确定相应的人脸表情可能值。
8.一种人脸表情识别系统，其特征在于，包括：
第一模块，用于识别图像中的人脸区域；
第二模块，用于计算所述人脸区域中的嘴部动作程度、眼部动作程度和眉毛部动作程度；
第三模块，用于分别根据所述嘴部动作程度、眼部动作程度和眉毛部动作程度，确定人脸表情可能值；
第四模块，用于获取所有所述人脸表情可能值中的最优解作为人脸表情识别结果。
9.一种人脸表情识别装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-7任一项所述方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910938866.XA CN110705467A (zh) | 2019-09-30 | 2019-09-30 | 一种人脸表情识别方法、系统、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910938866.XA CN110705467A (zh) | 2019-09-30 | 2019-09-30 | 一种人脸表情识别方法、系统、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110705467A true CN110705467A (zh) | 2020-01-17 |
Family
ID=69196378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910938866.XA Pending CN110705467A (zh) | 2019-09-30 | 2019-09-30 | 一种人脸表情识别方法、系统、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110705467A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444860A (zh) * | 2020-03-30 | 2020-07-24 | 东华大学 | 一种表情识别方法和系统 |
| CN111728602A (zh) * | 2020-08-21 | 2020-10-02 | 之江实验室 | 基于ppg的无接触血压测量装置 |
| CN111832512A (zh) * | 2020-07-21 | 2020-10-27 | 虎博网络技术(上海)有限公司 | 表情检测方法和装置 |
| CN113920575A (zh) * | 2021-12-15 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 一种人脸表情识别方法、装置及存储介质 |
| CN114248779A (zh) * | 2020-09-22 | 2022-03-29 | 宝能汽车集团有限公司 | 车辆的控制方法、控制系统和车辆 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951743A (zh) * | 2015-03-04 | 2015-09-30 | 苏州大学 | 基于主动形状模型算法分析人脸表情的方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
| CN109711356A (zh) * | 2018-12-28 | 2019-05-03 | 广州海昇教育科技有限责任公司 | 一种表情识别方法和系统 |
-
2019
- 2019-09-30 CN CN201910938866.XA patent/CN110705467A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951743A (zh) * | 2015-03-04 | 2015-09-30 | 苏州大学 | 基于主动形状模型算法分析人脸表情的方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
| CN109711356A (zh) * | 2018-12-28 | 2019-05-03 | 广州海昇教育科技有限责任公司 | 一种表情识别方法和系统 |
Non-Patent Citations (6)
| Title |
|---|
| ANDREW_QIAN: "python3+dlib人脸识别及情绪分析", 《博客园》 * |
| ANDREW_QIAN: "python3+dlib实现人脸识别和情绪分析", 《得牛》 * |
| ANDREW_QIAN: "python3+dlib实现人脸识别和情绪分析", 《脚本之家》 * |
| HEAT.HUANG: "Python3+Dlib+OpenCv实现人脸识别及情绪分析", 《CSDN》 * |
| WEIXIN_40277254: "dlib人脸识别及表情分析", 《CSDN》 * |
| 不言: "python3+dlib实现人脸识别和情绪分析", 《PHP中文网》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444860A (zh) * | 2020-03-30 | 2020-07-24 | 东华大学 | 一种表情识别方法和系统 |
| CN111832512A (zh) * | 2020-07-21 | 2020-10-27 | 虎博网络技术(上海)有限公司 | 表情检测方法和装置 |
| CN111728602A (zh) * | 2020-08-21 | 2020-10-02 | 之江实验室 | 基于ppg的无接触血压测量装置 |
| CN114248779A (zh) * | 2020-09-22 | 2022-03-29 | 宝能汽车集团有限公司 | 车辆的控制方法、控制系统和车辆 |
| CN113920575A (zh) * | 2021-12-15 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 一种人脸表情识别方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705467A (zh) | 一种人脸表情识别方法、系统、装置和存储介质 | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| CN108388876B (zh) | 一种图像识别方法、装置以及相关设备 | |
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| CN111563417B (zh) | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 | |
| Lahiani et al. | Real time hand gesture recognition system for android devices | |
| JP7016522B2 (ja) | 次元データ低減を有するマシンビジョン | |
| KR101198322B1 (ko) | 얼굴 표정 인식 방법 및 시스템 | |
| CN111243050B (zh) | 肖像简笔画生成方法、系统及绘画机器人 | |
| CN109711304A (zh) | 一种人脸特征点定位方法及装置 | |
| CN110909680A (zh) | 人脸图像的表情识别方法、装置、电子设备及存储介质 | |
| Miah et al. | Rotation, Translation and Scale Invariant Sign Word Recognition Using Deep Learning. | |
| Alabbasi et al. | Real time facial emotion recognition using kinect V2 sensor | |
| KR100988323B1 (ko) | 표정 증폭을 이용한 미세 표정인식 방법 및 장치 | |
| CN113591763A (zh) | 人脸脸型的分类识别方法、装置、存储介质及计算机设备 | |
| CN112699857A (zh) | 基于人脸姿态的活体验证方法、装置及电子设备 | |
| US10803677B2 (en) | Method and system of automated facial morphing for eyebrow hair and face color detection | |
| CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
| Kumarage et al. | Real-time sign language gesture recognition using still-image comparison & motion recognition | |
| CN112149605B (zh) | 一种人脸识别方法、装置、设备及存储介质 | |
| KR101145672B1 (ko) | 미소 훈련을 위한 미소 분석 시스템 | |
| KR102229056B1 (ko) | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| KR101525011B1 (ko) | Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 | |
| CN115294623B (zh) | 一种人体全身动作捕捉方法、装置、存储介质及终端 | |
| KR20230041484A (ko) | 얼굴 표정을 인식하기 위한 랜드마크 기반의 학습 모델 생성 방법 및 생성된 학습 모델을 이용한 얼굴 표정 인식 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |