CN110110672A - 一种人脸表情识别方法、装置及设备 - Google Patents
一种人脸表情识别方法、装置及设备 Download PDFInfo
- Publication number
- CN110110672A CN110110672A CN201910389191.8A CN201910389191A CN110110672A CN 110110672 A CN110110672 A CN 110110672A CN 201910389191 A CN201910389191 A CN 201910389191A CN 110110672 A CN110110672 A CN 110110672A
- Authority
- CN
- China
- Prior art keywords
- region
- human face
- subregion
- face
- face region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 40
- 206010063385 Intellectualisation Diseases 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 239000013589 supplement Substances 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸表情识别方法、装置、设备及计算机可读存储介质，其中，该方法包括：获取待识别图片，并检测所述待识别图片中包含的人脸区域；将所述人脸区域定义为预设数量的人脸分区，每个所述人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一所述人脸分区；基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区；对所述人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。本申请先将人脸区域补充完整，进而对补充完整的人脸区域进行表情识别，从而能够充分识别到完整的人脸表情特征，减小了误差率。
Description
技术领域
本发明涉及计算机视觉技术领域，更具体地说，涉及一种人脸表情识别方法、装置、设备及计算机可读存储介质。
背景技术
在计算机视觉技术领域需要通过对图像和视频等获取的图片中的人脸进行人脸表情识别，进而应用到安防、自动驾驶、医疗成像等行业中。目前用于实现图片中人脸表情识别的技术方案在获取包含有人脸的图片后，直接通过人脸表情识别的算法对图片中的人脸进行人脸表情识别。但是发明人发现，现有技术获取的图片中经常存在包含的人脸部分被遮挡的情况，这种情况下由于人脸并不完整，直接利用人脸表情识别的算法对其进行人脸表情识别会因无法基于完整的人脸进行识别导致误差率较高的问题。
综上所述，现有技术用于实现人脸表情识别的技术方案存在误差率较高的问题。
发明内容
本发明的目的是提供一种人脸表情识别方法、装置、设备及计算机可读存储介质，能够解决现有技术用于实现人脸表情识别的技术方案存在的误差率较高的问题。
为了实现上述目的，本发明提供如下技术方案：
一种人脸表情识别方法，包括：
获取待识别图片，并检测所述待识别图片中包含的人脸区域；
将所述人脸区域定义为预设数量的人脸分区，每个所述人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一所述人脸分区；
基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区；
对所述人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。
优选的，将所述人脸区域定义为预设数量的人脸分区，包括：
利用所述人脸区域的纵向中心线及至少一条横向贯穿所述人脸区域的水平线将所述人脸区域划分为多个分区，确定得到的多个分区为定义的预设数量的人脸分区。
优选的，利用所述人脸区域的纵向中心线及至少一条横向贯穿所述人脸区域的水平线将所述人脸区域划分为多个分区，包括：
利用两条横向贯穿所述人脸区域且沿纵向等分所述人脸区域的水平线及所述人脸区域的纵向中心线将所述人脸区域划分为多个分区。
优选的，基于特征点匹配算法确定包含被遮挡区域的人脸分区，包括：
基于对称性surf算法匹配各个所述人脸分区及与其相互对称的人脸分区的对称点，并基于对称点的匹配结果确定包含被遮挡区域的人脸分区。
优选的，对所述人脸区域进行表情识别，包括：
利用预先训练得到的卷积神经网络对所述人脸区域进行表情识别。
优选的，检测所述待识别图片中包含的人脸区域，包括：
利用Mask R-CNN检测所述待识别图片中包含的人脸区域。
优选的，对所述人脸区域进行表情识别之后，还包括：
确定与对所述人脸区域进行表情识别得到的结果对应的操作指令，并利用该操作指令控制智能设备实现对应的操作。
一种人脸表情识别装置，包括：
检测模块，用于：获取待识别图片，并检测所述待识别图片中包含的人脸区域；
定义模块，用于：将所述人脸区域定义为预设数量的人脸分区，每个所述人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一所述人脸分区；
处理模块，用于：基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区；
识别模块，用于：对所述人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。
一种人脸表情识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述人脸表情识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述人脸表情识别方法的步骤。
本发明提供了一种人脸表情识别方法、装置、设备及计算机可读存储介质，其中，该方法包括：获取待识别图片，并检测所述待识别图片中包含的人脸区域；将所述人脸区域定义为预设数量的人脸分区，每个所述人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一所述人脸分区；基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区；对所述人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。本申请在检测到待识别图片中的人脸区域后，先将人脸区域划分为以人脸区域的纵向中心线为对称线互相对称的多个人脸区域，然后基于特征点匹配算法确定出包含被遮挡区域的人脸区域，进而通过将与包含被遮挡区域的人脸区域互相对称的另一人脸分区水平镜像得到的图片替换包含被遮挡区域的人脸分区，从而将人脸区域补充完整，进而对补充完整的人脸区域进行表情识别，从而能够充分识别到完整的人脸表情特征，减小了误差率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种人脸表情识别方法的流程图；
图2为本发明实施例提供的一种人脸表情识别方法中人脸分区示意图；
图3为本发明实施例提供的一种人脸表情识别方法中卷积神经网络的示意图；
图4为本发明实施例提供的一种人脸表情识别方法中人脸区域示意图；
图5为本发明实施例提供的一种人脸表情识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明实施例提供的一种人脸表情识别方法的流程图，可以包括：
S11：获取待识别图片，并检测待识别图片中包含的人脸区域。
需要说明的是，本发明实施例提供的一种人脸表情识别方法的执行主语可以为对应的人脸表情识别装置。其中，待识别图片即为需要进行人脸表情识别的包含有人脸的图片，图片中包含的人脸区域即为图片中包含的人脸所在的区域；在获取到待识别图片后，可以检测待识别图片中包含的人脸区域，以基于该人脸区域实现人脸表情识别。
S12：将人脸区域定义为预设数量的人脸分区，每个人脸分区均具有以人脸区域的纵向中心线为对称线互相对称的另一人脸分区。
预设数量可以根据实际需要进行设定，将人脸区域定义为预设数量的人脸分区后，每个人脸分区均具有以人脸区域的纵向中心线为对称线互相对称的另一人脸分区；因此，为了实现每个人脸分区均具有互相对称的另一人脸分区，预设数量为除以2所得的商为整数的数值，预设数量的人脸分区具体为多对基于对称线互相对称的人脸分区。
S13：基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区。
需要说明的是，本申请人脸区域中被遮挡的部分可以占人脸区域全部部分的30％。其中，由于每个人脸分区均具有基于对称线对称的另一人脸分区，因此在互相对称的两个人脸分区上进行特征点匹配，可以确定出两个人脸分区上的特征点不匹配的部分，进而确定出存在被遮挡区域的人脸分区。在确定出存在包含被遮挡区域的人脸分区后，可以对基于对称线与包含被遮挡区域的人脸分区互相对称的另一人脸分区进行水平镜像得到一用于替换的图片，进而用该用于替换的图片替换包含被遮挡区域的人脸分区，以将人脸区域补充完成。由于人脸本身就是基于纵向中心线对称的，因此在任一部分人脸被遮挡或者由于其他原因无法正常显示时，利用该无法正常显示的任一部分人脸对称的另一部分人脸进行水平镜像即可得到该无法正常显示的任一部分人脸，从而得到完整的人脸。另外，对一人脸分区进行水平镜像也即将该人脸分区包含的全部像素进行水平镜像得到的，这与本领域相关技术方案的实现原理一致，在此不再赘述。
S14：对人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。
在将人脸区域补充完整后，则可以对补充完整的人脸区域进行表情识别，进而基于识别所得结果进行人机智能交互。
本申请在检测到待识别图片中的人脸区域后，先将人脸区域划分为以人脸区域的纵向中心线为对称线互相对称的多个人脸区域，然后基于特征点匹配算法确定出包含被遮挡区域的人脸区域，进而通过将与包含被遮挡区域的人脸区域互相对称的另一人脸分区水平镜像得到的图片替换包含被遮挡区域的人脸分区，从而将人脸区域补充完整，进而对补充完整的人脸区域进行表情识别，从而能够充分识别到完整的人脸表情特征，减小了误差率。
本发明实施例提供的一种人脸表情识别方法，将人脸区域定义为预设数量的人脸分区，可以包括：
利用人脸区域的纵向中心线及至少一条横向贯穿人脸区域的水平线将人脸区域划分为多个分区，确定得到的多个分区为定义的预设数量的人脸分区。
本实施例中利用纵向中心线及至少一条贯穿人脸区域的水平线实现人脸分区的划分，从而能够以最简单的方式实现人脸分区的划分。并且，这种方式得到的人脸分区中，不同的人脸分区之间不存在互相覆盖的区域，从而能够最大程度的减少特征点匹配算法所需的计算及水平镜像所需的计算，也即本实施例能够提高人脸表情识别的实现效率。
本发明实施例提供的一种人脸表情识别方法，利用人脸区域的纵向中心线及至少一条横向贯穿人脸区域的水平线将人脸区域划分为多个分区，可以包括：
利用两条横向贯穿人脸区域且沿纵向等分人脸区域的水平线及人脸区域的纵向中心线将人脸区域划分为多个分区。
人脸分区的数量具体可以根据实际需要进行设定，本实施例中设定人脸分区的数量为六块，是因为在具体实现中如果将人脸分区的数量设定为四块，则会导致对被遮挡区域的检测不完全，如果将人脸分区的数量设定为八块甚至更多，则会导致实现人脸表情识别时的运算过于复杂。因此本实施例中将人脸分区的数量设定为六块，能够在运算不会过于复杂的同时保证被遮挡区域的检测完全性及准确性。
另外，人脸区域的纵向中心线可以为人脸区域中鼻子中心点或者说鼻梁所在的纵向线，在这种情况下将人脸区域划分为六块后得到的示意图可以如图2所示；由于人脸基本以鼻子中心点或者说鼻梁为中心左右对称，因此以这种方式确定纵向中心线能够一定程序上保证纵向中心线左右两侧图片的对称性，进而实现人脸补充的准确性。
本发明实施例提供的一种人脸表情识别方法，基于特征点匹配算法确定包含被遮挡区域的人脸分区，可以包括：
基于对称性surf算法匹配各个人脸分区及与其相互对称的人脸分区的对称点，并基于对称点的匹配结果确定包含被遮挡区域的人脸分区。
对称性surf算法是一种用于不同图像之间特征匹配的尺度不变特征检测器和描述符，本实施例中将该算法作为特征点匹配算法，能够利用该对称性surf算法具有的特征点匹配准确性高的特点，保证被遮挡区域的准确检测。
具体来说，基于对称性surf算法确定包含被遮挡区域的人脸分区的过程可以包括：
在人脸区域集中提取兴趣点(可以是在人脸区域的积分图像上使用哈希矩阵近似逼近高斯倒数的算子实现兴趣点的提取，具体来说，积分图像就是人脸区域中每个像素的灰度都是它与坐标原点(0,0)形成的对角线的矩形内的所有像素的灰度值之和；而在积分图像上提取兴趣点可以是在积分图像某一点上，对各个方向求高斯导数，得到其值由不同方向的高斯导数构成的哈希矩阵后定位特征点，在定位兴趣点时将经过hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较，如果它是这26个点中的最大值或者最小值，则保留下来作为初步的兴趣点)，依次以每个兴趣点为中心，提取一个20*20的平方区域，将其进一步分割为4*4的网格，每个网格有5*5个规律间隔的采样点。然后从每个网格中计算哈尔小波响应dx和dy，形成一个4D描述符向量(∑dx,∑dy,∑|dx|，∑|dy|)，将所有的4*4网格连接起来得到一共64维描述符向量。
用B0表示从人脸区域提取出的原始正方形(B0为一矩阵，其包含的值一一对应兴趣点在这个区域的的像素值)，对B0进行水平镜像得到的，可以分别表示为：
其中，Bxy为B0在像素(x,y)处的强度(像素的数值大小)，将B0和Bmir分别划分为4×4的次地区的形式，表示如下：
当Bij的小波响应的和按照下列公式计算：
当dx(b)＝by,x+1-by,x，dy(b)＝by+1,x-by,x，用代表小波响应的和，则有：
然后，Bij和的surf描述符可以通过下列公式被分别提取：
通过Bi一个新的特征向量fi可以下列形式被构造：
fi＝(fi,0,fi,1,fi,2,fi,3)，
同理，对于另一个特征向量fi m可以被构造成下列形式：
所以，surf描述符相对于B0的f0，相对于Bmir的fmir可以分别表示为：
f0＝[f0f1f2f3]t，fmir＝[f0 mf1 mf2 mf3 m]t；
f0和fmir之间的转换可以通过把每一行的fi转变成fi m(用关系方程式)实现，f0和fmir的维度是4×16，设置两个surf描述符fp和fq，他们的距离可以被定义成：
基于上述公式计算两个surf描述符fp和fq之间的距离，如果该距离大于对应的阈值，则说明两个surf描述符fp和fq对应兴趣点未被遮挡，否则则说明兴趣点被遮挡，此时确定其描述符向量(具体可以为描述符向量包含的∑dx,∑|dx|)不在预先确定的取值范围内的兴趣点为被遮挡的兴趣点，进而确定出被遮挡区域。
本发明实施例提供的一种人脸表情识别方法，对人脸区域进行表情识别，可以包括：
利用预先训练得到的卷积神经网络对人脸区域进行表情识别。
其中，卷积神经网络可以为Alexnet，由于卷积神经网络进行表情识别时具有识别准确性较高的特点，因此使得本申请在进行表情识别时能够实现较高的识别准确性。具体来说，针对人脸表情分类类别较少(可以分为7类，包括愤怒、厌恶、恐惧、高兴、悲伤、惊讶、中性等)的特点，本实施例对Alexnet进行了相应的修改，如图3所示；该卷积神经网络主要由7层构成，依次包含4个卷积层(Conv1，Conv2，Conv3和Conv4)和3个全连接层(FC5，FC6和FC7)，其中不包括输入层和输出层。每一个卷积层和全连接层后紧跟着非线性激活层ReLU，为避免网络结构图过于复杂并未在图3中画出；在池化层Pool1、Pool2后紧跟着局部响应归一化(Local Response Normalization，LRN)层，即Norm1、Norm2；池化层Pool1、Pool2分别紧跟在卷积层Conv1、Conv2后面；全连接层FC5、FC6后面分别跟着Dropout层Drop5、Drop6；最后一个全连接层FC7跟着一个Softmax层，该Softmax层含有多个神经元，对全连接层输出的特征进行分类，Softmax层包含的神经元的个数与人脸表情类别的个数相同，如人脸表情分为7类，则Softmax层包含个神经元，从而将人脸表情分成愤怒、厌恶、恐惧、高兴、悲伤、惊讶、中性共7类。对卷积神经网络包含的每层进行详细说明：
1)卷积层
将上一层输出得到的所有特征图作为卷积层的输入，用一组不同的可学习的卷积核进行卷积求和操作，并加上本组卷积核的偏置，然后再经过激活函数的非线性变换形成当前层的神经元，从而得到当前层的一个特征图；以此类推，多组卷积核分别经过上述的卷积操作即可得到当前层的多个特征图。具体的卷积层的卷积操作表达式为：
为表述方便，称第l层为当前层，第l-1层为上一层；表示当前层第j个特征图；wij表示当前层第j组卷积核中与上一层第i个特征图的卷积核；表示卷积运算；表示上一层第i个特征图；表示当前层第j组卷积核的偏置，表示上一层中与当前层第j组卷积核相连接的特征图的数量；M表示当前层所有特征图的数量；θ(·)表示激活函数，本实施例采用性能较好的修正线性单元(Rectified Linear Units，ReLU)函数，其中，ReLU函数的表达式为：
θ(x)＝max(0,x)。
2)池化层
卷积层得到的特征往往维数较高，当直接用卷积层得到的特征去训练Softmax分类器时，分类器会因维数过高而无法工作，也就是所谓的维数灾难问题。而池化层的作用是对输入进行下采样的一个操作，故池化层也称为下采样层。下采样操作并不决定特征图的增减，而只是降低特征图的维数，从而较好地解决了上述的维数灾难问题。且经下采样后的特征图的输出具有一定的平移不变性。池化的一般表达式为：
表示当前层的第j个特征图；表示上一层的第j个特征图；down(·)表示一个下采样操作；表示当前层第j个特征图的乘性偏置；表示当前层第j个特征图的加性偏置；θ(·)表示激活函数，本实验采用恒等函数。
3)全连接层
全连接层的输入要求是一维向量，而上一层的所有输出特征图都是二维矩阵，所以首先需将前面所有特征图对应的二维矩阵光栅化为一维向量，即得到一个特征向量，作为全连接层每一神经元的输入。每个神经元的输出为：
hw,b(x)＝θ(wTx+b)；
hw,b(x)表示神经元的输出值；x表示二维矩阵已光栅化后的输入特征向量；w表示神经元的权值向量；b表示神经元的偏置；θ(·)表示激活函数。
4)Softmax层
Softmax是一个回归模型，由逻辑回归模型的扩展而来。对于训练集{(x(1),y(1)),…,(x(n),y(n))}，有类标记为y(i)∈{1,2,…k}，本实施例中将人脸表情分为7类，k取7，则多分类的假设函数为：
最小化代价函数，但是直接求解该最小化，会导致参数θ冗余问题。加入权重衰减项可以解决该问题，加入权重衰减项后的代价函数为：
本发明实施例提供的一种人脸表情识别方法，检测待识别图片中包含的人脸区域，可以包括：
利用Mask R-CNN检测待识别图片中包含的人脸区域。
其中，待识别图片中人脸区域的检测可以基于现有技术中任一种人脸检测算法实现，本实施例采用Mask R-CNN实现人脸区域的检测；由于Mask R-CNN具有训练简单、识别速度快且识别准确性高的优点，因此采用Mask R-CNN实现人脸区域的检测，不仅提高了本申请人脸表情识别中检测人脸区域的效率，且提高了检测人脸区域的准确性。具体来说，利用Mask R-CNN实现人脸区域检测的过程可以包括：对待识别图片进行预处理操作，将预处理完成的待识别图片输入至预先训练好的神经网络(该神经网络具有提取特征功能，如ResNeXt等)获得对应的feature map(特征图)；基于这个feature map(特征图)中的点以随机原则设定预定个ROI(感兴趣区域)，从而获取多个候选ROI；将这些候选ROI送入预先训练的RPN网络进行二值分类(前景或背景)和BB回归(Bounding Box Regression，边框回归)，从而将输出的概率小于预先设定的值的候选ROI过滤掉；对剩下的候选ROI进行ROIAlign操作，最后对进行ROIAlign操作后的候选ROI进行分类(N类别分类)、BB回归和MASK生成，具体为在每一个对应的候选ROI里进行FCN操作，得到是否是人脸的概率数，概率数大于预先设定的值的为是人脸，否则则不是人脸，并将是人脸的区域进行突出显示，如用框勾出、在人脸区域加上一层掩膜等，如图4所示。另外，对待识别图片进行预处理可以包括对待识别图片通过剪裁及旋转使之达到归一化，并且通过均值滤波器对其进行去噪，从而方便实现图片学习、提高网络训练及人脸识别速率。
本发明实施例提供的一种人脸表情识别方法，对人脸区域进行表情识别之后，还可以包括：
确定与对人脸区域进行表情识别得到的结果对应的操作指令，并利用该操作指令控制智能设备实现对应的操作。
其中，智能设备可以为智能机器人、手机终端或者其他智能设备，得到对人脸区域进行表情识别得到的结果后，也即获知人脸区域的表情后，可以确定出与识别出的表情对应的操作指令，进而基于该操作指令控制智能设备实现对应操作；如智能设备为智能机器人，识别得到的表情对应操作指令可以是控制智能机器人进行移动、停止移动、扫地、充电、关机等操作的指令，从而实现对智能机器人的相关控制。本实施例中通过对人脸区域进行表情识别得到的结果控制相应智能设备实现对应的操作，能够使得智能设备使用者仅通过表情即实现智能设备的相应控制，提升了使用者的使用体验。
本发明实施例还提供了一种人脸表情识别装置，如图5所示，可以包括：
检测模块11，用于：获取待识别图片，并检测待识别图片中包含的人脸区域；
定义模块12，用于：将人脸区域定义为预设数量的人脸分区，每个人脸分区均具有以人脸区域的纵向中心线为对称线互相对称的另一人脸分区；
处理模块13，用于：基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区；
识别模块14，用于：对人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。
本发明实施例提供的一种人脸表情识别装置，定义模块可以包括：
定义单元，用于：利用人脸区域的纵向中心线及至少一条横向贯穿人脸区域的水平线将人脸区域划分为多个分区，确定得到的多个分区为定义的预设数量的人脸分区。
本发明实施例提供的一种人脸表情识别装置，定义单元可以包括：
定义子单元，用于：利用两条横向贯穿人脸区域且沿纵向等分人脸区域的水平线及人脸区域的纵向中心线将人脸区域划分为多个分区。
本发明实施例提供的一种人脸表情识别装置，处理模块可以包括：
处理单元，用于：基于对称性surf算法匹配各个人脸分区及与其相互对称的人脸分区的对称点，并基于对称点的匹配结果确定包含被遮挡区域的人脸分区。
本发明实施例提供的一种人脸表情识别装置，识别模块可以包括：
识别单元，用于：利用预先训练得到的卷积神经网络对人脸区域进行表情识别。
本发明实施例提供的一种人脸表情识别装置，检测模块可以包括：
检测单元，用于：利用Mask R-CNN检测待识别图片中包含的人脸区域。
本发明实施例提供的一种人脸表情识别装置，还可以包括：
控制模块，用于：对人脸区域进行表情识别之后，确定与对人脸区域进行表情识别得到的结果对应的操作指令，并利用该操作指令控制智能设备实现对应的操作。
本发明实施例还提供了一种人脸表情识别设备，可以包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上任一项人脸表情识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项人脸表情识别方法的步骤。
需要说明的是，本发明实施例提供的一种人脸表情识别装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种人脸表情识别方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种人脸表情识别方法，其特征在于，包括：
获取待识别图片，并检测所述待识别图片中包含的人脸区域；
将所述人脸区域定义为预设数量的人脸分区，每个所述人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一所述人脸分区；
基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区；
对所述人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。
2.根据权利要求1所述的方法，其特征在于，将所述人脸区域定义为预设数量的人脸分区，包括：
利用所述人脸区域的纵向中心线及至少一条横向贯穿所述人脸区域的水平线将所述人脸区域划分为多个分区，确定得到的多个分区为定义的预设数量的人脸分区。
3.根据权利要求2所述的方法，其特征在于，利用所述人脸区域的纵向中心线及至少一条横向贯穿所述人脸区域的水平线将所述人脸区域划分为多个分区，包括：
利用两条横向贯穿所述人脸区域且沿纵向等分所述人脸区域的水平线及所述人脸区域的纵向中心线将所述人脸区域划分为多个分区。
4.根据权利要求3所述的方法，其特征在于，基于特征点匹配算法确定包含被遮挡区域的人脸分区，包括：
基于对称性surf算法匹配各个所述人脸分区及与其相互对称的人脸分区的对称点，并基于对称点的匹配结果确定包含被遮挡区域的人脸分区。
5.根据权利要求4所述的方法，其特征在于，对所述人脸区域进行表情识别，包括：
利用预先训练得到的卷积神经网络对所述人脸区域进行表情识别。
6.根据权利要求5所述的方法，其特征在于，检测所述待识别图片中包含的人脸区域，包括：
利用Mask R-CNN检测所述待识别图片中包含的人脸区域。
7.根据权利要求6所述的方法，其特征在于，对所述人脸区域进行表情识别之后，还包括：
确定与对所述人脸区域进行表情识别得到的结果对应的操作指令，并利用该操作指令控制智能设备实现对应的操作。
8.一种人脸表情识别装置，其特征在于，包括：
检测模块，用于：获取待识别图片，并检测所述待识别图片中包含的人脸区域；
定义模块，用于：将所述人脸区域定义为预设数量的人脸分区，每个所述人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一所述人脸分区；
处理模块，用于：基于特征点匹配算法确定包含被遮挡区域的人脸分区，并利用与包含被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图片替换该包含被遮挡区域的人脸分区；
识别模块，用于：对所述人脸区域进行表情识别，以基于识别所得结果进行人机智能交互。
9.一种人脸表情识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述人脸表情识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述人脸表情识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910389191.8A CN110110672A (zh) | 2019-05-10 | 2019-05-10 | 一种人脸表情识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910389191.8A CN110110672A (zh) | 2019-05-10 | 2019-05-10 | 一种人脸表情识别方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110110672A true CN110110672A (zh) | 2019-08-09 |
Family
ID=67489386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910389191.8A Pending CN110110672A (zh) | 2019-05-10 | 2019-05-10 | 一种人脸表情识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110672A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516598A (zh) * | 2019-08-27 | 2019-11-29 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN112597854A (zh) * | 2020-12-15 | 2021-04-02 | 重庆电子工程职业学院 | 无配合式人脸识别系统及方法 |
| CN113011253A (zh) * | 2021-02-05 | 2021-06-22 | 中国地质大学（武汉） | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654049A (zh) * | 2015-12-29 | 2016-06-08 | 中国科学院深圳先进技术研究院 | 人脸表情识别的方法及装置 |
| CN106709404A (zh) * | 2015-11-16 | 2017-05-24 | 佳能株式会社 | 图像处理装置及图像处理方法 |
| CN106778444A (zh) * | 2015-11-23 | 2017-05-31 | 广州华久信息科技有限公司 | 一种基于多视图卷积神经网络的表情识别方法 |
| CN107729872A (zh) * | 2017-11-02 | 2018-02-23 | 北方工业大学 | 基于深度学习的人脸表情识别方法及装置 |
| CN108710859A (zh) * | 2018-05-23 | 2018-10-26 | 曜科智能科技（上海）有限公司 | 人脸检测方法和设备、人脸识别方法和设备及存储介质 |
| CN108985212A (zh) * | 2018-07-06 | 2018-12-11 | 深圳市科脉技术股份有限公司 | 人脸识别方法及装置 |
| CN109145684A (zh) * | 2017-06-19 | 2019-01-04 | 西南科技大学 | 基于区域最匹配特征点的头部状态监测方法 |
| CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技（深圳）有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
-
2019
- 2019-05-10 CN CN201910389191.8A patent/CN110110672A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709404A (zh) * | 2015-11-16 | 2017-05-24 | 佳能株式会社 | 图像处理装置及图像处理方法 |
| CN106778444A (zh) * | 2015-11-23 | 2017-05-31 | 广州华久信息科技有限公司 | 一种基于多视图卷积神经网络的表情识别方法 |
| CN105654049A (zh) * | 2015-12-29 | 2016-06-08 | 中国科学院深圳先进技术研究院 | 人脸表情识别的方法及装置 |
| CN109145684A (zh) * | 2017-06-19 | 2019-01-04 | 西南科技大学 | 基于区域最匹配特征点的头部状态监测方法 |
| CN107729872A (zh) * | 2017-11-02 | 2018-02-23 | 北方工业大学 | 基于深度学习的人脸表情识别方法及装置 |
| CN108710859A (zh) * | 2018-05-23 | 2018-10-26 | 曜科智能科技（上海）有限公司 | 人脸检测方法和设备、人脸识别方法和设备及存储介质 |
| CN108985212A (zh) * | 2018-07-06 | 2018-12-11 | 深圳市科脉技术股份有限公司 | 人脸识别方法及装置 |
| CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技（深圳）有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516598A (zh) * | 2019-08-27 | 2019-11-29 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN110516598B (zh) * | 2019-08-27 | 2022-03-01 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN112597854A (zh) * | 2020-12-15 | 2021-04-02 | 重庆电子工程职业学院 | 无配合式人脸识别系统及方法 |
| CN113011253A (zh) * | 2021-02-05 | 2021-06-22 | 中国地质大学（武汉） | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417526B2 (en) | Object recognition method and device | |
| US8406470B2 (en) | Object detection in depth images | |
| CN111199230B (zh) | 目标检测的方法、装置、电子设备及计算机可读存储介质 | |
| CN110110672A (zh) | 一种人脸表情识别方法、装置及设备 | |
| CN107135664A (zh) | 一种人脸识别的方法以及人脸识别装置 | |
| CN102789637B (zh) | 基于改进的susan算子的显著性区域提取 | |
| CN105678788A (zh) | 一种基于hog和低秩分解的织物疵点检测方法 | |
| Vishwakarma et al. | Unified framework for human activity recognition: an approach using spatial edge distribution and ℜ-transform | |
| CN111611849A (zh) | 一种用于门禁设备的人脸识别系统 | |
| CN105893941B (zh) | 一种基于区域图像的人脸表情识别方法 | |
| Wang et al. | Background subtraction on depth videos with convolutional neural networks | |
| CN110807463B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| Kumar | Artificial neural network based face detection using gabor feature extraction | |
| CN111353385A (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| Mao et al. | Semi-dense stereo matching using dual CNNs | |
| Munkelt et al. | A model driven 3D image interpretation system applied to person detection in video images | |
| Ayoub et al. | Visual saliency detection based on color frequency features under Bayesian framework | |
| Hoang et al. | Joint components based pedestrian detection in crowded scenes using extended feature descriptors | |
| Krinski et al. | Masking salient object detection, a mask region-based convolutional neural network analysis for segmentation of salient objects | |
| Cai et al. | Vehicle detection based on visual saliency and deep sparse convolution hierarchical model | |
| Dixit et al. | Face recognition using approximated bezier curve and supervised learning approach | |
| Wang et al. | Effective multi-resolution background subtraction | |
| Juang et al. | Moving object recognition by a shape-based neural fuzzy network | |
| Borah et al. | ANN based human facial expression recognition in color images | |
| Kumbhar et al. | Facial expression recognition using gabor wavelet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |