CN111783622A - 人脸表情识别的方法、装置、设备和计算机可读存储介质 - Google Patents
人脸表情识别的方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111783622A CN111783622A CN202010605363.3A CN202010605363A CN111783622A CN 111783622 A CN111783622 A CN 111783622A CN 202010605363 A CN202010605363 A CN 202010605363A CN 111783622 A CN111783622 A CN 111783622A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- facial expression
- key points
- expression recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005284 excitation Effects 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000006835 compression Effects 0.000 claims abstract description 21
- 238000007906 compression Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 230000014509 gene expression Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 15
- 210000000697 sensory organ Anatomy 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了人脸表情识别的方法、装置、设备和计算机可读存储介质，涉及图像处理中的计算机视觉、深度学习、图像识别、图像检索等技术，具体实现方案为：检测待识别图像中的人脸关键点；根据所述人脸关键点，提取人脸表情关键区域的特征图；将所述特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果，其中所述人脸表情识别模型是通过对卷积神经网络训练得到的，所述卷积神经网络的每个卷积层后增加压缩激励模块，能够提高人脸表情识别的准确性，可以应用于视觉交互、智能控制、辅助驾驶、远程教育、广告精准投放等领域。
Description
技术领域
本申请实施例涉及图像处理中的计算机视觉、深度学习、图像识别、图像检索等技术，尤其涉及一种人脸表情识别的方法、装置、设备和计算机可读存储介质，可以应用于视觉交互、智能控制、辅助驾驶、远程教育、广告精准投放等领域。
背景技术
随着图像处理技术的发展，人脸表情识别已广泛应用于各个领域。人脸表情识别是指从给定的人脸图像中识别确定人脸的表情状态。例如，生气、厌恶、恐惧、高兴、悲伤、惊讶等。
现实场景中人脸表情是自发产生的，与大部分实验室采集样本差别很大，同时人脸大姿态、大遮挡、光线不均匀、图片质量参差不齐、表情特征不明显等问题，增大了识别的难度，传统人脸表情识别方法识别准确度低。
发明内容
本申请提供了一种人脸表情识别的方法、装置、设备和计算机可读存储介质。
根据本申请的一方面，提供了一种人脸表情识别的方法，包括：
检测待识别图像中的人脸关键点；
根据所述人脸关键点，提取人脸表情关键区域的特征图；
将所述特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果，其中所述人脸表情识别模型是通过对卷积神经网络训练得到的，所述卷积神经网络的每个卷积层后增加压缩激励模块。
根据本申请的另一方面，提供了一种人脸表情识别的装置，包括：
关键点检测单元，用于检测待识别图像中的人脸关键点；
特征提取单元，用于根据所述人脸关键点，提取人脸表情关键区域的特征图；
人脸表情识别单元，用于将所述特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果，其中所述人脸表情识别模型是通过对卷积神经网络训练得到的，所述卷积神经网络的每个卷积层后增加压缩激励模块。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述所述的方法。
根据本申请的技术提高了人脸表情识别的准确性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请第一实施例提供的人脸表情识别的方法流程图；
图2是本申请第二实施例提供的人脸表情识别的方法流程图；
图3是本申请第二实施例提供的卷积神经网络中压缩激励模块的示意图；
图4是本申请第三实施例提供的人脸表情识别的装置示意图；
图5为本申请第四实施例提供的人脸表情识别的装置的示意图；
图6是用来实现本申请实施例的人脸表情识别的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供一种人脸表情识别的方法、装置、设备和计算机可读存储介质，涉及图像处理中的计算机视觉、深度学习、图像识别、图像检索等技术，以达到提高人脸表情识别准确性的技术效果，可以应用于视觉交互、智能控制、辅助驾驶、远程教育、广告精准投放等领域。
示例性地，本申请的一种应用场景为：在辅助驾驶领域，通过采集包含驾驶员人脸的图像，通过本申请实施例提供的人脸表情识别的方法精准地识别图像中驾驶员的人脸表情，如果驾驶员的人脸表情属于预先设定的涉及危险驾驶的表情，可以进行相应处理，例如可以警示驾驶员控制自己的情绪，以保证安全驾驶。
示例性地，本申请的另一种应用场景为：在远程教育领域，通过采集包含学生人脸的图像，通过本申请实施例提供的人脸表情识别的方法精准地识别图像中学生的人脸表情，如果学生的人脸表情属于预先设定的学习状态差的表情，可以进行相应处理，例如可以提醒老师询问或者关注该学生的学习情况，以提高教学效果。
示例性地，本申请的另一种应用场景为：在远程教育领域，通过采集包含老师人脸的图像，通过本申请实施例提供的人脸表情识别的方法精准地识别图像中老师的人脸表情，如果老师的人脸表情属于预先设定的教学状态差的表情，可以进行相应处理，例如提醒老师调整自己的状态，以提高教学效果。
本申请还可以应用与其他多个应用场景中，本实施例此处不做具体限定。
图1是本申请第一实施例提供的人脸表情识别的方法流程图。如图1所示，该方法具体步骤如下：
步骤S101、检测待识别图像中的人脸关键点。
人脸表情根据人脸肌肉的变化分为7类基本表情，生气(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happiness)、悲伤(Sadness)、惊讶(Surprise)和中性(Neutral)。
在实际应用中，由于现实场景中人脸表情是自发产生的，与大部分实验室采集样本差别很大，同时存在人脸大姿态、大遮挡、光线不均匀、图片质量参差不齐、表情特征不明显等问题。
本申请实施例中，考虑到人脸关键点附近包含丰富的人脸表情信息，将人脸关键点附近区域作为人脸表情关键区域，为了提取人脸表情关键区域的特征图，该步骤中，首先检测待识别图像中的人脸关键点。
本申请实施例中定义的人脸关键点包括72个关键点，其中13个关键点是用于表示人脸轮廓的关键点，可以称为人脸轮廓关键点；其他的59个关键点分别位于人脸的五官位置，可以称为五官关键点。
其中，检测待识别图像中的人脸关键点的方法可以采用现有技术中任意一种检测人脸图像中的人脸关键点的算法实现，本实施例此处不再赘述。
步骤S102、根据人脸关键点，提取人脸表情关键区域的特征图。
在检测到待识别图像中的人脸关键点之后，根据人脸关键点的位置，确定各个人脸关键点周围的区域块，综合各个人脸关键点周围的区域块生成人脸表情关键区域的特征图，使得特征图中包含丰富的人脸表情信息，同时还可以减少背景等噪声干扰。
步骤S103、将特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果，其中人脸表情识别模型是通过对卷积神经网络训练得到的，卷积神经网络的每个卷积层后增加压缩激励模块。
在得到待识别图像中人脸表情关键区域的特征图之后，将特征图输入人脸表情识别模型，通过人脸表情识别模型进行人脸表情识别，输出识别结果。
其中，人脸表情识别模型用于根据特征图进行人脸表情分类识别。
本申请实施例中，人脸表情识别模型是通过对卷积神经网络训练得到的。在传统卷积神经网络的基础上，人脸表情识别模型中在每个卷积层后增加压缩激励模块。
其中，压缩激励模块能够在卷积层输出特征的基础上，为每个通道增加一个权重，通过控制每个通道权重的大小，把重要的特征增强，不重要的特征减弱，从而让提取的特征指向性更强，实现了在通道维度上增加注意力机制，可以自适应地选择对当前表情分类贡献较大的区域块进行最终的分类，能够提高表情分类的准确性。
压缩激励模块可以采用现有技术中的SENet(英文全称：Squeeze-and-ExcitationNetworks，中文全称：压缩激励模块/压缩激励网络)来实现，本实施例此处不再赘述。
本申请实施例通过检测待识别图像中的人脸关键点；根据人脸关键点，提取人脸表情关键区域的特征图，使得特征图中包含丰富的人脸表情信息，同时还可以减少背景等噪声干扰，可以大大提高复杂环境下人脸表情识别的准确率和鲁棒性；进一步地，在每个卷积层后增加压缩激励模块，通过压缩激励模块为每个通道增加一个权重，在通道维度上增加注意力机制，可以自适应地选择对当前表情分类贡献较大的区域块进行最终的分类，能够提高表情分类的准确性。
图2是本申请第二实施例提供的人脸表情识别的方法流程图。在上述第一实施例的基础上，本实施例中，根据人脸关键点，提取人脸表情关键区域的特征图，包括：根据人脸关键点对人脸区域进行图像预处理，得到第一人脸图像；从第一人脸图像中截取以人脸关键点为中心的区域块；将区域块在通道层叠加，得到特征图。如图2所示，该方法具体步骤如下：
步骤S201、检测待识别图像中的人脸区域。
本实施例中，在检测人脸关键点之前，首先检测待识别图像中的人脸区域，以缩小人脸关键点检测的范围，提高人脸关键点检测的准确性。
其中，待识别图像是一张包含人脸的图像。
该步骤中，通过检测待识别图像中的人脸区域，可以确定待识别图像中人脸的大致位置区域(也即检测到的人脸区域)。
示例性地，该步骤中，可以利用现有技术中任意的人脸检测模型实现检测待识别图像中的人脸区域，本实施例此处不再赘述。
步骤S202、通过人脸关键点检测模型，检测人脸区域中的人脸关键点。
其中，人脸关键点包括72个关键点，其中13个关键点是用于表示人脸轮廓的关键点，可以称为人脸轮廓关键点；其他的分别位于人脸的五官位置的59个关键点，可以称为五官关键点。
另外，随着人脸关键点技术的发展，人脸关键点的数量和位置可能发生变化，本申请中的人脸关键点的数量和位置也可以随之发生变化，变化后同样适应本申请的方法，本实施例此处不做具体限定。
在确定待识别图像中的人脸区域之后，通过人脸关键点检测模型，检测人脸区域中的人脸关键点，得到人脸关键点的坐标值。
该步骤中，人脸关键点检测模型可以采用现有技术中任意一种人脸关键点检测的模型实现，本实施例此处不再赘述。
步骤S203、根据人脸关键点对人脸区域进行图像预处理，得到第一人脸图像。
在确定待识别图像的人脸区域中的人脸关键点之后，根据人脸关键点的位置，对人脸区域进行图像预处理，得到第一人脸图像。
一种可能的实施方式中，该步骤具体可以采用如下方式实现：
根据人脸关键点对人脸区域中的目标人脸进行人脸对齐，同时通过仿射变换截取人脸部分，并将人脸部分调整到预设尺寸，得到第二人脸图像；对第二人脸图像进行归一化处理，得到第三人脸图像；对第三人脸图像进行数据增强处理，得到第一人脸图像。
通过这种方式对人脸区域进行图像预处理得到第一人脸图像，基于第一人脸图像提取的特征图进行人脸表情识别，可以大大提高复杂环境下人脸表情识别的准确率和鲁棒性。
示例性地，根据人脸关键点对人脸区域中的目标人脸进行人脸对齐，同时通过仿射变换截取预设尺寸的人脸部分，得到第二人脸图像，可以采用如下方式实现：
步骤一、根据人脸关键点坐标中的两个眼睛关键点(分别位于左眼和右眼的相同位置)，做眼睛对齐，将两个眼睛关键点的坐标进行连线，确定该连线与水平线的夹角θ；通过仿射变换的方式对人脸区域进行整体旋转。如果夹角θ为负，则将人脸区域顺时针旋转θ，如果夹角θ为正，则将人脸区域逆时针旋转θ，使得旋转后的人脸区域中上述两个眼睛关键点的坐标连线水平。同时，将所有人脸关键点的坐标更新为旋转后的人脸关键点坐标。
步骤二、根据更新后的人脸关键点坐标，求出一个平均坐标，将该平均坐标作为整个人脸的中心坐标。计算人脸关键点的坐标中横坐标最大值和横坐标最小值，将确定横坐标最大值与横坐标最小值的差值(或者该差值的预设倍数的值，例如，该差值的1.2或者1.5倍)作为人脸剪裁框的边长。根据人脸的中心坐标和人脸剪裁框的边长确定仿射变换矩阵，根据放射变换矩阵将人脸区域转换到预设尺寸的只包括人脸的人脸部分，得到第二人脸图像。另外，人脸关键点也根据仿射变换矩阵进行变换。
其中，预设尺寸可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。例如，预设尺寸可以是224x224。
另外，本申请另一实施例中，还可以采用现有技术中任意一种能够进行人脸对齐以及截取只包括人脸部分的第二人脸图像的方法实现，本实施例此处不再赘述。
示例性地，对第二人脸图像进行归一化处理，可以是对第二人脸图像中每一个像素进行归一化处理，将每个像素的像素值减128再除以256，使得每个像素的像素值在[-0.5，0.5]的范围内，得到第三人脸图像。
示例性地，对第三人脸图像进行的数据增强处理，可以对第三人脸图像随机地进行以下至少一项处理：翻转处理，平移处理，缩放处理，灰度化处理，添加白噪声。
本实例的另一种可能的实施方式中，在上述实施方式的基础上，还可以根据人脸关键点对人脸区域中的目标人脸进行人脸对齐，同时通过仿射变换截取人脸部分，并将人脸部分调整到预设尺寸，得到第二人脸图像；对第二人脸图像进行归一化处理，得到第一人脸图像。
该步骤中，在根据人脸关键点对人脸区域进行图像预处理，得到第一人脸图像过程中，人脸关键点的坐标也需要进行相应地更新。
步骤S204、从第一人脸图像中截取以人脸关键点为中心的区域块。
示例性地，以每个人脸关键点为中心，截取预设大小的区域块，得到多个区域块。
其中，预设大小可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。例如，预设大小可以是36x36x3。
本申请实施例中，由于人脸轮廓包含的表情信息较少，在截取区域块时，可以排除人脸轮廓关键点，只截取五官关键点(对应的区域块，也即是，从第一人脸图像中截取以人脸五官关键点为中心的区域块。
具体地，在第一人脸图像中，截取以每个人脸五官关键点为中心的预设大小的区域块，得到的区域块的数量与五官关键点的数量相等。通过截取丰富的人脸表情信息集中在的五官关键点周围的区域块，能够进一步地减少背景等噪声的干扰，进一步提高复杂环境下人脸表情识别的准确率和鲁棒性。
例如，预设大小可以是36x36x3，截取59个五官关键点周围的区域块，得到59个36x36x3大小的区域块。
步骤S205、将区域块在通道层叠加，得到人脸表情关键区域的特征图。
在得到以人脸关键点为中心的多个区域块之后，可以将各个区域块在通道层叠加，得到人脸表情关键区域的特征图。
例如，对于59个36x36x3大小的区域块，在通道层进行叠加，得到36x36x177大小的特征图。
通过截取包含丰富的人脸表情信息的人脸关键点周围的区域块，并叠加得到特征图，以特征图代替完整人脸进行表情识别，不仅可以使模型更容易学习表情信息，同时也避免了背景等噪声的干扰，可以大大提高复杂环境下人脸表情识别的准确率和鲁棒性，即使在表情强度较低的情况下，也可以实现人脸表情的准确识别。
步骤S206、将特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果。
其中，人脸表情识别模型是通过对卷积神经网络训练得到的，卷积神经网络的每个卷积层后增加压缩激励模块。
本申请实施例中，通过在传统卷积神经网络模型的每个卷积层后增加压缩激励模块，在通道维度上加入注意力机制，可以自适应的选择对当前表情分类贡献较大的区域块进行最终的分类，提高表情分类的准确性。
具体地，压缩激励模块包括：全局平均池化层，两个全连接层和sigmoid函数层。
例如，如图3所示，图中的Ftr表示卷积神经网络中的卷积层结构，X和U分别表示Ftr的输入(与一个C'xH'xW'的张量)和输出(一个CxHxW的张量)。在卷积层Ftr后面增加的SENet部分是图3中U后的结构：包括：Fsq(·)，Fex(·,W)，Fscale(·,·)和
其中，Fsq(·)表示SENet中的压缩(Squeeze)过程，用一个全局平均池化(Global Average Pooling，简称GAP)层实现，输入是CxHxW的张量，输出是1x1xC的向量；Fex(·,W)表示SENet中的激励(Excitation)过程，采用两级全连接层实现，输入是1x1xC的向量，输出仍然是1x1xC的向量；Fscale(·,·)表示Sigmoid函数，输入是1x1xC的向量，用于将向量中的每个值映射到[0，1]的范围，输出仍然是1x1xC的向量，这个向量作为权重向量；
表示将权重向量与Ftr的输出相乘，得到的结果作为下一层的输入。
通过压缩激励模块，能够在卷积层输出特征的基础上，为每个通道增加一个权重，通过控制每个通道权重的大小，把重要的特征增强，不重要的特征减弱，从而让提取的特征指向性更强，实现了在通道维度上增加注意力机制，可以自适应地选择对当前表情分类贡献较大的区域块进行最终的分类，能够提高表情分类的准确性。
优选地，卷积神经网络中最后一个压缩激励模块之后，还包括一个双线性模块，双线性模块用于提取二阶特征，以提高人脸表情分类的准确性。
双线性模型计算不同空间位置的外积，并对不同空间位置计算平均汇合以得到二阶特征。外积捕获了特征通道之间成对的相关关系，并且具有平移不变性。双线性汇合提供了比线性特征更强的二阶特征表示，并可以端到端地进行优化。
具体实现方法为：将卷积神经网络中最后一个压缩激励模块后的输出(一个CxHxW的张量)拉伸为一维的特征矩阵X，作为双线性模块的输入，将特征矩阵X的转置矩阵XT与特征矩阵X做外积得到二阶特征矩阵，然后将二阶特征矩阵重新拉伸为一维特征向量，再将特征向量经过符号平方根变换和L2标准化，得到最终的特征向量，最后将最终的特征向量经过全连接层和Softmax层进行图像分类，完成最终的人脸表情分类，也即完成人脸表情识别。
示例性地，用于实现人脸表情识别模型的卷积神经网络，包括5个卷积层，任意两个相邻卷积层中间均设置一个最大池化层，每个卷积层后连接一个压缩激励模块，最后一个压缩激励模块后连接一个双线性(bilinear)模块，双线性模型后连接全连接层和Softmax层。
本申请实施例中，在进行人脸表情识别之前，可以预先获取大量训练数据，利用训练数据对卷积神经网络进行模型训练，得到人脸表情识别模型，以提高人脸表情识别的效率。
其中，训练数据包括多条样本数据，每条样本数据包括样本图像对应的特征图和表情分类。
具体地，获取训练数据包括：获取多个样本图像，获取每个样本图像的特征图及表情分类。
进一步地，获取每个样本图像的特征图的过程与上述步骤S201-S205中确定待识别图像中人脸表情关键区域的特征图的过程一样，本实施例此处不再赘述。
每个样本图像对应的表情分类可以通过人工标注得到。
本申请实施例通过在检测人脸关键点之前，首先检测待识别图像中的人脸区域，以缩小人脸关键点检测的范围，提高人脸关键点检测的准确性，通过截取丰富的人脸表情信息集中在的五官关键点周围的区域块，能够进一步地减少背景等噪声的干扰，进一步提高复杂环境下人脸表情识别的准确率和鲁棒性；进一步地，通过在卷积神经网络中最后一个压缩激励模块之后增加双线性模块，双线性模块用于提取二阶特征，可以进一步提高人脸表情分类的准确性。
图4是本申请第三实施例提供的人脸表情识别的装置示意图。本申请实施例提供的人脸表情识别的装置可以执行人脸表情识别的方法实施例提供的处理流程。如图4所示，该人脸表情识别的装置30包括：关键点检测单元301，特征提取单元302和人脸表情识别单元303。
具体地，关键点检测单元301用于检测待识别图像中的人脸关键点。
特征提取单元302用于根据人脸关键点，提取人脸表情关键区域的特征图。
人脸表情识别单元303用于将特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果，其中人脸表情识别模型是通过对卷积神经网络训练得到的，卷积神经网络的每个卷积层后增加压缩激励模块。
本申请实施例提供的装置可以具体用于执行上述第一实施例所提供的方法实施例，具体功能此处不再赘述。
本申请实施例通过检测待识别图像中的人脸关键点；根据人脸关键点，提取人脸表情关键区域的特征图，使得特征图中包含丰富的人脸表情信息，同时还可以减少背景等噪声干扰，可以大大提高复杂环境下人脸表情识别的准确率和鲁棒性；进一步地，在每个卷积层后增加压缩激励模块，通过压缩激励模块为每个通道增加一个权重，在通道维度上增加注意力机制，可以自适应地选择对当前表情分类贡献较大的区域块进行最终的分类，能够提高表情分类的准确性。
图5为本申请第四实施例提供的人脸表情识别的装置的示意图。在上述第三实施例的基础上，本实施例中，如图5所示，该人脸表情识别的装置30还包括：人脸检测单元304。人脸检测单元304用于检测待识别图像中的人脸区域。
关键点检测单元还用于：通过人脸关键点检测模型，检测人脸区域中的人脸关键点。
在一种可能的实施方式中，特征提取单元还用于：
根据人脸关键点对人脸区域进行图像预处理，得到第一人脸图像；从第一人脸图像中截取以人脸关键点为中心的区域块；将区域块在通道层叠加，得到特征图。
在一种可能的实施方式中，特征提取单元还用于：
从第一人脸图像中截取以人脸五官关键点为中心的区域块。
在一种可能的实施方式中，特征提取单元还用于：
根据人脸关键点对人脸区域中的目标人脸进行人脸对齐，同时通过仿射变换截取人脸部分，并将人脸部分调整到预设尺寸，得到第二人脸图像；对第二人脸图像进行归一化处理，得到第三人脸图像；对第三人脸图像进行数据增强处理，得到第一人脸图像。
在一种可能的实施方式中，压缩激励模块包括：
全局平均池化层，两个全连接层和sigmoid函数层。
在一种可能的实施方式中，卷积神经网络中最后一个压缩激励模块之后，还包括一个双线性模块，双线性模块用于提取二阶特征。
在一种可能的实施方式中，如图5所示，该人脸表情识别的装置30还包括：模型训练单元305。
模型训练单元305用于：
获取训练数据，训练数据包括多条样本数据，每条样本数据包括样本图像对应的特征图和表情分类；利用训练数据对卷积神经网络进行模型训练，得到人脸表情识别模型。
本申请实施例提供的装置可以具体用于执行上述第二实施例所提供的方法实施例，具体功能此处不再赘述。
本申请实施例通过在检测人脸关键点之前，首先检测待识别图像中的人脸区域，以缩小人脸关键点检测的范围，提高人脸关键点检测的准确性，通过截取丰富的人脸表情信息集中在的五官关键点周围的区域块，能够进一步地减少背景等噪声的干扰，进一步提高复杂环境下人脸表情识别的准确率和鲁棒性；进一步地，通过在卷积神经网络中最后一个压缩激励模块之后增加双线性模块，双线性模块用于提取二阶特征，可以进一步提高人脸表情分类的准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的人脸表情识别的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的人脸表情识别的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸表情识别的方法。
存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸表情识别的方法对应的程序指令/模块(例如，附图4所示的关键点检测单元301，特征提取单元302和人脸表情识别单元303)。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸表情识别的方法。
存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸表情识别的电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至人脸表情识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人脸表情识别的方法的电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息，以及产生与人脸表情识别的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种人脸表情识别的方法，包括：
检测待识别图像中的人脸关键点；
根据所述人脸关键点，提取人脸表情关键区域的特征图；
将所述特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果，其中所述人脸表情识别模型是通过对卷积神经网络训练得到的，所述卷积神经网络的每个卷积层后增加压缩激励模块。
2.根据权利要求1所述的方法，其中，所述检测待识别图像中的人脸关键点，包括：
检测所述待识别图像中的人脸区域；
通过人脸关键点检测模型，检测所述人脸区域中的人脸关键点。
3.根据权利要求2所述的方法，其中，所述根据所述人脸关键点，提取人脸表情关键区域的特征图，包括：
根据所述人脸关键点对所述人脸区域进行图像预处理，得到第一人脸图像；
从所述第一人脸图像中截取以人脸关键点为中心的区域块；
将所述区域块在通道层叠加，得到所述特征图。
4.根据权利要求3所述的方法，其中，所述从所述第一人脸图像中截取以人脸关键点为中心的区域块，包括：
从所述第一人脸图像中截取以人脸五官关键点为中心的区域块。
5.根据权利要求3所述的方法，其中，所述根据所述人脸关键点对所述人脸区域进行图像预处理，得到第一人脸图像，包括：
根据所述人脸关键点对所述人脸区域中的目标人脸进行人脸对齐，同时通过仿射变换截取人脸部分，并将所述人脸部分调整到预设尺寸，得到第二人脸图像；
对所述第二人脸图像进行归一化处理，得到第三人脸图像；
对所述第三人脸图像进行数据增强处理，得到所述第一人脸图像。
6.根据权利要求1所述的方法，其中，所述压缩激励模块包括：
全局平均池化层，两个全连接层和sigmoid函数层。
7.根据权利要求1-6中任一项所述的方法，其中，所述卷积神经网络中最后一个压缩激励模块之后，还包括一个双线性模块，所述双线性模块用于提取二阶特征。
8.根据权利要求1-6中任一项所述的方法，还包括：
获取训练数据，所述训练数据包括多条样本数据，每条所述样本数据包括样本图像对应的特征图和表情分类；
利用所述训练数据对所述卷积神经网络进行模型训练，得到所述人脸表情识别模型。
9.一种人脸表情识别的装置，包括：
关键点检测单元，用于检测待识别图像中的人脸关键点；
特征提取单元，用于根据所述人脸关键点，提取人脸表情关键区域的特征图；
人脸表情识别单元，用于将所述特征图输入人脸表情识别模型，进行人脸表情识别，得到识别结果，其中所述人脸表情识别模型是通过对卷积神经网络训练得到的，所述卷积神经网络的每个卷积层后增加压缩激励模块。
10.根据权利要求9所述的装置，还包括：
人脸检测单元，用于检测所述待识别图像中的人脸区域；
所述关键点检测单元还用于：通过人脸关键点检测模型，检测所述人脸区域中的人脸关键点。
11.根据权利要求10所述的装置，其中，所述特征提取单元还用于：
根据所述人脸关键点对所述人脸区域进行图像预处理，得到第一人脸图像；
从所述第一人脸图像中截取以人脸关键点为中心的区域块；
将所述区域块在通道层叠加，得到所述特征图。
12.根据权利要求11所述的装置，其中，所述特征提取单元还用于：
从所述第一人脸图像中截取以人脸五官关键点为中心的区域块。
13.根据权利要求11所述的装置，其中，所述特征提取单元还用于：
根据所述人脸关键点对所述人脸区域中的目标人脸进行人脸对齐，同时通过仿射变换截取人脸部分，并将所述人脸部分调整到预设尺寸，得到第二人脸图像；
对所述第二人脸图像进行归一化处理，得到第三人脸图像；
对所述第三人脸图像进行数据增强处理，得到所述第一人脸图像。
14.根据权利要求9所述的装置，其中，所述压缩激励模块包括：
全局平均池化层，两个全连接层和sigmoid函数层。
15.根据权利要求9-14中任一项所述的装置，其中，所述卷积神经网络中最后一个压缩激励模块之后，还包括一个双线性模块，所述双线性模块用于提取二阶特征。
16.根据权利要求9-14中任一项所述的装置，还包括：模型训练单元，用于：
获取训练数据，所述训练数据包括多条样本数据，每条所述样本数据包括样本图像对应的特征图和表情分类；
利用所述训练数据对所述卷积神经网络进行模型训练，得到所述人脸表情识别模型。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010605363.3A CN111783622A (zh) | 2020-06-29 | 2020-06-29 | 人脸表情识别的方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010605363.3A CN111783622A (zh) | 2020-06-29 | 2020-06-29 | 人脸表情识别的方法、装置、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111783622A true CN111783622A (zh) | 2020-10-16 |
Family
ID=72760830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010605363.3A Pending CN111783622A (zh) | 2020-06-29 | 2020-06-29 | 人脸表情识别的方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783622A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183491A (zh) * | 2020-11-04 | 2021-01-05 | 北京百度网讯科技有限公司 | 表情识别模型及训练方法、识别方法、装置和计算设备 |
| CN112307942A (zh) * | 2020-10-29 | 2021-02-02 | 广东富利盛仿生机器人股份有限公司 | 一种面部表情量化表示方法、系统及介质 |
| CN112364736A (zh) * | 2020-10-30 | 2021-02-12 | 深圳点猫科技有限公司 | 一种动态人脸表情识别方法、装置及设备 |
| CN112560678A (zh) * | 2020-12-15 | 2021-03-26 | 北京百度网讯科技有限公司 | 表情识别方法、装置、设备及计算机存储介质 |
| CN112699797A (zh) * | 2020-12-30 | 2021-04-23 | 常州码库数据科技有限公司 | 基于联合特征对关系网络的静态人脸表情识别方法及系统 |
| CN112733679A (zh) * | 2020-12-31 | 2021-04-30 | 南京视察者智能科技有限公司 | 一种基于案件逻辑推理的预警系统及训练方法 |
| CN113033465A (zh) * | 2021-04-13 | 2021-06-25 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、装置、设备以及存储介质 |
| CN113158788A (zh) * | 2021-03-12 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 人脸表情识别方法、装置、终端设备及存储介质 |
| CN113221698A (zh) * | 2021-04-29 | 2021-08-06 | 北京科技大学 | 一种基于深度学习和表情识别的面部关键点定位方法 |
| CN113313048A (zh) * | 2021-06-11 | 2021-08-27 | 北京百度网讯科技有限公司 | 脸部表情识别方法和装置 |
| CN113963421A (zh) * | 2021-11-16 | 2022-01-21 | 南京工程学院 | 基于混合特征增强网络的动态序列非约束表情识别方法 |
| CN114582002A (zh) * | 2022-04-18 | 2022-06-03 | 华南理工大学 | 一种结合注意力模块与二阶池化机制的人脸表情识别方法 |
| CN115116475A (zh) * | 2022-06-13 | 2022-09-27 | 北京邮电大学 | 一种基于时延神经网络的语音抑郁症自动检测方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684911A (zh) * | 2018-10-30 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 表情识别方法、装置、电子设备及存储介质 |
| CN110383288A (zh) * | 2019-06-06 | 2019-10-25 | 深圳市汇顶科技股份有限公司 | 人脸识别的方法、装置和电子设备 |
| CN110427867A (zh) * | 2019-07-30 | 2019-11-08 | 华中科技大学 | 基于残差注意力机制的面部表情识别方法及系统 |
| CN110866471A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 |
-
2020
- 2020-06-29 CN CN202010605363.3A patent/CN111783622A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684911A (zh) * | 2018-10-30 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 表情识别方法、装置、电子设备及存储介质 |
| US20190392202A1 (en) * | 2018-10-30 | 2019-12-26 | Baidu Online Network Technology (Beijing) Co., Ltd. | Expression recognition method, apparatus, electronic device, and storage medium |
| CN110383288A (zh) * | 2019-06-06 | 2019-10-25 | 深圳市汇顶科技股份有限公司 | 人脸识别的方法、装置和电子设备 |
| CN110427867A (zh) * | 2019-07-30 | 2019-11-08 | 华中科技大学 | 基于残差注意力机制的面部表情识别方法及系统 |
| CN110866471A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 |
Non-Patent Citations (3)
| Title |
|---|
| "SE-IYOLOV3: An Accurate Small Scale Face Detector for Outdoor Security", MATHEMATICS 2020, 8(1), 7 January 2020 (2020-01-07), pages 1 - 9 * |
| 季欣欣;邵洁;钱勇生;: "基于注意力机制和混合网络的小群体情绪识别", 计算机工程与设计, no. 06, 15 June 2020 (2020-06-15) * |
| 钱勇生;邵洁;季欣欣;李晓瑞;莫晨;程其玉;: "基于改进卷积神经网络的多视角人脸表情识别", 计算机工程与应用, no. 24, 15 December 2018 (2018-12-15) * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307942A (zh) * | 2020-10-29 | 2021-02-02 | 广东富利盛仿生机器人股份有限公司 | 一种面部表情量化表示方法、系统及介质 |
| CN112364736A (zh) * | 2020-10-30 | 2021-02-12 | 深圳点猫科技有限公司 | 一种动态人脸表情识别方法、装置及设备 |
| CN112183491A (zh) * | 2020-11-04 | 2021-01-05 | 北京百度网讯科技有限公司 | 表情识别模型及训练方法、识别方法、装置和计算设备 |
| CN112560678A (zh) * | 2020-12-15 | 2021-03-26 | 北京百度网讯科技有限公司 | 表情识别方法、装置、设备及计算机存储介质 |
| CN112699797A (zh) * | 2020-12-30 | 2021-04-23 | 常州码库数据科技有限公司 | 基于联合特征对关系网络的静态人脸表情识别方法及系统 |
| CN112699797B (zh) * | 2020-12-30 | 2024-03-26 | 常州码库数据科技有限公司 | 基于联合特征对关系网络的静态人脸表情识别方法及系统 |
| CN112733679B (zh) * | 2020-12-31 | 2023-09-01 | 南京视察者智能科技有限公司 | 一种基于案件逻辑推理的预警系统及训练方法 |
| CN112733679A (zh) * | 2020-12-31 | 2021-04-30 | 南京视察者智能科技有限公司 | 一种基于案件逻辑推理的预警系统及训练方法 |
| CN113158788A (zh) * | 2021-03-12 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 人脸表情识别方法、装置、终端设备及存储介质 |
| CN113158788B (zh) * | 2021-03-12 | 2024-03-08 | 中国平安人寿保险股份有限公司 | 人脸表情识别方法、装置、终端设备及存储介质 |
| CN113033465B (zh) * | 2021-04-13 | 2023-11-14 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、装置、设备以及存储介质 |
| CN113033465A (zh) * | 2021-04-13 | 2021-06-25 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、装置、设备以及存储介质 |
| CN113221698B (zh) * | 2021-04-29 | 2023-08-15 | 北京科技大学 | 一种基于深度学习和表情识别的面部关键点定位方法 |
| CN113221698A (zh) * | 2021-04-29 | 2021-08-06 | 北京科技大学 | 一种基于深度学习和表情识别的面部关键点定位方法 |
| CN113313048A (zh) * | 2021-06-11 | 2021-08-27 | 北京百度网讯科技有限公司 | 脸部表情识别方法和装置 |
| CN113313048B (zh) * | 2021-06-11 | 2024-04-09 | 北京百度网讯科技有限公司 | 脸部表情识别方法和装置 |
| CN113963421A (zh) * | 2021-11-16 | 2022-01-21 | 南京工程学院 | 基于混合特征增强网络的动态序列非约束表情识别方法 |
| CN114582002A (zh) * | 2022-04-18 | 2022-06-03 | 华南理工大学 | 一种结合注意力模块与二阶池化机制的人脸表情识别方法 |
| CN115116475A (zh) * | 2022-06-13 | 2022-09-27 | 北京邮电大学 | 一种基于时延神经网络的语音抑郁症自动检测方法和装置 |
| CN115116475B (zh) * | 2022-06-13 | 2024-02-02 | 北京邮电大学 | 一种基于时延神经网络的语音抑郁症自动检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111783622A (zh) | 人脸表情识别的方法、装置、设备和计算机可读存储介质 | |
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN111783621B (zh) | 人脸表情识别及模型训练的方法、装置、设备及存储介质 | |
| CN112528976B (zh) | 文本检测模型的生成方法和文本检测方法 | |
| CN111291885A (zh) | 近红外图像的生成方法、生成网络的训练方法和装置 | |
| CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN111832745B (zh) | 数据增广的方法、装置及电子设备 | |
| CN111860362A (zh) | 生成人脸图像校正模型及校正人脸图像的方法和装置 | |
| CN112330730B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111783620A (zh) | 表情识别方法、装置、设备及存储介质 | |
| CN113449700B (zh) | 视频分类模型的训练、视频分类方法、装置、设备及介质 | |
| JP2022177232A (ja) | 画像処理方法、テキスト認識方法及び装置 | |
| CN111209811B (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
| CN113343826A (zh) | 人脸活体检测模型的训练方法、人脸活体检测方法及装置 | |
| CN112651451B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN114092759A (zh) | 图像识别模型的训练方法、装置、电子设备及存储介质 | |
| CN114332977A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN111862031A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN113705361A (zh) | 活体检测模型的方法、装置及电子设备 | |
| CN113569911A (zh) | 车辆识别方法、装置、电子设备及存储介质 | |
| CN113255511A (zh) | 用于活体识别的方法、装置、设备以及存储介质 | |
| CN116229584A (zh) | 一种人工智能领域的文本分割识别方法、系统、设备及介质 | |
| CN116524207A (zh) | 基于边缘检测辅助的弱监督rgbd图像显著性检测方法 | |
| JP7126586B2 (ja) | 顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |