CN113158828B - 一种基于深度学习的面部情感校准方法及系统 - Google Patents

一种基于深度学习的面部情感校准方法及系统 Download PDF

Info

Publication number
CN113158828B
CN113158828B CN202110343609.9A CN202110343609A CN113158828B CN 113158828 B CN113158828 B CN 113158828B CN 202110343609 A CN202110343609 A CN 202110343609A CN 113158828 B CN113158828 B CN 113158828B
Authority
CN
China
Prior art keywords
original image
emotion
facial
face
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110343609.9A
Other languages
English (en)
Other versions
CN113158828A (zh
Inventor
康宏伟
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110343609.9A priority Critical patent/CN113158828B/zh
Publication of CN113158828A publication Critical patent/CN113158828A/zh
Application granted granted Critical
Publication of CN113158828B publication Critical patent/CN113158828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的面部情感校准方法及系统。所述方法包括以下步骤：对含有人脸的原始图像进行预处理；将预处理后的原始图像送入训练过的第一卷积神经网络，并结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；将预处理后的原始图像送入训练过的第二卷积神经网络，提取表情特征；将提取的肢体特征与表情特征进行融合，决定最终的情感属性与能级。本发明提供了一种基于深度学习的面部情感校准系统，通过人脸检测、关键点检测、人脸对齐，提取肢体特征与表情特征并最终融合等步骤，能够捕获更准确、真实、丰富的面部情感信息，具有广阔的应用前景。

Description

一种基于深度学习的面部情感校准方法及系统
技术领域
本发明涉及深度学习，计算机视觉领域，尤其涉及到一种基于深度学习的面部情感校准方法及系统。
背景技术
随着科技的发展，万物智能的时代离我们越来越近。在智能时代，人机智能交互显得尤为重要。当人类在表达感情时，表情占有相当大的比重。同样，若要让智能体感受人类的情感甚至学会表达自己的情感，人脸表情识别就显得尤为重要。
当前，面部表情识别取得了很大的进展，具体表现在：多种数据集中关于单张人脸图片的表情分类已经获得了很高的准确率。基于深度学习的方法，如卷积神经网络，注意力机制等方法，更是让面部表情识别在头部姿态偏移、遮挡等异常情况也有一定程度的兼容能力。
但是，面部表情十分复杂，反映了人们内心的心理活动；在存在手部遮挡时，若仅仅将其视为一种干扰，就有可能丢失其中蕴含的深层次的面部情感。反之，若结合心理学知识，可以从人的心理动机上理解手部遮挡，进而捕获更加准确、真实、丰富的面部情感。
目前的技术文献中，已经有人通过建立与头部姿态相关的表情先验概率模型来优化人脸表情分类方法(一种人脸自发表情的识别方法及系统，专利号：201710153525)。但是，目前还没有文献充分利用肢体特征来校准人脸面部表情，进而准确区分表情。
发明内容
本发明提供了克服上述问题或部分解决上述问题的一种基于深度学习的面部情感校准方法及系统。
本发明的目的至少通过如下技术方案之一实现。
一种基于深度学习的面部情感校准方法，包括以下步骤：
S1、对含有人脸的原始图像进行预处理；
S2、将预处理后的原始图像送入训练过的第一卷积神经网络，并结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；
S3、将预处理后的原始图像送入训练过的第二卷积神经网络，提取表情特征；
S4、将步骤S2中提取的肢体特征与步骤S3中提取的表情特征进行融合，决定最终的情感属性与能级。
进一步地，步骤S1中，从待检测的含有人脸的原始图像中准确检测人脸区域，进行面部关键点定位、人脸对齐和尺度归一化，具体如下：
采用预先训练的人脸检测模型作为第一识别模型，利用第一识别模型对含有人脸的原始图像进行人脸检测，第一识别模型同时输出多个面部关键点的坐标；利用面部关键点的坐标，使用仿射变换进行人脸矫正对齐，之后将对齐后的原始图像进行光照归一化和尺度归一化，得到预处理后的原始图像。
进一步地，人脸检测模型采用RetinaFace模型。
进一步地，步骤S2中，采用手部模板与由非遮挡人脸合成的批量图片作为训练集，利用反向传播与批随机梯度下降的方法来寻找第一卷积神经网络的最优参数，得到训练过的第一卷积神经网络并将其作为第二识别模型；将步骤S1中得到的预处理后的原始图像送入第二识别模型，得到原始图像中手部的初步位置与面积；利用肤色模型的知识，排除非手部类型的遮挡，得到原始图像中手部出现的具体位置和大小，作为肢体特征。
进一步地，第一卷积神经网络采用deeplabV3+模型。
进一步地，手部模板分为单手模板与双手模板，两种手部模板均由搜索引擎与RAF-DB数据集中的特殊人脸遮挡图片得到。
进一步地，步骤S3中，采用多种人脸表情数据库作为训练集，基于注意力机制，利用反向传播与批随机梯度下降的方法来寻找第二卷积神经网络的最优参数，得到训练过的第二卷积神经网络并将其作为第三识别模型；将步骤S1中得到的预处理后的原始图像送入第三识别模型，得到原始图像中人脸表情的多种分类结果与对应的置信度。
进一步地，第二卷积神经网络采用ACNN网络模型。
进一步地，步骤S4中，将步骤S3中得到的原始图像中人脸表情的多种分类结果作为面部情感的候选基属性，将步骤S2中得到的肢体特征作为面部情感的基属性的微调元素；
将原始图像中人脸面部区域进行编码，结合心理学先验知识与肢体特征，对面部情感的基属性进行微调，提高或降低情感的能级，具体如下：
将面部情感多个候选基属性的置信度按照从低到高分为N个能级；人脸面部区域根据位置的不同编码为面部热力图，额头处温度偏低，表示情感的削弱，取值设置为-1；双眼区域温度中等，表示情感处于稳态，取值设置为0；两颊及嘴巴区域温度较高，表示情感的加强，取值设置为1；手部在面部热力图的面积代表温度的扩散度；微调等级由温度特性与扩散度共同决定；对情感基属性的微调具体如下：
Ti∈{-1，0，+1}；
nij＝rounddown(Cij*N)；
其中，Ti表示M个预处理后的原始图像中的第i个原始图像样本的温度；Ki表示第i个原始图像样本的扩散度；nij表示第i个原始图像样本的第j个候选情感基属性的能级，Cij表示第i个原始图像样本的第j个候选情感基属性的置信度，rounddown表示向下取整运算；
最后选取微调后能级最高的基属性作为最终的分类结果，同时得到该基属性对应的情感的能级。
一种基于深度学习的面部情感校准系统，包括：
第一识别模块，用于对含有人脸的原始图像进行预处理，从待检测的含有人脸的原始图像中准确检测人脸区域，进行面部关键点定位、人脸对齐和尺度归一化，得到预处理后的原始图像；
第二识别模块，用于将预处理后的原始图像送入训练过的第一卷积神经网络，得到原始图像中手部的初步位置与面积；
肢体特征获取模块，用于将第二识别模块得到的原始图像中手部的初步位置与面积结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；
第三识别模块，用于将预处理后的原始图像送入训练过的第二卷积神经网络，得到原始图像中人脸表情的多种分类结果与对应的置信度；
第四识别模块，用于将肢体特征获取模块得到的肢体特征与第三识别模块得到的多种分类结果进行融合，决定最终的情感属性与能级。
相比于现有技术，本发明的优点在于：
本发明基于不同的识别模型来实现，经第一识别模块进行预处理后，第二识别模块、第三识别模块分别关注手部遮挡与面部表情两种研究对象，最后通过第四识别模块的融合策略，将肢体特征融入到面部表情特征中，从而调整面部情感的属性与能级，捕获了更加准确、真实、丰富的面部情感。
附图说明
图1为本发明实施例中一种基于深度学习的面部情感校准方法的步骤流程图；
图2为本发明实施例中人脸面部区域编码图。
具体实施方法
下面结合附图与实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明范围。
实施例：
一种基于深度学习的面部情感校准方法，如图1所示，包括以下步骤：
S1、对含有人脸的原始图像进行预处理；
从待检测的含有人脸的原始图像中准确检测人脸区域，进行面部关键点定位、人脸对齐和尺度归一化，具体如下：
本实施例中，采用预先训练的RetinaFace模型作为第一识别模型，RetinaFace模型是单步(stage)推理人脸检测器，可以同时输出人脸框和68个关键点信息；
利用第一识别模型对含有人脸的原始图像进行人脸检测，第一识别模型同时输出68个面部关键点的坐标；利用面部关键点的坐标，使用仿射变换进行人脸矫正对齐，之后将对齐后的原始图像进行光照归一化和尺度归一化，得到预处理后的原始图像。
S2、将预处理后的原始图像送入训练过的第一卷积神经网络，并结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征，具体如下：
本实施例中，第一卷积神经网络采用deeplabV3+模型进行语义分割，采用手部模板与由非遮挡人脸合成的批量图片作为deeplabV3+模型的训练集；
手部模板分为单手模板与双手模板，两种手部模板均由搜索引擎与RAF-DB数据集中的特殊人脸遮挡图片得到，这些特殊人脸遮挡图片区别于一般的人脸遮挡图片，专指手部对人脸区域的遮挡；
在手部模板与未遮挡人脸进行组合时，考虑人脸的肤色信息与人脸的姿态角度。对随机的手部模板进行肤色变换，姿态变换，尺度变换，以达到真实手部遮挡的效果。
同时，在组合时，另外生成一幅二值图像，作为deeplabV3+模型的训练集。具体操作为，在手部模板与未遮挡人脸的组合图像中，将手部模板所在的区域标为白色，其余区域标为黑色。
利用反向传播与批随机梯度下降的方法来寻找deeplabV3+模型的最优参数，得到训练过的deeplabV3+模型并将其作为第二识别模型；将步骤S1中得到的预处理后的原始图像送入第二识别模型进行语义分割，得到原始图像中手部的初步位置与面积，会标出手部的位置与大小，此时可以结合先验知识，手部的肤色信息与脸部接近，可在第二识别模型标出的手部区域内遍历检索符合肤色信息的像素点；
肤色的YCbCr颜色空间CbCr平面分布在近似的椭圆区域内，通过判断标出的手部区域像素点的CbCr是否落在肤色分布的椭圆区域内，可以判断当前像素点是否属于肤色。
记标记出的手部区域像素点总数为N，当前像素点落在肤色分布的椭圆区域内的个数为M，th为设定的阈值，若满足以下公式：
M/N≥th；
则手部区域分割成功，得到原始图像中手部出现的具体位置和大小，作为肢体特征。
S3、将预处理后的原始图像送入训练过的第二卷积神经网络，提取表情特征，具体如下：
本实施例中，第二卷积神经网络采用ACNN网络模型进行表情特征的提取；ACNN网络模型，是一种基于注意力机制的卷积神经网络。此网络根据关键点的位置将人脸划分为不同感兴趣的区域，这些局部区域为表情特征的提取作为不同的贡献。与此同时，考虑人脸的全局信息，考察遮挡对人脸整体情感的抑制作用。
采用多种人脸表情数据库作为训练集，基于注意力机制，利用反向传播与批随机梯度下降的方法来寻找ACNN网络模型的最优参数，得到训练过的ACNN网络模型并将其作为第三识别模型；将步骤S1中得到的预处理后的原始图像送入第三识别模型，得到原始图像中人脸表情的多种分类结果与对应的置信度。
本实施例中，原始图像中人脸表情的多种分类结果包括悲伤、惊讶和开心。
S4、将步骤S3中得到的原始图像中人脸表情的多种分类结果作为面部情感的候选基属性，将步骤S2中得到的肢体特征作为面部情感的基属性的微调元素；
如图2所示，将原始图像中人脸面部区域进行编码，结合心理学先验知识与肢体特征，对面部情感的基属性进行微调，提高或降低情感的能级，具体如下：
将面部情感多个候选基属性的置信度按照从低到高分为N个能级；人脸面部区域根据位置的不同编码为面部热力图，如图2中的区域1，额头处温度偏低，表示情感的削弱，取值设置为-1；如图2中的区域2和区域3，双眼区域温度中等，表示情感处于稳态，取值设置为0；如图2中的区域4～区域9，两颊及嘴巴区域温度较高，表示情感的加强，取值设置为1；手部在面部热力图的面积代表了温度的扩散度；微调等级由温度特性与扩散度共同决定；对情感基属性的微调具体如下：
Ti∈{-1，0，+1}；
nij＝rounddown(Cij*N)；
其中，Ti表示M个预处理后的原始图像中的第i个原始图像样本的温度；Ki表示第i个原始图像样本的扩散度；nij表示第i个原始图像样本的第j个候选情感基属性的能级，Cij表示第i个原始图像样本的第j个候选情感基属性的置信度，rounddown表示向下取整运算；
最后选取微调后能级最高的基属性作为最终的分类结果，同时得到该基属性对应的情感的能级。
一种基于深度学习的面部情感校准系统，包括：
第一识别模块，用于对含有人脸的原始图像进行预处理，从待检测的含有人脸的原始图像中准确检测人脸区域，进行面部关键点定位、人脸对齐和尺度归一化，得到预处理后的原始图像；
第二识别模块，用于将预处理后的原始图像送入训练过的第一卷积神经网络，得到原始图像中手部的初步位置与面积；
肢体特征获取模块，用于将第二识别模块得到的原始图像中手部的初步位置与面积结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；
第三识别模块，用于将预处理后的原始图像送入训练过的第二卷积神经网络，得到原始图像中人脸表情的多种分类结果与对应的置信度；
第四识别模块，用于将肢体特征获取模块得到的肢体特征与第三识别模块得到的多种分类结果进行融合，决定最终的情感属性与能级。

Claims (8)

1.一种基于深度学习的面部情感校准方法，其特征在于，包括以下步骤：
S1、对含有人脸的原始图像进行预处理；
S2、将预处理后的原始图像送入训练过的第一卷积神经网络，并结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；
采用手部模板与由非遮挡人脸合成的批量图片作为训练集，利用反向传播与批随机梯度下降的方法来寻找第一卷积神经网络的最优参数，得到训练过的第一卷积神经网络并将其作为第二识别模型；将步骤S1中得到的预处理后的原始图像送入第二识别模型，得到原始图像中手部的初步位置与面积；利用肤色模型的知识，排除非手部类型的遮挡，得到原始图像中手部出现的具体位置和大小，作为肢体特征；
S3、将预处理后的原始图像送入训练过的第二卷积神经网络，提取表情特征；
S4、将步骤S2中提取的肢体特征与步骤S3中提取的表情特征进行融合，决定最终的情感属性与能级；
将步骤S3中得到的原始图像中人脸表情的多种分类结果作为面部情感的候选基属性，将步骤S2中得到的肢体特征作为面部情感的基属性的微调元素；
将原始图像中人脸面部区域进行编码，结合心理学先验知识与肢体特征，对面部情感的基属性进行微调，提高或降低情感的能级，具体如下：
将面部情感多个候选基属性的置信度按照从低到高分为N个能级；人脸面部区域根据位置的不同编码为面部热力图，额头处温度偏低，表示情感的削弱，取值设置为-1；双眼区域温度中等，表示情感处于稳态，取值设置为0；两颊及嘴巴区域温度较高，表示情感的加强，取值设置为1；手部在面部热力图的面积代表温度的扩散度；微调等级由温度特性与扩散度共同决定；对情感基属性的微调具体如下：
Ti∈{-1，0，+1}；
nij＝rounddown(Cij*N)；
其中，Ti表示M个预处理后的原始图像中的第i个原始图像样本的温度；Ki表示第i个原始图像样本的扩散度；nij表示第i个原始图像样本的第j个候选情感基属性的能级，Cij表示第i个原始图像样本的第j个候选情感基属性的置信度，rounddown表示向下取整运算；
最后选取微调后能级最高的基属性作为最终的分类结果，同时得到该基属性对应的情感的能级。
2.根据权利要求1所述的一种基于深度学习的面部情感校准方法，其特征在于，步骤S1中，从待检测的含有人脸的原始图像中准确检测人脸区域，进行面部关键点定位、人脸对齐和尺度归一化，具体如下：
采用预先训练的人脸检测模型作为第一识别模型，利用第一识别模型对含有人脸的原始图像进行人脸检测，第一识别模型同时输出多个面部关键点的坐标；利用面部关键点的坐标，使用仿射变换进行人脸矫正对齐，之后将对齐后的原始图像进行光照归一化和尺度归一化，得到预处理后的原始图像。
3.根据权利要求2所述的一种基于深度学习的面部情感校准方法，其特征在于，人脸检测模型采用RetinaFace模型。
4.根据权利要求1所述的一种基于深度学习的面部情感校准方法，其特征在于，第一卷积神经网络采用deeplabV3+模型。
5.根据权利要求1所述的一种基于深度学习的面部情感校准方法，其特征在于，手部模板分为单手模板与双手模板，两种手部模板均由搜索引擎与RAF-DB数据集中的特殊人脸遮挡图片得到。
6.根据权利要求1所述的一种基于深度学习的面部情感校准方法，其特征在于，步骤S3中，采用多种人脸表情数据库作为训练集，基于注意力机制，利用反向传播与批随机梯度下降的方法来寻找第二卷积神经网络的最优参数，得到训练过的第二卷积神经网络并将其作为第三识别模型；将步骤S1中得到的预处理后的原始图像送入第三识别模型，得到原始图像中人脸表情的多种分类结果与对应的置信度。
7.根据权利要求6所述的一种基于深度学习的面部情感校准方法，其特征在于，第二卷积神经网络采用ACNN网络模型。
8.一种基于深度学习的面部情感校准系统，其特征在于，包括：
第一识别模块，用于对含有人脸的原始图像进行预处理，从待检测的含有人脸的原始图像中准确检测人脸区域，进行面部关键点定位、人脸对齐和尺度归一化，得到预处理后的原始图像；
第二识别模块，用于将预处理后的原始图像送入训练过的第一卷积神经网络，得到原始图像中手部的初步位置与面积；
肢体特征获取模块，用于将第二识别模块得到的原始图像中手部的初步位置与面积结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；
采用手部模板与由非遮挡人脸合成的批量图片作为训练集，利用反向传播与批随机梯度下降的方法来寻找第一卷积神经网络的最优参数，得到训练过的第一卷积神经网络并将其作为第二识别模型；将得到的预处理后的原始图像送入第二识别模型，得到原始图像中手部的初步位置与面积；利用肤色模型的知识，排除非手部类型的遮挡，得到原始图像中手部出现的具体位置和大小，作为肢体特征；
第三识别模块，用于将预处理后的原始图像送入训练过的第二卷积神经网络，得到原始图像中人脸表情的多种分类结果与对应的置信度；
第四识别模块，用于将肢体特征获取模块得到的肢体特征与第三识别模块得到的多种分类结果进行融合，决定最终的情感属性与能级；
将得到的原始图像中人脸表情的多种分类结果作为面部情感的候选基属性，将得到的肢体特征作为面部情感的基属性的微调元素；
将原始图像中人脸面部区域进行编码，结合心理学先验知识与肢体特征，对面部情感的基属性进行微调，提高或降低情感的能级，具体如下：
将面部情感多个候选基属性的置信度按照从低到高分为N个能级；人脸面部区域根据位置的不同编码为面部热力图，额头处温度偏低，表示情感的削弱，取值设置为-1；双眼区域温度中等，表示情感处于稳态，取值设置为0；两颊及嘴巴区域温度较高，表示情感的加强，取值设置为1；手部在面部热力图的面积代表温度的扩散度；微调等级由温度特性与扩散度共同决定；对情感基属性的微调具体如下：
Ti∈{-1，0，+1}；
nij＝rounddown(Cij*N)；
其中，Ti表示M个预处理后的原始图像中的第i个原始图像样本的温度；Ki表示第i个原始图像样本的扩散度；nij表示第i个原始图像样本的第j个候选情感基属性的能级，Cij表示第i个原始图像样本的第j个候选情感基属性的置信度，rounddown表示向下取整运算；
最后选取微调后能级最高的基属性作为最终的分类结果，同时得到该基属性对应的情感的能级。
CN202110343609.9A 2021-03-30 2021-03-30 一种基于深度学习的面部情感校准方法及系统 Active CN113158828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343609.9A CN113158828B (zh) 2021-03-30 2021-03-30 一种基于深度学习的面部情感校准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343609.9A CN113158828B (zh) 2021-03-30 2021-03-30 一种基于深度学习的面部情感校准方法及系统

Publications (2)

Publication Number Publication Date
CN113158828A CN113158828A (zh) 2021-07-23
CN113158828B true CN113158828B (zh) 2024-04-09

Family

ID=76885504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343609.9A Active CN113158828B (zh) 2021-03-30 2021-03-30 一种基于深度学习的面部情感校准方法及系统

Country Status (1)

Country Link
CN (1) CN113158828B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591807B (zh) * 2021-09-28 2021-12-17 山东天河科技股份有限公司 一种精确的人员识别装置及使用方法
CN114724222B (zh) * 2022-04-14 2024-04-19 康旭科技有限公司 一种基于多模态的ai数字人情感分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108268859A (zh) * 2018-02-08 2018-07-10 南京邮电大学 一种基于深度学习的人脸表情识别方法
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108268859A (zh) * 2018-02-08 2018-07-10 南京邮电大学 一种基于深度学习的人脸表情识别方法
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法

Also Published As

Publication number Publication date
CN113158828A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Tome et al. Facial soft biometric features for forensic face recognition
Mitra et al. Gesture recognition: A survey
Ding et al. Features versus context: An approach for precise and detailed detection and delineation of faces and facial features
Yang et al. Face detection and gesture recognition for human-computer interaction
US20160314345A1 (en) System and method for identifying faces in unconstrained media
Hassan et al. Soft biometrics: A survey: Benchmark analysis, open challenges and recommendations
CN113158828B (zh) 一种基于深度学习的面部情感校准方法及系统
CN112200176B (zh) 人脸图像的质量检测方法、系统和计算机设备
CN112381987A (zh) 基于人脸识别的智能门禁防疫系统
Minu A extensive survey on sign language recognition methods
Aslam et al. Gender classification based on isolated facial features and foggy faces using jointly trained deep convolutional neural network
Curran et al. The use of neural networks in real-time face detection
Srininvas et al. A framework to recognize the sign language system for deaf and dumb using mining techniques
Yu et al. Research on face recognition method based on deep learning
Frieslaar Robust south african sign language gesture recognition using hand motion and shape
Jadhav et al. Introducing Celebrities in an Images using HAAR Cascade algorithm
Yang Hand gesture recognition and face detection in images
Alhafdee et al. Sign Language Recognition and Hand Gestures Review
Chhillar Face recognition challenges and solutions using machine learning
ALtememe et al. Gesture Interpreting of Alphabet Arabic Sign Language Based on Machine Learning algorithms
Bennur et al. Face Mask Detection and Face Recognition of Unmasked People in Organizations
CN114049662B (zh) 一种基于面部特征迁移学习的表情识别网络装置及方法
Colmenarez Facial analysis from continuous video with application to human-computer interface
Orovwode et al. Development of a Sign Language Recognition System Using Machine Learning
Maia et al. Automatic eye localization in color images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant