CN109657554B - 一种基于微表情的图像识别方法、装置以及相关设备 - Google Patents

一种基于微表情的图像识别方法、装置以及相关设备 Download PDF

Info

Publication number
CN109657554B
CN109657554B CN201811392529.7A CN201811392529A CN109657554B CN 109657554 B CN109657554 B CN 109657554B CN 201811392529 A CN201811392529 A CN 201811392529A CN 109657554 B CN109657554 B CN 109657554B
Authority
CN
China
Prior art keywords
image
expression
model
sample
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811392529.7A
Other languages
English (en)
Other versions
CN109657554A (zh
Inventor
张凯皓
罗文寒
马林
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811392529.7A priority Critical patent/CN109657554B/zh
Publication of CN109657554A publication Critical patent/CN109657554A/zh
Priority to PCT/CN2019/116515 priority patent/WO2020103700A1/zh
Priority to EP19886293.0A priority patent/EP3885965B1/en
Priority to US17/182,024 priority patent/US20210174072A1/en
Application granted granted Critical
Publication of CN109657554B publication Critical patent/CN109657554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于微表情的图像识别方法、装置以及相关设备，方法包括：获取属于第一表情类型的原始表情图像，将原始表情图像输入图像增强模型；属于第一表情类型的原始表情图像是包含微表情的图像；图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；在图像增强模型中增强原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；识别与目标表情图像对应的表情属性类型，并将与目标表情图像对应的表情属性类型确定为与原始表情图像对应的表情属性类型。采用本发明，可以提高微表情图像识别的准确率。

Description

一种基于微表情的图像识别方法、装置以及相关设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于微表情的图像识别方法、装置以及相关设备。
背景技术
在生活的任何地方、任何时刻，人们都会具有各种不同的情绪。情绪与表情具有密切的联系，表情是情绪的外部表现，情绪是表情内心体验。而表情中的微表情是人物试图隐藏内心真实情感却又不由自主流露出的不易察觉的面部表情，微表情通常发生与人物具有隐瞒心里的状态下，与一般的面部表情相比，微表情最显著的特点是持续时间短、强度弱，反应了人物试图压抑与隐藏的真实情感，是一种有效的非言语线索。特别是在意图对自己心里变化做出掩饰时，更容易做出相应动作，因此微表情的识别可以用于安全、刑侦、心里等需要探查人物真实想法的领域，破解人物的隐瞒意图。
在现有技术中，对微表情图像的识别方法主要是通过提取微表情图像的特征，再根据提取出来的特征进行分类和识别。但是由于微表情具有表情强度低，动作行为快的特点，即使是不同类型的微表情图像也非常的相似，就导致提取出来的特征不具备很好的区分性，进而就会降低对微表情图像识别的准确率。
发明内容
本发明实施例提供一种基于微表情的图像识别方法、装置以及相关设备，可以提高微表情图像识别的准确率。
本发明实施例一方面提供了一种基于微表情的图像识别方法，包括：
获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像；
在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；
识别与所述目标表情图像对应的表情属性类型，并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。
其中，所述图像增强模型包括第一增强子模型和第二增强子模型；
所述在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像，包括：
将所述原始表情图像中的表情标识区域确定为单位原始表情图像，并将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像；
将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像；
根据所述单位原始表情图像在所述原始表情图像中的位置信息，将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。
其中，所述将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像，包括：
将所述单位原始表情图像输入所述第一增强子模型的输入层，得到与所述单位原始表情图像对应的第一原始矩阵；
从所述第一原始矩阵中随机采样，得到第一原始向量，根据所述第一增强子模型中的转置卷积层，对所述第一原始向量进行反卷积处理，得到第一目标张量，并将所述第一目标张量确定为所述单位辅助图像。
其中，所述将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像，包括：
将所述原始表情图像输入所述第二增强子模型的输入层，得到与所述原始表情图像对应的第二原始矩阵；
从所述第二原始矩阵中随机采样，得到第二原始向量，根据所述第二增强子模型中的转置卷积层，对所述第二原始向量进行反卷积处理，得到第二目标张量，并将所述第二目标张量确定为所述目标辅助图像。
其中，还包括：
将所述原始表情图像二值化处理，得到二值图像；
基于梯度算子对所述二值图像进行边缘检测，得到梯度图像，并在所述梯度图像中确定边缘轮廓所在的目标位置信息；
在所述原始表情图像中，将所述目标位置信息所标识的区域确定为所述表情标识区域。
其中，所述识别与所述目标表情图像对应的表情属性类型，包括：
将所述目标表情图像输入图像识别模型中；
根据所述图像识别模型中的正向卷积层的卷积处理和池化层的池化处理，提取与所述目标表情图像对应的目标结构特征信息；
根据所述图像识别模型中的分类器，识别所述目标结构特征信息与所述图像识别模型中多个表情属性类型特征的匹配度，在由所述目标结构特征信息得到的多个匹配度中，将最大匹配度所对应的表情属性类型，作为与所述目标表情图像对应的表情属性类型。
其中，还包括：
获取属于第一表情类型的第一样本表情图像，并获取属于第二表情类型的第二样本表情图像；
基于样本生成模型增强所述第一样本表情图像中微表情的表情特征，得到样本增强图像；
基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息，并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率；所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率；
基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息，并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合；所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度；
根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型。
其中，所述根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型，包括：
根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值；
根据所述模型损失值调整所述样本生成模型中参数的权值、所述样本判别模型中参数的权值和所述样本识别模型中参数的权值，当所述模型损失值小于目标阈值时，将调整后的样本生成模型确定为所述图像增强模型，并将调整后的样本识别模型确定为所述图像识别模型。
其中，所述模型损失值包括：生成损失值、判别损失值和验证损失值；
所述根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值，包括：
根据所述样本增强图像和所述第二样本表情图像，确定所述生成损失值；
根据所述匹配概率和所述第二样本表情图像，确定所述判别损失值；
根据所述标签信息集合和所述第一样本表情图像对应的表情属性类型，确定所述验证损失值；
根据所述生成损失值、所述判别损失值和所述验证损失值，生成所述模型损失值。
本发明实施例一方面提供了一种基于微表情的图像识别装置，包括：
第一获取模块，用于获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像；
增强模块，用于在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；
识别模块，用于识别与所述目标表情图像对应的表情属性类型；
确定模块，用于将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。
其中，所述图像增强模型包括第一增强子模型和第二增强子模型；
所述增强模块，包括：
确定单元，用于将所述原始表情图像中的表情标识区域确定为单位原始表情图像；
第一输入单元，用于将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像；
第二输入单元，用于将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像；
组合单元，用于根据所述单位原始表情图像在所述原始表情图像中的位置信息，将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。
其中，所述第一输入单元，包括：
第一输入子单元，用于将所述单位原始表情图像输入所述第一增强子模型的输入层，得到与所述单位原始表情图像对应的第一原始矩阵；
第一卷积子单元，用于从所述第一原始矩阵中随机采样，得到第一原始向量，根据所述第一增强子模型中的转置卷积层，对所述第一原始向量进行反卷积处理，得到第一目标张量，并将所述第一目标张量确定为所述单位辅助图像。
其中，所述第二输入单元，包括：
第二输入子单元，用于将所述原始表情图像输入所述第二增强子模型的输入层，得到与所述原始表情图像对应的第二原始矩阵；
第二卷积子单元，用于从所述第二原始矩阵中随机采样，得到第二原始向量，根据所述第二增强子模型中的转置卷积层，对所述第二原始向量进行反卷积处理，得到第二目标张量，并将所述第二目标张量确定为所述目标辅助图像。
其中，还包括：
二值处理模块，用于将所述原始表情图像二值化处理，得到二值图像；
边缘检测模块，用于基于梯度算子对所述二值图像进行边缘检测，得到梯度图像，并在所述梯度图像中确定边缘轮廓所在的目标位置信息；
所述确定模块，还用于在所述原始表情图像中，将所述目标位置信息所标识的区域确定为所述表情标识区域。
其中，所述识别模块，包括：
提取单元，用于将所述目标表情图像输入图像识别模型中；
所述提取单元，还用于根据所述图像识别模型中的正向卷积层的卷积处理和池化层的池化处理，提取与所述目标表情图像对应的目标结构特征信息；
识别单元，用于根据所述图像识别模型中的分类器，识别所述目标结构特征信息与所述图像识别模型中多个表情属性类型特征的匹配度，在由所述目标结构特征信息得到的多个匹配度中，将最大匹配度所对应的表情属性类型，作为与所述目标表情图像对应的表情属性类型。
其中，还包括：
第二获取模块，用于获取属于第一表情类型的第一样本表情图像，并获取属于第二表情类型的第二样本表情图像；
所述确定模块，还用于基于样本生成模型增强所述第一样本表情图像中微表情的表情特征，得到样本增强图像；
提取模块，用于基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息，并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率；所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率；
所述提取模块，还用于基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息，并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合；所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度；
生成模块，用于根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型。
其中，所述生成模块，包括：
生成单元，用于根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值；
调整单元，用于根据所述模型损失值调整所述样本生成模型中参数的权值、所述样本判别模型中参数的权值和所述样本识别模型中参数的权值，当所述模型损失值小于目标阈值时，将调整后的样本生成模型确定为所述图像增强模型，并将调整后的样本识别模型确定为所述图像识别模型。
其中，所述模型损失值包括：生成损失值、判别损失值和验证损失值；
所述生成单元，包括：
第一确定子单元，用于根据所述样本增强图像和所述第二样本表情图像，确定所述生成损失值；
所述第一确定子单元，还用于根据所述匹配概率和所述第二样本表情图像，确定所述判别损失值；
第二确定子单元，用于根据所述标签信息集合和所述第一样本表情图像对应的表情属性类型，确定所述验证损失值；
所述第二确定子单元，还用于根据所述生成损失值、所述判别损失值和所述验证损失值，生成所述模型损失值。
本发明实施例一方面提供了一种电子设备，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本发明实施例中的方法。
本发明实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中的方法。
本发明实施例通过获取属于第一表情类型的原始表情图像，将原始表情图像输入图像增强模型；属于第一表情类型的原始表情图像是包含微表情的图像；图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；属于第二表情类型的样本表情图像的表情强度大于属于第一表情类型的样本图像；在图像增强模型中增强原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；识别与目标表情图像对应的表情属性类型，并将与目标表情图像对应的表情属性类型确定为与原始表情图像对应的表情属性类型。上述可知，通过增强模型增强微表情图像中微表情的表情特征，以将微表情图像转换为辨识度高、表情强度大的目标表情图像，利用目标表情图像所具备的表情区分特征，识别该目标表情图像的表情属性类型，作为微表情图像的表情属性类型，由于表情特征增强后的目标表情图像的表情特征区分性明显，因此可以准确地识别出目标表情图像的表情属性类型，进而可以提高识别微表情图像的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于微表情的图像识别方法的系统架构图；
图2是本发明实施例提供的一种基于微表情的图像识别方法的场景示意图；
图3是本发明实施例提供的一种基于微表情的图像识别方法的流程示意图；
图4是本发明实施例提供的一种增强表情特征的流程示意图；
图5是本发明实施例提供的另一种基于微表情的图像识别方法的流程示意图；
图6是本发明实施例提供的一种生成模型损失值的流程示意图；
图7是本发明实施例提供的一种计算模型损失值的示意图；
图8是本发明实施例提供的一种基于微表情的图像识别装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例提供的一种基于微表情的图像识别方法的系统架构图。服务器40a为用户终端集群提供服务，用户终端集群可以包括：服务器40b、用户终端40c、...、用户终端40d。当用户终端(可以是服务器40b、用户终端40c或用户终端40d)获取到微表情图像，并需要识别该微表情图像的属性类型时，将该微表情图像发送至服务器40a。服务器40a基于提前训练好的图像增强模型增强微表情图像中微表情的表情特征，以将该微表情图像转换为情绪表现力度高的夸张表情图像，服务器40a再基于提前训练好的图像识别模型识别上述夸张表情图像的属性类型，识别出来的属性类型即是用户终端发送的微表情图像的属性类型。后续，服务器40a可以将识别出来的属性类型发送至用户终端，以及将微表情图像和识别出来的属性类型关联存储在数据库中。用户终端接收到服务器发送的属性类型后，可以在屏幕上以文字的方式显示该属性类型。当然，若用户终端的本地存储了训练好的图像增强模型和图像识别模型，可以在用户终端本地将微表情图像转换为夸张表情图像，再对夸张表情图像进行识别，同样地将识别出来的属性类型就作为微表情图像对应的属性类型。其中，由于训练图像增强模型和训练图像识别模型涉及到大量的离线计算，因此用户终端本地的图像增强模型和图像识别模型可以是由服务器40a训练完成后发送至用户终端的。下述以识别一张微表情图像的属性类型为例(可以是在服务器40a中识别，也可以是在用户终端中识别)，进行说明。
其中，用户终端可以包括手机、平板电脑、笔记本电脑、掌上电脑、智能音响、移动互联网设备(MID，mobile internet device)、POS(Point Of Sales，销售点)机、可穿戴设备(例如智能手表、智能手环等)等。
请参见图2，是本发明实施例提供的一种基于微表情的图像识别方法的场景示意图。获取待识别的微表情图像10a，其中微表情是持续时间短、情绪表达强度低下、且区别特征不明显的表情。由于人脸表情主要是有五官构成，因此将微表情图像10a中属于脸部五官的区域图像提取出来，即从微表情图像10a中提取出图像10b(微表情图像10a中位于左眼区域的图像)、图像10c(微表情图像10a中位于右眼区域的图像)、图像10d(微表情图像10a中位于鼻子区域的图像)和图像10e(微表情图像10a中位于嘴巴区域的图像)。将上述图像10b输入图像增强模型20a中，图像增强模型20a是用于增强图像的表情特征，其中增强表情特征是调整人脸五官的形态，例如：眼睛外张、眼睑抬起、眉毛内皱、嘴角张开、牙齿露出或唇角向下等。在图像增强模型20a中增强图像10b的表情特征，得到图像10f；同样地，将图像10c输入图像增强模型20a中，在图像增强模型20a中增强图像10c的表情特征，得到图像10g；将图像10d输入图像增强模型20a中，在图像增强模型20a中增强图像10d的表情特征，得到图像10h；将图像10e输入图像增强模型20a中，在图像增强模型20a中增强图像10e的表情特征，得到图像10k。
下面以图像10b为例，说明如何在图像增强模型20a中增强图像10b的表情特征，其余的图像输入增强模型20a后都可以采用相同的方式增强图像的表情特征。将图像10b输入图像增强模型20a的输入层，以将图像10b转化为对应的矩阵，从上述矩阵中随即采样，将采样数据组合为一个列向量，此处的列向量可以是一个大小为1*n的列向量。根据图像增强模型20a中的转置卷积层，对上述1*n的列向量进行反卷积处理，反卷积处理是卷积处理的逆向操作，具体过程是将上述列向量全连接和重塑(reshape)为一个四维张量1*1*1*n，再将上述四维张量投影到有多个特征映射的小空间范围卷积，通过一连串的微步幅卷积，得到能够表征图像10b的高级表征向量1*p*p*3。若需要增强后的图像是彩色图像，那么就将上述高级表征向量的第0个索引维度压缩，即可以得到一张尺寸为p*p的彩色图像；需要增强后的图像是灰度图像，那么就将上述高级表征向量的第0个和第3个索引维度压缩，可以得到一张尺寸为p*p的灰度图像。以从图像增强模型20a中输出的图像是灰度图像为例，那么就压缩第0个和第3个索引维度，即可以得到图像10f，即从图像增强模型中输出的图像10f是图像10b增强表情特征后的图像。
对于图像增强模型20a也可以理解为是一个基于卷积神经网络识别图像中对象的属性类型的逆过程，卷积神经网络识别图像是输入一张图像，输出一个列向量，该列向量就表示输入图像与多种属性类型的匹配程度；而图像增强模型是从图像中随机采样后得到一个列向量，即是从增强模型20a中输入的是一个列向量，输出是一张图像。还需要说明的是，上述图像增强模型20a可以对应于对抗网络中的生成模型，对抗网络包括生成模型和判别模型，生模型是用于生成模拟的样本数据，在本发明中生成模型(图像增强模型)就用于生成更具有情绪表达能力的夸张的表情图像；判别模型就是用于判断生成模型所生成的夸张表情图像是真实图像的概率，其中，属于真实表情类型的图像是真实图像，对应地，属于模拟表情类型的图像是模拟图像(也可以称为仿真图像)，真实图像是利用图像采集器采集的正常人脸图像，模拟图像是由模型虚构生成的图像，例如，由照相机拍摄人脸表情所得到的图像就是属于真实表情类型的真实图像。
再将完整的微表情图像10a输入图像增强模型20b中，在图像增强模型20b中增强微表情图像10a中微表情的表情特征，得到表情特征增强后的图像10m，表情特征增强后的图像10m相比微表情图像10a具有更高表情辨识度，且表情强度更强。由于图像增强模型20b和图像增强模型20a的结构完全相同，不同是模型中参数的取值，因此图像增强模型20b增强表情特征的具体过程可以参见上述增强模型20a增强图像10b的表情特征。
需要说明的是，利用图像增强模型20a分别增强图像10b、图像10c、图像10d、图像10e，和利用图像增强模型20b增强微表情图像10a是没有先后顺序限定的，即是可以先基于图像增强模型20a增强图像10b、图像10c、图像10d、图像10e；也可以先基于图像增强模型20b增强微表情图像10a；或者两个图像增强模型并行地对图像进行表情特征的增强。
确定了表情特征增强后的图像10f、图像10g、图像10h、图像10k和图像10m后，根据上述对应的图像10b、图像10c、图像10d和图像10e在微表情图像10a中的位置信息，将图像10f、图像10g、图像10h、图像10k和图像10m组合为一张图像10n。由于图像10n是由多张表情夸张的图像组合而来，因此图像10n也是一张具有高情绪表达力、高表情辨识度的图像，即图像10n相比微表情图像10a是一张表情夸张的图像。
将表情夸张的图像10n输入图像识别模型20c中，图像识别模型20c是用于识别图像10n中表情所对应的表情属性类型，其中表情属性类型可以包括：高兴、悲伤、害怕、精确、厌恶和愤怒等。图像识别模型20c可以是一个卷积神经网络模型，识别过程具体为：将图像10n输入至图像识别模型20c中的输入层，利用图像识别模型20c中的卷积层的卷积运算和池化层的池化运算，提取与图像20n对应的静态结构特征信息，利用图像识别模型20c中的分类器，计算图像10n对应的静态结构特征信息与图像识别模型中所包含的6种表情属性类型特征匹配的概率，分别是：0.1高兴、0.8悲伤、0.2害怕、0.2惊奇、0.1厌恶和0.3愤怒，其中，匹配结果中的数值表示图像10n的静态结构特征信息与6中表情属性类型特征匹配的概率，例如：“0.1高兴”就表示图像10n的静态结构特征信息与“高兴”表情属性类型特征匹配的概率为0.1。从上述匹配的结果中，将匹配概率最高的表情属性类型特征对应表情属性类型作为图像10n对应的表情属性类型。由于图像10n是微表情图像10a经由增强表情特征后得到的，因此识别出来的图像10n的表情属性类型即是与微表情图像10a对应的表情属性类型。因此，根据上述6个匹配概率的结果，可以确定与图像10n对应的表情属性类型是：悲伤(0.8悲伤>0.3愤怒>0.2惊奇＝0.2害怕>0.1高兴＝0.1厌恶)。那么与微表情图像10a对应的表情属性类型也是：悲伤。上述可知，图像增强模型20a、图像增强模型20b不仅可以将微表情图像或者微表情子图像的表情特征增强，使得微表情图像可以转换为夸张表情图像，且能够保证由图像识别模型20c识别出来的夸张表情图像的表情属性类型具有与微表情图像相同的表情属性类型，即转换而来的夸张表情图像不仅夸张(具有更高的表情强度)、真实、且保证表情属性类型与微表情图像的表情属性类型一致。
后续若确定出微表情图像10a的表情属性类型与预设的表情属性类型相同，且该表情属性类型对应的概率大于预设的概率阈值时，则终端可以执行相应的操作。例如，若识别出的表情属性类型是：悲伤，且表情属性类型“悲伤”对应的概率大于或等于0.8，则终端执行支付操作或者执行拍照操作。
通过增强模型增强微表情图像中微表情的表情特征，以将微表情图像转换为具有高辨识度的目标表情图像，利用目标表情图像所具备的表情区分特征识别该目标表情图像的表情属性类型，作为微表情图像的表情属性类型，由于目标表情图像的表情特征区分性明显，因此可以准确地识别出目标表情图像的表情属性类型，进而可以提高识别微表情图像的准确率。
其中，基于图像增强模型增强表情特征、识别与图像对应的表情属性类型的具体过程可以参见以下图3至图7所对应的实施例。
进一步地，请参见图3，是本发明实施例提供的一种基于微表情的图像识别方法的流程示意图。如图3所示，所述基于微表情的图像识别方法可以包括：
步骤S101，获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像。
具体的，获取待识别或者待分类的属于第一表情类型的图像(如上述图2所对应实施例中的微表情图像10a)，称为属于第一表情类型的原始表情图像，其中属于第一表情类型的图像是包含微表情的图像，且微表情是人物试图隐藏情感时无意识做出的、短暂的、表情强度低的面部表情。那么，对应地属于第二表情类型的图像是包含夸张表情的图像(如上述图2所对应实施例中的图像10n)，也可以理解为属于第二表情类型的图像所对应的的表情强度、表情区分性都要远大于属于第一表情类型的图像，表情强度大的图像是指脸部情绪表达明显，五官形态夸张的图像，例如开心大笑的表情强度就远大于目无表情的表情强度。为了识别与原始表情图像对应的表情属性类型，而原始表情图像又是不具有特征区分性的属于第一表情类型的图像，因此将原始表情图像输入图像增强模型(如上述图2所对应实施例中的图像增强模型20a和图像增强模型20b)中，以增强原始表情图像中微表情的表情特征。其中，图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练对抗网络得到的，且图像增强模型就对应于对抗网络中的生成模型。
步骤S102，在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像。
具体的，在图像增强模型中，增强原始表情图像中微表情的表情特征，由于人脸表情是由脸部五官中的眼睛、眉毛、鼻子、嘴巴、前额、面颊和下颚构成，因此增强表情特征即是调整眼睛、眉毛、鼻子、嘴巴、前额、面颊和下颚的外部形态，以增强面部表情的情绪表达能力，例如，眼睛张开、眉毛上扬、嘴角下拉、鼻孔张大、面颊上抬起皱、前额紧皱、下颚收紧等。可以知道，由于增强了表情特征后，所得到的图像具有较高的表情强度和明显的表情区分性，因此原始表情图像经过表情特征增强后的图像就属于第二表情类型的图像，称为属于第二表情类型的目标表情图像。
由于人脸表情主要是由五官中眼睛、眉毛、鼻子和嘴巴的变化构成，为了使原始表情图像(微表情图像)可以转换为表情强度高的目标表情图像(夸张表情图像)，目标增强模型可以包括两个子模型，分别为第一增强子模型(如上述图2所对应实施例中的图像增强模型20a)和第二增强子模型(如上述图2所对应实施例中的图像增强模型20b)，其中第一增强子模型是用于增强脸部表情中眼睛、眉毛、鼻子和嘴巴的表情特征；第二增强子模型是用于增强整个微表情的表情特征。再将经过上述两个增强子模型分别增强的表情图像组合为目标表情图像。
基于第一增强子模型和第二增强子模型增强原始表情图像以得到目标表情图像的具体过程是：在原始表情图像中，确定表情标识区域，将确定出来的标识区域从原始表情图像中提取出来，作为单位原始表情图像(如上述图2所对应实施例中的图像10b、图像10c、图像10d和图像10e)。其中，表情标识区域是脸部表情中眼睛、眉毛、鼻子和嘴巴所在的区域。可以知道，此处的单位原始表情图像的数量有多个，将单位原始表情图像分别输入第一增强子模型中，在第一增强子模型中分别增强上述单位原始图像的表情特征，得到的图像均称为单位辅助图像(如上述图2所对应实施例中的图像10f、图像10g、图像10h和图像10k)。可以知道，单位辅助图像的数量和单位原始表情图像的数量是相同的，且每个单位辅助图像都具有唯一对应的单位原始表情图像。
再将原始表情图像输入第二增强子模型中，在第二增强子模型中增强原始表情图像的表情特征，将表情增强后的图像称为目标辅助图像。
基于第一增强子模型得到单位辅助图像和基于第二增强子模型得到目标辅助图像的执行顺序没有限定。确定了单位辅助图像和目标辅助图像后，由于单位辅助图像和单位原始表情图像是一一对应的，根据单位原始表情图像在原始表情图像中的位置信息，将单位辅助图像和目标辅助图像组合为目标表情图像，其中目标表情图像是具有高表情强度的图像。
可选的，将原始表情图像进行二值化处理，二值化处理后得到的图像称为二值图像，二值图像中像素的像素值要么是1要么是0。二值化处理是将原始表情图像中像素值大于像素阈值的像素的数值设置为1，对应地将原始表情图像中像素值小于或等于上述像素阈值的像素的数值设置为0，此处的原始表情图像的像素值是已经归一化处理后的，即所有原始表情图像的像素值范围在0到1之间。从显示效果上来说，若像素值等于1，那么该像素值显示为白色；若像素值等于0，那么该像素值显示为黑色。对二值图像进行边缘检测，边缘检测是指检测出二值图像中灰度发生急剧变化的区域，图像灰度的变化情况可以用灰度分布的梯度来反映，因此可以基于梯度算子对二值图像进行边缘检测，得到梯度图像，其中梯度算子可以包括：Roberts算子、Prewitt算子、Sobel算子、Lapacian算子等。由于梯度图像是反应二值图像中灰度发生急剧变化的图像，那么梯度图像就是由原始表情图像的边缘轮廓所组成为图像。对脸部表情来说，边缘轮廓即是眼睛的轮廓、眉毛的轮廓、鼻子的轮廓、嘴巴的轮廓。在梯度图像中，确定上述边缘轮廓所在的位置信息(称为目标位置信息)，目标位置信息可以包括4个坐标信息，上述4个坐标信息表示一个矩形区域的4个顶点坐标，该矩形区域是包含边缘轮廓的最小矩形区域。在原始表情图像中，上述目标位置信息所标识的区域就是脸部表情中眼睛、眉毛、鼻子和嘴巴所在的区域，即目标位置信息在原始表情图像中所标识的区域就是表情标识区域。
步骤S103，识别与所述目标表情图像对应的表情属性类型，并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。
具体的，为了提高后续目标表情图像识别的准确率，可以先将目标表情图像调整至固定尺寸大小，随后将调整尺寸后的目标表情图像输入图像识别模型(如上述图2所对应实施例中的图像识别模型20c)中的输入层。图像识别模型可以包括输入层、卷积层、池化层、全连接层和输出层；其中输入层的参数大小等于调整尺寸后的目标表情图像的尺寸。当目标表情图像输入至卷积神经网络的输出层后，随后进入卷积层，首先随机选取目标表情图像中的一小块作为样本，并从这个小样本中学习到一些特征信息，然后利用这个样本作为一个窗口依次滑过目标表情图像的所有像素区域，也就是说，从样本中学习到的特征信息跟目标表情图像做卷积运算，从而获得目标表情图像不同位置上最显著的特征信息。在做完卷积运算后，已经提取到目标表情图像的特征信息，但仅仅通过卷积运算提取的特征数量大，为了减少计算量，还需进行池化运算，也就是将从目标表情图像中通过卷积运算提取的特征信息传输至池化层，对提取的特征信息进行聚合统计，这些统计特征信息的数量级要远远低于卷积运算提取到的特征信息的数量级，同时还会提高分类效果。常用的池化方法主要包括平均池化运算方法和最大池化运算方法。平均池化运算方法是在一个特征信息集合里计算出一个平均特征信息代表该特征信息集合的特征；最大池化运算是在一个特征信息集合里提取出最大特征信息代表该特征信息集合的特征。
通过上述卷积层的卷积处理和池化层的池化处理，可以提取出目标表情图像的静态结构特征信息，称为目标结构特征信息，同时该目标结构特征信息的数量级较低。卷积神经网络中的卷积层可以只有一个也可以有多个，同理池化层可以只有一个也可以有多个。
利用图像识别模型中的分类器(也就对应于图像识别模型的全连接层和输出层)，识别目标表情图像的目标结构特征信息与图像识别模型中多个表情属性类型特征的匹配度，上述分类器是提前训练完成的，该分类器的输入是静态结构特征信息，输出是静态结构特征信息与多种表情属性类型特征的匹配度，匹配度越高说明目标表情图像中的表情与表情属性类型特征对应的表情属性类型的匹配概率越大，得到的匹配度的数量和图像识别模型中表情属性类型特征的数量相同。图像识别模型中包含的表情属性类型特征的数量和种类是训练图像识别模型时由训练数据集中所包含的表情属性类型的数量和种类决定的。从上述得到的与多个表情属性类型特征的匹配度中，提取出最大匹配度所对应的表情属性类型特征对应的表情属性类型，将提取出来的表情属性类型作为目标表情图像的表情属性类型，且该提取出来的表情属性类型也是原始表情图像的表情属性类型。
举例来说，图像识别模型中存在“开心”表情属性类型特征、“恐惧”表情属性类型特征、“愤怒”表情属性类型特征，根据图像识别模型中的分类器识别目标结构特征信息A与“开心”表情属性类型特征的匹配度为0.1；识别目标结构特征信息A与“恐惧”表情属性类型特征的匹配度为0.3；识别目标结构特征信息A与“愤怒”表情属性类型特征的匹配度为0.6；识别目标结构特征信息A与“惊奇”表情属性类型特征的匹配度为0.9。从上述4个匹配度中提取最大匹配度所对应的表情属性类型，即提取出最大匹配度0.9对应的“惊奇”表情属性类型，那么与目标图像对应的表情属性类型为：惊奇；且与原始表情图像对应的表情属性类型也是：惊奇。
进一步地，请参见图4，是本发明实施例提供的一种增强表情特征的流程示意图。如图4所示，增强表情特征的具体过程包括如下步骤S201-步骤S203，且步骤S201-步骤S203为图3所对应实施例中步骤S102的一个具体实施例：
步骤S201，将所述原始表情图像中的表情标识区域确定为单位原始表情图像，并将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像。
具体的，图像增强模型包括第一增强子模型和第二增强子模型。在原始表情图像中，确定表情标识区域，将确定出来的标识区域从原始表情图像中提取出来，作为单位原始表情图像。其中，表情标识区域是脸部表情中眼睛、眉毛、鼻子和嘴巴所在的区域。下述以第一增强子模型增强一个单位原始表情图像的表情特征为例进行说明，若有多个单位原始表情图像都可以采用相同的方式增强表情特征，得到表情特征增强后的单位辅助图像。
将单位原始表情图像输入第一增强子模型的输入层，得到与单位原始表情图像对应的矩阵，称为第一原始矩阵，也即是将单位原始表情图像的像素点进行离散化，得到一个与单位原始表情图像的尺寸相同的第一原始矩阵。从第一原始矩阵中随机采样，将采样到的数值组合为一个具有长度为n的列向量1*n(称为第一原始向量)，其中该目标长度是提前设置好的，例如目标长度n可以是100，那么就是通过在第一原始矩阵中下采样，得到一个1*100的第一原始向量。为了输入到第一增强子模型中的转置卷积层，首先需要将上述第一原始向量扩充为一个1*1*1*n的四维张量。基于第一增强子模型中的第一个转置卷积层，对上述4维张量反卷积处理，得到与第一个转置卷积层对应的张量，其中反卷积处理和卷积处理的运算相反，空间由小变大。再经过第一增强子模型中的第二个转置卷积层，对上述与第一个转置卷积层对应的张量反卷积处理，得到与第二个转置卷积层对应的张量....，一直到基于第一增强子模型中最后一个转置卷积层的反卷积处理后，可以得到大小为1*a*b*3的4维张量，压缩第0个索引维度和第3个索引维度之后就得到一个2维的张量a*b，称为第一目标张量，将该第一目标张量确定为单位辅助图像，且该单位辅助图像的尺寸就等于a*b。需要说明的是，在确定了大小为1*a*b*3的4维张量后，若压缩第0个索引维度和第3个索引维度所得到的是单位辅助图像是灰度图像；若压缩第0个索引维度所得到的是单位辅助图像是尺寸为a*b的彩色图像，该彩色图像对应的第一目标张量就是3维的张量a*b*3。还需要说明的是，由于后续还需将单位辅助图像进行组合，因此单位辅助图像的尺寸和单位原始表情图像的尺寸是相同的。
对多个单位原始表情图像，都可以采用上述方式增强表情特征，得到与每个单位原始表情图像对应的单位辅助图像。
步骤S202，将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像。
将原始表情图像输入第二增强子模型的输入层，得到与原始表情图像对应的矩阵，称为第二原始矩阵，也即是将原始表情图像的像素点进行离散化，得到一个与原始表情图像的尺寸相同的第二原始矩阵。从第二原始矩阵中随机采样，将采样到的数值组合为一个具有长度为m的列向量1*m(称为第二原始向量)。为了输入到第二增强子模型中的转置卷积层，首先需要将上述第二原始向量扩充为一个1*1*1*m的四维张量。基于第二增强子模型中的第一个转置卷积层，对上述4维张量反卷积处理，得到与第一个转置卷积层对应的张量，其中反卷积处理和卷积处理的运算相反，空间由小变大。再经过第二增强子模型中的第二个转置卷积层，对上述与第一个转置卷积层对应的张量反卷积处理，得到与第二个转置卷积层对应的张量....，一直到基于第二增强子模型中最后一个转置卷积层的反卷积处理后，可以得到大小为1*c*d*3的4维张量，同样地，压缩第0个索引维度和第3个索引维度之后就得到一个2维的张量c*d，称为第二目标张量，将该第二目标张量确定为目标辅助图像，且该目标辅助图像的尺寸就等于c*d。同样地，在确定了大小为1*c*d*3的4维张量后，若压缩第0个索引维度和第3个索引维度所得到的是目标辅助图像是灰度图像；若压缩第0个索引维度所得到的是目标辅助图像是尺寸为c*d的彩色图像，该彩色图像对应的第二目标张量就是3维的张量c*d*3。上述可知，第一增强子模型和第二增强子模型具有相同的结构，只是模型参数(例如，转置卷积层的卷积核以及转置卷积层的数量)不一致，且目标辅助图像的尺寸和原始表情图像的尺寸是一样的。
步骤S203，根据所述单位原始表情图像在所述原始表情图像中的位置信息，将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。
由于单位辅助图像和单位原始表情图像具有一一对应的关系，且单位辅助图像的尺寸和单位原始表情图像的尺寸是相同的，根据单位原始表情图像在原始表情图像中的位置信息，将单位辅助图像和目标辅助图像组合为目标表情图像，其中位置信息是指对应单位原始表情图像在原始表情图像中的位置坐标，且组合得到的目标表情图像也和原始表情图像的尺寸是相同的。
上述可知，通过增强模型增强微表情图像中微表情的表情特征，以将微表情图像转换为具有高辨识度的目标表情图像，利用目标表情图像所具备的表情区分特征识别该目标表情图像的表情属性类型，作为微表情图像的表情属性类型，由于目标表情图像的表情特征区分性明显，因此可以准确地识别出目标表情图像的表情属性类型，进而可以提高识别微表情图像的准确率。
请参见图5，是本发明实施例提供的另一种基于微表情的图像识别方法的流程示意图，该基于微表情的图像识别方法具体过程如下：
步骤S301，获取属于第一表情类型的第一样本表情图像，并获取属于第二表情类型的第二样本表情图像。
具体的，为了训练图像增强模型和图像识别模型，获取属于第一表情类型的第一样本表情图像，以及获取属于第二表情类型的第二样本表情图像，第一样本表情图像中的表情是微表情，第二样本表情图像中的表情是夸张表情。下述以一张第一样本表情图像和一张第二样本表情图像为例进行说明。
下述步骤S302-步骤S305是用于描述训练图像增强模型和图像识别模型的过程，步骤S306-步骤S308是用于描述识别包含微表情图像的过程。图像增强模型是用于将一张图像的表情特征增强，也可以理解为利用图像增强模型生成了一张表情辨识度更高、表情强度更强的图像，因此图像增强模型可以对应于对抗网络中的样本生成模型，其中对抗网络包括样本生成模型和样本判别模型。样本生成模型是用于生成样本数据，此处就是生成表情强度高的表情图像，样本判别模型是用于判别出样本数据属于真实表情图像的概率，和属于模拟表情图像的概率(由样本生成模型生成的样本数据就是模拟的样本数据，由数据采集器采集来的图像是真实的样本数据，且属真实表情图像的概率和属于模拟表情图像的概率之和为1)，因此训练图像增强模式实质上是在训练对抗网络，既要训练样本生成模型，也要训练样本判别模型。对于对抗网络也可以理解为：样本生成模型要生成尽量真实、夸张的表情图像，样本判别模型要尽量识别出由样本生成模型生成的图像是模型的仿真图像，而不是真实采集的表情图像，所以这是一个对抗博弈的过程(也就称为对抗网络)，因此训练过程就是在样本生成模型对应的真实性和样本判别模型对应的准确性之间寻找一个平衡。对抗网络的目标函数可以表示为公式(1)：
Figure BDA0001874352640000191
其中，x表示属于第一表情类型的第一样本表情图像，z表示属于第二表情类型第二样本表情图像，T表示样本生成模型，用于将微表情图像的表情特征增强，T(x)表示表情增强后的图像。D表示样本判别模型，用于识别对象(此处的对象包括第二样本表情图像或者表情特征增强后的图像)属于真实表情类型的概率，此处的属于真实表情类型的图像是指利用图像采集器采集的关于人脸脸部表情的图像，与真实表情类型对应的是模拟表情类型，属于模拟表情类型的图像是由模型生成的、虚构的表情图像。
其中，最大化D表示对样本判别模型来说，当第二样本表情图像(第二样本表情图像是真实、夸张的表情图像)输入的时候，希望识别出来的第二样本表情图像的识别标签为1(识别标签为1表示对应图像属于正常表情图像类型的概率为1)，所以D(z)越大越好。当表情特征增强后的图像输入的时候，希望识别出来的表情特征增强后的图像的识别标签是0(识别标签为0表示对应图像属于正常表情图像类型的概率为0，这是因为样本增强图像是由模型生成的图像而不是真实采集的图像)，也就是D(T(x))越小越好，所以把第二项改成1-D(T(x))，这样就是越大越好，两者合起来就是越大越好。
其中，最小化T表示对样本生成模型来说，当样本增强图像输入的时候，希望识别出来的样本增强图像的识别标签是1(由于样本生成模型希望样本生成图像足够真实、逼真，所以希望经由样本判别模型识别样本增强图像的识别标签是1)，所以D(T(x))越大越好，为了统一写成D(T(x))的形式，那么对应地就是最小化1-D(T(x))。
步骤S302，基于样本生成模型增强所述第一样本表情图像中微表情的表情特征，得到样本增强图像。
具体的，初始化一个样本生成模型，基于样本生成模型增强第一样本表情图像中微表情的表情特征，得到样本增强图像，具体的增强过程可以参见上述图4所对应实施例中的步骤S201-步骤S203。需要说明的是，由于此时的样本生成模型还没有训练完成，样本增强图像的质量可能比较低(即是样本增强图像不逼真、表情强度低、不夸张，甚至不是一张表情图像)，且不论训练前的样本生成模型，或者是训练完成后的样本生成模型(即是图像增强模型)结构都是相同的，不同的是模型中参数的取值。
步骤S303，基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息，并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率；所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率。
具体的，得到了由样本生成模型生成的样本增强图像后，初始化一个样本判别模型，该样本判别模型可以是一个基于卷积神经网络的分类模型。基于样本判别模型提取样本增强图像对应的结构特征信息(称为第一结构特征信息，)，根据样本判别模型中的分类器和第一结构特征信息，识别样本增强图像属于真实表情类型的匹配概率，此处的属于真实表情类型的图像是指图像采集器(例如，照相机)采集的真实、正常的人脸表情图像，当然，若生成的样本增强图像越逼真，那么对应的匹配概率就越高。需要说明的是，样本判别模型所计算出来的匹配概率只能确定样本增强图像是真实、正常的人脸表情的概率。
步骤S304，基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息，并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合；所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度。
具体的，得到了由样本生成模型生成的样本增强图像后，初始化一个样本识别模型，该样本识别模型可以是一个基于卷积神经网络的分类模型。基于样本识别模型提取样本增强图像对应的结构特征信息(称为第二结构特征信息)，根据样本识别模型中的分类器和第二结构特征信息，识别样本增强模型图像与多种表情属性类型的匹配度，将多个匹配度以及对应的表情属性类型进行关联，得到多个标签信息，将多个标签信息组合为标签信息集合。
例如，样本增强图像A与“开心”表情属性类型的匹配度为0.2；样本增强图像A与“伤心”表情属性类型的匹配度为0.1；样本增强图像A与“恐惧”表情属性类型的匹配度为0.7，再关联对应的表情属性类型，即得到标签信息集合：0.2-开心、0.1-伤心、0.7-恐惧。
上述可知，虽然样本判别模型和样本识别模型都可以是基于卷积神经网络的分类模型，但样本判别模型所提取出来的第一结构特征信息主要是反映样本增强图像是真实图像或者是模拟图像的隐藏高级特征信息，样本识别模型所提取出来的第二结构特征信息主要是反映样本增强图像关于属性类型的隐藏高级特征信息。
步骤S305，根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型。
具体的，根据样本增强图像、第二样本表情图像，生成损失值；根据样本判别模型识别出来的匹配概率和第二样本表情图像生成判别损失值；根据标签信息集合、第一样本表情图像对应的表情属性类型生成模型损失值。将上述3种损失值组合为模型损失值，根据模型损失值调整样本生成模型、样本判别模型和样本识别模型中参数的权值。参数权值调整后采用上述方法再次生成样本增强图像，再次计算模型损失值，不断循环，直至当模型模型损失值小于目标阈值时，或者当模型损失值收敛时，或者当循环的次数达到目标次数时，此时样本生成模型、样本判别模型和样本识别模型就训练完毕，后续就可以将样本增强模型确定为图像增强模型，并将样本识别模型确定为图像识别模型。上述可知，训练阶段是存在样本判别模型的，但在应用阶段，就不需要样本判别模型。
还需要说明的是，由于图像增强模型包括第一增强子模型和第二增强至模型，那么对应地，样本生成模型包括第一生成子模型和第二生成子模型，根据模型损失值调整样本生成模型参数的权值，就是根据模型损失值调整第一生成子模型参数的权值和调整第二生成子模型参数的权值。
步骤S306，获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像。
步骤S307，在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像。
步骤S308，识别与所述目标表情图像对应的表情属性类型，并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。
其中，步骤S306-步骤S308的具体实现方式可以参见上述图2对应实施例中的步骤S101-步骤S103，且增强表情特征的具体过程可以参见上述图3对应实施例中的步骤S201-步骤S203，这里不再进行赘述。
进一步地，请参见图6，是本发明实施例提供的一种生成模型损失值的流程示意图。如图6所示，生成模型损失值的具体过程包括如下步骤S401-步骤S402，且步骤S401-步骤S402为图5所对应实施例中步骤S305的一个具体实施例：
步骤S401，根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值。
具体的，根据样本增强图像和第二样本表情图像，可以计算出生成的样本增强图像和表情强度高(表情夸张)的第二样本表情图像之间的误差，可以利用公式(2)计算样本增强图像中每个像素点和第二样本表情图像的每个像素点之间的生成损失值：
Figure BDA0001874352640000231
其中，x表示微表情图像，z表示真实夸张图像，T表示将微表情图像的表情特征增强，T(x)表示样本增强图像。公式(2)所计算出来的生成损失值是用于在后续调整样本生成模型过程中保证样本生成模型所生成的图像(表情特征增强后的图像)的表情强度要尽量的大，即是增强后的图像中的表情要尽可能的夸张。
对样本判别模型来说，由于样本增强图像是由模型生成的图像，而不是真实采集的图像，因此样本增强图像不属于真实表情类型，进而对样本判别模型来说，希望样本增强图像属于真实表情类型的匹配概率为0，即希望样本增强图像对应的识别标签为0。那么根据样本判别模型所判别出来的匹配概率(二分类匹配概率，分别对应属于真实表情的概率和属于模拟表情的概率)，以及第二样本表情图像，可以基于公式(3)计算出对应于样本判别模型的误差；
L2＝logD(z)+log(1-D(T(x))(3)
其中，T(x)表示样本增强图像，z表示第二样本表情图像，x表示第一样本表情图像。D(z)表示识别第二样本表情图像属于真实表情类型的概率，D(T(z))表示识别样本增强图像属于真实表情类型的概率，此处的属于真实表情类型的图像是指真实采集的人脸脸部表情的图像，而不是模型虚构模拟的人脸表情图像。
对样本生成模型来说，希望样本增强图像识别出来属于真实表情类型的匹配概率为1，即希望样本增强图像对应的识别标签为1。那么根据样本判别模型所判别出来的匹配概率(二分类匹配概率)，以及样本增强图像对应的识别标签1，可以基于公式(4)计算出对应于样本生成模型的误差：
L3＝log(1-D(T(x))(4)
其中，D(T(z))表示识别样本增强图像属于真实表情类型的概率。
上述两个误差之和称为判别损失值。可以利用公式(4)计算判别损失值：
L4＝L2+L3(5)
其中，L2表示样本判别模型对应的误差，L3表示样本生成模型对应的误差。公式(5)所计算出来的判别损失值是用于在后续调整样本生成模型和样本判别模型过程中，保证样本生成模型所生成的样本增强图像尽可能的真实，且样本判别模型判别结果尽可能的准确，或者说保证样本生成模型和样本判别模型可以达到平衡。
根据样本识别模型所确定的标签信息集合，和第一样本表情图像对应的表情属性类型(真实的表情属性类型)，确定样本识别模型识别出来的结果和真实的结果之间的验证损失值，可以利用公式(6)计算上述验证损失值：
Figure BDA0001874352640000241
其中，p(x)表示样本识别模型识别样本增强模型所识别出来的标签信息集合，q(x)表示第一样本表情图像对应的真实的表情属性类型。公式(6)所计算出来的验证损失值是用于在后续调整样本识别模型过程中，保证样本识别模型所判定图像(表情特征增强后的图像)的表情属性类型要尽可能的准确，或者说保证识别样本增强图像所识别出来的表情属性类型和第一样本表情图像的表情属性类型尽可能相同。
为了使上述3种损失值协同调节样本生成模型、样本判别模型和样本识别模型，将3种损失值组合为模型损失值，组合的方式可以采用公式(7)：
L6＝L1+α·L4+β·L5(7)
其中，α和β是连接权重，且取值在0到1之间。L1表示生成损失值、L4表示判别损失值，L5表示识别损失值。模型损失值可以合并理解为：生成损失值保证样本增强图像尽量夸张、判别损失值保证样本增强图像尽量真实、验证损失值保证样本增强图像的表情属性类型尽量准确，那么合并后的模型损失值保证样本增强图像夸张、真实且表情属性类型准确。
步骤S402，根据所述模型损失值调整所述样本生成模型中参数的权值、所述样本判别模型中参数的权值和所述样本识别模型中参数的权值，当所述模型损失值小于目标阈值时，将调整后的样本生成模型确定为所述图像增强模型，并将调整后的样本识别模型确定为所述图像识别模型。
根据模型损失值调整样本生成模型、样本判别模型和样本识别模型中参数的权值。参数权值调整后采用上述方法再次生成样本增强图像，再计算模型损失值，不断循环，直至当模型损失值小于目标阈值，或者模型损失值收敛，或者循环的次数达到目标次数时，此时样本生成模型、样本判别模型和样本识别模型就训练完毕，后续就可以将样本增强模型确定为图像增强模型用于增强表情特征，并将样本识别模型确定为图像识别模型用于识别表情属性类型。
请参见图7，是本发明实施例提供的一种计算模型损失值的示意图。第一样本表情图像30e输入样本生成模型30d(样本生成模型30d包括第一生成子模型30b和第二生成子模型30c)中，得到样本增强图像30e。将样本增强图像30e输入样本判别模型30g中，计算样本增强图像30e属于真实表情类型的匹配概率。再将样本增强图像30e输入样本识别模型30h中，计算样本增强图像30e与多种表情属性类型之间的匹配度，并将多个匹配度和对应的表情属性类型组合为标签信息集合。误差函数计算器30k根据样本增强图像30e、第二样本表情图像30f和公式(2)计算生成损失值；误差函数计算器30k根据样本增强图像30e属于真实表情类型的匹配概率、第二样本表情图像30f属于真实表情类型的匹配概率、公式(3)、公式(4)和公式(5)计算判别损失值；误差函数计算器30k根据标签信息集合、第一样本表情图像30a对应的真实表情属性类型和公式(6)计算识别损失值。误差函数计算器30k将上述3种损失值组合为模型损失值，根据模型损失值调整样本生成模型30d(第一生成子模型30b和第二生成子模型30c)中参数的权值，根据模型损失值调整样本判别模型30g中参数的权值，根据模型损失值调整样本识别模型30h中参数的权值。
可选的，上述是通过3个损失值来保证，样本增强图像夸张、真实且表情属性类型准确，可以将上述判别损失值和验证损失值合并为一个损失值。具体过程为：获取属于第一表情类型的第一样本表情图像，以及获取属于第二表情类型的第二样本表情图像，下述仍以一张第一样本表情图像和一张第二样本表情图像为例进行说明。初始化一个样本生成模型，基于样本生成模型增强第一样本表情图像中微表情的表情特征，得到样本增强图像。
得到了由样本生成模型生成的样本增强图像后，初始化一个样本判别模型，该样本判别模型可以是一个基于卷积神经网络的分类模型。基于样本判别模型提取样本增强图像对应的结构特征信息(称为第三结构特征信息)，根据样本判别模型中的分类器和第三结构特征信息，识别样本增强图像属于真实表情类型，且与多种表情属性类型匹配的联合匹配概率，联合匹配概率的数量和判别模型中表情属性类型的数量相同，其中第三结构特征信息主要反映样本增强图像是真实图像、且关于属性类型的隐藏高级特征信息。这里也可以理解为上述样本判别模型和样本识别模型合并为样本判别模型。同样地，根据样本增强图像和第二样本表情图像，可以计算出生成的样本增强图像和表情强度高(表情夸张)的第二样本表情图像之间的误差，可以利用上述公式(2)计算样本增强图像中每个像素点和第二样本表情图像的每个像素点之间的生成损失值。
根据样本判别模型所识别出来的联合匹配概率以及第一样本表情图像对应的真实的表情属性类型(此处第一样本表情图像是属于真实表情类型)，计算识别出来的结果和真实的结果之间的识别损失值。将2种损失值组合为模型损失值。根据模型损失值调整样本生成模型和样本判别模型中参数的权值，参数权值调整后采用上述方法再次生成样本增强图像，再计算模型损失值，不断循环，直至当模型损失值小于目标阈值，或者模型损失值收敛，或者循环的次数达到目标次数时，此时样本生成模型和样本判别模型就训练完毕，后续就可以将样本增强模型确定为图像增强模型。
其中，模型损失值同样可以合并理解为：生成损失值保证样本增强图像尽量夸张、判别损失值保证样本增强图像尽量真实，且表情属性类型尽量准确，那么合并后的模型损失值保证样本增强图像夸张、真实且表情属性类型准确。
上述是仅仅是训练图像增强模型的过程，后续还需要对图像的表情属性类型进行识别，或者说是训练图像识别模型可以和图像增强模型分开训练。由于图像增强模型所生成的图像夸张、真实且表情属性类型准确，因此后续任意一个表情识别准确率高图像识别模型都可以准确识别出表情特征增强后的图像，且由于已经将微表情图像转换为夸张表情图像，提取夸张表情图像的特征识别夸张表情图像的表情属性类型的难度大大降低。
本发明实施例通过获取属于第一表情类型的原始表情图像，将原始表情图像输入图像增强模型；属于第一表情类型的原始表情图像是包含微表情的图像；图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；属于第二表情类型的样本表情图像的表情强度大于属于第一表情类型的样本图像；在图像增强模型中增强原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；识别与目标表情图像对应的表情属性类型，并将与目标表情图像对应的表情属性类型确定为与原始表情图像对应的表情属性类型。上述可知，通过增强模型增强微表情图像中微表情的表情特征，以将微表情图像转换为辨识度高、表情强度大的目标表情图像，利用目标表情图像所具备的表情区分特征，识别该目标表情图像的表情属性类型，作为微表情图像的表情属性类型，由于表情特征增强后的目标表情图像的表情特征区分性明显，因此可以准确地识别出目标表情图像的表情属性类型，进而可以提高识别微表情图像的准确率。
进一步的，请参见图8，是本发明实施例提供的一种基于微表情的图像识别装置的结构示意图。如图8所示，基于微表情的图像识别装置1可以包括：第一获取模块11、增强模块12、识别模块13、确定模块14。
第一获取模块11，用于获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像；
增强模块12，用于在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；
识别模块13，用于识别与所述目标表情图像对应的表情属性类型；
确定模块14，用于将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。
其中，第一获取模块11、增强模块12、识别模块13、确定模块14的具体功能实现方式可以参见上述图3对应实施例中的步骤S101-步骤S103，这里不再进行赘述。
请参见图8，增强模块12可以包括：确定单元121、第一输入单元122、第二输入单元123、组合单元124。
确定单元121，用于将所述原始表情图像中的表情标识区域确定为单位原始表情图像；
第一输入单元122，用于将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像；
第二输入单元123，用于将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像；
组合单元124，用于根据所述单位原始表情图像在所述原始表情图像中的位置信息，将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。
其中，确定单元121、第一输入单元122、第二输入单元123、组合单元124的具体功能实现方式可以参见上述图4对应实施例中的步骤S201-步骤S203，这里不再进行赘述。
请参见图8，第一输入单元122可以包括：第一输入子单元1221、第一卷积子单元1222。
第一输入子单元1221，用于将所述单位原始表情图像输入所述第一增强子模型的输入层，得到与所述单位原始表情图像对应的第一原始矩阵；
第一卷积子单元1222，用于从所述第一原始矩阵中随机采样，得到具有目标长度的第一原始向量，根据所述第一增强子模型中的转置卷积层，对所述第一原始向量进行反卷积处理，得到第一目标张量，并将所述第一目标张量确定为所述单位辅助图像。
其中，第一输入子单元1221、第一卷积子单元1222的具体功能实现方式可以参见上述图4对应实施例中的步骤S201，这里不再进行赘述。
请参见图8，第二输入单元123可以包括：第二输入子单元1231、第二卷积子单元1232。
第二输入子单元1231，用于将所述原始表情图像输入所述第二增强子模型的输入层，得到与所述原始表情图像对应的第二原始矩阵；
第二卷积子单元1232，用于从所述第二原始矩阵中随机采样，得到具有所述目标长度的第二原始向量，根据所述第二增强子模型中的转置卷积层，对所述第二原始向量进行反卷积处理，得到第二目标张量，并将所述第二目标张量确定为所述目标辅助图像。
其中，第二输入子单元1231、第二卷积子单元1232的具体功能实现方式可以参见上述图4对应实施例中的步骤S202，这里不再进行赘述。
请参见图8，基于微表情的图像识别装置1可以包括：第一获取模块11、增强模块12、识别模块13、确定模块14，还可以包括：二值处理模块15、边缘检测模块16。
二值处理模块15，用于将所述原始表情图像二值化处理，得到二值图像；
边缘检测模块16，用于基于梯度算子对所述二值图像进行边缘检测，得到梯度图像，并在所述梯度图像中确定边缘轮廓所在的目标位置信息；
所述确定模块14，还用于在所述原始表情图像中，将所述目标位置信息所标识的区域确定为所述表情标识区域。
其中，二值处理模块15、边缘检测模块16的具体功能实现方式可以参见上述图3对应实施例中的步骤S102，这里不再进行赘述。
请参见图8，识别模块13可以包括：提取单元131、识别单元132。
提取单元131，用于将所述目标表情图像输入图像识别模型中；
所述提取单元131，还用于根据所述图像识别模型中的正向卷积层的卷积处理和池化层的池化处理，提取与所述目标表情图像对应的目标结构特征信息；
识别单元132，用于根据所述图像识别模型中的分类器，识别所述目标结构特征信息与所述图像识别模型中多个表情属性类型特征的匹配度，在由所述目标结构特征信息得到的多个匹配度中，将最大匹配度所对应的表情属性类型，作为与所述目标表情图像对应的表情属性类型。
其中，提取单元131、识别单元132的具体功能实现方式可以参见上述图3对应实施例中的步骤S103，这里不再进行赘述。
请参见图8，基于微表情的图像识别装置1可以包括：第一获取模块11、增强模块12、识别模块13、确定模块14、二值处理模块15、边缘检测模块16；还可以包括：第二获取模块17、提取模块18、生成模块19。
第二获取模块17，用于获取属于第一表情类型的第一样本表情图像，并获取属于第二表情类型的第二样本表情图像；
所述确定模块14，还用于基于样本生成模型增强所述第一样本表情图像中微表情的表情特征，得到样本增强图像；
提取模块18，用于基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息，并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率；所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率；
所述提取模块18，还用于基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息，并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合；所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度；
生成模块19，用于根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型。
其中，第二获取模块17、提取模块18、生成模块19的具体功能实现方式可以参见上述图5对应实施例中的步骤S301-步骤S305，这里不再进行赘述。
请参见图8，生成模块19可以包括：生成单元191、调整单元192。
生成单元191，用于根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值；
调整单元192，用于根据所述模型损失值调整所述样本生成模型中参数的权值、所述样本判别模型中参数的权值和所述样本识别模型中参数的权值，当所述模型损失值小于目标阈值时，将调整后的样本生成模型确定为所述图像增强模型，并将调整后的样本识别模型确定为所述图像识别模型。
其中，生成单元191、调整单元192的具体功能实现方式可以参见上述图6对应实施例中的步骤S401-步骤S402，这里不再进行赘述。
请参见图8，生成单元191可以包括：第一确定子单元1911、第二确定子单元1912。
第一确定子单元1911，用于根据所述样本增强图像和所述第二样本表情图像，确定所述生成损失值；
所述第一确定子单元1911，还用于根据所述匹配概率和所述第二样本表情图像，确定所述判别损失值；
第二确定子单元1912，用于根据所述标签信息集合和所述第一样本表情图像对应的表情属性类型，确定所述验证损失值；
所述第二确定子单元1912，还用于根据所述生成损失值、所述判别损失值和所述验证损失值，生成所述模型损失值。
其中，第一确定子单元1911、第二确定子单元1912的具体功能实现方式可以参见上述图6对应实施例中的步骤S401，这里不再进行赘述。
本发明实施例通过获取属于第一表情类型的原始表情图像，将原始表情图像输入图像增强模型；属于第一表情类型的原始表情图像是包含微表情的图像；图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；属于第二表情类型的样本表情图像的表情强度大于属于第一表情类型的样本图像；在图像增强模型中增强原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；识别与目标表情图像对应的表情属性类型，并将与目标表情图像对应的表情属性类型确定为与原始表情图像对应的表情属性类型。上述可知，通过增强模型增强微表情图像中微表情的表情特征，以将微表情图像转换为辨识度高、表情强度大的目标表情图像，利用目标表情图像所具备的表情区分特征，识别该目标表情图像的表情属性类型，作为微表情图像的表情属性类型，由于表情特征增强后的目标表情图像的表情特征区分性明显，因此可以准确地识别出目标表情图像的表情属性类型，进而可以提高识别微表情图像的准确率。
进一步地，请参见图9，是本发明实施例提供的一种电子设备的结构示意图。如图9所示，上述图9中的基于微表情的图像识别装置1可以应用于所述电子设备1000，所述电子设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，所述电子设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图9所示的电子设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像；
在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；
识别与所述目标表情图像对应的表情属性类型，并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。
在一个实施例中，所述图像增强模型包括第一增强子模型和第二增强子模型；
所述处理器1001在执行在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像时，具体执行以下步骤：
将所述原始表情图像中的表情标识区域确定为单位原始表情图像，并将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像；
将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像；
根据所述单位原始表情图像在所述原始表情图像中的位置信息，将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。
在一个实施例中，所述处理器1001在执行将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像时，具体执行以下步骤：
将所述单位原始表情图像输入所述第一增强子模型的输入层，得到与所述单位原始表情图像对应的第一原始矩阵；
从所述第一原始矩阵中随机采样，得到具有目标长度的第一原始向量，根据所述第一增强子模型中的转置卷积层，对所述第一原始向量进行反卷积处理，得到第一目标张量，并将所述第一目标张量确定为所述单位辅助图像。
在一个实施例中，所述处理器1001在执行将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像时，具体执行以下步骤：
将所述原始表情图像输入所述第二增强子模型的输入层，得到与所述原始表情图像对应的第二原始矩阵；
从所述第二原始矩阵中随机采样，得到具有所述目标长度的第二原始向量，根据所述第二增强子模型中的转置卷积层，对所述第二原始向量进行反卷积处理，得到第二目标张量，并将所述第二目标张量确定为所述目标辅助图像。
在一个实施例中，所述处理器1001还执行以下步骤：
将所述原始表情图像二值化处理，得到二值图像；
基于梯度算子对所述二值图像进行边缘检测，得到梯度图像，并在所述梯度图像中确定边缘轮廓所在的目标位置信息；
在所述原始表情图像中，将所述目标位置信息所标识的区域确定为所述表情标识区域。
在一个实施例中，所述处理器1001在执行识别与所述目标表情图像对应的表情属性类型时，具体执行以下步骤：
将所述目标表情图像输入图像识别模型中；
根据所述图像识别模型中的正向卷积层的卷积处理和池化层的池化处理，提取与所述目标表情图像对应的目标结构特征信息；
根据所述图像识别模型中的分类器，识别所述目标结构特征信息与所述图像识别模型中多个表情属性类型特征的匹配度，在由所述目标结构特征信息得到的多个匹配度中，将最大匹配度所对应的表情属性类型，作为与所述目标表情图像对应的表情属性类型。
在一个实施例中，所述处理器1001还执行以下步骤：
获取属于第一表情类型的第一样本表情图像，并获取属于第二表情类型的第二样本表情图像；
基于样本生成模型增强所述第一样本表情图像中微表情的表情特征，得到样本增强图像；
基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息，并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率；所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率；
基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息，并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合；所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度；
根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型。
在一个实施例中，所述处理器1001在执行根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型时，具体执行以下步骤：
根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值；
根据所述模型损失值调整所述样本生成模型中参数的权值、所述样本判别模型中参数的权值和所述样本识别模型中参数的权值，当所述模型损失值小于目标阈值时，将调整后的样本生成模型确定为所述图像增强模型，并将调整后的样本识别模型确定为所述图像识别模型。
在一个实施例中，所述模型损失值包括：生成损失值、判别损失值和验证损失值；
所述处理器1001在执行根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值时，具体执行以下步骤：
根据所述样本增强图像和所述第二样本表情图像，确定所述生成损失值；
根据所述匹配概率和所述第二样本表情图像，确定所述判别损失值；
根据所述标签信息集合和所述第一样本表情图像对应的表情属性类型，确定所述验证损失值；
根据所述生成损失值、所述判别损失值和所述验证损失值，生成所述模型损失值。
上述可知，通过增强模型增强微表情图像中微表情的表情特征，以将微表情图像转换为具有高辨识度的目标表情图像，利用目标表情图像所具备的表情区分特征识别该目标表情图像的表情属性类型，作为微表情图像的表情属性类型，由于目标表情图像的表情特征区分性明显，因此可以准确地识别出目标表情图像的表情属性类型，进而可以提高识别微表情图像的准确率。
应当理解，本发明实施例中所描述的电子设备1000可执行前文图3到图7所对应实施例中对所述基于微表情的图像识别方法的描述，也可执行前文图8所对应实施例中对所述基于微表情的图像识别装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的基于微表情的图像识别装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3到图7所对应实施例中对所述基于微表情的图像识别方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (13)

1.一种基于微表情的图像识别方法，其特征在于，包括：
获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像；所述图像增强模型包括第一增强子模型和第二增强子模型；
将所述原始表情图像中的表情标识区域确定为单位原始表情图像，并将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像；
将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像；
根据所述单位原始表情图像在所述原始表情图像中的位置信息，将所述单位辅助图像和所述目标辅助图像组合为目标表情图像；
识别与所述目标表情图像对应的表情属性类型，并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。
2.根据权利要求1所述的方法，其特征在于，所述将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像，包括：
将所述单位原始表情图像输入所述第一增强子模型的输入层，得到与所述单位原始表情图像对应的第一原始矩阵；
从所述第一原始矩阵中随机采样，得到第一原始向量，根据所述第一增强子模型中的转置卷积层，对所述第一原始向量进行反卷积处理，得到第一目标张量，并将所述第一目标张量确定为所述单位辅助图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像，包括：
将所述原始表情图像输入所述第二增强子模型的输入层，得到与所述原始表情图像对应的第二原始矩阵；
从所述第二原始矩阵中随机采样，得到第二原始向量，根据所述第二增强子模型中的转置卷积层，对所述第二原始向量进行反卷积处理，得到第二目标张量，并将所述第二目标张量确定为所述目标辅助图像。
4.根据权利要求1所述的方法，其特征在于，还包括：
将所述原始表情图像二值化处理，得到二值图像；
基于梯度算子对所述二值图像进行边缘检测，得到梯度图像，并在所述梯度图像中确定边缘轮廓所在的目标位置信息；
在所述原始表情图像中，将所述目标位置信息所标识的区域确定为所述表情标识区域。
5.根据权利要求1所述的方法，其特征在于，所述识别与所述目标表情图像对应的表情属性类型，包括：
将所述目标表情图像输入图像识别模型中；
根据所述图像识别模型中的正向卷积层的卷积处理和池化层的池化处理，提取与所述目标表情图像对应的目标结构特征信息；
根据所述图像识别模型中的分类器，识别所述目标结构特征信息与所述图像识别模型中多个表情属性类型特征的匹配度，在由所述目标结构特征信息得到的多个匹配度中，将最大匹配度所对应的表情属性类型，作为与所述目标表情图像对应的表情属性类型。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取属于第一表情类型的第一样本表情图像，并获取属于第二表情类型的第二样本表情图像；
基于样本生成模型增强所述第一样本表情图像中微表情的表情特征，得到样本增强图像；
基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息，并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率；所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率；
基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息，并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合；所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度；
根据所述样本增强图像、所述第二样本表情图像、所述匹配概率和所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和图像识别模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值，并根据所述模型损失值确定所述图像增强模型和所述图像识别模型，包括：
根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值；
根据所述模型损失值调整所述样本生成模型中参数的权值、所述样本判别模型中参数的权值和所述样本识别模型中参数的权值，当所述模型损失值小于目标阈值时，将调整后的样本生成模型确定为所述图像增强模型，并将调整后的样本识别模型确定为所述图像识别模型。
8.根据权利要求7所述的方法，其特征在于，所述模型损失值包括：生成损失值、判别损失值和验证损失值；
所述根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值，包括：
根据所述样本增强图像和所述第二样本表情图像，确定所述生成损失值；
根据所述匹配概率和所述第二样本表情图像，确定所述判别损失值；
根据所述标签信息集合和所述第一样本表情图像对应的表情属性类型，确定所述验证损失值；
根据所述生成损失值、所述判别损失值和所述验证损失值，生成所述模型损失值。
9.一种基于微表情的图像识别装置，其特征在于，包括：
第一获取模块，用于获取属于第一表情类型的原始表情图像，将所述原始表情图像输入图像增强模型；所述属于第一表情类型的原始表情图像是包含微表情的图像；所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到；所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像；
增强模块，用于在所述图像增强模型中增强所述原始表情图像中微表情的表情特征，得到属于第二表情类型的目标表情图像；
识别模块，用于识别与所述目标表情图像对应的表情属性类型；
确定模块，用于将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型；
其中，所述图像增强模型包括第一增强子模型和第二增强子模型；
所述增强模块，包括：
确定单元，用于将所述原始表情图像中的表情标识区域确定为单位原始表情图像；
第一输入单元，用于将所述单位原始表情图像输入所述第一增强子模型，在所述第一增强子模型中增强所述单位原始表情图像的表情特征，得到单位辅助图像；
第二输入单元，用于将所述原始表情图像输入所述第二增强子模型，在所述第二增强子模型中增强所述原始表情图像的表情特征，得到目标辅助图像；
组合单元，用于根据所述单位原始表情图像在所述原始表情图像中的位置信息，将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。
10.根据权利要求9所述的装置，其特征在于，所述第一输入单元，包括：
第一输入子单元，用于将所述单位原始表情图像输入所述第一增强子模型的输入层，得到与所述单位原始表情图像对应的第一原始矩阵；
第一卷积子单元，用于从所述第一原始矩阵中随机采样，得到第一原始向量，根据所述第一增强子模型中的转置卷积层，对所述第一原始向量进行反卷积处理，得到第一目标张量，并将所述第一目标张量确定为所述单位辅助图像。
11.根据权利要求9所述的装置，其特征在于，所述第二输入单元，包括：
第二输入子单元，用于将所述原始表情图像输入所述第二增强子模型的输入层，得到与所述原始表情图像对应的第二原始矩阵；
第二卷积子单元，用于从所述第二原始矩阵中随机采样，得到第二原始向量，根据所述第二增强子模型中的转置卷积层，对所述第二原始向量进行反卷积处理，得到第二目标张量，并将所述第二目标张量确定为所述目标辅助图像。
12.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-8任一项所述的方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-8任一项所述的方法。
CN201811392529.7A 2018-11-21 2018-11-21 一种基于微表情的图像识别方法、装置以及相关设备 Active CN109657554B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811392529.7A CN109657554B (zh) 2018-11-21 2018-11-21 一种基于微表情的图像识别方法、装置以及相关设备
PCT/CN2019/116515 WO2020103700A1 (zh) 2018-11-21 2019-11-08 一种基于微表情的图像识别方法、装置以及相关设备
EP19886293.0A EP3885965B1 (en) 2018-11-21 2019-11-08 Image recognition method based on micro facial expressions, apparatus and related device
US17/182,024 US20210174072A1 (en) 2018-11-21 2021-02-22 Microexpression-based image recognition method and apparatus, and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811392529.7A CN109657554B (zh) 2018-11-21 2018-11-21 一种基于微表情的图像识别方法、装置以及相关设备

Publications (2)

Publication Number Publication Date
CN109657554A CN109657554A (zh) 2019-04-19
CN109657554B true CN109657554B (zh) 2022-12-20

Family

ID=66111311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811392529.7A Active CN109657554B (zh) 2018-11-21 2018-11-21 一种基于微表情的图像识别方法、装置以及相关设备

Country Status (4)

Country Link
US (1) US20210174072A1 (zh)
EP (1) EP3885965B1 (zh)
CN (1) CN109657554B (zh)
WO (1) WO2020103700A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657554B (zh) * 2018-11-21 2022-12-20 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
KR20210067442A (ko) * 2019-11-29 2021-06-08 엘지전자 주식회사 객체 인식을 위한 자동 레이블링 장치 및 방법
CN111026899A (zh) * 2019-12-11 2020-04-17 兰州理工大学 一种基于深度学习的产品生成方法
CN111460981B (zh) * 2020-03-30 2022-04-01 山东大学 一种基于重构跨域视频生成对抗网络模型的微表情识别方法
CN112256589B (zh) * 2020-11-11 2022-02-01 腾讯科技（深圳）有限公司 一种仿真模型的训练方法、点云数据的生成方法及装置
CN112487980B (zh) * 2020-11-30 2024-06-14 深圳市广信安科技股份有限公司 基于微表情治疗方法、装置、系统与计算机可读存储介质
CN112529978B (zh) * 2020-12-07 2022-10-14 四川大学 一种人机交互式抽象画生成方法
CN113269173B (zh) * 2021-07-20 2021-10-22 佛山市墨纳森智能科技有限公司 一种建立情感识别模型和识别人物情感的方法和装置
CN113920304A (zh) * 2021-09-29 2022-01-11 北京百度网讯科技有限公司 样本图像处理方法、装置、电子设备及介质
US11910120B2 (en) * 2021-11-11 2024-02-20 International Business Machines Corporation Visual experience modulation based on stroboscopic effect
CN113920575A (zh) * 2021-12-15 2022-01-11 深圳佑驾创新科技有限公司 一种人脸表情识别方法、装置及存储介质
CN114882578B (zh) * 2022-07-12 2022-09-06 华中科技大学 一种多域对抗学习的小样本条件下复合表情识别方法
CN116369918B (zh) * 2023-02-22 2024-02-20 北京决明科技有限公司 情绪检测方法、系统、设备及存储介质
CN116894653B (zh) * 2023-08-16 2024-02-23 广州红海云计算股份有限公司 一种基于多预测模型联动的人事管理数据处理方法及系统
CN116824280B (zh) * 2023-08-30 2023-11-24 安徽爱学堂教育科技有限公司 基于微表情变化的心理预警方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031814A (ko) * 2015-09-11 2017-03-22 한국과학기술원 얼굴의 미세 표정 인식 방법 및 장치
US10573048B2 (en) * 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
CN106548149B (zh) * 2016-10-26 2020-04-03 河北工业大学 监控视频序列中人脸微表情图像序列的识别方法
CN106570474B (zh) * 2016-10-27 2019-06-28 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
KR102387570B1 (ko) * 2016-12-16 2022-04-18 삼성전자주식회사 표정 생성 방법, 표정 생성 장치 및 표정 생성을 위한 학습 방법
CN107292256B (zh) * 2017-06-14 2019-12-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107273876B (zh) * 2017-07-18 2019-09-10 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN108629314B (zh) * 2018-05-07 2021-08-10 山东大学 一种基于主动迁移学习的微表情识别方法
CN108491835B (zh) * 2018-06-12 2021-11-30 常州大学 面向面部表情识别的双通道卷积神经网络
CN108830237B (zh) * 2018-06-21 2020-08-11 北京师范大学 一种人脸表情的识别方法
CN109657554B (zh) * 2018-11-21 2022-12-20 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备

Also Published As

Publication number Publication date
WO2020103700A1 (zh) 2020-05-28
EP3885965A4 (en) 2022-01-12
EP3885965A1 (en) 2021-09-29
CN109657554A (zh) 2019-04-19
EP3885965B1 (en) 2024-02-28
US20210174072A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
US11151363B2 (en) Expression recognition method, apparatus, electronic device, and storage medium
CN110569795A (zh) 一种图像识别方法、装置以及相关设备
CN113343826B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN109271930B (zh) 微表情识别方法、装置与存储介质
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN109241890B (zh) 面部图像校正方法、装置及存储介质
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
WO2019142127A1 (en) Method and system of creating multiple expression emoticons
WO2024001095A1 (zh) 面部表情识别方法、终端设备及存储介质
CN110245621A (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN112818767A (zh) 数据集生成、伪造检测方法、装置、电子设备及存储介质
CN110599187A (zh) 一种基于人脸识别的支付方法、装置、计算机设备和存储介质
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
Kavita et al. A contemporary survey of multimodal presentation attack detection techniques: challenges and opportunities
Xu et al. RelightGAN: Instance-level generative adversarial network for face illumination transfer
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
Travieso et al. Using a discrete Hidden Markov Model Kernel for lip-based biometric identification
CN111639537A (zh) 人脸动作单元识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant