CN112906629A - 人脸表情分类器的训练、人脸表情的识别方法和装置 - Google Patents

人脸表情分类器的训练、人脸表情的识别方法和装置 Download PDF

Info

Publication number
CN112906629A
CN112906629A CN202110286165.XA CN202110286165A CN112906629A CN 112906629 A CN112906629 A CN 112906629A CN 202110286165 A CN202110286165 A CN 202110286165A CN 112906629 A CN112906629 A CN 112906629A
Authority
CN
China
Prior art keywords
facial expression
dimensional
dimensional face
depth
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110286165.XA
Other languages
English (en)
Inventor
焦阳
牛毅
谢雪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Technology of Xidian University
Original Assignee
Guangzhou Institute of Technology of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Technology of Xidian University filed Critical Guangzhou Institute of Technology of Xidian University
Priority to CN202110286165.XA priority Critical patent/CN112906629A/zh
Publication of CN112906629A publication Critical patent/CN112906629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸表情分类器的训练方法、人脸表情的识别方法和装置，所述训练方法包括：获取若干已预先标注了真实人脸表情类别的人脸表情数据，对三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，并对提取后的特征进行多模态特征融合；将融合后的多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。采用本发明，通过对三维人脸点云数据进行增强处理，有效提高人脸表情分类器的鲁棒性，提高人脸表情识别的准确性。

Description

人脸表情分类器的训练、人脸表情的识别方法和装置
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸表情分类器的训练、人脸表情的识别方法和装置。
背景技术
人脸表情(Facial Expression)是人类传达感情信息的最主要、最直观的一种非语言、非接触方法。人脸表情识别(Facial Expression Recognition)旨在利用计算机自动识别及分析人脸表情，并在人类行为方式分析、人机交互设计等领域具有重要作用。近年来，随着高精度深度成像技术的发展，深度信息作为二维光学图像的补充，可以较为准确的刻画人脸的几何结构，弥补了光学图像的缺点，有效的提高了识别准确率。因此，基于2D+3D的多模态人脸表情识别技术得到了广泛关注。
在现有技术的人脸表情识别方法中，通常利用人脸点云数据(3D数据)生成三张属性图，分别为深度图、方位图和立面图，然后利用该三张属性图合成一个三通道RGB图作为网络中FE3DNet支路的输入。在生成三维数据属性图时，方位图和立面图需要通过局部平面拟合(local plane fitting)方法来计算三维数据表面的几何曲率和法线向量。然而，发明人发现现有技术至少存在如下问题：由于点云数据采样时的稀疏性，基于几何信息的平面拟合将会造成不准确的表面曲率和法线向量，这将导致错误的信息被引入到三维属性图中，进而降低三维人脸表情特征的判别程度，并造成最终人脸表情识别准确率下降。
发明内容
本发明实施例的目的是提供一种人脸表情分类器的训练、人脸表情的识别方法和装置，通过对三维人脸点云数据进行增强处理，有效提高人脸表情分类器的鲁棒性，提高人脸表情识别的准确性。
为实现上述目的，本发明实施例提供了一种人脸表情分类器的训练方法，包括：
获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据；
对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。
作为上述方案的改进，所述对所述三维人脸点云数据进行判别深度范围标定，对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图，具体包括：
对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块；
对满足预设的表情判别性信息条件的判别深度范围进行标定，以得到所述标定的判别深度范围对应的三维人脸点云数据；
根据所述判别深度范围对应的三维人脸点云数据，求解带有深度失真约束条件的最大熵目标函数，以得到增强映射函数；
根据所述增强映射函数，对所述判别深度范围对应的三维人脸点云数据中的深度值进行映射，得到三维深度属性图。
作为上述方案的改进，所述对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块，具体包括：
对所述三维人脸点云数据在深度方向进行对齐，并通过计算公式di＝dmin+i×dres，划分得到M个不同的判别深度范围；其中，di为判别深度范围，dmin为最小判别深度范围，dres为深度分辨率；i＝1，2，...，M；
根据每一所述判别深度范围，获取对应的三维人脸点云数据块。
作为上述方案的改进，所述带有深度失真约束条件的最大熵目标函数，具体为：
Figure BDA0002980561550000031
Figure BDA0002980561550000032
其中，N为三维人脸点云数据的深度动态范围，K为所述三维深度属性图的深度动态范围，dk为所述判别深度范围对应的三维人脸点云数据的深度动态范围取值，k为所述三维深度属性图的深度动态范围取值；P[dk，dk+1)为深度动态范围[dk，dk+1)的概率，τ为深度失真约束条件阈值。
作为上述方案的改进，在所述获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集之后，所述方法还包括：
对所述二维人脸图像进行灰度值归一化处理，并对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像；
则，所述对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征，具体为：
对所述二维人脸增强图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征。
作为上述方案的改进，所述对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像，具体包括：
对灰度值归一化处理后的二维人脸图像，通过以下计算公式进行均值标准化处理，得到所述二维人脸增强图像：
Figure BDA0002980561550000041
其中，x为所述二维人脸增强图像，
Figure BDA0002980561550000042
为所述灰度值归一化处理后的二维人脸图像，μ为所述训练数据集中所有二维人脸图像的像素均值；δ为所述训练数据集中所有二维人脸图像的方差均值。
作为上述方案的改进，所述将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器，具体包括：
将所述多模态特征输入所述神经网络，以得到所述神经网络输出的预测人脸表情类别；
根据所述预测人脸表情类别和所述真实人脸表情类别，计算交叉熵损失函数；
判断所述交叉熵损失函数是否达到预设的收敛条件；
当所述交叉熵损失函数未达到预设的收敛条件时，采用反向误差传播算法对所述神经网络进行更新，并执行：将所述多模态特征输入所述神经网络，以得到所述神经网络输出的预测人脸表情类别；
当所述交叉熵损失函数达到预设的收敛条件时，根据所述神经网络，得到所述人脸表情分类器。
本发明实施例还提供了一种人脸表情的识别方法，包括：
获取待识别人脸表情数据；其中，所述待识别人脸表情数据包括二维人脸图像和三维人脸点云数据；
对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
将所述多模态特征输入预先训练完成的人脸表情分类器，以得到所述人脸表情分类器输出的人脸表情分类结果；其中，所述预先训练完成的人脸表情分类器是通过如上述任一项所述的人脸表情分类器的训练方法训练得到的。
本发明实施例还提供了一种人脸表情分类器的训练装置，包括：
训练数据集获取模块，用于获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据；
第一数据处理模块，用于对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
第一特征提取模块，用于对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
第一多模态特征融合模块，用于将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
分类器训练模块，用于将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。
本发明实施例还提供了一种人脸表情的识别装置，包括：
人脸表情数据获取模块，用于获取待识别人脸表情数据；其中，所述待识别人脸表情数据包括二维人脸图像和三维人脸点云数据；
第二数据处理模块，用于对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
第二特征提取模块，用于对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
第二多模态特征融合模块，用于将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
人脸表情识别模块，用于将所述多模态特征输入预先训练完成的人脸表情分类器，以得到所述人脸表情分类器输出的人脸表情分类结果；其中，所述预先训练完成的人脸表情分类器是通过如上述任一项所述的人脸表情分类器的训练方法训练得到的。
与现有技术相比，本发明公开的一种人脸表情分类器的训练、人脸表情的识别方法和装置，通过获取已经标注了对应的人脸表情类别的人脸表情数据，对构建的神经网络进行学习训练，从而得到适用于执行人脸表情的识别功能的分类器。在分类器的训练过程中，通过训练数据集中的三维人脸点云数据进行判别深度范围标定，能够较好地保留人脸表情主要分布区域的深度数据，并剔除无用的深度信息，从而有效避免引入不准确的三维人脸数据增强。对标定的判别深度范围内的三维人脸点云数据进行全局最大熵增强处理，可以呈现出最多的人脸表情深度信息，有效的提高了三维人脸点云数据对表情信息的表征能力。对二维人脸图像和增强处理后的三维深度属性图像进行特征提取和特征融合的操作，并根据预先标注的真实人脸表情类别训练分类器，有效地提高了人脸表情分类器的鲁棒性，从而提高最终人脸表情分类结果的准确性。
附图说明
图1是本发明实施例一提供的一种人脸表情分类器的训练方法的步骤示意图；
图2是本发明实施例二提供的一种人脸表情分类器的训练方法的步骤示意图；
图3是本发明实施例三提供的一种人脸表情的识别方法的步骤示意图；
图4是本发明实施例四提供的一种人脸表情分类器的训练装置的结构示意图；
图5是本发明实施例五提供的一种人脸表情的识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例一提供的一种人脸表情分类器的训练方法的步骤示意图。本发明实施例一提供的一种人脸表情分类器的训练方法，通过以下步骤S11至S15执行：
S11、获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据。
需要说明的是，所述人脸表情类别可以采用传统的表情分类方法划分得到的表情类别，例如开心、悲伤、惊讶、恐惧、生气以及恶心六种基本表情类别，也可以是其他分类方式划分的表情类别，均不影响本发明取得的有益效果。
S12、对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像。
为了解决现有技术中通过局部平面拟合来计算原始三维点云数据的表面几何曲率和法线向量的过程中，由于点云数据采样时的稀疏性，容易导致计算得到的三维属性图不准确的问题，在本发明实施例中，在训练所述人脸表情分类器的过程中，先对获取的训练数据集中的三维人脸点云数据进行数据增强处理，得到能够较好地反映人脸表情信息的三维深度属性图像。
所述数据增强处理操作包括：对所述三维人脸点云数据进行判别深度范围的标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理。
采用本发明实施例的技术手段，通过对三维人脸点云数据的判别深度范围标定，从而对标定的判别深度范围对应的三维人脸点云数据进行增强处理，能够较好地保留人脸表情主要分布区域的深度数据，并剔除无用的深度信息，从而有效避免引入不准确的三维人脸数据增强。进而，对标定的判别深度范围内的三维人脸点云数据进行全局最大熵增强处理，摒弃了现有技术中基于几何信息的局部平面拟合方法，避免了在深度属性图中引入不准确的几何曲率和法线向量，可以呈现出最多的人脸表情深度信息，有效的提高了三维人脸点云数据对表情信息的表征能力，增强了三维人脸表情特征，从而为后续进行人脸表情识别的应用奠定数据基础。
优选地，步骤S12，具体通过步骤S121至S124执行：
S121、对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块。
具体地，对所述三维人脸点云数据在深度方向进行对齐，并通过以下计算公式di＝dmin+i×dres，划分得到M个不同的判别深度范围；根据每一所述判别深度范围，获取对应的三维人脸点云数据块。
其中，di为判别深度范围，dmin为最小判别深度范围，dres为深度分辨率；i＝1，2，...，M。
在本发明实施例中，以人脸鼻尖为深度0mm的位置，对三维人脸点云数据在深度方向进行对齐，将原始的三维人脸点云数据D划分成了多个不同的、交叠的三维人脸点云数据块Di，利用标号i进行索引。对于第i个数据块Di，其所包含的判别深度范围为di。
需要说明的是，dmin为最小需要包含的判别深度范围，是个超参数，由用户自己决定，通常以人脸鼻尖部位为0mm位置，向人脸后方延伸，取dmin＝5mm。dres由深度采集设备决定，一般为3mm或5mm精度，由实验设备决定。
可以理解地，上述对参数dmin和dres的取值仅作为举例，在实际应用中，还可以根据实际情况设定为其他数值，在此不做具体限定。
S122、对满足预设的表情判别性信息条件的判别深度范围进行标定，以得到所述标定的判别深度范围对应的三维人脸点云数据。
不同的三维人脸点云数据块Di包含了不同程度的表情判别信息，通过对划分后的三维人脸点云数据块Di进行分析，从而标定出其中最具有表情判别性的三维人脸点云数据块Di进行后续的增强处理，能够有效保留人脸表情主要分布区域的深度数据，剔除无用的深度信息。
具体地，预先设计一个表情分类器，如VGG神经网络，将这些三维人脸点云数据块Di依次作为表情分类器的输入，独立的对其进行表情分类，得到不同的分类准确率。在得到的所有分类准确率中，选取最高准确率对应的三维人脸点云数据块Di，记为Ddis，认为该三维人脸点云数据块Ddis具有最大的表情判别性信息，也即符合所述预设的表情判别性信息条件。
S123、根据所述判别深度范围对应的三维人脸点云数据，求解带有深度失真约束条件的最大熵目标函数，以得到增强映射函数。
优选地，所述带有深度失真约束条件的最大熵目标函数，具体为：
Figure BDA0002980561550000091
Figure BDA0002980561550000092
其中，N为三维人脸点云数据的深度动态范围，K为所述三维深度属性图的深度动态范围，dk为所述判别深度范围对应的三维人脸点云数据的深度动态范围取值，k为所述三维深度属性图的深度动态范围取值；P[dk，dk+1)为深度动态范围[dk，dk+1)的概率，τ为深度失真约束条件阈值；1≤dk+1-dk≤τ为所述深度失真约束条件。
需要说明的是，N是三维人脸点云数据的深度动态范围，三维点云数据一般为16比特浮点数，即Float16，故其深度动态范围一般为[0，216-1]。但由于数值过大，计算复杂度过高，在本发明实施例中，将三维人脸点云数据Ddis的动态范围均匀量化到[0，4095]，即N＝4096。可以理解地，N不局限于4096，也可以取其他的数值，如N＝2048，代表将Ddis的值均匀量化到[0，2047]，均不影响本发明取得的有益效果。
K是三维深度属性图像Idis的深度动态范围，图像一般为8比特无符号整型，即Uint8。所以，其动态范围为[0，255]，因此K＝256。
P[dk，dk+1)即代表深度像素值取值处于区间[dk，dk+1)的像素个数占全部像素的比例。具体地，对Ddis中取值位于区间[dk，dk+1)的像素进行统计，得到像素数量#[dk，dk+1)，而Ddis中全部像素数量记为#Ddis，则P[dk，dk+1)由以下公式确定：
Figure BDA0002980561550000101
作为举例，如果Ddis数据大小为256×256，每个像素的取值范围为[0，N)，一共有#Ddis＝65536个像素。假设N＝4096，且取值范围在[1000，1500)的像素一共由500个，即#[dk，dk+1)＝#[1000，1500)＝500，那么概率P[dk，dk+1)计算如下：
Figure BDA0002980561550000102
在本发明实施例中，将标定的判别深度范围对应的三维人脸点云数据Ddis作为输入，采用动态规划算法求解所述带有深度失真约束条件的最大熵目标函数，得到增强映射函数F：
F＝{d0，d1，...，dK}.
计算得到的增强映射函数的形式为F＝{d0，d1，...，dK}，共包含K+1个点，其中d0＝0，dK＝N-1。增强映射函数F的作用是，将属于[dk，dk+1)范围的任意高动态深度值dK映射到低动态数值k。
S124、根据所述增强映射函数，对所述判别深度范围对应的三维人脸点云数据中的深度值进行映射，得到三维深度属性图。
具体地，在映射过程中，遍历Ddis中所有点，对于空间其中任意一点，首先确定其属于F中的范围[dk，dk+1)，然后将其投影为数值k，作为该位置增强后的像素。当遍历完Ddis所有点后，即可得到增强后的三维深度属性图像Idis。
作为举例，Ddis中位置[10，10]处的深度值为105，而映射函数为F＝{d0＝0，...，d20＝100，d21＝130，...d255＝4095}。105属于区间[d20＝100，d21＝130)，那么经过投影后，105将被投影为20，也即经过映射函数F后，Ddis中处于[10，10]位置的值105被映射为Idis中处于相同位置的值20。以此类推，遍历，Ddis中的所有位置，则得到增强后的三维深度属性图像Idis。
S13、对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征。
优选地，通过预先训练完成的特征提取器进行特征提取，采用VGG16神经网络卷积部分作为特征提取器，包括13层卷积层及5个最大池化层的卷积神经网络。
将所述二维人脸图像和所述三维深度属性图像分别输入预先训练完成的特征提取器，以得到所述特征提取器输出的二维人脸表情特征和三维人脸表情特征。
S14、将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征。
所述二维人脸表情特征和所述三维人脸表情特征均为三维矩阵，记为M2D和M3D，且矩阵大小相同。将M2D和M3D表情特征在通道维度进行级联，即可得到融合后的多模态特征M2D3D。
S15、将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。
选取合适的神经网络模型，并进行参数初始化后，将通过M2D和M3D表情特征融合后的多模态特征M2D3D作为该神经网络模型的输入值，获取该神经网络模型输出的预测人脸表情类别，与所述真实人脸表情类别进行对比，进而对所述神经网络模型的参数进行调整，以此训练所述神经网络模型，从而得到训练完成的人脸表情分类器。
作为优选的实施方式，所述步骤S15，具体包括：
S151、将所述多模态特征输入所述神经网络，以得到所述神经网络输出的预测人脸表情类别；
S152、根据所述预测人脸表情类别和所述真实人脸表情类别，计算交叉熵损失函数；
S153、判断所述交叉熵损失函数是否达到预设的收敛条件；
S154、当所述交叉熵损失函数未达到预设的收敛条件时，采用反向误差传播算法对所述神经网络进行更新，并跳转至步骤S151；
S155、当所述交叉熵损失函数达到预设的收敛条件时，根据所述神经网络，得到所述人脸表情分类器。
采用本发明实施例的技术手段，将多模态特征M2D3D作为初始化参数后的神经网络模型的输入值，获取该神经网络模型输出的预测人脸表情类别，与所述真实人脸表情类别进行对比，计算交叉熵损失函数。若所述交叉熵损失函数未达到预设的收敛条件，采用反向误差传播算法对所述神经网络的参数进行更新，并利用更新后的神经网络对所述多模态特征M2D3D进行再次分类预测，得到新的预测人脸表情类别，并再次计算交叉熵损失函数。以此不断调整该神经网络的参数设置，以不断降低所述交叉熵损失函数，缩小预测人脸表情类别与真实人脸表情类别之间的差异，直到所述损失函数的值趋于最小化时，即达到预设的收敛条件，该神经网络训练完成，作为训练完成的人脸表情分类器。
本发明实施例一提供了一种人脸表情分类器的训练方法，通过获取已经标注了对应的人脸表情类别的人脸表情数据，对构建的神经网络进行学习训练，从而得到适用于执行人脸表情的识别功能的分类器。在分类器的训练过程中，通过训练数据集中的三维人脸点云数据进行判别深度范围标定，能够较好地保留人脸表情主要分布区域的深度数据，并剔除无用的深度信息，从而有效避免引入不准确的三维人脸数据增强。对标定的判别深度范围内的三维人脸点云数据进行全局最大熵增强处理，可以呈现出最多的人脸表情深度信息，有效的提高了三维人脸点云数据对表情信息的表征能力。对二维人脸图像和增强处理后的三维深度属性图像进行特征提取和特征融合的操作，并根据预先标注的真实人脸表情类别训练分类器，有效地提高了人脸表情分类器的鲁棒性，从而提高最终人脸表情分类结果的准确性。
作为优选的实施方式，参见图2，是本发明实施例二提供的一种人脸表情分类器的训练方法的步骤示意图。本发明实施例二在实施例一的基础上进一步实施，步骤S11之后，所述方法还包括步骤S12’：
S12’、对所述二维人脸图像进行灰度值归一化处理，并对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像。
在本发明实施例中，在训练所述人脸表情分类器的过程中，先对获取的训练数据集中的二维人脸图像进行数据增强处理，从而提高二维人脸图像的质量，进而提高训练人脸表情分类器的鲁棒性。
优选地，在灰度值归一化中，原始输入二维人脸图像x′的像素范围为0-255，将其进行灰度值归一化处理，使得归一化后的图像
Figure BDA0002980561550000132
灰度值范围为0-1。具体地，采用以下计算公式对原始的二维人脸图像x′进行灰度值归一化处理：
Figure BDA0002980561550000131
进一步地，所述对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像，具体包括：
对灰度值归一化处理后的二维人脸图像，通过以下计算公式进行均值标准化处理，得到所述二维人脸增强图像：
Figure BDA0002980561550000141
其中，x为所述二维人脸增强图像，
Figure BDA0002980561550000142
为所述灰度值归一化处理后的二维人脸图像，μ为所述训练数据集中所有二维人脸图像的像素均值；δ为所述训练数据集中所有二维人脸图像的方差均值。
在此基础上，本发明实施例中，上述步骤S13具体为：
对所述二维人脸增强图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征。
本发明实施例中，通过对训练数据集中的二维人脸图像和三维人脸点云数据分别进行相应的数据增强处理，再进行特征提取，作为后续的人脸分类器的训练数据，能够有效增强训练数据中的人脸表情特征，提高训练数据的质量，从而提高训练人脸表情分类器的鲁棒性。
参见图3，是本发明实施例三提供的一种人脸表情的识别方法的步骤示意图。本发明实施例三在实施例一或二的基础上进一步实施，提供了一种人脸表情的识别方法，具体通过步骤S31至S35执行：
S31、获取待识别人脸表情数据；其中，所述待识别人脸表情数据包括二维人脸图像和三维人脸点云数据。
S32、对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像。
具体地，对所述三维人脸点云数据在深度方向进行对齐，并通过计算公式di＝dmin+i×dres，划分得到M个不同的判别深度范围，获取对应的三维人脸点云数据块。
对满足预设的表情判别性信息条件的判别深度范围进行标定，以得到所述标定的判别深度范围对应的三维人脸点云数据；根据所述判别深度范围对应的三维人脸点云数据，求解带有深度失真约束条件的最大熵目标函数，以得到增强映射函数；根据所述增强映射函数，对所述判别深度范围对应的三维人脸点云数据中的深度值进行映射，得到三维深度属性图。
优选地，所述带有深度失真约束条件的最大熵目标函数，具体为：
Figure BDA0002980561550000151
Figure BDA0002980561550000152
其中，N为三维人脸点云数据的深度动态范围，K为所述三维深度属性图的深度动态范围，dk为所述判别深度范围对应的三维人脸点云数据的深度动态范围取值，k为所述三维深度属性图的深度动态范围取值；P[dk,dk+1)为深度动态范围[dk,dk+1)的概率，τ为深度失真约束条件阈值。
采用本发明实施例的技术手段，通过对三维人脸点云数据的判别深度范围标定，能够较好地保留人脸表情主要分布区域的深度数据，并剔除无用的深度信息，从而有效避免引入不准确的三维人脸数据增强。进而，对标定的判别深度范围内的三维人脸点云数据进行全局最大熵增强处理，摒弃了现有技术中基于几何信息的局部平面拟合方法，避免了在深度属性图中引入不准确的几何曲率和法线向量，可以呈现出最多的人脸表情深度信息，有效的提高了三维人脸点云数据对表情信息的表征能力，增强了三维人脸表情特征，有效提高最终人脸表情分类结果的准确性。
S33、对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征。
优选地，通过预先训练完成的特征提取器进行特征提取，采用VGG16神经网络卷积部分作为特征提取器，包括13层卷积层及5个最大池化层的卷积神经网络。
将所述二维人脸图像和所述三维深度属性图像分别输入预先训练完成的特征提取器，以得到所述特征提取器输出的二维人脸表情特征和三维人脸表情特征。
S34、将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征。
S35、将所述多模态特征输入预先训练完成的人脸表情分类器，以得到所述人脸表情分类器输出的人脸表情分类结果；其中，所述预先训练完成的人脸表情分类器是通过如实施例一或实施例二所述的人脸表情分类器的训练方法训练得到的。
作为优选的实施方式，在步骤S31之后，所述方法还包括步骤S32’：
S32’、对所述二维人脸图像进行灰度值归一化处理，并对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像。
优选地，在灰度值归一化中，原始输入二维人脸图像x′的像素范围为0-255，将其进行灰度值归一化处理，使得归一化后的图像
Figure BDA0002980561550000161
灰度值范围为0-1。具体地，采用以下计算公式对原始的二维人脸图像x′进行灰度值归一化处理：
Figure BDA0002980561550000162
进一步地，所述对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像，具体包括：
对灰度值归一化处理后的二维人脸图像，通过以下计算公式进行均值标准化处理，得到所述二维人脸增强图像：
Figure BDA0002980561550000163
其中，x为所述二维人脸增强图像，
Figure BDA0002980561550000164
为所述灰度值归一化处理后的二维人脸图像，μ为所述训练数据集中所有二维人脸图像的像素均值；δ为所述训练数据集中所有二维人脸图像的方差均值。
在此基础上，本发明实施例中，上述步骤S33具体为：
对所述二维人脸增强图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征。
本发明实施例中，通过对训练数据集中的二维人脸图像和三维人脸点云数据分别进行相应的数据增强处理，再进行特征提取，能够有效增强待识别人脸表情数据中的人脸表情特征，有效提高最终人脸表情分类结果的准确性。
参见图4，是本发明实施例四提供的一种人脸表情分类器的训练装置的结构示意图。本发明实施例四提供了一种人脸表情分类器的训练装置40，包括：训练数据集获取模块41、第一数据处理模块42、第一特征提取模块43、第一多模态特征融合模块44和分类器训练模块45；其中
所述训练数据集获取模块41，用于获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据；
所述第一数据处理模块42，用于对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
所述第一特征提取模块43，用于对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
所述第一多模态特征融合模块44，用于将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
所述分类器训练模块45，用于将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。
需要说明的是，本发明实施例提供的一种人脸表情分类器的训练装置用于执行上述实施例一或二所述的一种人脸表情分类器的训练方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
参见图5，是本发明实施例三提供的一种人脸表情的识别装置的结构示意图，本发明实施例提供了一种人脸表情的识别装置50，包括：人脸表情数据获取模块51、第二数据处理模块52、第二特征提取模块53、第二多模态特征融合模块54和人脸表情识别模块55；其中，
所述人脸表情数据获取模块51，用于获取待识别人脸表情数据；其中，所述待识别人脸表情数据包括二维人脸图像和三维人脸点云数据；
所述第二数据处理模块52，用于对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
所述第二特征提取模块53，用于对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
所述第二多模态特征融合模块54，用于将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
所述人脸表情识别模块55，用于将所述多模态特征输入预先训练完成的人脸表情分类器，以得到所述人脸表情分类器输出的人脸表情分类结果；其中，所述预先训练完成的人脸表情分类器是通过实施例一或实施例二所述的人脸表情分类器的训练方法训练得到的。
需要说明的是，本发明实施例提供的一种人脸表情的识别装置用于执行上述实施例三所述的一种人脸表情的识别方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种人脸表情分类器的训练方法，其特征在于，包括：
获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据；
对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。
2.如权利要求1所述的人脸表情分类器的训练方法，其特征在于，所述对所述三维人脸点云数据进行判别深度范围标定，对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图，具体包括：
对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块；
对满足预设的表情判别性信息条件的判别深度范围进行标定，以得到所述标定的判别深度范围对应的三维人脸点云数据；
根据所述判别深度范围对应的三维人脸点云数据，求解带有深度失真约束条件的最大熵目标函数，以得到增强映射函数；
根据所述增强映射函数，对所述判别深度范围对应的三维人脸点云数据中的深度值进行映射，得到三维深度属性图。
3.如权利要求2所述的人脸表情分类器的训练方法，其特征在于，所述对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块，具体包括：
对所述三维人脸点云数据在深度方向进行对齐，并通过计算公式di＝dmin+i×dres，划分得到M个不同的判别深度范围；其中，di为判别深度范围，dmin为最小判别深度范围，dres为深度分辨率；i＝1,2,...,M；
根据每一所述判别深度范围，获取对应的三维人脸点云数据块。
4.如权利要求2所述的人脸表情分类器的训练方法，其特征在于，所述带有深度失真约束条件的最大熵目标函数，具体为：
Figure FDA0002980561540000021
Figure FDA0002980561540000022
其中，N为三维人脸点云数据的深度动态范围，K为所述三维深度属性图的深度动态范围，dk为所述判别深度范围对应的三维人脸点云数据的深度动态范围取值，k为所述三维深度属性图的深度动态范围取值；P[dk,dk+1)为深度动态范围[dk,dk+1)的概率，τ为深度失真约束条件阈值。
5.如权利要求1所述的人脸表情分类器的训练方法，其特征在于，在所述获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集之后，所述方法还包括：
对所述二维人脸图像进行灰度值归一化处理，并对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像；
则，所述对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征，具体为：
对所述二维人脸增强图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征。
6.如权利要求5所述的人脸表情分类器的训练方法，其特征在于，所述对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像，具体包括：
对灰度值归一化处理后的二维人脸图像，通过以下计算公式进行均值标准化处理，得到所述二维人脸增强图像：
Figure FDA0002980561540000031
其中，x为所述二维人脸增强图像，
Figure FDA0002980561540000032
为所述灰度值归一化处理后的二维人脸图像，μ为所述训练数据集中所有二维人脸图像的像素均值；δ为所述训练数据集中所有二维人脸图像的方差均值。
7.如权利要求1所述的人脸表情分类器的训练方法，其特征在于，所述将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器，具体包括：
将所述多模态特征输入所述神经网络，以得到所述神经网络输出的预测人脸表情类别；
根据所述预测人脸表情类别和所述真实人脸表情类别，计算交叉熵损失函数；
判断所述交叉熵损失函数是否达到预设的收敛条件；
当所述交叉熵损失函数未达到预设的收敛条件时，采用反向误差传播算法对所述神经网络进行更新，并执行：将所述多模态特征输入所述神经网络，以得到所述神经网络输出的预测人脸表情类别；
当所述交叉熵损失函数达到预设的收敛条件时，根据所述神经网络，得到所述人脸表情分类器。
8.一种人脸表情的识别方法，其特征在于，包括：
获取待识别人脸表情数据；其中，所述待识别人脸表情数据包括二维人脸图像和三维人脸点云数据；
对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
将所述多模态特征输入预先训练完成的人脸表情分类器，以得到所述人脸表情分类器输出的人脸表情分类结果；其中，所述预先训练完成的人脸表情分类器是通过如权利要求1-7任一项所述的人脸表情分类器的训练方法训练得到的。
9.一种人脸表情分类器的训练装置，其特征在于，包括：
训练数据集获取模块，用于获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据；
第一数据处理模块，用于对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
第一特征提取模块，用于对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
第一多模态特征融合模块，用于将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
分类器训练模块，用于将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。
10.一种人脸表情的识别装置，其特征在于，包括：
人脸表情数据获取模块，用于获取待识别人脸表情数据；其中，所述待识别人脸表情数据包括二维人脸图像和三维人脸点云数据；
第二数据处理模块，用于对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；
第二特征提取模块，用于对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；
第二多模态特征融合模块，用于将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；
人脸表情识别模块，用于将所述多模态特征输入预先训练完成的人脸表情分类器，以得到所述人脸表情分类器输出的人脸表情分类结果；其中，所述预先训练完成的人脸表情分类器是通过如权利要求1-7任一项所述的人脸表情分类器的训练方法训练得到的。
CN202110286165.XA 2021-03-17 2021-03-17 人脸表情分类器的训练、人脸表情的识别方法和装置 Pending CN112906629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110286165.XA CN112906629A (zh) 2021-03-17 2021-03-17 人脸表情分类器的训练、人脸表情的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110286165.XA CN112906629A (zh) 2021-03-17 2021-03-17 人脸表情分类器的训练、人脸表情的识别方法和装置

Publications (1)

Publication Number Publication Date
CN112906629A true CN112906629A (zh) 2021-06-04

Family

ID=76105285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110286165.XA Pending CN112906629A (zh) 2021-03-17 2021-03-17 人脸表情分类器的训练、人脸表情的识别方法和装置

Country Status (1)

Country Link
CN (1) CN112906629A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688799A (zh) * 2021-09-30 2021-11-23 合肥工业大学 一种基于改进深度卷积生成对抗网络的人脸表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANG JIAO ET AL: "《2D+3D Facial Expression Recognition via Discriminative Dynamic Range Enhancement and Multi-Scale Learning》", 《ARXIV：2011.08333V1》 *
卢誉声 等: "《移动平台深度神经网络实战 原理、架构与优化》", 31 January 2020, 机械工业出版社 *
栗科峰 等: "《人脸图像处理与识别技术》", 30 September 2018, 黄河水利出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688799A (zh) * 2021-09-30 2021-11-23 合肥工业大学 一种基于改进深度卷积生成对抗网络的人脸表情识别方法
CN113688799B (zh) * 2021-09-30 2022-10-04 合肥工业大学 一种基于改进深度卷积生成对抗网络的人脸表情识别方法

Similar Documents

Publication Publication Date Title
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111191583B (zh) 基于卷积神经网络的空间目标识别系统及方法
CN111611934A (zh) 一种人脸检测模型生成和人脸检测方法、装置及设备
CN109859305A (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN114663502A (zh) 物体姿态估计、图像处理方法及相关设备
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
JP2019008571A (ja) 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
EP3905194A1 (en) Pose estimation method and apparatus
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN111723691A (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN115690708A (zh) 基于跨模态知识蒸馏训练三维目标检测模型的方法和装置
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN117372604B (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN108090451A (zh) 一种人脸识别方法及系统
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN111814821A (zh) 深度学习模型的建立方法、样本处理方法及装置
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN112906629A (zh) 人脸表情分类器的训练、人脸表情的识别方法和装置
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
CN115908260A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN113239867B (zh) 一种基于掩码区域自适应增强的光照变化人脸识别方法
CN113066094B (zh) 一种基于生成对抗网络的地理栅格智能化局部脱敏方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210604