CN112597847A - 人脸姿态估计方法、装置、电子设备和存储介质 - Google Patents
人脸姿态估计方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112597847A CN112597847A CN202011472993.4A CN202011472993A CN112597847A CN 112597847 A CN112597847 A CN 112597847A CN 202011472993 A CN202011472993 A CN 202011472993A CN 112597847 A CN112597847 A CN 112597847A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- sample
- parameters
- sample face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003062 neural network model Methods 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 37
- 238000013179 statistical model Methods 0.000 claims description 35
- 238000002372 labelling Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种人脸姿态估计方法、装置、电子设备和存储介质，所述方法包括：获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。提高人脸三维参数的预测速度，进而提高人脸姿态估计的速度。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种人脸姿态估计方法、装置、电子设备和存储介质。
背景技术
近年来，随着人工智能技术的发展与进步，人脸的各种属性预测变得越来越重要。人脸姿态估计可以有效的过滤大角度的人脸图片，进而提高人脸识别、活体检测等技术的准确率，且人脸姿态估计也应用在交互式活体检测等领域。现在人脸姿态估计主要采用传统的3DMM(三维人脸统计模型)算法，3DMM算法通过统计学和三维重建来计算人脸的三维参数，通过人脸的三维参数来对人脸姿态进行估计，但3DMM算法速度很慢，而且需要提前标注好人脸的关键点。因此，现有的人脸姿态估计存在计算速度慢的问题。
发明内容
本申请实施例提出一种人脸姿态估计方法，能够提高人脸姿态预测的速度。
第一方面，本申请实施例提供一种人脸姿态估计方法，包括下述步骤：
获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；
将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；
将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；
基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。
可选的，所述神经网络模型的训练步骤包括：
获取第一样本人脸集以及第二样本人脸集，所述第一样本人脸集包括对应的人脸三维参数标注数据，所述第二样本人脸集包括对应的人脸三维参数标注数据；
以所述人脸三维参数为目标函数构建初始神经网络模型；
通过所述第一样本人脸集对所述初始神经网络模型进行第一训练，得到训练神经网络模型；
通过所述第二样本人脸集对所述训练神经网络模型进行第二训练，得到训练好的神经网络模型。
可选的，所述三维参数包括形状参数和变换参数，所述获取第一样本人脸集，包括：
构建三维人脸形变统计模型；
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数和变换参数；
通过所述三维人脸的形状参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
可选的，所述三维参数还包括表情参数，所述获取第一样本人脸集，还包括：
在所述三维人脸形变统计模型中拟合三维人脸的表情统计；
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数、表情参数和变换参数；
通过所述三维人脸的形状参数、表情参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
可选的，所述三维人脸形变统计模型包括三维人脸统计部分、三维人脸重建部分以及三维人脸变换部分，所述获取第一样本人脸集，还包括：
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到样本人脸的形状参数，或得到样本人脸的形状参数和表情参数；
通过所述样本人脸的形状参数，或样本人脸的形状参数和表情参数，重建所述样本人脸的三维人脸；
根据所述三维人脸与所述样本人脸的映射关系，计算得到所述样本人脸的变换参数。
可选的，其特征在于，所述获取第一样本人脸集，还包括：
通过所述三维人脸重建部分，获取已标注人脸三维参数的第一样本人脸的三维人脸；
对所述三维人脸进行三维层面的数据增强，得到数据增强后的多个三维人脸；
将所述多个三维人脸通过三维人脸变换部分，映射到二维平面，得到数据增强的第一样本人脸以及对应变换参数；
基于所述第一样本人脸的已标注人脸三维参数、所述数据增强的第一样本人脸以及对应变换参数，得到所述第一样本人脸集。
可选的，其特征在于，所述获取第二样本人脸集，包括：
将所述第一样本人脸集进行通道模式转换，得到第二通道模式的第二样本人脸集。
可选的，所述获取第二样本人脸集，还包括：
对所述第二样本人脸集中的第二样本人脸进行数据增强。
第二方面，本申请实施例提供一种人脸姿态估计装置，包括：
获取模块，用于获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；
转换模块，用于将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；
预测模块，用于将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；
估计模块，用于基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。
第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的人脸姿态估计方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的人脸姿态估计方法中的步骤。
本申请实施例中，获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。通过预先训练的神经网络模型对人脸三维参数进行预测，提高人脸三维参数的预测速度，且通过人脸三维参数进行人脸姿态估计，可以提高人脸姿态估计的准确率；另外，通过第一通道模式的样本人脸和第二通道模式的样本人脸来对神经网络模型进行训练，增强了神经网络模型的泛化能力。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请提供的人脸姿态估计方法的一个实施例的流程图；
图2是本发明实施例提供的一种神经网络模型的训练方法的流程图；
图3是本发明实施例提供的上述获取第一样本人脸集方法的流程图；
图4是本发明实施例提供的另一种获取第一样本人脸集方法的流程图；
图5是本发明实施例提供的另一种获取第一样本人脸集方法的流程图；
图6是本发明实施例提供的又一种获取第一样本人脸集方法的流程图；
图7是本发明实施例提供的获取第二样本人脸集方法的流程图；
图8是本发明实施例提供的一种人脸姿态估计装置的结构示意图；
图9是本发明实施例提供的一种神经网络模型的训练装置的结构示意图；
图10是本发明实施例提供的一种获取模块的结构示意图；
图11是本发明实施例提供的另一种获取模块的结构示意图；
图12是本发明实施例提供的又一种获取模块的结构示意图；
图13是本发明实施例提供的另一种获取模块的结构示意图；
图14是本发明实施例提供的另一种获取模块的结构示意图；
图15是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
参考图1，图1是根据本申请提供的人脸姿态估计方法的一个实施例的流程图，所述的人脸姿态估计方法，包括以下步骤：
101、获取第一通道模式的第一待估计图像。
上述第一待估计图像包括待估计的目标人脸。
在本发明实施例中，上述第一通道模式可以为多通道模式，比如上述第一通道模式可以为RGB的三通道模式，上述第一待估计图像可以为二维的RGB图像，其中包含有待进行人脸姿态估计的目标人脸，可以通过摄像机、手机等具有摄像功能的设备获取上述的RGB第一待估计图像。
102、将第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像。
在本发明实施例中，上述第二通道模式的通道数小于上述第一通道模式的通道数，比如上述第二通道模式的通道数可以是一通道，对应的上述第二待估计图像可以是一通道模式的灰度图或IR图等；上述步骤101中获取到的第一待估计RGB图像，容易受到环境光的影响，例如在逆光和强光的情况下，成像质量较差，会导致人脸姿态的估计结果有很大的误差。因此在本步骤中，首先将上述第一待估计图像进行通道模式的转换，即可以将上述三通道的RGB图像转换为一通道的灰度图像，得到上述第二通道模式的第二待估计图像，以减少逆光和强光对图像质量的影响，可以使以下步骤更好地进行人脸姿态的估计。具体地，可以将第一待估计图像转换为YUV的三通道模式，然后取YUV通道模式的图像中的任意一个或两个通道作为本发明实施例中的第二待估计图像，举例来说，以第一待估计图像为三通道模式RGB图像，第二待估计图像为一通道模式的灰度图来说，将RGB图像转换为YUV图像，然后取YUV图像中Y通道对应的图像作为本发明实施例中的第二待估计图像。可以理解的是，在YUV的三通道模式中，Y通道分量的物理意义是像素点的亮度，由该值可以反映像素点的亮度等级，因此Y通道分量即是灰度图。在一种可能的实施例中，第一待估计图像为三通道模式RGB图像，第二待估计图像为一通道模式的灰度图，也可以通过RGB图像中像素点的RGB值，直接计算得到灰度图，具体的，可以通过Y＝0.3R+0.59G+0.11B进行计算，其中，上述Y为像素点的灰度值，上述0.3R为像素点的R通道值的加权值，上述0.59G为像素点的G通道值的加权值，上述0.11B为像素点的B通道值的加权值。
103、将上述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数。
上述神经网络模型通过第一样本人脸集与第二样本人脸集训练，上述第一样本人脸集中包括第一通道模式的样本人脸，上述第二样本人脸集中包括第二通道模式的样本人脸。
其中，上述三维参数包括形状参数和变换参数，形状参数可以用来表示一张人脸的三维形状，变换参数可以表示人脸由三维变换到二维的参数，也可以理解为相机的仿射矩阵参数，上述神经网络模型可以是基于mobilenet的卷积神经网络。
在本发明实施例中，如图2所示，图2是本发明实施例提供的一种神经网络模型的训练方法的流程图，包括以下步骤：
获取第一样本人脸集以及第二样本人脸集。
上述第一样本人脸集包括对应的人脸三维参数标注数据，上述第二样本人脸集包括对应的人脸三维参数标注数据。
其中，上述第一样本人脸集中的样本人脸可以是第一通道模式的人脸，上述第一样本人脸集中的样本人脸具有对应的人脸三维标注参数，上述第二样本人脸集中的样本人脸可以是第二通道模式的人脸，上述第二样本人脸集中的样本人脸具有对应的人脸三维标注参数。
上述人脸三维参数标注数据包括形状参数标注数据和变换参数标注数据，在神经网络模型的训练过程，上述三维参数标注数据可以作为标签与神经网络模型的输出进行比较，可以得到神经网络模型的训练误差。
进一步的，如图3所示，图3是本发明实施例提供的上述获取第一样本人脸集方法的流程图，包括：
301、构建三维人脸形变统计模型。
上述三维人脸形变统计模型可以是基于3DMM模型得到的，3DMM是一种人脸的线性表示方法，一个新的人脸模型可以由以下方法得到：
其中SnewModel表示新的人脸模型(也可以称为目标人脸模型)，
表示平均人脸模型(也可以称为正面人脸模型)，为一个已知参数，si表示人脸形状对应的PCA(主成分分析中第i个主成分)部分，αi表示相应第i个主成分的系数，即上述的形状参数。由上述式子可以看出，一个新的人脸模型可以由平均人脸模型加上人脸形状的PCA部分组成，当一个新的人脸模型为正脸时，αi接近为0，当一个新的人脸模型为侧脸时，则αi有正有负。
302、将上述第一通道模式的样本人脸输入到上述三维人脸形变统计模型中，得到三维人脸的形状参数和变换参数。
在本发明实施例中，可以通过人脸特征点的特征向量进行主成分分析，得到si。
需要说明的是人脸模型的三维点以及对应图像中的二维点存在映射关系，这个可以由一个仿射矩阵进行表示。即：
x2d＝P*x3d
其中，P是相机的仿射矩阵，x2d是图像中的二维点，x3d是人脸模型的三维点。因此，可以通过下述式子求解三维人脸的形状参数：
其中Xprojection是上述三维人脸模型的X3d投影到二维平面上的点，Porth是正交投影矩阵，R是旋转矩阵，t2d是位移矩阵，s是缩放矩阵，上述的变换参数即包含缩放矩阵s、旋转矩阵R、位移矩阵t2d三者。上述γ是PCA系数(包含上述形状参数αi)，σi表示对应的主成分偏差。具体求解方法如下：
第一步，将α初始化为0；第二步，求出s，R，t2d；第三步，将第二步求出的s，R，t2d代入，求出α；第四步，利用求出的α,β，重复步骤二至四，反复迭代。最终求得的人脸三维参数α，s，R，t2d。
303、通过上述三维人脸的形状参数和变换参数，对上述第一通道模式的样本人脸进行数据标注，得到上述第一样本人脸集。
在本发明实施例中，可以利用求得的人脸三维参数α，s，R，t2d来标注一个样本人脸。其中，在人脸三维参数中，α可以确定三维人脸，s，R，t2d可以确定三维人脸的投影人脸。
可选的，上述三维参数还包括表情参数，如图4所示，图4是本发明实施例提供的另一种获取第一样本人脸集方法的流程图，上述获取第一样本人脸集，还包括：
401、在上述三维人脸形变统计模型中拟合三维人脸的表情统计。
上述表情统计可以是根据人脸表情数据库得到的，比如可以是根据人脸表情数据库进行表情特征的统计得到，上述人脸表情数据库可以是BFM三维平均脸模型数据库，该数据库是一个拥有人脸形状、表情及纹理特征数据的开源的数据库，通过该数据库可以获取平均人脸形状、表情和平均人脸纹理。
402、将上述第一通道模式的样本人脸输入到上述三维人脸形变统计模型中，得到三维人脸的形状参数、表情参数和变换参数。
403、通过上述三维人脸的形状参数、表情参数和变换参数，对上述第一通道模式的样本人脸进行数据标注，得到上述第一样本人脸集。
在本发明实施例中，通过在三维人脸形变统计模型中拟合三维人脸的表情统计，使得预测到的三维人脸参数中也包括表情参数，可以提高人脸姿态估计的表现力，进而提高人脸姿态估计的准确度。
上述三维人脸形变统计模型包括三维人脸统计部分、三维人脸重建部分以及三维人脸变换部分，如图5所示，图5是本发明实施例提供的另一种获取第一样本人脸集方法的流程图，上述获取第一样本人脸集，还包括：
501、将上述第一通道模式的样本人脸输入到上述三维人脸形变统计模型中，得到样本人脸的形状参数，或得到样本人脸的形状参数和表情参数。
502、通过上述样本人脸的形状参数，或样本人脸的形状参数和表情参数，重建上述样本人脸的三维人脸。
503、根据上述三维人脸与上述样本人脸的映射关系，计算得到上述样本人脸的变换参数。
具体的，为了使上述三维人脸形变统计模型具有更强的人脸表现力，进一步加入了人脸表情参数，从而使上述人脸模型的线性表示可以扩充为：
其中，ei表示人脸表情对应的PCA部分，βi表示相应的系数，即上述表情参数。
进一步的，人脸重建问题转为了求三维人脸形变统计模型的α,β系数的问题。具体而言，可以从上述第一通道模式的样本人脸(即至少一张包含人脸的RGB图像)里面得到人脸的68个特征点坐标(X)，在BFM三维模型(平均脸模型)数据库中有对应的68个特征点(X3d)，根据这些信息便可以求出α,β系数，即将平均脸模型与上述第一通道模式的样本人脸的RGB图像中的脸部进行拟合。
具体求解过程如下：
其中Xprojection是上述BFM三维模型的X3d投影到二维平面上的点，Porth是正交投影矩阵，R是旋转矩阵，t2d是位移矩阵，s是缩放矩阵，上述的变换参数即包含缩放矩阵s、旋转矩阵R、位移矩阵t2d三者。
进一步的，三维求解问题又可以转化为求解满足以下能量方程的系数：
其中γ是PCA系数(包含上述形状参数α以及表情参数β)，σ表示对应的主成分偏差。
可以理解的是，上述的求解过程即求解三维模型中的68个特征点投影到二维平面上的值，与二维平面原68个特征点距离相差最小的系数。具体求解方法如下：
第一步，将α,β初始化为0；第二步，求出s，R，t2d；第三步，将第二步求出的s，R，t2d代入，求出α；第四步，将求出的s，R，t2d，α代入，求出β；第五步，利用求出的α,β，重复步骤二至四，反复迭代。最终可以利用求得的人脸三维参数α，β，s，R，t2d来标注一个新的样本人脸；对多张上述第一通道模式的样本人脸进行上述过程的数据标注，从而可以得到上述第一样本人脸集。
进一步的，如图6所示，图6是本发明实施例提供的另一种获取第一样本人脸集方法的流程图，上述获取第一样本人脸集，还包括：
601、通过上述三维人脸重建部分，获取已标注人脸三维参数的第一样本人脸的三维人脸。
602、对上述三维人脸进行三维层面的数据增强，得到数据增强后的多个三维人脸。
603、将上述多个三维人脸通过三维人脸变换部分，映射到二维平面，得到数据增强的第一样本人脸以及对应变换参数。
604、基于上述第一样本人脸的已标注人脸三维参数、上述数据增强的第一样本人脸以及对应变换参数，得到上述第一样本人脸集。
通过上述三维人脸重建部分以回归的方式获取上述已标注人脸三维参数的第一样本人脸的三维人脸后，进行三维层面的数据增强，包括对上述多个三维人脸进行旋转和随机裁剪操作，得到数据增强后的多个三维人脸；然后，将经上述操作生成的三维人脸通过上述的三维人脸变换部分映射到二维平面上，得到上述数据增强后的第一样本人脸以及对应的变换参数，最后将上述第一样本人脸的已标注人脸三维参数、数据增强的第一样本人脸以及对应变换参数组成得到所述第一样本人脸集。
202、以上述人脸三维参数为目标函数构建初始神经网络模型。
其中，上述初始神经网络模型可以是基于mobilenet的多层神经网络，其目标函数以上述人脸三维参数为目标函数，即以形状参数α，表情参数β和变换参数s、R、t2d为求解目标构建上述初始神经网络模型的损失函数并进行相应的训练。
203、通过上述第一样本人脸集对上述初始神经网络模型进行第一训练，得到训练神经网络模型。
上述第一样本人脸集中的样本人脸可以是第一通道模式的人脸，上述第一样本人脸集中的样本人脸具有对应的人脸三维标注参数；通过上述第一样本人脸集中的样本人脸数据对上述初始神经网络模型进行第一训练，可以初步的得到上述训练神经网络模型。
204、通过上述第二样本人脸集对上述训练神经网络模型进行第二训练，得到训练好的神经网络模型。
首先获取上述第二样本人脸集，请参见图7，图7是本发明实施例提供的获取第二样本人脸集方法的流程图，包括：
701、将上述第一样本人脸集进行通道模式转换，得到第二通道模式的第二样本人脸集。
在本发明实施例中，上述第一样本人脸集可以是上述第一通道模式的样本人脸，如RGB三通道模式人脸图像，上述第二样本人脸集可以是上述第二通道模式的样本人脸，如IR通道模式的人脸图像；可以使用上述IR通道模式的人脸图像进行上述初步训练神经网络模型的第二训练，由于当前并没有基于IR通道模式的人脸图像进行人脸姿态估计的相关方法，也没有相关数据，所以本发明实施例可以上述基于RGB第一通道模式的第一样本人脸集进行通道模式转换，得到基于灰度图的上述第二通道模式的第二样本人脸集，用来近似模拟IR通道模式的人脸图像。
702、对上述第二样本人脸集中的第二样本人脸进行数据增强。
在本发明实施例中，将上述第二样本人脸集进行数据增强，包括对灰度图的亮度值进行随机改变等，进而将数据增强后的第二样本人脸集输入到上述初步训练神经网络模型进行第二次训练，这样，上述初步训练神经网络模型经RGB三通道模式人脸图像训练后模型具有很强的泛化能力，在此基础上加入灰度图片的训练，可以使模型在IR通道模式的人脸图像上的表现更好从而增强了模型的泛化能力。
104、基于所述人脸三维参数，对上述待估计的目标人脸进行人脸姿态估计。
在本发明实施例中，通过上述预先训练好的神经网络模型可以获得上述预测人脸三维参数，该人脸三维参数由上述人脸的形状参数α，人脸的表情参数β以及变换参数组成，其中的变换参数也即是相机的仿射矩阵P，即相机的仿射矩阵P是由缩放矩阵s，旋转矩阵R以及平移矩阵t2d组成，上述仿射矩阵P可以如下述式子所示：
P＝s*R*t2d
需要通过P进一步求得人脸姿态，从而对上述待估计的目标人脸进行人脸姿态估计。其中，上述缩放矩阵s可以如下述式子所示：
其中，上述sx，sy，sz分别是目标人脸沿着x,y,z方向的缩放尺寸。
在本发明实施例中，上述平移矩阵t2d可以如下述式子所示：
其中，上述tx，ty，tz分别是目标人脸沿着x,y,z方向的平移尺寸。
在本发明实施例中，上述旋转矩阵R可以如下述式子所示：
R＝RxRyRz
其中，上述Rx,Ry,Rz分别是目标人脸沿着x,y,z方向的旋转矩阵，具体可以如下述式子所示：
其中，上述Rx,Ry,Rz中的φ，分别是目标人脸在x,y,z方向的旋转弧度。
在本发明实施例中，可以对P进行因式分解，分别求得各参数在x,y,z方向的值，得到目标人脸分别在yaw偏航，pitch俯仰，roll翻滚方向的角度值，通过目标人脸在yaw偏航，pitch俯仰，roll翻滚方向的角度值得到目标人脸的人脸姿态估计结果。
综上所述，在本发明实施例中，通过第一通道模式的第一待估计图像进行通道模式转换获得第二待估计图像，然后将第一待估计图像和第二待估计图像制作第一样本人脸集与第二样本人脸集，并分别用来对神经网络模型进行两次训练，增强了神经网络模型的泛化能力；然后通过预先训练的神经网络模型对人脸三维参数进行预测，得到人脸三维参数的速度较于3DMM算法更快，人脸三维参数预测也更加准确，且是通过人脸三维参数进行人脸姿态估计，可以提高人脸姿态估计的准确率。
需要说明的是，本发明实施例提供的人脸姿态估计方法可以应用于可以进行人脸姿态估计的手机、监控器、计算机、服务器等设备。
请参见图8，图8是本发明实施例提供的一种人脸姿态估计装置的结构示意图，如图8所示，所述装置800包括：
获取模块801，用于获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；
转换模块802，用于将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；
预测模块803，用于将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；
估计模块804，用于基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。
可选的，如图9所示，图9是本发明实施例提供的一种神经网络模型的训练装置的结构示意图，所述神经网络模型的训练装置900包括：
获取模块901，用于获取第一样本人脸集以及第二样本人脸集，所述第一样本人脸集包括对应的人脸三维参数标注数据，所述第二样本人脸集包括对应的人脸三维参数标注数据；
构建模块902，用于以所述人脸三维参数为目标函数构建初始神经网络模型；
第一训练模块903，用于通过所述第一样本人脸集对所述初始神经网络模型进行第一训练，得到训练神经网络模型；
第二训练模块904，用于通过所述第二样本人脸集对所述训练神经网络模型进行第二训练，得到训练好的神经网络模型。
可选的，如图10所示，所述三维参数包括形状参数和变换参数，所述获取模块901包括：
构建单元90101，用于构建三维人脸形变统计模型；
获取单元90102，用于将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数和变换参数；
标注单元90103，用于通过所述三维人脸的形状参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
可选的，如图11所示，所述三维参数还包括表情参数，所述获取模块901还包括：
拟合单元90111，用于在所述三维人脸形变统计模型中拟合三维人脸的表情统计；
获取单元90112，用于将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数、表情参数和变换参数；
标注单元90113，用于通过所述三维人脸的形状参数、表情参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
可选的，如图12所示，所述三维人脸形变统计模型包括三维人脸统计部分、三维人脸重建部分以及三维人脸变换部分，所述获取模块901还包括：
获取单元90121，用于将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到样本人脸的形状参数，或得到样本人脸的形状参数和表情参数；
重建单元90122，用于通过所述样本人脸的形状参数，或样本人脸的形状参数和表情参数，重建所述样本人脸的三维人脸；
计算单元90123，用于根据所述三维人脸与所述样本人脸的映射关系，计算得到所述样本人脸的变换参数。
可选的，如图13所示，所述获取模块901还包括：
第一获取单元90131，用于通过所述三维人脸重建部分，获取已标注人脸三维参数的第一样本人脸的三维人脸；
增强单元90132，用于对所述三维人脸进行三维层面的数据增强，得到数据增强后的多个三维人脸；
映射单元90133，用于将所述多个三维人脸通过三维人脸变换部分，映射到二维平面，得到数据增强的第一样本人脸以及对应变换参数；
第二获取单元90134，用于基于所述第一样本人脸的已标注人脸三维参数、所述数据增强的第一样本人脸以及对应变换参数，得到所述第一样本人脸集。
可选的，如图14所示，所述获取模块901还包括：
转换单元90141，用于将所述第一样本人脸集进行通道模式转换，得到第二通道模式的第二样本人脸集；
增强单元90142，用于对所述第二样本人脸集中的第二样本人脸进行数据增强。
需要说明的是，本发明实施例提供的人脸姿态估计装置可以应用于可以进行人脸图像修复的手机、监控器、计算机、服务器等设备。
本发明实施例提供的人脸姿态估计装置能够实现上述方法实施例中人脸姿态估计方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图15，图15是本发明实施例提供的一种电子设备的结构示意图，如图15所示，包括：存储器1502、处理器1501及存储在所述存储器1502上并可在所述处理器1501上运行的计算机程序，其中：
处理器1501用于调用存储器1502存储的计算机程序，执行如下步骤：
获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；
将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；
将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；
基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。
可选的，处理器1501执行的所述神经网络模型的训练步骤包括：
获取第一样本人脸集以及第二样本人脸集，所述第一样本人脸集包括对应的人脸三维参数标注数据，所述第二样本人脸集包括对应的人脸三维参数标注数据；
以所述人脸三维参数为目标函数构建初始神经网络模型；
通过所述第一样本人脸集对所述初始神经网络模型进行第一训练，得到训练神经网络模型；
通过所述第二样本人脸集对所述训练神经网络模型进行第二训练，得到训练好的神经网络模型。
可选的，处理器1501执行的所述所述三维参数包括形状参数和变换参数，所述获取第一样本人脸集，包括：
构建三维人脸形变统计模型；
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数和变换参数；
通过所述三维人脸的形状参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
可选的，处理器1501执行的所述三维参数还包括表情参数，所述获取第一样本人脸集，还包括：
在所述三维人脸形变统计模型中拟合三维人脸的表情统计；
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数、表情参数和变换参数；
通过所述三维人脸的形状参数、表情参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
可选的，处理器1501执行的所述三维人脸形变统计模型包括三维人脸统计部分、三维人脸重建部分以及三维人脸变换部分，所述获取第一样本人脸集，还包括：
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到样本人脸的形状参数，或得到样本人脸的形状参数和表情参数；
通过所述样本人脸的形状参数，或样本人脸的形状参数和表情参数，重建所述样本人脸的三维人脸；
根据所述三维人脸与所述样本人脸的映射关系，计算得到所述样本人脸的变换参数。
可选的，处理器1501执行的所述获取第一样本人脸集，还包括：
通过所述三维人脸重建部分，获取已标注人脸三维参数的第一样本人脸的三维人脸；
对所述三维人脸进行三维层面的数据增强，得到数据增强后的多个三维人脸；
将所述多个三维人脸通过三维人脸变换部分，映射到二维平面，得到数据增强的第一样本人脸以及对应变换参数；
基于所述第一样本人脸的已标注人脸三维参数、所述数据增强的第一样本人脸以及对应变换参数，得到所述第一样本人脸集。
可选的，处理器1501执行的所述获取第二样本人脸集，包括：
将所述第一样本人脸集进行通道模式转换，得到第二通道模式的第二样本人脸集。
可选的，处理器1501执行的所述获取第二样本人脸集，还包括：
对所述第二样本人脸集中的第二样本人脸进行数据增强。
需要说明的是，上述电子设备可以是可以应用于可以进行人脸姿态估计的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中人脸姿态估计方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的人脸姿态估计方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (11)
1.一种人脸姿态估计方法，其特征在于，包括：
获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；
将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；
将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；
基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。
2.如权利要求1所述的方法，其特征在于，所述神经网络模型的训练步骤包括：
获取第一样本人脸集以及第二样本人脸集，所述第一样本人脸集包括对应的人脸三维参数标注数据，所述第二样本人脸集包括对应的人脸三维参数标注数据；
以所述人脸三维参数为目标函数构建初始神经网络模型；
通过所述第一样本人脸集对所述初始神经网络模型进行第一训练，得到训练神经网络模型；
通过所述第二样本人脸集对所述训练神经网络模型进行第二训练，得到训练好的神经网络模型。
3.如权利要求2所述的方法，其特征在于，所述三维参数包括形状参数和变换参数，所述获取第一样本人脸集，包括：
构建三维人脸形变统计模型；
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数和变换参数；
通过所述三维人脸的形状参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
4.如权利要求3所述的方法，其特征在于，所述三维参数还包括表情参数，所述获取第一样本人脸集，还包括：
在所述三维人脸形变统计模型中拟合三维人脸的表情统计；
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到三维人脸的形状参数、表情参数和变换参数；
通过所述三维人脸的形状参数、表情参数和变换参数，对所述第一通道模式的样本人脸进行数据标注，得到所述第一样本人脸集。
5.如权利要求3或4所述的方法，其特征在于，所述三维人脸形变统计模型包括三维人脸统计部分、三维人脸重建部分以及三维人脸变换部分，所述获取第一样本人脸集，还包括：
将所述第一通道模式的样本人脸输入到所述三维人脸形变统计模型中，得到样本人脸的形状参数，或得到样本人脸的形状参数和表情参数；
通过所述样本人脸的形状参数，或样本人脸的形状参数和表情参数，重建所述样本人脸的三维人脸；
根据所述三维人脸与所述样本人脸的映射关系，计算得到所述样本人脸的变换参数。
6.如权利要求5所述的方法，其特征在于，其特征在于，所述获取第一样本人脸集，还包括：
通过所述三维人脸重建部分，获取已标注人脸三维参数的第一样本人脸的三维人脸；
对所述三维人脸进行三维层面的数据增强，得到数据增强后的多个三维人脸；
将所述多个三维人脸通过三维人脸变换部分，映射到二维平面，得到数据增强的第一样本人脸以及对应变换参数；
基于所述第一样本人脸的已标注人脸三维参数、所述数据增强的第一样本人脸以及对应变换参数，得到所述第一样本人脸集。
7.如权利要求2至4任一所述的方法，其特征在于，所述获取第二样本人脸集，包括：
将所述第一样本人脸集进行通道模式转换，得到第二通道模式的第二样本人脸集。
8.如权利要求7所述的方法，其特征在于，所述获取第二样本人脸集，还包括：
对所述第二样本人脸集中的第二样本人脸进行数据增强。
9.一种人脸姿态估计装置，其特征在于，包括：
获取模块，用于获取第一通道模式的第一待估计图像，所述第一待估计图像包括待估计的目标人脸；
转换模块，用于将所述第一待估计图像进行通道模式转换，得到第二通道模式的第二待估计图像；
预测模块，用于将所述第二待估计图像输入预先训练好的神经网络模型进行人脸三维参数预测，得到预测人脸三维参数，所述神经网络模型通过第一样本人脸集与第二样本人脸集训练，所述第一样本人脸集中包括第一通道模式的样本人脸，所述第二样本人脸集中包括第二通道模式的样本人脸；
估计模块，用于基于所述人脸三维参数，对所述待估计的目标人脸进行人脸姿态估计。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的人脸姿态估计方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的人脸姿态估计方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472993.4A CN112597847B (zh) | 2020-12-15 | 人脸姿态估计方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472993.4A CN112597847B (zh) | 2020-12-15 | 人脸姿态估计方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112597847A true CN112597847A (zh) | 2021-04-02 |
| CN112597847B CN112597847B (zh) | 2024-07-05 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658035A (zh) * | 2021-08-17 | 2021-11-16 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
| CN114125273A (zh) * | 2021-11-05 | 2022-03-01 | 维沃移动通信有限公司 | 人脸对焦方法、装置及电子设备 |
| CN118038560A (zh) * | 2024-04-12 | 2024-05-14 | 魔视智能科技(武汉)有限公司 | 驾驶员的人脸姿态预测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570460A (zh) * | 2016-10-20 | 2017-04-19 | 三明学院 | 一种基于深度值的单幅图像人脸姿态估计方法 |
| CN108932536A (zh) * | 2018-07-18 | 2018-12-04 | 电子科技大学 | 基于深度神经网络的人脸姿态重建方法 |
| CN109934196A (zh) * | 2019-03-21 | 2019-06-25 | 厦门美图之家科技有限公司 | 人脸姿态参数评估方法、装置、电子设备及可读存储介质 |
| CN110956080A (zh) * | 2019-10-14 | 2020-04-03 | 北京海益同展信息科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570460A (zh) * | 2016-10-20 | 2017-04-19 | 三明学院 | 一种基于深度值的单幅图像人脸姿态估计方法 |
| CN108932536A (zh) * | 2018-07-18 | 2018-12-04 | 电子科技大学 | 基于深度神经网络的人脸姿态重建方法 |
| CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
| CN109934196A (zh) * | 2019-03-21 | 2019-06-25 | 厦门美图之家科技有限公司 | 人脸姿态参数评估方法、装置、电子设备及可读存储介质 |
| CN110956080A (zh) * | 2019-10-14 | 2020-04-03 | 北京海益同展信息科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张雁鹏等: "VR头盔遮挡情况下的3D面部重建", 技术与应用 * |
| 苏铁明等: "基于深度学习与融入梯度信息的人脸姿态分类检测", 数据采集与处理, pages 2 - 4 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658035A (zh) * | 2021-08-17 | 2021-11-16 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
| CN113658035B (zh) * | 2021-08-17 | 2023-08-08 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
| CN114125273A (zh) * | 2021-11-05 | 2022-03-01 | 维沃移动通信有限公司 | 人脸对焦方法、装置及电子设备 |
| CN118038560A (zh) * | 2024-04-12 | 2024-05-14 | 魔视智能科技(武汉)有限公司 | 驾驶员的人脸姿态预测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210192758A1 (en) | Image processing method and apparatus, electronic device, and computer readable storage medium | |
| CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
| CN109859296B (zh) | Smpl参数预测模型的训练方法、服务器及存储介质 | |
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| CN108460338B (zh) | 人体姿态估计方法和装置、电子设备、存储介质、程序 | |
| WO2022000420A1 (zh) | 人体动作识别方法、人体动作识别系统及设备 | |
| CN109712234B (zh) | 三维人体模型的生成方法、装置、设备和存储介质 | |
| CN112287820A (zh) | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 | |
| CN112200057B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN112733797B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| CN112560757B (zh) | 端到端多视角三维人体姿态估计方法、系统及存储介质 | |
| JP2023545200A (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
| CN111582483A (zh) | 基于空间和通道联合注意力机制的无监督学习光流估计方法 | |
| CN112016454A (zh) | 一种人脸对齐的检测方法 | |
| CN115661246A (zh) | 一种基于自监督学习的姿态估计方法 | |
| CN111445496B (zh) | 一种水下图像识别跟踪系统及方法 | |
| CN111222459A (zh) | 一种视角无关的视频三维人体姿态识别方法 | |
| CN116758621B (zh) | 基于自注意力机制的遮挡人脸面部表情深度卷积识别方法 | |
| CN116519106B (zh) | 一种用于测定生猪体重的方法、装置、存储介质和设备 | |
| US20230401737A1 (en) | Method for training depth estimation model, training apparatus, and electronic device applying the method | |
| Ham et al. | Learning a manifold-constrained map between image sets: applications to matching and pose estimation | |
| CN115205750B (zh) | 基于深度学习模型的运动实时计数方法和系统 | |
| CN112597847B (zh) | 人脸姿态估计方法、装置、电子设备和存储介质 | |
| CN116079727A (zh) | 基于3d人体姿态估计的人形机器人动作模仿方法及装置 | |
| CN112597847A (zh) | 人脸姿态估计方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |