CN112132739A - 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 - Google Patents
3d重建以及人脸姿态归一化方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN112132739A CN112132739A CN201910551628.3A CN201910551628A CN112132739A CN 112132739 A CN112132739 A CN 112132739A CN 201910551628 A CN201910551628 A CN 201910551628A CN 112132739 A CN112132739 A CN 112132739A
- Authority
- CN
- China
- Prior art keywords
- face
- reconstruction
- face image
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010606 normalization Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 156
- 238000010586 diagram Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 230000017105 transposition Effects 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 101150064138 MAP1 gene Proteins 0.000 claims 1
- 101150077939 mapA gene Proteins 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 230000036544 posture Effects 0.000 description 63
- 230000008569 process Effects 0.000 description 18
- 238000012549 training Methods 0.000 description 16
- 230000007547 defect Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 229910021389 graphene Inorganic materials 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种3D重建以及人脸姿态归一化方法、装置、存储介质及设备，属于计算机视觉领域。所述的3D重建方法包括：获取2D人脸图像；将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。本发明的3D重建准确性、鲁棒性好，重建分辨率高、速度快。重建后的3D人脸尤其对大姿态人脸归一化效果好，识别正确率高。
Description
技术领域
本发明涉及计算机视觉领域，特别是指一种3D重建方法、装置、计算机可读存储介质及设备，以及基于该3D重建方法的人脸姿态归一化方法、装置、计算机可读存储介质及设备。
背景技术
在人脸图像识别技术中，人脸的姿态是影响人脸识别率的重要因素，现有技术的人脸图像识别主要是对正面人脸图像或者小姿态(角度)人脸图像的识别，对于大姿态人脸图像的识别结果很不理想，为了提高识别准确率，需要对人脸图像(尤其是大姿态人脸图像)进行姿态归一化。
前述的人脸图像、小姿态人脸图像和大姿态人脸图像都是2D人脸图像。基于3D重建的人脸姿态归一化方法是指将前述的2D人脸图像进行3D重建，得到3D人脸，对3D人脸进行姿态矫正(归一化)后重新投影成2D人脸图像以完成人脸姿态归一化的方法。
基于3D重建的人脸姿态归一化方法的核心是对待归一化的2D人脸图像进行3D重建，根据重建方式的不同，基于3D重建的人脸姿态归一化方法可大致分为基于3DMM参数的估计方法和基于体素的估计方法。
(1)基于3DMM参数的估计方法
3D形变模型(3D Morphable Model，3DMM)，是一种基于统计学原理构建3D人脸模型的方法。该方法利用一个人脸数据库构造一个特征(准确地说是特征人脸：平均人脸+特征向量组*对应系数，注：此系数非特征值，而是需要最终逆向求解的)人脸形变模型，基于该人脸数据库进行PCA特征降维得到可表征该数据库的极大无关向量组(基)；在给出新的待归一化人脸图像后，将待归一化人脸图像与特征人脸形变模型进行匹配结合，修改特征人脸形变模型相应参数的系数，通过如下公式将模型进行形变：
特征人脸形变模型＝平均人脸+特征向量组*系数向量；
通过不断将特征人脸形变模型与输入人脸图像间进行匹配、拟合进而修改系数向量，直到特征人脸形变模型表征的特征人脸与人脸图像的差异减到最小，完成人脸3D建模。再通过3D人脸模型旋转方法将3D人脸进行归一化并进行二维投影，完成2D人脸图像的姿态归一化。
该方法依据当前的3DMM公开数据库进行，而当前可用的3DMM数据库数据量小，严重限制了3DMM模型可表征的人脸范围；此外，这种方法严重依赖人脸关键点检测器，并且关键点检测误差会在重建的过程中被放大，严重影响后续的人脸归一化效果。最后，3DMM的方法为model-based的，生成的3D几何是在约束的几何空间下通过估计出的参数进行3D mesh处理得到的，这导致生成的3D几何空间受限。
(2)基于体素的估计方法
体素是体积元素(Volume Pixel)的简称，是数字数据在三维空间分割上的最小单位。该方法使用CNN将2D人脸图像与对应3D体素模型间建立密集的对应关系，通过端到端的训练和推理直接将二维人脸与3D纹理进行对应。绕过三维形变模型的构造(训练期间)和拟合(推理期间)以重建3D人脸几何体，将估计出的体素表示的3D人脸几何体进行点云模型转化，最后将转换后的3D人脸进行投影，完成2D人脸图像姿态的归一化。
基于体素的估计方法虽然通过CNN来端到端学习二维人脸图像和3D人脸模型间的映射关系，避免了3DMM方法中重建和归一化性能受数据表征范围的限制，然而，这种表示丢弃了3D点的语义信息，因此网络需要回归整个体积(体素堆积)以恢复仅仅是体积的一部分的3D外表形状。因此，这种表示限制了重建的分辨率，并且需要复杂的深层网络来对其进行回归，严重耗时。
发明内容
为解决上述技术问题，本发明提供一种3D重建方法、装置、计算机可读存储介质及设备，以及基于该3D重建方法的人脸姿态归一化方法、装置、计算机可读存储介质及设备。本发明的3D重建准确性、鲁棒性好，重建分辨率高、速度快。重建后的3D人脸尤其对大姿态人脸归一化效果好，识别正确率高。
本发明提供技术方案如下：
第一方面，本发明提供一种3D重建方法，所述方法包括：
获取2D人脸图像；
将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；
根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。
进一步的，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。
进一步的，所述轻量卷积神经网络在训练时的损失函数Loss为：
P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，
为在ground thruth UV位置图中(x,y)坐标处的像素点的RGB像素值；
W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。
进一步的，所述根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸，包括：
从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；
将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；
其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。
第二方面，本发明提供与第一方面所述的3D重建方法对应的一种3D重建装置，所述装置包括：
获取模块，用于获取2D人脸图像；
UV位置图生成模块，用于将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；
3D人脸转换模块，用于根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。
进一步的，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。
进一步的，所述轻量卷积神经网络在训练时的损失函数Loss为：
P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，
为在ground thruth UV位置图中(x,y)坐标处的像素点的RGB像素值；
W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。
进一步的，所述3D人脸转换模块包括：
提取单元，用于从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；
映射单元，用于将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；
其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。
第三方面，本发明提供与第一方面所述的3D重建方法对应的一种用于3D重建的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的3D重建方法的步骤。
第四方面，本发明提供与第一方面所述的3D重建方法对应的一种用于3D重建的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的3D重建方法的步骤。
第五方面，本发明提供一种基于3D重建的人脸姿态归一化方法，所述方法包括：
使用前述第一方面所述的3D重建方法对2D人脸图像进行3D重建，得到3D人脸；
对所述3D人脸进行姿态归一化；
将姿态归一化后的3D人脸投影到二维平面上，得到姿态归一化后的2D人脸图像。
进一步的，所述对所述3D人脸进行姿态归一化包括：
预定义一个标准3D姿态人脸，所述标准3D姿态人脸与所述3D人脸具有相同的顶点数目；
通过最小二乘法进行参数拟合，得到仿射矩阵；
通过所述仿射矩阵将所述3D人脸进行规范化，完成3D人脸的姿态归一化；
所述将姿态归一化后的3D人脸投影到二维平面上，包括：
使用正交投影的方法将姿态归一化后的3D人脸投影到二维平面上。
第六方面，本发明提供与第五方面所述的基于3D重建的人脸姿态归一化方法对应的一种基于3D重建的人脸姿态归一化装置，该装置包括：
3D重建模块，用于使用前述第二方面所述的3D重建装置对2D人脸图像进行3D重建，得到3D人脸；
3D人脸归一化模块，用于对所述3D人脸进行姿态归一化；
投影模块，用于将姿态归一化后的3D人脸投影到二维平面上，得到姿态归一化后的2D人脸图像。
进一步的，所述3D人脸归一化模块包括：
预定义单元，用于预定义一个标准3D姿态人脸，所述标准3D姿态人脸与所述3D人脸具有相同的顶点数目；
参数拟合单元，用于通过最小二乘法进行参数拟合，得到仿射矩阵；
规范化单元，用于通过所述仿射矩阵将所述3D人脸进行规范化，完成3D人脸的姿态归一化；
所述投影模块进一步用于：
使用正交投影的方法将姿态归一化后的3D人脸投影到二维平面上。
第七方面，本发明提供与第五方面所述的基于3D重建的人脸姿态归一化方法对应的一种用于人脸姿态归一化的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第五方面所述的基于3D重建的人脸姿态归一化方法的步骤。
第八方面，本发明提供与第五方面所述的基于3D重建的人脸姿态归一化方法对应的一种用于人脸姿态归一化的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第五方面所述的基于3D重建的人脸姿态归一化方法的步骤。
本发明具有以下有益效果：
本发明提出UV位置图作为二维图像到3D人脸之间转换的桥梁，通过轻量CNN对输入人脸图像进行UV位置图估计，进而映射生成3D人脸模型：首先使用轻量神经网络提取人脸图像的特征并将该特征转换为UV位置图，以端到端的形式训练和推导2D人脸图像到UV位置图的映射，在2D图像与3D模型之间建立端到端的对应关系。然后将神经网络输出的UV位置图与输入2D人脸图像做位置映射生成UV空间中的3D人脸表示。
本发明准确性、鲁棒性好：本发明不受低维的解空间限制，避免了3DMM方法中重建和归一化性能受数据表征范围的限制的问题。
本发明分辨率高：本发明的UV位置图记录了3D人脸的位置信息并且在UV空间中为每个点提供了稠密的语义对应，解决了基于体素的估计方法丢弃了3D点的语义信息的缺陷。
本发明速度快：本发明使用轻量卷积神经网络框架，解决了基于体素的估计方法需要复杂的深层网络来进行回归，严重耗时的缺陷。
附图说明
图1为本发明的3D重建方法流程图；
图2为2D人脸图像，2D人脸图像对应的UV位置图以及面部权重mask示意图；
图3为本发明的3D重建装置示意图；
图4为本发明的基于3D重建的人脸姿态归一化方法流程图；
图5为本发明的基于3D重建的人脸姿态归一化装置示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施提供了一种3D重建方法，如图1所示，该方法包括：
步骤S100：获取2D人脸图像。
本发明中，根据2D人脸图像进行3D重建，得到3D人脸。本发明适用于各种姿态的2D人脸图像，尤其是大姿态2D人脸图像的情况下，本发明仍然能够进行3D重建得到较准确地3D人脸。
本步骤中，不对2D人脸图像的姿态进行限制，可以是大姿态2D人脸图像，也可以是小姿态2D人脸图像，还可以是正面人脸图像，或者其他姿态的人脸图像。
步骤S200：将2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值，所述的3D几何信息即为3D人脸三维点的三维坐标值。
在介绍本步骤时，先明确以下几个概念：
UV图(又称UV纹理图)：是一种3D纹理在二维平面上的展开图，一般通过F(u,v)参数曲面来表示。UV图本质上是二维的，它所嵌入的空间是三维的。
UV位置图：是本发明中基于UV图提出的一种可在二维平面上表示三维空间点坐标的二维图表示。
UV位置图(或称位置图)是将3D位置信息在2D UV空间进行存储的图，其主要目的是参数化3D空间到2D。UV空间或UV坐标系在近几年就已经提出了，与以往不同的是本方法通过UV空间来存储3D人脸模型的3维点坐标，亦可以简单地理解：UV位置图是使用3D人脸的x,y,z坐标替换了UV纹理图中的r,g,b值，即UV位置图的像素点的RGB像素值存储的是3D人脸对应三维点的三维坐标值。
通过本发明的UV位置图的设计可以在不影响重建精度和速度的前提下在2D图像和3D模型间无缝过渡。形象化地，如图2所示，左侧为输入2D人脸图像，中间为对应的UV位置图。
明确了UV位置图的概念之后，接下来介绍使用UV位置图的好处：
3D人脸重建目标是与输入的2D图像建立稠密的对应关系来回归3D面部几何表示，因此需要一种可以通过神经网络直接预测的合适的3D面部表示。现有技术中简单且普遍的用法是用一维向量来表示，即将3D点信息用一个向量来表示，然后用网络预测；然而，这种方法丢失了空间信息。此外，也会很自然地想到通过神经网络的全连接层预测对应点的坐标输出，但FC层大大增加了网络的大小，并且很难训练。当然，有人通过将神经网络全连接层最大输出点的数量设置为1024来实现直接对点的预测，但1024个点对应精准的3D建模远远不够。相关研究中也有预测3DMM等模型的系数，然后同坐模型建模来得到3D点云，但这些方法太过依赖3DMM模型，并且流程复杂。
具体到背景技术中举例的基于3DMM参数的估计方法和基于体素的估计方法：3DMM依赖数据库的数据量和人脸关键点检测器，并且生成的3D几何空间受限。基于体素的估计方法丢弃了3D点的语义信息，限制了重建的分辨率，需要复杂的深层网络来对其进行回归，严重耗时。
为了解决上述工作中的问题，本方法提出了UV位置图作为整个3D面部结构的表示。使用神经网络提取2D人脸图像的特征并将该特征转换为UV位置图，以端到端的形式训练和推导输入2D人脸图像到UV位置图的映射，在2D图像与3D模型之间建立端到端的对应关系，为接下来的3D人脸转换建立中间表示，避免了3DMM方法中重建和归一化性能受数据表征范围的限制，不受低维的解空间限制。
并且本发明使用UV位置图进行3D重建，这样能够直接地回归3D面部结构和稠密关键点，该UV位置图记录了3D人脸的位置信息并且在UV空间中为每个点提供了稠密的语义对应，解决了基于体素的估计方法丢弃了3D点的语义信息的缺陷，重建的分辨率好。
并且，本发明使用轻量卷积神经网络框架，经网络的若干卷积操作和转置卷积操作得到UV位置图，解决了基于体素的估计方法需要复杂的深层网络来进行回归，严重耗时的缺陷。
步骤S300：根据UV位置图提供的3D几何信息以及2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。
UV位置图自身能够表示3D几何信息但缺少纹理表示，为此需要为生成的UV位置图赋予纹理信息才能被3D视觉任务应用。本发明使用UV位置图和2D图像共同作为输入实现3D人脸变换，UV位置图提供3D几何信息，2D人脸图像提供纹理信息，将UV位置图与2D人脸图像进行一一对应，将UV位置图与2D人脸图像做位置映射生成UV空间中的3D人脸UV参数化表示，得到3D人脸。
本发明提出UV位置图作为二维图像到3D人脸之间转换的桥梁，通过轻量CNN对输入人脸图像进行UV位置图估计，进而映射生成3D人脸模型：首先使用轻量神经网络提取人脸图像的特征并将该特征转换为UV位置图，以端到端的形式训练和推导2D人脸图像到UV位置图的映射，在2D图像与3D模型之间建立端到端的对应关系。然后将神经网络输出的UV位置图与输入2D人脸图像做位置映射生成UV空间中的3D人脸表示。
本发明有以下优点：
准确性、鲁棒性好：本发明不受低维的解空间限制，避免了3DMM方法中重建和归一化性能受数据表征范围的限制的问题。
分辨率高：本发明的UV位置图记录了3D人脸的位置信息并且在UV空间中为每个点提供了稠密的语义对应，解决了基于体素的估计方法丢弃了3D点的语义信息的缺陷。
速度快：本发明使用轻量卷积神经网络框架，解决了基于体素的估计方法需要复杂的深层网络来进行回归，严重耗时的缺陷。
作为本发明实施例的一种改进，所述的轻量卷积神经网络优选为以下结构：
该轻量卷积神经网络包括编码模块和解码模块；
其中，本发明在将2D人脸图像输入到轻量卷积神经网络之前，先通过关键点将2D人脸图像对齐到256×256大小作为轻量卷积神经网络的输入。
编码模块包括1个卷积层和10个残差块(residual blocks)，每个残差块由3层不同数量的卷积构成，编码模块将256×256×3的输入2D图像变换输出为8×8×512的特征图。
解码模块包括17个堆叠的转置卷积层，通过转置卷积后生成256×256×3的UV位置图。
以上所有卷积和转置卷积的卷积核均为4×4，且使用ReLU激活。
本发明的轻量卷积神经网络速度快，在NVIDIA TITANX下速度可达60FPS。
为了使网络更加有判别性地学习重建的人脸区域，本发明提出了新的损失函数，该损失函数是基于区域加权的MSE，是对MSE的改进。
MSE(Mean square error,均方误差)对所有像素点的学习是均等的，而人脸的中间区域要比其他区域具有更有判别性的特征，因此，本发明提出使用权重mask来改进MSE。
改进后，本发明的轻量卷积神经网络在训练时的损失函数Loss为：
P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，
为在ground thruth UV位置图中(x,y)坐标处的像素点的RGB像素值；
Ground Truth在机器学习里面理解为真值、真实的有效值或者是标准的答案。在机器学习中，“ground truth”一词指的是训练集对监督学习技术的分类的准确性。
具体到本发明中，轻量卷积神经网络在训练时有多个2D人脸图像样本进行训练，每个2D人脸图像样本均标记有其对应的UV位置图，该UV位置图即为ground thruth UV位置图
可以认为是该2D人脸图像样本的真实的UV位置图，是真实值。而预测的UV位置图P(x,y)是在训练过程中通过轻量CNN估计出的UV位置图，是预测值。
理解为真实值和预测值之间的差值，即为预测误差(训练损失)。
本发明提出了加权损失函数，提升了模型判别性能，将注意力机制应用到网络训练中。使用面部权重mask对2D人脸图像中各个子区域分配不同的权重，更有针对性的进行学习。
例如：如图2，最右图为面部权重mask，根据判别性大小将图片分为以下4个子区域：第一子区域(68个关键点)，第二子区域(眼睛、鼻子、嘴巴)，第三子区域(其他人脸区域)，第四子区域(脖子)，且第一子区域至第四子区域的权重比例为16：4：3：0。
作为本发明实施例的另一种改进，步骤S300包括：
步骤S310：从UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标。
本发明通过重映射的方式对UV位置图的3D几何进行渲染，由于UV位置图中的RGB像素值表示3D人脸的xyz空间坐标，那么即可从UV位置图中提取空间坐标中的二维平面坐标(x,y)。
步骤S320：将提取的各个三维点的二维平面坐标映射到2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；
其中，若映射后的2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。
本步骤中将提取出的(x,y)坐标映射到2D人脸图像的像素坐标系中，那么对应2D人脸图像中相应位置的纹理信息即可表示3D人脸对应空间点中的纹理，可公式化为如下公式：
g(x,y)＝f(h(x,y))
其中g(x,y)表示3D人脸的纹理信息，f(x,y)是2D人脸图像的纹理信息，h(x,y)是作用于(x,y)的映射方法函数。在纹理映射过程中，因为输入2D人脸图像与3D人脸的平面像素坐标不是一一对应的，导致映射后的2D人脸图像的像素坐标系中的有些相应位置是非整数坐标，因此有必要在输入2D人脸图像上获得一些插值为非整数的像素坐标及其纹理信息。
实施例2：
本发明实施例提供了与实施例1的3D重建方法对应的一种3D重建装置，如图3所示，该装置包括：
获取模块10，用于获取2D人脸图像。
UV位置图生成模块20，用于将2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值。
3D人脸转换模块30，用于根据UV位置图提供的3D几何信息以及2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。
本发明提出UV位置图作为二维图像到3D人脸之间转换的桥梁，通过轻量CNN对输入人脸图像进行UV位置图估计，进而映射生成3D人脸模型：首先使用轻量神经网络提取人脸图像的特征并将该特征转换为UV位置图，以端到端的形式训练和推导2D人脸图像到UV位置图的映射，在2D图像与3D模型之间建立端到端的对应关系。然后将神经网络输出的UV位置图与输入2D人脸图像做位置映射生成UV空间中的3D人脸表示。
本发明有以下优点：
准确性、鲁棒性好：本发明不受低维的解空间限制，避免了3DMM方法中重建和归一化性能受数据表征范围的限制的问题。
分辨率高：本发明的UV位置图记录了3D人脸的位置信息并且在UV空间中为每个点提供了稠密的语义对应，解决了基于体素的估计方法丢弃了3D点的语义信息的缺陷。
速度快：本发明使用轻量卷积神经网络框架，解决了基于体素的估计方法需要复杂的深层网络来进行回归，严重耗时的缺陷。
作为本发明实施例的一种改进，所述的轻量卷积神经网络优选为以下结构：
轻量卷积神经网络包括编码模块和解码模块，编码模块包括1个卷积层和10个残差块，解码模块包括17个转置卷积层。
其中，轻量卷积神经网络在训练时的损失函数Loss为：
P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，
为在ground thruth UV位置图中(x,y)坐标处的像素点的RGB像素值；
W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。
作为本发明实施例的另一种改进，3D人脸转换模块包括：
提取单元，用于从UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标。
映射单元，用于将提取的各个三维点的二维平面坐标映射到2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸。
其中，若映射后的2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
实施例3：
本说明书提供的上述实施例所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供与实施例1的3D重建方法对应的一种用于3D重建的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的3D重建方法的步骤。
本发明提出UV位置图作为二维图像到3D人脸之间转换的桥梁，通过轻量CNN对输入人脸图像进行UV位置图估计，进而映射生成3D人脸模型：首先使用轻量神经网络提取人脸图像的特征并将该特征转换为UV位置图，以端到端的形式训练和推导2D人脸图像到UV位置图的映射，在2D图像与3D模型之间建立端到端的对应关系。然后将神经网络输出的UV位置图与输入2D人脸图像做位置映射生成UV空间中的3D人脸表示。
本发明有以下优点：
准确性、鲁棒性好：本发明不受低维的解空间限制，避免了3DMM方法中重建和归一化性能受数据表征范围的限制的问题。
分辨率高：本发明的UV位置图记录了3D人脸的位置信息并且在UV空间中为每个点提供了稠密的语义对应，解决了基于体素的估计方法丢弃了3D点的语义信息的缺陷。
速度快：本发明使用轻量卷积神经网络框架，解决了基于体素的估计方法需要复杂的深层网络来进行回归，严重耗时的缺陷。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
实施例4：
本发明还提供一种用于3D重建的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于3D重建的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述实施例1中所述3D重建方法的步骤。
本发明提出UV位置图作为二维图像到3D人脸之间转换的桥梁，通过轻量CNN对输入人脸图像进行UV位置图估计，进而映射生成3D人脸模型：首先使用轻量神经网络提取人脸图像的特征并将该特征转换为UV位置图，以端到端的形式训练和推导2D人脸图像到UV位置图的映射，在2D图像与3D模型之间建立端到端的对应关系。然后将神经网络输出的UV位置图与输入2D人脸图像做位置映射生成UV空间中的3D人脸表示。
本发明有以下优点：
准确性、鲁棒性好：本发明不受低维的解空间限制，避免了3DMM方法中重建和归一化性能受数据表征范围的限制的问题。
分辨率高：本发明的UV位置图记录了3D人脸的位置信息并且在UV空间中为每个点提供了稠密的语义对应，解决了基于体素的估计方法丢弃了3D点的语义信息的缺陷。
速度快：本发明使用轻量卷积神经网络框架，解决了基于体素的估计方法需要复杂的深层网络来进行回归，严重耗时的缺陷。
上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
实施例5：
本发明实施提供了一种基于3D重建的人脸姿态归一化方法，如图4所示，该方法包括：
步骤S100’：使用前述实施例1所述的3D重建方法对2D人脸图像进行3D重建，得到3D人脸。
本步骤相当于前述的实施例1的步骤S100～S300，其具体实现方法和有益效果参见实施例1所述，本实施例不再赘述。
步骤S200’：对3D人脸进行姿态归一化。
3D人脸姿态归一化可以准确地在三维空间中进行对人脸姿态进行转正。
步骤S300’：将姿态归一化后的3D人脸投影到二维平面上，得到姿态归一化后的2D人脸图像。
3D人脸投影的目的是将姿态归一化后的3D人脸投影到二维平面上，进而获得二维平面上的归一化人脸。
本发明提出的一种基于3D重建的人脸姿态归一化方法，可以有效地解决大角度人脸姿态下的人脸识别精度低的问题：本发明在实施例1的3D人脸重建的基础上，进一步地将3D人脸在三维空间中进行姿态归一化；最后，通过投影的方式将归一化后的3D人脸投影到二维图像平面上，从而完成不同角度人脸在二维图像上的姿态归一化。本发明在人脸姿态变化较大的情况下依然可以对人脸进行准确地归一化，并有效地解决大姿态人脸条件下人脸识别准确率下降问题，可以准确的处理大姿态下的人脸。经试验测试，本发明在人脸识别测试集上识别准确率达到99.91％。
作为本发明的一种改进，步骤S200’包括：
步骤S210’：预定义一个标准3D姿态人脸，标准3D姿态人脸与3D人脸具有相同的顶点数目。
步骤S220’：通过最小二乘法进行参数拟合，得到仿射矩阵；
步骤S230’：通过仿射矩阵将3D人脸进行规范化，完成3D人脸的姿态归一化。
在3D人脸姿态归一化的过程中，通过最小二乘法求解标准3D姿态人脸与待归一化3D人脸间的仿射矩阵，该仿射矩阵即为3D人脸的姿态转换矩阵。具体地，首先预定义一个标准3D姿态人脸，该标准3D姿态人脸与待归一化3D人脸有相同的顶点数目，并将预定义的标准3D姿态人脸的所有顶点按照一定顺序存储为3×N大小的矩阵。同样地，待归一化的3D人脸也按照该规则存储为3×N的矩阵，然后通过最小二乘法进行参数拟合。最终拟合出3×3的仿射矩阵，通过该仿射矩阵即可将待姿态归一化的3D人脸进行规范化，完成3D人脸的姿态归一化。本发明提出的基于3D点云数据的人脸姿态归一化方法可以准确地对人脸姿态进行归一化转正。
步骤S300进一步为：使用正交投影的方法将姿态归一化后的3D人脸投影到二维平面上。
3D人脸投影的目的是将姿态归一化后的3D人脸投影到二维平面上，进而获得二维平面上的归一化人脸。在投影模型的选取上，基于3DMM类型方法基本使用弱透视投影，不同的是本发明使用正交投影。由于在前阶段的位置图回归过程中已经将位置图所表示的3D坐标在二维空间中的平行投影约束到输入图像的二维坐标系上，那么无需使用复杂的弱透视投影即可准确地通过正交投影方式映射到对应的二维图像平面上。
本发明实施例所提供的基于3D重建的人脸姿态归一化方法，其中的3D重建方法是实施例1中所述的方法，其实现原理及产生的技术效果和前述实施例1相同，为简要描述，本实施例部分未提及之处，可参考前述实施例1中相应内容。
实施例6：
本发明实施例提供了与实施例5的基于3D重建的人脸姿态归一化方法对应的一种基于3D重建的人脸姿态归一化装置，如图5所示，该装置包括：
3D重建模块10’，用于使用前述实施例2所述的3D重建装置对2D人脸图像进行3D重建，得到3D人脸。
3D人脸归一化模块20’，用于对3D人脸进行姿态归一化。
投影模块30’，用于将姿态归一化后的3D人脸投影到二维平面上，得到姿态归一化后的2D人脸图像。
本发明提出的一种基于3D重建的人脸姿态归一化装置，可以有效地解决大角度人脸姿态下的人脸识别精度低的问题：本发明在实施例2的3D人脸重建的基础上，进一步地将3D人脸在三维空间中进行姿态归一化；最后，通过投影的方式将归一化后的3D人脸投影到二维图像平面上，从而完成不同角度人脸在二维图像上的姿态归一化。本发明在人脸姿态变化较大的情况下依然可以对人脸进行准确地归一化，并有效地解决大姿态人脸条件下人脸识别准确率下降问题，可以准确的处理大姿态下的人脸。经试验测试，本发明在人脸识别测试集上识别准确率达到99.91％。
作为本发明的一种改进，3D人脸归一化模块包括：
预定义单元，用于预定义一个标准3D姿态人脸，标准3D姿态人脸与3D人脸具有相同的顶点数目。
参数拟合单元，用于通过最小二乘法进行参数拟合，得到仿射矩阵。
规范化单元，用于通过仿射矩阵将3D人脸进行规范化，完成3D人脸的姿态归一化。
投影模块进一步用于：
使用正交投影的方法将姿态归一化后的3D人脸投影到二维平面上。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
实施例7：
本说明书提供的上述实施例所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例5所描述方案的效果。因此，本发明还提供与实施例5的基于3D重建的人脸姿态归一化方法对应的一种用于人脸姿态归一化的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例5的基于3D重建的人脸姿态归一化方法的步骤。
本发明可以有效地解决大角度人脸姿态下的人脸识别精度低的问题：本发明在实施例1的3D人脸重建的基础上，进一步地将3D人脸在三维空间中进行姿态归一化；最后，通过投影的方式将归一化后的3D人脸投影到二维图像平面上，从而完成不同角度人脸在二维图像上的姿态归一化。本发明在人脸姿态变化较大的情况下依然可以对人脸进行准确地归一化，并有效地解决大姿态人脸条件下人脸识别准确率下降问题，可以准确的处理大姿态下的人脸。经试验测试，本发明在人脸识别测试集上识别准确率达到99.91％。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
实施例8：
本发明还提供一种用于人脸姿态归一化的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于人脸姿态归一化的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述实施例5中所述基于3D重建的人脸姿态归一化方法的步骤。
本发明可以有效地解决大角度人脸姿态下的人脸识别精度低的问题：本发明在实施例1的3D人脸重建的基础上，进一步地将3D人脸在三维空间中进行姿态归一化；最后，通过投影的方式将归一化后的3D人脸投影到二维图像平面上，从而完成不同角度人脸在二维图像上的姿态归一化。本发明在人脸姿态变化较大的情况下依然可以对人脸进行准确地归一化，并有效地解决大姿态人脸条件下人脸识别准确率下降问题，可以准确的处理大姿态下的人脸。经试验测试，本发明在人脸识别测试集上识别准确率达到99.91％。
上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种3D重建方法，其特征在于，所述方法包括：
获取2D人脸图像；
将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；
根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。
2.根据权利要求1所述的3D重建方法，其特征在于，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。
3.根据权利要求2所述的3D重建方法，其特征在于，所述轻量卷积神经网络在训练时的损失函数Loss为：
P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，
为在groundthruth UV位置图中(x,y)坐标处的像素点的RGB像素值；
W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。
4.根据权利要求1-3任一所述的3D重建方法，其特征在于，所述根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸，包括：
从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；
将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；
其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。
5.一种3D重建装置，其特征在于，所述装置包括：
获取模块，用于获取2D人脸图像；
UV位置图生成模块，用于将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；
3D人脸转换模块，用于根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。
6.根据权利要求5所述的3D重建装置，其特征在于，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。
7.根据权利要求6所述的3D重建装置，其特征在于，所述轻量卷积神经网络在训练时的损失函数Loss为：
P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，
为在groundthruth UV位置图中(x,y)坐标处的像素点的RGB像素值；
W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。
8.根据权利要求5-7任一所述的3D重建装置，其特征在于，所述3D人脸转换模块包括：
提取单元，用于从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；
映射单元，用于将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；
其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。
9.一种用于3D重建的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-4任一所述3D重建方法的步骤。
10.一种用于3D重建的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-4中任意一项所述3D重建方法的步骤。
11.一种基于3D重建的人脸姿态归一化方法，其特征在于，所述方法包括：
使用权利要求1-4任一所述的3D重建方法对2D人脸图像进行3D重建，得到3D人脸；
对所述3D人脸进行姿态归一化；
将姿态归一化后的3D人脸投影到二维平面上，得到姿态归一化后的2D人脸图像。
12.根据权利要求11所述的基于3D重建的人脸姿态归一化方法，其特征在于，所述对所述3D人脸进行姿态归一化包括：
预定义一个标准3D姿态人脸，所述标准3D姿态人脸与所述3D人脸具有相同的顶点数目；
通过最小二乘法进行参数拟合，得到仿射矩阵；
通过所述仿射矩阵将所述3D人脸进行规范化，完成3D人脸的姿态归一化；
所述将姿态归一化后的3D人脸投影到二维平面上，包括：
使用正交投影的方法将姿态归一化后的3D人脸投影到二维平面上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551628.3A CN112132739B (zh) | 2019-06-24 | 2019-06-24 | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551628.3A CN112132739B (zh) | 2019-06-24 | 2019-06-24 | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132739A true CN112132739A (zh) | 2020-12-25 |
| CN112132739B CN112132739B (zh) | 2023-07-18 |
Family
ID=73849895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910551628.3A Active CN112132739B (zh) | 2019-06-24 | 2019-06-24 | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132739B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734910A (zh) * | 2021-01-05 | 2021-04-30 | 厦门美图之家科技有限公司 | 基于rgb单图实时人脸三维图像重建方法、装置及电子设备 |
| CN112883494A (zh) * | 2021-03-17 | 2021-06-01 | 清华大学 | 自行车三维模型重建方法和装置 |
| CN113129362A (zh) * | 2021-04-23 | 2021-07-16 | 北京地平线机器人技术研发有限公司 | 一种三维坐标数据的获取方法及装置 |
| CN113327278A (zh) * | 2021-06-17 | 2021-08-31 | 北京百度网讯科技有限公司 | 三维人脸重建方法、装置、设备以及存储介质 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN114119923A (zh) * | 2021-11-29 | 2022-03-01 | 浙江大学 | 三维人脸重建方法、装置以及电子设备 |
| CN113129362B (zh) * | 2021-04-23 | 2024-05-10 | 北京地平线机器人技术研发有限公司 | 一种三维坐标数据的获取方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171765A1 (en) * | 2014-12-10 | 2016-06-16 | Dassault Systemes | Texturing a 3d modeled object |
| CN108805977A (zh) * | 2018-06-06 | 2018-11-13 | 浙江大学 | 一种基于端到端卷积神经网络的人脸三维重建方法 |
| CN108921926A (zh) * | 2018-07-02 | 2018-11-30 | 广州云从信息科技有限公司 | 一种基于单张图像的端到端三维人脸重建方法 |
| CN109299643A (zh) * | 2018-07-17 | 2019-02-01 | 深圳职业技术学院 | 一种基于大姿态对准的人脸识别方法及系统 |
-
2019
- 2019-06-24 CN CN201910551628.3A patent/CN112132739B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171765A1 (en) * | 2014-12-10 | 2016-06-16 | Dassault Systemes | Texturing a 3d modeled object |
| CN108805977A (zh) * | 2018-06-06 | 2018-11-13 | 浙江大学 | 一种基于端到端卷积神经网络的人脸三维重建方法 |
| CN108921926A (zh) * | 2018-07-02 | 2018-11-30 | 广州云从信息科技有限公司 | 一种基于单张图像的端到端三维人脸重建方法 |
| CN109299643A (zh) * | 2018-07-17 | 2019-02-01 | 深圳职业技术学院 | 一种基于大姿态对准的人脸识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 高聪 等: "三维肝脏模型个性化UV映射方法研究", 《微型机与应用》, vol. 36, no. 16, pages 19 - 22 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734910A (zh) * | 2021-01-05 | 2021-04-30 | 厦门美图之家科技有限公司 | 基于rgb单图实时人脸三维图像重建方法、装置及电子设备 |
| CN112883494A (zh) * | 2021-03-17 | 2021-06-01 | 清华大学 | 自行车三维模型重建方法和装置 |
| CN112883494B (zh) * | 2021-03-17 | 2022-07-19 | 清华大学 | 自行车三维模型重建方法和装置 |
| CN113129362A (zh) * | 2021-04-23 | 2021-07-16 | 北京地平线机器人技术研发有限公司 | 一种三维坐标数据的获取方法及装置 |
| CN113129362B (zh) * | 2021-04-23 | 2024-05-10 | 北京地平线机器人技术研发有限公司 | 一种三维坐标数据的获取方法及装置 |
| CN113327278A (zh) * | 2021-06-17 | 2021-08-31 | 北京百度网讯科技有限公司 | 三维人脸重建方法、装置、设备以及存储介质 |
| CN113327278B (zh) * | 2021-06-17 | 2024-01-09 | 北京百度网讯科技有限公司 | 三维人脸重建方法、装置、设备以及存储介质 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN113628322B (zh) * | 2021-07-26 | 2023-12-05 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN114119923A (zh) * | 2021-11-29 | 2022-03-01 | 浙江大学 | 三维人脸重建方法、装置以及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132739B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Han et al. | Image-based 3D object reconstruction: State-of-the-art and trends in the deep learning era | |
| CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
| CN112132739B (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
| CN110728219B (zh) | 基于多列多尺度图卷积神经网络的3d人脸生成方法 | |
| CN112215050A (zh) | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 | |
| CN111598111B (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| CN113496507A (zh) | 一种人体三维模型重建方法 | |
| CN113762147B (zh) | 人脸表情迁移方法、装置、电子设备及存储介质 | |
| Tu et al. | Consistent 3d hand reconstruction in video via self-supervised learning | |
| Yu et al. | Part-wise AtlasNet for 3D point cloud reconstruction from a single image | |
| Ahmad et al. | 3D capsule networks for object classification from 3D model data | |
| Kang et al. | Competitive learning of facial fitting and synthesis using uv energy | |
| CN114127785A (zh) | 点云补全方法、网络训练方法、装置、设备及存储介质 | |
| Yang et al. | Multiscale mesh deformation component analysis with attention-based autoencoders | |
| CN110717978B (zh) | 基于单张图像的三维头部重建方法 | |
| Rios et al. | Scalability of learning tasks on 3D CAE models using point cloud autoencoders | |
| Pesavento et al. | Super-resolution 3d human shape from a single low-resolution image | |
| Ren et al. | End-to-end weakly-supervised single-stage multiple 3D hand mesh reconstruction from a single RGB image | |
| Zhang et al. | Self-supervised pretraining for large-scale point clouds | |
| CN110197226B (zh) | 一种无监督图像翻译方法及系统 | |
| Saint et al. | 3dbooster: 3d body shape and texture recovery | |
| CN116385667A (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| Correia et al. | 3D reconstruction of human bodies from single-view and multi-view images: A systematic review | |
| CN116758212A (zh) | 基于自适应去噪算法的3d重建方法、装置、设备及介质 | |
| CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |