CN113902849A - 三维人脸模型重建方法、装置、电子设备及存储介质 - Google Patents

三维人脸模型重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113902849A
CN113902849A CN202111210742.3A CN202111210742A CN113902849A CN 113902849 A CN113902849 A CN 113902849A CN 202111210742 A CN202111210742 A CN 202111210742A CN 113902849 A CN113902849 A CN 113902849A
Authority
CN
China
Prior art keywords
target
face
point cloud
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111210742.3A
Other languages
English (en)
Inventor
刘炫鹏
王鑫宇
刘致远
刘云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202111210742.3A priority Critical patent/CN113902849A/zh
Publication of CN113902849A publication Critical patent/CN113902849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明实施例提供了一种三维人脸模型重建方法、装置、电子设备及存储介质，所述方法包括：获取n个视角方向下目标人脸的图像对，其中，图像对包括彩色图像和深度图像；针对任一视角方向下目标人脸的图像对，根据图像对中的彩色图像和深度图像，确定与深度图像对齐的目标彩色图像；将目标彩色图像输入至预先训练好的识别模型，以使识别模型输出与目标彩色图像对应的人脸面部掩码矩阵；利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像，将目标深度图像转换为视角方向下目标人脸的人脸点云；根据n个视角方向下目标人脸的人脸点云，确定目标人脸点云，并对目标人脸点云进行曲面重建，得到三维人脸模型。

Description

三维人脸模型重建方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及人工智能的计算机视觉技术领域，尤其涉及一种三维人脸模型重建方法、装置、电子设备及存储介质。
背景技术
当下基于真人人脸进行三维人脸模型重建，在人脸识别系统、医学、电影广告、计算机动画、游戏、视频会议及可视电话、人机交互等许多领域都具有广阔的应用场景，特别是在人脸识别方面。
目前，进行三维人脸模型重建的方式主要有两种方式：方式1，搭建单目相机阵列，利用视差原理来实现三维人脸模型重建；方式2，借助激光扫描设备，利用激光测距原理来实现三维人脸模型重建。
由于在三维人脸模型重建过程中，通过单目相机阵列或者激光扫描设备均可以得到原始点云，依据人工的方式编辑原始点云，以去除多余点得到人脸点云，如此费时费力。
发明内容
为了解决上述依据人工的方式编辑原始点云，以去除多余点得到人脸点云，如此费时费力的技术问题，本发明实施例提供了一种三维人脸模型重建方法、装置、电子设备及存储介质。
在本发明实施例的第一方面，首先提供了一种三维人脸模型重建方法，所述方法包括：
获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像；
针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；
将所述目标彩色图像输入至预先训练好的识别模型，以使所述识别模型输出与所述目标彩色图像对应的人脸面部掩码矩阵；
利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云；
根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云，并对所述目标人脸点云进行曲面重建，得到三维人脸模型。
在一个可选的实施方式中，所述获取n个视角方向下目标人脸的图像对，包括：
以目标人脸为中轴，在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转；以及
在每次控制所述图像采集设备旋转所述预设的旋转角度之后，调用所述图像采集设备采集目标人脸的图像对；
或者，
以目标人脸为中轴，在预设角度范围内n个视角方向上分别设置图像采集设备；
同步调用n个视角方向上的所述图像采集设备，获取n个视角方向下目标人脸的图像对。
在一个可选的实施方式中，所述根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像，包括：
针对所述图像对中所述深度图像的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；
将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对中所述彩色图像的彩色像素点；
从所述彩色图像的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；
获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；
利用所述深度图像的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像对齐的目标彩色图像。
在一个可选的实施方式中，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：
将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；
其中，所述第一齐次转换公式包括：
Figure BDA0003308844410000031
Figure BDA0003308844410000032
所述Kd包括图像采集设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
在一个可选的实施方式中，所述将所述三维坐标转换为所述深度像素点的目标像素坐标，包括：
将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；
其中，所述第二齐次转换公式包括：
Figure BDA0003308844410000033
Figure BDA0003308844410000034
所述Kc包括图像采集设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
在一个可选的实施方式中，所述利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，包括：
以矩阵形式读取所述深度图像，以获取所述深度图像对应的深度矩阵；
对所述深度矩阵以及所述人脸面部掩码矩阵进行处理，得到目标深度图像。
在一个可选的实施方式中，所述对所述深度矩阵以及所述人脸面部掩码矩阵进行处理，得到目标深度图像，包括：
将所述深度矩阵以及所述人脸面部掩码矩阵输入至预设矩阵运算公式，获取所述预设矩阵运算公式输出的目标深度矩阵；
确定所述目标深度矩阵对应的图像为目标深度图像，其中，所述目标深度图像中非人脸面部区域的像素点的景深值归零；
其中，所述预设矩阵运算公式包括：
MDepth′＝Mface*MDepth；
所述MDepth′包括所述目标深度矩阵，所述Mface包括人脸面部掩码矩阵，所述MDepth包括所述深度矩阵。
在一个可选的实施方式中，所述将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云，包括：
确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；
将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成所述景深值非零的像素点对应的世界坐标系下的三维坐标；
确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；
由各所述景深值非零的像素点各自对应的所述三维点，组成所述视角方向下目标人脸的人脸点云。
在一个可选的实施方式中，所述根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云，包括：
确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心，根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云；
从n个所述视角方向下目标人脸的中间人脸点云中，选取姿态参考点云，所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云；
利用所述姿态参考点云，对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个所述视角方向下目标人脸的转换点云；
利用预设人脸基准点云，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
在一个可选的实施方式中，所述确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心，包括：
针对任一所述视角方向下目标人脸的所述人脸点云，获取所述人脸点云中所有点的空间坐标的平均值，确定所述平均值为所述人脸点云的质心。
在一个可选的实施方式中，所述根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云，包括：
针对任一所述视角方向下目标人脸的所述人脸点云，将所述人脸点云中每个点的空间坐标减去质心，得到所述视角方向下目标人脸的中间人脸点云。
在一个可选的实施方式中，所述利用所述姿态参考点云，对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个所述视角方向下目标人脸的转换点云，包括：
针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云，从所述剩余中间人脸点云中选取m个点；
利用预设的KD-tree算法，从所述姿态参考点云中查找m个点各自对应的最近邻点；
由m个点及m个点各自对应的所述最近邻点组成m对最近点对，由m对最近点对组成最近点对集合；
根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量；
利用所述目标旋转矩阵和所述目标偏移向量，对所述剩余中间人脸点云进行转换，得到所述视角方向下目标人脸的初始转换点云；
确定所述姿态参考点云与所述初始转换点云之间的转换误差，根据所述转换误差，确定所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中，所述根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量，包括：
将所述最近点对集合中的m对最近点对输入至预设矩阵构建公式，获取所述预设矩阵构建公式输出的构建矩阵；
对所述构建矩阵进行SVD分解，获取第一特征值和第二特征值，将所述第一特征值和所述第二特征值输入至预设旋转矩阵运算公式，获取所述预设旋转矩阵运算公式输出的目标旋转矩阵；
将所述目标旋转矩阵、所述姿态参考点云的质心及所述剩余中间人脸点云的质心输入至预设偏移向量运算公式，获取所述预设偏移向量运算公式输出的目标偏移向量。
在一个可选的实施方式中，所述预设矩阵构建公式包括：
Figure BDA0003308844410000061
所述W包括所述构建矩阵，所述NH包括所述最近点对集合中最近点对的数量，所述qi和所述pi包括所述最近点对集合中最近点对；
所述预设旋转矩阵运算公式包括：
R＝UVT；
所述R包括所述目标旋转矩阵，所述U包括所述第一特征值，所述VT包括所述第二特征值；
所述预设偏移向量运算公式包括：
t＝μp-Rμq；
所述t包括所述目标偏移向量，所述μp包括所述姿态参考点云的质心，所述R包括所述目标旋转矩阵，所述μq包括所述剩余中间人脸点云的质心。
在一个可选的实施方式中，所述利用所述目标旋转矩阵和所述目标偏移向量，对所述剩余中间人脸点云进行转换，得到所述视角方向下目标人脸的初始转换点云，包括：
将所述目标旋转矩阵、所述目标偏移向量及所述剩余中间人脸点云输入至点云转换公式；
获取所述点云转换公式输出的所述视角方向下目标人脸的初始转换点云，其中，所述点云转换公式包括：
Q′＝{Rq+t|q∈Q}；
所述Q′包括所述初始转换点云，所述Q包括所述剩余中间人脸点云，所述t包括所述目标偏移向量，所述R包括所述目标旋转矩阵。
在一个可选的实施方式中，所述确定所述姿态参考点云与所述初始转换点云之间的转换误差，包括：
将所述姿态参考点云与所述初始转换点云输入至预设姿态差异运算公式；
获取所述预设姿态差异运算公式输出的所述姿态参考点云与所述初始转换点云之间的姿态差异，确定所述姿态差异为转换误差；
其中，所述预设姿态差异运算公式包括：
Figure BDA0003308844410000071
所述Q′包括所述初始转换点云，所述P包括所述姿态参考点云。
在一个可选的实施方式中，所述根据所述转换误差，确定所述视角方向下目标人脸的转换点云，包括：
若所述转换误差小于预设第一阈值，确定所述初始转换点云为所述视角方向下目标人脸的转换点云；
若所述转换误差未小于所述预设第一阈值，跳转至所述从所述剩余中间人脸点云中选取m个点的步骤，直至迭代次数达到预设次数，输出所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中，所述利用预设人脸基准点云，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云，包括：
将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并，得到完整人脸点云；
从所述完整人脸点云中选取多个点组成验证点云，确定所述验证点云与预设人脸基准点云之间的形状差异；
根据所述形状差异，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
在一个可选的实施方式中，所述确定所述验证点云与预设人脸基准点云之间的形状差异，包括：
获取所述验证点云与预设人脸基准点云之间的倒角距离，确定所述倒角距离为所述验证点云与预设人脸基准点云之间的形状差异。
在一个可选的实施方式中，所述根据所述形状差异，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云，包括：
若所述形状差异小于预设第二阈值，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云；
若所述形状差异未小于所述预设第二阈值，跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在一个可选的实施方式中，所述对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云，包括：
若接收到用户的形状确认指令，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云；
若接收到用户的形状错误指令，调整所述预设第二阈值，跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在本发明实施例的第二方面，提供了一种三维人脸模型重建装置，所述装置包括：
图像对获取模块，用于获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像；
图像确定模块，用于针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；
矩阵获取模块，用于将所述目标彩色图像输入至预先训练好的识别模型，以使所述识别模型输出与所述目标彩色图像对应的人脸面部掩码矩阵；
图像处理模块，用于利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像；
点云获取模块，用于将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云；
点云确定模块，用于根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云；
点云重建模块，用于对所述目标人脸点云进行曲面重建，得到三维人脸模型。
在一个可选的实施方式中，所述图像对获取模块具体用于：
以目标人脸为中轴，在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转；以及
在每次控制所述图像采集设备旋转所述预设的旋转角度之后，调用所述图像采集设备采集目标人脸的图像对；
或者，
以目标人脸为中轴，在预设角度范围内n个视角方向上分别设置图像采集设备；
同步调用n个视角方向上的所述图像采集设备，获取n个视角方向下目标人脸的图像对。
在一个可选的实施方式中，所述图像确定模块具体包括：
坐标、景深值转换子模块，用于针对所述图像对中所述深度图像的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；
坐标转换子模块，用于将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对中所述彩色图像的彩色像素点；
像素点确定子模块，用于从所述彩色图像的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；
颜色值赋予子模块，用于获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；
图像组成子模块，用于利用所述深度图像的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像对齐的目标彩色图像。
在一个可选的实施方式中，所述坐标、景深值转换子模块具体用于：
将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；
其中，所述第一齐次转换公式包括：
Figure BDA0003308844410000101
Figure BDA0003308844410000111
所述Kd包括图像采集设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
在一个可选的实施方式中，所述坐标转换子模块具体用于：
将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；
其中，所述第二齐次转换公式包括：
Figure BDA0003308844410000112
Figure BDA0003308844410000113
所述Kc包括图像采集设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
在一个可选的实施方式中，所述图像处理模块具体包括：
图像读取子模块，用于以矩阵形式读取所述深度图像，以获取所述深度图像对应的深度矩阵；
矩阵处理子模块，用于对所述深度矩阵以及所述人脸面部掩码矩阵进行处理，得到目标深度图像。
在一个可选的实施方式中，所述矩阵处理子模块具体用于：
将所述深度矩阵以及所述人脸面部掩码矩阵输入至预设矩阵运算公式，获取所述预设矩阵运算公式输出的目标深度矩阵；
确定所述目标深度矩阵对应的图像为目标深度图像，其中，所述目标深度图像中非人脸面部区域的像素点的景深值归零；
其中，所述预设矩阵运算公式包括：
MDepth′＝Mface*MDepth；
所述MDepth′包括所述目标深度矩阵，所述Mface包括人脸面部掩码矩阵，所述MDepth包括所述深度矩阵。
在一个可选的实施方式中，所述点云获取模块具体用于：
确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；
将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成所述景深值非零的像素点对应的世界坐标系下的三维坐标；
确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；
由各所述景深值非零的像素点各自对应的所述三维点，组成所述视角方向下目标人脸的人脸点云。
在一个可选的实施方式中，所述点云确定模块具体包括：
质心确定子模块，用于确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心；
点云确定子模块，用于根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云；
点云选取子模块，用于从n个所述视角方向下目标人脸的中间人脸点云中，选取姿态参考点云，所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云；
点云配准子模块，用于利用所述姿态参考点云，对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个所述视角方向下目标人脸的转换点云；
点云融合子模块，用于利用预设人脸基准点云，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
在一个可选的实施方式中，所述质心确定子模块具体用于：
针对任一所述视角方向下目标人脸的所述人脸点云，获取所述人脸点云中所有点的空间坐标的平均值，确定所述平均值为所述人脸点云的质心。
在一个可选的实施方式中，所述点云确定子模块具体用于：
针对任一所述视角方向下目标人脸的所述人脸点云，将所述人脸点云中每个点的空间坐标减去质心，得到所述视角方向下目标人脸的中间人脸点云。
在一个可选的实施方式中，所述点云配准子模块具体包括：
点选取单元，用于针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云，从所述剩余中间人脸点云中选取m个点；
点查找单元，用于利用预设的KD-tree算法，从所述姿态参考点云中查找m个点各自对应的最近邻点；
集合组成单元，用于由m个点及m个点各自对应的所述最近邻点组成m对最近点对，由m对最近点对组成最近点对集合；
矩阵、向量确定单元，用于根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量；
点云转换单元，用于利用所述目标旋转矩阵和所述目标偏移向量，对所述剩余中间人脸点云进行转换，得到所述视角方向下目标人脸的初始转换点云；
转换误差确定单元，用于确定所述姿态参考点云与所述初始转换点云之间的转换误差；
点云确定单元，用于根据所述转换误差，确定所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中，所述矩阵、向量确定单元具体用于：
将所述最近点对集合中的m对最近点对输入至预设矩阵构建公式，获取所述预设矩阵构建公式输出的构建矩阵；
对所述构建矩阵进行SVD分解，获取第一特征值和第二特征值，将所述第一特征值和所述第二特征值输入至预设旋转矩阵运算公式，获取所述预设旋转矩阵运算公式输出的目标旋转矩阵；
将所述目标旋转矩阵、所述姿态参考点云的质心及所述剩余中间人脸点云的质心输入至预设偏移向量运算公式，获取所述预设偏移向量运算公式输出的目标偏移向量。
在一个可选的实施方式中，所述预设矩阵构建公式包括：
Figure BDA0003308844410000141
所述W包括所述构建矩阵，所述NH包括所述最近点对集合中最近点对的数量，所述qi和所述pi包括所述最近点对集合中最近点对；
所述预设旋转矩阵运算公式包括：
R＝UVT；
所述R包括所述目标旋转矩阵，所述U包括所述第一特征值，所述VT包括所述第二特征值；
所述预设偏移向量运算公式包括：
t＝μp-Rμq；
所述t包括所述目标偏移向量，所述μp包括所述姿态参考点云的质心，所述R包括所述目标旋转矩阵，所述μq包括所述剩余中间人脸点云的质心。
在一个可选的实施方式中，所述点云转换单元具体用于：
将所述目标旋转矩阵、所述目标偏移向量及所述剩余中间人脸点云输入至点云转换公式；
获取所述点云转换公式输出的所述视角方向下目标人脸的初始转换点云，其中，所述点云转换公式包括：
Q′＝{Rq+t|q∈Q}；
所述Q′包括所述初始转换点云，所述Q包括所述剩余中间人脸点云，所述t包括所述目标偏移向量，所述R包括所述目标旋转矩阵。
在一个可选的实施方式中，所述转换误差确定单元具体用于：
将所述姿态参考点云与所述初始转换点云输入至预设姿态差异运算公式；
获取所述预设姿态差异运算公式输出的所述姿态参考点云与所述初始转换点云之间的姿态差异，确定所述姿态差异为转换误差；
其中，所述预设姿态差异运算公式包括：
Figure BDA0003308844410000151
所述Q′包括所述初始转换点云，所述P包括所述姿态参考点云。
在一个可选的实施方式中，所述点云确定单元具体用于：
若所述转换误差小于预设第一阈值，确定所述初始转换点云为所述视角方向下目标人脸的转换点云；
若所述转换误差未小于所述预设第一阈值，跳转至所述从所述剩余中间人脸点云中选取m个点的步骤，直至迭代次数达到预设次数，输出所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中，所述点云融合子模块具体包括：
点云合并单元，用于将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并，得到完整人脸点云；
点云组成单元，用于从所述完整人脸点云中选取多个点组成验证点云；
形状差异确定单元，用于确定所述验证点云与预设人脸基准点云之间的形状差异；
点云融合单元，用于根据所述形状差异，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
在一个可选的实施方式中，所述形状差异确定单元具体用于：
获取所述验证点云与预设人脸基准点云之间的倒角距离，确定所述倒角距离为所述验证点云与预设人脸基准点云之间的形状差异。
在一个可选的实施方式中，所述点云融合单元具体包括：
点云融合子单元，用于若所述形状差异小于预设第二阈值，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云；
跳转子单元，用于若所述形状差异未小于所述预设第二阈值，跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在一个可选的实施方式中，所述点云融合子单元具体用于：
若接收到用户的形状确认指令，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云；
若接收到用户的形状错误指令，调整所述预设第二阈值，跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在本发明实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面中所述的三维人脸模型重建方法。
在本发明实施例的第四方面，还提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面中所述的三维人脸模型重建方法。
在本发明实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中所述的三维人脸模型重建方法。
本发明实施例提供的技术方案，获取n个视角方向下目标人脸的图像对，其中，图像对包括彩色图像和深度图像，针对任一视角方向下目标人脸的图像对，根据图像对中的彩色图像和深度图像，确定与深度图像对齐的目标彩色图像，将目标彩色图像输入至预先训练好的识别模型，以使识别模型输出与目标彩色图像对应的人脸面部掩码矩阵，利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像，将目标深度图像转换为视角方向下目标人脸的人脸点云，根据n个视角方向下目标人脸的人脸点云，确定目标人脸点云，并对目标人脸点云进行曲面重建，得到三维人脸模型。如此相较于先获取原始点云，依据人工的方式编辑原始点云，以去除多余点得到人脸点云，通过将与深度图像对齐的彩色图像输入预设模型，输出人脸面部掩码，利用人脸面部掩码矩阵对深度图像进行处理得到目标深度图像，将目标深度图像转换为人脸点云，可以更便捷、更高效地得到人脸点云。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中示出的一种三维人脸模型重建方法的实施流程示意图；
图2为本发明实施例中示出的一种获取不同视角方向下模特人脸的图像对的示意图；
图3为本发明实施例中示出的另一种获取不同视角方向下模特人脸的图像对的示意图；
图4为本发明实施例中示出的一种人脸面部区域视觉表现示意图；
图5为本发明实施例中示出的一种曲面重建算法示意图；
图6为本发明实施例中示出的一种确定目标人脸点云方法的实施流程示意图；
图7为本发明实施例中示出的一种对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准的实施流程示意图；
图8为本发明实施例中示出的一种对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合的实施流程示意图；
图9为本发明实施例中示出的一种三维人脸模型重建装置的结构示意图；
图10为本发明实施例中示出的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，为本发明实施例提供的一种三维人脸模型重建方法的实施流程示意图，该方法可以应用于处理器，具体可以包括以下步骤：
S101，获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像。
在本发明实施例中，由于人脸是立体的，隆起的部分会产生遮挡，为了剔除遮挡的影响，需要从不同视角方向采集人脸，即n(n为正整数，且≥1)个视角方向采集人脸。
相应的建模对象是人脸，图像采集设备(例如消费级摄像头)须与拍摄对象处于同一水平面，相应的采集次数越多，即n越大，越有利于后续操作的精度。
基于此，在本发明实施例中，获取n个视角方向下目标人脸的图像对，其中，图像对包括彩色图像和深度图像，意味着每个视角方向下目标人脸的图像对均包括彩色图像和深度图像。
其中，在本发明实施例中，具体可以通过以下方式获取n个视角方向下目标人脸的图像对：以目标人脸为中轴，在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转，以及在每次控制图像采集设备旋转预设的旋转角度之后，调用图像采集设备采集目标人脸的图像对。如此通过调整图像采集设备的位姿(即图像采集设备在拍摄空间中的方位)，可以获取n个视角方向下目标人脸的图像对。
例如，以单个消费级摄像头为例，如图2所示，以模特人脸(即正脸)为中轴，在最大100°范围内控制消费级摄像头按照15°的旋转角度(沿着导轨)进行旋转，意味着每15°消费级摄像头旋转一次，以及在每次控制消费级摄像头按照15°的旋转角度(沿着导轨)进行旋转之后，调用消费级摄像头采集模特人脸的图像对。如此可以获取100/15＝8个视角方向下模特人脸的图像对。
其中，在本发明实施例中，具体还可以获取以下方式获取n个视角方向下目标人脸的图像对：以目标人脸为中轴，在预设角度范围内n个视角方向上分别设置图像采集设备；同步调用n个视角方向上的图像采集设备，获取n个视角方向下目标人脸的图像对。
例如，以3个消费级摄像头为例，如图3所示，以模特人脸(即正脸)为中轴，在最大100°范围内3个视角方向上分别设置消费级摄像头，同步调用这3个消费级摄像头，获取3个视角方向下模特人脸的图像对。如此通过3个摄像头依然可以获取3个视角方向下目标人脸的图像对。
需要说明的是，对于图像采集设备，通常指的是消费级摄像头，消费级摄像头中包括2个感光模块，即彩色感光模块和深度感光模块，如此可以采集图像对，即彩色图像(RGB图像)和深度图像(Depth图像)，本发明实施例对此不作限定。
S102，针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像。
S103，将所述目标彩色图像输入至预先训练好的识别模型，以使所述识别模型输出与所述目标彩色图像对应的人脸面部掩码矩阵。
S104，利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云。
对于n个视角方向下目标人脸的图像对，在本发明实施例中，针对任一视角方向下目标人脸的图像对，根据该图像对中的彩色图像和深度图像，确定与深度图像对齐的目标彩色图像，将目标彩色图像输入至预先训练好的识别模型，以使识别模型输出与目标彩色图像对应的人脸面部掩码矩阵，利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像，将目标深度图像转换为该视角方向下目标人脸的人脸点云。
例如，以第i(i＝1，2，3……，n)个视角方向下目标人脸的图像对，根据该图像对中的RGB图像和Depth图像，确定与Depth图像对齐的目标彩色图像，即RGB′图像，其图像大小与Depth图像一致，将RGB′图像作为识别模型的输入，识别模型输出的是人脸面部掩码矩阵。利用人脸面部掩码矩阵，对Depth图像进行处理得到目标深度图像，即Depth’图像，将Depth’图像转换为第i个视角方向下目标人脸的人脸点云。如此可以得到n个视角方向下目标人脸的人脸点云。
其中，在本发明实施例中，根据图像对中的彩色图像和深度图像，具体通过以下方式确定与深度图像对齐的目标彩色图像：针对图像对中深度图像的任一深度像素点，将该深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；将三维坐标转换为该深度像素点的目标像素坐标，该深度像素点的目标像素坐标对应于图像对中彩色图像的彩色像素点；从彩色图像的彩色像素点中，确定与该深度像素点的目标像素坐标对应的目标彩色像素点；获取目标彩色像素点对应的颜色值，将颜色值赋予该深度像素点；利用深度图像的各深度像素点对应的颜色值，重新组成与深度图像对齐的目标彩色图像。
对于图像对，针对图像对中深度图像的任一深度像素点，将该深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取第一齐次转换公式输出的世界坐标系下的三维坐标，如此完成该深度像素点的像素坐标及景深值的转换，转换为世界坐标系下的三维坐标。
例如，针对图像对中Depth图像的任一深度像素点，将该深度像素点的像素坐标(ud,vd)及景深值zc输入至第一齐次转换公式，获取第一齐次转换公式输出的世界坐标系下的三维坐标，其中，第一齐次转换公式包括：
Figure BDA0003308844410000211
Figure BDA0003308844410000212
所述Kd包括图像采集设备中深度感光模块的内参矩阵，其大小可以为3x3，通过图像采集设备接口读取或手动标定获得，所述Tw2d包括所述深度感光模块的外参矩阵，其大小为4x4，是世界坐标系到深度感光模块的欧式变换矩阵，由3x3大小的旋转矩阵Rw2d和偏移向量tw2d组成，两者均可以通过手动标定获得，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
对于世界坐标系下的三维坐标，将该世界坐标系下的三维坐标输入至第二齐次转换公式，获取第二齐次转换公式输出的深度像素点的目标像素坐标，如此将世界坐标系下的三维坐标转换为深度像素点的目标像素坐标，深度像素点的目标像素坐标实质就是彩色图像中彩色像素点的像素坐标，即深度像素点的目标像素坐标对应于图像对中彩色图像的彩色像素点。
例如，针对世界坐标系下的三维坐标，将该世界坐标系下的三维坐标输入至第二齐次转换公式，获取第二齐次转换公式输出的深度像素点的目标像素坐标，深度像素点的目标像素坐标对应于图像对中彩色图像的彩色像素点，深度像素点的目标像素坐标即RGB图像中彩色像素点的像素坐标(uc,vc)，其中，第二齐次转换公式包括：
Figure BDA0003308844410000221
Figure BDA0003308844410000222
所述Kc包括图像采集设备中彩色感光模块的内参矩阵，矩阵大小可以为3x3，可以通过图像采集设备接口读取或手动标定获得，所述Tw2c包括所述彩色感光模块的外参矩阵，矩阵大小为4x4，是世界坐标系到彩色感光模块的欧式变换矩阵，由3x3大小的旋转矩阵Rw2c和偏移向量tw2c组成，两者均可以通过手动标定获得，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
在本发明实施例中，深度像素点的目标像素坐标即彩色图像中彩色像素点的像素坐标，即对应于图像对中彩色图像的彩色像素点，如此可以从彩色图像的彩色像素点中，确定与深度像素点的目标像素坐标对应的目标彩色像素点，获取目标彩色像素点对应的颜色值，将颜色值赋予深度像素点。如此在彩色图像中找到深度图像中每一个深度像素点对应的颜色值，使得深度图像中每个深度像素点都有对应的颜色值和景深值，后续利用深度图像的各深度像素点对应的颜色值，重新组成与深度图像对齐的目标彩色图像，称之为RGB′图像，其图像大小与Depth图像一致。在像素点层面对齐的RGB′图像和Depth图像，称之为RGB’-D数据。
对于识别模型，即深度学习模型，可以是使用经典的模型结构在特定数据集上的训练结果，例如卷积神经网络模型Unet。将RGB′图像作为识别模型的输入，识别模型输出的是人脸面部掩码矩阵，即，一个由0、1组成的矩阵(称之为Mface)，其中，0表示非人脸面部区域，1表示人脸面部区域，矩阵Mface的形状与RGB’-D的Depth图像一样。
需要说明的是，对于人脸面部区域，通常人脸面部区域的范围定义为“左耳根(不含左耳)、发际线、右耳根(不含右耳)、下巴外延围住的区域”，其视觉表现如图4所示。
对于图像对中深度图像，以矩阵形式读取深度图像，以获取深度图像对应的深度矩阵，对深度矩阵以及人脸面部掩码矩阵进行处理，得到目标深度图像。如此利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像。
其中，将深度图像以矩阵形式读取为深度矩阵后，可以通过求矩阵的哈马达积，将深度图像中非人脸面部区域深度像素点的景深值归零，得到目标深度矩阵，确定所述目标深度矩阵对应的图像为目标深度图像，如此目标深度图像中非人脸面部区域的像素点的景深值归零。
例如，将Depth图像以矩阵形式读取为深度矩阵MDepth后，将MDepth以及Mface输入至预设矩阵运算公式，获取所述预设矩阵运算公式输出的目标深度矩阵MDepth′，MDepth′对应的图像为目标深度图像，即Depth’图像，Depth’图像和RGB′图像一起构成RGB’-D’数据，其中，预设矩阵运算公式包括：
MDepth′＝Mface*MDepth；
所述MDepth′包括所述目标深度矩阵，所述Mface包括人脸面部掩码矩阵，所述MDepth包括所述深度矩阵。
需要说明的是，经过上述步骤的处理，使得后续在将目标深度图像转换为视角方向下目标人脸的人脸点云的过程中，直接根据zw坐标是否为0来去除原始点云数据中与本发明所关注的真人表情建模任务不相干的背景、头发、耳朵、脖子、躯干等区域，留下了干净的、与真人表情强相关的人脸区域，有利于降低后续点云配准的难度。
对于目标深度图像，确定目标深度图像中各景深值非零的像素点，针对任一景深值非零的像素点，获取景深值非零的像素点的像素坐标及景深值；将景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成景深值非零的像素点对应的世界坐标系下的三维坐标；确定景深值非零的像素点对应的世界坐标系下的三维坐标为景深值非零的像素点对应的三维点；由各景深值非零的像素点各自对应的三维点，组成视角方向下目标人脸的人脸点云。
例如，对于Depth’图像，确定Depth’图像中各景深值非零的像素点，针对任一景深值非零的像素点，获取该景深值非零的像素点的像素坐标(ud,vd)及景深值zc，将该景深值非零的像素点的像素坐标(ud,vd)及景深值zc，通过上述第一齐次转换公式转换成景深值非零的像素点对应的世界坐标系下的三维坐标(xw,yw,zw)，从而将平面上的像素点转换成空间中的三维点，如此可以得到各景深值非零的像素点各自对应的三维点，由各景深值非零的像素点各自对应的三维点，组成视角方向下目标人脸的人脸点云，而每个三维点的颜色值可以从上述RGB′图像中对应的像素点获得。
S105，根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云，并对所述目标人脸点云进行曲面重建，得到三维人脸模型。
如此经过上述步骤，可以得到每个视角方向下目标人脸的人脸点云，从而可以根据n个视角方向下目标人脸的人脸点云，确定目标人脸点云，并对目标人脸点云进行曲面重建，得到三维人脸模型。
需要说明的是，在得到期望的完整人脸的点云后，即目标人脸点云，需要进行曲面重建，恢复其几何形状，从而变成一个三维人脸模型。以德劳内三角重建为例，一个可行的曲面重建算法如图5所示。当然，描述的三角重建只是最常见的一种重建方式，除了三角形，还可以是用四边形、五边形来表示曲面，在本发明所针对的人脸重建场景中，三角重建是最优选。
其中，在本发明实施例中，如图6所示，为本发明实施例提供的一种确定目标人脸点云方法的实施流程示意图，该方法硬应用于处理器，具体可以包括以下步骤：
S601，确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心，根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云。
在本发明实施例中，对于n个视角方向下目标人脸的人脸点云，确定n个视角方向下目标人脸的人脸点云各自对应的质心(即质心坐标)。其中，针对任一视角方向下目标人脸的人脸点云，获取人脸点云中所有点的空间坐标的平均值，确定平均值为人脸点云的质心。
例如，n个视角方向下目标人脸的人脸点云组成点云集合C，对于点云集合C中的点云ci，点云ci对应于n个视角方向下目标人脸的人脸点云中任一视角方向下目标人脸的人脸点云，其质心ui为点云ci中所有点空间坐标的平均值，获取点云ci中所有点空间坐标的平均值，确定平均值为点云ci的质心。其中，计算公式如下，式中Ni是点云ci所包含点的数量，pj是点云ci中第j个点的空间坐标。
Figure BDA0003308844410000251
此外，在确定n个视角方向下目标人脸的人脸点云各自对应的质心之后，可以根据该质心确定n个视角方向下目标人脸的中间人脸点云。其中，针对任一视角方向下目标人脸的人脸点云，将人脸点云中每个点的空间坐标减去(该人脸点云对应的)质心，得到该视角方向下目标人脸的中间人脸点云。如此操作，使得所有点云统一到以质心为其坐标系原点的质心坐标系中，方便后续以SVD算法计算目标旋转矩阵R和目标偏移向量t。
例如，点云ci对应于n个视角方向下目标人脸的人脸点云中任一视角方向下目标人脸的人脸点云，将点云ci中的每个点pj减去点云ci对应的质心ui，所得到的新点云c′i，新点云c′i即该视角方向下目标人脸的中间人脸点云，由此可以组成一个新的点云集合Cμ。其中，计算公式如下：
c′i＝{pj-ui|pj∈ci}＝{p′j}。
S602，从n个所述视角方向下目标人脸的中间人脸点云中，选取姿态参考点云，所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云。
对于n个视角方向下目标人脸的中间人脸点云，从n个视角方向下目标人脸的中间人脸点云中，选取姿态参考点云，其中，姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云。
例如，对于n个视角方向下目标人脸的中间人脸点云，组成点云集合Cμ，从点云集合Cμ中选取正脸视角方向下目标人脸的中间人脸点云，作为姿态参考点云，即姿态参考点云P。
S603，利用所述姿态参考点云，对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个所述视角方向下目标人脸的转换点云。
在本发明实施例中，姿态参考点云即正脸视角方向下目标人脸的中间人脸点云，如此还有n-1个视角方向下目标人脸的剩余中间人脸点云，从而可以利用姿态参考点云，对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个视角方向下目标人脸的转换点云。
需要说明的是，利用姿态参考点云，对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个视角方向下目标人脸的转换点云，其目的是为了使它们(n-1个视角方向下目标人脸的剩余中间人脸点云)的空间姿态基本保持一致。
其中，如图7所示，为本发明实施例提供的一种对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准的实施流程示意图，该方法具体可以应用于处理器，可以包括以下步骤：
S701，针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云，从所述剩余中间人脸点云中选取m个点。
在本发明实施例中，对于n-1个视角方向下目标人脸的剩余中间人脸点云，针对任一视角方向下目标人脸的剩余中间人脸点云，从该剩余中间人脸点云中(随机)选取m个点。
例如，对于n-1个视角方向下目标人脸的剩余中间人脸点云，针对任一视角方向下目标人脸的剩余中间人脸点云Q(Q属于点云集合Cμ)，从该剩余中间人脸点云Q中随机选取m个点。
S702，利用预设的KD-tree算法，从所述姿态参考点云中查找m个点各自对应的最近邻点。
在本发明实施例中，对于姿态参考点云，在其上建立KD-tree数据结构，存储其所有点的空间坐标，从而利用预设的KD-tree算法，即借助于KD-tree的特性，从姿态参考点云中查找m个点各自对应的最近邻点，即从姿态参考点云中查找(m个点中)每个点对应的最近邻点。
例如，在姿态参考点云P上建立KD-tree数据结构，存储其所有点的空间坐标，对于从剩余中间人脸点云Q(Q属于点云集合Cμ)中随机选取的m个点，利用预设的KD-tree算法，即借助于KD-tree的特性，从姿态参考点云中查找m个点各自对应的最近邻点。
S703，由m个点及m个点各自对应的所述最近邻点组成m对最近点对，由m对最近点对组成最近点对集合。
对于上述m个点，以及m个点各自对应的最近邻点，由此可以组成m对最近点对，由m对最近点对组成最近点对集合。
例如，对于上述m个点，以及m个点各自对应的最近邻点，由此可以组成m对最近点对，由m对最近点对组成最近点对集合H，如下所示。
H＝{(pi,qi)|pi∈P,qi∈Q,1≤i≤m}。
S704，根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量。
在本发明实施例中，对于上述得到的最近点对集合，可以根据最近点对集合，确定目标旋转矩阵和目标偏移向量。
其中，将最近点对集合中的m对最近点对输入至预设矩阵构建公式，获取预设矩阵构建公式输出的构建矩阵。
对构建矩阵进行SVD分解，获取第一特征值和第二特征值，将第一特征值和第二特征值输入至预设旋转矩阵运算公式，获取预设旋转矩阵运算公式输出的目标旋转矩阵。
将目标旋转矩阵、姿态参考点云的质心及剩余中间人脸点云的质心输入至预设偏移向量运算公式，获取预设偏移向量运算公式输出的目标偏移向量。
例如，构建3x3大小的构建矩阵W用于做SVD分解，将最近点对集合中的m对最近点对输入至预设矩阵构建公式，获取预设矩阵构建公式输出的构建矩阵，其中，预设矩阵构建公式包括：
Figure BDA0003308844410000281
所述W包括所述构建矩阵，所述NH包括所述最近点对集合中最近点对的数量，所述qi和所述pi包括所述最近点对集合中最近点对。
对构建矩阵W进行SVD分解，获取第一特征值U和第二特征值VT，σ1、σ2、σ3为特征值，计算公式如下所示：
Figure BDA0003308844410000282
将第一特征值U和第二特征值VT输入至预设旋转矩阵运算公式，获取预设旋转矩阵运算公式输出的目标旋转矩阵R，其中，预设旋转矩阵运算公式包括：
R＝UVT；
所述R包括所述目标旋转矩阵，所述U包括所述第一特征值，所述VT包括所述第二特征值。
将目标旋转矩阵R、姿态参考点云P的质心及剩余中间人脸点云Q的质心输入至预设偏移向量运算公式，获取预设偏移向量运算公式输出的目标偏移向量t，其中，预设偏移向量运算公式包括：
t＝μp-Rμq；
所述t包括所述目标偏移向量，所述μp包括所述姿态参考点云的质心，所述R包括所述目标旋转矩阵，所述μq包括所述剩余中间人脸点云的质心。
如此经过上述步骤，针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云，均可以得到各自对应的目标旋转矩阵和目标偏移向量。
S705，利用所述目标旋转矩阵和所述目标偏移向量，对所述剩余中间人脸点云进行转换，得到所述视角方向下目标人脸的初始转换点云。
在本发明实施例中，针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云，可以利用剩余中间人脸点云对应的目标旋转矩阵和目标偏移向量，对剩余中间人脸点云进行转换，得到该视角方向下目标人脸的初始转换点云。
例如，针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云Q，可以利用剩余中间人脸点云Q对应的目标旋转矩阵R和目标偏移向量t，对剩余中间人脸点云Q进行转换，得到该视角方向下目标人脸的初始转换点云。
其中，针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云，将剩余中间人脸点云对应的目标旋转矩阵和目标偏移向量输入至点云转换公式，获取点云转换公式输出的视角方向下目标人脸的初始转换点云，其中，点云转换公式包括：
Q′＝{Rq+t|q∈Q}；
所述Q′包括所述初始转换点云，所述Q包括所述剩余中间人脸点云，所述t包括所述目标偏移向量，所述R包括所述目标旋转矩阵。
例如，针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云Q，可以将剩余中间人脸点云Q对应的目标旋转矩阵R和目标偏移向量t输入至上式，获取点云转换公式输出的视角方向下目标人脸的初始转换点云Q′，如此通过上式对剩余中间人脸点云Q进行转换，所得初始转换点云Q′的空间姿态向姿态参考点云P靠拢，即向正脸视角方向靠拢。
S706，确定所述姿态参考点云与所述初始转换点云之间的转换误差，根据所述转换误差，确定所述视角方向下目标人脸的转换点云。
针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云，在本发明实施例中，确定姿态参考点云与该初始转换点云之间的(点云)转换误差，根据转换误差，可以确定该视角方向下目标人脸的转换点云。
其中，针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云，可以将姿态参考点云与初始转换点云输入至预设姿态差异运算公式，获取预设姿态差异运算公式输出的姿态参考点云与初始转换点云之间的姿态差异，确定姿态差异为转换误差。
例如，针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云Q′，可以将初始转换点云Q′和姿态参考点云P输入至预设姿态差异运算公式，获取预设姿态差异运算公式输出的初始转换点云Q′和姿态参考点云P之间的姿态差异，作为(点云)转换误差L，其中，预设姿态差异运算公式包括：
Figure BDA0003308844410000301
所述Q′包括所述初始转换点云，所述P包括所述姿态参考点云。
此外，针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云，在本发明实施例中，确定姿态参考点云与该初始转换点云之间的(点云)转换误差，若转换误差小于预设第一阈值，确定初始转换点云为视角方向下目标人脸的转换点云。
若转换误差未小于预设第一阈值，跳转至从剩余中间人脸点云中选取m个点的步骤，直至迭代次数达到预设次数，输出视角方向下目标人脸的转换点云。具体地，若转换误差未小于预设第一阈值，首先判断迭代次数是否达到预设次数，若达到，确定初始转换点云为视角方向下目标人脸的转换点云，若未达到，则跳转至从剩余中间人脸点云中选取m个点的步骤，直至迭代次数达到预设次数，输出视角方向下目标人脸的转换点云。
S604，利用预设人脸基准点云，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
在本发明实施例中，引入了预设人脸基准点云，通过人脸基准点云对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
需要说明的是，对于人脸基准点云，可以是男性或者女性的人脸基准点云，具体可以获取一个开源的基准三维模型，截取其中人脸部分作为人脸基准点云，本发明实施例对此不作限定。
其中，如图8所示，为本发明实施例提供的一种对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合的实施流程示意图，该方法具体用于处理器，可以包括以下步骤：
S801，将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并，得到完整人脸点云。
在本发明实施例中，对于姿态参考点云，以及n-1视角方向下目标人脸的转换点云，将两者进行合并，从而可以得到完整人脸点云。
例如，对于姿态参考点云P，以及n-1视角方向下目标人脸的转换点云Q’，将两者进行合并，从而可以得到完整人脸点云M。
需要说明的是，对于完整人脸点云，可以是一个包含完整人脸的点云，本发明实施例对此不作限定。
S802，从所述完整人脸点云中选取多个点组成验证点云，确定所述验证点云与预设人脸基准点云之间的形状差异。
对于完整人脸点云，从该完整人脸点云中选取多个点组成验证点云，确定验证点云与预设人脸基准点云之间的形状差异。
例如，对于完整人脸点云M，从该完整人脸点云M中随机选择多个点组成验证点云m，确定验证点云m与预设人脸基准点云B之间的形状差异。
其中，在本发明实施例中，具体通过以下方式确定验证点云与预设人脸基准点云之间的形状差异：获取验证点云与预设人脸基准点云之间的倒角距离，确定倒角距离为验证点云与预设人脸基准点云之间的形状差异。
需要说明的是，在本发明实施例中，还可以获取验证点云与预设人脸基准点云之间的下述之一：L1、L2、L1的变形、L2的变形，用于描述验证点云与预设人脸基准点云之间的形状差异，本发明实施例对此不作限定。
例如，在本发明实施例中，采用Chamfer Distance倒角距离作为形状差异E的具体度量，获取验证点云m与人脸基准点云B之间的倒角距离，确定倒角距离为验证点云m与人脸基准点云B之间的形状差异E。
其计算公式如下，式中Nm和NB分别为下采样后的验证点云m和人脸基准点云B的大小(即其中元素数量)，式中第一项为验证点云m中任意一点到基准点云B最小距离之和的平均，第二项为基准点云B中任意一点到验证点云m最小距离之和的平均，两者结合作为3D空间中的倒角距离，其值越小，两点云之间形状的差异越小。
Figure BDA0003308844410000321
S803，根据所述形状差异，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
对于验证点云与预设人脸基准点云之间的形状差异，根据该形状差异，对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
其中，若形状差异小于预设第二阈值，对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合，得到目标人脸点云；若形状差异未小于预设第二阈值，跳转至从完整人脸点云中选取多个点组成验证点云的步骤。
具体地，若形状差异小于预设第二阈值，对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行初融合，得到目标人脸点云，用于展示，供用户确认形状是否正常。
若用户确认形状正常，则触发形状确认指令，在接收到用户的形状确认指令的情况下，对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
若用户确认形状异常，则触发形状错误指令，在接收到用户的形状错误指令，调整预设第二阈值，跳转至从完整人脸点云中选取多个点组成验证点云的步骤。
例如，若形状差异E小于预设第二阈值c，对姿态参考点云P以及n-1个视角方向下目标人脸的转换点云Q’进行初融合，得到目标人脸点云，用于展示，供用户确认形状是否正常。
若用户确认形状正常，则触发形状确认指令，在接收到用户的形状确认指令的情况下，对姿态参考点云P以及n-1个视角方向下目标人脸的转换点云Q’进行融合，得到目标人脸点云A。
若用户确认形状异常，则触发形状错误指令，在接收到用户的形状错误指令，调整预设第二阈值c，跳转至从完整人脸点云中选取多个点组成验证点云m的步骤。
通过上述对本发明实施例提供的技术方案的描述，获取n个视角方向下目标人脸的图像对，其中，图像对包括彩色图像和深度图像，针对任一视角方向下目标人脸的图像对，根据图像对中的彩色图像和深度图像，确定与深度图像对齐的目标彩色图像，将目标彩色图像输入至预先训练好的识别模型，以使识别模型输出与目标彩色图像对应的人脸面部掩码矩阵，利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像，将目标深度图像转换为视角方向下目标人脸的人脸点云，根据n个视角方向下目标人脸的人脸点云，确定目标人脸点云，并对目标人脸点云进行曲面重建，得到三维人脸模型。
如此相较于先获取原始点云，依据人工的方式编辑原始点云，以去除多余点得到人脸点云，通过将与深度图像对齐的彩色图像输入预设模型，输出人脸面部掩码，利用人脸面部掩码矩阵对深度图像进行处理得到目标深度图像，将目标深度图像转换为人脸点云，可以更便捷、更高效地得到人脸点云。
此外，在本发明实施例中仅仅需要一个或多个图像采集设备(例如消费级摄像头)，由此可以获取到n个视角方向下目标人脸的图像对，参与后续的三维人脸模型重建，硬件投入成本低，设备维护简单。
鉴于在本发明实施例中仅仅需要一个或多个图像采集设备(例如消费级摄像头)，导致后续采集和处理的点云数据规模一般为千级，相对于采集数万、数十万、数百万点的三维重建，节约大量的计算资源。
在点云配准过程中，加入人脸基准点云作为形状参考，极大地减少了最后进行点云融合时所得结果的形状偏差，如不规则的凸起或凹陷、鼻子形状不正常等，从而实现由低精度的点云数据得到可靠的三维重建精度。
与上述方法实施例相对应，本发明实施例还提供了一种三维人脸模型重建装置，如图9所示，该装置可以包括：图像对获取模块910、图像确定模块920、矩阵获取模块930、图像处理模块940、点云获取模块950、点云确定模块960、点云重建模块970。
图像对获取模块910，用于获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像；
图像确定模块920，用于针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；
矩阵获取模块930，用于将所述目标彩色图像输入至预先训练好的识别模型，以使所述识别模型输出与所述目标彩色图像对应的人脸面部掩码矩阵；
图像处理模块940，用于利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像；
点云获取模块950，用于将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云；
点云确定模块960，用于根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云；
点云重建模块970，用于对所述目标人脸点云进行曲面重建，得到三维人脸模型。
本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现如下步骤：
获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像；针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；将所述目标彩色图像输入至预先训练好的识别模型，以使所述识别模型输出与所述目标彩色图像对应的人脸面部掩码矩阵；利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云；根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云，并对所述目标人脸点云进行曲面重建，得到三维人脸模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的三维人脸模型重建方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的三维人脸模型重建方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (24)

1.一种三维人脸模型重建方法，其特征在于，所述方法包括：
获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像；
针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；
将所述目标彩色图像输入至预先训练好的识别模型，以使所述识别模型输出与所述目标彩色图像对应的人脸面部掩码矩阵；
利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云；
根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云，并对所述目标人脸点云进行曲面重建，得到三维人脸模型。
2.根据权利要求1所述的方法，其特征在于，所述获取n个视角方向下目标人脸的图像对，包括：
以目标人脸为中轴，在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转；以及
在每次控制所述图像采集设备旋转所述预设的旋转角度之后，调用所述图像采集设备采集目标人脸的图像对；
或者，
以目标人脸为中轴，在预设角度范围内n个视角方向上分别设置图像采集设备；
同步调用n个视角方向上的所述图像采集设备，获取n个视角方向下目标人脸的图像对。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像，包括：
针对所述图像对中所述深度图像的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；
将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对中所述彩色图像的彩色像素点；
从所述彩色图像的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；
获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；
利用所述深度图像的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像对齐的目标彩色图像。
4.根据权利要求3所述的方法，其特征在于，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：
将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；
其中，所述第一齐次转换公式包括：
Figure FDA0003308844400000021
Figure FDA0003308844400000022
所述Kd包括图像采集设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
5.根据权利要求3所述的方法，其特征在于，所述将所述三维坐标转换为所述深度像素点的目标像素坐标，包括：
将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；
其中，所述第二齐次转换公式包括：
Figure FDA0003308844400000031
Figure FDA0003308844400000032
所述Kc包括图像采集设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
6.根据权利要求1所述的方法，其特征在于，所述利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，包括：
以矩阵形式读取所述深度图像，以获取所述深度图像对应的深度矩阵；
对所述深度矩阵以及所述人脸面部掩码矩阵进行处理，得到目标深度图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述深度矩阵以及所述人脸面部掩码矩阵进行处理，得到目标深度图像，包括：
将所述深度矩阵以及所述人脸面部掩码矩阵输入至预设矩阵运算公式，获取所述预设矩阵运算公式输出的目标深度矩阵；
确定所述目标深度矩阵对应的图像为目标深度图像，其中，所述目标深度图像中非人脸面部区域的像素点的景深值归零；
其中，所述预设矩阵运算公式包括：
MDepth′＝Mface*MDepth；
所述MDepth′包括所述目标深度矩阵，所述Mface包括人脸面部掩码矩阵，所述MDepth包括所述深度矩阵。
8.根据权利要求1所述的方法，其特征在于，所述将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云，包括：
确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；
将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成所述景深值非零的像素点对应的世界坐标系下的三维坐标；
确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；
由各所述景深值非零的像素点各自对应的所述三维点，组成所述视角方向下目标人脸的人脸点云。
9.根据权利要求1所述的方法，其特征在于，所述根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云，包括：
确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心，根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云；
从n个所述视角方向下目标人脸的中间人脸点云中，选取姿态参考点云，所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云；
利用所述姿态参考点云，对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个所述视角方向下目标人脸的转换点云；
利用预设人脸基准点云，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
10.根据权利要求9所述的方法，其特征在于，所述确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心，包括：
针对任一所述视角方向下目标人脸的所述人脸点云，获取所述人脸点云中所有点的空间坐标的平均值，确定所述平均值为所述人脸点云的质心。
11.根据权利要求9所述的方法，其特征在于，所述根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云，包括：
针对任一所述视角方向下目标人脸的所述人脸点云，将所述人脸点云中每个点的空间坐标减去质心，得到所述视角方向下目标人脸的中间人脸点云。
12.根据权利要求9所述的方法，其特征在于，所述利用所述姿态参考点云，对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准，得到n-1个所述视角方向下目标人脸的转换点云，包括：
针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云，从所述剩余中间人脸点云中选取m个点；
利用预设的KD-tree算法，从所述姿态参考点云中查找m个点各自对应的最近邻点；
由m个点及m个点各自对应的所述最近邻点组成m对最近点对，由m对最近点对组成最近点对集合；
根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量；
利用所述目标旋转矩阵和所述目标偏移向量，对所述剩余中间人脸点云进行转换，得到所述视角方向下目标人脸的初始转换点云；
确定所述姿态参考点云与所述初始转换点云之间的转换误差，根据所述转换误差，确定所述视角方向下目标人脸的转换点云。
13.根据权利要求10所述的方法，其特征在于，所述根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量，包括：
将所述最近点对集合中的m对最近点对输入至预设矩阵构建公式，获取所述预设矩阵构建公式输出的构建矩阵；
对所述构建矩阵进行SVD分解，获取第一特征值和第二特征值，将所述第一特征值和所述第二特征值输入至预设旋转矩阵运算公式，获取所述预设旋转矩阵运算公式输出的目标旋转矩阵；
将所述目标旋转矩阵、所述姿态参考点云的质心及所述剩余中间人脸点云的质心输入至预设偏移向量运算公式，获取所述预设偏移向量运算公式输出的目标偏移向量。
14.根据权利要求13所述的方法，其特征在于，所述预设矩阵构建公式包括：
Figure FDA0003308844400000061
所述W包括所述构建矩阵，所述NH包括所述最近点对集合中最近点对的数量，所述qi和所述pi包括所述最近点对集合中最近点对；
所述预设旋转矩阵运算公式包括：
R＝UVT；
所述R包括所述目标旋转矩阵，所述U包括所述第一特征值，所述VT包括所述第二特征值；
所述预设偏移向量运算公式包括：
t＝μp-Rμq；
所述t包括所述目标偏移向量，所述μp包括所述姿态参考点云的质心，所述R包括所述目标旋转矩阵，所述μq包括所述剩余中间人脸点云的质心。
15.根据权利要求10所述的方法，其特征在于，所述利用所述目标旋转矩阵和所述目标偏移向量，对所述剩余中间人脸点云进行转换，得到所述视角方向下目标人脸的初始转换点云，包括：
将所述目标旋转矩阵、所述目标偏移向量及所述剩余中间人脸点云输入至点云转换公式；
获取所述点云转换公式输出的所述视角方向下目标人脸的初始转换点云，其中，所述点云转换公式包括：
Q′＝{Rq+t|q∈Q}；
所述Q′包括所述初始转换点云，所述Q包括所述剩余中间人脸点云，所述t包括所述目标偏移向量，所述R包括所述目标旋转矩阵。
16.根据权利要求10所述的方法，其特征在于，所述确定所述姿态参考点云与所述初始转换点云之间的转换误差，包括：
将所述姿态参考点云与所述初始转换点云输入至预设姿态差异运算公式；
获取所述预设姿态差异运算公式输出的所述姿态参考点云与所述初始转换点云之间的姿态差异，确定所述姿态差异为转换误差；
其中，所述预设姿态差异运算公式包括：
L＝∑p∈P||p-q′||2；
q’∈Q′
所述Q′包括所述初始转换点云，所述P包括所述姿态参考点云。
17.根据权利要求10所述的方法，其特征在于，所述根据所述转换误差，确定所述视角方向下目标人脸的转换点云，包括：
若所述转换误差小于预设第一阈值，确定所述初始转换点云为所述视角方向下目标人脸的转换点云；
若所述转换误差未小于所述预设第一阈值，跳转至所述从所述剩余中间人脸点云中选取m个点的步骤，直至迭代次数达到预设次数，输出所述视角方向下目标人脸的转换点云。
18.根据权利要求9所述的方法，其特征在于，所述利用预设人脸基准点云，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云，包括：
将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并，得到完整人脸点云；
从所述完整人脸点云中选取多个点组成验证点云，确定所述验证点云与预设人脸基准点云之间的形状差异；
根据所述形状差异，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云。
19.根据权利要求18所述的方法，其特征在于，所述确定所述验证点云与预设人脸基准点云之间的形状差异，包括：
获取所述验证点云与预设人脸基准点云之间的倒角距离，确定所述倒角距离为所述验证点云与预设人脸基准点云之间的形状差异。
20.根据权利要求18所述的方法，其特征在于，所述根据所述形状差异，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云，包括：
若所述形状差异小于预设第二阈值，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云；
若所述形状差异未小于所述预设第二阈值，跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
21.根据权利要求20所述的方法，其特征在于，所述对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云，包括：
若接收到用户的形状确认指令，对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合，得到目标人脸点云；
若接收到用户的形状错误指令，调整所述预设第二阈值，跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
22.一种三维人脸模型重建装置，其特征在于，所述装置包括：
图像对获取模块，用于获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像；
图像确定模块，用于针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；
矩阵获取模块，将所述目标彩色图像输入至预先训练好的识别模型，以使所述识别模型输出与所述目标彩色图像对应的人脸面部掩码矩阵；
图像处理模块，用于利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像；
点云获取模块，用于将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云；
点云确定模块，用于根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云；
点云重建模块，用于对所述目标人脸点云进行曲面重建，得到三维人脸模型。
23.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至21中任一项所述的方法步骤。
24.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至21中任一项所述的方法。
CN202111210742.3A 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质 Pending CN113902849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111210742.3A CN113902849A (zh) 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111210742.3A CN113902849A (zh) 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113902849A true CN113902849A (zh) 2022-01-07

Family

ID=79192521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111210742.3A Pending CN113902849A (zh) 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113902849A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758136A (zh) * 2023-08-21 2023-09-15 杭州蓝芯科技有限公司 一种货物体积实时在线识别方法、系统、设备以及介质
WO2023246856A1 (zh) * 2022-06-23 2023-12-28 未来科技（襄阳）有限公司 3d图像生成方法、装置及计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246856A1 (zh) * 2022-06-23 2023-12-28 未来科技（襄阳）有限公司 3d图像生成方法、装置及计算机设备
CN116758136A (zh) * 2023-08-21 2023-09-15 杭州蓝芯科技有限公司 一种货物体积实时在线识别方法、系统、设备以及介质
CN116758136B (zh) * 2023-08-21 2023-11-10 杭州蓝芯科技有限公司 一种货物体积实时在线识别方法、系统、设备以及介质

Similar Documents

Publication Publication Date Title
US11232286B2 (en) Method and apparatus for generating face rotation image
US11074714B2 (en) Eye tracking method and system
CN111783748B (zh) 人脸识别方法、装置、电子设备及存储介质
CN108898043A (zh) 图像处理方法、图像处理装置以及存储介质
CN111767866B (zh) 一种人体模型创建方法、装置、电子设备及存储介质
CN113902849A (zh) 三维人脸模型重建方法、装置、电子设备及存储介质
CN108615256B (zh) 一种人脸三维重建方法及装置
TWI643137B (zh) 物件辨識方法及物件辨識系統
CN113902781A (zh) 三维人脸重建方法、装置、设备及介质
CN112530019A (zh) 三维人体重建方法、装置、计算机设备和存储介质
CN106462738A (zh) 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备
CN114152217B (zh) 基于监督学习的双目相位展开方法
CN113902851A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN115457176A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN111738202A (zh) 一种关键点识别方法、装置、电子设备及存储介质
CN113902853A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN114638375A (zh) 视频生成模型训练方法、视频生成方法及装置
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
WO2018036241A1 (zh) 一种年龄群体分类的方法及装置
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
CN113902850A (zh) 三维人脸模型重建方法、装置、电子设备及存储介质
CN113902852A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN116188720A (zh) 数字人的生成方法、装置、电子设备和存储介质
CN113610969A (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination