CN113902850A - 三维人脸模型重建方法、装置、电子设备及存储介质 - Google Patents

三维人脸模型重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113902850A
CN113902850A CN202111210763.5A CN202111210763A CN113902850A CN 113902850 A CN113902850 A CN 113902850A CN 202111210763 A CN202111210763 A CN 202111210763A CN 113902850 A CN113902850 A CN 113902850A
Authority
CN
China
Prior art keywords
face
target
point cloud
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111210763.5A
Other languages
English (en)
Inventor
刘炫鹏
杨国基
刘致远
刘云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202111210763.5A priority Critical patent/CN113902850A/zh
Publication of CN113902850A publication Critical patent/CN113902850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种三维人脸模型重建方法、装置、电子设备及存储介质,所述方法包括:获取n个视角方向下目标人脸的图像对,其中,图像对包括彩色图像和深度图像;针对任一视角方向下目标人脸的图像对,根据图像对中的彩色图像和深度图像,确定与深度图像对齐的目标彩色图像;确定目标彩色图像中人脸面部区域,并根据人脸面部区域,将目标彩色图像转换为人脸面部掩码矩阵;利用人脸面部掩码矩阵,对深度图像进行处理得到目标深度图像,将目标深度图像转换为视角方向下目标人脸的人脸点云;根据n个视角方向下目标人脸的人脸点云,确定目标人脸点云,并对目标人脸点云进行曲面重建,得到三维人脸模型。

Description

三维人脸模型重建方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及人工智能的计算机视觉技术领域,尤其涉及一种三维人脸模型重建方法、装置、电子设备及存储介质。
背景技术
当下基于真人人脸进行三维人脸模型重建,在人脸识别系统、医学、电影广告、计算机动画、游戏、视频会议及可视电话、人机交互等许多领域都具有广阔的应用场景,特别是在人脸识别方面。
目前,进行三维人脸模型重建的方式主要有两种方式:方式1,搭建单目相机阵列,利用视差原理来实现三维人脸模型重建;方式2,借助激光扫描设备,利用激光测距原理来实现三维人脸模型重建。
由于在三维人脸模型重建过程中,通过单目相机阵列或者激光扫描设备均可以得到原始点云,依据人工的方式编辑原始点云,以去除多余点得到人脸点云,如此费时费力。
发明内容
为了解决上述依据人工的方式编辑原始点云,以去除多余点得到人脸点云,如此费时费力的技术问题,本发明实施例提供了一种三维人脸模型重建方法、装置、电子设备及存储介质。
在本发明实施例的第一方面,首先提供了一种三维人脸模型重建方法,所述方法包括:
获取n个视角方向下目标人脸的图像对,其中,所述图像对包括彩色图像和深度图像;
针对任一视角方向下目标人脸的所述图像对,根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像;
确定所述目标彩色图像中人脸面部区域,并根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵;
利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像,将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云;
根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云,并对所述目标人脸点云进行曲面重建,得到三维人脸模型。
在一个可选的实施方式中,所述获取n个视角方向下目标人脸的图像对,包括:
以目标人脸为中轴,在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转;以及
在每次控制所述图像采集设备旋转所述预设的旋转角度之后,调用所述图像采集设备采集目标人脸的图像对;
或者,
以目标人脸为中轴,在预设角度范围内n个视角方向上分别设置图像采集设备;
同步调用n个视角方向上的所述图像采集设备,获取n个视角方向下目标人脸的图像对。
在一个可选的实施方式中,所述根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像,包括:
针对所述图像对中所述深度图像的任一深度像素点,将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标;
将所述三维坐标转换为所述深度像素点的目标像素坐标,所述深度像素点的目标像素坐标对应于所述图像对中所述彩色图像的彩色像素点;
从所述彩色图像的彩色像素点中,确定与所述深度像素点的目标像素坐标对应的目标彩色像素点;
获取所述目标彩色像素点对应的颜色值,将所述颜色值赋予所述深度像素点;
利用所述深度图像的各所述深度像素点对应的所述颜色值,重新组成与所述深度图像对齐的目标彩色图像。
在一个可选的实施方式中,所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标,包括:
将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式,获取所述第一齐次转换公式输出的世界坐标系下的三维坐标;
其中,所述第一齐次转换公式包括:
Figure BDA0003308844150000031
Figure BDA0003308844150000032
所述Kd包括图像采集设备中深度感光模块的内参矩阵,所述Tw2d包括所述深度感光模块的外参矩阵,由旋转矩阵Rw2d和偏移向量tw2d组成,所述深度像素点的像素坐标包括(所述ud,所述vd),所述zc包括所述景深值,所述三维坐标包括(所述xw,所述yw,所述zw)。
在一个可选的实施方式中,所述将所述三维坐标转换为所述深度像素点的目标像素坐标,包括:
将所述三维坐标输入至第二齐次转换公式,获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标;
其中,所述第二齐次转换公式包括:
Figure BDA0003308844150000033
Figure BDA0003308844150000034
所述Kc包括图像采集设备中彩色感光模块的内参矩阵,所述Tw2c包括所述彩色感光模块的外参矩阵,由旋转矩阵Rw2c和偏移向量tw2c组成,所述三维坐标包括(所述xw,所述yw,所述zw),所述深度像素点的目标像素坐标包括(所述uc,所述vc)。
在一个可选的实施方式中,所述确定所述目标彩色图像中人脸面部区域,包括:
确定所述目标彩色图像中用户通过画线工具勾勒的轮廓线,确定所述轮廓线内区域为人脸面部区域。
在一个可选的实施方式中,所述根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵,包括:
将所述目标彩色图像中所述人脸面部区域设置为非零,将所述目标彩色图像中非所述人脸面部区域设置为零,以将所述目标彩色图像转换为人脸面部掩码矩阵。
在一个可选的实施方式中,所述利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像,包括:
以矩阵形式读取所述深度图像,以获取所述深度图像对应的深度矩阵;
对所述深度矩阵以及所述人脸面部掩码矩阵进行处理,得到目标深度图像。
在一个可选的实施方式中,所述对所述深度矩阵以及所述人脸面部掩码矩阵进行处理,得到目标深度图像,包括:
将所述深度矩阵以及所述人脸面部掩码矩阵输入至预设矩阵运算公式,获取所述预设矩阵运算公式输出的目标深度矩阵;
确定所述目标深度矩阵对应的图像为目标深度图像,其中,所述目标深度图像中非人脸面部区域的像素点的景深值归零;
其中,所述预设矩阵运算公式包括:
MDepth′=Mface*MDepth
所述MDepth′包括所述目标深度矩阵,所述Mface包括人脸面部掩码矩阵,所述MDepth包括所述深度矩阵。
在一个可选的实施方式中,所述将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云,包括:
确定所述目标深度图像中各景深值非零的像素点,针对任一所述景深值非零的像素点,获取所述景深值非零的像素点的像素坐标及景深值;
将所述景深值非零的像素点的像素坐标及景深值,通过第一齐次转换公式转换成所述景深值非零的像素点对应的世界坐标系下的三维坐标;
确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点;
由各所述景深值非零的像素点各自对应的所述三维点,组成所述视角方向下目标人脸的人脸点云。
在一个可选的实施方式中,所述根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云,包括:
确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心,根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云;
从n个所述视角方向下目标人脸的中间人脸点云中,选取姿态参考点云,所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云;
利用所述姿态参考点云,对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个所述视角方向下目标人脸的转换点云;
利用预设人脸基准点云,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
在一个可选的实施方式中,所述确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心,包括:
针对任一所述视角方向下目标人脸的所述人脸点云,获取所述人脸点云中所有点的空间坐标的平均值,确定所述平均值为所述人脸点云的质心。
在一个可选的实施方式中,所述根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云,包括:
针对任一所述视角方向下目标人脸的所述人脸点云,将所述人脸点云中每个点的空间坐标减去质心,得到所述视角方向下目标人脸的中间人脸点云。
在一个可选的实施方式中,所述利用所述姿态参考点云,对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个所述视角方向下目标人脸的转换点云,包括:
针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云,从所述剩余中间人脸点云中选取m个点;
利用预设的KD-tree算法,从所述姿态参考点云中查找m个点各自对应的最近邻点;
由m个点及m个点各自对应的所述最近邻点组成m对最近点对,由m对最近点对组成最近点对集合;
根据所述最近点对集合,确定目标旋转矩阵和目标偏移向量;
利用所述目标旋转矩阵和所述目标偏移向量,对所述剩余中间人脸点云进行转换,得到所述视角方向下目标人脸的初始转换点云;
确定所述姿态参考点云与所述初始转换点云之间的转换误差,根据所述转换误差,确定所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中,所述根据所述最近点对集合,确定目标旋转矩阵和目标偏移向量,包括:
将所述最近点对集合中的m对最近点对输入至预设矩阵构建公式,获取所述预设矩阵构建公式输出的构建矩阵;
对所述构建矩阵进行SVD分解,获取第一特征值和第二特征值,将所述第一特征值和所述第二特征值输入至预设旋转矩阵运算公式,获取所述预设旋转矩阵运算公式输出的目标旋转矩阵;
将所述目标旋转矩阵、所述姿态参考点云的质心及所述剩余中间人脸点云的质心输入至预设偏移向量运算公式,获取所述预设偏移向量运算公式输出的目标偏移向量。
在一个可选的实施方式中,所述预设矩阵构建公式包括:
Figure BDA0003308844150000071
所述W包括所述构建矩阵,所述NH包括所述最近点对集合中最近点对的数量,所述qi和所述pi包括所述最近点对集合中最近点对;
所述预设旋转矩阵运算公式包括:
R=UVT
所述R包括所述目标旋转矩阵,所述U包括所述第一特征值,所述VT包括所述第二特征值;
所述预设偏移向量运算公式包括:
t=μp-Rμq
所述t包括所述目标偏移向量,所述μp包括所述姿态参考点云的质心,所述R包括所述目标旋转矩阵,所述μq包括所述剩余中间人脸点云的质心。
在一个可选的实施方式中,所述利用所述目标旋转矩阵和所述目标偏移向量,对所述剩余中间人脸点云进行转换,得到所述视角方向下目标人脸的初始转换点云,包括:
将所述目标旋转矩阵、所述目标偏移向量及所述剩余中间人脸点云输入至点云转换公式;
获取所述点云转换公式输出的所述视角方向下目标人脸的初始转换点云,其中,所述点云转换公式包括:
Q′={Rq+t|q∈Q};
所述Q′包括所述初始转换点云,所述Q包括所述剩余中间人脸点云,所述t包括所述目标偏移向量,所述R包括所述目标旋转矩阵。
在一个可选的实施方式中,所述确定所述姿态参考点云与所述初始转换点云之间的转换误差,包括:
将所述姿态参考点云与所述初始转换点云输入至预设姿态差异运算公式;
获取所述预设姿态差异运算公式输出的所述姿态参考点云与所述初始转换点云之间的姿态差异,确定所述姿态差异为转换误差;
其中,所述预设姿态差异运算公式包括:
Figure BDA0003308844150000081
所述Q′包括所述初始转换点云,所述P包括所述姿态参考点云。
在一个可选的实施方式中,所述根据所述转换误差,确定所述视角方向下目标人脸的转换点云,包括:
若所述转换误差小于预设第一阈值,确定所述初始转换点云为所述视角方向下目标人脸的转换点云;
若所述转换误差未小于所述预设第一阈值,跳转至所述从所述剩余中间人脸点云中选取m个点的步骤,直至迭代次数达到预设次数,输出所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中,所述利用预设人脸基准点云,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云,包括:
将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并,得到完整人脸点云;
从所述完整人脸点云中选取多个点组成验证点云,确定所述验证点云与预设人脸基准点云之间的形状差异;
根据所述形状差异,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
在一个可选的实施方式中,所述确定所述验证点云与预设人脸基准点云之间的形状差异,包括:
获取所述验证点云与预设人脸基准点云之间的倒角距离,确定所述倒角距离为所述验证点云与预设人脸基准点云之间的形状差异。
在一个可选的实施方式中,所述根据所述形状差异,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云,包括:
若所述形状差异小于预设第二阈值,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云;
若所述形状差异未小于所述预设第二阈值,跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在一个可选的实施方式中,所述对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云,包括:
若接收到用户的形状确认指令,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云;
若接收到用户的形状错误指令,调整所述预设第二阈值,跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在本发明实施例的第二方面,提供了一种三维人脸模型重建装置,所述装置包括:
图像对获取模块,用于获取n个视角方向下目标人脸的图像对,其中,所述图像对包括彩色图像和深度图像;
图像确定模块,用于针对任一视角方向下目标人脸的所述图像对,根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像;
区域确定模块,用于确定所述目标彩色图像中人脸面部区域;
矩阵获取模块,用于根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵;
图像处理模块,用于利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像;
点云获取模块,用于将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云;
点云确定模块,用于根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云;
点云重建模块,用于对所述目标人脸点云进行曲面重建,得到三维人脸模型。
在一个可选的实施方式中,所述图像对获取模块具体用于:
以目标人脸为中轴,在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转;以及
在每次控制所述图像采集设备旋转所述预设的旋转角度之后,调用所述图像采集设备采集目标人脸的图像对;
或者,
以目标人脸为中轴,在预设角度范围内n个视角方向上分别设置图像采集设备;
同步调用n个视角方向上的所述图像采集设备,获取n个视角方向下目标人脸的图像对。
在一个可选的实施方式中,所述图像确定模块具体包括:
坐标、景深值转换子模块,用于针对所述图像对中所述深度图像的任一深度像素点,将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标;
坐标转换子模块,用于将所述三维坐标转换为所述深度像素点的目标像素坐标,所述深度像素点的目标像素坐标对应于所述图像对中所述彩色图像的彩色像素点;
像素点确定子模块,用于从所述彩色图像的彩色像素点中,确定与所述深度像素点的目标像素坐标对应的目标彩色像素点;
颜色值赋予子模块,用于获取所述目标彩色像素点对应的颜色值,将所述颜色值赋予所述深度像素点;
图像组成子模块,用于利用所述深度图像的各所述深度像素点对应的所述颜色值,重新组成与所述深度图像对齐的目标彩色图像。
在一个可选的实施方式中,所述坐标、景深值转换子模块具体用于:
将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式,获取所述第一齐次转换公式输出的世界坐标系下的三维坐标;
其中,所述第一齐次转换公式包括:
Figure BDA0003308844150000111
Figure BDA0003308844150000112
所述Kd包括图像采集设备中深度感光模块的内参矩阵,所述Tw2d包括所述深度感光模块的外参矩阵,由旋转矩阵Rw2d和偏移向量tw2d组成,所述深度像素点的像素坐标包括(所述ud,所述vd),所述zc包括所述景深值,所述三维坐标包括(所述xw,所述yw,所述zw)。
在一个可选的实施方式中,所述坐标转换子模块具体用于:
将所述三维坐标输入至第二齐次转换公式,获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标;
其中,所述第二齐次转换公式包括:
Figure BDA0003308844150000113
Figure BDA0003308844150000114
所述Kc包括图像采集设备中彩色感光模块的内参矩阵,所述Tw2c包括所述彩色感光模块的外参矩阵,由旋转矩阵Rw2c和偏移向量tw2c组成,所述三维坐标包括(所述xw,所述yw,所述zw),所述深度像素点的目标像素坐标包括(所述uc,所述vc)。
在一个可选的实施方式中,所述区域确定模块具体用于:
确定所述目标彩色图像中用户通过画线工具勾勒的轮廓线,确定所述轮廓线内区域为人脸面部区域。
在一个可选的实施方式中,所述矩阵获取模块具体用于:
将所述目标彩色图像中所述人脸面部区域设置为非零,将所述目标彩色图像中非所述人脸面部区域设置为零,以将所述目标彩色图像转换为人脸面部掩码矩阵。
在一个可选的实施方式中,所述图像处理模块具体包括:
图像读取子模块,用于以矩阵形式读取所述深度图像,以获取所述深度图像对应的深度矩阵;
矩阵处理子模块,用于对所述深度矩阵以及所述人脸面部掩码矩阵进行处理,得到目标深度图像。
在一个可选的实施方式中,所述矩阵处理子模块具体用于:
将所述深度矩阵以及所述人脸面部掩码矩阵输入至预设矩阵运算公式,获取所述预设矩阵运算公式输出的目标深度矩阵;
确定所述目标深度矩阵对应的图像为目标深度图像,其中,所述目标深度图像中非人脸面部区域的像素点的景深值归零;
其中,所述预设矩阵运算公式包括:
MDepth′=Mface*MDepth
所述MDepth′包括所述目标深度矩阵,所述Mface包括人脸面部掩码矩阵,所述MDepth包括所述深度矩阵。
在一个可选的实施方式中,所述点云获取模块具体用于:
确定所述目标深度图像中各景深值非零的像素点,针对任一所述景深值非零的像素点,获取所述景深值非零的像素点的像素坐标及景深值;
将所述景深值非零的像素点的像素坐标及景深值,通过第一齐次转换公式转换成所述景深值非零的像素点对应的世界坐标系下的三维坐标;
确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点;
由各所述景深值非零的像素点各自对应的所述三维点,组成所述视角方向下目标人脸的人脸点云。
在一个可选的实施方式中,所述点云确定模块具体包括:
质心确定子模块,用于确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心;
点云确定子模块,用于根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云;
点云选取子模块,用于从n个所述视角方向下目标人脸的中间人脸点云中,选取姿态参考点云,所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云;
点云配准子模块,用于利用所述姿态参考点云,对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个所述视角方向下目标人脸的转换点云;
点云融合子模块,用于利用预设人脸基准点云,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
在一个可选的实施方式中,所述质心确定子模块具体用于:
针对任一所述视角方向下目标人脸的所述人脸点云,获取所述人脸点云中所有点的空间坐标的平均值,确定所述平均值为所述人脸点云的质心。
在一个可选的实施方式中,所述点云确定子模块具体用于:
针对任一所述视角方向下目标人脸的所述人脸点云,将所述人脸点云中每个点的空间坐标减去质心,得到所述视角方向下目标人脸的中间人脸点云。
在一个可选的实施方式中,所述点云配准子模块具体包括:
点选取单元,用于针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云,从所述剩余中间人脸点云中选取m个点;
点查找单元,用于利用预设的KD-tree算法,从所述姿态参考点云中查找m个点各自对应的最近邻点;
集合组成单元,用于由m个点及m个点各自对应的所述最近邻点组成m对最近点对,由m对最近点对组成最近点对集合;
矩阵、向量确定单元,用于根据所述最近点对集合,确定目标旋转矩阵和目标偏移向量;
点云转换单元,用于利用所述目标旋转矩阵和所述目标偏移向量,对所述剩余中间人脸点云进行转换,得到所述视角方向下目标人脸的初始转换点云;
转换误差确定单元,用于确定所述姿态参考点云与所述初始转换点云之间的转换误差;
点云确定单元,用于根据所述转换误差,确定所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中,所述矩阵、向量确定单元具体用于:
将所述最近点对集合中的m对最近点对输入至预设矩阵构建公式,获取所述预设矩阵构建公式输出的构建矩阵;
对所述构建矩阵进行SVD分解,获取第一特征值和第二特征值,将所述第一特征值和所述第二特征值输入至预设旋转矩阵运算公式,获取所述预设旋转矩阵运算公式输出的目标旋转矩阵;
将所述目标旋转矩阵、所述姿态参考点云的质心及所述剩余中间人脸点云的质心输入至预设偏移向量运算公式,获取所述预设偏移向量运算公式输出的目标偏移向量。
在一个可选的实施方式中,所述预设矩阵构建公式包括:
Figure BDA0003308844150000151
所述W包括所述构建矩阵,所述NH包括所述最近点对集合中最近点对的数量,所述qi和所述pi包括所述最近点对集合中最近点对;
所述预设旋转矩阵运算公式包括:
R=UVT
所述R包括所述目标旋转矩阵,所述U包括所述第一特征值,所述VT包括所述第二特征值;
所述预设偏移向量运算公式包括:
t=μp-Rμq
所述t包括所述目标偏移向量,所述μp包括所述姿态参考点云的质心,所述R包括所述目标旋转矩阵,所述μq包括所述剩余中间人脸点云的质心。
在一个可选的实施方式中,所述点云转换单元具体用于:
将所述目标旋转矩阵、所述目标偏移向量及所述剩余中间人脸点云输入至点云转换公式;
获取所述点云转换公式输出的所述视角方向下目标人脸的初始转换点云,其中,所述点云转换公式包括:
Q′={Rq+t|q∈Q};
所述Q′包括所述初始转换点云,所述Q包括所述剩余中间人脸点云,所述t包括所述目标偏移向量,所述R包括所述目标旋转矩阵。
在一个可选的实施方式中,所述转换误差确定单元具体用于:
将所述姿态参考点云与所述初始转换点云输入至预设姿态差异运算公式;
获取所述预设姿态差异运算公式输出的所述姿态参考点云与所述初始转换点云之间的姿态差异,确定所述姿态差异为转换误差;
其中,所述预设姿态差异运算公式包括:
Figure BDA0003308844150000161
所述Q′包括所述初始转换点云,所述P包括所述姿态参考点云。
在一个可选的实施方式中,所述点云确定单元具体用于:
若所述转换误差小于预设第一阈值,确定所述初始转换点云为所述视角方向下目标人脸的转换点云;
若所述转换误差未小于所述预设第一阈值,跳转至所述从所述剩余中间人脸点云中选取m个点的步骤,直至迭代次数达到预设次数,输出所述视角方向下目标人脸的转换点云。
在一个可选的实施方式中,所述点云融合子模块具体包括:
点云合并单元,用于将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并,得到完整人脸点云;
点云组成单元,用于从所述完整人脸点云中选取多个点组成验证点云;
形状差异确定单元,用于确定所述验证点云与预设人脸基准点云之间的形状差异;
点云融合单元,用于根据所述形状差异,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
在一个可选的实施方式中,所述形状差异确定单元具体用于:
获取所述验证点云与预设人脸基准点云之间的倒角距离,确定所述倒角距离为所述验证点云与预设人脸基准点云之间的形状差异。
在一个可选的实施方式中,所述点云融合单元具体包括:
点云融合子单元,用于若所述形状差异小于预设第二阈值,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云;
跳转子单元,用于若所述形状差异未小于所述预设第二阈值,跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在一个可选的实施方式中,所述点云融合子单元具体用于:
若接收到用户的形状确认指令,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云;
若接收到用户的形状错误指令,调整所述预设第二阈值,跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
在本发明实施例的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面中所述的三维人脸模型重建方法。
在本发明实施例的第四方面,还提供了一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面中所述的三维人脸模型重建方法。
在本发明实施例的第五方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面中所述的三维人脸模型重建方法。
本发明实施例提供的技术方案,获取n个视角方向下目标人脸的图像对,其中,图像对包括彩色图像和深度图像,针对任一视角方向下目标人脸的图像对,根据图像对中的彩色图像和深度图像,确定与深度图像对齐的目标彩色图像,确定目标彩色图像中人脸面部区域,并根据人脸面部区域,将目标彩色图像转换为人脸面部掩码矩阵,利用人脸面部掩码矩阵,对深度图像进行处理得到目标深度图像,将目标深度图像转换为视角方向下目标人脸的人脸点云,根据n个视角方向下目标人脸的人脸点云,确定目标人脸点云,并对目标人脸点云进行曲面重建,得到三维人脸模型。如此相较于先获取原始点云,依据人工的方式编辑原始点云,以去除多余点得到人脸点云,通过确定目标彩色图像中人脸面部区域,从而生成人脸面部掩码矩阵,利用人脸面部掩码矩阵对深度图像进行处理得到目标深度图像,将目标深度图像转换为人脸点云,可以更便捷、更高效地得到人脸点云。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中示出的一种三维人脸模型重建方法的实施流程示意图;
图2为本发明实施例中示出的一种获取不同视角方向下模特人脸的图像对的示意图;
图3为本发明实施例中示出的另一种获取不同视角方向下模特人脸的图像对的示意图;
图4为本发明实施例中示出的一种人脸面部区域视觉表现示意图;
图5为本发明实施例中示出的一种人工勾勒人脸面部区域的示意图;
图6为本发明实施例中示出的一种人脸面部掩码矩阵的示意图;
图7为本发明实施例中示出的一种曲面重建算法示意图;
图8为本发明实施例中示出的一种确定目标人脸点云方法的实施流程示意图;
图9为本发明实施例中示出的一种对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准的实施流程示意图;
图10为本发明实施例中示出的一种对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合的实施流程示意图;
图11为本发明实施例中示出的一种三维人脸模型重建装置的结构示意图;
图12为本发明实施例中示出的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,为本发明实施例提供的一种三维人脸模型重建方法的实施流程示意图,该方法可以应用于处理器,具体可以包括以下步骤:
S101,获取n个视角方向下目标人脸的图像对,其中,所述图像对包括彩色图像和深度图像。
在本发明实施例中,由于人脸是立体的,隆起的部分会产生遮挡,为了剔除遮挡的影响,需要从不同视角方向采集人脸,即n(n为正整数,且≥1)个视角方向采集人脸。
相应的建模对象是人脸,图像采集设备(例如消费级摄像头)须与拍摄对象处于同一水平面,相应的采集次数越多,即n越大,越有利于后续操作的精度。
基于此,在本发明实施例中,获取n个视角方向下目标人脸的图像对,其中,图像对包括彩色图像和深度图像,意味着每个视角方向下目标人脸的图像对均包括彩色图像和深度图像。
其中,在本发明实施例中,具体可以获取以下方式获取n个视角方向下目标人脸的图像对:以目标人脸为中轴,在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转,以及在每次控制图像采集设备旋转预设的旋转角度之后,调用图像采集设备采集目标人脸的图像对。如此通过调整图像采集设备的位姿(即图像采集设备在拍摄空间中的方位),可以获取n个视角方向下目标人脸的图像对。
例如,以单个消费级摄像头为例,如图2所示,以模特人脸(即正脸)为中轴,在最大120°范围内控制消费级摄像头按照15°的旋转角度(沿着导轨)进行旋转,意味着每15°消费级摄像头旋转一次,以及在每次控制消费级摄像头按照15°的旋转角度(沿着导轨)进行旋转之后,调用消费级摄像头采集模特人脸的图像对。如此可以获取120/15=8个视角方向下模特人脸的图像对。
其中,在本发明实施例中,具体还可以获取以下方式获取n个视角方向下目标人脸的图像对:以目标人脸为中轴,在预设角度范围内n个视角方向上分别设置图像采集设备;同步调用n个视角方向上的图像采集设备,获取n个视角方向下目标人脸的图像对。
例如,以3个消费级摄像头为例,如图3所示,以模特人脸(即正脸)为中轴,在最大120°范围内3个视角方向上分别设置消费级摄像头,同步调用这3个消费级摄像头,获取3个视角方向下模特人脸的图像对。如此通过3个摄像头依然可以获取3个视角方向下目标人脸的图像对。
需要说明的是,对于图像采集设备,通常指的是消费级摄像头,消费级摄像头中包括2个感光模块,即彩色感光模块和深度感光模块,如此可以采集图像对,即彩色图像(RGB图像)和深度图像(Depth图像),本发明实施例对此不作限定。
S102,针对任一视角方向下目标人脸的所述图像对,根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像。
S103,确定所述目标彩色图像中人脸面部区域,并根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵。
S104,利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像,将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云。
对于n个视角方向下目标人脸的图像对,在本发明实施例中,针对任一视角方向下目标人脸的图像对,根据该图像对中的彩色图像和深度图像,确定与深度图像对齐的目标彩色图像,确定目标彩色图像中人脸面部区域,并根据人脸面部区域,将目标彩色图像转换为人脸面部掩码矩阵,利用人脸面部掩码矩阵,对深度图像进行处理得到目标深度图像,将目标深度图像转换为该视角方向下目标人脸的人脸点云。
例如,以第i(i=1,2,3……,n)个视角方向下目标人脸的图像对,根据该图像对中的RGB图像和Depth图像,确定与Depth图像对齐的目标彩色图像,即RGB′图像,其图像大小与Depth图像一致,确定RGB′图像中人脸面部区域,并根据人脸面部区域,将RGB′图像转换为人脸面部掩码矩阵,即将人工勾勒结果转换为人脸面部掩码矩阵,利用人脸面部掩码矩阵,对Depth图像进行处理得到目标深度图像,即Depth’图像,将Depth’图像转换为第i个视角方向下目标人脸的人脸点云。如此可以得到n个视角方向下目标人脸的人脸点云。
其中,在本发明实施例中,根据图像对中的彩色图像和深度图像,具体通过以下方式确定与深度图像对齐的目标彩色图像:针对图像对中深度图像的任一深度像素点,将该深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标;将三维坐标转换为该深度像素点的目标像素坐标,该深度像素点的目标像素坐标对应于图像对中彩色图像的彩色像素点;从彩色图像的彩色像素点中,确定与该深度像素点的目标像素坐标对应的目标彩色像素点;获取目标彩色像素点对应的颜色值,将颜色值赋予该深度像素点;利用深度图像的各深度像素点对应的颜色值,重新组成与深度图像对齐的目标彩色图像。
对于图像对,针对图像对中深度图像的任一深度像素点,将该深度像素点的像素坐标及景深值输入至第一齐次转换公式,获取第一齐次转换公式输出的世界坐标系下的三维坐标,如此完成该深度像素点的像素坐标及景深值的转换,转换为世界坐标系下的三维坐标。
例如,针对图像对中Depth图像的任一深度像素点,将该深度像素点的像素坐标(ud,vd)及景深值zc输入至第一齐次转换公式,获取第一齐次转换公式输出的世界坐标系下的三维坐标,其中,第一齐次转换公式包括:
Figure BDA0003308844150000221
Figure BDA0003308844150000222
所述Kd包括图像采集设备中深度感光模块的内参矩阵,其大小可以为3x3,通过图像采集设备接口读取或手动标定获得,所述Tw2d包括所述深度感光模块的外参矩阵,其大小为4x4,是世界坐标系到深度感光模块的欧式变换矩阵,由3x3大小的旋转矩阵Rw2d和偏移向量tw2d组成,两者均可以通过手动标定获得,所述深度像素点的像素坐标包括(所述ud,所述vd),所述zc包括所述景深值,所述三维坐标包括(所述xw,所述yw,所述zw)。
对于世界坐标系下的三维坐标,将该世界坐标系下的三维坐标输入至第二齐次转换公式,获取第二齐次转换公式输出的深度像素点的目标像素坐标,如此将世界坐标系下的三维坐标转换为深度像素点的目标像素坐标,深度像素点的目标像素坐标实质就是彩色图像中彩色像素点的像素坐标,即深度像素点的目标像素坐标对应于图像对中彩色图像的彩色像素点。
例如,针对世界坐标系下的三维坐标,将该世界坐标系下的三维坐标输入至第二齐次转换公式,获取第二齐次转换公式输出的深度像素点的目标像素坐标,深度像素点的目标像素坐标对应于图像对中彩色图像的彩色像素点,深度像素点的目标像素坐标即RGB图像中彩色像素点的像素坐标(uc,vc),其中,第二齐次转换公式包括:
Figure BDA0003308844150000231
Figure BDA0003308844150000232
所述Kc包括图像采集设备中彩色感光模块的内参矩阵,矩阵大小可以为3x3,可以通过图像采集设备接口读取或手动标定获得,所述Tw2c包括所述彩色感光模块的外参矩阵,矩阵大小为4x4,是世界坐标系到彩色感光模块的欧式变换矩阵,由3x3大小的旋转矩阵Rw2c和偏移向量tw2c组成,两者均可以通过手动标定获得,所述三维坐标包括(所述xw,所述yw,所述zw),所述深度像素点的目标像素坐标包括(所述uc,所述vc)。
在本发明实施例中,深度像素点的目标像素坐标即彩色图像中彩色像素点的像素坐标,即对应于图像对中彩色图像的彩色像素点,如此可以从彩色图像的彩色像素点中,确定与深度像素点的目标像素坐标对应的目标彩色像素点,获取目标彩色像素点对应的颜色值,将颜色值赋予深度像素点。如此在彩色图像中找到深度图像中每一个深度像素点对应的颜色值,使得深度图像中每个深度像素点都有对应的颜色值和景深值,后续利用深度图像的各深度像素点对应的颜色值,重新组成与深度图像对齐的目标彩色图像,称之为RGB′图像,其图像大小与Depth图像一致。在像素点层面对齐的RGB′图像和Depth图像,称之为RGB’-D数据。
对于目标彩色图像,用户可以使用画线工具在目标彩色图像上人工勾勒出人脸面部区域,由此本发明实施例可以确定目标彩色图像中用户通过画线工具勾勒的轮廓线,确定轮廓线内区域为人脸面部区域。其中,对于人工勾勒的轮廓线上像素点的像素坐标,可以组成一个集合进行保存。
需要说明的是,对于人脸面部区域,通常人脸面部区域的范围定义为“左耳根(不含左耳)、发际线、右耳根(不含右耳)、下巴外延围住的区域”,其视觉表现如图4所示,用户可以参照图4将目标彩色图像,即RGB′图像中的人脸面部区域使用画线工具勾勒出来,其中会产生轮廓线,如图5所示。
对于人工勾勒结果,即人工勾勒出来的目标彩色图像中人脸面部区域,将目标彩色图像中人脸面部区域设置为非零,将目标彩色图像中非人脸面部区域设置为零,以将目标彩色图像转换为人脸面部掩码矩阵。
例如,对于人工勾勒出来的RGB′图像中的人脸面部区域,将RGB′图像中人脸面部区域设置为1,将RGB′图像中非人脸面部区域设置为0,以将RGB′图像转换为人脸面部掩码矩阵,意味着将人工勾勒结果转化为由0、1组成的人脸面部掩码矩阵Mface,其中0表示非人脸面部区域,1表示人脸面部区域。矩阵Mface的形状与RGB’-D的Depth图像一样,如图6所示。
对于图像对中深度图像,以矩阵形式读取深度图像,以获取深度图像对应的深度矩阵,对深度矩阵以及人脸面部掩码矩阵进行处理,得到目标深度图像。如此利用人脸面部掩码矩阵,对深度图像进行处理得到目标深度图像。
其中,将深度图像以矩阵形式读取为深度矩阵后,可以通过求矩阵的哈马达积,将深度图像中非人脸面部区域深度像素点的景深值归零,得到目标深度矩阵,确定所述目标深度矩阵对应的图像为目标深度图像,如此目标深度图像中非人脸面部区域的像素点的景深值归零。
例如,将Depth图像以矩阵形式读取为深度矩阵MDepth后,将MDepth以及Mface输入至预设矩阵运算公式,获取所述预设矩阵运算公式输出的目标深度矩阵MDepth′,MDepth′对应的图像为目标深度图像,即Depth’图像,Depth’图像和RGB′图像一起构成RGB’-D’数据,其中,预设矩阵运算公式包括:
MDepth′=Mface*MDepth
所述MDepth′包括所述目标深度矩阵,所述Mface包括人脸面部掩码矩阵,所述MDepth包括所述深度矩阵。
需要说明的是,经过上述步骤的处理,使得后续在将目标深度图像转换为视角方向下目标人脸的人脸点云的过程中,直接根据zw坐标是否为0来去除原始点云数据中与本发明所关注的真人表情建模任务不相干的背景、头发、耳朵、脖子、躯干等区域,留下了干净的、与真人表情强相关的人脸区域,有利于降低后续点云配准的难度。
对于目标深度图像,确定目标深度图像中各景深值非零的像素点,针对任一景深值非零的像素点,获取景深值非零的像素点的像素坐标及景深值;将景深值非零的像素点的像素坐标及景深值,通过第一齐次转换公式转换成景深值非零的像素点对应的世界坐标系下的三维坐标;确定景深值非零的像素点对应的世界坐标系下的三维坐标为景深值非零的像素点对应的三维点;由各景深值非零的像素点各自对应的三维点,组成视角方向下目标人脸的人脸点云。
例如,对于Depth’图像,确定Depth’图像中各景深值非零的像素点,针对任一景深值非零的像素点,获取该景深值非零的像素点的像素坐标(ud,vd)及景深值zc,将该景深值非零的像素点的像素坐标(ud,vd)及景深值zc,通过上述第一齐次转换公式转换成景深值非零的像素点对应的世界坐标系下的三维坐标(xw,yw,zw),从而将平面上的像素点转换成空间中的三维点,如此可以得到各景深值非零的像素点各自对应的三维点,由各景深值非零的像素点各自对应的三维点,组成视角方向下目标人脸的人脸点云,而每个三维点的颜色值可以从上述RGB′图像中对应的像素点获得。
S105,根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云,并对所述目标人脸点云进行曲面重建,得到三维人脸模型。
如此经过上述步骤,可以得到每个视角方向下目标人脸的人脸点云,从而可以根据n个视角方向下目标人脸的人脸点云,确定目标人脸点云,并对目标人脸点云进行曲面重建,得到三维人脸模型。
需要说明的是,在得到期望的完整人脸的点云后,即目标人脸点云,需要进行曲面重建,恢复其几何形状,从而变成一个三维人脸模型。以德劳内三角重建为例,一个可行的曲面重建算法如图7所示。当然,描述的三角重建只是最常见的一种重建方式,除了三角形,还可以是用四边形、五边形来表示曲面,在本发明所针对的人脸重建场景中,三角重建是最优选。
其中,在本发明实施例中,如图8所示,为本发明实施例提供的一种确定目标人脸点云方法的实施流程示意图,该方法硬应用于处理器,具体可以包括以下步骤:
S801,确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心,根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云。
在本发明实施例中,对于n个视角方向下目标人脸的人脸点云,确定n个视角方向下目标人脸的人脸点云各自对应的质心(即质心坐标)。其中,针对任一视角方向下目标人脸的人脸点云,获取人脸点云中所有点的空间坐标的平均值,确定平均值为人脸点云的质心。
例如,n个视角方向下目标人脸的人脸点云组成点云集合C,对于点云集合C中的点云ci,点云ci对应于n个视角方向下目标人脸的人脸点云中任一视角方向下目标人脸的人脸点云,其质心ui为点云ci中所有点空间坐标的平均值,获取点云ci中所有点空间坐标的平均值,确定平均值为点云ci的质心。其中,计算公式如下,式中Ni是点云ci所包含点的数量,pj是点云ci中第j个点的空间坐标。
Figure BDA0003308844150000261
此外,在确定n个视角方向下目标人脸的人脸点云各自对应的质心之后,可以根据该质心确定n个视角方向下目标人脸的中间人脸点云。其中,针对任一视角方向下目标人脸的人脸点云,将人脸点云中每个点的空间坐标减去(该人脸点云对应的)质心,得到该视角方向下目标人脸的中间人脸点云。如此操作,使得所有点云统一到以质心为其坐标系原点的质心坐标系中,方便后续以SVD算法计算目标旋转矩阵R和目标偏移向量t。
例如,点云ci对应于n个视角方向下目标人脸的人脸点云中任一视角方向下目标人脸的人脸点云,将点云ci中的每个点pj减去点云ci对应的质心ui,所得到的新点云c′i,新点云c′i即该视角方向下目标人脸的中间人脸点云,由此可以组成一个新的点云集合Cμ。其中,计算公式如下:
c′i={pj-ui|pj∈ci}={p′j}。
S802,从n个所述视角方向下目标人脸的中间人脸点云中,选取姿态参考点云,所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云。
对于n个视角方向下目标人脸的中间人脸点云,从n个视角方向下目标人脸的中间人脸点云中,选取姿态参考点云,其中,姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云。
例如,对于n个视角方向下目标人脸的中间人脸点云,组成点云集合Cμ,从点云集合Cμ中选取正脸视角方向下目标人脸的中间人脸点云,作为姿态参考点云,即姿态参考点云P。
S803,利用所述姿态参考点云,对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个所述视角方向下目标人脸的转换点云。
在本发明实施例中,姿态参考点云即正脸视角方向下目标人脸的中间人脸点云,如此还有n-1个视角方向下目标人脸的剩余中间人脸点云,从而可以利用姿态参考点云,对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个视角方向下目标人脸的转换点云。
需要说明的是,利用姿态参考点云,对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个视角方向下目标人脸的转换点云,其目的是为了使它们(n-1个视角方向下目标人脸的剩余中间人脸点云)的空间姿态基本保持一致。
其中,如图9所示,为本发明实施例提供的一种对n-1个视角方向下目标人脸的剩余中间人脸点云进行配准的实施流程示意图,该方法具体可以应用于处理器,可以包括以下步骤:
S901,针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云,从所述剩余中间人脸点云中选取m个点。
在本发明实施例中,对于n-1个视角方向下目标人脸的剩余中间人脸点云,针对任一视角方向下目标人脸的剩余中间人脸点云,从该剩余中间人脸点云中(随机)选取m个点。
例如,对于n-1个视角方向下目标人脸的剩余中间人脸点云,针对任一视角方向下目标人脸的剩余中间人脸点云Q(Q属于点云集合Cμ),从该剩余中间人脸点云Q中随机选取m个点。
S902,利用预设的KD-tree算法,从所述姿态参考点云中查找m个点各自对应的最近邻点。
在本发明实施例中,对于姿态参考点云,在其上建立KD-tree数据结构,存储其所有点的空间坐标,从而利用预设的KD-tree算法,即借助于KD-tree的特性,从姿态参考点云中查找m个点各自对应的最近邻点,即从姿态参考点云中查找(m个点中)每个点对应的最近邻点。
例如,在姿态参考点云P上建立KD-tree数据结构,存储其所有点的空间坐标,对于从剩余中间人脸点云Q(Q属于点云集合Cμ)中随机选取的m个点,利用预设的KD-tree算法,即借助于KD-tree的特性,从姿态参考点云中查找m个点各自对应的最近邻点。
S903,由m个点及m个点各自对应的所述最近邻点组成m对最近点对,由m对最近点对组成最近点对集合。
对于上述m个点,以及m个点各自对应的最近邻点,由此可以组成m对最近点对,由m对最近点对组成最近点对集合。
例如,对于上述m个点,以及m个点各自对应的最近邻点,由此可以组成m对最近点对,由m对最近点对组成最近点对集合H,如下所示。
H={(pi,qi)|pi∈P,qi∈Q,1≤i≤m}。
S904,根据所述最近点对集合,确定目标旋转矩阵和目标偏移向量。
在本发明实施例中,对于上述得到的最近点对集合,可以根据最近点对集合,确定目标旋转矩阵和目标偏移向量。
其中,将最近点对集合中的m对最近点对输入至预设矩阵构建公式,获取预设矩阵构建公式输出的构建矩阵。
对构建矩阵进行SVD分解,获取第一特征值和第二特征值,将第一特征值和第二特征值输入至预设旋转矩阵运算公式,获取预设旋转矩阵运算公式输出的目标旋转矩阵。
将目标旋转矩阵、姿态参考点云的质心及剩余中间人脸点云的质心输入至预设偏移向量运算公式,获取预设偏移向量运算公式输出的目标偏移向量。
例如,构建3x3大小的构建矩阵W用于做SVD分解,将最近点对集合中的m对最近点对输入至预设矩阵构建公式,获取预设矩阵构建公式输出的构建矩阵,其中,预设矩阵构建公式包括:
Figure BDA0003308844150000291
所述W包括所述构建矩阵,所述NH包括所述最近点对集合中最近点对的数量,所述qi和所述pi包括所述最近点对集合中最近点对。
对构建矩阵W进行SVD分解,获取第一特征值U和第二特征值VT,σ1、σ2、σ3为特征值,计算公式如下所示:
Figure BDA0003308844150000292
将第一特征值U和第二特征值VT输入至预设旋转矩阵运算公式,获取预设旋转矩阵运算公式输出的目标旋转矩阵R,其中,预设旋转矩阵运算公式包括:
R=UVT
所述R包括所述目标旋转矩阵,所述U包括所述第一特征值,所述VT包括所述第二特征值。
将目标旋转矩阵R、姿态参考点云P的质心及剩余中间人脸点云Q的质心输入至预设偏移向量运算公式,获取预设偏移向量运算公式输出的目标偏移向量t,其中,预设偏移向量运算公式包括:
t=μp-Rμq
所述t包括所述目标偏移向量,所述μp包括所述姿态参考点云的质心,所述R包括所述目标旋转矩阵,所述μq包括所述剩余中间人脸点云的质心。
如此经过上述步骤,针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云,均可以得到各自对应的目标旋转矩阵和目标偏移向量。
S905,利用所述目标旋转矩阵和所述目标偏移向量,对所述剩余中间人脸点云进行转换,得到所述视角方向下目标人脸的初始转换点云。
在本发明实施例中,针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云,可以利用剩余中间人脸点云对应的目标旋转矩阵和目标偏移向量,对剩余中间人脸点云进行转换,得到该视角方向下目标人脸的初始转换点云。
例如,针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云Q,可以利用剩余中间人脸点云Q对应的目标旋转矩阵R和目标偏移向量t,对剩余中间人脸点云Q进行转换,得到该视角方向下目标人脸的初始转换点云。
其中,针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云,将剩余中间人脸点云对应的目标旋转矩阵和目标偏移向量输入至点云转换公式,获取点云转换公式输出的视角方向下目标人脸的初始转换点云,其中,点云转换公式包括:
Q′={Rq+t|q∈Q};
所述Q′包括所述初始转换点云,所述Q包括所述剩余中间人脸点云,所述t包括所述目标偏移向量,所述R包括所述目标旋转矩阵。
例如,针对n-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云Q,可以将剩余中间人脸点云Q对应的目标旋转矩阵R和目标偏移向量t输入至上式,获取点云转换公式输出的视角方向下目标人脸的初始转换点云Q′,如此通过上式对剩余中间人脸点云Q进行转换,所得初始转换点云Q′的空间姿态向姿态参考点云P靠拢,即向正脸视角方向靠拢。
S906,确定所述姿态参考点云与所述初始转换点云之间的转换误差,根据所述转换误差,确定所述视角方向下目标人脸的转换点云。
针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云,在本发明实施例中,确定姿态参考点云与该初始转换点云之间的(点云)转换误差,根据转换误差,可以确定该视角方向下目标人脸的转换点云。
其中,针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云,可以将姿态参考点云与初始转换点云输入至预设姿态差异运算公式,获取预设姿态差异运算公式输出的姿态参考点云与初始转换点云之间的姿态差异,确定姿态差异为转换误差。
例如,针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云Q′,可以将初始转换点云Q′和姿态参考点云P输入至预设姿态差异运算公式,获取预设姿态差异运算公式输出的初始转换点云Q′和姿态参考点云P之间的姿态差异,作为(点云)转换误差L,其中,预设姿态差异运算公式包括:
Figure BDA0003308844150000311
所述Q′包括所述初始转换点云,所述P包括所述姿态参考点云。
此外,针对n-1个视角方向中任一视角方向下目标人脸的初始转换点云,在本发明实施例中,确定姿态参考点云与该初始转换点云之间的(点云)转换误差,若转换误差小于预设第一阈值,确定初始转换点云为视角方向下目标人脸的转换点云。
若转换误差未小于预设第一阈值,跳转至从剩余中间人脸点云中选取m个点的步骤,直至迭代次数达到预设次数,输出视角方向下目标人脸的转换点云。具体地,若转换误差未小于预设第一阈值,首先判断迭代次数是否达到预设次数,若达到,确定初始转换点云为视角方向下目标人脸的转换点云,若未达到,则跳转至从剩余中间人脸点云中选取m个点的步骤,直至迭代次数达到预设次数,输出视角方向下目标人脸的转换点云。
S804,利用预设人脸基准点云,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
在本发明实施例中,引入了预设人脸基准点云,通过人脸基准点云对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
需要说明的是,对于人脸基准点云,可以是男性或者女性的人脸基准点云,具体可以获取一个开源的基准三维模型,截取其中人脸部分作为人脸基准点云,本发明实施例对此不作限定。
其中,如图10所示,为本发明实施例提供的一种对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合的实施流程示意图,该方法具体用于处理器,可以包括以下步骤:
S1001,将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并,得到完整人脸点云。
在本发明实施例中,对于姿态参考点云,以及n-1视角方向下目标人脸的转换点云,将两者进行合并,从而可以得到完整人脸点云。
例如,对于姿态参考点云P,以及n-1视角方向下目标人脸的转换点云Q’,将两者进行合并,从而可以得到完整人脸点云M。
需要说明的是,对于完整人脸点云,可以是一个包含完整人脸的点云,本发明实施例对此不作限定。
S1002,从所述完整人脸点云中选取多个点组成验证点云,确定所述验证点云与预设人脸基准点云之间的形状差异。
对于完整人脸点云,从该完整人脸点云中选取多个点组成验证点云,确定验证点云与预设人脸基准点云之间的形状差异。
例如,对于完整人脸点云M,从该完整人脸点云M中随机选择多个点组成验证点云m,确定验证点云m与预设人脸基准点云B之间的形状差异。
其中,在本发明实施例中,具体通过以下方式确定验证点云与预设人脸基准点云之间的形状差异:获取验证点云与预设人脸基准点云之间的倒角距离,确定倒角距离为验证点云与预设人脸基准点云之间的形状差异。
需要说明的是,在本发明实施例中,还可以获取验证点云与预设人脸基准点云之间的下述之一:L1、L2、L1的变形、L2的变形,用于描述验证点云与预设人脸基准点云之间的形状差异,本发明实施例对此不作限定。
例如,在本发明实施例中,采用Chamfer Distance倒角距离作为形状差异E的具体度量,获取验证点云m与人脸基准点云B之间的倒角距离,确定倒角距离为验证点云m与人脸基准点云B之间的形状差异E。
其计算公式如下,式中Nm和NB分别为下采样后的验证点云m和人脸基准点云B的大小(即其中元素数量),式中第一项为验证点云m中任意一点到基准点云B最小距离之和的平均,第二项为基准点云B中任意一点到验证点云m最小距离之和的平均,两者结合作为3D空间中的倒角距离,其值越小,两点云之间形状的差异越小。
Figure BDA0003308844150000331
S1003,根据所述形状差异,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
对于验证点云与预设人脸基准点云之间的形状差异,根据该形状差异,对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
其中,若形状差异小于预设第二阈值,对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合,得到目标人脸点云;若形状差异未小于预设第二阈值,跳转至从完整人脸点云中选取多个点组成验证点云的步骤。
具体地,若形状差异小于预设第二阈值,对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行初融合,得到目标人脸点云,用于展示,供用户确认形状是否正常。
若用户确认形状正常,则触发形状确认指令,在接收到用户的形状确认指令的情况下,对姿态参考点云以及n-1个视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
若用户确认形状异常,则触发形状错误指令,在接收到用户的形状错误指令,调整预设第二阈值,跳转至从完整人脸点云中选取多个点组成验证点云的步骤。
例如,若形状差异E小于预设第二阈值c,对姿态参考点云P以及n-1个视角方向下目标人脸的转换点云Q’进行初融合,得到目标人脸点云,用于展示,供用户确认形状是否正常。
若用户确认形状正常,则触发形状确认指令,在接收到用户的形状确认指令的情况下,对姿态参考点云P以及n-1个视角方向下目标人脸的转换点云Q’进行融合,得到目标人脸点云A。
若用户确认形状异常,则触发形状错误指令,在接收到用户的形状错误指令,调整预设第二阈值c,跳转至从完整人脸点云中选取多个点组成验证点云m的步骤。
通过上述对本发明实施例提供的技术方案的描述,获取n个视角方向下目标人脸的图像对,其中,图像对包括彩色图像和深度图像,针对任一视角方向下目标人脸的图像对,根据图像对中的彩色图像和深度图像,确定与深度图像对齐的目标彩色图像,确定目标彩色图像中人脸面部区域,并根据人脸面部区域,将目标彩色图像转换为人脸面部掩码矩阵,利用人脸面部掩码矩阵,对深度图像进行处理得到目标深度图像,将目标深度图像转换为视角方向下目标人脸的人脸点云,根据n个视角方向下目标人脸的人脸点云,确定目标人脸点云,并对目标人脸点云进行曲面重建,得到三维人脸模型。
如此相较于先获取原始点云,依据人工的方式编辑原始点云,以去除多余点得到人脸点云,通过确定目标彩色图像中人脸面部区域,从而生成人脸面部掩码矩阵,利用人脸面部掩码矩阵对深度图像进行处理得到目标深度图像,将目标深度图像转换为人脸点云,可以更便捷、更高效地得到人脸点云。
此外,在本发明实施例中仅仅需要一个或多个图像采集设备(例如消费级摄像头),由此可以获取到n个视角方向下目标人脸的图像对,参与后续的三维人脸模型重建,硬件投入成本低,设备维护简单。
鉴于在本发明实施例中仅仅需要一个或多个图像采集设备(例如消费级摄像头),导致后续采集和处理的点云数据规模一般为千级,相对于采集数万、数十万、数百万点的三维重建,节约大量的计算资源。
在点云配准过程中,加入人脸基准点云作为形状参考,极大地减少了最后进行点云融合时所得结果的形状偏差,如不规则的凸起或凹陷、鼻子形状不正常等,从而实现由低精度的点云数据得到可靠的三维重建精度。
与上述方法实施例相对应,本发明实施例还提供了一种三维人脸模型重建装置,如图11所示,该装置可以包括:图像对获取模块1110、图像确定模块1120、区域确定模块1130、矩阵获取模块1140、图像处理模块1150、点云获取模块1160、点云确定模块1170、点云重建模块1180。
图像对获取模块1110,用于获取n个视角方向下目标人脸的图像对,其中,所述图像对包括彩色图像和深度图像;
图像确定模块1120,用于针对任一视角方向下目标人脸的所述图像对,根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像;
区域确定模块1130,用于确定所述目标彩色图像中人脸面部区域;
矩阵获取模块1140,用于根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵;
图像处理模块1150,用于利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像;
点云获取模块1160,用于将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云;
点云确定模块1170,用于根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云;
点云重建模块1180,用于对所述目标人脸点云进行曲面重建,得到三维人脸模型。
本发明实施例还提供了一种电子设备,如图12所示,包括处理器121、通信接口122、存储器123和通信总线124,其中,处理器121,通信接口122,存储器123通过通信总线124完成相互间的通信,
存储器123,用于存放计算机程序;
处理器121,用于执行存储器123上所存放的程序时,实现如下步骤:
获取n个视角方向下目标人脸的图像对,其中,所述图像对包括彩色图像和深度图像;针对任一视角方向下目标人脸的所述图像对,根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像;确定所述目标彩色图像中人脸面部区域,并根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵;利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像,将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云;根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云,并对所述目标人脸点云进行曲面重建,得到三维人脸模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种存储介质,该存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的三维人脸模型重建方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的三维人脸模型重建方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中,或者从一个存储介质向另一个存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (26)

1.一种三维人脸模型重建方法,其特征在于,所述方法包括:
获取n个视角方向下目标人脸的图像对,其中,所述图像对包括彩色图像和深度图像;
针对任一视角方向下目标人脸的所述图像对,根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像;
确定所述目标彩色图像中人脸面部区域,并根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵;
利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像,将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云;
根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云,并对所述目标人脸点云进行曲面重建,得到三维人脸模型。
2.根据权利要求1所述的方法,其特征在于,所述获取n个视角方向下目标人脸的图像对,包括:
以目标人脸为中轴,在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转;以及
在每次控制所述图像采集设备旋转所述预设的旋转角度之后,调用所述图像采集设备采集目标人脸的图像对;
或者,
以目标人脸为中轴,在预设角度范围内n个视角方向上分别设置图像采集设备;
同步调用n个视角方向上的所述图像采集设备,获取n个视角方向下目标人脸的图像对。
3.根据权利要求1所述的方法,其特征在于,所述根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像,包括:
针对所述图像对中所述深度图像的任一深度像素点,将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标;
将所述三维坐标转换为所述深度像素点的目标像素坐标,所述深度像素点的目标像素坐标对应于所述图像对中所述彩色图像的彩色像素点;
从所述彩色图像的彩色像素点中,确定与所述深度像素点的目标像素坐标对应的目标彩色像素点;
获取所述目标彩色像素点对应的颜色值,将所述颜色值赋予所述深度像素点;
利用所述深度图像的各所述深度像素点对应的所述颜色值,重新组成与所述深度图像对齐的目标彩色图像。
4.根据权利要求3所述的方法,其特征在于,所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标,包括:
将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式,获取所述第一齐次转换公式输出的世界坐标系下的三维坐标;
其中,所述第一齐次转换公式包括:
Figure FDA0003308844140000021
Figure FDA0003308844140000022
所述Kd包括图像采集设备中深度感光模块的内参矩阵,所述Tw2d包括所述深度感光模块的外参矩阵,由旋转矩阵Rw2d和偏移向量tw2d组成,所述深度像素点的像素坐标包括(所述ud,所述vd),所述zc包括所述景深值,所述三维坐标包括(所述xw,所述yw,所述zw)。
5.根据权利要求3所述的方法,其特征在于,所述将所述三维坐标转换为所述深度像素点的目标像素坐标,包括:
将所述三维坐标输入至第二齐次转换公式,获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标;
其中,所述第二齐次转换公式包括:
Figure FDA0003308844140000031
Figure FDA0003308844140000032
所述Kc包括图像采集设备中彩色感光模块的内参矩阵,所述Tw2c包括所述彩色感光模块的外参矩阵,由旋转矩阵Rw2c和偏移向量tw2c组成,所述三维坐标包括(所述xw,所述yw,所述zw),所述深度像素点的目标像素坐标包括(所述uc,所述vc)。
6.根据权利要求1所述的方法,其特征在于,所述确定所述目标彩色图像中人脸面部区域,包括:
确定所述目标彩色图像中用户通过画线工具勾勒的轮廓线,确定所述轮廓线内区域为人脸面部区域。
7.根据权利要求1所述的方法,其特征在于,所述根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵,包括:
将所述目标彩色图像中所述人脸面部区域设置为非零,将所述目标彩色图像中非所述人脸面部区域设置为零,以将所述目标彩色图像转换为人脸面部掩码矩阵。
8.根据权利要求1所述的方法,其特征在于,所述利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像,包括:
以矩阵形式读取所述深度图像,以获取所述深度图像对应的深度矩阵;
对所述深度矩阵以及所述人脸面部掩码矩阵进行处理,得到目标深度图像。
9.根据权利要求8所述的方法,其特征在于,所述对所述深度矩阵以及所述人脸面部掩码矩阵进行处理,得到目标深度图像,包括:
将所述深度矩阵以及所述人脸面部掩码矩阵输入至预设矩阵运算公式,获取所述预设矩阵运算公式输出的目标深度矩阵;
确定所述目标深度矩阵对应的图像为目标深度图像,其中,所述目标深度图像中非人脸面部区域的像素点的景深值归零;
其中,所述预设矩阵运算公式包括:
MDepth′=Mface*MDepth
所述MDepth′包括所述目标深度矩阵,所述Mface包括人脸面部掩码矩阵,所述MDepth包括所述深度矩阵。
10.根据权利要求1所述的方法,其特征在于,所述将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云,包括:
确定所述目标深度图像中各景深值非零的像素点,针对任一所述景深值非零的像素点,获取所述景深值非零的像素点的像素坐标及景深值;
将所述景深值非零的像素点的像素坐标及景深值,通过第一齐次转换公式转换成所述景深值非零的像素点对应的世界坐标系下的三维坐标;
确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点;
由各所述景深值非零的像素点各自对应的所述三维点,组成所述视角方向下目标人脸的人脸点云。
11.根据权利要求1所述的方法,其特征在于,所述根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云,包括:
确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心,根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云;
从n个所述视角方向下目标人脸的中间人脸点云中,选取姿态参考点云,所述姿态参考点云包括正脸视角方向下目标人脸的中间人脸点云;
利用所述姿态参考点云,对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个所述视角方向下目标人脸的转换点云;
利用预设人脸基准点云,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
12.根据权利要求11所述的方法,其特征在于,所述确定n个所述视角方向下目标人脸的所述人脸点云各自对应的质心,包括:
针对任一所述视角方向下目标人脸的所述人脸点云,获取所述人脸点云中所有点的空间坐标的平均值,确定所述平均值为所述人脸点云的质心。
13.根据权利要求11所述的方法,其特征在于,所述根据所述质心确定n个所述视角方向下目标人脸的中间人脸点云,包括:
针对任一所述视角方向下目标人脸的所述人脸点云,将所述人脸点云中每个点的空间坐标减去质心,得到所述视角方向下目标人脸的中间人脸点云。
14.根据权利要求11所述的方法,其特征在于,所述利用所述姿态参考点云,对n-1个所述视角方向下目标人脸的剩余中间人脸点云进行配准,得到n-1个所述视角方向下目标人脸的转换点云,包括:
针对n-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云,从所述剩余中间人脸点云中选取m个点;
利用预设的KD-tree算法,从所述姿态参考点云中查找m个点各自对应的最近邻点;
由m个点及m个点各自对应的所述最近邻点组成m对最近点对,由m对最近点对组成最近点对集合;
根据所述最近点对集合,确定目标旋转矩阵和目标偏移向量;
利用所述目标旋转矩阵和所述目标偏移向量,对所述剩余中间人脸点云进行转换,得到所述视角方向下目标人脸的初始转换点云;
确定所述姿态参考点云与所述初始转换点云之间的转换误差,根据所述转换误差,确定所述视角方向下目标人脸的转换点云。
15.根据权利要求14所述的方法,其特征在于,所述根据所述最近点对集合,确定目标旋转矩阵和目标偏移向量,包括:
将所述最近点对集合中的m对最近点对输入至预设矩阵构建公式,获取所述预设矩阵构建公式输出的构建矩阵;
对所述构建矩阵进行SVD分解,获取第一特征值和第二特征值,将所述第一特征值和所述第二特征值输入至预设旋转矩阵运算公式,获取所述预设旋转矩阵运算公式输出的目标旋转矩阵;
将所述目标旋转矩阵、所述姿态参考点云的质心及所述剩余中间人脸点云的质心输入至预设偏移向量运算公式,获取所述预设偏移向量运算公式输出的目标偏移向量。
16.根据权利要求15所述的方法,其特征在于,所述预设矩阵构建公式包括:
Figure FDA0003308844140000061
所述W包括所述构建矩阵,所述NH包括所述最近点对集合中最近点对的数量,所述qi和所述pi包括所述最近点对集合中最近点对;
所述预设旋转矩阵运算公式包括:
R=UVT
所述R包括所述目标旋转矩阵,所述U包括所述第一特征值,所述VT包括所述第二特征值;
所述预设偏移向量运算公式包括:
t=μp-Rμq
所述t包括所述目标偏移向量,所述μp包括所述姿态参考点云的质心,所述R包括所述目标旋转矩阵,所述μq包括所述剩余中间人脸点云的质心。
17.根据权利要求14所述的方法,其特征在于,所述利用所述目标旋转矩阵和所述目标偏移向量,对所述剩余中间人脸点云进行转换,得到所述视角方向下目标人脸的初始转换点云,包括:
将所述目标旋转矩阵、所述目标偏移向量及所述剩余中间人脸点云输入至点云转换公式;
获取所述点云转换公式输出的所述视角方向下目标人脸的初始转换点云,其中,所述点云转换公式包括:
Q′={Rq+t|q∈Q};
所述Q′包括所述初始转换点云,所述Q包括所述剩余中间人脸点云,所述t包括所述目标偏移向量,所述R包括所述目标旋转矩阵。
18.根据权利要求14所述的方法,其特征在于,所述确定所述姿态参考点云与所述初始转换点云之间的转换误差,包括:
将所述姿态参考点云与所述初始转换点云输入至预设姿态差异运算公式;
获取所述预设姿态差异运算公式输出的所述姿态参考点云与所述初始转换点云之间的姿态差异,确定所述姿态差异为转换误差;
其中,所述预设姿态差异运算公式包括:
Figure FDA0003308844140000071
所述Q′包括所述初始转换点云,所述P包括所述姿态参考点云。
19.根据权利要求14所述的方法,其特征在于,所述根据所述转换误差,确定所述视角方向下目标人脸的转换点云,包括:
若所述转换误差小于预设第一阈值,确定所述初始转换点云为所述视角方向下目标人脸的转换点云;
若所述转换误差未小于所述预设第一阈值,跳转至所述从所述剩余中间人脸点云中选取m个点的步骤,直至迭代次数达到预设次数,输出所述视角方向下目标人脸的转换点云。
20.根据权利要求11所述的方法,其特征在于,所述利用预设人脸基准点云,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云,包括:
将所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行合并,得到完整人脸点云;
从所述完整人脸点云中选取多个点组成验证点云,确定所述验证点云与预设人脸基准点云之间的形状差异;
根据所述形状差异,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云。
21.根据权利要求20所述的方法,其特征在于,所述确定所述验证点云与预设人脸基准点云之间的形状差异,包括:
获取所述验证点云与预设人脸基准点云之间的倒角距离,确定所述倒角距离为所述验证点云与预设人脸基准点云之间的形状差异。
22.根据权利要求20所述的方法,其特征在于,所述根据所述形状差异,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云,包括:
若所述形状差异小于预设第二阈值,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云;
若所述形状差异未小于所述预设第二阈值,跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
23.根据权利要求22所述的方法,其特征在于,所述对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云,包括:
若接收到用户的形状确认指令,对所述姿态参考点云以及n-1个所述视角方向下目标人脸的转换点云进行融合,得到目标人脸点云;
若接收到用户的形状错误指令,调整所述预设第二阈值,跳转至所述从所述完整人脸点云中选取多个点组成验证点云的步骤。
24.一种三维人脸模型重建装置,其特征在于,所述装置包括:
图像对获取模块,用于获取n个视角方向下目标人脸的图像对,其中,所述图像对包括彩色图像和深度图像;
图像确定模块,用于针对任一视角方向下目标人脸的所述图像对,根据所述图像对中的所述彩色图像和所述深度图像,确定与所述深度图像对齐的目标彩色图像;
区域确定模块,用于确定所述目标彩色图像中人脸面部区域;
矩阵获取模块,用于根据所述人脸面部区域,将所述目标彩色图像转换为人脸面部掩码矩阵;
图像处理模块,用于利用所述人脸面部掩码矩阵,对所述深度图像进行处理得到目标深度图像;
点云获取模块,用于将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云;
点云确定模块,用于根据n个所述视角方向下目标人脸的所述人脸点云,确定目标人脸点云;
点云重建模块,用于对所述目标人脸点云进行曲面重建,得到三维人脸模型。
25.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1至23中任一项所述的方法步骤。
26.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至23中任一项所述的方法。
CN202111210763.5A 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质 Pending CN113902850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111210763.5A CN113902850A (zh) 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111210763.5A CN113902850A (zh) 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113902850A true CN113902850A (zh) 2022-01-07

Family

ID=79192427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111210763.5A Pending CN113902850A (zh) 2021-10-18 2021-10-18 三维人脸模型重建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113902850A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN111738988A (zh) * 2020-06-02 2020-10-02 北京三快在线科技有限公司 人脸深度图像生成方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN111738988A (zh) * 2020-06-02 2020-10-02 北京三快在线科技有限公司 人脸深度图像生成方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARIEL_一只猫的旅行: "Chamfer Distance--倒角距离", HTTPS://WWW.CNBLOGS.COM/ARIEL-DREAMLAND/P/13225299.HTML, 2 July 2020 (2020-07-02), pages 1 *
刘克申: "基于 Kinect 的室内三维重建技术研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》, 15 June 2018 (2018-06-15), pages 55 - 56 *
贾贝贝;阮秋琦;: "双目立体视觉的三维人脸重建方法", 智能系统学报, no. 06, 15 December 2009 (2009-12-15) *

Similar Documents

Publication Publication Date Title
Lee et al. From big to small: Multi-scale local planar guidance for monocular depth estimation
US11232286B2 (en) Method and apparatus for generating face rotation image
CN111767866B (zh) 一种人体模型创建方法、装置、电子设备及存储介质
CN108898043A (zh) 图像处理方法、图像处理装置以及存储介质
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN109658497B (zh) 一种三维模型重建方法及装置
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN113902849A (zh) 三维人脸模型重建方法、装置、电子设备及存储介质
CN113902781A (zh) 三维人脸重建方法、装置、设备及介质
CN113902852A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN113902851A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN106462738A (zh) 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN115457176A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN113902853A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN111738202A (zh) 一种关键点识别方法、装置、电子设备及存储介质
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN114463408A (zh) 自由视点图生成方法、装置、设备及存储介质
CN113610969A (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
WO2018036241A1 (zh) 一种年龄群体分类的方法及装置
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
CN107659772A (zh) 3d图像生成方法、装置及电子设备
CN113902855A (zh) 基于摄像头设备的三维人脸重建方法及相关设备
CN113902850A (zh) 三维人脸模型重建方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination