CN113902855A - 基于摄像头设备的三维人脸重建方法及相关设备 - Google Patents

基于摄像头设备的三维人脸重建方法及相关设备 Download PDF

Info

Publication number
CN113902855A
CN113902855A CN202111224238.9A CN202111224238A CN113902855A CN 113902855 A CN113902855 A CN 113902855A CN 202111224238 A CN202111224238 A CN 202111224238A CN 113902855 A CN113902855 A CN 113902855A
Authority
CN
China
Prior art keywords
point cloud
face
cloud data
target
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111224238.9A
Other languages
English (en)
Inventor
刘炫鹏
王鑫宇
刘致远
刘云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202111224238.9A priority Critical patent/CN113902855A/zh
Publication of CN113902855A publication Critical patent/CN113902855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于摄像头设备的三维人脸重建方法及相关设备，涉及计算机技术领域，该方法包括：通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；依据每一视角方向下的采集图像数据进行人脸点云处理，得到人脸点云数据集；依据人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；基于预设的人脸基点云数据，对姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；依据目人脸点云数据进行曲面重建，得到三维人脸模型。本申请利用消费级的摄像头设备完成三维人脸重建，在满足人三维人脸模型所需的模型精度的同时降低成本。

Description

基于摄像头设备的三维人脸重建方法及相关设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于摄像头设备的三维人脸重建方法及相关设备。
背景技术
人脸信息是识别他人身份的重要信息，三维信息在机器视觉的多个领域和方向有着重要的应用。因此，将常见的平面人脸图像立体化就有着显著的意义。
目前，对真人人脸进行三维重建的方法主要有两种方式：第一种方式是搭建单目相机阵列，利用视差原理来实现三维人脸模型重建，但是单目相机阵列的价格昂贵，且需要同步控制单目相机阵列中的所有相机在同一时刻进行拍摄，并且为相机标定次数和提升标定精度，需要固定的拍摄场所，即通过搭建单目相机阵列来实现三维人脸模型重建的种种要求比较严苛，增加了三维人脸模型重建的成本；第二种方式是借助激光扫描仪设备，利用激光测距原理来实现三维人脸模型重建，但是这种方式所采用的激光扫描仪价格同样不菲，增加了三维人脸模型重建的设备投入成本。
发明内容
有鉴于此，本申请提供了一种基于摄像头设备的三维人脸重建方法、装置、设备及介质，以利用消费级的摄像头设备完成三维人脸重建，在满足人三维人脸模型所需的模型精度的同时降低成本。
第一方面，本申请实施例提供了一种基于摄像头设备的三维人脸重建方法，包括：通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集；依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。
可选的，所述通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据，包括：以所述目标对象的正脸为中轴，控制摄像头设备在预设角度范围内进行旋转，且所述摄像头设备与所述目标对象位于同一水平面；当检测到所述摄像头设备旋转至任一预设的视角方向时，控制所述摄像头设备对所述目标对象的目标部分进行拍摄，得到当前的视角方向上所述目标对象的图像采集数据；或者，控制位于N个视角方向上的摄像头设备对所述目标对象的目标部分进行拍摄，得到N个视角方向上所述目标对象的图像采集数据，N大于或等于2。
可选的，所述依据每一视角方向下的图像采集数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集，包括：若所述图像采集数据不是图像对数据，则将所述图像采集数据转换为图像对数据，所述图像对数据包含彩色图像信息和深度图像信息；针对所述每一视角方向下的图像对数据，根据所述图像对数据中的彩色图像信息和深度图像信息，确定与所述深度图像信息对齐的目标彩色图像；基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸点云数据集。
可选的，所述根据所述图像对数据中的所述彩色图像信息和所述深度图像信息，确定与所述深度图像信息对齐的目标彩色图像，包括：针对所述深度图像信息的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对数据中所述彩色图像信息的彩色像素点；从所述彩色图像信息的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；利用所述深度图像信息的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像信息对齐的目标彩色图像。
可选的，基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸云数据集，包括：确定所述目标彩色图像中的人脸面部区域信息；根据所述人脸面部区域信息，确定与所述目标彩色图像对应的人脸面部掩码矩阵；利用所述人脸面部掩码矩阵，对所述深度图像信息进行处理，得到目标深度图像；将所述目标深度图像转换为目标对象的人脸点云数据，并基于所述目标对象的人脸点云数据形成所述人脸云数据集。
可选的，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；
其中，所述第一齐次转换公式包括：
Figure BDA0003309372190000031
Figure BDA0003309372190000032
所述Kd包括摄像头设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
可选的，所述将所述三维坐标转换为所述深度像素点的目标像素坐标，包括：将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；
其中，所述第二齐次转换公式包括：
Figure BDA0003309372190000033
Figure BDA0003309372190000034
所述Kc包括摄像头设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
可选的，所述将所述目标深度图像转换为目标对象的人脸点云数据，包括：确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成世界坐标系下的三维坐标；确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；由各所述景深值非零的像素点各自对应的所述三维点，组成所述目标对象的人脸点云数据。
可选的，所述依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据，包括：确定所述人脸点云数据集中各个人脸点云数据的质心；根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集；从所述中间人脸点云数据集中选取姿态参考点云数据；利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据。
可选的，所述根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集，包括：针对每一个人脸点云数据，将所述人脸点云数据中每个点的空间坐标减去所述质点的坐标，得到所述人脸点云数据对应的中间人脸点云数据；基于各个人脸点云数据对应的中间人脸点云数据，形成所述目标对象对应的中间人脸点云数据集。
可选的，所述利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据，包括：从所述中间人脸点云数据集中提取任一所述非姿态参考点云数据，以作为目标中间人脸点云数据；从所述目标中间人脸点云数据中选取M个目标点数据；从所述姿态参考点云数据中，查找所述M个目标点数据各自对应的最近邻点数据；根据每个目标点数据对应的最近邻点数据，生成每个目标点数据对应的最近点对数据；根据所述M个目标点数据对应的最近点对数据，组成最近点对集合；根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量；利用所述目标旋转矩阵和所述目标偏移向量，对所述目标中间人脸点云数据进行转换，得到所述目标中间人脸点云数据对应的初始转换点云数据；确定所述姿态参考点云数据与所述初始转换点云数据之间的转换误差；若所述转换误差小于预设第一阈值，则将所述初始转换点云数据确定为所述目标中间人脸点云数据对应的人脸转换点云数据。
可选的，所述利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，还包括：判断所述转换误差是否小于预设第一阈值；若所述转换误差不小于预设第一阈值，则确定所述目标中间人脸点云数据对应的配准迭代次数；若所述配准迭代次数小于预设的迭代次数阈值，则跳转至所述从所述目标中间人脸点云数据中选取M个目标点数据的步骤进行重新配准，直至所述目标中间人脸点云数据对应的配准迭代次数达到预设次数阈值。
可选的，所述确定所述人脸点云数据集中各个人脸点云数据的质心，包括：获取所述人脸点云数据集中每个人脸点云数据中的所有点空间坐标；将每个人脸点云数据中的所有点空间坐标的平均值，确定为每个人脸点云数据的质心。
第二方面，本申请实施例提供了一种基于摄像头设备的三维人脸重建装置，包括：
图像采集数据模块，用于通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；
人脸点云数据集模块，用于依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集；
点云配准处理模块，用于依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；
融合处理模块，用于基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；
曲面重建模块，用于依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项所述的基于摄像头设备的三维人脸重建方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的基于摄像头设备的三维人脸重建方法的步骤。
本申请实施例在通过摄像头设备对目标对象进行拍摄得到至少两个视角方向下的图像采集数据后，可以依据每一视角方向下的采集图像数据进行人脸点云处理，得到目标对象对应的人脸点云数据集，随后可依据该人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据，并基于预设的人脸基点云数据对姿态参考点云数据和人脸转换点云数据进行融合处理，以利用人脸基点云数据进行形状修正，即在点云配准过程中加入人脸基准点云数据作为形状参考，极大地减少了最后进行点云融合时所得结果的形状偏差，如不规则的凸起或凹陷、鼻子形状不正常等，得到目标人脸点云数据，并依据目标人脸点云数据进行曲面重建，得到三维人脸模型，使得最终所得三维人脸模型满足真人表情建模所需的模型精度，从而达到利用消费级的摄像头设备即可完成真人人脸的三维重建任务的目的，在满足人三维人脸模型所需的模型精度的同时，降低成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于摄像头设备的三维人脸重建方法的步骤流程图；
图2为本发明实施例中示出的一种获取不同视角方向下模特人脸的图像采集数据的示意图；
图3为本发明实施例中示出的另一种获取不同视角方向下模特人脸的图像采集数据的示意图；
图4为本发明实施例中示出的一种人脸面部区域视觉表现示意图；
图5为本发明实施例中示出的一种曲面重建算法示意图；
图6为本发明实施例提供的一种确定目标人脸点云数据方法的实施流程示意；
图7为本发明实施例提供的一种对N-1个视角方向下目标人脸的剩余中间人脸点云数据进行配准的实施流程示意图；
图8为本发明实施例提供的一种对姿态参考点云数据以及N-1个视角方向下目标对象的人脸转换点云数据进行融合的实施流程示意图；
图9为本申请实施例提供的一种基于摄像头设备的三维人脸重建装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，示出了本申请实施例提供的一种基于摄像头设备的三维人脸重建方法的步骤流程图。具体的，本申请提供的基于摄像头设备的三维人脸重建方法具体可以包括如下步骤：
步骤110，通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据。
在实际处理例中，由于人脸是立体的，隆起的部分会产生遮挡，为了剔除遮挡的影响，本申请实施例可以通过一个或多个摄像头设备，对从不同方向上对目标对象进行拍摄，以从不同视角方向采集目标对象的人脸，得到不同视角方向下的图像采集数据，如可以从N个不同视角方向对目标对象的头部进行拍摄，以从N个视角方向采集目标对象对应的图像采集数据。其中，N为正整数，且≥2；图像采集数据可以是指通过摄像头设备直接采集到的图像数据，如可以是通过价格便宜、性价比高的单目摄像头采集到的单目图像数据，也可以是消费级的双目摄像头设备采集到的双目图像数据，还可以是通过深度摄像头设备采集到的深度图像数据等，本申请实施例对摄像头设备的类型不作具体限制。
进一步而言，本申请实施例通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据，具体可以包括：以所述目标对象的正脸为中轴，控制摄像头设备在预设角度范围内进行旋转，且所述摄像头设备与所述目标对象位于同一水平面；当检测到所述摄像头设备旋转至任一预设的视角方向时，控制所述摄像头设备对所述目标对象的目标部分进行拍摄，得到当前的视角方向上所述目标对象的图像采集数据；或者，控制位于N个视角方向上的摄像头设备对所述目标对象的目标部分进行拍摄，得到N个视角方向上所述目标对象的图像采集数据，N大于或等于2。
具体而言，本申请实施例中的建模对象是人脸，作为图像采集设备的摄像头设备须与拍摄对象处于同一水平面，相应的拍摄采集次数越多，即N越大，越有利于高后续操作的精度。基于此，在本申请的一个可选实施方式中，可以通过调摄像头设备的位资，来获取N个视角方向下目标对象人脸的图像采集数据。具体的，可以以目标对象的人脸为中轴，在预设角度范围内控制摄像头设备按照预设的旋转角度进行旋转，以及在每次控制摄像头设备旋转预设的旋转角度之后，控制摄像头设备对目标对象的目标部分(即人脸)进行拍摄，得到当前旋转角度对应的视角方向上目标对象的图像采集数据，即通过摄像头设备采集目标对象人脸的图像数据。如此通过调整摄像头设备的位姿(即摄像头设备在拍摄空间中的方位)，可以获取N个视角方向下目标对象人脸的图像采集数据。例如，以单个消费级摄像头为例，如图2所示，以模特人脸(即目标对象的正脸，该目标对象可以是模特头部)为中轴，在最大120°范围内控制消费级摄像头按照15°的旋转角度(沿着导轨)进行旋转，意味着每15°消费级摄像头旋转一次，以及在每次控制消费级摄像头按照15°的旋转角度(沿着导轨)进行旋转之后，调用消费级摄像头采集模特人脸的图像采集数据。如此可以获取120/15＝8个视角方向下模特人脸的图像采集数据。
当然，本申请也可以通过其他方式得到N个不同视角方向下目标对象的图像采集数据。进一步而言，在另一可选实施方式中，可以以目标对象的人脸为中轴，在预设角度范围内N个视角方向上分别设置消费级的摄像头设备，从而可以通过控制这N个视角方向上的摄像头设备对目标对象的头部进行拍摄，得到N个视角方向下目标人脸的图像采集数据。例如，以3个消费级摄像头为例，如图3所示，以模特人脸(即作为目标对象的模特头部的正脸)为中轴，在最大120°范围内3个视角方向上分别设置消费级摄像头，同步调用这3个消费级摄像头，获取3个视角方向下模特人脸的图像采集数据。如此通过3个摄像头依然可以获取3个视角方向下目标对象的人脸图像数据，以作为目标对象的图像采集数据。
步骤120，依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集。
具体的，本申请实施例在得到至少两个视角方向下的图像采集数据后，可以基于每个视角方向下的图像采集数据对应的彩色图像信息和深度图像信息确定出人脸区域对应的深度(Depth)图像数据，并可将人脸区域对应的Depth图像数据转换为人脸点云，形成目标对象对应的人脸点云数据集。
需要说明的是，消费级的摄像头设备中包括一个或多个感光模块，如可以包含一个彩色感光模块，当然也可以包含有一个深度感光模块，使得摄像头设备可以通过彩色感光模块检测到彩色图像(RGB图像)信息和可以深度感光模块检测到Depth图像信息，进而可以基于该RGB图像信息和Depth图像信息生成图像对数据，即能够采集到图像对数据，如该图像对数据可以设深度摄像头所采集到的RGB-D数据。
进一步而言，本申请实施例在获取到每个视角方向下的图像采集数据后，可以判断该视角方向下的图像采集数据是否是RGB-D数据；若该视角方向下的图像采集数据不是RGB-D数据，则将该图像采集数据转为为对应的RGB-D数据，随后将RGB-D数据转换为点云，并去除与人脸无关的三维点云数据，即去除与人脸无关的三维点，得到人脸点云数据集。
可选的，本申请实施例依据每一视角方向下的图像采集数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集，可以包括：若所述图像采集数据不是图像对数据，则将所述图像采集数据转换为图像对数据，所述图像对数据包含彩色图像信息和深度图像信息；针对所述每一视角方向下的图像对数据，根据所述图像对数据中的彩色图像信息和深度图像信息，确定与所述深度图像信息对齐的目标彩色图像；基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸点云数据集。
具体而言，对于N个视角方向下目标对象的图像对数据，在本发明实施例中，可以针对任一视角方向下目标对象的图像对数据，根据该图像对数据中的彩色图像信息和深度图像信息，确定与深度图像信息对齐的目标彩色图像，并可确定目标彩色图像中的人脸面部区域信息，然后可根据人脸面部区域信息将目标彩色图像转换为人脸面部掩码矩阵，利用人脸面部掩码矩阵，对深度图像信息进行处理得到目标深度图像，将目标深度图像转换为该视角方向下目标人脸的人脸点云数据，从而可以依据N个视角方向下目标人脸的人脸点云数据形成目标对象的人脸点云数据集。进一步而言，本申请实施例基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸云数据集，具体可以包括：确定所述目标彩色图像中的人脸面部区域信息；根据所述人脸面部区域信息，确定与所述目标彩色图像对应的人脸面部掩码矩阵；利用所述人脸面部掩码矩阵，对所述深度图像信息进行处理，得到目标深度图像；将所述目标深度图像转换为目标对象的人脸点云数据，并基于所述目标对象的人脸点云数据形成所述人脸云数据集。其中，人脸面部区域信息可以用于表示目标彩色图像中的人脸面部区域。
例如，以第i(i＝1，2，3……，N)个视角方向下目标人脸的图像对数据，根据该图像对数据中的RGB图像信息和Depth图像信息，确定与Depth图像信息对齐的目标彩色图像，即RGB′图像，其图像大小与Depth图像信息一致，确定RGB′图像中人脸面部区域，即确定目标彩色图像中的人脸面部区域信息，如可以通过用户人工勾勒目标彩色图像中的人脸面部区域，也可以通过预先训练的识别模型识别出该目标彩色图像中的人脸面部区域，以根据人脸面部区域将RGB′图像转换为人脸面部掩码矩阵，随后可利用人脸面部掩码矩阵，对Depth图像信息进行处理得到目标深度图像，即Depth’图像，将Depth’图像转换为第i个视角方向下目标人脸的人脸点云数据。如此可以得到N个视角方向下目标人脸的人脸点云数据，进而可以基于N个视角方向下目标人脸的人脸点云数据生成目标对象的人脸点云数据集。
其中，在本发明实施例中，根据该图像对数据中的彩色图像信息和深度图像信息，具体通过以下方式确定与深度图像信息对齐的目标彩色图像：针对深度图像信息的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对数据中所述彩色图像信息的彩色像素点；从所述彩色图像信息的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；利用所述深度图像信息的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像信息对齐的目标彩色图像。
具体的，基于图像对数据，可以针对图像对数据中深度图像信息的任一深度像素点，将该深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取第一齐次转换公式输出的世界坐标系下的三维坐标，如此完成该深度像素点的像素坐标及景深值的转换，转换为世界坐标系下的三维坐标。
例如，针对图像对数据中Depth图像信息的任一深度像素点，将该深度像素点的像素坐标(ud,vd)及景深值zc输入至第一齐次转换公式，获取第一齐次转换公式输出的世界坐标系下的三维坐标，其中，第一齐次转换公式包括：
Figure BDA0003309372190000111
Figure BDA0003309372190000112
所述Kd包括摄像头设备中深度感光模块的内参矩阵，其大小可以为3x3，通过摄像头设备接口读取或手动标定获得，所述Tw2d包括所述深度感光模块的外参矩阵，其大小为4x4，是世界坐标系到深度感光模块的欧式变换矩阵，由3x3大小的旋转矩阵Rw2d和偏移向量tw2d组成，两者均可以通过手动标定获得，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
对于世界坐标系下的三维坐标，将该世界坐标系下的三维坐标输入至第二齐次转换公式，获取第二齐次转换公式输出的深度像素点的目标像素坐标，如此将世界坐标系下的三维坐标转换为深度像素点的目标像素坐标，深度像素点的目标像素坐标实质就是彩色图像信息中彩色像素点的像素坐标，即深度像素点的目标像素坐标对应于图像对数据中彩色图像信息的彩色像素点。
例如，针对世界坐标系下的三维坐标，将该世界坐标系下的三维坐标输入至第二齐次转换公式，获取第二齐次转换公式输出的深度像素点的目标像素坐标，深度像素点的目标像素坐标对应于图像对数据中彩色图像信息的彩色像素点，深度像素点的目标像素坐标即是RGB图像中彩色像素点的像素坐标(uc,vc)，其中，第二齐次转换公式包括：
Figure BDA0003309372190000121
Figure BDA0003309372190000122
所述Kc包括摄像头设备中彩色感光模块的内参矩阵，矩阵大小可以为3x3，可以通过摄像头设备接口读取或手动标定获得，所述Tw2c包括所述彩色感光模块的外参矩阵，矩阵大小为4x4，是世界坐标系到彩色感光模块的欧式变换矩阵，由3x3大小的旋转矩阵Rw2c和偏移向量tw2c组成，两者均可以通过手动标定获得，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
在本发明实施例中，深度像素点的目标像素坐标即是彩色图像中彩色像素点的像素坐标，即对应于图像对数据中彩色图像信息的彩色像素点，如此可以从彩色图像信息的彩色像素点中，确定与深度像素点的目标像素坐标对应的目标彩色像素点，获取目标彩色像素点对应的颜色值，将颜色值赋予深度像素点。如此在彩色图像信息中找到深度图像信息中每一个深度像素点对应的颜色值，使得深度图像信息中每个深度像素点都有对应的颜色值和景深值，后续利用深度图像信息的各深度像素点对应的颜色值，重新组成与深度图像信息对齐的目标彩色图像，称之为RGB′图像，其图像大小与Depth图像一致。在像素点层面对齐的RGB′图像和Depth图像，称之为RGB’-D数据。
需要说明的是，对于人脸面部区域，通常人脸面部区域的范围定义为“左耳根(不含左耳)、发际线、右耳根(不含右耳)、下巴外延围住的区域”，其视觉表现如图4所示。
对于图像对数据中深度图像信息，可以以矩阵形式读取深度图像信息，以获取深度图像信息对应的深度矩阵，对深度矩阵以及人脸面部掩码矩阵进行处理，得到目标深度图像。如此利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像。其中，将深度图像信息以矩阵形式读取为深度矩阵后，可以通过求矩阵的哈马达积，将深度图像信息中非人脸面部区域深度像素点的景深值归零，得到目标深度矩阵，确定所述目标深度矩阵对应的图像为目标深度图像，如此目标深度图像中非人脸面部区域的像素点的景深值归零。
例如，将Depth图像信息以矩阵形式读取为深度矩阵MDepth后，将MDepth以及Mface输入至预设矩阵运算公式，获取所述预设矩阵运算公式输出的目标深度矩阵MDepth′，MDepth′对应的图像为目标深度图像，即Depth’图像，Depth’图像和RGB′图像一起构成RGB’-D’数据，其中，预设矩阵运算公式包括：
MDepth′＝Mface*MDepth；
所述MDepth′包括所述目标深度矩阵，所述Mface包括人脸面部掩码矩阵，所述MDepth包括所述深度矩阵。
需要说明的是，经过上述步骤的处理，使得后续在将目标深度图像转换为视角方向下目标对象的人脸点云数据的过程中，可以直接根据zw坐标是否为0来去除原始点云数据中与本发明所关注的真人表情建模任务不相干的背景、头发、耳朵、脖子、躯干等区域，留下了干净的、与真人表情强相关的人脸区域，有利于降低后续点云配准的难度。
进一步而言，本申请实施例将所述目标深度图像转换为目标对象的人脸点云数据，具体可以包括：确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成世界坐标系下的三维坐标；确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；由各所述景深值非零的像素点各自对应的所述三维点，组成所述目标对象的人脸点云数据。具体的，本申请实施例在确定目标深度图像中各景深值非零的像素点后，可以针对任一景深值非零的像素点，获取景深值非零的像素点的像素坐标及景深值；然后可将景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成景深值非零的像素点对应的世界坐标系下的三维坐标，随后可确定景深值非零的像素点对应的世界坐标系下的三维坐标为景深值非零的像素点对应的三维点，以由各景深值非零的像素点各自对应的三维点，组成视角方向下目标对象的人脸点云数据。例如，对于Depth’图像，确定Depth’图像中各景深值非零的像素点，针对任一景深值非零的像素点，获取该景深值非零的像素点的像素坐标(ud,vd)及景深值zc，将该景深值非零的像素点的像素坐标(ud,vd)及景深值zc，通过上述第一齐次转换公式转换成景深值非零的像素点对应的世界坐标系下的三维坐标(xw,yw,zw)，从而将平面上的像素点转换成空间中的三维点，如此可以得到各景深值非零的像素点各自对应的三维点，由各景深值非零的像素点各自对应的三维点，组成视角方向下目标人脸的人脸点云，而每个三维点的颜色值可以从上述RGB′图像中对应的像素点获得。
步骤130，依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据。
如此经过上述步骤，可以得到每个视角方向下目标对象的人脸点云数据，并可将得到各个视角方向下目标对象的人脸点云数据存放到一个集合中，以形成目标对象的人脸点云数据集，随后可基于该人脸点云数据集中的人脸点云数据进行点云配准，如可从该人脸点云数据集中选定目标对象正脸姿态下的人脸电压数据作为姿态参考点云数据，然后可以利用该姿态参考点云数据对该人脸点云数据集中剩余人脸点云数据(即非姿态参考点云数据)进行配准，使得他们的空间姿态基本一致，得到人脸转换点云数据。进一步而言，本申请实施例依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据，具体可以包括：确定所述人脸点云数据集中各个人脸点云数据的质心；根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集；从所述中间人脸点云数据集中选取姿态参考点云数据；利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据。
步骤140，基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据。
具体的，本申请实施例在得到姿态参考点云数据和人脸转换点云数据后，可以以预设的人脸基点云数据为形状参考，将姿态参考点云数据和所有人脸转换点云数据进行点云融合，以将多不同视觉方向下的人脸点云数据合并成完整人脸点云，得到期望的完整人脸的点云数据，并可将得到的完整人脸的点云数据确定为目标人脸点云数据。
步骤150，依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。
具体的，本申请实施例在得到目标人脸点云数据后，可以通过对该目标人脸点云数据进行曲面重建，得到人脸三维模型，随后可为人脸三维模型添加纹理等信息，得到最终的三维人脸模型。
可见，本申请实施例在通过摄像头设备对目标对象进行拍摄得到至少两个视角方向下的图像采集数据后，可以依据每一视角方向下的采集图像数据进行人脸点云处理，得到目标对象对应的人脸点云数据集，随后可依据该人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据，并基于预设的人脸基点云数据对姿态参考点云数据和人脸转换点云数据进行融合处理，以利用人脸基点云数据进行形状修正，即在点云配准过程中加入人脸基准点云数据作为形状参考，极大地减少了最后进行点云融合时所得结果的形状偏差，如不规则的凸起或凹陷、鼻子形状不正常等，得到目标人脸点云数据，并依据目标人脸点云数据进行曲面重建，得到三维人脸模型，使得最终所得三维人脸模型满足真人表情建模所需的模型精度，从而达到利用消费级的摄像头设备即可完成真人人脸的三维重建任务的目的，在满足人三维人脸模型所需的模型精度的同时，降低成本。
需要说明的是，在得到期望的完整人脸的点云后，即目标人脸点云数据，需要进行曲面重建，恢复其几何形状，从而变成一个三维人脸模型。以德劳内三角重建为例，一个可行的曲面重建算法如图5所示。当然，描述的三角重建只是最常见的一种重建方式，除了三角形，还可以是用四边形、五边形来表示曲面，在本发明所针对的人脸重建场景中，三角重建是最优选。
其中，在本发明实施例中，如图6所示，为本发明实施例提供的一种确定目标人脸点云数据方法的实施流程示意图，该方法可以应用于处理器，具体可以包括以下步骤：
步骤610，确定所述人脸点云数据集中各个人脸点云数据的质心；
步骤620，根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集；
步骤630，从所述中间人脸点云数据集中选取姿态参考点云数据；
步骤640，利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据；
步骤650，基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据。
具体而言，在确定N个所述视角方向下目标人脸的人脸点云数据各自对应的质心后，可根据质心确定N个视角方向下目标人脸的中间人脸点云数据，进而可以基于N个视角方向下目标人脸的中间人脸点云数据，形成目标对象对应的中间人脸点云数据集。
在本发明实施例中，对于N个视角方向下目标人脸的人脸点云数据，确定N个视角方向下目标人脸的人脸点云各自对应的质心(即质心坐标)。其中，针对任一视角方向下目标人脸的人脸点云数据，获取人脸点云数据中所有点的空间坐标的平均值，确定平均值为人脸点云的质心。进一步而言，本申请实施例确定所述人脸点云数据集中各个人脸点云数据的质心，具体可以包括：获取所述人脸点云数据集中每个人脸点云数据中的所有点空间坐标；将每个人脸点云数据中的所有点空间坐标的平均值，确定为每个人脸点云数据的质心。
例如，N个视角方向下目标人脸的人脸点云数据组成人脸点云数据集合C，对于人脸点云数据集合C中的人脸点云数据ci，人脸点云数据ci对应于N个视角方向下目标人脸的人脸点云中任一视角方向下目标人脸的人脸点云，其质心μi为点云人脸点云数据ci中所有点空间坐标的平均值，获取人脸点云数据ci中所有点空间坐标的平均值，确定平均值为人脸点云数据ci的质心。其中，计算公式如下，式中Ni是人脸点云数据ci所包含点的数量，pj是人脸点云数据ci中第j个点的空间坐标。
Figure BDA0003309372190000171
此外，在确定N个视角方向下目标人脸的人脸点云数据各自对应的质心之后，可以根据该质心确定N个视角方向下目标人脸的中间人脸点云。其中，针对任一视角方向下目标人脸的人脸点云，将人脸点云中每个点的空间坐标减去(该人脸点云对应的)质心，得到该视角方向下目标人脸的中间人脸点云数据。如此操作，可以使得所有点云数据统一到以质心为其坐标系原点的质心坐标系中，方便后续以SVD算法计算目标旋转矩阵R和目标偏移向量t。从而，可以基于N个视角方向下目标人脸的中间人脸点云数据形成目标对象对应的中间人脸点云数据集。进一步而言，本申请实施例根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集，具体可以包括：针对每一个人脸点云数据，将所述人脸点云数据中每个点的空间坐标减去所述质点的坐标，得到所述人脸点云数据对应的中间人脸点云数据；基于各个人脸点云数据对应的中间人脸点云数据，形成所述目标对象对应的中间人脸点云数据集。
例如，人脸点云数据ci对应于N个视角方向下目标人脸的人脸点云中任一视角方向下目标人脸的人脸点云，将人脸点云数据ci中的每个点pj减去人脸点云数据ci对应的质心μi，所得到的新点云c′i，新点云c′i即该视角方向下目标人脸的中间人脸点云数据，由此可以组成一个新的点云集合Cμ，以作为中间人脸点云数据集。其中，计算公式如下：
c′i＝{pj-μi|pj∈ci}＝{p′j}。
在实际处理中，可以从N个所述视角方向下目标人脸的中间人脸点云数据中，选取姿态参考点云数据，即从中间人脸点云数据集中选取姿态参考点云数据，该姿态参考点云数据可以包括正脸视角方向下目标人脸的中间人脸点云数据。例如，对于N个视角方向下目标人脸的中间人脸点云数据，组成点云集合Cμ，从点云集合Cμ中选取正脸视角方向下目标人脸的中间人脸点云数据，作为姿态参考点云数据，即姿态参考点云P；随后，可利用姿态参考点云P，对N-1个所述视角方向下目标对象人脸的剩余中间人脸点云数据进行配准，得到N-1个视角方向下目标对象的人脸转换点云数据。
在本发明实施例中，姿态参考点云数据即正脸视角方向下目标人脸的中间人脸点云，如此还有N-1个视角方向下目标人脸的剩余中间人脸点云数据(即中间人脸点云数据集中的非姿态参考点云数据)，从而可以利用姿态参考点云数据，对N-1个视角方向下目标人脸的剩余中间人脸点云数据进行配准，得到N-1个视角方向下目标人脸的转换点云数据。进一步而言，本申请实施例利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据，包括：从所述中间人脸点云数据集中提取任一所述非姿态参考点云数据，以作为目标中间人脸点云数据；从所述目标中间人脸点云数据中选取M个目标点数据；从所述姿态参考点云数据中，查找所述M个目标点数据各自对应的最近邻点数据；根据每个目标点数据对应的最近邻点数据，生成每个目标点数据对应的最近点对数据；根据所述M个目标点数据对应的最近点对数据，组成最近点对集合；根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量；利用所述目标旋转矩阵和所述目标偏移向量，对所述目标中间人脸点云数据进行转换，得到所述目标中间人脸点云数据对应的初始转换点云数据；确定所述姿态参考点云数据与所述初始转换点云数据之间的转换误差；若所述转换误差小于预设第一阈值，则将所述初始转换点云数据确定为所述目标中间人脸点云数据对应的人脸转换点云数据。其中，M为正整数，且M大于1。
需要说明的是，利用姿态参考点云数据，对N-1个视角方向下目标人脸的剩余中间人脸点云数据进行配准，得到N-1个视角方向下目标人脸的转换点云数据，其目的是为了使它们(N-1个视角方向下目标人脸的剩余中间人脸点云)的空间姿态基本保持一致。
其中，如图7所示，为本发明实施例提供的一种对N-1个视角方向下目标人脸的剩余中间人脸点云数据进行配准的实施流程示意图，该方法具体可以应用于处理器，可以包括以下步骤：
步骤701，针对N-1个所述视角方向中任一所述视角方向下目标人脸的剩余中间人脸点云数据，从所述剩余中间人脸点云数据中选取M个目标点数据。
在本发明实施例中，对于N-1个视角方向下目标人脸的剩余中间人脸点云数据，针对任一视角方向下目标人脸的剩余中间人脸点云数据，从该剩余中间人脸点云中(随机)选取M个点数据，以作为目标点数据，即从中间人脸点云数据集中提取任一所述非姿态参考点云数据，以作为目标中间人脸点云数据，并从目标中间人脸点云数据中选取M个目标点数据。例如，对于N-1个视角方向下目标人脸的剩余中间人脸点云，针对任一视角方向下目标人脸的剩余中间人脸点云Q(Q属于点云集合Cμ)，从该剩余中间人脸点云Q中随机选取M个点数据，以作为M个目标点数据。
步骤702，利用预设的KD-tree算法，从所述姿态参考点云数据中查找M个点各自对应的最近邻点数据。
在本发明实施例中，对于姿态参考点云数据，在其上建立KD-tree数据结构，存储其所有点的空间坐标，从而利用预设的KD-tree算法，即借助于KD-tree的特性，从姿态参考点云数据中查找M个点各自对应的最近邻点数据，即从所述姿态参考点云数据中查找所述M个目标点数据各自对应的最近邻点数据，以从姿态参考点云中查找(M个点中)每个点对应的最近邻点。例如，在姿态参考点云P上建立KD-tree数据结构，存储其所有点的空间坐标，对于从剩余中间人脸点云Q(Q属于点云集合Cμ)中随机选取的M个点，利用预设的KD-tree算法，即借助于KD-tree的特性，从姿态参考点云中查找M个点各自对应的最近邻点。
步骤703，由M个目标点数据及M个目标点数据各自对应的所述最近邻点数据组成M对最近点对数据，由M对最近点对数据组成最近点对集合。
对于上述M个目标点数据，以及M个目标点数据各自对应的最近邻点数据，由此可以组成M对最近点对数据，由M对最近点对数据组成最近点对集合。例如，对于上述上述例子中的M个点，以及M个点各自对应的最近邻点，由此可以组成M对最近点对，由M对最近点对组成最近点对集合H，如下所示。
H＝{(pi,qi)|pi∈P,qi∈Q,1≤i≤m}。
步骤704，根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量。
在本发明实施例中，对于上述得到的最近点对集合，可以根据最近点对集合，确定目标旋转矩阵和目标偏移向量。
其中，将最近点对集合中的M对最近点数据对输入至预设矩阵构建公式，获取预设矩阵构建公式输出的构建矩阵。
对构建矩阵进行SVD分解，获取第一特征值和第二特征值，将第一特征值和第二特征值输入至预设旋转矩阵运算公式，获取预设旋转矩阵运算公式输出的目标旋转矩阵。
将目标旋转矩阵、姿态参考点云的质心及剩余中间人脸点云数据的质心输入至预设偏移向量运算公式，获取预设偏移向量运算公式输出的目标偏移向量。
例如，构建3x3大小的构建矩阵W用于做SVD分解，将最近点对集合中的M对最近点对输入至预设矩阵构建公式，获取预设矩阵构建公式输出的构建矩阵，其中，预设矩阵构建公式包括：
Figure BDA0003309372190000201
所述W包括所述构建矩阵，所述NH包括所述最近点对集合中最近点对数据的数量，所述qi和所述pi包括所述最近点对集合中最近点对数据。
对构建矩阵W进行SVD分解，获取第一特征值U和第二特征值VT，σ1、σ2、σ3为特征值，计算公式如下所示：
Figure BDA0003309372190000202
将第一特征值U和第二特征值VT输入至预设旋转矩阵运算公式，获取预设旋转矩阵运算公式输出的目标旋转矩阵R，其中，预设旋转矩阵运算公式包括：
R＝UVT；
所述R包括所述目标旋转矩阵，所述U包括所述第一特征值，所述VT包括所述第二特征值。
将目标旋转矩阵R、姿态参考点云数据P的质心及剩余中间人脸点云数据Q的质心输入至预设偏移向量运算公式，获取预设偏移向量运算公式输出的目标偏移向量t，其中，预设偏移向量运算公式包括：
t＝μp-Rμq；
所述t包括所述目标偏移向量，所述μp包括所述姿态参考点云的质心，所述R包括所述目标旋转矩阵，所述μq包括所述剩余中间人脸点云的质心。
如此经过上述步骤，针对N-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云数据，均可以得到各自对应的目标旋转矩阵和目标偏移向量。
步骤705，利用所述目标旋转矩阵和所述目标偏移向量，对所述剩余中间人脸点云数据进行转换，得到所述视角方向下目标人脸的初始转换点云数据。
在本发明实施例中，针对N-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云数据，可以利用剩余中间人脸点云数据对应的目标旋转矩阵和目标偏移向量，对剩余中间人脸点云数据进行转换，得到该视角方向下目标人脸的初始转换点云数据，即对所述目标中间人脸点云数据进行转换，得到目标中间人脸点云数据对应的初始转换点云数据。例如，针对N-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云数据Q，可以利用剩余中间人脸点云数据Q对应的目标旋转矩阵R和目标偏移向量t，对剩余中间人脸点云数据Q进行转换，得到该视角方向下目标人脸的初始转换点云数据。其中，针对N-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云数据，将剩余中间人脸点云数据对应的目标旋转矩阵和目标偏移向量输入至点云转换公式，获取点云转换公式输出的视角方向下目标人脸的初始转换点云数据，其中，点云转换公式包括：
Q′＝{Rq+t|q∈Q}；
所述Q′包括所述初始转换点云数据，所述Q包括所述剩余中间人脸点云数据，所述t包括所述目标偏移向量，所述R包括所述目标旋转矩阵。
例如，针对N-1个视角方向中任一视角方向下目标人脸的剩余中间人脸点云数据Q，可以将剩余中间人脸点云数据Q对应的目标旋转矩阵R和目标偏移向量t输入至上式，获取点云转换公式输出的视角方向下目标人脸的初始转换点云数据Q′，如此通过上式对剩余中间人脸点云数据Q进行转换，所得初始转换点云数据Q′的空间姿态向姿态参考点云P靠拢，即向正脸视角方向靠拢。
步骤706，确定所述姿态参考点云数据与所述初始转换点云数据之间的转换误差，根据所述转换误差，确定所述视角方向下目标对象的人脸转换点云数据。
具体的，针对N-1个视角方向中任一视角方向下目标人脸的初始转换点云数据，在本发明实施例中，在确定姿态参考点云数据与该初始转换点云数据之间的(点云)转换误差后，可以根据转换误差，可以确定该视角方向下目标人脸的转换点云，即确定该视角方向下目标对象的人脸转换点云数据。
其中，针对N-1个视角方向中任一视角方向下目标人脸的初始转换点云数据，可以将姿态参考点云数据与初始转换点云数据输入至预设姿态差异运算公式，获取预设姿态差异运算公式输出的姿态参考点云数据与初始转换点云数据之间的姿态差异，确定姿态差异为转换误差。
例如，针对N-1个视角方向中任一视角方向下目标人脸的初始转换点云数据Q′，可以将初始转换点云数据Q′和姿态参考点云数据P输入至预设姿态差异运算公式，获取预设姿态差异运算公式输出的初始转换点云数据Q′和姿态参考点云数据P之间的姿态差异，作为(点云)转换误差L，其中，预设姿态差异运算公式包括：
Figure BDA0003309372190000221
所述Q′包括所述初始转换点云数据，所述P包括所述姿态参考点云数据。
此外，针对N-1个视角方向中任一视角方向下目标人脸的初始转换点云数据，在本发明实施例中，确定姿态参考点云数据与该初始转换点云数据之间的(点云)转换误差，若转换误差小于预设第一阈值，确定初始转换点云数据为视角方向下目标人脸的转换点云数据，并输出，以作为该视角方向下目标对象的人脸转换点云数据。若转换误差未小于预设第一阈值，跳转至从剩余中间人脸点云数据中选取M个目标点数据的步骤进行重新配准，直至配准迭代次数达到预设次数阈值，输出视角方向下目标人脸的转换点云数据。
进一步而言，本申请实施例利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，还可以包括：判断所述转换误差是否小于预设第一阈值；若所述转换误差不小于预设第一阈值，则确定所述目标中间人脸点云数据对应的配准迭代次数；若所述配准迭代次数小于预设的迭代次数阈值，则跳转至所述从所述目标中间人脸点云数据中选取M个目标点数据的步骤进行重新配准，直至所述目标中间人脸点云数据对应的配准迭代次数达到预设次数阈值。具体地，若转换误差未小于预设第一阈值，首先判断配准迭代次数是否达到预设次数阈值，若配准迭代次数达到预设次数阈值，则确定初始转换点云数据为视角方向下目标人脸的转换点云数据；若配准迭代次数未达到预设次数阈值，则跳转至从剩余中间人脸点云中选取M个点的步骤重新执行配准，直至配准迭代次数达到预设次数，输出视角方向下目标人脸的转换点云数据，以作为该视角方向下目标对象的人脸转换点云数据。随后，可利用预设人脸基准点云数据，对所述姿态参考点云数据以及N-1个所述视角方向下目标对象的人脸转换点云数据进行融合，得到目标人脸点云数据。
需要说明的是，对于人脸基准点云数据，可以是男性或者女性的人脸基准点云，具体可以获取一个开源的基准三维模型，截取其中人脸部分作为人脸基准点云，本发明实施例对此不作限定。
可见，本发明实施例引入了预设人脸基准点云数据，在点云配准过程中通过人脸基准点云数据对姿态参考点云数据以及N-1个视角方向下目标对象的人脸转换点云数据进行融合，得到目标人脸点云数据。
其中，如图8所示，为本发明实施例提供的一种对姿态参考点云数据以及N-1个视角方向下目标对象的人脸转换点云数据进行融合的实施流程示意图，该方法具体用于处理器，可以包括以下步骤：
步骤801，将所述姿态参考点云数据以及N-1个所述视角方向下目标对象的人脸转换点云数据进行合并，得到完整人脸点云数据。
在本发明实施例中，对于姿态参考点云数据，以及N-1视角方向下目标对象的人脸转换点云数据，将两者进行合并，从而可以得到完整人脸点云数据。例如，对于姿态参考点云数据P，以及N-1视角方向下目标对象的人脸转换点云数据Q’，将两者进行合并，从而可以得到完整人脸点云数据M。需要说明的是，对于完整人脸点云数据，可以是一个包含完整人脸的点云数据，本发明实施例对此不作限定。
步骤802，从所述完整人脸点云数据中选取多个点数据组成验证点云数据，确定所述验证点云数据与预设人脸基准点云数据之间的形状差异。
对于完整人脸点云数据，从该完整人脸点云书中选取多个点数据组成验证点云数据，确定验证点云数据与预设人脸基准点云数据之间的形状差异。
例如，对于完整人脸点云数据M，从该完整人脸点云数据M中随机选择多个点组成验证点云数据m，确定验证点云数据m与预设人脸基准点云数据B之间的形状差异。
其中，在本发明实施例中，具体通过以下方式确定验证点云数据与预设人脸基准点云数据之间的形状差异：获取验证点云数据与预设人脸基准点云数据之间的倒角距离，确定倒角距离为验证点云数据与预设人脸基准点云数据之间的形状差异。
需要说明的是，在本发明实施例中，还可以获取验证点云数据与预设人脸基准点云数据之间的下述之一：L1、L2、L1的变形、L2的变形，用于描述验证点云数据与预设人脸基准点云数据之间的形状差异，本发明实施例对此不作限定。
例如，在本发明实施例中，采用Chamfer Distance倒角距离作为形状差异E的具体度量，获取验证点云数据m与人脸基准点云数据B之间的倒角距离，确定倒角距离为验证点云数据m与人脸基准点云数据B之间的形状差异E。
其计算公式如下，式中Nm和NB分别为下采样后的验证点云数据m和人脸基准点云数据B的大小(即其中元素数量)，式中第一项为验证点云数据m中任意一点到基准点云B最小距离之和的平均，第二项为基准点云B中任意一点到验证点云数据m最小距离之和的平均，两者结合作为3D空间中的倒角距离，其值越小，两点云之间形状的差异越小。
Figure BDA0003309372190000251
步骤803，根据所述形状差异，对所述姿态参考点云数据以及N-1个所述视角方向下目标对象的人脸转换点云数据进行融合，得到目标人脸点云数据。
对于验证点云数据与预设人脸基准点云数据之间的形状差异，根据该形状差异，对姿态参考点云数据以及N-1个视角方向下目标人脸的转换点云数据进行融合，得到目标人脸点云数据。
其中，若形状差异小于预设第二阈值，对姿态参考点云数据以及N-1个视角方向下目标对象的人脸转换点云数据进行融合，得到目标人脸点云数据；若形状差异未小于预设第二阈值，跳转至从完整人脸点云数据中选取多个点数据组成验证点云数据的步骤。
具体地，若形状差异小于预设第二阈值，对姿态参考点云数据以及N-1个视角方向下目标对象的人脸转换点云数据进行初融合，得到目标人脸点云数据，用于展示，供用户确认形状是否正常。
若用户确认形状正常，则触发形状确认指令，在接收到用户的形状确认指令的情况下，对姿态参考点云数据以及N-1个视角方向下目标对象的人脸转换点云数据进行融合，得到目标人脸点云数据。
若用户确认形状异常，则触发形状错误指令，在接收到用户的形状错误指令，调整预设第二阈值，跳转至从完整人脸点云数据中选取多个点数据组成验证点云数据的步骤。
例如，若形状差异E小于预设第二阈值c，对姿态参考点云数据P以及N-1个视角方向下目标人脸的转换点云数据Q’进行初融合，得到目标人脸点云数据，用于展示，供用户确认形状是否正常。
若用户确认形状正常，则触发形状确认指令，在接收到用户的形状确认指令的情况下，对姿态参考点云数据P以及N-1个视角方向下目标人脸的转换点云数据Q’进行融合，得到目标人脸点云数据A。
若用户确认形状异常，则触发形状错误指令，在接收到用户的形状错误指令，调整预设第二阈值c，跳转至从从完整人脸点云数据中选取多个点数据组成验证点云数据m的步骤。
通过上述对本发明实施例提供的技术方案的描述，获取N个视角方向下目标人脸的图像采集数据，并在图像采集数据不是图像对数据时将该图像采集数据转换为图像对数据，其中，图像对数据包括彩色图像信息和深度图像信息，针对所述每一视角方向下的图像对数据，根据所述图像对数据中的彩色图像信息和深度图像信息，确定与深度图像信息对齐的目标彩色图像，确定目标彩色图像中人脸面部区域，并根据人脸面部区域，将目标彩色图像转换为人脸面部掩码矩阵，利用人脸面部掩码矩阵，对深度图像信息进行处理得到目标深度图像，然后将目标深度图像转换为目标对象的人脸点云数据，得到目标对象对应的人脸点云数据集，随后可依据该人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据，并基于预设的人脸基点云数据对姿态参考点云数据和人脸转换点云数据进行融合处理，即在点云配准过程中加入人脸基准点云作为形状参考，极大地减少了最后进行点云融合时所得结果的形状偏差，如不规则的凸起或凹陷、鼻子形状不正常等，得到目标人脸点云，并对目标人脸点云进行曲面重建，得到三维人脸模型，使得最终所得三维人脸模型满足真人表情建模所需的模型精度，实现由低精度的点云数据得到可靠的三维重建精度。
进一步而言，本申请实例在通过摄像头设备拍摄得到的图像采集数据不是图像对数据时，将图像采集数据转换为图像对数据，并针对每一视角方向下的图像对数据，根据图像对数据中的彩色图像信息和深度图像信息，确定与深度图像信息对齐的目标彩色图像，以基于目标彩色图像中的人脸面部区域信息进行点云处理，得到人脸点云数据集，从而依据人脸点云数据集中的人脸点云数据进行配准处理，并利用预设的人脸基点云数据进行形状修正，得到目标人脸点云数据，以依据目人脸点云数据进行曲面重建，达到利用消费级的摄像头设备即可完成真人人脸的三维重建任务的目的。
此外，在本发明实施例中仅仅需要一个或多个消费级的摄像头设备(例如消费级摄像头)，由此可以获取到多个不同视角方向下的图像采集数据，参与后续的三维人脸模型重建，硬件投入成本低，设备维护简单。鉴于在本发明实施例中仅仅需要一个或多个摄像头设备，导致后续采集和处理的点云数据规模一般为千级，相对于采集数万、数十万、数百万点的三维重建，节约大量的计算资源，从而能够提高三维人脸建模效率。
本申请实施例还提供一种基于摄像头设备的三维人脸重建装置。如图9所示，本申请实施例提供的基于摄像头设备的三维人脸重建装置，包括如下模块：
图像采集数据模块910，用于通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；
人脸点云数据集模块920，用于依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集；
点云配准处理模块930，用于依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；
融合处理模块940，用于基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；
曲面重建模块950，用于依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。
可选的，所述图像采集数据模块910，包括：旋转控制子模块和拍摄子模块。其中，旋转控制子模块，用于以所述目标对象的正脸为中轴，控制摄像头设备在预设角度范围内进行旋转，且所述摄像头设备与所述目标对象位于同一水平面；拍摄子模块，用于当检测到所述摄像头设备旋转至任一预设的视角方向时，控制所述摄像头设备对所述目标对象的目标部分进行拍摄，得到当前的视角方向上所述目标对象的图像采集数据。
可选的，图像采集数据模块910，包括：拍摄控制子模块。该拍摄控制子模块，用于控制位于N个视角方向上的摄像头设备对所述目标对象的目标部分进行拍摄，得到N个视角方向上所述目标对象的图像采集数据，N大于或等于2。
可选的，所述人脸点云数据集模块920，包括：
数据转换子模块，用于在所述图像采集数据不是图像对数据时，将所述图像采集数据转换为图像对数据，所述图像对数据包含彩色图像信息和深度图像信息；
目标彩色图像确定子模块，用于针对所述每一视角方向下的图像对数据，根据所述图像对数据中的彩色图像信息和深度图像信息，确定与所述深度图像信息对齐的目标彩色图像；
点云处理子模块，用于基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸点云数据集。
可选的，所述目标彩色图像确定子模块，包括：
第一转换单元，用于针对所述深度图像信息的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；
第二转换单元，用于将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对数据中所述彩色图像信息的彩色像素点；
目标彩色像素点单元，用于从所述彩色图像信息的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；
颜色值单元，用于获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；
目标彩色图像单元，用于利用所述深度图像信息的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像信息对齐的目标彩色图像。
可选的，点云处理子模块包括：
面部区域确定单元，用于确定所述目标彩色图像中的人脸面部区域信息；
面部掩码矩阵单元，用于根据所述人脸面部区域信息，确定与所述目标彩色图像对应的人脸面部掩码矩阵；
目标深度图像单元，用于利用所述人脸面部掩码矩阵，对所述深度图像信息进行处理，得到目标深度图像；
人脸云数据单元，用于将所述目标深度图像转换为目标对象的人脸点云数据，并基于所述目标对象的人脸点云数据形成所述人脸云数据集。
可选的，所述第一转换单元具体用于：将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；
其中，所述第一齐次转换公式包括：
Figure BDA0003309372190000291
Figure BDA0003309372190000292
所述Kd包括摄像头设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
可选的，所述第二转换单元具体用于：将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；
其中，所述第二齐次转换公式包括：
Figure BDA0003309372190000293
Figure BDA0003309372190000294
所述Kc包括摄像头设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
可选的，所述人脸云数据单元具体用于：确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成世界坐标系下的三维坐标；确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；由各所述景深值非零的像素点各自对应的所述三维点，组成所述目标对象的人脸点云数据。
可选的，所述点云配准处理模块930，包括：
质心确定子模块，用于确定所述人脸点云数据集中各个人脸点云数据的质心；
质心处理子模块，用于根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集；
姿态参考点云选取子模块，用于从所述中间人脸点云数据集中选取姿态参考点云数据；
配准子模块，用于利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据。
可选的，所述质心处理子模块，包括：
中间人脸点云数据单元，用于针对每一个人脸点云数据，将所述人脸点云数据中每个点的空间坐标减去所述质点的坐标，得到所述人脸点云数据对应的中间人脸点云数据；
中间人脸点云数据集单元，用于基于各个人脸点云数据对应的中间人脸点云数据，形成所述目标对象对应的中间人脸点云数据集。
可选的，所述配准子模块包括：
目标中间人脸点云数据提取单元，用于从所述中间人脸点云数据集中提取任一所述非姿态参考点云数据，以作为目标中间人脸点云数据；
目标点数据选取单元，用于从所述目标中间人脸点云数据中选取M个目标点数据；
最近邻点数据单元，用于从所述姿态参考点云数据中，查找所述M个目标点数据各自对应的最近邻点数据；
最近点对数据单元，用于根据每个目标点数据对应的最近邻点数据，生成每个目标点数据对应的最近点对数据；
最近点对集合单元，用于根据所述M个目标点数据对应的最近点对数据，组成最近点对集合；
目标确定单元，用于根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量；
人脸点云数据转换单元，用于利用所述目标旋转矩阵和所述目标偏移向量，对所述目标中间人脸点云数据进行转换，得到所述目标中间人脸点云数据对应的初始转换点云数据；
转换误差确定单元，用于确定所述姿态参考点云数据与所述初始转换点云数据之间的转换误差；
人脸转换点云数据单元，用于在所述转换误差小于预设第一阈值时，将所述初始转换点云数据确定为所述目标中间人脸点云数据对应的人脸转换点云数据。
可选的，所述配准子模块，还包括：
转换误差判断单元，用于判断所述转换误差是否小于预设第一阈值；
配准迭代次数确定单元，用于在所述转换误差不小于预设第一阈值时，确定所述目标中间人脸点云数据对应的配准迭代次数；在所述配准迭代次数小于预设的迭代次数阈值时，触发配准迭代处理单元跳转至所述从所述目标中间人脸点云数据中选取M个目标点数据的步骤进行重新配准；
配准迭代处理单元，用于跳转至所述从所述目标中间人脸点云数据中选取M个目标点数据的步骤进行重新配准，直至所述目标中间人脸点云数据对应的配准迭代次数达到预设次数阈值。
可选的，所述质心确定子模块包括：
点空间坐标单元，用于获取所述人脸点云数据集中每个人脸点云数据中的所有点空间坐标；
质心确定单元，用于将每个人脸点云数据中的所有点空间坐标的平均值，确定为每个人脸点云数据的质心。
需要说明的是，上述提供的基于摄像头设备的三维人脸重建装置可执行本申请任意实施例所提供的基于摄像头设备的三维人脸重建方法，具备执行方法相应的功能和有益效果。
进一步的，本申请实施例还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任意一个方法实施例所述的基于摄像头设备的三维人脸重建方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个方法实施例所述的基于摄像头设备的三维人脸重建方法步骤。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种基于摄像头设备的三维人脸重建方法，其特征在于，包括：
通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；
依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集；
依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；
基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；
依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。
2.根据权利要求1所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据，包括：
以所述目标对象的正脸为中轴，控制摄像头设备在预设角度范围内进行旋转，且所述摄像头设备与所述目标对象位于同一水平面；当检测到所述摄像头设备旋转至任一预设的视角方向时，控制所述摄像头设备对所述目标对象的目标部分进行拍摄，得到当前的视角方向上所述目标对象的图像采集数据；或者，
控制位于N个视角方向上的摄像头设备对所述目标对象的目标部分进行拍摄，得到N个视角方向上所述目标对象的图像采集数据，N大于或等于2。
3.根据权利要求1所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述依据每一视角方向下的图像采集数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集，包括：
若所述图像采集数据不是图像对数据，则将所述图像采集数据转换为图像对数据，所述图像对数据包含彩色图像信息和深度图像信息；
针对所述每一视角方向下的图像对数据，根据所述图像对数据中的彩色图像信息和深度图像信息，确定与所述深度图像信息对齐的目标彩色图像；
基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸点云数据集。
4.根据权利要求3所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述根据所述图像对数据中的所述彩色图像信息和所述深度图像信息，确定与所述深度图像信息对齐的目标彩色图像，包括：
针对所述深度图像信息的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；
将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对数据中所述彩色图像信息的彩色像素点；
从所述彩色图像信息的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；
获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；
利用所述深度图像信息的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像信息对齐的目标彩色图像。
5.根据权利要求3所述的基于摄像头设备的三维人脸重建方法，其特征在于，基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸云数据集，包括：
确定所述目标彩色图像中的人脸面部区域信息；
根据所述人脸面部区域信息，确定与所述目标彩色图像对应的人脸面部掩码矩阵；
利用所述人脸面部掩码矩阵，对所述深度图像信息进行处理，得到目标深度图像；
将所述目标深度图像转换为目标对象的人脸点云数据，并基于所述目标对象的人脸点云数据形成所述人脸云数据集。
6.根据权利要求4所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：
将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；
其中，所述第一齐次转换公式包括：
Figure FDA0003309372180000031
Figure FDA0003309372180000032
所述Kd包括摄像头设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。
7.根据权利要求4所述的方法，其特征在于，所述将所述三维坐标转换为所述深度像素点的目标像素坐标，包括：
将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；
其中，所述第二齐次转换公式包括：
Figure FDA0003309372180000033
Figure FDA0003309372180000034
所述Kc包括摄像头设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(所述xw，所述yw，所述zw)，所述深度像素点的目标像素坐标包括(所述uc，所述vc)。
8.根据权利要求5所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述将所述目标深度图像转换为目标对象的人脸点云数据，包括：
确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；
将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成世界坐标系下的三维坐标；
确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；
由各所述景深值非零的像素点各自对应的所述三维点，组成所述目标对象的人脸点云数据。
9.根据权利要求1所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据，包括：
确定所述人脸点云数据集中各个人脸点云数据的质心；
根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集；
从所述中间人脸点云数据集中选取姿态参考点云数据；
利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据。
10.根据权利要求9所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集，包括：
针对每一个人脸点云数据，将所述人脸点云数据中每个点的空间坐标减去所述质点的坐标，得到所述人脸点云数据对应的中间人脸点云数据；
基于各个人脸点云数据对应的中间人脸点云数据，形成所述目标对象对应的中间人脸点云数据集。
11.根据权利要求9所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据，包括：
从所述中间人脸点云数据集中提取任一所述非姿态参考点云数据，以作为目标中间人脸点云数据；
从所述目标中间人脸点云数据中选取M个目标点数据；
从所述姿态参考点云数据中，查找所述M个目标点数据各自对应的最近邻点数据；
根据每个目标点数据对应的最近邻点数据，生成每个目标点数据对应的最近点对数据；
根据所述M个目标点数据对应的最近点对数据，组成最近点对集合；
根据所述最近点对集合，确定目标旋转矩阵和目标偏移向量；
利用所述目标旋转矩阵和所述目标偏移向量，对所述目标中间人脸点云数据进行转换，得到所述目标中间人脸点云数据对应的初始转换点云数据；
确定所述姿态参考点云数据与所述初始转换点云数据之间的转换误差；
若所述转换误差小于预设第一阈值，则将所述初始转换点云数据确定为所述目标中间人脸点云数据对应的人脸转换点云数据。
12.根据权利要求11所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，还包括：
判断所述转换误差是否小于预设第一阈值；
若所述转换误差不小于预设第一阈值，则确定所述目标中间人脸点云数据对应的配准迭代次数；
若所述配准迭代次数小于预设的迭代次数阈值，则跳转至所述从所述目标中间人脸点云数据中选取M个目标点数据的步骤进行重新配准，直至所述目标中间人脸点云数据对应的配准迭代次数达到预设次数阈值。
13.根据权利要求9所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述确定所述人脸点云数据集中各个人脸点云数据的质心，包括：
获取所述人脸点云数据集中每个人脸点云数据中的所有点空间坐标；
将每个人脸点云数据中的所有点空间坐标的平均值，确定为每个人脸点云数据的质心。
14.一种基于摄像头设备的三维人脸重建装置，其特征在于，包括：
图像采集数据模块，用于通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；
人脸点云数据集模块，用于依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集；
点云配准处理模块，用于依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；
融合处理模块，用于基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；
曲面重建模块，用于依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。
15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-13任一项所述的基于摄像头设备的三维人脸重建方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-13任一项所述的基于摄像头设备的三维人脸重建方法的步骤。
CN202111224238.9A 2021-10-18 2021-10-18 基于摄像头设备的三维人脸重建方法及相关设备 Pending CN113902855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224238.9A CN113902855A (zh) 2021-10-18 2021-10-18 基于摄像头设备的三维人脸重建方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224238.9A CN113902855A (zh) 2021-10-18 2021-10-18 基于摄像头设备的三维人脸重建方法及相关设备

Publications (1)

Publication Number Publication Date
CN113902855A true CN113902855A (zh) 2022-01-07

Family

ID=79192812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224238.9A Pending CN113902855A (zh) 2021-10-18 2021-10-18 基于摄像头设备的三维人脸重建方法及相关设备

Country Status (1)

Country Link
CN (1) CN113902855A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524106A (zh) * 2022-01-20 2023-08-01 腾讯科技（深圳）有限公司 一种图像标注方法、装置、设备及存储介质、程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN110060336A (zh) * 2019-04-24 2019-07-26 北京华捷艾米科技有限公司 三维人脸重建方法、装置、介质以及设备
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN113436122A (zh) * 2021-06-17 2021-09-24 清华大学 点云补全方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN110060336A (zh) * 2019-04-24 2019-07-26 北京华捷艾米科技有限公司 三维人脸重建方法、装置、介质以及设备
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN113436122A (zh) * 2021-06-17 2021-09-24 清华大学 点云补全方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张辰阳: "一种基于EGI和标准人脸模板的三维人脸 点云拼合算法", 《软件导刊》, vol. 15, no. 11, 30 November 2016 (2016-11-30), pages 44 - 45 *
徐欢 等: "Kinect深度图像修复算法", 《微电子学与计算机》, vol. 30, no. 11, 30 November 2013 (2013-11-30), pages 99 *
方硕: "基于RGB-D相机的室内场景三维模型重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, 15 January 2021 (2021-01-15), pages 28 - 29 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524106A (zh) * 2022-01-20 2023-08-01 腾讯科技（深圳）有限公司 一种图像标注方法、装置、设备及存储介质、程序产品

Similar Documents

Publication Publication Date Title
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN109558764A (zh) 人脸识别方法及装置、计算机设备
CN104933755B (zh) 一种静态物体重建方法和系统
CN110942032B (zh) 活体检测方法及装置、存储介质
CN113902781A (zh) 三维人脸重建方法、装置、设备及介质
CN109697688A (zh) 一种用于图像处理的方法和装置
CN104599317B (zh) 一种实现3d扫描建模功能的移动终端及方法
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
JP2019125057A (ja) 画像処理装置及びその方法、プログラム
CN113902852A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN110598556A (zh) 一种人体身形姿态匹配方法和装置
CN113902851A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN113192179A (zh) 一种基于双目立体视觉的三维重建方法
WO2020152927A1 (ja) 学習用データ生成方法、学習用データ生成装置、および、推論処理方法
TW201928875A (zh) 過濾光斑的方法和裝置
CN106462738B (zh) 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备
Anbarjafari et al. 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media
CN113902853A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN107330930B (zh) 三维图像深度信息提取方法
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
CN113902849A (zh) 三维人脸模型重建方法、装置、电子设备及存储介质
CN113610969B (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN113902855A (zh) 基于摄像头设备的三维人脸重建方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination