CN110060336A - 三维人脸重建方法、装置、介质以及设备 - Google Patents
三维人脸重建方法、装置、介质以及设备 Download PDFInfo
- Publication number
- CN110060336A CN110060336A CN201910335714.0A CN201910335714A CN110060336A CN 110060336 A CN110060336 A CN 110060336A CN 201910335714 A CN201910335714 A CN 201910335714A CN 110060336 A CN110060336 A CN 110060336A
- Authority
- CN
- China
- Prior art keywords
- cloud
- point
- group
- point cloud
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000001815 facial effect Effects 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 89
- 239000011159 matrix material Substances 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 24
- 238000013519 translation Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002674 ointment Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本申请公开了一种三维人脸重建方法，包括：获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；确定第一组点云和第二组点云中特征点的属性向量，特征点是指点云所形成的曲面中的凹点或者凸点，特征点的属性向量包括特征点对应的平均曲率和高斯曲率；根据第一组点云和第二组点云中特征点的属性向量，对第一组点云和第二组点云进行粗配准得到粗配准初始值；通过点云精准配准算法基于粗配准初始值对第一组点云和第二组点云进行精配准，由于粗配准初始提供值为精配准提供了较好的迭代初始位置，避免了配准陷入局部最优的问题，提高了配准精度，进而提高了最终构建的三维人脸模型的精度。本申请还公开了对应的装置、设备及介质。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种三维人脸重建方法、装置、计算机可读存储介质以及设备。
背景技术
三维人脸重建技术是计算机视觉领域的一大研究热点，其在人脸识别、人脸替换、人脸驱动以及人脸编辑等各个方面都有着广泛的应用。
目前比较常用的三维人脸重建技术是主动式三维重建技术，发明人发现现有技术中的主动式三维重建技术在应用过程中，点云配准容易陷入局部最优的问题，导致最终的重建的三维人脸的精度不高。
发明内容
本申请提供了一种三维人脸重建方法，其通过包括特征点对应的平均曲率和高斯曲率在内的属性向量对待配准的两帧各自对应的点云进行粗配准，为后续点云精配准提供了较好的迭代初始位置，降低了陷入局部最优解的概率，更加利于函数趋于最优解，提高了算法的精度和效率。本申请还提供了对应的装置、设备、存储介质以及计算机程序等相关产品。
本申请第一方面提供了一种三维人脸重建方法，包括：
获取视频流，所述视频流包括多帧；
针对所述多帧，按照帧顺序依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，针对所述多帧对应的点云融合数据构建三维人脸模型；
其中，一次迭代过程中相邻两帧的点云配置融合过程为：
获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；
确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；
根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；
在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；
在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。
可选的，所述获取待配准的两帧各自对应的点云，包括：
获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像；所述i取值为大于或者等于1的正整数；
对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域；
基于第i+1帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云。
可选的，针对一帧的彩色图像，通过以下方式进行人脸检测，得到人脸区域：
通过人脸检测模型从彩色图像中提取初始人脸区域；
通过高斯肤色模型确定出彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，得到人脸区域。
可选的，所述第一组点云和所述第二组点云中有一组点云具体包括基于一帧点云及其对应的前一帧的点云融合所得的点云数据。
可选的，在所述确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量之前，所述方法还包括：
采用自适应双边滤波算法对所述第一组点云和所述第二组点云分别进行去噪处理。
可选的，所述根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值，包括：
通过相似度度量函数确定所述第一组点云与所述第二组点云中特征点的属性向量的相似度；
基于所述相似度，通过单位四元数算法求解得到使得所述第一组点云和所述第二组点云配准的旋转矩阵和平移矩阵，将所述旋转矩阵和所述平移矩阵，作为粗配准初始值。
可选的，通过以下方式进行所述精配准：
基于粗配准初始值，通过迭代最近点算法基于最小二乘法对误差函数进行最小化处理，迭代直到误差小于预设阈值。
可选的，所述基于所述多帧对应的点云融合数据构建三维人脸模型，包括：
将所述多帧对应的点云融合数据作为一个数据场，将所述数据场中八个位置相邻的点云融合数据分别存放在一个体元的八个顶点处；
计算该体元中十二条边和等值面的交点，并构造体元中的三角面片，连接所述数据场中所有体元的三角面片，构成等值面；
合并所有立方体的等值面生成三维人脸模型。
本申请第二方面提供了一种三维人脸重建装置，包括：
视频流获取单元，用于获取视频流，所述视频流包括多帧；
三维人脸重建单元，用于针对所述多帧，按照帧顺序调用点云获取单元、确定单元、粗配准单元、精配准单元以及点云融合单元依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，基于所述多帧对应的点云融合数据构建三维人脸模型；其中：
所述点云获取单元，用于获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；
所述确定单元，用于确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；
所述粗配准单元，用于根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；
所述精配准单元，用于在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；
所述点云融合单元，用于在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。
可选的，所述点云获取单元，具体用于：
获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像；所述i取值为大于或者等于1的正整数；
对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域；
基于第i+1帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云。
可选的，所述点云获取单元，具体通过以下方式进行人脸检测，得到人脸区域：
通过人脸检测模型从彩色图像中提取初始人脸区域；
通过高斯肤色模型确定彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，得到人脸区域。
可选的，所述装置还包括：
去噪单元，用于采用自适应双边滤波算法对所述第一组点云和所述第二组点云分别进行去噪处理。
可选的，所述粗配准单元，具体用于：
通过相似度度量函数确定所述第一组点云与所述第二组点云中特征点的属性向量的相似度；
基于所述相似度，通过单位四元数算法求解得到使得所述第一组点云和所述第二组点云配准的旋转矩阵和平移矩阵，将所述旋转矩阵和所述平移矩阵，作为粗配准初始值。
可选的，所述精配准单元，具体用于：
基于粗配准初始值，通过迭代最近点算法基于最小二乘法对误差函数进行最小化处理，迭代直到误差小于预设阈值。
可选的，所述三维人脸重建单元，具体用于：
将所述多帧对应的点云融合数据作为一个数据场，将所述数据场中八个位置相邻的点云融合数据分别存放在一个体元的八个顶点处；
计算该体元中十二条边和等值面的交点，并构造体元中的三角面片，连接所述数据场中所有体元的三角面片，构成等值面；
合并所有立方体的等值面生成三维人脸模型。
本申请第三方面提供了一种设备，所述设备包括：
处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行本申请第一方面所述的三维人脸重建方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行本申请第一方面所述的三维人脸重建方法。
本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的三维人脸重建方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
在进行三维人脸重建时，获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云，分别确定第一组点云中特征点的属性向量和第二组点云中特征点的属性向量，其中，特征点是指点云所形成的曲面中的凹点或者凸点，特征点的属性向量包括特征点对应的平均曲率和高斯曲率，根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值，其为后续点云精配准提供了良好的迭代初始位置，基于此，通过点云精准配准算法基于该粗配准初始值对第一组点云和第二组点云进行精配准，解决了点云配准容易陷入局部最优的问题，如此，在精配准之后，对所述第一组点云和所述第二组点云进行点云融合，基于点云融合后的点云数据构建三维人脸模型，使得最终的重建的三维人脸的精度较高。
附图说明
图1为本申请实施例中三维人脸重建方法的场景架构图；
图2为本申请实施例中三维人脸重建方法的流程图；
图3为本申请实施例中三维人脸重建方法的效果图；
图4为本申请实施例中三维人脸重建装置的结构示意图；
图5为本申请实施例中服务器的结构示意图；
图6为本申请实施例中终端的结构示意图。
具体实施方式
针对在现有的主动式三维重建技术在应用过程中，点云配准容易陷入局部最优，导致最终的重建的三维人脸的精度不高的问题，本申请提供了在满足实时性的前提下，点云配准精度更高、收敛速度更快的三维人脸重建方法，将多帧人脸的深度信息不断融合，最终重建出完整的三维人脸。
具体地，在本申请提供的三维人脸重建方法中，确定点云形成的曲面中的凹点或者凸点作为特征点，将特征点对应的平均曲率和高斯曲率作为特征点的属性向量，然后利用待配准的两组点云各自对应的特征点的属性向量进行粗配准得到粗配准初始值，其为后续点云精配准提供了良好的迭代初始位置，解决了点云配准容易陷入局部最优的问题，提高了重建的三维人脸的精度。
本申请提供的三维人脸重建方法，可以应用在动漫制作、沉浸式虚拟交互和生物医学成像等领域中，可以理解，本申请提供的三维人脸重建方法可以应用于任意具有图像处理能力的处理设备，如具有中央处理器(Central Processing Unit/Processor，CPU)和/或图形处理器(Graphics Processing Unit，GPU)的终端或服务器。其中，终端可以是台式机、笔记本电脑等桌面终端，也可以是智能手机、平板电脑等移动终端，还可以是车载终端、可穿戴智能终端等等。
本申请提供的三维人脸重建方法可以以计算机程序的形式存储于处理设备中，处理设备通过执行上述计算机程序，以实现本申请提供的三维人脸重建方法。
为了使得本申请的技术方案更加清楚、易于理解，下面将从终端的角度，结合具体场景对本申请的三维人脸重建方法进行介绍。
参见图1所示的三维人脸重建方法的场景架构图，该场景中包括彩色及深度RGB-D传感器10和终端20，RGB-D传感器10可以采集深度图像和彩色图像，终端20获取深度图像和彩色图像，通过彩色图像识别人脸区域，基于该人脸区域，将深度图像转换成人脸的点云数据，如此获得待配准的两帧各自对应的点云，作为第一组点云和第二组点云，然后确定第一组点云和第二组点云中特征点的属性向量，即第一组点云和第二组点云所形成的曲面中凹点或凸点对应的平均曲率和高斯曲率。接着，终端20根据第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对第一组点云和第二组点云进行粗配准得到粗配准初始值，在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准，在精配准之后对所述第一组点云和第二组点云进行点云融合得到点云融合数据，然后终端20采用相同的方式将融合后的点云与下一帧对应的点云进行融合，直至将视频流中所有帧进行融合，基于最终融合的点云数据构建三维人脸模型。
接下来，将从终端的角度对本申请提供的三维人脸重建方法的各个步骤进行详细说明。
在该方法中，终端首先获取视频流，该视频流包括多帧，针对所述多帧，按照帧顺序依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，针对所述多帧对应的点云融合数据构建三维人脸模型。为了便于理解，本申请以相邻两帧的点云融合过程作为示例，对上述重建方法中的点云融合过程进行介绍。
参见图2所示的三维人脸重建方法中点云融合的流程图，该方法包括：
S201：获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云。
待配准的两帧具体可以是视频流中相邻的两帧，如视频流中第i帧和第i+1帧，其中，i为大于或者等于1的正整数，在将第i帧和第i+1帧对应的点云融合后，可以将融合后的点云与下一帧对应的点云即第i+2帧的点云进行配准、融合。本文以第i帧和第i+1帧作为示例对配置和融合的过程进行说明。
各帧对应的点云可以根据其深度图像和彩色图像确定。具体地，获取该帧对应的深度图像以及彩色图像，具体可以基于RGB-D传感器通过深度摄像头采集生成深度图像，并通过彩色摄像头获取该深度图像对应的彩色图像。接着对彩色图像进行人脸检测获得彩色图像的人脸区域，通过对彩色图像和深度图像进行配准，可以确定深度图像的人脸区域，然后基于深度图像的人脸区域，根据RGB-D传感器的内外参数将该帧深度图像转换成人脸的点云数据。
在进行人脸检测时，具体可以通过人脸检测模型和高斯肤色模型实现。具体地，首先通过人脸检测模型从彩色图像中提取初始人脸区域，然后利用高斯肤色模型确定彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，从而得到彩色图像的人脸区域。
YCbCr空间是一种既可以充分表达人脸肤色，又能在很大程度上消除亮度干扰的颜色空间，其中，Y是亮度信息，Cb和Cr是色度信息，在CbCr空间中，肤色像素具有很好的聚类性，并且符合二维高斯分布。通过RGB颜色空间与YCbCr颜色空间的转换关系，得到每个肤色像素点的色度值(Cb,Cr)，RGB颜色空间与YCbCr颜色空间的转换关系如下所示：
其中，R、G、B分别表示彩色图像中各像素点对应红色、绿色、蓝色通道值，Y表示YCbCr空间中每个肤色像素点的亮度值，Cb、Cr分别YCbCr空间中每个肤色像素点的色度值。
基于公式(1)的转换关系可以建立肤色高斯模型，得到每个像素是否为肤色像素的概率值，然后通过设置经验阈值来判断各个像素点是否为肤色像素点。在得到人脸区域后，可以将彩色图像对应的深度图像非肤色位置的深度值置为0，然后根据RGB-D传感器的内外参数将人脸的深度图像转换为人脸的点云数据。
基于此，终端可以获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像，对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域，然后基于第i帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云，记作第一组点云和第二组点云。
S202：确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量。
所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率。
由于每帧人脸点云数据反映不同视角下的人脸表面，为了得到完整的人脸模型，在获得不同视角下的人脸点云数据之后，可以将点云配准到同一个人脸模型中，而配准的关键就是求出两组人脸点云数据的空间变换关系，即旋转和平移矩阵，将两组点云变换到统一坐标系下，使得交集区域重叠。
本申请的配准过程大体分为两步：粗配准和精配准。首先采用人脸特征点来进行粗配准，然后再采用点云精准配准算法进行精配准。为此，终端可以先基于点云数据确定出点云中的特征点，进而确定出特征点的属性向量，以便根据属性向量进行粗配准。
在具体实现时，针对任一组点云，终端可以先计算人脸点云中任意一点的法向量，然后计算该点对应的曲率，其中，该点的曲率具体可以通过该点与其邻域点拟合的局部曲面的曲率进行表征。在计算出点云中各点的曲率后，可以确定曲面中的凹点或凸点，由于一点的平均曲率和高斯曲率不会随坐标改变而改变，因此，可以将平均曲率和高斯曲率作为属性向量，如此，可以确定针对该组点云中特征点的属性向量。
具体到本实施例，终端可以确定第一组点云中特征点和第二组点云中特征点，进而确定第一组点云中特征点的属性向量和第二组点云中特征点的属性向量。其中，属性向量包括平均曲率和高斯曲率。
为了便于理解，对曲率的基本要素进行介绍。曲率包括平均曲率、主曲率和高斯曲率。平均曲率是空间上曲面上某一点任意两个相互垂直的正交曲率的平均值。如果一组相互垂直的正交曲率可表示为K1、K2，那么平均曲率则为：K＝(K1+K2)/2。主曲率包括极大曲率和极小曲率，过曲面上某个点具有无穷个正交曲率，其中，存在一条曲线使得该曲线的曲率为极大，该曲率为极大曲率Kmax，垂直于极大曲率面的曲率为极小曲率Kmin。高斯曲率则是两个主曲率的乘积，也称总曲率，反映某点总的弯曲程度。
S203：根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值。
具体地，终端可以通过相似度度量函数确定所述第一组点云与所述第二组点云中特征点的属性向量的相似度，然后基于所述相似度，通过单位四元数算法求解得到使得所述第一组点云和所述第二组点云配准的旋转矩阵和平移矩阵，将所述旋转矩阵和所述平移矩阵，作为粗配准初始值。
其中，相似度度量函数可以根据实际需求而设置，其可以设置为任意能够表征属性向量相似程度的函数。作为本申请的一个示例，相似度度量函数可以为Tonimoto函数，该函数是基于余弦相似度的扩展，余弦相似度是利用向量空间中两个向量夹角的余弦值衡量两个向量的相似程度，其主张向量在方向上的差异，而非距离和长度，而Tonimoto函数则考虑了向量长度差异，长度差异越大，相似性越小，具体参见如下公式：
其中，A、B分别对应两个特征点的属性向量，T表征Tonimoto函数，用于衡量属性向量的相似程度。T兼顾了两个属性向量的角度和长度差异，角度和长度差异越大，相似性越小。
下面对基于单位四元数算法求解旋转矩阵和平移矩阵的过程进行介绍。
单位四元数是包含4个矢量的列阵，如下所示：
qR＝[q0 q1 q2 q3]T (3)
其中，q0大于等于0，且q0 2+q1 2+q2 2+q3 2＝1。
旋转矩阵R可由上述四元数构建，具体如下：
设平移向量为T，B＝{Bi}代表基准点云，M＝{Mi}代表配准点集，且B与M为邻近点对，则点云配准处理转换化我使下述目标函数成立：
其中，F表征目标函数，B为基准点云，具体可以是第i+1帧对应的点云，Bi具体可以是第i+1帧对应的点云中的特征点，M表征片配准点集，Mi包括第i帧对应的点云中的特征点。上述公式(5)所表达的意义即为对配置点集中的特征点按照旋转矩阵R和平移向量T进行旋转和平移，使得旋转平移后的特征点与基准点云中特征点的距离达到最小。
算法流程具体如下：
对点云坐标进行重心化，从而将旋转矩阵和平移向量分开求解，以及对点集坐标进行重心化，具体实现如下：
其中，n为点集或点云中点的数量，uB和uM表征点云重心坐标，B′和M′为点集进行重心化后的坐标。
(2)构造协方差矩阵M，具体如下所示：
(3)由上述协方差矩阵M构造4*4对称矩阵Q，具体如下所示：
其中，公式(9)中Mij为协方差矩阵M中第i行第j列的元素，i、j为大于等于1且小于等于4的正整数。
(4)计算并查找上述矩阵Q的最大特征值，其对应的特征向量可构成四元数：
qR＝[q0 q1 q2 q3]T (10)
(5)基于公式10中的特征向量，按照公式(4)确定旋转矩阵R，然后按照如下公式确定平移向量T：
T＝uB-RuM (11)
在求解得到旋转矩阵R和平移向量T后，按照上述旋转矩阵R进行旋转，并按照平移向量T进行平移，可以使得两组点云粗配准。
S204：在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准。
经过点云的粗配准之后，两组点云已经大致重合，为了进一步的提高点云配准的精度，降低配准误差，终端还通过点云精准配准算法进行点云的精配准。
作为本申请的一个示例，点云精准配准算法具体可以是迭代最近点(IterativeCloset Point，ICP)算法。在具体实现时，终端可以基于粗配准初始值，通过ICP算法基于最小二乘法对误差函数进行最小化处理，迭代直到误差小于预设阈值。
ICP算法通过在每次迭代的过程中，对点云中的每一个点，在模型点云中寻找与之欧氏距离最近的点作为对应点。通过这组对应点使得目标函数S2最小化：
其中，、Pi表征第一组点云第i个特征点、Qi表征第二组点云第i个特征点、R表征旋转矩阵、t表征平移向量。
S205：在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。
点云配准之后，为了获得更加精细的重建模型，终端可以进行点云融合，基于视频流中的多帧对应的点云融合数据构建三维人脸模型。在构建三维人脸模型时，将点云空间分割成若干体素，并为所有体素赋予有向距离函数(Signed Distance Function，SDF)值，来隐式地模拟物体表面，SDF的值等于此体素到物体表面的最小距离值，当SDF值大于零，表示该体素在物体表面前，当SDF值小于零时，表示该体素在物体表面后，当SDF值越接近零，表示该体素越贴近物体的真实表面。
在有些情况下，存在体素占用大量内存的问题，本申请采用截断符号距离描述函数(Truncated Signed Distance Function，TSDF)算法，只存储距离真实表面较近的体素，从而大幅度降低内存消耗。
表面生成的目的是为了构造物体的可视等值面，本申请采用经典体素级重建算法(MarchingCubes，MC)，首先将所述多帧对应的点云融合数据作为一个数据场，将数据场中8个位置相邻的点云融合数据分别存放在一个体元的八个顶点处。若体元一条边上的两个顶点，一个大于给定常数，另一个小于给定常数，则该条边上一定有等值面的一个顶点，然后计算该体元中十二条边和等值面的交点，并构造体元中的三角面片，最后连接此数据场中的所有体元的三角面片，构成等值面，合并所有立方体的等值面，从而生成完整的三维人脸模型。
由上可知，本申请实施例提供了一种三维人脸重建方法，在进行三维人脸重建时，获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云，分别确定第一组点云中特征点的属性向量和第二组点云中特征点的属性向量，其中，特征点是指点云所形成的曲面中的凹点或者凸点，特征点的属性向量包括特征点对应的平均曲率和高斯曲率，根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值，其为后续点云精配准提供了良好的迭代初始位置，基于此，通过点云精准配准算法基于该粗配准初始值对第一组点云和第二组点云进行精配准，解决了点云配准容易陷入局部最优的问题，如此，在精配准之后，对所述第一组点云和所述第二组点云进行点云融合，基于点云融合后的点云数据构建三维人脸模型，使得最终重建的三维人脸的精度较高。
考虑到深度图像转换为点云之后，点云的噪声较多，尤其是是边缘处的不稳定噪声点，为了进一步提高三维人脸重建的精度，终端可以在确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量之前先对点云进行噪声滤除。
传统的双边滤波算法中空间方差的值是人为设定的经验值，往往取值不太合理，有时会出现噪声不能滤除或者降噪与保留边缘特征相冲突的问题。本申请采用自适应双边滤波算法对点云进行去噪，先对每个采样点建立k邻域，然后将每个采样点的微切平面作为视平面，在该视平面上利用目标尺度信息实现空间方差的自适应选取，这种自适应的双边滤波方法相较于传统的双边滤波方法在滤除噪声的同时，较好地保留了边缘细节特征，为后续的点云配准跟点云融合提供了较为理想的点云数据，使得最终重建的三维人脸具有较高的精度。
可以理解，本申请提供的三维人脸重建方法，一方面基于肤色高斯模型分割出人脸区域，减少了非人脸区域对重建的干扰，也减少了对人脸无关区域的重建，另一方面通过对点云进行自适应的双边滤波，较好的去除了噪声点，为后续的点云配准跟点云融合提供了较为理想的点云数据，并且，通过特征点的属性向量对点云进行粗配准，为点云精配准提供了较好的初始配准位置，降低点云配准算法陷入局部最优解的概率，提高了点云配准的精度，使得最终重建的三维人脸模型具有较高的精度。
具体请参见图3，其示出了本申请实施例提供的三维人脸重建方法的效果示意图，如3中的A、B、C、D、E、F所示，其示出了进行1次、3次、5次、33次、40次、48次点云融合后构建的三维人脸的示意图，其中，1次点云融合可以是视频流中第1帧和第2帧融合，3次点云融合可以是第1帧和2帧融合后的融合帧和第3帧融合，再将和第3帧融合后的帧与第4帧融合，如此完成3次点云融合，其他融合次数对应的融合过程依此类推，在此不再赘述。
由上述图3可知，本申请实施例提供的三维人脸重建方法能够较好地滤除了人脸点云的噪点，并大大降低了点云配准算法陷入局部最优的概率，直接提高了三维人脸的重建精度。
以上为本申请实施例提供的三维人脸重建方法的一些具体实现方式，基于此，本申请实施例还提供了对应的装置，下面将从功能模块化的角度对本申请实施例提供的上述装置进行介绍。
参见图4所示的三维人脸重建装置的结构示意图，该装置400包括：
视频流获取单元410，用于获取视频流，所述视频流包括多帧；
三维人脸重建单元420，用于针对所述多帧，按照帧顺序调用点云获取单元、确定单元、粗配准单元、精配准单元以及点云融合单元依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，基于所述多帧对应的点云融合数据构建三维人脸模型；其中：
所述点云获取单元421，用于获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；
所述确定单元422，用于确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；
所述粗配准单元423，用于根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；
所述精配准单元424，用于在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；
所述点云融合单元425，用于在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。
可选的，所述点云获取单元421，具体用于：
获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像；所述i取值为大于或者等于1的正整数；
对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域；
基于第i+1帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云。
可选的，所述点云获取单元421，具体通过以下方式进行人脸检测，得到人脸区域：
通过人脸检测模型从彩色图像中提取初始人脸区域；
通过高斯肤色模型确定彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，得到人脸区域。
可选的，所述装置400还包括：
去噪单元，用于采用自适应双边滤波算法对所述第一组点云和所述第二组点云分别进行去噪处理。
可选的，所述粗配准单元423，具体用于：
通过相似度度量函数确定所述第一组点云与所述第二组点云中特征点的属性向量的相似度；
基于所述相似度，通过单位四元数算法求解得到使得所述第一组点云和所述第二组点云配准的旋转矩阵和平移矩阵，将所述旋转矩阵和所述平移矩阵，作为粗配准初始值。
可选的，所述精配准单元424，具体用于：
基于粗配准初始值，通过迭代最近点算法基于最小二乘法对误差函数进行最小化处理，迭代直到误差小于预设阈值。
可选的，所述三维人脸重建单元420，具体用于：
将所述多帧对应的点云融合数据作为一个数据场，将所述数据场中八个位置相邻的点云融合数据分别存放在一个体元的八个顶点处；
计算该体元中十二条边和等值面的交点，并构造体元中的三角面片，连接所述数据场中所有体元的三角面片，构成等值面；
合并所有立方体的等值面生成三维人脸模型。
基于本申请实施例提供的三维人脸重建方法及装置，本申请还提供了在一种用于三维人脸重建的设备，该设备可以是服务器，也可以是终端，下面将从硬件实体化的角度对本申请实施例提供的设备进行详细说明。
图5是本申请实施例提供的一种服务器结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图5所示的服务器结构。
其中，CPU 522用于执行如下步骤：
获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；
确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；
根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；
在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；
在精配准之后，对所述第一组点云和所述第二组点云进行点云融合，基于点云融合后的点云数据构建三维人脸模型。
可选的，CPU 522还可以用于执行本申请实施例中三维人脸重建方法的任意一种实现方式的步骤。
本申请实施例还提供了另一种用于三维人脸重建的设备，如图6所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：
图6示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图6，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图6中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
所述传感器650包括深度摄像头，也称3D摄像头，该摄像头除了能够获取彩色图像以外，还能采集深度图像，本申请实施例基于上述3D摄像头采集的彩色图像和深度图像实现三维人脸重建。
存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
在本申请实施例中，该终端包括的处理器680具有以下功能；
获取视频流，所述视频流包括多帧；
该终端所包括的处理器680还具有以下功能：
针对所述多帧，按照帧顺序依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，针对所述多帧对应的点云融合数据构建三维人脸模型；
其中，一次迭代过程中相邻两帧的点云配置融合过程为：
获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；
确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；
根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；
在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；
在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。
可选的，处理器680还可以用于执行本申请实施例中三维人脸重建方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种三维人脸重建方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种三维人脸重建方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (16)
1.一种三维人脸重建方法，其特征在于，包括：
获取视频流，所述视频流包括多帧；
针对所述多帧，按照帧顺序依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，针对所述多帧对应的点云融合数据构建三维人脸模型；
其中，一次迭代过程中相邻两帧的点云配置融合过程为：
获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；
确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；
根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；
在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；
在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。
2.根据权利要求1所述的方法，其特征在于，所述获取待配准的两帧各自对应的点云，包括：
获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像；所述i取值为大于或者等于1的正整数；
对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域；
基于第i帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云。
3.根据权利要求2所述的方法，其特征在于，针对一帧的彩色图像，通过以下方式进行人脸检测，得到人脸区域：
通过人脸检测模型从彩色图像中提取初始人脸区域；
通过高斯肤色模型确定彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，得到人脸区域。
4.根据权利要求1所述的方法，其特征在于，在所述确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量之前，所述方法还包括：
采用自适应双边滤波算法对所述第一组点云和所述第二组点云分别进行去噪处理。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值，包括：
通过相似度度量函数确定所述第一组点云与所述第二组点云中特征点的属性向量的相似度；
基于所述相似度，通过单位四元数算法求解得到使得所述第一组点云和所述第二组点云配准的旋转矩阵和平移矩阵，将所述旋转矩阵和所述平移矩阵，作为粗配准初始值。
6.根据权利要求1所述的方法，其特征在于，通过以下方式进行所述精配准：
基于粗配准初始值，通过迭代最近点算法基于最小二乘法对误差函数进行最小化处理，迭代直到误差小于预设阈值。
7.根据权利要求1所述的方法，其特征在于，所述基于所述多帧对应的点云融合数据构建三维人脸模型，包括：
将所述多帧对应的点云融合数据作为一个数据场，将所述数据场中八个位置相邻的点云融合数据分别存放在一个体元的八个顶点处；
计算该体元中十二条边和等值面的交点，并构造体元中的三角面片，连接所述数据场中所有体元的三角面片，构成等值面；
合并所有立方体的等值面生成三维人脸模型。
8.一种三维人脸重建装置，其特征在于，包括：
视频流获取单元，用于获取视频流，所述视频流包括多帧；
三维人脸重建单元，用于针对所述多帧，按照帧顺序调用点云获取单元、确定单元、粗配准单元、精配准单元以及点云融合单元依次对相邻两帧进行点云配准融合迭代处理得到多帧对应的点云融合数据，基于所述多帧对应的点云融合数据构建三维人脸模型；其中：
所述点云获取单元，用于获取待配准的两帧各自对应的点云，作为第一组点云和第二组点云；
所述确定单元，用于确定第一组点云中特征点的属性向量，以及确定第二组点云中特征点的属性向量，所述特征点是指点云所形成的曲面中的凹点或者凸点，所述特征点的属性向量包括特征点对应的平均曲率和高斯曲率；
所述粗配准单元，用于根据所述第一组点云中特征点的属性向量和所述第二组点云中特征点的属性向量，对所述第一组点云和所述第二组点云进行粗配准得到粗配准初始值；
所述精配准单元，用于在粗配准之后，通过点云精准配准算法基于粗配准初始值对所述第一组点云和所述第二组点云进行精配准；
所述点云融合单元，用于在精配准之后，对所述第一组点云和所述第二组点云进行点云融合得到点云融合数据。
9.根据权利要求8所述的装置，其特征在于，所述点云获取单元，具体用于：
获取视频流中第i帧和第i+1帧各自对应的深度图像以及彩色图像；所述i取值为大于或者等于1的正整数；
对视频流中第i帧和第i+1帧各自对应的彩色图像分别进行人脸检测，获得第i帧的人脸区域和第i+1帧的人脸区域；
基于第i+1帧的人脸区域和第i+1帧的人脸区域，根据RGB-D传感器的内外参数将第i帧的深度图像和第i+1帧的深度图像分别转换成人脸的点云数据，得到第i帧的点云和第i+1帧的点云，作为待配准的两帧各自对应的点云。
10.根据权利要求9所述的装置，其特征在于，所述点云获取单元，具体通过以下方式进行人脸检测，得到人脸区域：
通过人脸检测模型从彩色图像中提取初始人脸区域；
通过高斯肤色模型确定彩色图像中的肤色像素，基于肤色像素从所述初始人脸区域中剔除非人脸的部分，得到人脸区域。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
去噪单元，用于采用自适应双边滤波算法对所述第一组点云和所述第二组点云分别进行去噪处理。
12.根据权利要求8所述的装置，其特征在于，所述粗配准单元，具体用于：
通过相似度度量函数确定所述第一组点云与所述第二组点云中特征点的属性向量的相似度；
基于所述相似度，通过单位四元数算法求解得到使得所述第一组点云和所述第二组点云配准的旋转矩阵和平移矩阵，将所述旋转矩阵和所述平移矩阵，作为粗配准初始值。
13.根据权利要求8所述的装置，其特征在于，所述精配准单元，具体用于：
基于粗配准初始值，通过迭代最近点算法基于最小二乘法对误差函数进行最小化处理，迭代直到误差小于预设阈值。
14.根据权利要求8所述的装置，其特征在于，所述三维人脸重建单元，具体用于：
将所述多帧对应的点云融合数据作为一个数据场，将所述数据场中八个位置相邻的点云融合数据分别存放在一个体元的八个顶点处；
计算该体元中十二条边和等值面的交点，并构造体元中的三角面片，连接所述数据场中所有体元的三角面片，构成等值面；
合并所有立方体的等值面生成三维人脸模型。
15.一种设备，其特征在于，所述设备包括：
处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1至7任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335714.0A CN110060336A (zh) | 2019-04-24 | 2019-04-24 | 三维人脸重建方法、装置、介质以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335714.0A CN110060336A (zh) | 2019-04-24 | 2019-04-24 | 三维人脸重建方法、装置、介质以及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110060336A true CN110060336A (zh) | 2019-07-26 |
Family
ID=67320679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910335714.0A Pending CN110060336A (zh) | 2019-04-24 | 2019-04-24 | 三维人脸重建方法、装置、介质以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060336A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079684A (zh) * | 2019-12-24 | 2020-04-28 | 河南中原大数据研究院有限公司 | 一种基于粗糙-精细拟合的三维人脸检测方法 |
| CN111160208A (zh) * | 2019-12-24 | 2020-05-15 | 河南中原大数据研究院有限公司 | 基于多帧点云融合与可变模型的三维人脸超分辨率方法 |
| CN111210466A (zh) * | 2020-01-14 | 2020-05-29 | 华志微创医疗科技（北京）有限公司 | 多视角点云配准方法、装置以及计算机设备 |
| CN111243093A (zh) * | 2020-01-07 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 三维人脸网格的生成方法、装置、设备及存储介质 |
| CN111259788A (zh) * | 2020-01-14 | 2020-06-09 | 华志微创医疗科技（北京）有限公司 | 头颈拐点的检测方法、装置以及计算机设备 |
| CN111339973A (zh) * | 2020-03-03 | 2020-06-26 | 北京华捷艾米科技有限公司 | 一种对象识别方法、装置、设备及存储介质 |
| CN112562060A (zh) * | 2020-11-24 | 2021-03-26 | 深兰科技（上海）有限公司 | 三维人脸建模方法、装置、电子设备及存储介质 |
| CN112819700A (zh) * | 2019-11-15 | 2021-05-18 | 阿里巴巴集团控股有限公司 | 一种点云数据的去噪方法、装置及可读存储介质 |
| CN113139465A (zh) * | 2021-04-23 | 2021-07-20 | 北京华捷艾米科技有限公司 | 人脸识别方法及装置 |
| CN113393504A (zh) * | 2021-05-28 | 2021-09-14 | 广东电网有限责任公司广州供电局 | 一种开关柜点云配准方法、系统、计算机设备及存储介质 |
| CN114170382A (zh) * | 2021-12-07 | 2022-03-11 | 深圳职业技术学院 | 基于数控机床的高精度三维重建方法和装置 |
| TWI805934B (zh) * | 2020-07-15 | 2023-06-21 | 國立雲林科技大學 | 一種實體物件轉換點雲資訊之模型建置系統及其方法 |
| CN116563561A (zh) * | 2023-07-06 | 2023-08-08 | 北京优脑银河科技有限公司 | 点云特征提取方法、点云配准方法及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130223702A1 (en) * | 2012-02-22 | 2013-08-29 | Veran Medical Technologies, Inc. | Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation |
| CN105719352A (zh) * | 2016-01-26 | 2016-06-29 | 湖南拓视觉信息技术有限公司 | 人脸三维点云超分辨率融合方法及应用其的数据处理装置 |
| CN109242951A (zh) * | 2018-08-06 | 2019-01-18 | 宁波盈芯信息科技有限公司 | 一种脸部实时三维重建方法 |
| CN109345621A (zh) * | 2018-08-28 | 2019-02-15 | 广州智美科技有限公司 | 交互式人脸三维建模方法及装置 |
-
2019
- 2019-04-24 CN CN201910335714.0A patent/CN110060336A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130223702A1 (en) * | 2012-02-22 | 2013-08-29 | Veran Medical Technologies, Inc. | Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation |
| CN105719352A (zh) * | 2016-01-26 | 2016-06-29 | 湖南拓视觉信息技术有限公司 | 人脸三维点云超分辨率融合方法及应用其的数据处理装置 |
| CN109242951A (zh) * | 2018-08-06 | 2019-01-18 | 宁波盈芯信息科技有限公司 | 一种脸部实时三维重建方法 |
| CN109345621A (zh) * | 2018-08-28 | 2019-02-15 | 广州智美科技有限公司 | 交互式人脸三维建模方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 严剑锋等: "基于特征点提取和匹配的点云配准算法", 《测绘通报》 * |
| 马福峰等: "基于邻域几何特征约束的植株三维形态配准方法研究", 《计算机应用与软件》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819700A (zh) * | 2019-11-15 | 2021-05-18 | 阿里巴巴集团控股有限公司 | 一种点云数据的去噪方法、装置及可读存储介质 |
| CN111160208A (zh) * | 2019-12-24 | 2020-05-15 | 河南中原大数据研究院有限公司 | 基于多帧点云融合与可变模型的三维人脸超分辨率方法 |
| CN111160208B (zh) * | 2019-12-24 | 2023-04-07 | 陕西西图数联科技有限公司 | 基于多帧点云融合与可变模型的三维人脸超分辨率方法 |
| CN111079684A (zh) * | 2019-12-24 | 2020-04-28 | 河南中原大数据研究院有限公司 | 一种基于粗糙-精细拟合的三维人脸检测方法 |
| CN111079684B (zh) * | 2019-12-24 | 2023-04-07 | 陕西西图数联科技有限公司 | 一种基于粗糙-精细拟合的三维人脸检测方法 |
| CN111243093A (zh) * | 2020-01-07 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 三维人脸网格的生成方法、装置、设备及存储介质 |
| CN111259788A (zh) * | 2020-01-14 | 2020-06-09 | 华志微创医疗科技（北京）有限公司 | 头颈拐点的检测方法、装置以及计算机设备 |
| CN111210466A (zh) * | 2020-01-14 | 2020-05-29 | 华志微创医疗科技（北京）有限公司 | 多视角点云配准方法、装置以及计算机设备 |
| CN111339973A (zh) * | 2020-03-03 | 2020-06-26 | 北京华捷艾米科技有限公司 | 一种对象识别方法、装置、设备及存储介质 |
| TWI805934B (zh) * | 2020-07-15 | 2023-06-21 | 國立雲林科技大學 | 一種實體物件轉換點雲資訊之模型建置系統及其方法 |
| CN112562060A (zh) * | 2020-11-24 | 2021-03-26 | 深兰科技（上海）有限公司 | 三维人脸建模方法、装置、电子设备及存储介质 |
| CN113139465A (zh) * | 2021-04-23 | 2021-07-20 | 北京华捷艾米科技有限公司 | 人脸识别方法及装置 |
| CN113393504A (zh) * | 2021-05-28 | 2021-09-14 | 广东电网有限责任公司广州供电局 | 一种开关柜点云配准方法、系统、计算机设备及存储介质 |
| CN114170382A (zh) * | 2021-12-07 | 2022-03-11 | 深圳职业技术学院 | 基于数控机床的高精度三维重建方法和装置 |
| CN116563561A (zh) * | 2023-07-06 | 2023-08-08 | 北京优脑银河科技有限公司 | 点云特征提取方法、点云配准方法及可读存储介质 |
| CN116563561B (zh) * | 2023-07-06 | 2023-11-14 | 北京优脑银河科技有限公司 | 点云特征提取方法、点云配准方法及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060336A (zh) | 三维人脸重建方法、装置、介质以及设备 | |
| Kim et al. | Feature detection of triangular meshes based on tensor voting theory | |
| Liang et al. | Parsing the hand in depth images | |
| CN109671018A (zh) | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 | |
| Liu et al. | A part‐aware surface metric for shape analysis | |
| CN110136243A (zh) | 一种三维人脸重建方法及其系统、装置、存储介质 | |
| US11900557B2 (en) | Three-dimensional face model generation method and apparatus, device, and medium | |
| CN108932536A (zh) | 基于深度神经网络的人脸姿态重建方法 | |
| CN109859305A (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
| CN110197462A (zh) | 一种人脸图像实时美化与纹理合成方法 | |
| CN109766866B (zh) | 一种基于三维重建的人脸特征点实时检测方法和检测系统 | |
| CN107871143B (zh) | 图像识别方法及装置、计算机装置和计算机可读存储介质 | |
| CN112232914A (zh) | 基于2d图像的四阶段虚拟试衣方法及装置 | |
| CN112215101A (zh) | 一种基于注意力机制的三维目标识别方法及系统 | |
| CN113808277B (zh) | 一种图像处理方法及相关装置 | |
| CN113052976A (zh) | 基于uv位置图与cgan的单图像大姿态三维彩色人脸重建方法 | |
| CN110533773A (zh) | 一种三维人脸重建方法、装置及相关设备 | |
| CN111028354A (zh) | 一种基于图像序列的模型形变人脸三维重建方案 | |
| CN110909778B (zh) | 一种基于几何一致性的图像语义特征匹配方法 | |
| CN112907569A (zh) | 头部图像区域的分割方法、装置、电子设备和存储介质 | |
| Tang et al. | Local and global gans with semantic-aware upsampling for image generation | |
| CN114429518A (zh) | 人脸模型重建方法、装置、设备和存储介质 | |
| CN116704084B (zh) | 人脸动画生成网络的训练方法、人脸动画生成方法及装置 | |
| Dinesh et al. | Point cloud video super-resolution via partial point coupling and graph smoothness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |
|
| RJ01 | Rejection of invention patent application after publication |