CN111161397A - 人脸三维重建方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本说明书实施例公开了一种人脸三维重建方法，获取多帧人脸图像，针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据；根据每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集进行三维重建，得到重建三维人脸图像。

Description

人脸三维重建方法、装置、电子设备及可读存储介质

技术领域

本说明书实施例涉及人脸图像处理技术领域，尤其涉及一种人脸三维重建方法、装置、电子设备及可读存储介质。

背景技术

随着人脸识别技术的飞速发展，人脸识别技术越来越多的应用在人们的日常生活中，人脸识别技术应用在例如车站的刷脸进站，超市的刷脸付钱和手机APP的刷脸登录等场景中。

目前在刷脸应用场景中，在传统2D数据基础上，配合使用3D摄像头对人脸进行识别会提高人脸识别的效果，但是由于硬件和环境限制，单帧采集到的3D数据往往质量很差，因此需要采集多帧3D数据，并进行3D人脸的重建，重建后的效果才能满足识别要求，而重建过程需要对采集的3D人脸数据进行大量的运算。

发明内容

本说明书实施例提供了一种人脸三维重建方法、装置、电子设备及可读存储介质，能够在确保三维人脸重建的准确度基础上提高重建效率。

本说明书实施例第一方面提供了一种人脸三维重建方法，包括：

获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；

针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；

从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像；

根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到重建三维人脸图像。

本说明书实施例第二方面提供了一种人脸三维重建装置，包括：

人脸图像获取单元，用于获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；

三维采样点获取单元，用于针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；

配准数据获取单元，用于从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像；

三维重建单元，用于根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到重建三维人脸图像。

本说明书实施例第三方面还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述人脸三维重建方法的步骤。

本说明书实施例第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时上述人脸三维重建方法的步骤。

本说明书实施例的有益效果如下：

基于上述技术方案，通过将每帧人脸图像的二维关键点集映射成三维关键点集，由于二维关键点集是从每帧人脸图像中的二维人脸数据中选取的，使得将二维人脸数据中的二维数据进行关键点检测再进行三维映射，与三维数据进行关键点检测相比，其计算量小且准确度也较高，进而在确保准确率的基础上也能够有效提高选取每帧人脸图像的三维关键点的效率，而在提高每帧人脸图像的三维关键点的效率且确保准确率基础上进行人脸重建，从而能够在确保三维人脸重建的准确率基础上提高重建效率。

附图说明

图1为本说明书实施例中人脸三维重建的应用场景示意图；

图2为本说明书实施例中人脸三维重建方法的方法流程图；

图3为本说明书实施例中获取人脸图像的三维采样点集的方法流程图；

图4为本说明书实施例中人脸三维重建方法的流程示意图；

图5为本说明书实施例中人脸三维重建装置的结构示意图；

图6为本说明书实施例中电子设备的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

请参见图1，为本说明书实施例的人脸三维重建的应用场景示意图。采集终端10和服务器20。采集终端10中安装有3D摄像头，采集终端10可以设置在商店出入口、商店收银台、广场、机场和高铁站等地方，采集终端10用于连续采集用户一系列的图像，且采集的每帧采集的图像包含二维人脸数据和三维人脸数据；然后将采集的每帧人脸图像传输到服务器20；服务器20获取到采集装置10采集的每帧人脸图像之后，根据每帧人脸图像进行人脸三维重建，其重建方法具体如图2所示；再根据重建的三维人脸图像进行人脸识别。

本说明书实施例中，采集终端10和服务器20可以远程连接，当然，采集终端10和服务器20也可以集成在一起，均设置在本地，本说明书不作具体限制。

第一方面，如图2所示，本说明书实施例提供一种人脸三维重建方法，包括：

S202、获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；

S204、针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；

S206、从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像；

S208、根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到重建三维人脸图像。

其中，在步骤S202中，可以使用三维摄像设备采集所述预设区域或目标用户的一系列的人脸图像作为所述多帧人脸图像，其中，所述三维摄像设备例如可以是3D摄像头、3D云台和3D摄像机等设备，此时，可以实时获取所述多帧人脸图像，也可以在所述三维摄像设备采集的一系列的人脸图像进行存储之后然后从所述存储设备中读取一系列的人脸图像作为所述多帧人脸图像。

本说明书实施例中，所述预设区域为所述三维摄像设备所能采集图像所对应的区域，所述预设区域例如可以是商店进出入口、过道中的某个区域和广场中的某个位置等；进一步的，多帧人脸图像具体为2帧及2帧以上的人脸图像，例如为2、3和5帧人脸图像。

本申请说明书实施例中，每帧人脸图像中的二维人脸数据和三维人脸数据相对应，例如某帧人脸图像包括用户a1的二维人脸数据，以及用户a1的三维人脸数据。

例如，以3D摄像头为例，通过3D摄像头连续采集商店入口的多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据，第i帧人脸图像中的二维人脸数据用ri表示以及三维人脸数据用di表示，i依次从1取到n，则使得所述多帧人脸图像依次为(r1,d1),(r2,d2)......直至(rn,dn)，第1帧人脸图像用(r1,d1)表示，第2帧人脸图像用(r2,d2)表示，以及第多帧人脸图像用(rn,dn)表示。

接下来执行步骤S204,在通过步骤S202获取到所述多帧人脸图像之后，针对所述多帧人脸图像中的每帧人脸图像均执行下述步骤，如图3所示：

S302、对该帧人脸图像中的二维人脸数据进行关键点检测，得到该帧人脸图像的二维关键点集；

S304、将该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集；

S306、根据该帧人脸图像中的三维关键点集，对该帧人脸图像中的三维人脸数据进行采样，得到该帧人脸图像的三维采样点集。

其中，在步骤S302中，可以对该帧人脸图像中的二维人脸数据进行人脸检测和关键点检测，得到该帧人脸图像的二维关键点集，其中，该帧人脸图像的二维关键点集包括多个二维关键点。

具体来讲，在对该帧人脸图像中的二维人脸数据进行人脸检测和关键点检测过程中，可以首先对该帧人脸图像中的二维人脸数据进行图像预处理，得到该帧人脸图像的预处理二维人脸数据，然后使用所述人脸检测算法和所述关键点检测算法对该帧人脸图像的预处理二维人脸数据进行检测，得到该帧人脸图像的二维关键点集。

本说明书实施例中，所述人脸检测算法例如基于人脸特征点的检测算法(feature-based recognition algorithms)、基于整幅人脸图像的检测算法(appearance-based recognition algorithms)、基于模板的检测算法(template-based recognitionalgorithms)、利用神经网络进行检测的算法(recognition algorithms using neuralnetwork)和利用支持向量机进行检测的算法等算法。

本说明书实施例中，所述关键点检测算法例如可以是点分布模型(Active ShapeModel,简称ASM)算法、级联姿势回归(Cascaded Pose Regression，简称CPR)算法、深度卷积网络(Deep Convolutional Network，简称DCNN)算法、多任务级联卷积神经网络(Multi-task Cascaded Convolutional Networks，简称MTCNN)算法和级联深度神经网络(DeepAlignment Network，简称DAN)算法等。

本说明书实施例中，针对每帧人脸图像，得到该帧人脸图像的二维关键点的数量均为多个，例如可以为5个、64个和128个等，本说明书不作具体限制。

具体地，使用所述人脸检测算法和所述关键点检测算法对该帧人脸图像的预处理二维人脸数据进行检测过程中，可以检测到该帧人脸图像中的左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点，从而使得该帧人脸图像的二维关键点集包括左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点这5个二维关键点；当然，也可以使得获取到该帧人脸图像的二维关键点的数量为64个或128个等。

具体地，针对每帧人脸图像，在对该帧人脸图像中的二维人脸数据进行人脸检测和关键点检测之前，还可以对该帧人脸图像中的二维人脸数据进行图像预处理，然后再对该帧人脸图像中的预处理后的二维人脸数据进行人脸检测和关键点检测，进而得到该帧人脸图像的二维关键点集；在对二维人脸数据进行图像预处理之后再获取二维关键点集，能够移除二维人脸数据的平均亮度值，降低光照对人脸检测算法和关键点检测算法的影响，提高在使用人脸检测算法和关键点检测算法对预处理后的二维人脸数据进行检测的精确度。

例如，以所述多帧人脸图像依次为(r1,d1),(r2,d2)......直至(rn,dn)为例，以(r1,d1)为例，首先对r1进行图像预处理，得到预处理后的二维人脸数据为r1-1，然后对r1-1进行人脸检测和关键点检测，得到r1对应的二维关键点为左眼关键点k1-1、右眼关键点k1-2、鼻尖关键点k1-2、左嘴角关键点k1-3和右嘴角关键点k1-4。

接下来执行步骤S304,在该步骤中，针对每帧人脸图像，将通过步骤S302得到的该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集。

具体地，将该帧人脸图像的二维关键点集中的每个关键点映射到对应的三维人脸数据中，得到该帧人脸图像的三维关键点集。

具体地，针对每帧人脸图像，在得到该帧人脸图像的二维关键点集之后，将该帧人脸图像中的二维人脸数据和三维人脸数据进行特征匹配，得到该帧人脸图像的映射矩阵；然后根据该帧人脸图像的映射矩阵和该帧人脸图像的二维关键点集，得到该帧人脸图像的三维关键点集。

具体第，可以根据该帧人脸图像的转换矩阵，对该帧人脸图像的二维关键点集中的每个二维关键点进行空间坐标转换，即从二维转换到三维，得到该帧人脸图像的转换后的每个三维关键点；再根据该帧人脸图像的转换后的每个三维关键点组成该帧人脸图像的三维关键点集。

本说明书实施例中，在进行空间坐标转换时，可以将该帧人脸图像中的二维人脸数据和三维人脸数据进行特征匹配，得到该帧人脸图像的映射矩阵，然后利用该帧人脸图像的映射矩阵将该帧人脸图像的每个二维关键点转换成对应的三维关键点。

例如，以r1的二维关键点集用k1表示，其中k1包括k1-1、k1-2、k1-3、k1-4和k1-5，以及若r1和d1的映射矩阵为T1，则将每个二维关键点与T1相乘，得到转换的三维关键点依次为d1-1，d1-2、d1-3、d1-4和d1-5，其中，d1-1与k1-1对应，d1-2与k1-2对应，d1-3与k1-3对应，d1-3和d1-4，以及d1-5与k1-5对应，且d1-1，d1-2、d1-3、d1-4和d1-5组成该帧人脸图像的三维特征点集用d11表示；然后针对每帧人脸图像中的二维人脸数据进行上述处理，得到每帧人脸图像的三维关键点集。

接下来执行步骤S306，在该步骤中，针对每帧人脸图像，根据该帧人脸图像的三维关键点集，从该帧人脸图像的三维人脸数据中确定出该帧人脸图像的采样区域，在该帧人脸图像中的采样区域中进行采样，得到该帧人脸图像的三维采样点集；如此，可以得到每帧人脸图像的三维采样点集。

具体来讲，针对每帧人脸图像，根据该帧人脸图像的三维关键点集，在该帧人脸图像的三维人脸数据上，对每个三维关键点周围的点进行采样，得到一批采样点作为该帧人脸图像的三维采样点集，进而得到每帧人脸图像的三维采样点集，且每帧人脸图像的三维采样点集中至少包括多个三维采样点。

具体来讲，在该帧人脸图像的二维关键点集包括左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点时，则该帧人脸图像的三维关键点集包括三维左眼关键点、三维右眼关键点、三维鼻尖关键点、三维左嘴角关键点和三维右嘴角关键点，此时，在对该帧人脸图像进行采样时，可以将三维左眼关键点和三维右眼关键点相连，三维左嘴角关键点和三维右嘴角关键点相连，然后三维鼻尖关键点与上述相连的两条连接线中心分别连接，得到一个类似“工”字型区域，可以将上述3个连接线中每个点的设定范围内的点作为采样点，进而得到该帧人脸图像的采样点集(即一个加粗的工字)。

例如，以r1的三维关键点集为d1-1、d1-2、d1-3、d1-4和d1-5为例，将d1-1和d1-2相连得到一条线rd1，将d1-3和d1-4相连得到一条线rd2，以及将d1-3分别与rd1的中心点和rd2的中心点相连得到一条线rd3，然后针对rd1、rd2和rd3这三条线中的每条线，将该条线中每个点的3毫米范围内的所有点均作为采样点，进而得到r1的采样点集。

如此，针对每帧人脸图像中的二维人脸数据均执行上述操作，得到每帧人脸图像的采样点集。

又例如，以所述多帧人脸图像依次为(r1,d1),(r2,d2)......直至(rn,dn)为例，首先获取二维人脸数据r1，r2......rn进行人脸检测和关键点检测，得到每帧人脸图像的二维关键点集,记为k,进而得到每帧人脸图像的二维关键点集依次为k1,k2.....kn，其中，每个k中包含有至少5个二维关键点；将每帧人脸图像的二维关键点集映射到对应的三维人脸数据中，得到每帧人脸图像的三维关键点集依次为d11，d21，d31......dn1；针对每帧人脸图像，根据该帧人脸图像中的三维关键点集，在该帧人脸图像的三维人脸数据上，对每个三维关键点周围的点进行采样，得到一批采样点作为该帧人脸图像的三维采样点集，进而得到每帧人脸图像的三维采样点集。

如此，通过将每帧人脸图像的二维关键点集映射成三维关键点集，与直接从每帧人脸图像的三维人脸数据中选取三维关键点集相比，由于二维关键点集是从每帧人脸图像中的二维人脸数据中选取的，使得将二维人脸数据中的二维数据进行关键点检测再进行三维映射，与三维数据进行关键点检测相比，其计算量小，进而能够有效提高选取每帧人脸图像的二维关键点的效率；而且从每帧人脸图像的二维人脸数据中选取的二维关键点的数量可控。

另外，通过将每帧人脸图像的二维关键点集映射成三维关键点集，由于二维关键点集是从每帧人脸图像中的二维人脸数据中选取的，使得将二维人脸数据中的二维数据进行关键点检测再进行三维映射，与三维数据进行关键点检测相比，其计算量小且准确度也较高，进而在确保准确率的基础上也能够有效提高选取每帧人脸图像的三维关键点的效率，在提高每帧人脸图像的三维关键点的效率并确保准确率基础上进行人脸重建，从而能够在确保三维人脸重建的准确度基础上提高重建效率。

接下来执行步骤S206,在该步骤中，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据，将该帧人脸图像的三维人脸数据进行坐标转换，得到该帧人脸图像的转换三维人脸数据；对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据。

本说明书实施例中，在得到所述剩余帧人脸图像中每帧人脸图像的配准数据时，可以在获取到所述剩余帧人脸图像中每帧人脸图像的三维采样点集之后，然后统一执行获取每帧人脸图像的配准数据的步骤；也可以在每获取到一帧人脸图像的三维采样点集之后，直接执行获取每帧人脸图像的配准数据的步骤，本说明书不作具体限制。

具体来讲，可以从所述多帧人脸图像中随机选取一帧人脸图像作为所述目标人脸图像，也可以从所述多帧人脸图像中选取中间位置的一帧人脸图像作为所述目标人脸图像，还可以从所述多帧人脸图像中选取位于前端或后端位置的一帧人脸图像作为所述目标人脸图像；以及在确定所述目标人脸图像之后，将所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像作为所述剩余帧人脸图像；再针对所述剩余帧人脸图像中的每帧人脸图像，使用所述配准算法对该帧人脸图像的三维采样点集和所述目标三维人脸数据进行配准，得到该帧人脸图像的转换矩阵；再根据该帧人脸图像的转换矩阵和该帧人脸图像的三维人脸数据，得到该帧人脸图像的转换三维人脸数据；进而使得该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据位于同一坐标系中；

以及，在得到该帧人脸图像的转换三维人脸数据之后，还需对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据。

如此，针对所述剩余帧人脸图像中的每帧人脸图像均执行上述操作，进而得到所述剩余帧人脸图像中的每帧人脸图像的配准数据。

具体来讲，所述配准算法例如可以是迭代最近点(Iterative Closest Point，简称ICP)算法，幂迭代聚类(Power iteration clustering，简称PIC)算法，以及正态分布变换(Normal Distributions Transform，简称NDT)算法等。

具体地，针对所述剩余帧人脸图像中的每帧人脸图像，在进行配准时，可以使用ICP配准算法对该帧人脸图像的三维采样点集和所述目标三维人脸数据进行配准，得到该帧人脸图像的转换矩阵。

例如，以所述多帧人脸图像依次为(r1,d1),(r2,d2)......直至(rn,dn)为例，在确定每帧人脸图像的三维关键点集之后，所述多帧人脸图像的N个三维关键点集依次为d11，d21，d31.....直至dn1；若选取(r2，d2)作为目标人脸图像，每帧人脸图像的三维人脸数据依次记为d1,d2，d3....直至dn。

其中，采用ICP算法对d11与d2进行配准，得到对应的转换矩阵m1；采用ICP算法对d31与d2进行配准，得到对应的转换矩阵m3，针对d41至dn1中的每帧人脸图像，采用ICP算法进行配准，依次得到对应的转换矩阵为m4,直至mn。

进一步地，针对剩余帧人脸图像中的每帧三维人脸数据，使用该帧三维人脸数据的转换矩阵，将该帧三维人脸数据中的所有点进行坐标转换，得到该帧人脸图像的转换三维人脸数据，具体为：d1乘转换矩阵m1得到转换的三维人脸数据用d1-t表示，d3乘转换矩阵m3得到转换的三维人脸数据d3-t，直至dn乘转换矩阵mn得到转换的三维人脸数据dn-t。

如此，使得剩余帧人脸图像中的每帧转换三维人脸数据与所述目标三维人脸数据均位于同一三维坐标系下，进而使得所述多帧人脸图像中的每帧三维人脸数据均位于同一三维坐标系下，促使剩余帧人脸图像中的每帧转换三维人脸数据与所述目标三维人脸数据的相似度极高，在每帧转换三维人脸数据和所述目标三维人脸数据的相似度极高的基础进行三维重建，使得重建后的所述重建三维人脸数据与所述目标人脸图像的匹配度也随之提高。

以及在得到该帧人脸图像的转换三维人脸数据之后，还需将该帧人脸图像的转换三维人脸数据进行采样，得到该帧人脸图像的配准采样点集；再采用所述配准算法对该帧人脸图像的配准采样点集和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据；如此，可以得到所述剩余帧人脸图像中每帧人脸图像的配准数据。

具体地，在将该帧人脸图像的转换三维人脸数据进行采样时，可以对该帧人脸图像的转换三维人脸数据进行均匀采样或随机采样，得到该帧人脸图像的配准采样点集。

本说明书另一实施例中，在得到该帧人脸图像的转换三维人脸数据之后，将该帧人脸图像的转换三维人脸数据进行采样，得到该帧人脸图像的配准采样点集；将所述目标三维人脸数据映射到目标二维图像中，其中，所述目标二维图像包括多个二维单元格中；然后采用所述配准算法将该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的配准数据，其中，该帧人脸图像的配准数据包括该帧人脸图像的每个配准采样点与二维单元格的对应关系；如此，可以得到所述剩余帧人脸图像中每帧人脸图像的配准数据。

具体来讲，在得到该帧人脸图像的转换三维人脸数据之后，可以对该帧人脸图像的转换三维人脸数据进行均匀采样或随机采样，得到该帧人脸图像的配准采样点集。

具体地，在得到该帧人脸图像的转换三维人脸数据之后，也可以对该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点；根据该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点，得到该帧人脸图像的配准数据。

如此，使得在获取到所述剩余帧人脸图像中每帧人脸图像的配准采样点集之后，是将每帧人脸图像的配准采样点集在二维空间与所述目标二维图像进行配准，与在三维空间配准相比，其计算量小，能够有效提高计算速度，提高配准的效率；而且所述剩余帧人脸图像中的每帧转换三维人脸数据与所述目标三维人脸数据均位于同一三维坐标系中，使得所述剩余帧人脸图像中的每帧转换三维人脸数据与所述目标三维人脸数据的相似度极高，在相似度极高的基础上再在二维空间中进行配准，使得配准的精确度也得到确保，如此，能够在确保配准的精确度的情况下有效提高配准速度。

具体地，针对所述剩余帧人脸图像中的每帧人脸图像，在得到该帧人脸图像的配准数据之后，针对每个二维单元格，对映射到二维单元格的所有采样点在Z轴上进行均值过滤，可以过滤掉距离二维单元格的中心点超过预设距离的采样点，得到该帧人脸图像的过滤配准数据。如此，在Z轴上进行均值过滤，达到滤波去燥的目的，而且也能够过滤掉所述配准数据中匹配度低的配准点对，使得该帧人脸图像的过滤配准数据的精确度进一步提高。

接下来执行步骤S208,在该步骤中，可以根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到所述重建三维人脸图像；也可以根据所述剩余帧人脸图像中每帧人脸图像的过滤配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到所述重建三维人脸图像。

例如，若选取(r2，d2)作为目标人脸图像，则根据d2构造成256x256的二维方格组成的目标二维图像，根据d2中每个点的xy的值将每个点划分到对应的方格内；针对剩余帧人脸图像中的每帧三维人脸数据，得到每帧人脸图像的转换三维人脸数据具体为：d1-t，d3-t....直至dn-t。此时，d1-t，d3-t....直至dn-t与d2位于同一三维坐标系下，促使d1-t，d3-t....直至dn-t与d2的相似度极高。

以及，对d1-t进行平均采样，得到d1对应的配准采样点集用d1-t-s表示，然后将d1-t-s中每个配准采样点与目标二维图像在xy轴上进行配准，得到d1-t-s中每个配准采样点在对应的方格中的最近点；然后在Z轴上对每个方格对应的所有配准采样点进行均值过滤，可以过滤掉距离每个方格的中心点超过预设距离的配准采样点，得到d1的过滤配准数据用d1-t-s1表示。

进一步地，针对d3-t....直至dn-t中每个转换三维人脸数据均执行上述操作，依次得到每帧人脸图像的过滤配准数据依次为d3-t-s1....直至dn-t-s1；然后根据d1-t-s1，d3-t-s1....直至dn-t-s1和(r2,d2)的三维关键点集d21进行三维重建，得到(r2,d2)的重建三维人脸数据。

以及，在获取到(r2,d2)的重建三维人脸数据之后，通过(r2,d2)的重建三维人脸数据进行人脸识别，以使得人脸识别的准确度更高。

本说明书实施例中的人脸三维重建方法的具体流程如图4所示，三维摄像设备40采集到多帧人脸图像包括第一帧人脸图像41，第二帧人脸图像42和第三帧人脸图像43，针对上述三帧人脸图像均执行相同的采样操作，得到每帧人脸图像的三维采样点集，其中，每帧人脸图像中均包括二维人脸数据和三维人脸数据。

其中，以第一帧人脸图像41为例，采样操作具体包括如下步骤：首先执行步骤413：关键点检测，即对第一帧人脸图像41中的二维人脸数据411进行关键点检测；接下来执行步骤414：获取二维关键点集，即获取通过步骤413进行关键点检测而得到的第一帧人脸图像41的二维关键点集；再执行步骤415:三维映射，即将第一帧人脸图像41的二维关键点集映射到第一帧人脸图像41中的三维人脸数据412中，得到第一帧人脸图像41的三维关键点集；接下来执行步骤416:三维采样，根据步骤415得到的第一帧人脸图像41的三维关键点集，对三维人脸数据412进行采样，得到第一帧人脸图像41的三维采样点集；针对第二帧人脸图像42和第三帧人脸图像43执行上述操作，得到每帧人脸图像的三维采样点集。

以及，在获取到上述三帧人脸图像中每帧人脸图像的三维采样点集之后，首先执行步骤44：粗匹配，若以第二帧人脸图像42为目标人脸图像，则根据第一帧人脸图像41的三维采样点集和第二帧人脸图像42的三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到第一帧人脸图像41的转换矩阵；同理，针对第三帧人脸图像43也执行上述配准操作，得到第三帧人脸图像43的转换矩阵。

进一步地，在执行步骤46之前，还需先执行步骤45：构造目标二维图像，根据第二帧人脸图像42的三维人脸图像构造成256x256的二维方格组成的目标二维图像；在通过步骤45构造目标二维图像之后，执行步骤46：细匹配，在通过步骤44获取到第一帧人脸图像41的转换矩阵和第三帧人脸图像43的转换矩阵之后，根据各帧人脸图像的转换矩阵进行坐标转换，得到各帧人脸图像的转换三维人脸图像，在对各帧人脸图像的转换三维人脸图像进行采样，得到各帧人脸图像的配准采样点集；再采用所述配准算法对各帧人脸图像的配准采样点集与步骤45构造的目标二维图像进行配准，得到第一帧人脸图像41的配准数据和第三帧人脸图像43的配准数据。

进一步地，接下来执行步骤47：三维重建，根据步骤46得到的第一帧人脸图像41的配准数据，以及第三帧人脸图像43的配准数据进行三维重建，得到第二帧人脸图像21的三维重建人脸图像。

如此，使得剩余帧人脸图像中的每帧转换三维人脸数据与所述目标三维人脸数据均位于同一三维坐标系下，进而使得所述多帧人脸图像中的每帧三维人脸数据均位于同一三维坐标系下，促使剩余帧人脸图像中的每帧转换三维人脸数据与所述目标三维人脸数据的相似度极高。

进一步地，将所述目标三维人脸数据构成所述目标二维图像，并将所述剩余帧人脸图像中每帧人脸图像的配准采样点集在二维空间与所述目标二维图像进行配准，与在三维空间配准相比，其计算量小；由于剩余帧人脸图像中的每帧转换三维人脸数据与所述目标三维人脸数据的相似度极高，使得在相似度极高的基础上再在二维空间中进行配准，使得配准的精确度也得到确保，如此，能够在确保配准的精确度的情况下有效提高配准速度。

第二方面，基于相同的技术构思，本说明书实施例提供一种一种人脸三维重建装置，参见图5，包括：

人脸图像获取单元501，用于获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；

三维采样点获取单元502，用于针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；

配准数据获取单元503，用于从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像；

三维重建单元504，用于根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到重建三维人脸图像。

在一种可选的实施方式中，三维采样点获取单元502，用于针对所述多帧人脸图像中的每帧人脸图像，对该帧人脸图像中的二维人脸数据进行关键点检测，得到该帧人脸图像的二维关键点集；将该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集；根据该帧人脸图像中的三维关键点集，对该帧人脸图像中的三维人脸数据进行采样，得到该帧人脸图像的三维采样点集。

在一种可选的实施方式中，三维采样点获取单元502，用于针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像中的二维人脸数据和三维人脸数据进行特征匹配，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的二维关键点集，得到该帧人脸图像的三维关键点集。

在一种可选的实施方式中，三维采样点获取单元502，用于针对每帧人脸图像，根据该帧人脸图像的三维关键点集，从该帧人脸图像的三维人脸数据中确定出该帧人脸图像的采样区域，在该帧人脸图像中的采样区域中进行采样，得到该帧人脸图像的三维采样点集。

在一种可选的实施方式中，配准数据获取单元503，用于针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据，将该帧人脸图像的三维人脸数据进行坐标转换，得到该帧人脸图像的转换三维人脸数据；对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据

在一种可选的实施方式中，配准数据获取单元503，用于针对所述剩余帧人脸图像中的每帧人脸图像，使用配准算法对该帧人脸图像的三维采样点集和所述目标三维人脸数据进行配准，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的三维人脸数据，得到该帧人脸图像的转换三维人脸数据。

在一种可选的实施方式中，配准数据获取单元503，用于针对所述剩余帧人脸图像中的每帧人脸图像，将该帧人脸图像的转换三维人脸数据进行采样，得到该帧人脸图像的配准采样点集；将所述目标三维人脸数据映射到目标二维图像中，其中，所述目标二维图像包括多个二维单元格中；采用配准算法将该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的配准数据。

在一种可选的实施方式中，配准数据获取单元503，用于针对所述剩余帧人脸图像中的每帧人脸图像，对该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点；根据该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点，得到该帧人脸图像的配准数据。

第三方面，基于与前述实施例中人脸三维重建方法同样的发明构思，本说明书实施例还提供一种电子设备，如图6所示，包括存储器604、处理器602及存储在存储器604上并可在处理器602上运行的计算机程序，所述处理器602执行所述程序时实现前文所述人脸三维重建方法的任一方法的步骤。

其中，在图6中，总线架构(用总线600来代表)，总线600可以包括任意数量的互联的总线和桥，总线600将包括由处理器602代表的一个或多个处理器和存储器604代表的存储器的各种电路链接在一起。总线600还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口605在总线600和接收器601和发送器603之间提供接口。接收器601和发送器603可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器602负责管理总线600和通常的处理，而存储器604可以被用于存储处理器602在执行操作时所使用的数据。

第四方面，基于与前述实施例中人脸三维重建方法的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述人脸三维重建方法的任一方法的步骤。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (18)

1.一种人脸三维重建方法，包括：

获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；

针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；

从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像；

根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到重建三维人脸图像。

2.如权利要求1所述的重建方法，所述针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集，包括：

针对所述多帧人脸图像中的每帧人脸图像，对该帧人脸图像中的二维人脸数据进行关键点检测，得到该帧人脸图像的二维关键点集；将该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集；根据该帧人脸图像中的三维关键点集，对该帧人脸图像中的三维人脸数据进行采样，得到该帧人脸图像的三维采样点集。

3.如权利要求2所述的重建方法，所述针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集，包括：

针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像中的二维人脸数据和三维人脸数据进行特征匹配，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的二维关键点集，得到该帧人脸图像的三维关键点集。

4.如权利要求3所述的重建方法，所述针对所述多帧人脸图像中的每帧人脸图像，根据该帧人脸图像中的三维关键点集，对该帧人脸图像中的三维人脸数据进行采样，得到该帧人脸图像的三维采样点集，包括：

针对每帧人脸图像，根据该帧人脸图像的三维关键点集，从该帧人脸图像的三维人脸数据中确定出该帧人脸图像的采样区域，在该帧人脸图像中的采样区域中进行采样，得到该帧人脸图像的三维采样点集。

5.如权利要求1所述的重建方法，所述针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，包括：

针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据，将该帧人脸图像的三维人脸数据进行坐标转换，得到该帧人脸图像的转换三维人脸数据；对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据。

6.如权利要求5所述的重建方法，所述针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据，将该帧人脸图像的三维人脸数据进行坐标转换，得到该帧人脸图像的转换三维人脸数据，包括：

针对所述剩余帧人脸图像中的每帧人脸图像，使用配准算法对该帧人脸图像的三维采样点集和所述目标三维人脸数据进行配准，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的三维人脸数据，得到该帧人脸图像的转换三维人脸数据。

7.权利要求6所述的重建方法，所述针对所述剩余帧人脸图像中的每帧人脸图像，对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据，包括：

针对所述剩余帧人脸图像中的每帧人脸图像，将该帧人脸图像的转换三维人脸数据进行采样，得到该帧人脸图像的配准采样点集；将所述目标三维人脸数据映射到目标二维图像中，其中，所述目标二维图像包括多个二维单元格中；采用配准算法将该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的配准数据。

8.权利要求7所述的重建方法，所述针对所述剩余帧人脸图像中的每帧人脸图像，采用配准算法将该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的配准数据，包括：

针对所述剩余帧人脸图像中的每帧人脸图像，对该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点；根据该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点，得到该帧人脸图像的配准数据。

9.一种人脸三维重建装置，包括：

人脸图像获取单元，用于获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；

三维采样点获取单元，用于针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；

配准数据获取单元，用于从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像；

三维重建单元，用于根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到重建三维人脸图像。

10.如权利要求9所述的重建装置，所述三维采样点获取单元，用于针对所述多帧人脸图像中的每帧人脸图像，对该帧人脸图像中的二维人脸数据进行关键点检测，得到该帧人脸图像的二维关键点集；将该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集；根据该帧人脸图像中的三维关键点集，对该帧人脸图像中的三维人脸数据进行采样，得到该帧人脸图像的三维采样点集。

11.如权利要求10所述的重建装置，所述三维采样点获取单元，用于针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像中的二维人脸数据和三维人脸数据进行特征匹配，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的二维关键点集，得到该帧人脸图像的三维关键点集。

12.如权利要求11所述的重建装置，所述三维采样点获取单元，用于针对每帧人脸图像，根据该帧人脸图像的三维关键点集，从该帧人脸图像的三维人脸数据中确定出该帧人脸图像的采样区域，在该帧人脸图像中的采样区域中进行采样，得到该帧人脸图像的三维采样点集。

13.如权利要求9所述的重建装置，所述配准数据获取单元，用于针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据，将该帧人脸图像的三维人脸数据进行坐标转换，得到该帧人脸图像的转换三维人脸数据；对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据。

14.如权利要求13所述的重建装置，所述配准数据获取单元，用于针对所述剩余帧人脸图像中的每帧人脸图像，使用配准算法对该帧人脸图像的三维采样点集和所述目标三维人脸数据进行配准，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的三维人脸数据，得到该帧人脸图像的转换三维人脸数据。

15.权利要求14所述的重建装置，所述配准数据获取单元，用于针对所述剩余帧人脸图像中的每帧人脸图像，将该帧人脸图像的转换三维人脸数据进行采样，得到该帧人脸图像的配准采样点集；将所述目标三维人脸数据映射到目标二维图像中，其中，所述目标二维图像包括多个二维单元格中；采用配准算法将该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的配准数据。

16.权利要求15所述的重建装置，所述配准数据获取单元，用于针对所述剩余帧人脸图像中的每帧人脸图像，对该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点；根据该帧人脸图像的每个配准采样点在对应的二维单元格中的最近点，得到该帧人脸图像的配准数据。

17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-8任一项所述方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。

Images