CN110070611A - 一种基于深度图像融合的人脸三维重建方法和装置 - Google Patents

Abstract

本申请提出一种基于深度图像融合的人脸三维重建方法和装置，其中，方法包括：通过获取对应目标人脸多个角度的多帧初始人脸三维图像，确定参考初始人脸三维图像，提取三维图像的外围特征点和关键特征点，根据参考初始人脸三维图像对应的关键特征点和非参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非参考初始人脸三维图像的位姿参数，分割出包含人脸区域的各帧目标人脸三维图像，获取各帧目标人脸三维图像的三维坐标点的法向量，根据法向量确定三维坐标点的深度置信度；根据深度置信度、位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。由此，提高了人脸三维重建的精度，得到了纯净的三维人脸。

Description

一种基于深度图像融合的人脸三维重建方法和装置

技术领域

本申请涉及三维重建技术领域，尤其涉及一种基于深度图像融合的人脸三维重建方法和装置。

背景技术

自从Kinect等深度相机出现之后，三维重建领域出现了以Kinect Fusion为代表的许多基于深度图像融合的重建技术。

但是，现有技术中的基于深度图像融合的重建技术，是以一段深度图像序列为输入，输入的原始深度图像通常是带有大量噪声。如果用于重建人脸，输入深度图像不仅带有大量噪声，通常还包括肩膀等其它人体部位的深度信息，导致融合的人脸图像精度较低。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种基于深度图像融合的人脸三维重建方法，以解决现有技术中基于深度图像融合人脸图像时精度较低的技术问题。

本申请一方面实施例提出了基于深度图像融合的人脸三维重建方法，所述方法包括以下步骤：

获取对应目标人脸多个角度的多帧初始人脸三维图像；

确定所述初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点；

根据所述参考初始人脸三维图像对应的关键特征点和非所述参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非所述参考初始人脸三维图像的位姿参数；

根据预设的计算方式对所述外围特征点确定各帧所述初始人脸三维图像中的人脸区域，分割出包含所述人脸区域的各帧目标人脸三维图像；

获取各帧所述目标人脸三维图像的三维坐标点的法向量，根据所述法向量确定所述三维坐标点的深度置信度；

根据所述深度置信度、所述位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。

本申请实施例的基于深度图像融合的人脸三维重建方法，通过获取对应目标人脸多个角度的多帧初始人脸三维图像，确定初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点，根据参考初始人脸三维图像对应的关键特征点和非参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非参考初始人脸三维图像的位姿参数，根据预设的计算方式对外围特征点确定各帧初始人脸三维图像中的人脸区域，分割出包含人脸区域的各帧目标人脸三维图像，获取各帧目标人脸三维图像的三维坐标点的法向量，根据法向量确定三维坐标点的深度置信度；根据深度置信度、位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。由此，提高了人脸三维重建的精度，得到了纯净的三维人脸。

本申请另一方面实施例提出了一种基于深度图像融合的人脸三维重建装置，包括：

获取模块，用于获取对应目标人脸多个角度的多帧初始人脸三维图像；

提取模块，用于确定所述初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点；

估算模块，用于根据所述参考初始人脸三维图像对应的关键特征点和非所述参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非所述参考初始人脸三维图像的位姿参数；

分割模块，用于根据预设的计算方式对所述外围特征点确定各帧所述初始人脸三维图像中的人脸区域，分割出包含所述人脸区域的各帧目标人脸三维图像；

置信度确定模块，用于获取各帧所述目标人脸三维图像的三维坐标点的法向量，根据所述法向量确定所述三维坐标点的深度置信度；

融合模块，用于根据所述深度置信度、所述位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。

本申请实施例的基于深度图像融合的人脸三维重建装置，通过获取对应目标人脸多个角度的多帧初始人脸三维图像，确定初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点，根据参考初始人脸三维图像对应的关键特征点和非参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非参考初始人脸三维图像的位姿参数，根据预设的计算方式对外围特征点确定各帧初始人脸三维图像中的人脸区域，分割出包含人脸区域的各帧目标人脸三维图像，获取各帧目标人脸三维图像的三维坐标点的法向量，根据法向量确定三维坐标点的深度置信度；根据深度置信度、位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。由此，提高了人脸三维重建的精度，得到了纯净的三维人脸。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种基于深度图像融合的人脸三维重建方法的流程示意图；

图2为本申请实施例提供的一种基于深度图像融合的人脸三维重建装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于深度图像融合的人脸三维重建方法和装置。

图1为本申请实施例提供的一种基于深度图像融合的人脸三维重建方法的流程示意图。

如图1所示，该基于深度图像融合的人脸三维重建方法包括以下步骤：

步骤101，获取对应目标人脸多个角度的多帧初始人脸三维图像。

其中，初始人脸三维图像可以是相机拍摄的人脸二维图像在对应的深度图像上通过反投影得到的。

本申请实施例中，可以通过相机拍摄得到目标人脸的多个角度的多帧人脸二维图像和对应的深度图像，进而根据人脸二维图像和对应的深度图像构建与每帧人脸二维图像对应的初始人脸三维图像。具体地，可以将多帧人脸二维图像在其对应的深度图像上通过反投影得到对应的人脸三维图像。

步骤102，确定初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点。

在一种可能的情况下，可以获取到的多帧初始人脸三维图像中的第一帧人脸三维图像作为参考初始人脸三维图像。

作为一种可能的实现方式，可以通过三维特征点提取的方法在多帧初始人脸三维图像中提取各帧初始人脸三维图像的外围特征点和关键特征点。其中，关键特征点，是指三维图像中人脸区域的特征点。外围特征点，是指三维图像中除人脸以外的其余部位的特征点，例如，肩膀等部位的特征点。其中，三维特征提取方法可以参见现有技术，在此不再赘述。

作为另一种可能的实现方式，还可以通过深度相机拍摄得到多帧初始人脸的二维图像和深度图像，通过特征点检测方法获取多帧初始人脸的二维图像中的二维特征点，将检测到的二维特征点在对应深度图像上进行反投影，得到多帧初始人脸的三维特征点。进一步的，提取各帧初始人脸三维特征点的外围特征点和关键特征点。

步骤103，根据参考初始人脸三维图像对应的关键特征点和非参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非参考初始人脸三维图像的位姿参数。

作为一种可能的实现方式，首先计算参考初始人脸三维图像对应的关键特征点和每帧非参考初始人脸三维图像对应的关键特征点的特征点位置的坐标差值，估算出每帧非参考初始人脸三维图像的位姿参数，进而采用迭代最近邻方法对各帧非参考初始人脸三维图像对应的关键特征点的特征点位置进行微调。

举例来说，可以计算当前帧初始人脸三维图像对应的关键特征点与参考初始人脸三维图像对应的关键特征点对应的特征点的坐标差值，得到一帧三维图像，进而计算该帧三维图像的关键特征点与参考初始人脸三维图像对应的关键特征点对应的特征点的坐标差值，得到另一帧三维图像，在不超过预设的迭代次数的情况下，可以将计算得到的三维图像的关键特征点替代当前帧初始人脸三维图像对应的关键特征点。

步骤104，根据预设的计算方式对外围特征点确定各帧初始人脸三维图像中的人脸区域，分割出包含人脸区域的各帧目标人脸三维图像。

本申请实施例中，可以在各帧初始人脸三维图像中的人脸区域中的外围特征点左右两边分别拟合一条指数函数曲线，通过指数函数曲线对外围特征点进行拟合，将拟合曲线之上的区域确定为人脸区域，并删除位于曲线下方的非人脸区域。由此，使得重建后的三维人脸模型只包含有人脸区域，去除掉了肩膀、衣物等多余部位。

举例来说，假如某一帧初始人脸三维图像中包含有左右肩膀部位，可以在初始人脸三维图像中的人脸区域中的肩膀部位对应的外围特征点左右两边分别拟合一条指数函数曲线，通过指数函数曲线对外围特征点进行拟合，将曲线之上的区域确定为人脸区域，并删除位于曲线下方的肩膀部位。

步骤105，获取各帧目标人脸三维图像的三维坐标点的法向量，根据法向量确定三维坐标点的深度置信度。

本申请实施例中，由于各帧目标人脸三维图像是目标人脸的多个角度对应的人脸三维图像，因此，各帧目标人脸三维图像的三维坐标点的法向量与正对相机拍摄的人脸三维图像的三维坐标点的法向量之间存在夹角。

本申请实施例中，根据各帧目标人脸三维图像的三维特征点对应的坐标点的法向量确定对应的初始人脸三维图像的拍摄角度，根据拍摄角度确定三维特征点的深度置信度。

具体地，各帧目标人脸三维图像的三维特征点对应的坐标点的法向量与对应的初始人脸三维图像的拍摄角度越大，三维特征点的深度置信度越低，拍摄角度越小，三维特征点的深度置信度越高。由此，通过确定三维坐标点的深度置信度，使得鼻翼、嘴巴等部位的重建结果更加逼真。

步骤106，根据深度置信度、位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。

本申请实施例中，根据各帧所述目标人脸三维图像的三维坐标点的深度置信度、位姿参数对所有目标人脸三维图像进行融合，即可得到目标人脸的三维人脸模型。

具体地，根据位姿参数调整每帧目标人脸三维图像的位姿，进而根据各帧所述目标人脸三维图像的三维坐标点的深度置信度，对调整位姿后的所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。

本申请实施例的基于深度图像融合的人脸三维重建方法，通过获取对应目标人脸多个角度的多帧初始人脸三维图像，确定初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点，根据参考初始人脸三维图像对应的关键特征点和非参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非参考初始人脸三维图像的位姿参数，根据预设的计算方式对外围特征点确定各帧初始人脸三维图像中的人脸区域，分割出包含人脸区域的各帧目标人脸三维图像，获取各帧目标人脸三维图像的三维坐标点的法向量，根据法向量确定三维坐标点的深度置信度；根据深度置信度、位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型，由此，提高了人脸三维重建的精度，得到了纯净的三维人脸。

为了实现上述实施例，本申请实施例还提出基于深度图像融合的人脸三维重建装置。

图2为本申请实施例提供的一种基于深度图像融合的人脸三维重建装置的结构示意图。

如图2所示，该基于深度图像融合的人脸三维重建装置包括：获取模块110、提取模块120、估算模块130、分割模块140、置信度确定模块150、融合模块160。

获取模块110，用于获取对应目标人脸多个角度的多帧初始人脸三维图像；

提取模块120，用于确定所述初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点；

估算模块130，用于根据所述参考初始人脸三维图像对应的关键特征点和非所述参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非所述参考初始人脸三维图像的位姿参数；

分割模块140，用于根据预设的计算方式对所述外围特征点确定各帧所述初始人脸三维图像中的人脸区域，分割出包含所述人脸区域的各帧目标人脸三维图像；

置信度确定模块150，用于获取各帧所述目标人脸三维图像的三维坐标点的法向量，根据所述法向量确定所述三维坐标点的深度置信度；

融合模块160，用于根据所述深度置信度、所述位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。

作为一种可能的实现方式，融合模块160，具体用于：

根据位姿参数调整每帧目标人脸三维图像的位姿；根据深度置信度对调整位姿后的所有目标人脸三维图像进行融合。

作为另一种可能的实现方式，分割模块140，具体用于：

对外围特征点采用指数函数曲线进行拟合，得到拟合曲线；将拟合曲线之上的区域确定为人脸区域。

作为另一种可能的实现方式，获取模块110，具体用于：

获取目标人脸多个角度的多帧人脸二维图像；获取与每帧人脸二维图像对应的深度图像；根据人脸二维图像和对应的深度图像构建与每帧人脸二维图像对应的初始人脸三维图像。

作为另一种可能的实现方式，置信度确定模块150，具体用于：

根据法向量确定对应的初始人脸三维图像的拍摄角度；根据拍摄角度确定所述深度置信度。

本申请实施例的基于深度图像融合的人脸三维重建装置，通过获取对应目标人脸多个角度的多帧初始人脸三维图像，确定初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点，根据参考初始人脸三维图像对应的关键特征点和非参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非参考初始人脸三维图像的位姿参数，根据预设的计算方式对外围特征点确定各帧初始人脸三维图像中的人脸区域，分割出包含人脸区域的各帧目标人脸三维图像，获取各帧目标人脸三维图像的三维坐标点的法向量，根据法向量确定三维坐标点的深度置信度；根据深度置信度、位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型，由此，提高了人脸三维重建的精度，得到了纯净的三维人脸。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度图像融合的人脸三维重建方法，其特征在于，所述方法包括以下步骤：

获取对应目标人脸多个角度的多帧初始人脸三维图像；

确定所述初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点；

根据所述参考初始人脸三维图像对应的关键特征点和非所述参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非所述参考初始人脸三维图像的位姿参数；

根据预设的计算方式对所述外围特征点确定各帧所述初始人脸三维图像中的人脸区域，分割出包含所述人脸区域的各帧目标人脸三维图像；

获取各帧所述目标人脸三维图像的三维坐标点的法向量，根据所述法向量确定所述三维坐标点的深度置信度；

根据所述深度置信度、所述位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。

2.如权利要求1所述的方法，其特征在于，所述根据所述深度置信度、所述位姿参数对所有目标人脸三维图像进行融合，得到三维人脸模型，包括：

根据所述位姿参数调整每帧目标人脸三维图像的位姿；

根据所述深度置信度对调整所述位姿后的所有目标人脸三维图像进行融合。

3.如权利要求1所述的方法，其特征在于，所述根据预设的计算方式对所述外围特征点确定各帧所述初始人脸三维图像中的人脸区域，分割出包含所述人脸区域的各帧目标人脸三维图像，包括:

对所述外围特征点采用指数函数曲线进行拟合，得到拟合曲线；

将所述拟合曲线之上的区域确定为所述人脸区域。

4.如权利要求1所述的方法，其特征在于，所述获取对应目标人脸多个角度的多帧初始人脸三维图像，包括:

获取所述目标人脸多个角度的多帧人脸二维图像；

获取与每帧所述人脸二维图像对应的深度图像；

根据所述人脸二维图像和对应的深度图像构建与每帧人脸二维图像对应的初始人脸三维图像。

5.如权利要求1所述的方法，其特征在于，所述根据所述法向量确定所述三维坐标点的深度置信度，包括：

根据所述法向量确定对应的所述初始人脸三维图像的拍摄角度；

根据所述拍摄角度确定所述深度置信度。

6.一种基于深度图像融合的人脸三维重建装置，其特征在于，所述装置，包括：

获取模块，用于获取对应目标人脸多个角度的多帧初始人脸三维图像；

提取模块，用于确定所述初始人脸三维图像中的参考初始人脸三维图像，提取各帧初始人脸三维图像的外围特征点和关键特征点；

估算模块，用于根据所述参考初始人脸三维图像对应的关键特征点和非所述参考初始人脸三维图像对应的关键特征点的特征点位置，估算每帧非所述参考初始人脸三维图像的位姿参数；

分割模块，用于根据预设的计算方式对所述外围特征点确定各帧所述初始人脸三维图像中的人脸区域，分割出包含所述人脸区域的各帧目标人脸三维图像；

置信度确定模块，用于获取各帧所述目标人脸三维图像的三维坐标点的法向量，根据所述法向量确定所述三维坐标点的深度置信度；

融合模块，用于根据所述深度置信度、所述位姿参数对所有目标人脸三维图像进行融合，得到目标人脸的三维人脸模型。

7.如权利要求6所述的装置，其特征在于，所述融合模块，具体用于：

根据所述位姿参数调整每帧目标人脸三维图像的位姿；

根据所述深度置信度对调整所述位姿后的所有目标人脸三维图像进行融合。

8.如权利要求6所述的装置，其特征在于，所述分割模块，具体用于：

对所述外围特征点采用指数函数曲线进行拟合，得到拟合曲线；

将所述拟合曲线之上的区域确定为所述人脸区域。

9.如权利要求6所述的装置，其特征在于，所述获取模块，具体用于：

获取所述目标人脸多个角度的多帧人脸二维图像；

获取与每帧所述人脸二维图像对应的深度图像；

根据所述人脸二维图像和对应的深度图像构建与每帧人脸二维图像对应的初始人脸三维图像。

10.如权利要求6所述的装置，其特征在于，所述置信度确定模块，具体用于：

根据所述法向量确定对应的所述初始人脸三维图像的拍摄角度；

根据所述拍摄角度确定所述深度置信度。