CN111047678B - 一种三维人脸采集装置和方法 - Google Patents

Abstract

本申请提供一种三维人脸采集装置和方法，该三维人脸采集装置包括：图像传感器和处理器；其中：所述图像传感器，用于同步采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像；所述处理器，用于根据所述左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型。该三维人脸采集装置提高三维人脸数据采集的效率，降低操作的复杂性。

Description

一种三维人脸采集装置和方法

技术领域

本申请涉及三维重建技术领域，尤其涉及一种三维人脸采集装置和方法。

背景技术

目前，人脸识别技术已经相当成熟，并且已经大规模应用。现阶段人脸识别主要基于二维平面图像分析技术，通过从人脸平面图片中提取特征，完成人脸身份比对和识别。但在不受控场景、恶意攻击情况下，仍会存在一些问题。例如，在无人值守的应用场景中，容易受到照片、假体面罩的恶意攻击。对于女性的人脸识别，易受妆容影响，也会出现无法识别的情况。基于3D（三维）人脸的识别算法，能够有效地解决以上问题。

基于3D人脸识别算法需要采集大量的3D人脸数据。传统的3D人脸采集方案通常采用手持式三维扫描设备，对人脸区域进行一段时间的扫描，生成完整人脸模型，扫描过程中需要人保持静止状态，约束条件较严格，建模效率低，操作复杂。

发明内容

有鉴于此，本申请提供一种三维人脸采集装置和方法。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种三维人脸采集装置，包括：图像传感器和处理器；其中：

所述图像传感器，用于同步采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像；

所述处理器，用于根据所述左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型。

根据本申请实施例的第二方面，提供一种三维人脸采集方法，应用于上述三维人脸采集装置，所述方法包括：

采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像；

根据所述左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型。

本申请实施例的三维人脸采集装置，通过图像传感器同步采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，并通过处理器根据左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型，提高了三维人脸数据采集的效率，降低了操作的复杂性。

附图说明

图1是本申请一示例性实施例示出的一种三维人脸采集装置的结构示意图；

图2是本申请又一示例性实施例示出的一种三维人脸采集装置的结构示意图；

图3是本申请又一示例性实施例示出的一种三维人脸采集装置的结构示意图；

图4是本申请又一示例性实施例示出的一种三维人脸采集装置的结构示意图；

图5是本申请一示例性实施例示出的一种三维人脸采集方法的流程示意图；

图6是本申请一示例性实施例示出的一种三维人脸采集装置的结构示意图；

图7是本申请一示例性实施例示出的一种三维人脸采集的流程示意图；

图8A是本申请一示例性实施例示出的一种相机参数标定的流程示意图；

图8B是本申请一示例性实施例示出的一种人脸三维信息生成的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种三维人脸采集装置的结构示意图，如图1所示，该三维人脸采集装置可以包括：图像传感器110和处理器120；其中：

图像传感器110，用于采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像；

处理器120，用于根据所述图像传感器110采集的左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型。

本申请实施例中，为了在保证数据采集准确性的前提下，提高三维人脸数据的采集效率，并降低采集操作复杂性，三维人脸采集装置可以通过图像传感器110采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

示例性地，左右两侧的人脸区域的红外图像和彩色图像可以同步采集，以便后续处理。

其中，红外图像用于构建三维人脸结构模型，彩色图像用于获取人脸区域的纹理信息。

图像传感器110采集到左侧人脸区域以及右侧人脸区域的红外图像和彩色图像之后，处理器120可以根据该左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理细信息的三维人脸模型。

请参见图2，在本申请其中一个实施例中，图像传感器110可以包括：第一图像传感器111和第二图像传感器112；其中：

第一图像传感器111，用于采集左侧人脸区域的红外图像和彩色图像；

第二图像传感器112，用于采集右侧人脸区域的红外图像和彩色图像。

在该实施例中，为了实现同步采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，图像传感器110可以包括用于采集左侧人脸区域的红外图像和彩色图像的图像传感器（本文中称为第一图像传感器111）和用于采集右侧人脸区域的红外图像和彩色图像的图像传感器（本文中称为第二图像传感器112）。

当确定满足图像采集条件时，可以触发第一图像传感器111和第二图像传感器112同步采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

在该实施例中，为了提高三维人脸模型的精确度，可以分别通过至少两个红外图像传感器（如红外相机）采集左侧人脸区域的红外图像，以及至少两个红外图像传感器采集右侧人脸区域的红外图像，并分别通过至少一个彩色图像传感器（如彩色相机）采集左侧人脸区域的彩色图像，以及至少一个彩色图像传感器采集右侧人脸区域的彩色图像。

此外，为了增加人脸区域的特征信息，提高三维人脸模型的轮廓精度，在采集人脸区域的红外图像时，可以通过红外散斑投射器向人脸区域投射红外散斑，在被采集对象无感知的情况下，提高三维人脸模型的轮廓精度。

相应地，在一个示例中，第一图像传感器111和第二图像传感器112均可以包括至少两个红外图像传感器、至少一个彩色图像传感器以及至少一个红外散斑投射器；其中：

红外散斑投射器，用于在人脸区域投射红外散斑；

红外图像传感器，用于采集人脸区域的散斑红外图像（即带有红外散斑结构的红外图像）；

彩色图像传感器，用于采集人脸区域的彩色图像。

为便于描述和理解，下文中以第一图像传感器111和第二图像传感器112均包括两个红外图像传感器、一个彩色图像传感器以及一个红外散斑投射器为例进行说明。

请参见图3，在一个示例中，第一图像传感器111包括红外图像传感器1111、红外图像传感器1112、彩色图像传感器1113以及红外散斑投射器1114；

第二图像传感器112包括红外图像传感器1121、红外图像传感器1122、彩色图像传感器1123以及红外散斑投射器1124。

需要说明的是，在实际应用中，红外图像传感器1111、红外图像传感器1112、红外图像传感器1121以及红外图像传感器1122可以由相同装置或设备实现；彩色图像传感器1113和彩色图像传感器1123可以由相同装置或设备实现；红外散斑投射器1114和红外散斑投射器1124可以由相同装置或设备实现，本申请实施例对此不做赘述。

在该示例中，红外散斑投射器1114，可以部署于三维人脸采集装置的左侧，用于在左侧人脸区域投射红外散斑；

红外图像传感器1111和红外图像传感器1112可以部署于三维人脸采集装置的左侧，并构成双目结构，即构成一组平行双目红外图像传感器，可以用于采集左侧人脸区域的散斑红外图像；

彩色图像传感器1113，可以部署于三维人脸采集装置的左侧，用于采集左侧人脸区域的彩色图像；

红外散斑投射器1124，可以部署于三维人脸采集装置的右侧，用于在右侧人脸区域投射红外散斑；

红外图像传感器1121和红外图像传感器1122可以部署于三维人脸采集装置的右侧，并构成双目结构，即构成一组平行双目红外图像传感器，可以用于采集右侧人脸区域的散斑红外图像；

彩色图像传感器1123，可以部署于三维人脸采集装置的右侧，用于采集右侧人脸区域的彩色图像。

在该示例中，图像传感器110采集到左侧人脸区域以及右侧人脸区域的散斑红外图像和彩色图像时，处理器120可以根据左侧人脸区域以及右侧人脸区域的散斑红外图像和彩色图像，生成带纹理信息的三维人脸模型。

具体地，处理器120可以根据所采集的左侧人脸区域的散斑红外图像生成左侧人脸区域的三维点云，以及根据所采集的右侧人脸区域的散斑红外图像生成右侧人脸区域的三维点云，并对左侧人脸区域的三维点云和右侧人脸区域的三维点云进行拼接和融合，以得到人脸区域的三维点云，进而，可以对人脸区域的三维点云进行曲面重建，并根据左侧人脸区域的彩色图像和右侧人脸区域的彩色图像对曲面重建得到的三维人脸模型进行纹理映射，以得到带纹理信息的三维人脸模型，其具体实现将在下文中进行说明，本申请实施例在此不做赘述。

进一步地，在本申请实施例中，为了更直观地了解三维人脸模型的构建效果，三维人脸采集装置还可以对所构建的三维人脸模型进行显示。

相应地，请参见图4，在本申请其中一个实施例中，三维人脸采集装置还可以包括：显示器130；其中：

显示器130，可以用于对处理器120生成的带纹理信息的三维人脸模型进行显示。

进一步地，在一个示例中，处理器120，还可以用于对所述带纹理信息的三维人脸模型进行渲染；

显示器130，可以具体用于显示渲染后的带纹理信息的三维人脸模型。

在该示例中，处理器120生成带纹理信息的三维人脸模型之后，还可以对该带纹理信息的三维人脸模型进行渲染，并将渲染出的三维效果传输至显示器130进行显示。

需要说明的是，在实际应用中，处理器120可以通过GPU（Graphics ProcessingUnit，图像处理单元）或集成有GPU的芯片实现。

此外，在本申请实施例中，三维人脸采集装置生成的带纹理信息的三维人脸模型也可以通过外接显示设备的方式进行显示，其具体实现在此不做赘述。

请参见图5，为本申请实施例提供的一种三维人脸采集方法的流程示意图，其中，该三维人脸采集方法可以应用图1~图4任一所示的三维人脸采集装置，如图5所示，该三维人脸采集方法可以包括以下步骤：

步骤S500、采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

本申请实施例中，为了在保证数据采集准确性的前提下，提高三维人脸数据的采集效率，并降低采集操作复杂性，三维人脸采集装置可以采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

例如，三维人脸采集装置可以通过图1~图4任一所示的图像传感器同步采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

其中，红外图像用于构建三维人脸结构模型，彩色图像用于获取人脸区域的纹理信息。

在本申请其中一个实施例中，上述采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，可以包括：

当检测到满足图像采集条件时，采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

在一个示例中，检测到满足图像采集条件可以包括接收到图像采集指令。

在该示例中，三维人脸采集装置可以在接收到图像采集指令时，如操作人员可以通过点击指定功能按钮向三维人脸采集装置下发图像采集指令，三维人脸采集装置可以采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

在另一个示例中，检测到满足图像采集条件可以包括检测到人脸与三维人脸采集装置的距离处于预设距离范围。

在该示例中，可以预先设置一个距离范围（本文中称为预设距离范围，可以根据实际场景设定，如0.5米~1米），当三维人脸采集装置检测到人脸与三维人脸采集装置的距离处于该预设距离范围时，三维人脸采集装置可以采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

进一步地，在本申请实施例中，为了提高三维人脸模型的精确度，可以分别通过至少两个红外图像传感器（如红外相机）采集左侧人脸区域的红外图像，以及至少两个红外图像传感器采集右侧人脸区域的红外图像。

此外，为了增加人脸区域的特征信息，提高三维人脸模型的轮廓精度，在采集人脸区域的红外图像时，可以通过红外散斑投射器向人脸区域投射红外散斑，在被采集对象无感知的情况下，提高三维人脸模型的轮廓精度

相应地，在本申请其中一个实施例中，上述采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，包括：

通过至少两个第一红外图像传感器采集左侧人脸区域的散斑红外图像，以及通过至少两个第二红外图像传感器采集右侧人脸区域的散斑红外图像。

在该实施例中，三维人脸采集装置可以通过红外散斑投射器分别向左侧人脸区域和右侧人脸区域投射红外散斑，并通过至少两个第一红外图像传感器采集左侧人脸区域的散斑红外图像，以及通过至少两个第二红外图像传感器采集右侧人脸区域的散斑红外图像。

步骤S510、根据左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型。

本申请实施例中，三维人脸采集装置采集到左侧人脸区域以及右侧人脸区域的红外图像和彩色图像时，可以根据左侧人脸区域以及右侧人脸区域的红外图像生成带有网格的三维人脸点云，并根据左侧人脸区域以及右侧人脸区域的彩色图像对该三维人脸点云进行纹理映射，以得到带纹理信息的三维人脸模型。

在本申请其中一个实施例中，上述根据左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型，包括：

根据左侧人脸区域的散斑红外图像生成左侧人脸区域的三维点云，以及根据右侧人脸区域的散斑红外图像生成右侧人脸区域的三维点云；

对左侧人脸区域的三维点云和右侧人脸区域的三维点云进行拼接和融合，以得到人脸区域的三维点云；

对人脸区域的三维点云进行曲面重建，以得到人脸区域的三维人脸模型；

根据左侧人脸区域的彩色图像和右侧人脸区域的彩色图像，对人脸区域的三维人脸模型进行纹理映射，以得到带纹理信息的三维人脸模型。

在该实施例中，以采集的左侧人脸区域以及右侧人脸区域的红外图像为散斑红外图像为例。

在该实施例中，三维人脸采集装置可以根据左侧人脸区域的散斑红外图像生成左侧人脸区域的三维点云，以及根据右侧人脸区域的散斑红外图像生成右侧人脸区域的三维点云。

以根据左侧人脸区域的散斑红外图像生成左侧人脸区域的三维点云为例，右侧人脸区域的处理同理可得。

在一个示例中，上述根据左侧人脸区域的散斑红外图像生成左侧人脸区域的三维点云，可以包括：

分别确定上述至少两个第一红外图像传感器的散斑红外图象的census（统计）特征；

确定该至少两个第一红外图像传感器的散斑红外图像的census特征的匹配相似度；

根据所确定的匹配相似度对该至少两个第一红外图像传感器进行代价聚合，已确定该至少两个第一红外图像传感器的参考红外图像传感器的视差；

根据预先标定的该至少两个第一红外图像传感器的内外参数，将参考红外图像传感器的视差图转换为三维点云。

在该示例中，以上述至少两个第一红外图像传感器为两个第一红外图像传感器为例，三个或三个以上第一红外图像传感器的结构的处理流程同理可得。

在该示例中，对于两个第一红外图像传感器的散斑红外图像，三维人脸采集装置可以分别确定该两个第一红外图像传感器的散斑红外图像的census特征。

需要说明的是，为了提高三维点云的精确度，三维人脸采集装置确定两个第一红外图像传感器的散斑红外图像的census特征之前，可以先根据预先标定的该两个第一红外图像传感器的内外参数，分别对该两个第一红外图像传感器采集的散斑红外图像进行极线校正处理，以消除垂直方向的偏移量。

在该示例中，对两个第一红外图像传感器的内外参数的标定可以在下文中结合实例进行说明，本申请实施例在此不做赘述。

在该示例中，三维人脸采集装置得到两个第一红外图像传感器的散斑红外图像的census特征之后，可以确定该两个第一红外图像传感器的census特征的匹配相似度。

例如，三维人脸采集装置可以以该两个第一红外图像传感器中的任一作为参考红外图像传感器，并以该参考红外图像传感器采集的散斑红外图像为参考，在一定水平视场范围内，计算该两个第一红外图像传感器的散斑红外图像的census特征的匹配相似度。

其中，该匹配相似度可以通过汉明距离表征，汉明距离越大，匹配相似度越低，其具体实现在此不做赘述。

在该示例中，三维人脸采集装置可以根据所确定的匹配相似度对该两个第一红外图像传感器进行代价聚合，以确定该两个第一红外图像传感器中的参考红外图像传感器的视差，从而，得到该参考红外图像传感器的视差图。

进而，三维人脸采集装置可以根据预先标定的该两个第一红外图像传感器的内外参数，将参考红外图像传感器的视差图转换为三维点云，其具体实现可以在下文中结合实例进行说明。

需要说明的是，在该实施例中，三维人脸采集装置确定了该两个第一红外图像传感器中的参考红外图像传感器的视差之后，还可以利用左右一致性方式，删除所确定的参考红外图像传感器的错误视差，以提高三维点云的精确度。

例如，以第一红外图像传感器1和第二红外图像传感器2为例，假设第一红外图像传感器1为参考红外图像传感器，在确定了第一红外图像传感器1的视差，即第一红外图像传感器1的坐标计算到第一红外图像传感器2的坐标系中的视差之后，可以再计算第一红外图像传感器2的坐标到第二红外图像传感器1的坐标系中的视差，以确定二者是否匹配，若匹配，则确定为正确视差；否则，确定为错误视差。

在该实施例中，三维人脸采集装置得到左侧人脸区域的三维点云，以及右侧人脸区域的三维点云之后，可以对该左侧人脸区域的三维点云和右侧人脸区域的三维点云进行拼接和融合，以得到人脸区域的三维点云，并对人脸区域的三维点云进行曲面重建，以得到人脸区域的三维人脸模型，进而，根据左侧人脸区域的彩色图像和右侧人脸区域的彩色图像，对人脸区域的三维人脸模型进行纹理映射，以得到带纹理信息的三维人脸模型，其具体实现可以在下文中结合实例进行说明。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

请参见图6，为本申请实施例提供的一种三维人脸采集装置的结构示意图，在该实施例中，三维人脸采集装置包括图像传感器、处理器以及显示器，该图像传感器可以包括两组三维人脸采集单元，每组三维人脸采集单元包括2台红外相机、1台彩色相机和1个红外散斑器。

如图6所示，左相机1和左相机3为红外相机，左相机2为彩色相机（如RGB相机），右相机1和右相机3为红外相机，右相机2为彩色相机。左相机1和左相机3为组成一组平行双目相机，右相机1和右相机3为组成一组平行双目相机。

其中，左相机1和左相机3用于采集左侧人脸区域的红外图像；左相机2用于采集左侧人脸区域的彩色图像；右相机1和右相机3用于采集右侧人脸区域的红外图像；右相机2用于采集右侧人脸区域的彩色图像。

红外散斑器1用于向左侧人脸区域投射特征散斑结构；红外散斑器2用于向右侧人脸区域投射特征散斑结构。

在该实施例中，通过采用主动式有源双目立体视觉原理，利用左右人脸区域对应的4台红外相机分别采集一帧带有红外散斑特征的红外图像，以恢复出人脸的深度信息，再转换成对应三维点云，并重建完整的三维人脸模型；利用左右人脸区域对应的2台彩色相机分别采集一帧彩色图像，以实现三维人脸模型的纹理映射，最终得到带纹理信息的三维人脸模型，三维人脸数据采集效率高、对被采集对象无严格静止要求约束、且采集过程中被采集对象可以无感知，提高了用户体验。

下面对图6所示三维人脸采集装置的工作原理进行简要说明。

如图7所示，在该实施例中，三维人脸采集流程如下：

1）相机参数标定

在该实施例中，假设左相机1和右相机1分别为所属三维人脸采集单元中的参考相机。

图6所示三维人脸采集装置中的6台相机的参数标定流程可以如图8A所示，其中：

左相机1和左相机3为一组双目相机，可采用张正友的棋盘格标定法进行相机的内外参标定。右相机1和右相机3也采用同样的方式进行标定。

其中，相机内参可以包括但不限于焦距、主点以及畸变系数等。相机外参可以包括但不限于相机与相机之间的基线距、旋转和平移关系。

左相机2内参标定，可以先采集多张棋盘格图像，然后利用opencv（开源计算机视觉库）的单相机标定方法直接标定出内参。右相机2内参标定方法相同。

左相机1和左相机2的外参标定，可以先采集多张两个相机共视的棋盘格图像，然后利用opencv中标定方法标定出左相机2坐标系相对左相机1坐标系的旋转和平移矩阵。右相机1和右相机2的外参标定，以及左相机1和右相机1的外参标定均可以采用同样的标定方法，最终得到右相机2坐标系相对右相机1坐标系的旋转和平移矩阵，以及右相机1坐标系相对左相机1坐标系的旋转和平移矩阵。

2）红外图像和彩色图像采集

以通过距离触发图像采集为例，当人脸与三维人脸采集装置的距离处于预设距离范围时，同步采集6台相机的单帧图像，包括4张红外图像（散斑红外图像）和2张彩色图像，分别对应人脸两侧。该预设距离范围可根据6台相机的安装位置进行调整，例如，0.4~0.8m。

3）人脸三维信息生成

请参见图8B，在该实施例中人脸三维信息生成流程包括：

图像校正：利用左相机1和左相机3标定出的相机内外参，分别对左相机1和左相机3的红外图像进行极线校正处理，消除垂直方向的偏移量。

特征计算：分别计算校正后的左相机1和左相机3的红外图像的census特征。

匹配代价计算：以左相机1采集的红外图像为参考图像，在一定水平视场范围内，计算左相机1和左相机3的红外图像的census特征的匹配相似度。

代价聚合：采用局部或半全局算法进行匹配代价的聚合，选择匹配代价能量损失函数最小视差匹配位置，作为左相机1对应的视差计算值。

视差后处理：利用左右一致性方式，删除左相机1已计算出的错误视差。

视差转三维点云：利用左相机1和左相机3标定出的基线距、内参，将左相机1视差图转换成对应的三维点云信息。

同理，右相机1也可以采用以上过程，计算出对应的三维点云信息。

4）左右人脸三维信息融合

用ICP（Iterative Closest Point，迭代最近点）算法进行匹配操作，将右相机1对应的三维点云对准到左相机1对应的点云坐标系（或者将左相机1对应的三维点云对准到右相机1对应的点云坐标系）中，形成匹配一致的完整的人脸区域的三维点云。

5）三维人脸模型生成

对完整的人脸区域的三维点云利用possion（泊松）重建算法进行人脸表面的三维结构恢复，生成带有三角网格的三维人脸模型。

6）三维人脸模型纹理贴图

利用左相机2和右相机2采集的左侧人脸区域和右侧人脸区域的彩色图像，配合已标定出的左相机2和右相机2的内参、以及相对于三维人脸模型的外参，将左侧人脸区域和右侧人脸区域的彩色图像映射到所生成的带有三角网格的三维人脸模型，以得到带纹理信息的三维人脸模型。

需要说明的是，在该实施例中，处理器得到上述带纹理信息的三维人脸模型之后，可以对带有纹理信息的三维人脸模型进行渲染处理，并将渲染出的三维效果传送至显示器上进行呈现。

本申请实施例中，通过图像传感器同步采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，并通过处理器根据左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，生成带纹理信息的三维人脸模型，提高了三维人脸数据采集的

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种三维人脸采集装置，其特征在于，包括：图像传感器和处理器；其中：

所述图像传感器包括：第一图像传感器和第二图像传感器；其中：

所述第一图像传感器，用于采集左侧人脸区域的红外图像和彩色图像；

所述第二图像传感器，用于采集右侧人脸区域的红外图像和彩色图像；

所述第一图像传感器和所述第二图像传感器均包括至少两个红外图像传感器、至少一个彩色图像传感器以及至少一个红外散斑器；其中：

所述红外散斑器，用于在人脸区域投射红外散斑；

所述红外图像传感器，用于采集人脸区域的散斑红外图像；

所述彩色图像传感器，用于采集人脸区域的彩色图像；

其中，所述处理器，具体用于根据左侧人脸区域的散斑红外图像生成左侧人脸区域的三维点云，以及根据右侧人脸区域的散斑红外图像生成右侧人脸区域的三维点云；其中，所述根据左侧/右侧人脸区域的散斑红外图像生成左侧/右侧人脸区域的三维点云，包括：分别确定至少两个第一红外图像传感器的散斑红外图像的统计census特征；确定所述至少两个第一红外图像传感器的散斑红外图像的census特征的匹配相似度；根据所述匹配相似度对所述至少两个第一红外图像传感器进行代价聚合，以确定所述至少两个第一红外图像传感器中的参考红外图像传感器的视差；根据预先标定的所述至少两个第一红外图像传感器的内外参数，将所述参考红外图像传感器的视差图转换为三维点云；

所述处理器，还用于对所述左侧人脸区域的三维点云和所述右侧人脸区域的三维点云进行拼接和融合，以得到人脸区域的三维点云；

所述处理器，还用于对所述人脸区域的三维点云利用possion泊松重建算法进行人脸表面的三维结构恢复，生成带有三角网格的三维人脸模型；

所述处理器，还用于根据所述左侧人脸区域的彩色图像和右侧人脸区域的彩色图像，配合已标定的彩色图像传感器的内外参数，将所述左侧人脸区域的彩色图像和右侧人脸区域的彩色图像映射到所述带有三角网格的三维人脸模型，以得到带纹理信息的三维人脸模型。

2.根据权利要求1所述的三维人脸采集装置，其特征在于，所述第一图像传感器包括部署于所述三维人脸采集装置的左侧的两个红外图像传感器、一个彩色图像传感器以及一个红外散斑器；所述第二图像传感器包括部署于所述三维人脸采集装置的右侧的两个红外图像传感器、一个彩色图像传感器以及一个红外散斑器；

所述部署于所述三维人脸采集装置的左侧的两个红外图像传感器构成双目结构；所述部署于所述三维人脸采集装置的右侧的两个红外图像传感器构成双目结构。

3.根据权利要求1或2所述的三维人脸采集装置，其特征在于，还包括显示器；其中：

所述显示器，用于对所述带纹理信息的三维人脸模型进行显示。

4.根据权利要求3所述的三维人脸采集装置，其特征在于，

所述处理器，还用于对所述带纹理信息的三维人脸模型进行渲染；

所述显示器，具体用于显示渲染后的带纹理信息的三维人脸模型。

5.一种三维人脸采集方法，其特征在于，包括：

通过至少两个第一红外图像传感器采集左侧人脸区域的散斑红外图像，以及通过至少两个第二红外图像传感器采集右侧人脸区域的散斑红外图像；

根据左侧人脸区域的散斑红外图像生成左侧人脸区域的三维点云，以及根据右侧人脸区域的散斑红外图像生成右侧人脸区域的三维点云；其中，所述根据左侧/右侧人脸区域的散斑红外图像生成左侧/右侧人脸区域的三维点云，包括：分别确定所述至少两个第一红外图像传感器的散斑红外图像的统计census特征；确定所述至少两个第一红外图像传感器的散斑红外图像的census特征的匹配相似度；根据所述匹配相似度对所述至少两个第一红外图像传感器进行代价聚合，以确定所述至少两个第一红外图像传感器中的参考红外图像传感器的视差；根据预先标定的所述至少两个第一红外图像传感器的内外参数，将所述参考红外图像传感器的视差图转换为三维点云；

对所述左侧人脸区域的三维点云和所述右侧人脸区域的三维点云进行拼接和融合，以得到人脸区域的三维点云；

对所述人脸区域的三维点云利用possion泊松重建算法进行人脸表面的三维结构恢复，生成带有三角网格的三维人脸模型；

根据所述左侧人脸区域的彩色图像和右侧人脸区域的彩色图像，配合已标定的彩色图像传感器的内外参数，将所述左侧人脸区域的彩色图像和右侧人脸区域的彩色图像映射到所述带有三角网格的三维人脸模型，以得到带纹理信息的三维人脸模型。

6.根据权利要求5所述的方法，其特征在于，所述采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像，包括：

当检测到满足图像采集条件时，采集左侧人脸区域以及右侧人脸区域的红外图像和彩色图像。

7.根据权利要求6所述的方法，其特征在于，所述检测到满足图像采集条件，包括：

接收到图像采集指令；或，

检测到人脸与三维人脸采集装置的距离处于预设距离范围。

8.根据权利要求5所述的方法，其特征在于，所述分别确定所述至少两个第一红外图像传感器的散斑红外图像的census特征之前，还包括：

根据预先标定的所述至少两个第一红外图像传感器的内外参数，分别对所述至少两个第一红外图像传感器采集的散斑红外图像进行极线校正处理。

9.根据权利要求5所述的方法，其特征在于，所述确定所述至少两个第一红外图像传感器中的参考红外图像传感器的视差之后，还包括：

利用左右一致性方式，删除所确定的所述参考红外图像传感器的错误视差。