CN110414435A - 基于深度学习和结构光的三维人脸数据的生成方法及设备 - Google Patents

Abstract

本申请公开了一种基于深度学习和结构光的三维人脸数据的生成方法及设备，涉及人脸识别技术领域，用以在构建三维人脸模型时，获取准确的三维人脸数据，本申请方法包括：通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据所述人脸像素区域构建人脸掩膜二值图像；捕获所述人脸在结构光投影下的二维图像，并利用所述人脸掩膜二值图像排除掉所述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；根据所述结构光二维人脸图像生成三维人脸数据。

Description

基于深度学习和结构光的三维人脸数据的生成方法及设备

技术领域

本申请涉及人脸识别技术领域，特别涉及一种基于深度学习和结构光的三维人脸数据的生成方法及设备。

背景技术

当今，人脸识别技术已经成为了一种应用广泛的智能生物识别技术，从厕所用纸、闯红灯抓拍到出入境安检、金融支付等各个领域，到处都有人脸识别技术的踪迹；

人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流进行特征分析获取人脸特征，进而将获取的人脸特征和已知的人脸进行对比，从而识别每个人脸的身份，目前有二维人脸识别技术和三维人脸识别技术，其中，二维人脸识别技术通过二维摄像头平面成像，无法接收物理世界中的第三位信息如尺寸和距离等几何数据，在有限的信息接收状态下，安全级别不高，易于受攻击。

三维人脸识别技术通过三维摄像头立体成像，人脸识别时获取的信息多，人脸识别的准确性有了极大的提升，相对于二维人脸识别技术而言，其识别人脸的准确度更高且更安全，因此需要一种获取准确三维人脸数据的方法。

发明内容

本申请提供一种基于深度学习和结构光的三维人脸数据的生成方法及设备，用以在构建三维人脸模型时，提高获取的三维人脸数据的准确度。

第一方面，本申请提供一种基于深度学习和结构光的三维人脸数据的生成方法，该方法包括：

通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据所述人脸像素区域构建人脸掩膜二值图像；

捕获所述人脸在结构光投影下的二维图像，并利用所述人脸掩膜二值图像排除掉所述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；

根据所述结构光二维人脸图像生成三维人脸数据。

上述方法中，一方面，通过人脸掩膜二值图像屏蔽掉人物图像中的非人脸区域图像，使其不参与生成三维人脸数据的计算，降低了生成三维人脸数据的计算复杂度，进而降低了构建三维人脸模型的计算复杂度，另一方面，向人脸投射结构光，根据光条纹调制的人脸的结构光二维人脸图像获取人脸物体的三维立体数据，基于结构光的特性，能够提取更多人脸的纹理信息，提高了获取的三维人脸数据的准确度，进而使得利用其构建出的三维人脸模型更准确。

在一种可能的实现方式中，根据所述人脸像素区域构建人脸掩膜二值图像，包括：

将所述人物图像中的人脸像素区域的像素值全部置为1，将所述人物图中非人脸像素区域的像素值全部置为0的结果作为所述人脸掩膜二值图像。

上述方法中，二维矩阵的人脸掩膜构建简单易行，节约计算资源。

在一种可能的实现方式中，利用所述人脸掩膜二值图像排除掉所述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像，包括：

将所述人脸掩膜二值图像与所述二维图像相对应的像素值一一相乘，根据相乘的结果获得结构光投影下仅包含人脸的结构光二维人脸图像。

上述方法中，基于结构光技术获得的仅包含人脸的结构光二维人脸图像，便于利用获取的结构光二维人脸图像构建高清的三维人脸数据。

在一种可能的实现方式中，所述人脸掩膜二值图像和所述人脸在结构光投影下的二维图像均采用二维矩阵的形式表示。

在一种可能的实现方式中，根据所述结构光二维人脸图像构建三维人脸数据，包括：

将所述结构光二维人脸图像解码，并利用三角测量原理计算构建三维人脸数据。

第二方面，本申请提供一种基于深度学习和结构光的三维人脸数据的生成设备，该设备包括处理器和存储器，其中，存储器存储可执行程序，所述程序被执行时，所述处理器实现如下过程：

通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据所述人脸像素区域构建人脸掩膜二值图像；

捕获所述人脸在结构光投影下的二维图像，并利用所述人脸掩膜二值图像排除掉所述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；

根据所述结构光二维人脸图像生成三维人脸数据。

在一种可能的实现方式中，所述处理器具体用于：

将所述人物图像中的人脸像素区域的像素值全部置为1，将所述人物图中非人脸像素区域的像素值全部置为0的结果作为所述人脸掩膜二值图像。

在一种可能的实现方式中，所述处理器具体用于：

将所述人脸掩膜二值图像与所述二维图像相对应的像素值一一相乘，根据相乘的结果获得结构光投影下仅包含人脸的结构光二维人脸图像。

在一种可能的实现方式中，所述人脸掩膜二值图像和所述人脸在结构光投影下的二维图像均采用二维矩阵的形式表示。

在一种可能的实现方式中，所述处理器具体用于：

将所述结构光二维人脸图像解码，并利用三角测量原理计算生成三维人脸数据。

第三方面，本申请还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第一方面所述方法的步骤。

另外，第二方面和第三方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于深度学习和结构光的三维人脸数据的生成方法的示意图；

图2为本申请实施例提供的结构光技术的基本原理示意图；

图3为本申请实施例提供的生成三维人脸数据的具体过程示意图；

图4为本申请实施例提供的一种三维人脸数据的生成设备的示意图；

图5为本申请实施例提供的另一种三维人脸数据的生成设备的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部份实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的专有名词进行说明：

结构光技术：通过结构光生成设备，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的图像采集设备如红外摄像头或红绿蓝RGB摄像头等进行采集，这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成被拍摄物体的位置和深度信息，以此来获得被拍摄物体的三维结构。

目前在构建三维人脸模型时，常常利用多张多角度的二维人脸图像进行拼合，或者根据人脸的特征信息进行三维人脸数据的生成，但在此过程中，在用于构建三维人脸数据的二维人脸图像中常常包含很多非人脸的其它背景区域，这些非人脸特征区域不仅会增加三维人脸数据生成的计算复杂度，还会影响获取的三维人脸数据的准确度，进而影响利用三维人脸数据构建的三维人脸模型的准确度。

为了解决上述问题，本申请提供了一种基于深度学习和结构光的三维人脸数据的生成方法及设备。

在本申请中的方法中，首先利用预先固定在不同位置的图像采集设备，对人物进行拍照，从不同角度采集2张包含人脸的二维人物图像，并利用深度学习的方法，分别从上述2张二维人物图像中圈出对应的人脸像素区域，根据上述人脸像素区域分别构建对应的人脸掩膜二值图像。

在构建人脸掩膜二值图像后，利用预设的结构光生成设备向上述人脸投射结构光，通过上述2个图像采集设备，从不同角度捕获人脸在结构光投影下的2张二维图像，并分别利用对应的人脸掩膜二值图像排除上述2张二维图像中的非人脸像素区域，进而对排除非人脸像素区域后的2张二维图像解码，并利用三角测量原理计算生成该人脸的三维人脸数据。

下面结合说明书附图对本申请实施例做进一步详细描述。

如图1所示，本实施例提供一种基于深度学习和结构光的三维人脸数据的生成方法，具体包括：

步骤S101，通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据上述人脸像素区域构建人脸掩膜二值图像；

可以通过2个固定在不同预设位置的图像采集装置，从不同角度采集2张包含人脸的人脸图形，其中上述2个图像采集装置被预先用支架等固定装置固定在不同的预设位置，具体可参见图2，其中，21为第一图像采集装置，22为第二图像采集装置，23为需要获取的三维人脸数据对应的人。

获取人物图像之后，将获取的人物图像输入基于深度学习方法预先构建的人脸像素识别模型，根据该人脸像素识别模型的输出确定该人脸图像的人脸像素区域，其中，该人脸像素识别模型的输出可以但不局限于为以矩形的形式在人物图像中圈出人脸像素区域，或者，直接输出人脸图像中的人脸像素区域。

对上述图像采集装置的具体形式不做过多限定，本领域的技术人员可根据实际需求设置，如使用单反相机或摄影机等作为上述图像采集装置。

应当理解的是，上述人脸掩膜二值图像为图像掩膜，图像掩膜指用选定的图像、图形或物体，对处理的图像的全部或局部进行遮挡，来控制图像处理区域或处理过程，在本实施例中，上述人脸掩膜二值图像用于排除人物图像中的非人脸像素区域，以使非人脸像素区域的图像不参加构建三维人脸数据的计算，以简化三维人脸模型构建时的计算，另外，用人脸掩膜二值图像排除物图像中的非人脸像素区域，可以使得构建的三维人脸模型更接近真实的人脸。

可选地，在构建人脸掩膜二值图像时，可以将上述人物图像中的人脸像素区域的像素值全部置为1，将上述人物图中非人脸像素区域的像素值全部置为0的结果作为上述人脸掩膜二值图像。

步骤S102，捕获上述人脸在结构光投影下的二维图像，并利用上述人脸掩膜二值图像排除掉上述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；

在本步骤中，通过光源打光，将光栅上刻录的结构光编码信息投影到人脸表面，根据人脸表面的反射光得到包含结构光编码信息的人脸特征点的结构光图像；对上述人脸特征点的结构光图像中的结构光编码进行解码，对捕获图像进行解码即可准确得到两幅具有对应关系的模式图像，利用编码的特征量可准确找出对应匹配点，即得出人脸的结构光图像上各像素点的深度信息，进而将各像素点的深度信息作为上述人脸在结构光投影下的二维图像。

上述结构光生成设备可以是将光点、光缝、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，也可以是生成激光束的激光器；且上述结构光投影设备被固定在上述2个图像采集装置中间位置，具体可参见图2，其中，21为第一图像采集装置，22为第二图像采集装置，23为需要获取的三维人脸数据的人脸对应的人，24位上述结构光生成设备。

可选地，上述人脸在结构光投影下的二维图像可以但不局限于采用二维矩阵的形式表示。

可选地，在捕获人脸在结构光投影下的二维图像后，可以将上述人脸掩膜二值图像与上述二维图像相对应的像素值一一相乘，根据相乘的结果获得结构光投影下仅包含人脸的结构光二维人脸图像。

步骤S103，根据上述结构光二维人脸图像生成三维人脸数据。

可选地，将上述结构光二维人脸图像解码，并利用三角测量原理计算生成三维人脸数据。

上述步骤S102采集上述人脸在结构光投影下的结构光二维人脸图像时，利用了结构光测量技术，在结构光测量技术中，一般利用结构光照明中的几何信息帮助提供景物中的几何信息，根据图像采集设备，结构光，物体之间的几何关系，来确定物体的三维信息，即在本实施例中，根据人脸的三维重建坐标，基于三角测量原理生成三维人脸数据。

基于三角测量原理，利用上述结构光二维人脸图像在不同角度下的空间坐标系的相对位置关系，确定上述人脸在不同空间坐标系下的三维坐标；并利用迭代就近点算法(Iterative Closest Point，ICP)等，对上述人脸在不同空间坐标系下的三维数据进行配准，获得上述人脸的三维人脸数据。

上述ICP配准算法是将不同参考坐标下的两组或者多组三维数据统一到同一坐标系下的三维数据的配准，从而在同一坐标系下获取各组三维数据的三维立体数据。

针对上述步骤S101，本实施例还提供一种基于深度学习方法构建人脸像素识别模型的过程：

步骤S1)获取人脸训练样本及对应的目标对比样本；

上述人脸训练样本中包括大量的包含人脸的人物图像，其中，上述人物图像中的人脸可以为人脸正面和各个侧面。

上述目标对比样本中包括与上述人脸训练样本中的人物图像一一对应的真实人脸像素区域。

在本步骤中，可以但不局限于通过图像采集不同的人物图像，或者从网络中下载不同的人物图像；可以但不局限于通过预设算法计算或图像识别技术，从上述人脸训练样本中的人物图像中，一一圈出对应的真实人脸像素区域，以获取的真实人脸像素区域作为上述目标对比样本。

步骤S2)基于深度学习方法构建人脸像素识别模型，并利用上述人脸训练样本及对应的目标对比样本对上述人脸像素识别模型进行训练，至获取识别性能高的人脸像素识别模型；

上述人脸像素识别模型的输入为包含人脸的人物图像，输出为该人物图像对应的人脸像素区域。

在对人脸像素识别模型进行训练时，逐一将人物图像输入人脸像素识别模型，得到人脸像素识别模型输出的预测人脸像素区域，将该预测人脸像素区域与目标对比样本中该人物图像对应的真实人脸像素区域偏离程度，若预测人脸像素区域与对应的真实人脸像素区域的偏离程度满足预设偏离要求时，即可停止对该人脸像素识别模型的训练。

应当说明的是，本领域的技术人员也可以用其他方式对上述人脸像素识别模型进行训练。

在本实施例中，通过图像采集设备采集包含人脸的人物图像，对人物图像进行深度学习，自动学习人脸特征，并将人脸特征融入到深度学习的建模过程中，进而确定人脸图像中的人脸像素区域，采用深度学习的方法确人脸像素区域，相较于传统的图像识别方法而言，其减少了人为设计人脸特征造成的不完备性，且其对人脸像素区域识别的准确性极大地超过了现有的图像识别算法性能，使得确认出的人脸像素区域更准确。

针对上述步骤S101，上述人脸掩膜二值图像可以但不局限于采用二维矩阵的形式表示。

在本申请实施例中，将人脸像素区域的像素值设置为1，将非人脸像素区域的像素值设置为0的二维矩阵的人脸掩膜二值图像，以此使人物图像中的非人脸像素区域图像不参与生成三维人脸数据的计算，且二维矩阵形式的人脸掩膜二值图像构建简单易行，节约计算资源，当然，本领域的技术人员也可根据实际需求获得其他形式的人脸掩膜二值图像，以使人物图像中的非人脸像素区域图像不参与生成三维人脸数据的计算。

针对上述步骤S102，上述结构光可分为以下几类：

1)点结构光

点结构光的接收方向不变，当实现光栅式平面扫描时，光源和探测是同步移动的，单束激光打在物体表面，由摄像机拍摄物体该单束激光在物体表面的反射光点。

2)线结构光

通过投射源投射出平面狭缝光，每次投射一个结构光条纹，每幅图像可得到一个截面的深度，通过改变投射狭缝光的角度，获得更多截面的深度，进而获得物体的深度。

3)多线结构光

以线结构光为基础，为了提高图像处理效率，在一幅图像内处理多条光条纹。

4)编码结构光

在多线结构光基础上，为解决多条纹图像中，不同条纹的定位和匹配问题，编码法分为时间编码法、空间编码法、直接编码法、彩色编码法。

本发明实施例中对结构光的具体结构不作过多限定，可以是多线结构光，也可以是编码结构光。

针对上述步骤S102，捕获上述人脸在结构光投影下的二维图像时，可以向人脸投影预设数量的光条纹，其中投影的光条纹的具体数量可以是预先设定的，根据投影原理近大远小可知，投影仪距离人脸较近时，投影到上述人脸的光条纹数量较多，投影仪距离人脸较远时，投影到上述人脸的光条纹数量较少。

上述光条纹投射到上述人脸表面后，通过两个角度的图像采集装置即上述第一图像采集装置和第二图像采集装置，采集人脸表面对上述光条纹调制后产生的2张二维图像；

另需说明的是，上述步骤S101中的2张人物图像是在结构光生成设备未向上述人脸投射结构光时采集的，而步骤S102中的2张二维图像是在投射结构光时，分别由2个图像采集装置捕获的。

在步骤S102中，利用结构光获取上述人脸的二维图像，相较于传统的人脸图像采集而言，不需要用户进行任何配合即可捕获到上述人脸在结构光投影下的二维图像，对于用户而言，用户的体验效果好；且在结构光下捕获的二维图像更完整，细节更丰富，捕获的二维图像的分辨率效果大大好于传统方法获取的人脸的二维图像；另一方面，由于结构光主动投射编码光源，因此非常适合在光照不足如无光的场景，或者缺乏纹理的场景中使用。

针对上述步骤S103，可以预先定义不同角度下的空间坐标系，基于三角测量原理，根据不同空间坐标系的相对位置关系，确定上述人脸的在不同空间坐标系下的三维坐标，并对不同空间坐标系下的三维数据进行配准，获得上述人脸的三维人脸数据的具体过程如下：

其中，下述各因式中的P和P′分别为两个采集人脸在结构光投影下的二维图像的相机的投影矩阵，下述各因式中的X为需要求解的人脸全局坐标系下的三维人脸坐标，各因式中的x、x′、y、y′分别为上述三维坐标X在两个图像采集装置捕获的二维图像经人脸二值掩膜图像处理后的结构光二维人脸图像中的坐标，其中，上述全局坐标系为预定义的一个坐标系，该全局坐标系可以与两个图像采集装置所在的坐标系的其中一个坐标系相同，也可以不同，本实施例不作过多限定。

对于第一个相机而言，记如下因式1：

因式1：

因有如下因式2：

因式2：λx＝PX；

上述因式2中λ为一个缩放因子。

通过对因式2进行交叉相乘可得因式3：

因式3：x×(PX)＝0；

由上述因式3，进而可解得下述因式4、因式5和因式6：

因式4：x(P^3TX)-(P^1TX)＝0；

因式5：y(P^3TX)-(P^2TX)＝0；

因式6：x(P^2TX)-y(P^1TX)＝0；

上述因式4、因式5和因式6等效为如下因式7：

因式7：

其中，各公式中的X_4×1为矩阵表示的求解坐标。

同理，对于第二个相机，有如下因式8：

因式8：

故而推导出如下因式9：

因式9：

其中，A_4×4表示因式7中的和因式8中的的合并矩阵，进而可以根据因式9求得X_4×1，即可求出X的三维坐标，即人脸在全局坐标系下的三维坐标，从而根据该三维坐标构建三维人脸数据。

如图3所示，以下给出一个生成三维人脸数据的具体过程：

步骤S301，获取包含人脸的人物图像，并通过深度学习方法从人物图像中确定人脸像素区域；

步骤S302，根据上述人脸像素区域构建人脸掩膜二值图像；

步骤S303，捕获上述人脸在结构光投影下的二维图像；

步骤S304，利用上述人脸掩膜二值图像排除掉上述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；

步骤S305，将上述结构光二维人脸图像解码，并利用三角测量原理计算生成三维人脸数据。

本申请提供的方法中，通过人脸掩膜二值图像屏蔽掉人物图像中的非人脸像素区域，使其不参与三维人脸数据的计算，降低了生成三维人脸数据的计算复杂度；且通过采集结构光投影下的结构光二维人脸图像，使得获得的结构光二维人脸图像具有完整性和较高的分辨率，提高了利用生成的三维人脸数据构建的三维人脸模型的准确度，另外，通过结构光捕获结构光二维人脸图像还可以应用在光照不足的场景，提高了在光照不足的场景里构建的三维人脸模型的准确性，且上述方法通过结构光捕获结构光二维人脸图像时，不需要用户做出特定的肢体动作，极大地提高的用户的体验好感度。

如图4所示，基于相同的发明构思，本实施例提供一种基于深度学习和结构光的三维人脸数据的生成设备，该设备包括处理器41和存储器42，其中，存储器存储可执行程序，上述程序被执行时，上述处理器实现如下过程：

通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据上述人脸像素区域构建人脸掩膜二值图像；

捕获上述人脸在结构光投影下的二维图像，并利用上述人脸掩膜二值图像排除掉上述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；

根据上述结构光二维人脸图像生成三维人脸数据。

可选地，上述处理器具体用于，将上述人物图像中的人脸像素区域的像素值全部置为1，将上述人物图中非人脸像素区域的像素值全部置为0的结果作为上述人脸掩膜二值图像。

可选地，上述处理器具体用于，将上述人脸掩膜二值图像与上述二维图像相对应的像素值一一相乘，根据相乘的结果获得结构光投影下仅包含人脸的结构光二维人脸图像。

可选地，上述人脸掩膜二值图像和上述人脸在结构光投影下的二维图像均采用二维矩阵的形式表示。

可选地，上述处理器具体用于，将上述结构光二维人脸图像解码，并利用三角测量原理计算生成三维人脸数据。

如图5所示，基于相同的发明构思，本实施例提供另一种基于深度学习和结构光的三维人脸数据生成设备，该设备包括：

人脸掩膜构建单元501，用于通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据上述人脸像素区域构建人脸掩膜二值图像；

人脸深度信息采集单元502，用于捕获上述人脸在结构光投影下的二维图像，并利用上述人脸掩膜二值图像排除掉上述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像。

三维人脸数据生成单元503，用于根据上述结构光二维人脸图像生成三维人脸数据。

可选地，上述人脸掩膜构建单元用于将上述人物图像中的人脸像素区域的像素值全部置为1，将上述人物图中非人脸像素区域的像素值全部置为0的结果作为上述人脸掩膜二值图像。

可选地，上述人脸深度信息采集单元用于将上述人脸掩膜二值图像与上述二维图像相对应的像素值一一相乘，根据相乘的结果获得结构光投影下仅包含人脸的结构光二维人脸图像。可选地，上述人脸掩膜二值图像和上述人脸在结构光投影下的二维图像均采用二维矩阵的形式表示。

可选地，上述三维人脸数据生成单元用于将上述结构光二维人脸图像解码，并利用三角测量原理计算生成三维人脸数据。

本申请实施例还提供一种计算机可读非易失性存储介质，包括程序代码，当上述程序代码在计算终端上运行时，上述程序代码用于使上述计算终端执行上述本申请实施例一的方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于深度学习和结构光的三维人脸数据的生成方法，其特征在于，该方法包括：

通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据所述人脸像素区域构建人脸掩膜二值图像；

捕获所述人脸在结构光投影下的二维图像，并利用所述人脸掩膜二值图像排除掉所述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；

根据所述结构光二维人脸图像生成三维人脸数据。

2.如权利要求1所述的方法，其特征在于，根据所述人脸像素区域构建人脸掩膜二值图像，包括：

将所述人物图像中的人脸像素区域的像素值全部置为1，将所述人物图中非人脸像素区域的像素值全部置为0的结果作为所述人脸掩膜二值图像。

3.如权利要求1所述的方法，其特征在于，利用所述人脸掩膜二值图像排除掉所述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像，包括：

将所述人脸掩膜二值图像与所述二维图像相对应的像素值一一相乘，根据相乘的结果获得结构光投影下仅包含人脸的结构光二维人脸图像。

4.如权利要求1所述的方法，其特征在于，所述人脸掩膜二值图像和所述人脸在结构光投影下的二维图像均采用二维矩阵的形式表示。

5.如权利要求1所述的方法，其特征在于，根据所述结构光二维人脸图像生成三维人脸数据，包括：

将所述结构光二维人脸图像解码，并利用三角测量原理计算生成三维人脸数据。

6.一种基于深度学习和结构光的三维人脸数据的生成设备，其特征在于，该设备包括处理器和存储器，其中，存储器存储可执行程序，所述程序被执行时，所述处理器实现如下过程：

通过深度学习方法从包含人脸的人物图像中确定人脸像素区域，并根据所述人脸像素区域构建人脸掩膜二值图像；

捕获所述人脸在结构光投影下的二维图像，并利用所述人脸掩膜二值图像排除掉所述二维图像中的非人脸像素区域，获得结构光投影下仅包含人脸的结构光二维人脸图像；

根据所述结构光二维人脸图像生成三维人脸数据。

7.如权利要求6所述的设备，其特征在于，所述处理器具体用于：

将所述人物图像中的人脸像素区域的像素值全部置为1，将所述人物图中非人脸像素区域的像素值全部置为0的结果作为所述人脸掩膜二值图像。

8.如权利要求6所述的设备，其特征在于，所述处理器具体用于：

将所述人脸掩膜二值图像与所述二维图像相对应的像素值一一相乘，根据相乘的结果获得结构光投影下仅包含人脸的结构光二维人脸图像。

9.如权利要求6所述的设备，其特征在于，所述处理器具体用于：

将所述结构光二维人脸图像解码，并利用三角测量原理计算生成三维人脸数据。

10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～5任一所述方法的步骤。