CN107609383A - 3d人脸身份认证方法与装置 - Google Patents

Abstract

本发明提供一种3D人脸身份认证方法及装置，包括以下步骤：获取包含目标人脸的深度图像以及二维图像；将所述深度图像与参考人脸3D纹理图像进行配准，以获取所述目标人脸的姿态信息；将所述二维图像按所述姿态信息对齐以得到目标人脸二维图像；提取所述目标人脸二维图像中的特征信息；将所述目标人脸二维图像中的特征信息与参考人脸二维图像中的特征信息进行相似度比对。本方法结合3D信息获取目标人脸的姿态并按照该姿态进行对齐，较大程度上保证了当前目标人脸二维图像与参考人脸二维图像的一致性以提高识别精度，同时还包括人眼视线检测、活体检测以及数据更新的步骤以提高用户体检、降低误识率、应对人脸变化等问题。

Description

3D人脸身份认证方法与装置

技术领域

本发明属于计算机技术领域，更具体地说，是涉及一种3D人脸身份认证方法与装置。

背景技术

人体有诸多唯一的特征，比如人脸、指纹、虹膜、人耳等，这些特征被统称为生物特征。生物特征识别被广泛用于安防、家居、智能硬件等众多领域，目前较为成熟的生物特征识别比如指纹识别、虹膜识别等已被普遍应用于手机、电脑等终端。而对于人脸等特征，尽管相关的研究已经非常深入，而对于人脸等特征的识别则仍未普及，这主要是因为已有的识别方法存在局限导致识别率及识别的稳定性较低。这些局限主要包括受环境光光强以及光照方向影响、人脸表情影响识别率、以及容易被人造特征欺骗等。

已有的人脸等特征的识别，主要基于人脸二维彩色图像，当环境光强较弱时，会严重影响识别效果。另外，当光照的方向不同时，人脸图像上会存在阴影，同样也会影响识别效果。当被参照的人脸图像是在没有表情的情形下采集的，而当前是在微笑表情下采集的人脸图像，人脸识别的效果也会下降。另外，若被识别对象不是真实人脸，而是二维的人脸图片时，往往也能通过识别。

对于以上的问题，目前普遍采用基于近红外或热红外图像的生物特征识别，近红外图像不会受到环境光的干扰可以提高识别稳定性，然而却难以解决人造特征欺骗的问题；热红外图像仅对真实人脸成像，因此可以解决人造特征欺骗的问题，然而热红外图像分辨率低，严重影响识别效果。

基于以上说明，目前仍缺乏一种较为全面的生物特征解决方案以用来执行像解锁、支付等任务。

发明内容

本发明为了解决现有技术中缺乏一种全面的人脸识别方案的问题，提供一种基于人脸识别的任务执行方法。

为了解决上述问题，本发明采用的技术方案如下所述。

本发明提供一种3D人脸身份认证方法及装置，包括以下步骤：获取包含目标人脸的深度图像以及二维图像；将所述深度图像与参考人脸3D纹理图像进行配准，以获取所述目标人脸的姿态信息；将所述二维图像按所述姿态信息对齐以得到目标人脸二维图像；提取所述目标人脸二维图像中的特征信息；将所述目标人脸二维图像中的特征信息与参考人脸二维图像中的特征信息进行相似度比对。

在一个实施例中，还包括步骤：独立于步骤(b)~(e)，利用所述深度图像和/或所述二维图像，检测所述目标人脸的人眼视线，当所述人眼视线方向与预设方向一致时，继续执行步骤(b)或(c)或(d)或(e)。

在一个实施例中，还包括步骤：独立于步骤(b)~(e)，利用所述深度图像和/或所述二维图像，检测所述目标人脸是否为真实人脸，若为真实人脸则：继续执行步骤(b)或(c)或(d)或(e)，或当所述相似度超过预设第一阈值时，认证通过。

在一个实施例中，还包括步骤：当所述相似度超过预设第二阈值时，将所述参考人脸二维图像中的特征信息更新为所述目标人脸二维图像中的特征信息。

在一个实施例中，所述参考人脸3D纹理图像以及所述参考人脸二维图像中的特征信息通过以下方法获取：获取包含参考人脸的深度图像序列以及二维图像序列；计算出所述参考人脸3D纹理图像；利用所述3D纹理图像投影出参考人脸二维图像；提取所述参考人脸二维图像中的特征信息。

在一个实施例中，所述3D纹理图像包括带有纹理信息的3D点云或3D网格。所述投影指的是将所述带有纹理信息的3D点云或3D网格投影到2D平面以形成人脸二维图像。

在一个实施例中，所述二维图像包括红外图像。

在一个实施例中，所述二维图像包括结构光图像。

本发明还提供一种3D人脸身份认证装置，包括：深度相机，用于获取包含目标人脸的深度图像；平面相机，用于获取包含目标人脸的二维图像；处理器，接收所述深度图像以及所述二维图像，并执行以下操作：将所述深度图像与参考人脸3D纹理图像进行配准，以获取所述目标人脸的姿态信息；将所述二维图像按所述姿态信息对齐以得到目标人脸二维图像；提取所述目标人脸二维图像中的特征信息；将所述目标人脸二维图像中的特征信息与参考人脸二维图像中的特征信息进行相似度比对。

在一个实施例中，所述处理器还执行以下操作：利用所述深度图像和/或所述二维图像，检测所述目标人脸的人眼视线，当所述人眼视线方向与预设方向一致时，继续其他操作。

在一个实施例中，所述处理器还执行以下操作：利用所述深度图像和/或所述二维图像，检测所述目标人脸是否为真实人脸，若为真实人脸则：继续执行其他操作，或当所述相似度超过预设第一阈值时，认证通过。

在一个实施例中，所述处理器还执行以下操作：当所述相似度超过预设第二阈值时，将参考人脸二维图像中的特征信息更新为目标人脸二维图像中的特征信息。

在一个实施例中，所述深度相机与所述平面相机为同一个相机。

附图说明

图1是根据本发明一个实施例的3D人脸身份认证场景示意图。

图2是根据本发明一个实施例的3D人脸身份录入方法示意图。

图3是根据本发明一个实施例的3D人脸身份录入以及认证方法示意图。

图4是根据本发明又一个实施例的3D人脸身份认证方法示意图。

图5是根据本发明又一个实施例的3D人脸身份录入以及认证方法示意图。

图6是根据本发明另一实施例的3D人脸身份录入以及认证方法示意图。

图7是根据本发明一个实施的3D人脸身份认证装置示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

人脸身份认证技术可以被用于安检、监控，目前随着智能终端比如手机、平板的普及，人脸身份也会被应用于解锁、支付，甚至娱乐游戏等多个方面。智能终端设备，比如手机、平板、电脑、电视等大都配备了彩色相机，利用彩色相机采集包含人脸的图像后，利用该图像进行人脸检测及识别，从而进一步利用识别的结果执行其他相关的应用。然而，对于像手机、平板等移动终端设备而言，其应用环境常常变化，环境变化会影响彩色相机的成像，比如光线较弱时则无法对人脸进行很好的成像。另一方面，彩色相机无法识别被识别对象是否为真实人脸。

本发明提供了一种3D人脸身份认证方法与装置。将利用对环境光照不敏感的深度图像以及二维图像实现对人脸身份的录入、检测、识别等功能，同时结合基于深度图像以及二维图像的活体检测来避免虚假人脸的身份误识别现象。这里的二维图像可以是红外图像、紫外图像等，相对应的采集相机可以为红外相机、紫外相机等平面相机。在以下的说明中以红外图像为例进行说明。

图1是根据本发明一个实施例的3D人脸身份认证场景示意图。用户10手持人脸身份认证装置11（移动终端，如手机、平板等），装置11内部前置了一个深度相机111以及红外相机112，当装置11朝向人脸时，深度相机111用于获取包含目标人脸的深度图像，红外相机112用于采集包含目标人脸的红外图像。装置11在进行人脸身份认证之前需要将参考人脸的信息录入并保存到装置11中，以便于后续的认证比对；在人脸身份认证阶段，装置11将采集当前目标人脸的深度图像与红外图像，并基于深度图像与红外图像提取当前目标人脸的特征信息，当该特征信息与录入的参考人脸信息相匹配时，人脸身份认证成功，否则失败。以上所说的“参考人脸”以及“目标人脸”是相对于人脸身份录入以及认证两个不同的阶段而言，仅以示区别，抽象的说，人脸身份认证的本质即是验证目标人脸与参考人脸是否相同。

人脸身份录入与认证。

图2是根据本发明一个实施例的3D人脸身份录入方法示意图。方法包括以下步骤。

201：获取深度图像序列以及红外图像序列。

这一步骤中即是通过深度相机111以及红外相机112采集包含参考人脸的深度图像序列与红外图像序列，之所以是序列图像是因为单幅图像无法包含整体人脸的信息，因此需要采集包含人脸所有部位信息的序列图像，深度图像与红外图像的采集即可以同步采集也可以分时采集。在采集时，一种方式是装置11不动，人脸不断改变方向从而采集到包含所有人脸部位信息的序列图像；另一种方式是人脸不动，装置11通过移动来采集包含所有人脸部位信息的序列图像，可以理解的是，其他任何方式均可以应用到本发明中。

在采集包含参考人脸的深度图像与红外图像序列时，序列中任意一张图像与其他图像的至少一张所包含的人脸区域最好有至少部分重合，重合部分的图像将有利于后续的图像融合。比如对人脸的左侧、中部以及右侧分别采集三幅图像，其中中部图像与左、右两侧的图像中有部分共同的人脸区域。

一般地，采集到的深度图像或是红外图像中同时包含了人脸与背景，因此在这一步骤中还需要对人脸进行检测以分割步骤，比如对于深度图像而言，可以根据深度信息对人脸进行分割，而对于红外图像，可以利用基于轮廓识别的方法或基于机器学习比如Adaboost算法或基于神经网络的检测方法等。可以理解的是，任何合适的人脸检测方法均可以应用到本发明中。

在本实施例中，深度图像与红外图像为配准后的图像（具体详见后面说明），因此在人脸检测时可以仅对其中一种图像进行检测，另一种图像中的人脸根据对应关系可以直接得到。比如利用经学习后的神经网络模型对红外图像进行人脸检测及分割后得到新的去除部分或全部背景的红外图像，随后根据深度图像与红外图像之间的对应关系可以得到新的深度图像。在一个实施例中，将采用一种更高效地结合两种图像的检测方法，首先根据深度图像中对应像素的深度值；其次根据该深度值以及红外相机的镜头参数可以估算在该深度值上的人脸区域大小；最后在红外图像上以该像素为中心选取与深度值对应的人脸区域大小的红外图像区域作为对象进行人脸判定。由于传统方法中对红外图像进行人脸检测时，人脸区域的大小还需要经过一定的迭代次数才能达到最佳的效果，而本方法则直接利用深度信息确定出大小，从而加快人脸检测速度。

202：计算出人脸的3D纹理图像。

在本步骤中，首先利用上一步骤中获取的人脸深度图像序列融合成整体的人脸3D点云模型。在一个实施例中，通过深度图像序列中不同深度图像中重合的人脸部分，利用ICP(迭代最近点)算法将深度图像序列融合成一幅3D图像，即人脸3D点云模型，论文“Kinectfusion Real-time 3D reconstruction and interaction using a movingdepth camera”中记载的Kinectfusion方法可以被用于本发明中。在一些实施例中，考虑到在图像序列采集过程中人脸会出现一些表情变化，此时可以利用动态融合算法获取人脸的3D点云模型，比如论文“Dynamicfusion reconstruction and tracking of nonrigidscenes in realtime”中的Dynamicfusion算法可以被用于本发明中。在一些实施例中，考虑到3D点云模型噪声多、数据量大等原因，还需要将3D点云模型转换成3D网格模型，任何合适的网格生成算法都可以被应用于本发明中。在后面的说明中，3D点云模型或3D网格模型都用3D图像统一来表达。

其次，利用红外图像中所含有的纹理信息赋于3D图像中以得到3D纹理图像。在红外图像与深度图像配准的情况下，深度图像上每个像素不仅含有表示深度的像素值，同时还含有表示纹理信息的像素值，因此在得到3D图像后，将3D图像中各个点（节点）赋于表示纹理信息的像素值后即得到3D纹理图像。

203：投影出人脸红外图像。

在本步骤中，通过将3D纹理图像投影到二维平面，从而得到二维的人脸红外图像。考虑到下面人脸含有的特征信息最多，因此在一个实施例中，为了获取正面完整的人脸红外图像，首先根据3D纹理图像中的3D信息获取人脸的正面朝向，其次将3D纹理图像投影到与该朝向垂直的2维平面上，即可获得完整的正面人脸红外图像。可以理解的是，在获取了3D纹理图像之后，可以通过投影到二维平面的方式获取任意视角下的完整人脸红外图像。需要说明的是，为了区分原始获取的红外图像与经投影或变换后的红外图像，将后者在本发明中一律用“人脸红外图像”表示，以区分“红外图像”。

204：提取人脸特征信息。

利用上一步骤中获取的正面人脸红外图像，利用特征提取算法提取出人脸特征信息。在一个实施例中，将人脸红外图像放入到预先学习好的神经网络(比如卷积神经网络CNN等)中即可输出人脸的特征信息。

205：录入人脸特征信息。

提取后的人脸特征信息将作为参考人脸的身份认证特征被保存到装置11中，以备后续的目标人脸身份认证比对。

可以理解的是，以上的人脸身份录入方法也可以用来进行人脸身份认证，如图3所示的是根据本发明一个实施例的3D人脸身份录入以及认证方法示意图。其中认证步骤包括：获取目标人脸的深度图像序列以及红外图像序列；基于该序列计算出目标人脸的3D纹理图像；将目标人脸的3D纹理图像投影出正面人脸红外图像并基于该红外图像提取目标人脸的特征信息；与人脸特征录入不同的是，最后是将目标人脸的特征信息与参考人脸的特征信息进行比对以判断是否为同一人脸。在投影步骤中，不一定需要投影出正面人脸红外图像，只要在录入以及认证阶段保证二者均是按照同一平面（方向）进行投影即可。

然而利用这一方法在进行人脸认证时需要采集当前用户多幅图像，需要消耗更多的时间，所带来的用户体验较差，因此在本发明中还将提供一种速度更快、体验更佳的人脸身份认证方法。

图4以及图5是根据本发明一个实施例的3D人脸身份录入以及认证方法示意图，图4所示的3D人脸身份论证方法所对应的人脸身份录入方法和图2所示实施例相同，具体可见图5。本认证方法包括以下步骤。

401：获取深度图像以及红外图像。

在本步骤中，深度相机111以及红外相机112采集包含目标人脸的深度图像与红外图像，与人脸录入方法中不同的是，在人脸身份认证阶段不需要采集多幅图像，在一种实施例中，仅采集一幅深度图像与红外图像即可，这种方式也可以加快人脸身份认证的速度，给用户的体验更佳。可以理解的是，在其他实施例中也可以采集多幅图像，但相比人脸录入阶段中含有人脸所有信息的序列而言，这里的多幅图像仍相对较少。在以下说明中，将以单幅深度图像与单幅红外图像进行说明。

在获取包含人脸的深度图像与红外图像之后，与步骤201中类似，本步骤中一般还包括人脸检测及分割步骤，最终得到去除部分或全部背景的的深度图像与红外图像。

402：检测人眼视线。

人眼视线表明了当前目标人眼的注意力所在的位置，视线检测越来越多的被用在很多应用中，在本实施例中，为了提高用户体检，也进行了人眼视线检测。可以理解的是，人眼视线检测步骤也可以不应用于3D人脸身份认证中，另外，人眼视线检测步骤也可以被放在本实施例中的其他步骤之间，即人眼视线检测步骤相对其他步骤较为独立，可以根据不同的应用需求执行这一步骤并获取人眼视线检测结果。

利用人脸深度图像、人脸红外图像其中之一或者二者结合均可以用来实现对人眼视线进行检测。在本实施例中，优选地采用深度图像以及红外图像的结合来检测人眼视线。首先利用深度图像计算出人脸部的3D信息（比如3D点云），并根据该3D信息可以获取诸如人脸朝向、关键点3D坐标等信息；其次再根据红外图像识别出人眼睛的细节特征，比如瞳孔中心、闪烁点（经红外光照射后由人眼角膜反射的光在红外相机中所成的固定的斑点）、瞳孔、虹膜等，进一步基于人脸3D信息以及红外图像与深度图像之间的关系（相互重合，或经配准后的两幅图像各像素之间的对应关系）可以得到人眼细节特征的3D坐标；最后结合一个或多个人眼细节特征的3D坐标计算人眼视线方向。

本领域公知技术中的人眼视线检测方法也可以被应用到本发明中，比如可以仅利用红外图像来进行视线的检测等。

人眼视线检测可以进一步提升用户人脸身份认证的体检，比如对于图1所示的实施例中，当人眼并没有对装置11进行注视且人脸正好被深度相机111以及红外相机112所采集，此时所进行的认证往往并非是用户的主观意愿，而是一种误认证。因此在一些应用中，人眼视线检测可以作为独立的步骤对人眼视线进行检测，其他步骤可以基于该步骤中人眼检测的结果来判断是否需要进一步执行或执行哪种方法。

在本实施例中，当人眼视线被检测到与预设视线方向相同时执行下一步骤，这里的预设视线方向一般指人眼注视方向或注意力在当前的3D人脸身份认证应用，比如装置11中的显示在屏幕上的人脸身份认证应用，如解锁、支付等，在一些实施例中，预设视线方向也可以指其他方向，比如指向装置11的方向。

可以理解的是，人眼视线检测步骤也可以应用于图3所示的实施例中。

在本实施例中，由于仅对当前人脸进行单次采集，单幅深度图像或红外图像中往往仅包含部分人脸信息，直接将单幅图像进行特征提取以及与参考人脸特征信息进行匹配往往精度不高。因此在本实施例中，将利用深度图像获取当前目标人脸的姿态信息；其次基于该姿态信息将目标人脸红外图像进行对齐以及校正，校正的目的是获取与参考人脸的姿态相同的当前人脸红外图像，由此可以最大程度上消除由于姿态不同引起的人脸图像识别误差；最后再将校正后的目标人脸图像提取出人脸特征，并将该特征与参考人脸图像的特征进行比对以进行认证。接下来详细介绍这几个步骤。

403：计算人脸姿态信息。

在人脸录入阶段已经保存了参考人脸的3D图像（比如3D点云，3D网格等），因此在本步骤中将301步骤中获取的目标人脸深度图像与参考人脸的3D图像进行对齐，在一个实施例中利用ICP算法实现二者的对齐，经过对齐操作后可以得到当前目标人脸相对于参考人脸的姿态信息。

在一些实施例中，也可以采用标准人脸的3D图像，将该标准人脸的3D图像作为参考人脸的3D图像用于计算目标人脸的姿态信息。

404：对齐人脸红外图像。

在获取当前目标人脸的姿态信息后，基于该姿态信息对目标人脸红外图像进行校正以得到与步骤203中得到的参考人脸红外图像姿态相同的当前目标人脸红外图像，优选地，参考人脸红外图像为正面人脸图像，因此校正的目的是获取当前目标人脸的正面人脸红外图像。已有技术中的基于姿态的人脸图像对齐算法均可以被应用到本发明中，比如论文“DeepFace Closing the Gap to Human Level performance in face verification”中记载的方法。

405：提取人脸特征信息。

针对上一步骤中获取的目标人脸红外图像，利用特征提取算法提取其脸部特征信息。在一个实施例中，将目标人脸红外图像放入与录入阶段使用的同一个神经网格中以输出具有类似结构的特征信息。

406：人脸认证。

将上一步骤中获取的当前目标人脸的特征信息与录入阶段得到的目标人脸的特征信息进行比对以判断是否为同一人脸。这里的比对一般输出相似度，当相似度超过预设的阈值时，比如阈值为80%，则认为是同一人脸，否则为不同人脸。

图5所示的是上述的3D人脸身份录入以及认证方法示意图。需要说明的是，在录入阶段中除了将获取的参考人脸特征信息录入并保存，事实上还需要将参考人脸的3D图像（3D点云/网格）录入并保存，以便于在认证阶段计算目标人脸的姿态时调用3D图像。

图4与图5所对应的实施例中，3D人脸身份认证的精度很大方面取决于于人脸红外图像的对齐与校正精度，由于在认证阶段仅获取单幅或少数几幅红外图像，而当获取的红外图像姿态相对较偏时，比如抬头或侧脸较多时，即使通过对齐与校正将其转换为与录入阶段参考人脸红外图像姿态相同的目标人脸红外图像，但对齐与校正算法不可能恢复出由于侧脸所带来的特征损失。基于此，本发明还提供一种精度更高的3D人脸身份录入与认证方法。

图6所示是根据本发明又一实施例的3D人脸身份录入以及认证方法示意图。

在录入阶段，首先获取参考人脸的深度图像序列以及红外图像序列，其次计算出包含3D点云/网格以及红外纹理信息的3D纹理图像，最后将3D纹理图像录入并保存要装置的储存器中。

在认证阶段，首先获取目标人脸的深度图像以及红外图像，这一步骤往往还需要进行人脸检测以及图像分割以获取人脸图像；其次进行视线检测，当检测的人眼视线方向大于预设阈值时进入下一步骤，即将深度图像与保存的参考人脸的3D点云/网格进行匹配（或对齐、配准）以获取目标人脸的姿态信息；然后根据该姿态信息将参考人脸的3D纹理图像进行投影，以获取与目标人脸姿态相同的参考人脸红外图像；再次将参考人脸红外图像与目标人脸红外图像放入到神经网格中以提取出各自的人脸特征信息；最后进行人脸特征的比对，并输出比对结果。

在本实施例中，是通过获取目标人脸的姿态信息，并将参考人脸的3D纹理图像按照该姿态进行投影，从而获得与目标人脸姿态最为接近的人脸红外图像。与图4及图5所示的方法相比，本方法中无需通过对齐及校正算法改变红外图像的姿态，由于3D纹理图像中含有包括参考人脸的所有信息，因此通过投影所得到的参考人脸红外图像能保证与目标人脸红外图像最高的相似度，有利于提高认证精度。

另外，在本实施例中，由于是在认证阶段对参考人脸以及目标人脸的红外图像进行特征提取与比对，因此在算法选择方面，也可以训练一个相似度判断的深度学习算法，输入的两幅图像，算法输出的就是相似度，由此可以加快认证速度。

活体检测。

以上所述的人脸认证方法往往容易被“欺骗”，比如利用某个人脸的2D图像或三维模型，将该图像或三维模型作为目标人脸，利用以上方法可能会出现认证成功，这在一些基于人脸认证的解锁、支付等应用是不能接受的。基于此问题，本发明所提供的3D人脸身份认证方法还可以包括活体检测步骤，该步骤用来判断当前的目标人脸是否为真实的人脸，只有是目标人脸与参考人脸相似度超过预设阈值同时目标人脸为真实人脸才会被认证通过，否则失败。

活体检测方法有多种，在一个实施例中可以基于获取的目标人脸深度图像来判定是否为立体目标以解决2D图像所引起的“欺骗”，在一个实施例中可以利用提取红外图像中所隐含的人脸皮肤特性来进行皮肤判定以解决一般的三维模型所引起的“欺骗”，尽管如此，目前仍缺乏一种行之有效的可以应对多种“欺骗”状况的活体检测方法。本发明将提供一种算法以解决此问题。

本发明中的活体检测方法是基于深度学习算法，在一个实施例中，通过搭建神经网格模型，并利用大量的数据对该模型进行训练。这里大量的数据包括真人、2D照片、仿真面具、三维模型等的深度图像以及红外图像，数据量越大，所训练的神经网格模型将会越精确。经训练后的神经网格可以非常准确地从各种虚假人脸中找到真实人脸，从而实现活体检测。在一个实施例中，将获取的目标人脸深度图像以及红外图像输入到神经网格中，以输出是否为真实人脸的结果；在另一实施例中，也可以仅将深度图像或红外图像输入到神经网格中，以输出是否为真实人脸的结果。

因此，3D人脸身份认证过程中，只有当前目标人脸与参考人脸的相似度超过预设阈值并且通过活体检测才会认证成功，否则失败。在一些实施例中，活体检测步骤也可以被放在获取深度图像以及红外图像之后进行，当活体检测通过后再进行相似度检测的相关步骤，因此活体检测步骤相对于获取深度图像与红外图像之外的步骤也较为独立，可以在任意步骤之前执行该步骤并根据活体检测结果判定是否继续执行下一步骤。

可以理解的是，当相似度检测低于预设阈值时，也可以不再执行活体检测步骤。另外，活体检测步骤也可以特征提取与比对等步骤执行，即只有当活体检测通过了再执行对目标人脸的相似度检测。

数据更新。

考虑到人脸随时间可能会发生变化，比如由生物成长、生病等引起的变化，随着时间的积累变化会越明显，为了应对这些变化对3D人脸身份认证算法的精度影响。在本发明中，3D人脸身份认证算法还可以包括数据更新步骤以应对人脸变化。

在前面所述的各个实施例中，当目标人脸与参考人脸相似度超过某一阈值并且通过活体检测时即通过认证。可以想到的是，若录入的参考人脸信息始终不变，当目标人脸随着时间变化越来越大时，相似度将会越来越低直至出现误识，即无法分辨出当前目标人脸即是当初的参考人脸。为了应对这一问题，在3D人脸认证通过后，当相似度高于另一阈值时，将当前目标人脸信息作为新的参考人脸信息，由于不断地更新参考人脸信息，即使随着时间推移人脸发生较大变化后也能准确地对人脸进行认证。需要说明的是，更新信息这一步骤中说对应的阈值一般应高于人脸认证判定步骤中的阈值。

根据不同的认证方法，这里所说的更新参考人脸信息所代表的含义也不同。比如对于图3所示的实施例中，除了更新人脸红外图像特征信息外，还可以更新人脸3D纹理图像；对于图5所示的实施例中，更新的是人脸红外图像的特征信息，即将目标人脸特征信息作为新的参考人脸特征信息以实现数据更新；而对于图6所示的实施例中，更新的是人脸的3D纹理图像，即将目标人脸二维图像中的纹理信息代替原始参考人脸3D纹理图像中的相应的纹理信息。

人脸身份认证装置。

图7所示的是根据本发明一个实施的3D人脸身份认证装置示意图。装置11包括由投影模组702、采集模组707，其中投影模组702用于向目标空间投射红外结构光图像，采集模组707用于采集结构光图像，装置11还包括处理器（图中未示出），处理器接收到结构光图像后用于计算出目标的深度图像。这里的结构光图像中除了包含结构光信息外还会包含人脸纹理信息，因此结构光图像也可以作为人脸红外图像与深度图像一起参与人脸身份录入与认证。此时，采集模组707即是图1中深度相机111的一部分，也是红外相机112。换句话说，这里的深度相机与红外相机可以认为是同一个相机。

在一些实施例中，装置11还包括有红外泛光灯706，其可以发射出与投影模组702所发射结构光相同的波长的红外光，在进行人脸录入与认证过程中，可以通过将投影模组702与红外泛光灯706分时开关以分别获取目标的深度图像与红外图像。此时所获取的红外图像为纯红外图像，相对于结构光图像而言，其含有的人脸特征信息更加明显，人脸认证精度将更高。

在一些实施例中，可以利用基于TOF(时间飞行法)技术的深度相机，此时投影模组702用于发射光脉冲，而采集模组707通过接收光脉冲，处理器用于记录脉冲发射以及接收所利用的时间，根据时间计算出目标的深度图像。此时采集模组707可以同时获取目标的深度图像与红外图像，并且二者之间没有任何视差。

在一些实施例中，可以设置额外的红外相机703用于获取红外图像，当红外泛光灯706发射的光束波长与投影模组702所发射的光束波长不同时，可以同步利用采集模组707与红外相机703获取目标的深度图像与红外图像。这一装置与前面几种的区别在于，由于获取深度图像与红外图像的相机不同，因此二者之间会有视差，当在后续的人脸认证所进行的计算处理中需要没有视差的图像时，需要提前将深度图像与红外图像进行配准。

装置11还可以包括听筒704、环境光/接近传感器705等器件以实现更多的功能。比如在一些实施例中，考虑到红外光对人体的危害性，当人脸靠的过近时，可以通过接近传感器705对人脸的接近度进行检测，当太近时关闭投影模组702的投影或减小投影功率。在一些实施例中，可以结合人脸认证以及听筒实现自动通话，比如当装置为通信装置时，装置收到来电后，启动人脸认证应用同时打开所需要的深度相机与红外相机采集深度图像与红外图像，当认证通过后，接通通话并打开听筒等器件以实现通话。

装置11还可以包括屏幕701，屏幕701可以用来显示图像内容也可以用来进行触摸交互。利用人脸认证方法可以实现该装置的屏幕解锁等功能，在一个实施例中，当装置11处于睡眠等状态时，用户通过拿起装置11，装置11中的惯性测量单元识别到由于拿起引起的加速度时会点亮屏幕，同时屏幕会出现待解锁指令，此时装置打开深度相机以及红外相机用于采集深度图像和/或红外图像，当采集到的图像中检测到有人脸时，启动人脸认证应用。在人脸认证过程中的人眼视线检测中，可以将预设的人眼视线方向设置为人眼注视屏幕701的方向，即只有当人眼注视屏幕时才会进一步进行人脸认证与解锁。

装置11还包括存储器(图中未示出)，存储器用于存储如录入阶段录入的特征信息，还可以存储应用程序、指令等。比如将前面所述的3D人脸身份录入与认证方法以软件程序的形式保存到存储器中，当应用程序需要时，处理器调用存储器中的指令并执行录入以及认证方法。可以理解的是，3D人脸身份录入与认证方法也可以被直接以指令代码形式写入到处理器中，由此提高执行效率。另外，随着技术的不断发展，软、硬件之间的界限将逐渐消失，因此本发明中所述的3D人脸身份录入以及认证方法即可以以软件形式也可以是以硬件形式配置在装置11中。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (14)

1.一种3D人脸身份认证方法，其特征在于，包括以下步骤：

(a)获取包含目标人脸的深度图像以及二维图像；

(b)将所述深度图像与参考人脸3D纹理图像进行配准，以获取所述目标人脸的姿态信息；

(c)将所述二维图像按所述姿态信息对齐以得到目标人脸二维图像；

(d)提取所述目标人脸二维图像中的特征信息；

(e)将所述目标人脸二维图像中的特征信息与参考人脸二维图像中的特征信息进行相似度比对。

2.如权利要求1所述的方法，其特征在于，还包括步骤：

(f1)独立于步骤(b)~(e)，利用所述深度图像和/或所述二维图像，检测所述目标人脸的人眼视线，当所述人眼视线方向与预设方向一致时，继续执行步骤(b)或(c)或(d)或(e)。

3.如权利要求1所述的方法，其特征在于，还包括步骤：

(f2)独立于步骤(b)~(e)，利用所述深度图像和/或所述二维图像，检测所述目标人脸是否为真实人脸，若为真实人脸则：

继续执行步骤(b)或(c)或(d)或(e)，或

当所述相似度超过预设第一阈值时，认证通过。

4.如权利要求1所述的方法，其特征在于，还包括步骤：

(f3) 当所述相似度超过预设第二阈值时，将所述参考人脸二维图像中的特征信息更新为所述目标人脸二维图像中的特征信息。

5.如权利要求1所述的方法，其特征在于，所述参考人脸3D纹理图像以及所述参考人脸二维图像中的特征信息通过以下方法获取：

(1)获取包含参考人脸的深度图像序列以及二维图像序列；

(2)计算出所述参考人脸3D纹理图像；

(3)利用所述3D纹理图像投影出参考人脸二维图像；

(4)提取所述参考人脸二维图像中的特征信息。

6.如权利要求1~5所述的方法，其特征在于，所述3D纹理图像包括带有纹理信息的3D点云或3D网格。

7.如权利要求6所述的方法，其特征在于，所述投影指的是将所述带有纹理信息的3D点云或3D网格投影到2D平面以形成人脸二维图像。

8.如权利要求1~5所述的方法，其特征在于，所述二维图像包括红外图像。

9.如权利要求1~5所述的方法，其特征在于，所述二维图像包括结构光图像。

10.一种3D人脸身份认证装置，其特征在于，包括：

深度相机，用于获取包含目标人脸的深度图像；

平面相机，用于获取包含目标人脸的二维图像；

处理器，接收所述深度图像以及所述二维图像，并执行以下操作：

将所述深度图像与参考人脸3D纹理图像进行配准，以获取所述目标人脸的姿态信息；

将所述二维图像按所述姿态信息对齐以得到目标人脸二维图像；

提取所述目标人脸二维图像中的特征信息；

将所述目标人脸二维图像中的特征信息与参考人脸二维图像中的特征信息进行相似度比对。

11.如权利要求10所述的装置，其特征在于，所述处理器还执行以下操作：

利用所述深度图像和/或所述二维图像，检测所述目标人脸的人眼视线，当所述人眼视线方向与预设方向一致时，继续其他操作。

12.如权利要求10所述的装置，其特征在于，所述处理器还执行以下操作：

利用所述深度图像和/或所述二维图像，检测所述目标人脸是否为真实人脸，若为真实人脸则：

继续执行其他操作，或当所述相似度超过预设第一阈值时，认证通过。

13.如权利要求10所述的装置，其特征在于，所述处理器还执行以下操作：

当所述相似度超过预设第二阈值时，将参考人脸二维图像中的特征信息更新为目标人脸二维图像中的特征信息。

14.如权利要求10所述的装置，其特征在于，所述深度相机与所述平面相机为同一个相机。