CN107506752A - 人脸识别装置及方法 - Google Patents

Abstract

本申请提供一种人脸识别装置及方法。本申请中，所述人脸识别装置包括：TOF摄像头、RGB摄像头、红外发射端、红外摄像头以及处理芯片；TOF摄像头用于采集深度信息；处理芯片用于确定深度信息是否符合三维人脸特征，在确定深度信息符合所述三维人脸特征后，确定环境光是否符合预设条件，以及在环境光符合预设条件时，触发RGB摄像头采集人脸的第一RGB图像，在环境光不符合预设条件时，触发红外发射端对人脸发射红外光以及触发红外摄像头采集人脸的红外图像；处理芯片还基于深度信息与第一RGB图像进行人脸识别或者基于深度信息与红外图像进行人脸识别。本申请提供的技术方案，可以避免人脸识别受环境光约束，扩展了人脸识别的应用场景。

Description

人脸识别装置及方法

技术领域

本申请涉及人脸识别技术领域，特别涉及一种人脸识别装置及方法。

背景技术

人脸识别技术，是基于人的脸部特征进行身份识别的一种生物识别技术。例如，可以通过从用户的人脸图像中提取出眼睛、鼻子、嘴角这几处位置的特征点作为参照特征点，当需要进行人脸识别时，利用摄像头对着用户的人脸拍照，然后提取出照片中用户的眼睛、鼻子、嘴角这几处位置的特征点，并与预先存储的参照特征点进行匹配，若匹配成功，则表示识别出了用户的人脸。

发明内容

本申请实施例提供一种人脸识别装置及方法，可以避免人脸识别受环境光约束，扩展了人脸识别的应用场景。

本申请部分实施例提供了一种人脸识别装置，包括：TOF摄像头、RGB摄像头、红外发射端、红外摄像头以及处理芯片；

所述TOF摄像头，用于采集深度信息；

所述处理芯片，所述处理芯片，用于确定所述深度信息是否符合三维人脸特征，在确定所述深度信息符合所述三维人脸特征后，确定环境光是否符合预设条件，以及在所述环境光符合所述预设条件时，触发所述RGB摄像头，在所述环境光不符合所述预设条件时，触发所述红外发射端与所述红外摄像头；

所述RGB摄像头，用于采集所述人脸的第一RGB图像；

所述处理芯片，还用于基于所述深度信息与所述第一RGB图像进行人脸识别；

所述红外发射端，用于对所述人脸发射红外光；

所述红外摄像头，用于在所述红外发射端对所述人脸发射红外光时采集所述人脸的红外图像；

所述处理芯片，还用于基于所述深度信息与所述红外图像进行人脸识别。

在一个实施例中，所述红外摄像头与所述RGB摄像头可为同一摄像头；所述同一摄像头可为复合摄像头；

所述复合摄像头包括图像传感器阵列；所述图像传感器阵列为图像传感器组成的阵列；其中，每个所述图像传感器包括R子图像传感器、G子图像传感器、B子图像传感器以及IR子图像传感器。

在一个实施例中，所述处理芯片还可用于在所述环境光符合所述预设条件时，触发所述RGB摄像头采集所述人脸的第二RGB图像，基于所述RGB摄像头采集的所述第二RGB图像确定所述环境光的第一光强，基于所述第一光强与第一预设光强确定所述环境光是否符合所述预设条件。

在一个实施例中，还可包括环境光传感器；

所述环境光传感器，用于感测所述环境光的第二光强；

所述处理芯片，还用于基于所述第二光强与第二预设光强确定所述环境光是否符合所述预设条件。

本申请部分实施例还提供了一种人脸识别方法，包括：

确定采集的深度信息是否符合三维人脸特征；

在确定所述深度信息符合所述三维人脸特征后，确定环境光是否符合预设条件；

当所述环境光符合所述预设条件时，确定所述人脸的第一RGB图像；

基于所述深度信息与所述第一RGB图像进行人脸识别；

当所述环境光不符合所述预设条件时，通过红外发射端对所述人脸进行补光，并确定所述人脸的红外图像；

基于所述深度信息与所述红外图像进行人脸识别。

在一个实施例中，所述确定环境光是否符合预设条件可包括：

确定所述人脸的第二RGB图像；

基于所述第二RGB图像确定所述环境光的第一光强；

基于所述第一光强与第一预设光强确定所述环境光是否符合所述预设条件。

在一个实施例中，所述确定环境光是否符合预设条件可包括：

确定所述环境光的第二光强；

基于所述第二光强与第二预设光强确定所述环境光是否符合所述预设条件。

本申请实施例所达到的主要技术效果是：通过TOF摄像头深度信息，处理芯片确定采集的深度信息是否符合三维人脸特征，在确定深度信息符合三维人脸特征后，确定环境光是否符合预设条件。当环境光符合预设条件时，通过RGB摄像头采集人脸的第一RGB图像，以供基于深度信息与第一RGB图像进行人脸识别。当环境光不符合预设条件时，触发红外发射端对人脸发射红外光，以及触发红外摄像头采集人脸的红外图像，以供基于深度信息与红外图像进行人脸识别。这样，无论环境光是否符合预设条件，都可以进行人脸识别。所以，本申请实施例提供的技术方案，可以避免人脸识别受环境光约束，扩展了人脸识别的应用场景。

附图说明

图1是本申请一实施例示出的一种人脸识别装置的框图。

图2是本申请一示例性实施例示出的一种人脸识别装置的结构示意图。

图3是本申请另一示例性实施例示出的一种人脸识别装置的结构示意图。

图4是本申请另一示例性实施例示出的一种图像传感器阵列的示意图。

图5是本申请又一示例性实施例示出的一种人脸识别装置的结构示意图。

图6是本申请一实施例示出的一种人脸识别方法的流程图。

图7是本申请一示例性实施例示出的一种人脸识别方法的流程图。

图8是本申请另一示例性实施例示出的一种人脸识别方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图，对本申请的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

相关技术中，在人脸识别时，如果环境黑暗，可能会导致人脸识别失败，从而限制了人脸识别的应用场景。

基于此，本申请实施例提供一种人脸识别装置及方法，可以解决上述的技术问题，避免人脸识别受环境光约束，扩展了人脸识别的应用场景。

请参阅图1，本申请的实施例提供的人脸识别装置，包括：TOF摄像头11、RGB摄像头12、红外发射端13、红外摄像头14以及处理芯片15。其中，TOF摄像头11、RGB摄像头12、红外发射端13、红外摄像头14均与处理芯片15电连接。

具体地，TOF(Time of Flight，飞行时间)摄像头11为基于时间飞行原理实现的摄像头，用于采集待测物体的三维深度信息。例如，当TOF摄像头11对准人脸拍照时，可以得到人脸的三维深度信息。在一个示例性实施例中，TOF摄像头11包括由3万个光线传感器组成的传感器阵列，可以检测到人脸表面上3万个点的深度信息。基于这3万个点的深度信息可以大致确定人脸表面的面貌信息。

处理芯片15可以确定上述的深度信息是否符合三维人脸特征。也就是说，处理芯片15可以基于上述的深度信息确定是否检测到人脸。具体地，在判断上述的深度信息是否符合三维人脸特征时，可以基于深度信息在一个三维坐标系中得到一个点集，判断该点集组成的曲面是否符合人脸特征，当该点集组成的曲面符合人脸特征时，确定检测到人脸。比如，在判断上述曲面是否符合人脸特征时，判断该曲面是否整体呈凸起状、曲面上是否存在两个凹陷处以及该两个凹陷处下方是否存在高度呈增高趋势的凸起等，当上述曲面整体呈凸起状、曲面上存在两个凹陷处以及该两个凹陷处下方存在高度呈增高趋势的凸起时，确定上述曲面符合人脸特征。

处理芯片15在确定上述的深度信息符合三维人脸特征后，确定当前所处环境的环境光是否符合预设条件。预设条件可以是环境光充足的条件。在当前所处环境的环境光符合预设条件时，说明当前环境光充足。在当前所处环境的环境光不符合预设条件时，说明当前环境黑暗。

处理芯片15在确定环境光符合预设条件后，触发RGB摄像头12采集人脸的图像，作为第一RGB图像。其中，RGB摄像头12是彩色摄像头，第一RGB图像为彩色图像。RGB摄像头12的图像传感器阵列中每个图像传感器包括R子图像传感器、G子图像传感器、B子图像传感器，R子图像传感器、G子图像传感器、B子图像传感器分别用于检测红光、绿光、蓝光。

处理芯片15可以基于上述的深度信息与第一RGB图像进行人脸识别。在一个实施例中，处理芯片15可以基于第一RGB图像进行人脸识别。具体地，处理芯片15可以通过其上集成的图像处理器提取出第一RGB图像中人脸上的多个特征点，并将提取的多个特征点与预存的多个特征点进行匹配，当匹配结果符合匹配条件时，判定人脸识别成功，当不符合匹配条件时，判定人脸识别失败。

在另一个实施例中，处理芯片15可以先基于第一RGB图像进行人脸识别。在基于第一RGB图像人脸识别成功时，再基于上述的深度信息进行进一步的人脸识别。在基于上述的深度信息人脸识别成功时，才最终确定人脸识别成功。在本实施例中，在基于上述的深度信息进行进一步的人脸识别的过程中，先基于第一RGB图像确定人脸的位置、眼睛的位置以及鼻子的位置，再根据人脸的位置、眼睛的位置、鼻子的位置以及上述的深度信息确定人脸识别是否成功。具体地，在基于第一RGB图像确定人脸的位置、眼睛的位置以及鼻子的位置后，分别根据人脸的位置、眼睛的位置、鼻子的位置并结合深度信息，判断人脸的位置是否凸起、眼睛的位置是否凹陷且鼻子的位置是否凸起，如果人脸的位置凸起、眼睛的位置凹陷且鼻子的位置凸起，则确定深度信息符合人脸特征，人脸识别成功。或者，在基于第一RGB图像确定人脸的位置、眼睛的位置以及鼻子的位置后，分别根据人脸的位置、眼睛的位置、鼻子的位置并结合深度信息，判断人脸的三维特征是否符合预设的人脸的三维特征、眼睛的三维特征是否符合预设的眼睛的三维特征以及鼻子的三维特征是否符合预设的鼻子的三维特征。其中，当人脸的三维特征符合预设的人脸的三维特征、眼睛的三维特征符合预设的眼睛的三维特征以及鼻子的三维特征符合预设的鼻子的三维特征时，则确定深度信息符合预设的三维人脸特征，进而确定人脸识别成功。

这样，基于上述的深度信息与第一RGB图像进行人脸识别，可以避免在人脸识别时摄像头采集的人脸图像的来源不是用户，而是用户的人脸图像的漏洞，进而可以提高人脸识别的安全性。

处理芯片15在确定环境光不符合预设条件后，触发红外发射端13对人脸发射红外光以及触发红外摄像头14在红外发射端13对人脸发射红外光时采集人脸的红外图像。其中，红外摄像头14的图像传感器阵列中每个图像传感器为IR(Infrared Radiation，红外线)图像传感器，用于检测红外光。

处理芯片15可以基于上述的深度信息与红外图像进行人脸识别。处理芯片15基于深度信息与红外图像进行人脸识别的方法与上述基于深度信息与第一RGB图像进行人脸识别的方法相似，在此不再赘述。

这样，基于上述的深度信息与红外图像进行人脸识别，可以避免在人脸识别时摄像头采集的人脸图像的来源不是用户，而是用户的人脸图像的漏洞，进而可以提高人脸识别的安全性。

请参阅图2，在一个示例性实施例中，手机16的正面(与手机屏幕在同一侧的侧面)的顶部安装有上述的TOF摄像头11、RGB摄像头12、红外发射端13、红外摄像头14。在用户通过触发人脸识别的功能时，可以基于上述的TOF摄像头11、RGB摄像头12、红外发射端13、红外摄像头14以及处理芯片15进行人脸识别。

本申请实施例中，通过TOF摄像头深度信息，处理芯片确定采集的深度信息是否符合三维人脸特征，在确定深度信息符合三维人脸特征后，确定环境光是否符合预设条件。当环境光符合预设条件时，通过RGB摄像头12采集人脸的第一RGB图像，以供基于深度信息与第一RGB图像进行人脸识别。当环境光不符合预设条件时，触发红外发射端13对人脸发射红外光，以及触发红外摄像头14采集人脸的红外图像，以供基于深度信息与红外图像进行人脸识别。这样，无论环境光是否符合预设条件，都可以进行人脸识别。所以，本申请实施例提供的技术方案，可以避免人脸识别受环境光约束，扩展了人脸识别的应用场景。

可选地，如图3所示，红外摄像头14与RGB摄像头12为同一摄像头，对应同一个通光孔，该摄像头为复合摄像头17。如图4所示，复合摄像头17包括一个图像传感器阵列3；图像传感器阵列3为图像传感器31组成的阵列；其中，每个图像传感器31包括R子图像传感器311、G子图像传感器312、B子图像传感器313以及IR子图像传感器314。这样，可以节约空间，还可以减少开模成本。

可选地，在环境光符合预设条件时，处理芯片15还可以触发RGB摄像头12采集人脸的图像，作为第二RGB图像，并基于RGB摄像头12采集的第二RGB图像确定环境光是否符合预设条件。具体地，处理芯片15可以基于第二RGB图像确定所处环境的环境光的第一光强。其中，预设条件可以是：大于第一预设光强。处理芯片15在第一光强大于第一预设光强时确定环境光符合预设条件。通过拍摄的人脸图像来确定环境亮暗是否符合预设条件，无需安装额外的硬件，成本低。

可选地，如图5所示，人脸识别装置还可包括环境光传感器16。环境光传感器16与处理芯片15电连接。处理芯片15在需要确定环境光是否符合预设条件时触发环境光传感器感测环境光的第二光强。其中，预设条件可以是：大于第二预设光强。处理芯片15在第二光强大于第二预设光强时确定环境光符合预设条件。通过环境光传感器16检测环境光的光强来确定环境亮暗是否符合预设条件，计算简单，耗时少，有助于提高人脸识别的速度。

与前述人脸识别装置的实施例相对应，本申请还提供了人脸识别方法的实施例。

请参阅图6，本申请的实施例提供的人脸识别方法，包括以下步骤：

步骤601，确定采集的深度信息是否符合三维人脸特征。如果采集的深度信息符合三维人脸特征，则执行步骤602，如果采集的深度信息不符合三维人脸特征，则执行步骤603。

步骤602，确定环境光是否符合预设条件。如果确定环境光符合预设条件，执行步骤604，如果确定环境光不符合预设条件，执行步骤606。

步骤604，确定人脸的第一RGB图像。也就是，当环境光符合预设条件时，确定人脸的第一RGB图像。

步骤605，基于深度信息与第一RGB图像进行人脸识别。

步骤606，通过红外发射端对人脸进行补光，并确定人脸的红外图像。也就是，当环境光不符合预设条件时，通过红外发射端对人脸进行补光，并确定人脸的红外图像。

步骤607，基于深度信息与红外图像进行人脸识别。

本申请实施例中，通过TOF摄像头深度信息，处理芯片确定采集的深度信息是否符合三维人脸特征，在确定深度信息符合三维人脸特征后，确定环境光是否符合预设条件。当环境光符合预设条件时，通过RGB摄像头采集人脸的第一RGB图像，以供基于深度信息与第一RGB图像进行人脸识别。当环境光不符合预设条件时，触发红外发射端对人脸发射红外光，以及触发红外摄像头采集人脸的红外图像，以供基于深度信息与红外图像进行人脸识别。这样，无论环境光是否符合预设条件，都可以进行人脸识别。所以，本申请实施例提供的技术方案，可以避免人脸识别受环境光约束，扩展了人脸识别的应用场景。

可选地，如图7所示，确定环境光是否符合预设条件可包括如下步骤：

步骤701，确定人脸的第二RGB图像。

步骤702，基于第二RGB图像确定环境光的第一光强。

步骤703，基于第一光强与第一预设光强确定环境光是否符合预设条件。

可选地，如图8所示，确定环境光是否符合预设条件可包括如下步骤：

步骤801，确定环境光的第二光强。

步骤802，基于第二光强与第二预设光强确定环境光是否符合预设条件。

上述方法中对应步骤的实现过程具体详见上述装置中各个器件的功能和作用的实现过程，在此不再赘述。

在本申请中，装置实施例与方法实施例在不冲突的情况下，可以互为补充。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (7)

1.一种人脸识别装置，其特征在于，包括：TOF摄像头、RGB摄像头、红外发射端、红外摄像头以及处理芯片；

所述TOF摄像头，用于采集深度信息；

所述处理芯片，用于确定所述深度信息是否符合三维人脸特征，在确定所述深度信息符合所述三维人脸特征后，确定环境光是否符合预设条件，以及在所述环境光符合所述预设条件时，触发所述RGB摄像头，在所述环境光不符合所述预设条件时，触发所述红外发射端与所述红外摄像头；

所述RGB摄像头，用于采集所述人脸的第一RGB图像；

所述处理芯片，还用于基于所述深度信息与所述第一RGB图像进行人脸识别；

所述红外发射端，用于对所述人脸发射红外光；

所述红外摄像头，用于在所述红外发射端对所述人脸发射红外光时采集所述人脸的红外图像；

所述处理芯片，还用于基于所述深度信息与所述红外图像进行人脸识别。

2.根据权利要求1所述的人脸识别装置，其特征在于，所述红外摄像头与所述RGB摄像头为同一摄像头；所述同一摄像头为复合摄像头；

所述复合摄像头包括图像传感器阵列；所述图像传感器阵列为图像传感器组成的阵列；其中，每个所述图像传感器包括R子图像传感器、G子图像传感器、B子图像传感器以及IR子图像传感器。

3.根据权利要求1所述的人脸识别装置，其特征在于，所述处理芯片还用于在所述环境光符合所述预设条件时，触发所述RGB摄像头采集所述人脸的第二RGB图像，基于所述RGB摄像头采集的所述第二RGB图像确定所述环境光的第一光强，基于所述第一光强与第一预设光强确定所述环境光是否符合所述预设条件。

4.根据权利要求1所述的人脸识别装置，其特征在于，还包括环境光传感器；

所述环境光传感器，用于感测所述环境光的第二光强；

所述处理芯片，还用于基于所述第二光强与第二预设光强确定所述环境光是否符合所述预设条件。

5.一种人脸识别方法，其特征在于，包括：

确定采集的深度信息是否符合三维人脸特征；

在确定所述深度信息符合所述三维人脸特征后，确定环境光是否符合预设条件；

当所述环境光符合所述预设条件时，确定所述人脸的第一RGB图像；

基于所述深度信息与所述第一RGB图像进行人脸识别；

当所述环境光不符合所述预设条件时，通过红外发射端对所述人脸进行补光，并确定所述人脸的红外图像；

基于所述深度信息与所述红外图像进行人脸识别。

6.根据权利要求5所述的人脸识别方法，其特征在于，所述确定环境光是否符合预设条件包括：

确定所述人脸的第二RGB图像；

基于所述第二RGB图像确定所述环境光的第一光强；

基于所述第一光强与第一预设光强确定所述环境光是否符合所述预设条件。

7.根据权利要求5所述的人脸识别方法，其特征在于，所述确定环境光是否符合预设条件包括：

确定所述环境光的第二光强；

基于所述第二光强与第二预设光强确定所述环境光是否符合所述预设条件。