CN110378207A - 人脸认证方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种人脸认证方法，包括：接收上位机发送的人脸认证指令，并根据所述人脸认证指令启动红外摄像头；根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧；提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机。解决了现有的人脸认证方案在复杂光照环境下易受干扰、识别效果不佳，且控制复杂度较高的技术问题。取得了提高识别效果的同时降低控制复杂度的有益效果。

Description

人脸认证方法、装置、电子设备及可读存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种人脸认证方法、装置、电子设备及可读存储介质。

背景技术

人脸识别经过近几十年的发展，取得了很大的进步，涌现出了大量的识别算法，人脸认证识别技术的识别率也已经得到很大的提升，而且基于人脸识别的活体检测技术也得到了极大的发展。目前在进行人脸认证的模组装置中，一般可以直接基于可见光的纯RGB模组拍摄的图片进行人脸识别以及活体检测，或者基于散斑结构光的模组拍摄的图片进行人脸识别以及活体检测。

但是，基于可见光的纯BGR的模组在强光、弱光或者背光等复杂光照环境下非常容易受到干扰，从而影响识别的效果。对于散斑结构光的模组，由于散斑结构光的红外激光投射器打出的散斑会引起拍摄图片的变化，同样容易影响识别的效果，所以针对该方案还可以再增加一个红外泛光灯，用来对黑暗环境进行补光，那么此时在模组的识别过程中，需要不断的进行红外激光投射器、红外泛光灯的切换，增加了系统的控制复杂度。

发明内容

本发明提供一种人脸认证方法、装置、电子设备及可读存储介质，以部分或全部解决现有技术中人脸认证过程相关的上述问题。

依据本发明第一方面，提供了一种人脸认证方法，包括：

接收上位机发送的人脸认证指令，并根据所述人脸认证指令启动红外摄像头；

根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧；

提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机。

根据本发明的第二方面，提供了一种人脸认证装置，包括：

红外摄像头，用于拍摄包含人脸图案的红外图片帧，并将拍摄得到的红外图片帧传送至控制处理模块；

红外条纹投射器，用于投射条纹状红外线，以在所述红外摄像头拍摄红外图片帧时进行补光；

控制处理模块，用于控制所述红外摄像头、所述红外条纹投射器和所述输入输出模块，以及根据所述红外图片帧进行人脸认证；

输入输出模块，用于接收上位机发送的认证指令和/或配置指令；将与所述认证指令对应的认证结果，和/或所述红外图片帧返回至所述上位机；

其中，所述控制处理模块根据所述上位机发送的配置指令，和/或所述红外摄像头所处环境的光照条件，控制所述红外条纹投射器；所述红外图片帧包括在所述红外条纹投射器处于关闭状态下拍摄的第一红外图片帧，和/或在所述红外条纹投射器处于启动状态下拍摄的第二红外图片帧。

根据本发明的第三方面，提供了一种电子设备，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述的人脸认证方法。

根据本发明的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述的人脸认证方法。

根据本发明的人脸认证方法，可以接收上位机发送的人脸认证指令，并根据所述人脸认证指令启动红外摄像头；根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧；提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机。由此解决了现有的人脸认证方案在复杂光照环境下易受干扰、识别效果不佳，且控制复杂度较高的技术问题。取得了提高识别效果的同时降低控制复杂度的有益效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明实施例的一种人脸认证方法的步骤流程图之一；

图2A示出了根据本发明实施例的一种在通过红外散斑投射器补光的情况下拍摄得到的红外图片帧；

图2B示出了根据本发明实施例的一种在通过红外条纹投射器补光的情况下拍摄得到的红外图片帧；

图3示出了根据本发明实施例的一种人脸认证方法的步骤流程图之二；

图4示出了根据本发明实施例的一种人脸认证方法的步骤流程图之三；

图5示出了根据本发明实施例的一种人脸认证方法的步骤流程图之四；

图6示出了根据本发明实施例的一种人脸认证装置的结构示意图之一；以及

图7示出了根据本发明实施例的一种人脸认证装置的结构示意图之二。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1，示出了本发明实施例中一种人脸认证方法的步骤流程图。

步骤110，接收上位机发送的人脸认证指令，并根据所述人脸认证指令启动红外摄像头。

如前述，单纯基于可见光的RGB摄像头在复杂光照下(强光、弱光或者背光等等)非常容易受到干扰。其中，RGB摄像头可以理解为基于RGB色彩模式的摄像头，RGB色彩模式是工业界的一种颜色标准，是通过对红(R，Red)、绿(G，Green)、蓝(B，Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。

因此，在本发明实施例中，为了避免上述问题，可以通过红外摄像头获取图片帧进行人脸认证，那么在接收到上位机发送的人脸认证指令之后，则可以根据人脸认证指令启动红外摄像头，以采集红外图片帧。

其中，红外摄像头接收的是红外波段的光，红外摄像头的工作原理是红外线照射物体后，红外线漫反射，被红外摄像头接收，形成视频图像，即为红外图片帧。

上位机是指可以直接发出操控命令的计算机，在概念上，控制者和提供服务者是上位机，被控制者和被服务者是下位机，也可以理解为主机和从机的关系，但上位机和下位机是可以转换的。此时，用以根据上位机的人脸认证指令，获取图片帧进行人脸认证的装置可以理解为与发送人脸认证指令的上位机对应的下位机。

步骤120，根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧。

但是单纯基于红外摄像头拍摄红外图片帧时，在不同光线环境下拍摄的效果也会存在差异。尤其是在黑暗环境下，拍摄得到的整体图片较暗，从而容易导致后续的人脸认证效果不佳。如图2A所示为一种在通过红外散斑投射器补光的情况下拍摄得到的红外图片帧。但是，红外散斑投射器的图案是预先设计的散斑状，因为会投射出大量的随机图案，所以会破坏掉原来的图像中的纹理信息，容易导致在红外散斑投射器补光下拍摄的图像很难进行人脸识别。而且，在本发明实施例中，为了避免如现有技术方案中红外散斑投射器容易破坏图像纹理信息，以及需要不断在红外散斑投射器、红外泛光灯之间的来回切换，导致操作复杂度较高的问题，可以设置红外条纹投射器，用以在光线较暗的时候对红外摄像头进行补光，红外条纹投射器在启动的状态下可以通过投射红外频段的条纹状光线对红外摄像头拍摄区域内的人脸等进行补光，在达到补光效果的同时还能够降低对拍摄得到的红外图片帧中纹理信息的破坏，从而提高基于红外条纹投射器补光拍摄得到的红外图片帧进行的人脸认证结果的准确性。

其中，红外条纹投射器是可以条纹状向外投射红外线的装置，如图2B所示为一种基于红外条纹投射器投射的红外线，拍摄得到的红外图片帧。其中，每个条纹的宽度，也即相邻两条红外线条纹之间的间距可以根据需求进行自定义设置，对此本发明实施例不加以限定。

此时，可以根据上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧。

具体的，如果接收到上位机的配置指令中包括启动红外条纹投射器，那么则可以开启红外条纹投射器，并且可以在红外条纹投射器启动状态下拍摄红外图片帧；而如果在启动红外条纹投射器之后，检测到红外摄像头当前所处环境的光照条件较好，那么则可以控制关闭红外条纹投射器，并且可以在红外条纹投射器关闭状态下重新拍摄红外图片帧；如果检测到红外摄像头当前所处环境的光照条件较差，则可以再次控制启动红外条纹投射器，并且可以在红外条纹投射器启动状态下重新拍摄红外图片帧。上述过程的具体执行顺序是可变的，可以随着外界环境或者是上位机的配置指令等等进行调整，对此本发明实施例不加以限定。

其中，对红外条纹投射器的控制可以包括但不限于启动红外条纹投射器、关闭红外条纹投射器、调整红外条纹投射器的投射强度，等等。此时，可以通过控制红外条纹投射器，从而调整对红外摄像头的补光时机，而且此时的补光设备只有红外条纹投射器，不存在反复切换的问题，在提高补光效果的同时降低了控制复杂度。

当然，在本发明实施例中，也可以根据需求设置根据其他依据控制与红外摄像头对应的红外条纹投射器，对此本发明实施例不加以限定。

其中，在本发明实施例中，可以针对红外条纹投射器根据需求或者经验预先设置一光照条件阈值，如果红外摄像头当前所处环境的光照条件满足光照条件阈值，则可以认定光照条件较好，否则认定光照条件较差。

其中，对于红外摄像头而言，光照条件阈值可以包括红外摄像头所处环境的红外光强度高于第一预设强度等，其中的第一预设强度可以根据需求或经验进行预先设置，对此本发明实施例不加以限定。

而且，在本发明实施例中，可以通过任何可用方式检测环境的光照条件，例如通过光感传感器检测光照强度表征光照条件，或者直接根据在红外条纹投射器处于关闭状态时，通过红外摄像头拍摄的图片帧的图片质量确定红外摄像头当前所处环境的光照条件，等等。具体的可以根据需求进行预先设置，对此本发明实施例不加以限定。

步骤130，提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机。

在通过红外摄像头拍摄得到红外图片帧之后，则可以基于当前的红外图片帧进行人脸认证，并且将认证结果反馈至上位机。具体的，可以提取红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证。在本发明实施例中，可以通过任何可用方式提取红外图片帧中的人脸特征，以及进行人脸认证，对此本发明实施例不加以限定。

例如，可以先通过人脸检测获取红外图片帧中的人脸区域，进而提取人脸区域中的人脸特征，进而检测当前提取得到的人脸特征与已登记的人脸特征之间的匹配程度，如果匹配程度超过预设的匹配阈值，则可以认定通过人脸认证。

当然，在本发明实施例中，也可以基于拍摄得到的红外图片帧进行活体检测。此时，可以通过红外摄像头拍摄一段包含多帧红外图片帧的视频流，进而基于视频流中包含的一系列红外图片帧进行眨眼、转头等等头部动作的检测，从而完成活体检测；或者，也可以用静态的红外图片帧直接进行活体检测，此时活体检测算法的输入是一个红外拍摄头拍摄的包含人脸图案的红外图片帧，输出是活体的概率；等等。或者，在本发明实施例中，也可以基于红外图片帧进行其他任何可用方向的检测，对此本发明实施例不加以限定。

另外，在本发明实施例中，通过红外摄像头采集的到的红外图片帧可能存在图片质量不佳的情况，例如在较暗环境且未开启红外条纹投射器的情况下，拍摄得到的红外图片帧可能图片质量不佳，从而容易影响后续的人脸认证结果的准确性。因此，在本发明实施例中，在拍摄得到红外图片帧之后，可以先判断红外图片帧的图片质量，以选定满足质量要求的红外图片帧进行后续的人脸特征提取、人脸认证等操作。

此时，可以使得人脸认证、活体检测等算法的计算发生在模组内部，仅接受上位机的指令，以及将认证结果反馈至上位机，而整个执行过程独立于上位机，从而可以提高系统的安全性。

在本发明实施例中，通过红外条纹投射器替换原有的红外散斑投射器以及泛光灯，避免反复切换以及图像纹理信息容易受影响的问题，在提高补光效果的同时，有效降低了系统的操作复杂度，进一步提高了人脸认证结果的准确性。

参照图3，所述步骤120，进一步可以包括：

子步骤121，响应于所述红外摄像头所处环境的光照条件满足预设光照条件，在所述红外条纹投射器处于关闭状态的情况下，通过所述红外摄像头拍摄得到包含人脸图案的第一红外图片帧。

子步骤122，启动所述红外条纹投射器，以投射条纹状红外线到所述红外摄像头拍摄区域内的人脸，并通过所述红外摄像头拍摄得到包含人脸图案的第二红外图片帧。

子步骤123，以所述第一红外图片帧和所述第二红外图片帧作为所述红外图片帧。

如前述，在实际应用中，在红外摄像头所处环境的光照较暗的情况下，可以通过启动红外条纹投射器对当前拍摄的红外图片帧进行补光；而在红外摄像头所处环境的光照条件较好的情况下，自然光线可以在一定程度上保证拍摄得到的红外图片帧质量。但是，在本发明实施例中，为了提高后续人脸认证、活体检测等操作的检测结果准确性，在光照条件满足预设光照条件的情况下，也可以获取在红外条纹投射器处于关闭状态的情况下第一红外图片帧，以及在红外条纹投射器处于启动状态的情况下第二红外图片帧。

那么，此时响应于所述红外摄像头所处环境的光照条件满足预设光照条件，则可以先在所述红外条纹投射器处于关闭状态的情况下，通过所述红外摄像头拍摄得到第一红外图片帧，进而启动所述红外条纹投射器，并通过所述红外摄像头拍摄得到第二红外图片帧，以所述第一红外图片帧和所述第二红外图片帧作为所述红外图片帧。

或者，如果在接收到上位机发送的人脸认证指令之后，根据上位机的配置指令已经启动相应的红外条纹投射器，那么响应于所述红外摄像头所处环境的光照条件满足预设光照条件，在所述红外条纹投射器处于开启状态的情况下，可以先通过所述红外摄像头拍摄得到第二红外图片帧，进而关闭红外条纹投射器，并通过所述红外摄像头拍摄得到第一红外图片帧。对此本发明实施例不加以限定。

参照图3，所述步骤130，进一步可以包括：

子步骤131，提取所述第一红外图片帧中的第一人脸特征，以及所述第二红外图片帧中的第二人脸特征。

子步骤132，基于所述第一人脸特征和所述第二人脸特征进行人脸认证，并将认证结果反馈至所述上位机。

在获取得到第一红外图片帧以及第二红外图片帧之后，为了提高人脸认证结果的准确性，可以分别提取第一红外图片帧和第二红外图片帧中的人脸特征，也即第一红外图片帧中的第一人脸特征和第二红外图片帧中的第二人脸特征。其中人脸特征的提取具体可以参照上述内容，在此不加以赘述。

在提取得到第一红外图片帧和第二红外图片帧中的人脸特征之后，则可以基于第一人脸特征和第二人脸特征进行人脸认证。

具体的，可以先将第一人脸特征和第二人脸特征进行融合处理，并基于融合处理后得到的人脸特征进行人脸认证。其中的融合处理方式可以根据需求进行预先设置，对此本发明实施例不加以限定。例如，可以通过将第一红外图片帧对应的第一人脸特征向量和第二红外图片帧对应的第二人脸特征向量进行连接，并基于连接后的人脸特征向量进行人脸认证；或者，可以将第一人脸特征向量和第二人脸特征向量中同一纬度下的特征值进行加权求和进行融合处理，等等。

或者，也可以分别基于第一人脸特征和第二人脸特征进行人脸认证，分别得到第一认证结果和第二认证结果，进而对第一认证结果和第二认证结果进行融合，具体的融合策略也可以根据需求或经验进行预先设置，对此本发明实施例不加以限定。

可选地，在本发明实施例中，所述子步骤132进一步可以包括：

子步骤1321，基于所述第一人脸特征进行人脸认证，得到第一认证结果。

子步骤1322，基于所述第二人脸特征进行人脸认证，得到第二认证结果。

子步骤1323，根据预设的第一融合方案，对所述第一认证结果和所述第二认证结果进行融合，并将融合结果反馈至所述上位机。

在获取得到第一红外图片帧以及第二红外图片帧之后，则可以分别根据第一红外图片帧和第二红外图片帧进行后续的人脸认证、活体检测等操作，而且为了保证最终得到的检测结果的准确性，可以对基于第一红外图片帧得到的第一认证结果，和基于第二红外图片帧得到的第二认证结果进行融合处理，得到融合后的认证结果并反馈至上位机。

其中的融合方案可以根据需求进行预先设置，对此本发明实施例不加以限定。例如，可以采用简单的线性融合算法，比如加权平均或者取最大值(max)、取最小值(min)；也可以通过神经网络训练一个融合模型进行融合；等等。

例如，如果通过加权平均的方式进行融合，且权重依次为0.4、0.6。假设通过认证取值为1，未通过认证取值为0，那么则可以得到融合结果＝0.4*第一认证结果+0.6*第二认证结果。如果设定融合结果表征通过认证的取值范围为大于等于0.5，未通过认证的取值范围为小于0.5，那么如果得到的融合结果大于等于0.5则可以认定融合结果通过认证，否则为未通过认证。

相应地，如果在红外条纹投射器处于关闭状态的情况下，通过所述红外摄像头拍摄得到包含多个第一红外图片帧的第一视频流；在红外条纹投射器处于启动状态的情况下，通过所述红外摄像头拍摄得到包含多个第一红外图片帧的第二视频流。那么则可以分别通过第一视频流和第二视频流进行活体检测等操作，得到第一活体检测结果和第二活体检测结果，进而将第一活体检测结果和第二活体检测结果进行融合处理，对此本发明实施例不加以限定。

在本发明实施例中，通过在关闭红外条纹投射器和启动红外条纹投射器的情况下，分别获取红外图片帧进行人脸认证，并且将两类认证结果进行融合，可以进一步提高人脸认证结果的准确性。

参照图4，示出了本发明实施例中另一种人脸认证方法的步骤流程图。

步骤210，接收上位机发送的人脸认证指令，并根据所述人脸认证指令启动红外摄像头。

步骤220，根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧。

步骤230，启动与所述红外摄像头对应的RGB摄像头。

在实际应用中，也可以通过普通摄像头拍摄图片帧，而且基于普通摄像头拍摄得到的图片帧也可以进行人脸认证、活体检测等操作。因此，在本发明实施例中，为了提高检测结果准确性，在接收到上位机发送的人脸认证之后，也可以同时启动与相应的红外摄像头对应的RGB摄像头。

步骤240，根据所述上位机的配置指令，和/或所述RGB摄像头所处环境的光照条件，控制与所述RGB摄像头对应的RGB补光灯，并通过所述RGB摄像头获取包含人脸图案的RGB图片帧。

同样地，可以根据上位机的配置指令，和/或RGB摄像头所处环境的光照条件，控制与所述RGB摄像头对应的RGB补光灯，并通过所述RGB摄像头获取RGB图片帧。具体的RGB补光灯的控制方案，以及RGB图片帧的拍摄时机可以参照上述的红外条纹投射器以及红外图片帧，在此不加以赘述。但是，启动RGB补光灯所对应的第一预设光照条件与启动红外条纹投射器对应的第二预设光照条件可以不完全相同，也可以相同，具体的可以根据需求进行预先设置，对此本发明实施例不加以限定。

步骤250，分别提取所述红外图片帧中的第三人脸特征，以及所述RGB图片帧中的第四人脸特征。

步骤260，基于所述第三人脸特征进行人脸认证，得到第三认证结果，并基于所述第四人脸特征进行人脸认证，得到第四认证结果。

步骤270，根据预设的第二融合方案，对所述第三认证结果和所述第四认证结果进行融合，并将融合结果反馈至所述上位机。

在得到红外图片帧以及RGB图片帧之后，则可以分别基于红外图片帧和RGB图片帧进行人脸认证、活体检测等操作，分别得到第三认证结果和第四认证结果，进而可以根据预设的第二融合方案，对所述第三认证结果和所述第四认证结果进行融合，并将融合结果反馈至所述上位机。

第二融合方案也可以根据需求进行预先设置，具体可以参照上述的第一融合方案，在此不加以赘述。而且第二融合方案可以与前述的第一融合方案相同，当然也可以不完全相同，具体的可以根据需求进行预先设置，对此本发明实施例不加以限定。

相应地，如果通过所述红外摄像头拍摄得到包含多个红外图片帧的红外视频流；通过所述RGB摄像头拍摄得到包含多个RGB图片帧的RGB视频流。那么则可以分别通过红外视频流和RGB视频流进行活体检测等操作，得到第三活体检测结果和第四活体检测结果，进而将第三活体检测结果和第四活体检测结果进行融合处理，对此本发明实施例不加以限定。

而且，如果红外视频帧又包括了在红外条纹投射器处于关闭状态的情况下，通过所述红外摄像头拍摄得到包含多个第一红外图片帧的第一视频流，和在红外条纹投射器处于启动状态的情况下，通过所述红外摄像头拍摄得到包含多个第二红外图片帧的第二视频流。那么此时则可以分别通过第一视频流、第二视频流和RGB视频流进行活体检测等操作，进而将多个检测结果进行融合处理。

当然，在本发明实施例中，也可以先对红外图片帧中的第三人脸特征和RGB图片帧中的第四人脸特征进行融合处理，并以融合处理后得到的人脸特征进行人脸认证，具体的融合处理方式可以参考上述的第一人脸特征和第二人脸特征的融合处理方式，在此不加以赘述。而且，第三人脸特征和第四人脸特征之间的融合处理方式可以与前述的第一人脸特征和第二人脸特征之间的融合处理方式相同，也可以不同，具体的均可以根据需求或经验进行预先设置，对此本发明实施例不加以限定。

当然，对于RGB摄像头而言，同样可以根据需求或者经验预先设置一光照条件阈值，如果红外摄像头当前所处环境的光照条件满足光照条件阈值，则可以认定光照条件较好，否则认定光照条件较差。

而且，对于RGB摄像头而言，可以设置光照条件阈值包括RGB摄像头所处环境中可见光的光线强度高于第二预设强度，等等。

在本发明实施例中，通过RGB摄像头拍摄得到RGB图片帧，结合红外图片帧进行人脸认证，并将认证结果进行融合后作为最终的检测结果，同样可以进一步提高检测结果的准确性。

参照图5，所述步骤220进一步可以包括：

子步骤221，在所述红外条纹投射器处于关闭状态的情况下，通过所述红外摄像头采集得到包含人脸图案的第三红外图片帧。

子步骤222，响应于所述第三红外图片帧的图片质量满足预设的图片质量条件，以所述第三红外图片帧作为所述红外图片帧。

子步骤223，响应于所述第三红外图片帧的图片质量不满足预设的图片质量条件，启动所述红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的第四红外图片帧，作为所述红外图片帧。

在本发明实施例中，为了减少检测操作复杂度，在获取红外图片帧时，可以获取图片质量较好的红外图片帧进行人脸认证等检测；或者，在红外摄像头所对应的下位机无法检测外界光照条件的情况下，则可以通过拍摄得到的红外图片帧的图片质量，判断是否需要启动红外条纹投射器进行补光。

而且，在实际应用中，如果外界环境中的光照过暗，此时未启动红外条纹投射器拍摄得到的第三红外图片帧将非常暗，很难用于后续的识别操作，因此此时可以仅基于启动红外条纹投射器情况下拍摄的第四红外图片帧作为当前的红外图片帧；而如果外界环境中的光照过亮，通过红外条纹投射器投射在图片帧中的条纹将不能被有效识别，因此此时可以放弃在启动红外条纹投射器情况下拍摄的第四红外图片帧，只使用在关闭红外条纹投射器情况下拍摄的第三红外图片帧作为当前的红外图片帧。

因此，在本发明实施例中，可以在红外条纹投射器处于关闭状态的情况下，先通过红外摄像头采集得到第三红外图片帧，进而判断第三红外图片帧是否满足预设的图片质量条件，响应于第三红外图片帧的图片质量满足预设的图片质量条件，则可以直接以第三红外图片帧作为红外图片帧；而如果第三红外图片帧的图片质量不满足预设的图片质量条件，则可以启动红外条纹投射器，并通过红外摄像头获取第四红外图片帧，作为红外图片帧。

其中的图片质量条件可以根据需求进行预先设置，对此本发明实施例不加以限定。例如可以设置图片质量条件包括但不限于图片的灰度平均值高于预设灰度值、前景部分与背景布分的比例大于预设比例值、图片中各个像素点的像素值分布情况满足预设要求，等等。

参照图5，所述步骤250进一步可以包括：

子步骤251，对所述红外图片帧进行人脸检测，获取所述红外图片帧中的第一人脸区域。

子步骤252，从所述第一人脸区域中提取所述红外图片帧的第三人脸特征。

子步骤253，根据所述第一人脸区域相对于所述红外图片帧的位置坐标，获取所述RGB图片帧中的第二人脸区域。

子步骤254，从所述第二人脸区域中提取所述RGB图片帧的第四人脸特征。

在本发明实施例中，由于红外摄像头与RGB摄像头是两个摄像头，而且为了能够同时利用红外摄像头与RGB摄像头进行人脸认证、活体检测等操作，那么利用红外摄像头拍摄得到的红外图片帧和利用RGB摄像头拍摄得到的RGB图片帧对应的拍摄范围应该是基本一致的，那么红外图片帧与RGB图片帧中的人脸区域也应该是相对一致。

因此，在本发明实施例中，如果基于红外摄像头与RGB摄像头进行人脸认证、活体检测等操作，那么在提取人脸特征时，可以先对所述红外图片帧进行人脸检测，获取所述红外图片帧中的第一人脸区域，并且从所述第一人脸区域中提取所述红外图片帧的第三人脸特征；进而，根据所述第一人脸区域相对于所述红外图片帧的位置坐标，获取所述RGB图片帧中的第二人脸区域；从所述第二人脸区域中提取所述RGB图片帧的第四人脸特征，可以省略一次人脸检测操作，进而提高效率。

当然，在本发明实施例中，也可以先对所述RGB图片帧进行人脸检测，获取所述RGB图片帧中的第二人脸区域，然后根据所述第二人脸区域相对于所述RGB图片帧的位置坐标，获取所述红外图片帧中的第一人脸区域，对此本发明实施例不加以限定。

需要说明的是，在本发明实施例中，第一、第二、第三、第四等等只是为了进行区分所定义的区别标识，本身并不代表任何意义。例如，第一人脸区域和第二人脸区域其实都是人脸区域，区别在于第一人脸区域是红外图片帧中的人脸区域，第二人脸区域是RGB图片帧中的人脸区域，等等。

此时，可以根据红外图片帧的质量，选择图片质量更好的红外图片帧进行人脸认证，同样可以提高检测结果准确性。而且，如果同时根据红外图片帧和RGB图片帧进行人脸认证检测，还可以减少人脸检测次数，从而提高人脸认证的效率。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明实施例中一种人脸认证装置的结构示意图。

红外摄像头310，用于拍摄包含人脸图案的红外图片帧，并将拍摄得到的红外图片帧传送至控制处理模块。

红外条纹投射器320，用于投射条纹状红外线，以在所述红外摄像头拍摄红外图片帧时进行补光。

控制处理模块330，用于控制所述红外摄像头、所述红外条纹投射器和所述输入输出模块，以及根据所述红外图片帧进行人脸认证；

输入输出模块340，用于接收上位机发送的认证指令和/或配置指令；将与所述认证指令对应的认证结果，和/或所述红外图片帧返回至所述上位机；

其中，所述控制处理模块330根据所述上位机发送的配置指令，和/或所述红外摄像头310所处环境的光照条件，控制所述红外条纹投射器320；所述红外图片帧包括在所述红外条纹投射器320处于关闭状态下拍摄的第一红外图片帧，和/或在所述红外条纹投射器320处于启动状态下拍摄的第二红外图片帧。

在本发明实施例中，通过红外条纹投射器替换原有的红外散斑投射器以及泛光灯，避免反复切换的问题，在不影响补光效果的同时，有效降低了系统的操作复杂度。

参照图7，所述人脸认证装置，进一步还可以包括：RGB摄像头350和RGB投光器360；

其中，所述RGB摄像头350用于拍摄包含人脸图案的RGB图片帧，并将拍摄得到的RGB图片帧传送至所述控制处理模块330；

所述RGB投光器360，用于在拍摄所述RGB图片帧时，对所述RGB摄像头350进行补光。

可选地，在本发明实施例中，所述控制处理模块330，还用于根据所述红外图片帧和/或所述RGB图片帧进行人脸认证。

此时还可以通过RGB摄像头拍摄得到RGB图片帧，结合红外图片帧进行人脸认证，并将认证结果进行融合后作为最终的检测结果，可以进一步提高检测结果的准确性。

参照图7，所述输入输出模块340，进一步可以包括：

UART(Universal Asynchronous Receiver/Transmitter，通用异步收发传输器)单元341，用于接收所述上位机的人脸认证指令和/或配置指令，将与所述认证指令对应的认证结果返回至所述上位机；

UVC(USB video class/USB video device class,USB视频捕获设备定义的协议标准)单元342，用于根据所述控制处理模块的指令，将所述红外图片帧和/或所述RGB图片帧发送至所述上位机。

在本发明实施例中，人脸检测、活体检测、人脸特征提取的流程可以运行在通用处理器上，也可以运行在asic(Application Specific Integrated Circuit，专用集成电路)或者其他专用计算硬件上，对此本发明实施例不加以限定。

其中，UART单元可以传输数据量较小的指令、认证结果等，而通过UVC单元则可以传输数据量较大的图片、视频流等数据，从而通过两种传输接口传输数据，进而提高数据传输效率。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本发明实施例中还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现前述的任意一种人脸认证方法。

在本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述的任意一种人脸认证方法的步骤。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的人脸认证设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种人脸认证方法，其特征在于，包括：

接收上位机发送的人脸认证指令，并根据所述人脸认证指令启动红外摄像头；

根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧；

提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机。

2.根据权利要求1所述的方法，其特征在于，所述根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧的步骤，包括：

响应于所述红外摄像头所处环境的光照条件满足预设光照条件，在所述红外条纹投射器处于关闭状态的情况下，通过所述红外摄像头拍摄得到包含人脸图案的第一红外图片帧；

启动所述红外条纹投射器，以投射条纹状红外线到所述红外摄像头拍摄区域内的人脸，并通过所述红外摄像头拍摄得到包含人脸图案的第二红外图片帧；

以所述第一红外图片帧和所述第二红外图片帧作为所述红外图片帧。

3.根据权利要求2所述的方法，其特征在于，所述提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机的步骤，包括：

提取所述第一红外图片帧中的第一人脸特征，以及所述第二红外图片帧中的第二人脸特征；

基于所述第一人脸特征和所述第二人脸特征进行人脸认证，并将认证结果反馈至所述上位机。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一人脸特征和所述第二人脸特征进行人脸认证，并将认证结果反馈至所述上位机的步骤，包括：

基于所述第一人脸特征进行人脸认证，得到第一认证结果；

基于所述第二人脸特征进行人脸认证，得到第二认证结果；

根据预设的第一融合方案，对所述第一认证结果和所述第二认证结果进行融合，并将融合结果反馈至所述上位机。

5.根据权利要求1所述的方法，其特征在于，所述根据所述上位机的配置指令，和/或所述红外摄像头所处环境的光照条件，控制与所述红外摄像头对应的红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的红外图片帧的步骤，包括：

在所述红外条纹投射器处于关闭状态的情况下，通过所述红外摄像头采集得到包含人脸图案的第三红外图片帧；

响应于所述第三红外图片帧的图片质量满足预设的图片质量条件，以所述第三红外图片帧作为所述红外图片帧；

响应于所述第三红外图片帧的图片质量不满足预设的图片质量条件，启动所述红外条纹投射器，并通过所述红外摄像头获取包含人脸图案的第四红外图片帧，作为所述红外图片帧。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机的步骤之前，还包括：

启动与所述红外摄像头对应的RGB摄像头；

根据所述上位机的配置指令，和/或所述RGB摄像头所处环境的光照条件，控制与所述RGB摄像头对应的RGB补光灯，并通过所述RGB摄像头获取包含人脸图案的RGB图片帧。

7.根据权利要求6所述的方法，其特征在于，所述提取所述红外图片帧中的人脸特征，并基于所述人脸特征进行人脸认证，并将认证结果反馈至上位机的步骤，包括：

分别提取所述红外图片帧中的第三人脸特征，以及所述RGB图片帧中的第四人脸特征；

基于所述第三人脸特征进行人脸认证，得到第三认证结果，并基于所述第四人脸特征进行人脸认证，得到第四认证结果；

根据预设的第二融合方案，对所述第三认证结果和所述第四认证结果进行融合，并将融合结果反馈至所述上位机。

8.根据权利要求7所述的方法，其特征在于，所述分别提取所述红外图片帧中的第三人脸特征，以及所述RGB图片帧中的第四人脸特征的步骤，包括：

对所述红外图片帧进行人脸检测，获取所述红外图片帧中的第一人脸区域；

从所述第一人脸区域中提取所述红外图片帧的第三人脸特征；

根据所述第一人脸区域相对于所述红外图片帧的位置坐标，获取所述RGB图片帧中的第二人脸区域；

从所述第二人脸区域中提取所述RGB图片帧的第四人脸特征。

9.一种人脸认证装置，其特征在于，包括：

红外摄像头，用于拍摄包含人脸图案的红外图片帧，并将拍摄得到的红外图片帧传送至控制处理模块；

红外条纹投射器，用于投射条纹状红外线，以在所述红外摄像头拍摄红外图片帧时进行补光；

控制处理模块，用于控制所述红外摄像头、所述红外条纹投射器和所述输入输出模块，以及根据所述红外图片帧进行人脸认证；

输入输出模块，用于接收上位机发送的认证指令和/或配置指令；将与所述认证指令对应的认证结果，和/或所述红外图片帧返回至所述上位机；

其中，所述控制处理模块根据所述上位机发送的配置指令，和/或所述红外摄像头所处环境的光照条件，控制所述红外条纹投射器；所述红外图片帧包括在所述红外条纹投射器处于关闭状态下拍摄的第一红外图片帧，和/或在所述红外条纹投射器处于启动状态下拍摄的第二红外图片帧。

10.根据权利要求9所述的装置，其特征在于，还包括：RGB摄像头和RGB投光器；

其中，所述RGB摄像头用于拍摄包含人脸图案的RGB图片帧，并将拍摄得到的RGB图片帧传送至所述控制处理模块；

所述RGB投光器，用于在拍摄所述RGB图片帧时，对所述RGB摄像头进行补光。

11.根据权利要求10所述的装置，其特征在于，所述控制处理模块，还用于根据所述红外图片帧和/或所述RGB图片帧进行人脸认证。

12.根据权利要求10或11所述的装置，其特征在于，所述输入输出模块，包括：

UART单元，用于接收所述上位机的人脸认证指令和/或配置指令，将与所述认证指令对应的认证结果返回至所述上位机；

UVC单元，用于根据所述控制处理模块的指令，将所述红外图片帧和/或所述RGB图片帧发送至所述上位机。

13.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中的任一项所述的人脸认证方法。

14.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-8中的任一项所述的人脸认证方法。