CN115063339A - 基于双目摄像头测距的人脸活检方法、系统、设备和介质 - Google Patents

Abstract

本发明涉及一种基于双目摄像头测距的人脸活检方法、系统、设备和介质，所述方法包括：在检测到有人脸目标时，获取RGB摄像头生成的RGB图像和红外摄像头生成的红外图像；通过深度计算算法对RGB图像和红外图像进行深度计算，并获取人脸特征的深度信息；根据深度信息判断所述人脸目标是否为活体，并输出判定结果。本发明在原有双目的基础上，计算被测物体的深度信息，来辅助活体检测，使得人脸门禁的安全等级更高，防攻击的能力更强。本发明相比价格更高的结构光模组以及TOF模组，双目实现深度信息价格更便宜，技术实现难度和生产成本更低；且与普通的双目活检手段相比，由于加入了深度活检判断过程，因此防图片攻击能力更强。

Description

基于双目摄像头测距的人脸活检方法、系统、设备和介质

技术领域

本发明涉及人脸识别技术领域，特别是涉及基于双目摄像头测距的人脸活检方法、系统、设备和介质。

背景技术

目前，人脸识别技术应用越来越广，如人脸支付、人脸门禁、人脸门锁、人脸打卡机等等。为了防止人脸图片或者人脸头模类的攻击，在对安全级别要求较高的人脸支付或者识别金融领域，一般会引入结构光模组，或者是TOF模组来计算识别人脸的深度信息，结合人脸识别算法防止图片之类的攻击；对于安全级别要求没那么高的领域，如人脸门禁领域，一般采用红外+可见光双目摄像头来做人脸识别和活体检测，利用抓取的RGB图像和红外图像，提取人脸特征信息，并加上运动信息，如眨眼、摇头等等结合的方式做活体检测。

一般来说，对于采用结构光模组或者TOF模组的方案，其技术实现难度大且成本较高；而采用RGB与红外图结合的方式做人脸活检，由于没有人脸的深度信息，即使加上了运动信息，也比较容易被人脸图片、模型等攻破。

发明内容

针对现有人脸活检方案中存在的问题，本发明提供了基于双目摄像头测距的人脸活检方法、系统、设备和介质，以至少解决相关技术中在保证安全等级较高的情况下，人脸活检技术成本较高的问题。

第一方面，本发明实施例提供了一种基于双目摄像头测距的人脸活检方法，所述双目摄像头包括RGB摄像头和红外摄像头。

在其中一些实施例中，所述方法包括：

在检测到有人脸目标时，获取RGB摄像头生成的RGB图像和红外摄像头生成的红外图像；

通过深度计算算法对所述RGB图像和红外图像进行深度计算，并获取人脸特征的深度信息；

根据所述深度信息判断所述人脸目标是否为活体，并输出判定结果。

在另一实施例中，在所述通过深度计算算法对所述RGB图像和红外图像进行深度计算的同时，所述方法还包括：

通过活体检测算法对所述RGB图像和红外图像进行卷积计算，并获取所述人脸目标的特征信息；

对所述特征信息进行综合评估得到特征值；

当所述特征值大于预设阈值时，再根据所述深度信息判断所述人脸目标是否为活体。

进一步，所述通过深度计算算法对所述RGB图像和红外图像进行深度计算，包括：

获取所述双目摄像头的内参参数和外参参数，通过双目视差计算算法对所述内参参数和外参参数进行处理，生成人脸图像的视差图；

根据所述视差图计算得到所述人脸图像每一像素点的深度，并生成深度图像。

进一步，所述通过双目视差计算算法对所述内参参数和外参参数进行处理，生成人脸图像的视差图，包括：

获取所述RGB图像和红外图像，并将所述内参参数、外参参数、RGB图像、红外图像输入到SGBM(Semi-Global Block Matching)算法中，仿真得到所述人脸图像的视差图。

进一步，所述根据所述视差图计算得到所述人脸图像每一像素点的深度，包括：

获取所述双目摄像头的焦距和光心距离，并从所述视差图中提取任一像素点的视差值；

根据所述焦距、光心距离和所述人脸图像中任一像素点的视差值计算该像素点的深度。

进一步，所述获取人脸特征的深度信息包括：

将所述RGB图像中人脸图像的坐标映射到所述深度图中；

从所述深度图中提取两个以上的人脸特征的深度值，并生成所述深度信息。

进一步，所述根据所述深度信息判断所述人脸目标是否为活体，包括：

将所述人脸特征的深度值进行比对；

若各个人脸特征的深度值不等同，则判定所述人脸目标为活体；若所述各个人脸特征的深度值等同，则判定所述人脸目标为非活体。

第二方面，本发明实施例提供了一种基于双目摄像头测距的人脸活检系统，在其中一些实施例中，所述系统包括：

图像接收模块，用于在检测到有人脸目标时，获取RGB摄像头生成的RGB图像和红外摄像头生成的红外图像；

图像处理模块，用于通过深度计算算法对所述RGB图像和红外图像进行深度计算，并获取人脸特征的深度信息；

判断模块，用于根据所述深度信息判断所述人脸目标是否为活体，并输出判定结果。

第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行以上任一项实施例所述的基于双目摄像头测距的人脸活检方法。

第四方面，本发明实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上任一项实施例所述的基于双目摄像头测距的人脸活检方法。

相比于相关技术，本发明实施例提供的基于双目摄像头测距的人脸活检方法、系统、设备及存储介质，能够在检测到有人脸目标时，获取双目摄像头生成的人脸图像(RGB图像和红外图像)，通过深度计算算法对进行深度计算，并获取人脸特征的深度信息；然后根据深度信息判断拍摄到的人脸目标是否为活体，并输出判定结果。本发明在原有双目的基础上，标定两个摄像头的内参和外参，计算被测物体的深度信息，来辅助活体检测，使得人脸门禁的安全等级更高，防攻击的能力更强。另一方面，本发明相比价格更高的结构光模组以及TOF模组，双目实现深度信息价格更便宜，技术实现难度和生产成本更低；且与普通的双目活检手段相比，由于加入了深度活检判断过程，因此防图片攻击能力更强。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明一实施例的基于双目摄像头测距的人脸活检方法的流程图；

图2是根据本发明一实施例的人脸活检方法在标定过程中获取的棋盘格图片；

图3是根据本发明一实施例的人脸活检方法在标定过程中获取得到的内参参数和外参参数；

图4是图1中步骤S2深度计算算法的深度计算原理图；

图5是视差计算原理图；

图6是根据本发明另一实施例的基于双目摄像头测距的人脸活检方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明公开的内容不充分。

在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本发明所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本发明所涉及的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本发明所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本发明所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本发明所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本发明所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本发明提供的基于双目摄像头测距的人脸活检方法，主要应用在包括RGB摄像头和红外摄像头的双目人脸识别系统中，本发明方法包括以下步骤(如图1所示)：

步骤S1，在检测到到有人脸目标时，获取RGB摄像头生成的RGB图像和红外摄像头生成的红外图像。在实际应用过程中，双目人脸识别系统会对某一场景进行实时监测，件识别到有人脸目标时，对该人脸目标进行抓拍生成人脸图像并发送到图像处理单元进行处理并获取深度信息，其中，RGB摄像头生成RGB图像，红外摄像头生成红外图像。

步骤S2，通过深度计算算法对RGB图像和红外图像进行深度计算，并获取人脸特征的深度信息。在检测到人脸目标后，本实施例采用深度计算算法对该人脸目标的图像进行深度计算，即计算该人脸目标与双目摄像头的距离，具体地，本实施例的深度计算算法如下步骤所述。

步骤S21，获取RGB摄像头和红外摄像头的内参参数和外参参数，通过双目视差计算算法对内参参数和外参参数进行处理，生成人脸图像的视差图。要得到内参和外参以及畸变参数，首先要对RGB和红外摄像头进行标定，标定是先对着棋盘格的图片分别拍照，图2分别是RGB和红外摄像头对应的棋盘格图片，得到两个摄像头的棋盘格图片之后，再利用opencv标定软件，可以得到两个摄像头的内参参数、畸变校正参数以及外参参数。其中内参参数包含多个参数，如矩阵(1)所示，K表示内参参数矩阵(任一摄像头的内参参数)，f_x、f_y分别表示摄像头在x、y方向的焦距，两者一般相等，c_x、c_y表示表示人脸图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

本实施例在标定过程中所获得的内外参参数如图3所示，其中，M1、D1分别表示RGB摄像头的内参矩阵参数和畸变校正参数；M2、D2分别表示红外摄像头的内参矩阵参数和畸变校正参数；外参参数中，R内的数据表示旋转矩阵参数，T内的数据表示平移矩阵的参数。

得到内参参数和外参参数之后，另外得到两个摄像头同一位置拍摄的照片(该图片可以是棋盘格照片，也可以是任意固定位置对着同一物体分别拍摄的两个摄像头的照片)。然后获取RGB图像和红外图像，并将内参参数、外参参数、RGB图像、红外图像输入到SGBM算法中，仿真得到所述人脸图像的视差图。具体地，利用上述得到的内参和外参参数、双目摄像头拍摄的照片，用SGBM算法可以仿真出拍摄目标的视差图。

该算法实现包含四个部分：预处理、代价计算、动态规划、后处理，具体地，预处理过程是采用水平Sobel算子把图像做处理，其计算过程如公式(2)所示。

然后用一个函数将经过水平Sobel算子处理后的图像上每个像素点映射成一个新的图像，预处理实际上是得到图像的梯度信息。将经预处理的图像保存起来，用于代价计算，代价有两部分组成，包含经过预处理得到的图像的梯度信息经过基于采样的方法得到的梯度代价，以及原图像经过基于采样的方法得到的绝对差值和的代价。动态规划主要控制视差变化的平滑性。后处理包含唯一性检测、亚像素插值、左右一致性检测，可以理解为视差图的去噪和平滑性等处理。原图像(RGB图像和红外图像)经过预处理、代价计算、动态规划、后处理等处理后，即可得到可用于计算深度的视差图。得到视差图之后，按照深度计算公式，就可以得到人脸图像每一个像素点的深度值。

步骤S22，根据视差图计算得到人脸图像每一像素点的深度，并生成深度图像。具体地，根据以下步骤计算图片中人脸图像每一像素点的深度：获取双目摄像头的焦距和光心距离，并从视差图中提取任一像素点的视差值；根据焦距、光心距离和任一像素点的视差值计算该像素点的深度。

深度计算的具体实现过程如图4所示，将右边的摄像机像素点(X，Y，Z)投影到左边，右边相机(right camera)像素的坐标和左边相机(left camera)的左边相距Tx(标定测出来的参数)，所以它相当于在左边的相机对三维世界内的(X-Tx，Y，Z)进行投影，如图4所示，根据相似三角形对应的边比例相等，推导得出公式(3)，从而得出深度的计算公式，其中，f是双目摄像头的焦距，Tx就是baseline的值b(即两个摄像头的光心距离)，d就是XR-XT的差值(也是视差值)，XR、XT分别表示两个成像点在左右两个像面上距离图像左边缘的距离，如图5所示,。

从公式(3)可以看出，如果需要计算Z的值，即深度值，需要先得到XR-XT的值，也就是视差，而差值可以从上述步骤中获得的视差图中直接提取。在确定了深度的计算公式后可以直接计算出每一像素点的深度，然后根据每一像素点的深度生成深度图，为了得到深度图，需要找出两个相机对应成像点的对应关系，即需要得到两个相机的内参和对应的外参，来做映射。

具体地，对于两个相机的映射关系，可以先找到三维物体中一个点到相机像素的对应关系，即世界坐标系到像素坐标系的关系，即可以根据映射关系来获取人脸特征的深度信息。具体映射关系如公式(4)所示，其中Z_c表示深度，u和v表示像素坐标；K表示内参参数，是一个三维矩阵(M1或者M2)；R表示旋转矩阵，是一个3*3的旋转矩阵；T表示平移矩阵，是一个3*1的平移矩阵。x_w、y_w、z_w表示三维物体的一个坐标点。所以为了得到深度Z的值，需要知道两个相机的内参以及外参，才能建模获取深度图像。

在生成获得深度图像后，可以从深度图像中提取预设的人脸特征的深度值，获取人脸特征的深度信息包括以下步骤：将RGB图像中人脸的坐标映射到深度图中；从深度图中提取预设的两个以上的人脸特征的深度值构成深度信息。比如获取深度图像的人眼以及鼻子等深度值，在本发明的另一实施例中，除了五官之外，也可以获取身体躯干区域的深度值来执行后续的步骤。

步骤S3，根据所述深度信息判断所述人脸目标是否为活体，并输出判定结果。将所述多个人脸特征的深度值进行比对；若所述多个人脸特征的深度值不等同，则判定所述人脸目标为活体；若所述多个人脸特征的深度值等同，则判定所述人脸目标为非活体。如，比较眼睛和鼻子的深度值，若这两个深度值相同(两个值在一定的误差范围内也是相同)则判断为非活体；若不同则判断为活体。为了保证信息准确，可以从深度图像中提取多个人脸特征的深度值，如眼睛、鼻子、嘴巴、耳朵等；更进一步，可以在人脸图像中设置多个特征点，如两个嘴角点、四个眼角点……，然后从深度图像中提取这些特征点的深度值进行比较。

在本发明的另一实施例中，如图6所示，该方法还可以根据以下步骤来进行人脸活体检测：在通过深度计算算法对RGB图像和红外图像进行深度计算的同时，通过活体检测算法对RGB图像和红外图像进行卷积计算，并获取人脸目标的特征信息；对这些特征信息进行综合评估得到特征值；当特征值大于预设阈值时，再根据深度信息判断人脸目标是否为活体。

具体地，分别抓可见光摄像头和红外光摄像头的人脸图片，进行深度计算，得到深度图；另外在对RGB以及红外人脸图像进行特征提取进行活检时，会预先设定一个阈值(预设阈值)比如为70，当提取的照片特性高于该阈值时，认为是活体，低于该值则判定为非活体。具体的步骤是：抓取两个相机的人脸图片，得到人脸坐标信息，将RGB图像和红外图像分别送给活检算法和深度计算算法，活检算法会对RGB图像和红外图像进行卷积计算，提取相关特征，对特征进行综合评估得到评估分数(即特征值)。若评估分数小于70，则认定该人脸目标不是活体，输出判定结果后结束本次人脸识别流程；若大于70，则暂时判定该人脸目标为活体，然后进行深度特征匹配，并获取相关人脸特征的深度信息，再次进行人脸活体判断。若所提取的人脸特征的深度值相同，则判断为非活体；若不同则判断为活体。

在本发明的另一实施例中，提供了一种基于双目摄像头测距的人脸活检系统，包括图像接收模块、图像处理模块和判断模块，其中，图像接收模块，用于在检测到到有人脸目标时，获取RGB摄像头生成的RGB图像和红外摄像头生成的红外图像；图像处理模块，用于通过深度计算算法对RGB图像和红外图像进行深度计算，并获取人脸特征的深度信息；判断模块，用于根据所述深度信息判断所述人脸目标是否为活体，并输出判定结果。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的基于双目摄像头测距的人脸活检方法，本发明实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于双目摄像头测距的人脸活检方法。

本发明的一个实施例中还提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于双目摄像头测距的人脸活检方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于双目摄像头测距的人脸活检方法，其特征在于，所述双目摄像头包括RGB摄像头和红外摄像头，所述方法包括：

在检测到有人脸目标时，获取RGB摄像头生成的RGB图像和红外摄像头生成的红外图像；

通过深度计算算法对所述RGB图像和红外图像进行深度计算，并获取人脸特征的深度信息；

根据所述深度信息判断所述人脸目标是否为活体，并输出判定结果。

2.根据权利要求1所述的方法，其特征在于，在所述通过深度计算算法对所述RGB图像和红外图像进行深度计算的同时，所述方法还包括：

通过活体检测算法对所述RGB图像和红外图像进行卷积计算，并获取所述人脸目标的特征信息；

对所述特征信息进行综合评估得到特征值；

当所述特征值大于预设阈值时，再根据所述深度信息判断所述人脸目标是否为活体。

3.根据权利要求1所述的方法，其特征在于，所述通过深度计算算法对所述RGB图像和红外图像进行深度计算，包括：

获取所述双目摄像头的内参参数和外参参数，通过双目视差计算算法对所述内参参数和外参参数进行处理，生成人脸图像的视差图；

根据所述视差图计算得到所述人脸图像每一像素点的深度，并生成深度图像。

4.根据权利要求3所述的方法，其特征在于，所述通过双目视差计算算法对所述内参参数和外参参数进行处理，生成人脸图像的视差图，包括：

获取所述RGB图像和红外图像，并将所述内参参数、外参参数、RGB图像、红外图像输入到SGBM算法中，仿真得到所述人脸图像的视差图。

5.根据权利要求3所述的方法，其特征在于，所述根据所述视差图计算得到所述人脸图像每一像素点的深度，包括：

获取所述双目摄像头的焦距和光心距离，并从所述视差图中提取任一像素点的视差值；

根据所述焦距、光心距离和所述人脸图像中任一像素点的视差值计算该像素点的深度。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述获取人脸特征的深度信息包括：

将所述RGB图像中人脸图像的坐标映射到所述深度图中；

从所述深度图中提取两个以上的人脸特征的深度值，并生成所述深度信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述深度信息判断所述人脸目标是否为活体，包括：

将所述人脸特征的深度值进行比对；

若各个人脸特征的深度值不等同，则判定所述人脸目标为活体；若所述各个人脸特征的深度值等同，则判定所述人脸目标为非活体。

8.一种基于双目摄像头测距的人脸活检系统，其特征在于，包括：

图像接收模块，用于在检测到有人脸目标时，获取RGB摄像头生成的RGB图像和红外摄像头生成的红外图像；

图像处理模块，用于通过深度计算算法对所述RGB图像和红外图像进行深度计算，并获取人脸特征的深度信息；

判断模块，用于根据所述深度信息判断所述人脸目标是否为活体，并输出判定结果。

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于双目摄像头测距的人脸活检方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的基于双目摄像头测距的人脸活检方法。

Images