CN108647650A

CN108647650A - 一种基于角膜反射和光学编码的人脸活体检测方法及系统

Info

Publication number: CN108647650A
Application number: CN201810456181.7A
Authority: CN
Inventors: 文伟平; 吴勃志; 孙惠平
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2018-05-14
Filing date: 2018-05-14
Publication date: 2018-10-12
Anticipated expiration: 2038-05-14
Also published as: CN108647650B

Abstract

本发明公布了一种基于角膜反射和光学编码的人脸活体检测方法及系统，属于抵抗人脸识别攻击的安全技术领域，具体涉及角膜图像的处理和分析。通过光学编码方式将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化；通过提取角膜图像的亮暗信息得到角膜反射信息，再通过信息比对实现人脸活体检测。本发明方法只需要提取角膜图像的亮暗信息，能够解决角膜反射信息难以提取的问题，对于摄像机像素以及后期的图像处理和分析的要求非常低，方法容易实现，且经济有效；具有很高的安全性，可对抗人脸识别的一般攻击。

Description

一种基于角膜反射和光学编码的人脸活体检测方法及系统

技术领域

本发明提供了一种基于角膜反射和光学编码的人脸活体检测方法及系统，属于抵抗人脸识别攻击的安全技术领域，具体涉及到角膜图像的处理和分析。

背景技术

随着人工智能技术的发展，人脸识别技术也越来越先进。这种技术已经发展的非常成熟和实用，已经广泛的被应用于各个领域。比如公共安全领域，公安系统通过分析银行大厅、会场等公共场所的监控摄像的人脸图像，快速识别人脸，甄别和确定犯罪嫌疑人。在海关、港口、博物馆和机要部门等入口处通过人脸识别查验持证人身份是否吻合。比如在金融安全领域，通过人脸识别的方式验证用户身份，避免单纯的密码丢失或者被盗而引起财产的损失。比如在企业应用领域，通过人脸识别的方式方便快捷的考勤，杜绝代考勤的问题。比如在医疗教育方面，通过人脸识别技术进行在线挂号，通过人脸识别验证考生身份，杜绝代考现象等。在人脸识别领域也已经诞生出了像商汤科技、旷世这些大公司。然而，针对人脸识别的攻击也越来越多，并且有些还成功的欺骗了现有的人脸识别系统。比如2017年底一家叫Bkav的越南安全公司，他们用3D打印出的人脸面具，轻松骗过了苹果的人脸识别系统Face ID，成功解锁了iPhone X。又比如三星公司生产的Galaxy S8，用户只需一张高清的照片即可成功欺骗其人脸识别系统，完成解锁。目前针对人脸识别的攻击方式主要由以下三种类型：

(一)图片攻击。现如今，社交媒体非常流行，很多人都会在上面分享个人的生活照片，其中不乏很多高清的个人照。这些照片有可能会被攻击者下载下来，然后打印出高清照片或者用显示器显示的方式，对人脸识别系统进行攻击，假冒被攻击者的身份进入系统获取某些权限利益或者做一些恶意行为。

(二)视频重播攻击。有些人脸识别系统为了对抗图片攻击，要求用户在进行身份认证时，进行摇头、张嘴、眨眼等动作，以确定认证系统前面的用户是一个真人，而不是照片。视频重播攻击，会根据人脸识别系统的要求，用真实用户的头像伪造一段符合要求动作的视频。在攻击时，将该视频在人脸识别系统前进行重播，以实现欺骗系统的目的。

(三)3D头套攻击。有些人脸识别系统，会对用户的脸部进行3D扫描，以获得关于人脸的3D信息，从而对抗照片攻击和视频重播攻击。3D头套攻击中，攻击者从真实用户的社交媒体上获得到高清的个人照片，并根据照片打印出真实用户的高清3D头套，对人脸识别系统进行欺骗，以使验证通过。

为了对抗这些攻击，目前有一种流行的有效手段，就是活体检测。活体检测，就是检测人脸识别系统前的验证物体，是否为活体。如果不为活体，则认为是一种攻击。通过这种甄别方式，就能有效的抵抗这些伪装攻击，提高人脸识别系统的安全性。目前流行的活体检测方法一般通过要求用户摇头、眨眼以及动嘴唇的方式，来确认人脸识别系统前的验证物体是活物。但是，这种方法不能对抗视频重播攻击，验证时间长，且对用户不友好。

角膜是人眼中覆盖在瞳孔和虹膜上方的一层透明的物质，具有很强的折光能力，这是活体真人区别于照片、视频的一个重要特征。通过分析角膜能否反射眼前的图像，就能判断人脸识别系统前的物体是否为活体。目前角膜反射被广泛应用在图像识别、计算机图形图像、人机交互、医学诊断等领域，特别是在视线跟踪这个方面。但是，由于角膜反射图像的尺寸是很小的，对于提取图像信息有很大的难度。现有技术难以解决角膜反射信息的有效提取，基于角膜反射进行人脸活体检测难以实现、效果不佳。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于角膜反射和光学编码的人脸活体检测方法，提出光学编码的方式，通过将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化情况。由于角膜亮和暗的状态相比角膜中具体细微的图像信息内容而言更容易提取得到，从而解决角膜反射信息难以提取的问题。该方法只需要提取角膜图像的亮暗信息，对于摄像机像素以及后期的图像处理和分析的要求都非常低，容易实现，且经济有效。

本发明通过手机显示屏或者指示灯等之类的显示设备，以光的亮暗变化的方式发射出某些特定的随机密码信息(比如亮代表信息1，暗代表信息0)，呈现在人脸面前，同时摄像头以视频的形式拍摄录制人脸视频。摄像头将录制到的人脸视频，提交后台程序处理。后台程序对视频按时间戳的顺序，将视频分解为帧，并对每帧照片中的角膜部分图像进行提取和分析，得到角膜亮暗变化的规律，从而得到随机密码信息。将该密码信息与显示屏或指示灯发射的密码信息进行比对，如果一致则认为验活成功。如图1所示。

本发明提供的技术方案是：

一种基于角膜反射和光学编码的人脸活体检测方法，光学编码的方式通过将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化；通过提取角膜图像的亮暗信息得到角膜反射信息，再通过信息比对实现人脸活体检测；进行人脸识别包括如下步骤：

1)视频录制及随机密码生成：获取人脸视频，生成随机密码，记录密码信息显示开始时间、密码信息显示结束时间：

11)摄像头正对着脸并保持一个适当的距离，眼睛保持睁开状态。同时将显示器或者指示灯之类的密码显示设备，放置在与摄像头的一侧方向，并能被眼睛所轻易看到；

12)在密码显示设备发送密码信息之前，摄像头开启，并以视频录像的形式录制人脸视频。

13)本发明中，密码信息为二进制，每一位二进制的密码信息通过光学编码的方式采用光的亮或暗来表示；密码显示设备随机生成一串二进制密码，并根据亮代表1，暗代表0，对显示器屏幕或指示灯按照密码信息进行亮暗变化，并记录密码显示设备进行密码信息显示的开始时间Ts。

14)在密码信息变化结束、密码信息显示完成后，密码显示设备记录结束时间Te，然后摄像头关闭录像。并把视频内容和开始时间、结束时间传输到后台进行处理。

后台处理包括视频取帧、人眼图像提取、角膜图像提取和随机密码分析；

2)视频取帧：将视频从开始时间到结束时间之间的内容截取出来，并将视频分解提取出图像帧(视频帧)；

具体实施时，为了让提取出来的视频帧能反应出真实的密码信息，要求摄像头的视频帧率必须固定，且为密码信息变化频率的1倍以上。比如随机密码信息1秒变化10次(比如0101010101)，那么视频帧率必须在10帧每秒以上。

3)然后进行人眼图像提取：通过深度学习算法定位到人脸的眼睛部位，对其进行图像提取，并进行闭眼检测。如果发现有闭眼情况，则返回步骤1)重新开始获取人脸视频；否则继续往下执行。

人眼图像提取是对得到的视频帧再做进一步的处理，具体实施时，使用基于Python的开源人脸识别库——face_recognition的接口对眼睛部分图像进行定位和提取，然后使用闭眼特征图像模板对提取出的人眼图像进行闭眼检测判断；

4)角膜图像提取：对步骤3)中的人眼图像进行图形定位到角膜部分，并将每个图像帧/视频帧中的角膜部分用图像处理算法抠出来，得到角膜图像。

具体通过深度学习算法定位到视频帧的角膜部分，并通过图像处理的算法将角膜部分图像单独抠出来，以便进一步进行密码分析。

具体地，使用python的图像处理库pillow，对人眼图像进行裁剪。因为角膜图像处于人眼图像的中央位置，只需根据图像中心的坐标位置以及选取一个适当小的半径，再调用pillow图像处理库的接口，对人眼图像进行裁剪，即可得到人眼中央部分的角膜图像。

5)随机密码分析：对角膜图像进行二值化处理，将所有角膜图像都变成只有0和1的二维数组。二值化之后的图像，其数组如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组存在1的数值，则表示角膜是亮的，代表摩玛信息1。根据这样的处理方式，最后得到所有角膜图像代表的密码信息，将其与步骤1)生成的随机密码进行比对，如果一致，则表示验活成功。具体地，随机密码分析包括如下操作：

51)对步骤4)抠出来得到的角膜图像进行二值化处理，每帧角膜图像都得到一个二维数组。通过分析二维数组，得到角膜图像代表的密码信息。

每一帧图像代表一位密码信息，分析出每一帧图像表示的密码信息，组合起来即得到整个密码序列；

52)将所有图像帧所代表的密码信息位按照时间顺序排列，得到最终的二进制密码信息，代表所有角膜图像的密码信息。

53)将最终的二进制密码信息与步骤13)中密码显示设备存的随机密码信息进行比对，如果一致则认为验活成功，否则认为验活失败。最后，返回验活结果。

通过上述方法，可以在摄像机像素较低的情况下，以一种非常经济而且有效的方式完成人脸识别的验活任务，其显示的密码信息空间可以非常大(比如10位二进制密码信息，其空间大小为1024)，具有很高的安全性，可以较好的对抗人脸识别的一般攻击。

本发明还提供一种基于角膜反射和光学编码的人脸验活系统，主要包括以下五大模块：随机密码生成及视频录制模块、视频取帧模块、人眼图像提取模块、角膜图像提取模块、随机密码信息分析模块。

一、视频录制及随机密码生成模块：该模块会提前将摄像头打开，并对人脸进行视频录制。然后随机生成一串二进制数字作为密码信息，比如10位的二进制数字0101010101。再根据亮代表1，暗代表0的规律，在显示器或者指示灯之类的设备上按照密码信息进行亮暗变化，并记录开始时间Ts。在密码信息变化结束后，把摄像头关闭，并记录结束时间Te。该模块会把录制视频以及开始时间Ts、结束时间Te一起传递给视频取帧模块。

二、视频取帧模块：该模块从录制视频中截取出开始时间Ts到结束时间Te之间的视频内容，并将视频内容按视频帧的方式提取出来。为了让提取出来的视频帧能反映出真实的密码信息，要求摄像头的视频帧率必须固定，且为密码信息变化频率的1倍以上。比如随机密码信息1秒变化10次(比如0101010101)，那么视频帧率必须在10帧每秒以上。

三、人眼图像提取模块：该模块对视频取帧模块处理得到的视频帧再做进一步的处理，首先从每一帧的图像中通过深度学习算法定位到眼睛部分，如果发现有闭眼的情况，则返回到随机密码生成和视频录制模块，重新开始；否则就继续执行。

四、角膜图像提取模块：该模块通过深度学习算法定位到视频帧的角膜部分，并通过图像处理的算法将角膜部分图像单独抠出来，以便随机密码分析模块进一步分析。

五、随机密码分析模块：该模块对角膜图像进行二值化处理，将所有角膜图像都变成只有0和1的二维数组。二值化之后的图像，其数组如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组存在1的数值，则表示角膜是亮的，代表摩玛信息1。如图2所示。根据这样的处理方式，最后得到所有角膜图像代表的密码信息，将其与随机密码生成及视频录制模块生成的随机密码进行比对，如果一致，则表示验活成功。

与现有技术相比，本发明的有益效果是：

本发明提供一种基于角膜反射和光学编码的人脸活体检测方法，提出光学编码的方式，通过将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化情况。由于角膜亮和暗的状态相比角膜中具体细微的图像信息内容而言更容易提取得到，从而解决角膜反射信息难以提取的问题。该方法只需要提取角膜图像的亮暗信息，对于摄像机像素以及后期的图像处理和分析的要求都非常低，容易实现，且经济有效。

本发明可以在摄像机像素较低的情况下，以一种非常经济而且有效的方式完成人脸识别的验活任务，其显示的密码信息空间可以非常大(比如10位二进制密码信息，其空间大小为1024)，具有很高的安全性，可以有效地对抗人脸识别的一般攻击。

附图说明

图1是本发明实施例采用手机拍摄人眼的过程示意图；

其中，1表示摄像头，2表示显示器，3表示人眼，4表示摄像头拍摄到的人眼中显示器的信息。

图2是本发明具体实施中角膜图像二维数组在二值化处理后的示例；

其中，左边是密码信息为0时的二维数组；右边是密码信息1时的其中一种二维数组形式。

图3是本发明提供方法的流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于角膜反射和光学编码的人脸活体检测方法。

图1是本发明实施例采用手机拍摄人眼的过程示意图；其中，1表示摄像头；2表示显示器；3表示人眼；4表示摄像头拍摄到的人眼中显示器的信息，当摄像内容显示人眼中的手机屏幕显示为亮状态时代表密码信息为1，显示为暗状态时代表密码信息为0。

图3所示是本发明提供方法的流程。本发明的具体实施方式如下：

1)使用者使用人脸识别设备进行人脸识别，摄像头正对着脸并保持一个适当的距离，眼睛保持睁开状态。同时将显示器或者指示灯之类的密码显示设备，放置在与摄像头的一侧方向，并能被眼睛所轻易看到；

人脸识别设备可以包括手机、平板、笔记本以及人脸识别打卡机等。

2)在密码显示设备发送密码信息之前，摄像头开启，并以视频录像的形式录制人脸视频。

3)密码显示设备随机生成一串二进制密码，并根据亮代表1，暗代表0的规律，对屏幕或指示灯进行亮暗变化，并记录开始时间Ts。

4)在密码信息显示完成后，密码显示设备记录结束时间，然后摄像头关闭录像。并把视频内容和开始时间、结束时间传输到后台处理程序。

5)后台处理程序将视频从开始时间到结束时间之间的内容截取出来，并将视频分解提取出图像帧，然后定位到眼睛部分并进行检测。如果发现有闭眼情况，则返回第1步重新开始。否则就继续往下执行。

6)后台程序对图形定位到角膜部分，并将每个图像帧中的角膜部分用图像处理算法抠出来。

7)后台程序对角膜图像进行二值化处理，每帧角膜图像都得到一个二维数组。通过分析二维数组的情况，得到角膜图像代表的密码信息。最后将所有图像帧所代表的密码信息位按照时间顺序排列，就得到最终的二进制密码信息。将其与密码显示设备生存的随机密码信息进行比对，如果一致则认为验活成功，否则认为验活失败。最后，返回验活结果。

具体地，每一帧角膜图像代表一位密码信息。分析代表的密码信息时，对角膜图像的二维数组进行二值化。其中，二值化过程是将原二维数组中元素数值大于90(90为经验值)的元素置为1，元素数值小于90的置为0。二值化后，数组里的元素只有0和1。如果其数组里的元素如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组的元素存在1的数值，则表示角膜是亮的，代表密码信息1。

密码信息为0时，二维数组为：

[[0 0 0 0 0 0 0 0 0 0 0 0]

[0 0 0 0 0 0 0 0 0 0 0 0]

[0 0 0 0 0 0 0 0 0 0 0 0]]

密码信息为1时，二维数组有多种情况，例如，可以是下面所示的数组：

[[0 0 0 0 0 0 0 0 0 0 0 0]

[0 0 0 0 0 0 0 0 0 0 0 0]

[0 0 0 0 0 1 1 1 0 0 0 0]

[0 0 0 0 0 0 0 0 0 0 0 0]

[0 0 0 0 0 0 0 0 0 0 0 0]]

本发明具体实施时，基于上述基于角膜反射和光学编码的人脸验活方法实现了基于角膜反射和光学编码的人脸验活方法系统，主要包括以下五大模块：随机密码生成及视频录制模块、视频取帧模块、人眼图像提取模块、角膜图像提取模块、随机密码信息分析模块。

二、视频取帧模块：该模块从录制视频中截取出开始时间Ts到结束时间Te之间的视频内容，并将视频内容按视频帧的方式提取出来。为了让提取出来的视频帧能反应出真实的密码信息，要求摄像头的视频帧率必须固定，且为密码信息变化频率的1倍以上。比如随机密码信息1秒变化10次(比如0101010101)，那么视频帧率必须在10帧每秒以上。

五、随机密码分析模块：该模块对角膜图像进行二值化处理，将所有角膜图像都变成只有0和1的二维数组。二值化之后的图像，其数组如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组存在1的数值，则表示角膜是亮的，代表摩玛信息1，如图2所示，左边是密码信息为0时的二维数组；右边是密码信息1时的其中一种二维数组形式。。根据这样的处理方式，最后得到所有角膜图像代表的密码信息，将其与随机密码生成及视频录制模块生成的随机密码进行比对，如果一致，则表示验活成功。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种基于角膜反射和光学编码的人脸活体检测方法，通过光学编码方式将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化；通过提取角膜图像的亮暗信息得到角膜反射信息，再通过信息比对实现人脸活体检测；包括如下步骤：

1)获取人脸视频：录制视频及生成随机密码，记录密码信息显示开始时间和结束时间；将视频内容和开始时间、结束时间传输到后台进行处理；后台处理包括视频取帧、人眼图像提取、角膜图像提取和随机密码分析；

2)视频取帧：将视频从开始时间到结束时间之间的内容截取出来，并将视频分解提取出视频帧；

3)提取人眼图像：对得到的视频帧中每一帧的图像，定位到眼睛部分并进行闭眼检测；如果发现有闭眼情况，则返回步骤1)重新获取人脸视频；否则提取得到人眼图像；

4)提取角膜图像：对步骤3)中的人眼图像进行图形定位到角膜部分，将每个视频帧中的角膜部分用图像处理算法进行抠取，得到角膜图像；

5)随机密码分析：对角膜图像进行二值化处理，变换得到取值为0和1的二维数组；以数组取值代表密码信息，得到所有角膜图像代表的密码信息；将角膜图像代表的密码信息与步骤1)生成的随机密码进行比对，如果一致，表示验活成功；

由此实现基于角膜反射和光学编码的人脸活体检测。

2.如权利要求1所述的基于角膜反射和光学编码的人脸活体检测方法，其特征是，步骤1)录制视频及生成随机密码，具体执行如下操作：

11)将摄像头正对着人脸并保持距离；眼睛保持睁开状态；同时将密码显示设备放置在与摄像头的同侧，使得眼睛能轻易看到；

12)在密码显示设备发送密码信息之前，开启摄像头，并以视频录像的形式录制人脸视频；

13)密码信息采用二进制；通过光学编码方式采用光的亮或暗表示每一位二进制的密码信息；密码显示设备随机生成一串二进制密码，并根据亮代表1、暗代表0，对密码显示设备按照密码信息进行亮暗变化，记录密码显示设备进行密码信息显示的开始时间Ts；

14)在密码信息变化结束，密码信息显示完成后，密码显示设备记录结束时间Te，摄像头关闭录像；由此得到人脸视频内容和密码信息显示的开始时间和结束时间。

3.如权利要求1所述的基于角膜反射和光学编码的人脸活体检测方法，其特征是，步骤2)视频取帧，具体地，摄像头的视频帧率固定，且为密码信息变化频率的1倍以上。

4.如权利要求1所述的基于角膜反射和光学编码的人脸活体检测方法，其特征是，步骤3)提取人眼图像，具体地，首先从得到的视频帧的每一帧图像中，通过深度学习算法定位到眼睛部分；然后使用闭眼特征图像模板进行闭眼检测。

5.如权利要求4所述的基于角膜反射和光学编码的人脸活体检测方法，其特征是，使用基于Python的开源人脸识别库face_recognition定位到眼睛部分图像。

6.如权利要求1所述的基于角膜反射和光学编码的人脸活体检测方法，其特征是，步骤4)提取角膜图像，具体地，使用python的图像处理库pillow，对步骤3)得到的人眼图像进行裁剪，得到人眼中央部分的角膜图像；再通过深度学习算法，对人眼图像进行图形定位到角膜部分。

7.如权利要求1所述的基于角膜反射和光学编码的人脸活体检测方法，其特征是，步骤5)随机密码分析包括如下操作：

51)对步骤4)抠取得到的角膜图像进行二值化处理，每帧角膜图像均得到一个二维数组，代表一位密码信息；通过分析二维数组，得出每一帧图像表示的密码信息，组合起来即得到整个密码序列，作为角膜图像代表的密码信息；

52)将所有图像帧所代表的密码信息位按照时间顺序排列，得到最终的二进制密码信息，代表所有角膜图像的密码信息；

53)将最终的二进制密码信息与步骤1)得到的随机密码信息进行比对，如果一致则认为验活成功，否则认为验活失败。

8.如权利要求1所述的基于角膜反射和光学编码的人脸活体检测方法，其特征是，步骤5)中，以二值化处理后得到的二维数组代表密码信息，当数组全为0时，表示角膜是暗的，代表密码信息0；当数组取值存在1时，表示角膜是亮的，代表摩玛信息1。

9.一种基于角膜反射和光学编码的人脸验活系统，包括：随机密码生成及视频录制模块、视频取帧模块、人眼图像提取模块、角膜图像提取模块、随机密码信息分析模块；

所述视频录制及随机密码生成模块用于利用摄像头对人脸进行视频录制，随机生成二进制数字作为密码信息；在密码显示设备上按照密码信息进行亮暗变化，并记录开始时间Ts和结束时间Te；将录制视频及开始时间Ts、结束时间Te传递给视频取帧模块；

所述视频取帧模块用于从录制视频中将视频内容按视频帧的方式进行提取，使得提取得到的视频帧反映真实的密码信息；

所述人眼图像提取模块用于针对视频取帧模块处理得到的视频帧，定位到每一帧的图像中的眼睛部分，进行闭眼检测，得到人眼图像；

所述角膜图像提取模块用于针对视频帧，将角膜部分图像单独抠取，得到角膜图像；

所述随机密码分析模块用于对角膜图像进行二值化处理，得到角膜图像代表的密码信息；将得到的角膜图像代表的密码信息与随机密码生成及视频录制模块生成的随机密码进行比对，由此实现基于角膜反射和光学编码的人脸验活识别。

10.如权利要求9所述的基于角膜反射和光学编码的人脸验活系统，其特征是，人脸识别设备包括手机、平板电脑、笔记本电脑或人脸识别打卡机；密码显示设备包括显示器或指示灯。