CN109784313A

CN109784313A - 一种眨眼检测方法及装置

Info

Publication number: CN109784313A
Application number: CN201910120645.1A
Authority: CN
Inventors: 白雪松
Original assignee: SHANGHAI JUNYU DIGITAL TECHNOLOGY Co Ltd
Current assignee: SHANGHAI JUNYU DIGITAL TECHNOLOGY Co Ltd
Priority date: 2019-02-18
Filing date: 2019-02-18
Publication date: 2019-05-21

Abstract

本发明提供一种眨眼检测方法及装置，其中，该眨眼检测方法包括：获取被检测用户的人脸图像；根据预设的特征检测模型对人脸图像进行特征检测，得到人脸特征点；其中，特征检测模型为人工智能模型；根据人脸特征点和预设的眨眼判断公式对被检测用户进行眨眼判断，得到眨眼判断结果；输出眨眼判断结果。本发明所描述的眨眼检测方法能够通过眨眼监测来进行人脸识别的活体检测，从而提高人脸识别的安全性，进而避免传统人脸识别技术中存在的安全隐患。

Description

一种眨眼检测方法及装置

技术领域

本发明涉及人脸识别领域，具体而言，涉及一种眨眼检测方法及装置。

背景技术

随着人脸识别技术的不断发展，人脸识别技术开始应用与小区、车站以及各种商业环境中，这就使得人们开始可以刷脸随处游玩，可见人脸识别技术给人们带来的巨大的便利性。然而，在实践中发现，人脸识别仍存在许多规避方式，其中使用模具进行假识别等方法仍使得人脸识别技术存在较大的安全隐患，从而降低了人脸识别的安全性。

发明内容

鉴于上述问题，本发明提供了一种眨眼检测方法及装置，能够通过眨眼监测来进行人脸识别的活体检测，从而提高人脸识别的安全性，进而避免传统人脸识别技术中存在的安全隐患。

为了实现上述目的，本发明采用如下的技术方案：

第一方面，本发明提供了一种眨眼检测方法，包括：

获取被检测用户的人脸图像；

根据预设的特征检测模型对所述人脸图像进行特征检测，得到人脸特征点；其中，所述特征检测模型为人工智能模型；

根据所述人脸特征点和预设的眨眼判断公式对所述被检测用户进行眨眼判断，得到眨眼判断结果；

输出所述眨眼判断结果。

作为一种可选的实施方式，所述根据预设的特征检测模型对所述人脸图像进行特征检测，得到人脸特征点的步骤包括：

根据预设的特征检测模型对所述人脸图像进行特征检测，得到待定特征点；

根据所述待定特征点和所述人脸图像进行特征回归预测，确定出人脸特征点。

作为一种可选的实施方式，所述根据所述人脸特征点和预设的眨眼判断公式对所述被检测用户进行眨眼判断，得到眨眼判断结果的步骤包括：

在所述人脸特征点中提取多个眼部特征点；

根据所述多个眼部特征点之间的距离和预设的眨眼判断公式计算得到眨眼判断数值；

根据所述眨眼判断数值与预设数值之间的比较结果确定出眨眼判断结果。

作为一种可选的实施方式，在所述根据预设的特征检测模型对所述人脸图像进行特征检测，得到人脸特征点的步骤之后，所述方法还包括：

根据所述人脸特征点和眼睛纵横比公式对所述被检测用户进行眨眼判断，得到初步判断结果；

当所述初步判断结果为存在眨眼现象时，触发执行所述的根据所述人脸特征点和预设的眨眼判断公式对所述被检测用户进行眨眼判断，得到眨眼判断结果的步骤。

作为一种可选的实施方式，所述特征检测模型包括卷积层、瓶颈层以及内积层，并且所述卷积层、所述瓶颈层以及所述内积层三者构成11层的神经网络；所述特征检测模型使用的激活函数为参数化修正线性单元。

第二方面，本发明提供了一种眨眼检测装置，包括：

获取模块，用于获取被检测用户的人脸图像；

检测模块，用于根据预设的特征检测模型对所述人脸图像进行特征检测，得到人脸特征点；其中，所述特征检测模型为人工智能模型；

判断模块，用于根据所述人脸特征点和预设的眨眼判断公式对所述被检测用户进行眨眼判断，得到眨眼判断结果；

输出模块，用于输出所述眨眼判断结果。

作为一种可选的实施方式，所述判断模块包括：

提取子模块，用于在所述人脸特征点中提取多个眼部特征点；

计算子模块，用于根据所述多个眼部特征点之间的距离和预设的眨眼判断公式计算得到眨眼判断数值；

确定子模块，根据所述眨眼判断数值与预设数值之间的比较结果确定出眨眼判断结果。

第三方面，本发明提供了一种计算机设备，所述计算机设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行本发明第一方面所述的一种眨眼检测方法。

第四方面，本发明提供了一种计算机可读存储介质，其存储有本发明第三方面所述的计算机设备中所使用的计算机程序。

根据本发明提供的眨眼检测方法及装置，可以优先获取被检测用户的人脸图像，并以人工智能模型(特征检测模型)为依据在人脸图像中确定出多个人脸特征点；根据该人脸特征点和预设的眨眼判断公式对被检测用户进行眨眼判断，得到眨眼判断结果并输出该眨眼判断结果。可见，实施这种实施方式，能够通过人工智能对人脸特征点进行提取，从而提高人脸特征点的提取精度，进而提高眨眼检测精度，其中提高眨眼检测精度可以有效地提高安全性；另一方面，实施这种实施方式还能够通过预设的眨眼判断公式来对眨眼进行判断，从而使得眨眼情况可以确切地通过计算得到，进而通过高精度的计算数据判断出高精度的眨眼判断结果，以使得人脸识别的安全性得到提高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明范围的限定。

图1是本发明第一实施例提供的一种眨眼检测方法的流程示意图；

图2是本发明第二实施例提供的一种眨眼检测方法的流程示意图；

图3是本发明第三实施例提供的一种眨眼检测装置的结构示意图；

图4是本发明第二实施例提供的一种眼部特征点的标注示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术中的问题，本发明提供了一种眨眼检测方法，可以优先获取被检测用户的人脸图像，并以人工智能模型(特征检测模型)为依据在人脸图像中确定出多个人脸特征点；根据该人脸特征点和预设的眨眼判断公式对被检测用户进行眨眼判断，得到眨眼判断结果并输出该眨眼判断结果。可见，实施这种实施方式，能够通过人工智能对人脸特征点进行提取，从而提高人脸特征点的提取精度，进而提高眨眼检测精度，其中提高眨眼检测精度可以有效地提高安全性；另一方面，实施这种实施方式还能够通过预设的眨眼判断公式来对眨眼进行判断，从而使得眨眼情况可以确切地通过计算得到，进而通过高精度的计算数据判断出高精度的眨眼判断结果，以使得人脸识别的安全性得到提高。下面通过实施例进行描述。

其中，上述的技术方法还可以采用相关的软件或硬件加以实现，对此本实施例中不再多加赘述。针对该眨眼检测方法及装置，下面通过实施例进行描述。

实施例1

请参阅图1，是本实施例提供的一种眨眼检测方法的流程示意图，该眨眼检测方法包括以下步骤：

S101、获取被检测用户的人脸图像。

本实施例中，人脸图像可以理解为包括被检测用户的人脸的图像，其中，对于该图像是从视频中截取出来的、还是视频中的一帧或者是一张照片，对此本实施例中不作任何限定。

本实施例中，该步骤还可以理解为包括检测被检测用户的用户属性的内置操作，其中该内置操作可以理解为判断被检测用户的身份是否符合人类身份等。

本实施例中，眨眼检测方法是基于图片的，也就是说改眨眼检测方法是基于静止情况的，进一步可以理解为该眨眼检测是对被检测用户是否闭眼进行检测。因此，可以理解的是该眨眼检测方法是眨眼检测中必须的一种方法节选，而非说改眨眼检测方法一定是一种完整的眨眼检测方法，举例来说，该眨眼检测方法可以是在视频中获取到多帧图像进行检测，得到多个检测结果，并根据该多个检测结果判断被检测用户是否眨眼。可见，该眨眼检测方法是一种用于进行眨眼检测所使用的方法，而非必须是完整的眨眼检测方法。

本实施例中，人脸图像的尺寸优选为64*64。

S102、根据预设的特征检测模型对人脸图像进行特征检测，得到人脸特征点；其中，特征检测模型为人工智能模型。

本实施例中，特征检测模型包括卷积层、瓶颈层以及内积层，并且卷积层、瓶颈层以及内积层三者构成11层的神经网络；特征检测模型使用的激活函数为参数化修正线性单元。

本实施例中，特征检测模型的层级构造依次为：卷积层、瓶颈层、卷积层、卷积层、卷积层、卷积层、卷积层、内积层、内积层、内积层以及内积层。其中，该特征检测模型的具体架构可以参照下表(表1)：

表1特征检测模型架构

其中，Input表示输入尺寸，Operator表示操作类型，t表示通道“扩张”倍数，channels表示输出通道数(卷积核数量)，N表示重复次数，Stride表示步长。可见，该特征检测模型的输入采用64*64大小的图片，并且其网络的层数根据输入照片以及卷积核的大小和步长设定为11层，从而使得高特征检测模型在保证一定准确度的同时具有尺寸小等特点。

本实施例中，该特征检测模型的亮点在于采用可分离卷积代替了平均池化，而激活函数使用Prelu(参数化修正线性单元)可以提高智能性，同时采用批规一化的方法进行数据处理，还提高了模型的回归效率。

本实施例中，人脸特征点是指具有68个人脸特征点的特征点集合，其中68个人脸特征点可以根据现有的人脸识别技术确认得到。

S103、根据人脸特征点和预设的眨眼判断公式对被检测用户进行眨眼判断，得到眨眼判断结果。

本实施例中，眨眼判断公式是基于人眼眼角角度的判断公式，其判断公式的判断结果数值在与预设阈值进行比较之后可以确定出眨眼判断结果。

S104、输出眨眼判断结果。

本实施例中，眨眼判断结果可以包括存在眨眼情况，与无眨眼情况存在的至少两种情况。

在图1所描述的眨眼检测方法中，可以优先获取被检测用户的人脸图像，并以人工智能模型(特征检测模型)为依据在人脸图像中确定出多个人脸特征点；根据该人脸特征点和预设的眨眼判断公式对被检测用户进行眨眼判断，得到眨眼判断结果并输出该眨眼判断结果。可见，实施图1所描述的眨眼检测方法，能够通过人工智能对人脸特征点进行提取，从而提高人脸特征点的提取精度，进而提高眨眼检测精度，其中提高眨眼检测精度可以有效地提高安全性；另一方面，实施图1所描述的眨眼检测方法还能够通过预设的眨眼判断公式来对眨眼进行判断，从而使得眨眼情况可以确切地通过计算得到，进而通过高精度的计算数据判断出高精度的眨眼判断结果，以使得人脸识别的安全性得到提高。

实施例2

请参阅图2，图2是本实施例提供的一种眨眼检测方法的流程示意图。如图2所示，该眨眼检测方法包括以下步骤：

S201、获取被检测用户的人脸图像。

本实施例中，对于不同实施例中相同步骤或相似步骤的解释说明将不再赘述。

S202、根据预设的特征检测模型对人脸图像进行特征检测，得到待定特征点；其中，特征检测模型为人工智能模型。

本实施例中，特征检测模型为实施例1中所描述的特征检测模型。

本实施例中，待定特征点为通过特征检测模型确定得到的特征点，该待定特征点并不直接用于后续的眨眼检测，而是利用于二次确定该待定特征点是否与人脸图像贴切符合，并在贴切符合之后执行后续的步骤。

S203、根据待定特征点和人脸图像进行特征回归预测，确定出人脸特征点。

本实施例中，该步骤是在上述的特征检测模型的基础上对人脸的68个特征点进行回归预测的步骤。

实施这种实施方式，可以通过对人脸特征点进行回归预测，从而实现对人脸特征点精度的确认保证，进而提高了人脸识别的安全性。

S204、根据人脸特征点和眼睛纵横比公式对被检测用户进行眨眼判断，得到初步判断结果。

请参阅图4，如图4所示，P₁、P₂、P₃、P₄、P₅以及P₆皆为上述68个特征点中的一部分，具体的，P₁、P₂、P₃、P₄、P₅以及P₆是指被检测用户眼部的六个特征点，其中，该六个特征点是针对一只眼睛的，另一只眼睛也是采用于此相同的特征点标注方式。

本实施例中，该步骤是利用预测到的眼部特征点信息结合EAR公式计算出眼部变化从而判断是否存在眨眼，EAR计算公式如下：

其中，P_n代表单只眼睛的眼部特征点坐标，n代表单只眼睛眼部坐标个数，||a-b||表示a与b之间的距离，可见，该EAR计算公式可以提前对眨眼情况进行计算，从而在计算成功的情况下执行后续步骤。

S205、当初步判断结果为存在眨眼现象时，触发执行步骤S206～S208。

本实施例中，初步判断结果为上述EAR的数值与预设比值之间的判断结果对应的匹配结果，对此本实施例将不过多赘述。

作为一种可选的实施方式，步骤S204～S205和步骤S206～S208相替换；实施这种实施方式可以通过先角度检测，再长度检测来间接提高眨眼检测的精度。

S206、在人脸特征点中提取多个眼部特征点。

本实施例中，该步骤为从68个人脸特征点中提取出如图4所示的6个眼部特征点，具体眼部特征点的解释说明请参阅步骤S204的解释说明。

S207、根据多个眼部特征点之间的距离和预设的眨眼判断公式计算得到眨眼判断数值。

作为一种可选的实施方式，根据多个眼部特征点之间的距离和预设的眨眼判断公式计算得到眨眼判断数值的步骤可以包括：

在人脸特征点中提取两组眼部特征点；两组眼部特征点中，每组眼部特征点包括两个眼角特征点和对称存在于上下眼睑的两对眼边特征点；

根据两组眼部特征点和预设的眨眼判断公式对被检测用户进行眨眼判断，得到眨眼判断结果；其中，眨眼判断公式为：

SE＝0.5×h×(1/a+1/b)；

SE为眨眼判断数值，并在眨眼判断数值小于预设阈值时确定眨眼判断结果为存在眨眼现象，在眨眼判断数值不小于预设阈值时确定眨眼判断结果为无眨眼现象；

h为两对眼边特征点中一对眼边特征点之间的距离；

a为一对眼边特征点中一个眼边特征点与一个眼角特征点之间的距离；

b为一个眼边特征点与另一个眼角特征点之间的距离。

基于图4所描述的内容，该眨眼判断公式还可以表示为如下公式：

其中，||a-b||表示a与b之间的距离。

S208、根据眨眼判断数值与预设数值之间的比较结果确定出眨眼判断结果。

本实施例中，预设数值是预设好的，对此本实施例中不再多加赘述。

本实施例中，预设数值趋近于“0”，因为SE越趋近于“0”表示用户存在眨眼情况。

可见，实施图2所描述的眨眼检测方法，能够通过对人脸特征点进行回归预测，从而实现对人脸特征点精度的确认保证，进而提高了人脸识别的安全性；实施图2所描述的眨眼检测方法，还能够根据预设的眨眼判断公式(眼角角度判断公式)确定出被检测用户的眨眼情况，从而避免了由于拍摄远近而带来的检测精度不高的问题，进而使得安全性可以随着精度的提高而提高，同时还可以应用于小型设备中，以使小型设备不必担心精度不高的问题；实施图2所描述的眨眼检测方法，还能够通过双重的眨眼检测公式对被检测用户的眨眼情况进行检测，从而提高眨眼检测的可靠性，进而提高人脸识别的安全性；实施图2所描述的眨眼检测方法，还能够通过无池化层的浅度卷积神经网络构成特征检测模型(人工智能模型)，从而该方法在满足活体验证的同时还可以克服深度神经网络人工智能模型较大的问题，继而使得该方法可以应用在小型电子设备中。

实施例3

请参阅图3，是本实施例提供的一种眨眼检测装置的系统结构示意图。

如图3所示，该眨眼检测装置包括：

获取模块310，用于获取被检测用户的人脸图像；

检测模块320，用于根据预设的特征检测模型对人脸图像进行特征检测，得到人脸特征点；其中，特征检测模型为人工智能模型；

判断模块330，用于根据人脸特征点和预设的眨眼判断公式对被检测用户进行眨眼判断，得到眨眼判断结果；

输出模块340，用于输出眨眼判断结果。

作为一种可选的实施方式，判断模块330包括：

提取子模块331，用于在人脸特征点中提取多个眼部特征点；

计算子模块332，用于根据多个眼部特征点之间的距离和预设的眨眼判断公式计算得到眨眼判断数值；

确定子模块333，根据眨眼判断数值与预设数值之间的比较结果确定出眨眼判断结果。

作为一种可选的实施方式，特征检测模型包括卷积层、瓶颈层以及内积层，并且卷积层、瓶颈层以及内积层三者构成11层的神经网络；特征检测模型使用的激活函数为参数化修正线性单元。

本实施例中，该眨眼检测装置可以使用上述实施例中所描述的眨眼方法，并沿用上述实施例中所描述的解释说明，因此在本实施例中，对于相应的解释说明将不再赘述。

可见，实施本实施例所描述的眨眼检测装置，能够通过人工智能对人脸特征点进行提取，从而提高人脸特征点的提取精度，进而提高眨眼检测精度，其中提高眨眼检测精度可以有效地提高安全性；另一方面，实施这种实施方式还能够通过预设的眨眼判断公式来对眨眼进行判断，从而使得眨眼情况可以确切地通过计算得到，进而通过高精度的计算数据判断出高精度的眨眼判断结果，以使得人脸识别的安全性得到提高。

此外，本发明还提供了另外一种计算机设备，该计算机设备可以包括智能电话、平板电脑、车载电脑、智能穿戴设备等。该计算机设备包括存储器和处理器，存储器可用于存储计算机程序，处理器通过运行上述计算机程序，从而使计算机设备执行上述方法或者上述装置中的各个单元的功能。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例还提供了一种计算机存储介质，用于储存上述计算机设备中使用的计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所描述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所描述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的内容，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种眨眼检测方法，其特征在于，包括：

获取被检测用户的人脸图像；

输出所述眨眼判断结果。

2.根据权利要求1所述的眨眼检测方法，其特征在于，所述根据预设的特征检测模型对所述人脸图像进行特征检测，得到人脸特征点的步骤包括：

3.根据权利要求1所述的眨眼检测方法，其特征在于，所述根据所述人脸特征点和预设的眨眼判断公式对所述被检测用户进行眨眼判断，得到眨眼判断结果的步骤包括：

在所述人脸特征点中提取多个眼部特征点；

4.根据权利要求1所述的眨眼检测方法，其特征在于，在所述根据预设的特征检测模型对所述人脸图像进行特征检测，得到人脸特征点的步骤之后，所述方法还包括：

5.根据权利要求1所述的眨眼检测方法，其特征在于，所述特征检测模型包括卷积层、瓶颈层以及内积层，并且所述卷积层、所述瓶颈层以及所述内积层三者构成11层的神经网络；所述特征检测模型使用的激活函数为参数化修正线性单元。

6.一种眨眼检测装置，其特征在于，包括：

获取模块，用于获取被检测用户的人脸图像；

输出模块，用于输出所述眨眼判断结果。

7.根据权利要求6所述的眨眼检测装置，其特征在于，所述判断模块包括：

8.根据权利要求6所述的眨眼检测装置，其特征在于，所述特征检测模型包括卷积层、瓶颈层以及内积层，并且所述卷积层、所述瓶颈层以及所述内积层三者构成11层的神经网络；所述特征检测模型使用的激活函数为参数化修正线性单元。

9.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行根据权利要求1至5中任一项所述的一种眨眼检测方法。

10.一种计算机可读存储介质，其特征在于，其存储有权利要求9所述的计算机设备中所使用的计算机程序。