CN109711309B - 一种自动识别人像图片是否闭眼的方法 - Google Patents

Abstract

一种自动识别人像图片是否闭眼的方法，包括：采集人像图片；检测获取人像图片中左、右眼周围特征点的坐标；从人像图片中截取左、右眼图片；训练左、右眼‑卷积神经网络，左或右眼‑卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左、右眼‑卷积神经网络，然后从左、右眼‑卷积神经网络中分别提取中间层的输出作为左、右眼特征向量，并构成眼部整体特征向量；对眼部整体特征向量进行线性变换，并采用归一化指数函数计算左闭眼、右闭眼、双眼闭眼和睁眼的概率，以据此判断左、右眼是否闭眼。本发明属于信息技术领域，能精确识别人像图片中的左、右眼是否闭眼。

Description

一种自动识别人像图片是否闭眼的方法

技术领域

本发明涉及一种自动识别人像图片是否闭眼的方法，属于信息技术领域。

背景技术

当前，在很多场景下需要对图片中的人是否发生闭眼进行识别，包括有：

场景一：自助拍摄身份照片

如今很多办理身份信息录入的地点，都有自助拍摄身份照片的功能，然而这种自助式的拍摄，由于没有工作人员的筛选把关，虽然根据提示图片大体的位置、是否脱帽等问题可以解决，但是类似于拍摄时办理者是否恰好闭眼，这种拍摄后才可以识别的细节，往往办理者不会注意到，而眼睛是识别人身份的一个非常重要的部位，这就需要系统有智能识别图片中人脸是否闭眼的功能。

场景二：智能检测上传的身份图片

网上需上传身份信息的场景下，若人工筛选图片是否达标，一来耗时耗力，二来不能保证实时性。而显然人脸图像是否闭眼是判断图片是否达标的一项重要标准。这就大大提升了检测照片的效率。

场景三：判断人疲劳、睡眠状态

在一些实时监控人体信息的场景下，需要定时检测抽取图片检测人体情况。其中有一个部分就是检测人是否闭眼，若长时间检测出闭眼，则定义为人为睡眠状态。

专利申请CN 201710357686.3(申请名称：一种电视智能检测用户睡眠状态的系统及方法，申请人：武汉理工大学，申请日：2017-05-19)公开了一种电视智能检测用户睡眠状态的系统及方法，系统包括图像采集模块、人脸检测模块、人脸识别模块、脸部追踪模块、人眼定位模块、睁/闭眼识别模块、疲劳检测模块、电视感应模块；图像采集模块用于采集图像；人脸检测模块用于对采集的第一帧图像进行人脸检测，找到脸部所在位置；人脸识别模块用于对检测到的人脸进行身份识别，获取该人的疲劳参数；脸部追踪模块、人眼定位模块、睁/闭眼识别模块用于对第一帧之后的图像中对人脸部分进行跟踪并找到人眼部位，分割出人眼部位并对其进行睁/闭检测；疲劳检测模块用于统计单位时间内闭眼帧数占总帧的比值，进行疲劳检测；电视感应模块依据不同的精神状态，控制电视做出相应的感应行为。该技术方案先检测出人脸位置，然后将其中1/3到1/2分割出人眼部位，由于分割出的部分除了两眼之外还有很多无关的像素点，这会致使实现效果被大大的降低，并且采用adboost做分类直接用像素作为输出，其识别率也不会很高。

因此，如何精确识别人像图片中的左、右眼是否闭眼，已成为技术人员急需解决的技术问题。

发明内容

有鉴于此，本发明的目的是提供一种自动识别人像图片是否闭眼的方法，能精确识别人像图片中的左、右眼是否闭眼。

为了达到上述目的，本发明提供了一种自动识别人像图片是否闭眼的方法，包括有：

步骤一、采集人像图片；

步骤二、检测获取人像图片中左、右眼周围特征点的坐标；

步骤三、根据左、右眼周围特征点的坐标，从人像图片中分别截取出左、右眼图片；

步骤四、以多张闭眼和非闭眼的左、右眼图片为训练样本，分别训练左眼-卷积神经网络和右眼-卷积神经网络，左或右眼-卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；

步骤五、将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左眼-卷积神经网络、右眼-卷积神经网络，然后从左眼-卷积神经网络和右眼-卷积神经网络中分别提取中间层的输出作为左和右眼特征向量，并构成眼部整体特征向量；

步骤六、对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，以据此来判断待识别人像图片中左、右眼是否闭眼，步骤六中，判断待识别人像图片中左、右眼是否闭眼，进一步包括有：

步骤A1、从左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率中挑选最大值，并判断概率的最大值是否是左眼闭眼的概率，如果是，则继续下一步；如果否，则转向步骤A3；

步骤A2、判断左眼闭眼的概率是否大于闭眼概率阈值，如果是，则表示待识别人像图片中左眼闭眼，本流程结束；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤A3、判断概率的最大值是否是右眼闭眼的概率，如果是，则继续下一步；如果否，则转向步骤A5；

步骤A4、判断右眼闭眼的概率是否大于闭眼概率阈值，如果是，则表示待识别人像图片中右眼闭眼，本流程结束；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤A5、判断概率的最大值是否是双眼闭眼的概率，如果是，则继续下一步；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤A6、判断左眼闭眼的概率、右眼闭眼的概率是否均大于双眼睁眼的概率，如果是，则表示待识别人像图片中双眼闭眼；如果否，则表示待识别人像图片中双眼睁眼。

与现有技术相比，本发明的有益效果是：本发明从人像图片中分别截取左、右眼图片，能避免截取与眼睛无关的其他象素点，从而能有效缩小输入图片尺寸、提高训练效率和识别准确率；本发明使用卷积神经网络来提取人脸的高维特征，比如人眼的轮廓，弧度等，且最后输出是四类，而不是单纯两类，因此能准确识别人的哪只眼睛闭眼或者全闭眼，从而有效应用于人证核验等要求人眼必须全部睁开的应用场景，并提醒拍照者在下次拍照时应注意的问题。

附图说明

图1是本发明一种自动识别人像图片是否闭眼的方法的流程图。

图2是图1步骤三中，从人像图片中截取出左(或右)眼图片的具体步骤流程图。

图3是图1步骤五的具体步骤流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

如图1所示，本发明一种自动识别人像图片是否闭眼的方法，包括有：

步骤一、采集人像图片；

步骤二、检测获取人像图片中左、右眼周围特征点的坐标；

步骤三、根据左、右眼周围特征点的坐标，从人像图片中分别截取出左、右眼图片；

步骤四、以多张闭眼和非闭眼的左、右眼图片为训练样本，分别训练左眼-卷积神经网络和右眼-卷积神经网络，左或右眼-卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；

步骤五、将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左眼-卷积神经网络、右眼-卷积神经网络，然后从左眼-卷积神经网络和右眼-卷积神经网络中分别提取中间层的输出作为左和右眼特征向量，并构成眼部整体特征向量；

步骤六、对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，以据此来判断待识别人像图片中左、右眼是否闭眼。

步骤二可以采用face_recognition库中face_landmarks方法，获取左、右眼睛周围的6个坐标点的值。face_recognition库包括人脸检测、人脸关键点检测、人脸识别等接口，可以通过python或者命令行即可实现人脸识别的功能。通过face_recognition库中的face_landmarks方法可以得到人脸特征点list，每个人脸是一个字典，包括nose_bridge、right_eyebrow、right_eye、chine、left_eyebrow、bottom_lip、nose_tip、top_lip、left_eye几个部分，每个部分包含若干个特征点，总共有68个特征点，本发明从中选取right_eye、left_eye(即右眼、左眼)周围的6个坐标点。

在识别人像图片是否闭眼时，若对整张图片进行识别，会受到人脸占图片比例的影响，导致识别结果不够准确。因此，为了更精确的识别人像图像中是否闭眼，我们先找到人脸特征点，进而分割对应的眼睛位置，且每只眼睛单独分割(避免由于单眼闭眼而漏判的情况)，对分割后的部分图片再进一步分析。如图2所示，步骤三中，从人像图片中截取出左(或右)眼图片，还可以进一步包括有：

步骤31、从左(或右)眼周围特征点的坐标中，选取最右侧特征点的坐标x_max、最左侧特征点的坐标x_min、最下侧特征点的坐标y_max、最上侧特征点的坐标y_min；

步骤32、分别计算左(或右)眼图片截取的横向长度x_d和纵向长度y_d：x_d＝0.2*(x_max-x_min)，y_d＝0.5*(y_max-y_min)；

步骤33、计算左(或右)眼图片截取的四边坐标：top＝y_min-y_d，bottom＝y_max+y_d，left＝x_min-x_d，right＝x_max+x_d，其中，top是左(或右)眼图片的最顶端坐标，bottom是左(或右)眼图片的最低端坐标，left是左(或右)眼图片的最左侧坐标，right是左(或右)眼图片的最右侧坐标；

步骤34、按照左(或右)眼图片截取的四边坐标，从人像图片中截取出左(或右)眼图片。

步骤四可以采用Xception神经网络模型，Xception作为Inception v3的改进，主要是在Inception v3的基础上引入了depthwise separable convolution，在基本不增加网络复杂度的前提下，从模型结构上根本提升了网络的性能。选用该网络，既保证了结果的准确率、又限制了网络的复杂度在可接受范围内，可以很好的达到本发明所需的技术效果。考虑到左、右眼特征不同，因此分别为左、右眼训练各自的卷积神经网络模型。

如图3所示，步骤五还可以进一步包括有：

步骤51、将从待识别人像图片中截取出的左眼图片输入训练后的左眼-卷积神经网络，并从左眼-卷积神经网络中提取倒数第二层的输出作为左眼特征向量F1，左眼特征向量的维数为：8×8×2048；

步骤52、将从待识别人像图片中截取出的右眼图片输入训练后的右眼-卷积神经网络，并从右眼-卷积神经网络中提取倒数第二层的输出作为右眼特征向量F2，右眼特征向量的维数为：8×8×2048；

步骤53、将左、右眼特征向量F1、F2进行横向拼接，从而构成眼部整体特征向量F，眼部整体特征向量的维数为：8×8×4096。

步骤六可以进一步包括有：

步骤61、对眼部整体特征向量F进行线性变换，F线性变换后的数据维数为：1×1×4096；

步骤62、将眼部整体特征向量F线性变换后的数据作为输入，利用SoftMax函数计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，SoftMax函数输出的数据维数为：1×1×4，其计算公式为：

其中，i∈{1,2,3,4}，当i＝1、2、3或4时，p_i分别是待识别人像图片归属于左眼闭眼、右眼闭眼、双眼闭眼或双眼睁眼的概率，f_w(F)_i、f_w(F)_j分别是对眼部整体特征向量F进行线性变换后得到的第i、j类的值，w是权重向量；

步骤63、从左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率中挑选最大值，并判断概率的最大值是否是左眼闭眼的概率？如果是，则继续下一步；如果否，则转向步骤65；

步骤64、判断左眼闭眼的概率是否大于闭眼概率阈值？如果是，则表示待识别人像图片中左眼闭眼，本流程结束；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；闭眼概率阈值可以根据实际业务需要而设定，例如为0.5；

步骤65、判断概率的最大值是否是右眼闭眼的概率？如果是，则继续下一步；如果否，则转向步骤67；

步骤66、判断右眼闭眼的概率是否大于闭眼概率阈值？如果是，则表示待识别人像图片中右眼闭眼，本流程结束；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤67、判断概率的最大值是否是双眼闭眼的概率？如果是，则继续下一步；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤68、判断左眼闭眼的概率、右眼闭眼的概率是否均大于双眼睁眼的概率？如果是，则表示待识别人像图片中双眼闭眼；如果否，则表示待识别人像图片中双眼睁眼。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种自动识别人像图片是否闭眼的方法，其特征在于，包括有：

步骤一、采集人像图片；

步骤二、检测获取人像图片中左、右眼周围特征点的坐标；

步骤三、根据左、右眼周围特征点的坐标，从人像图片中分别截取出左、右眼图片；

步骤四、以多张闭眼和非闭眼的左、右眼图片为训练样本，分别训练左眼-卷积神经网络和右眼-卷积神经网络，左或右眼-卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；

步骤五、将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左眼-卷积神经网络、右眼-卷积神经网络，然后从左眼-卷积神经网络和右眼-卷积神经网络中分别提取中间层的输出作为左和右眼特征向量，并构成眼部整体特征向量；

步骤六、对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，以据此来判断待识别人像图片中左、右眼是否闭眼，

步骤六中，判断待识别人像图片中左、右眼是否闭眼，进一步包括有：

步骤A1、从左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率中挑选最大值，并判断概率的最大值是否是左眼闭眼的概率，如果是，则继续下一步；如果否，则转向步骤A3；

步骤A2、判断左眼闭眼的概率是否大于闭眼概率阈值，如果是，则表示待识别人像图片中左眼闭眼，本流程结束；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤A3、判断概率的最大值是否是右眼闭眼的概率，如果是，则继续下一步；如果否，则转向步骤A5；

步骤A4、判断右眼闭眼的概率是否大于闭眼概率阈值，如果是，则表示待识别人像图片中右眼闭眼，本流程结束；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤A5、判断概率的最大值是否是双眼闭眼的概率，如果是，则继续下一步；如果否，则表示待识别人像图片中双眼睁眼，本流程结束；

步骤A6、判断左眼闭眼的概率、右眼闭眼的概率是否均大于双眼睁眼的概率，如果是，则表示待识别人像图片中双眼闭眼；如果否，则表示待识别人像图片中双眼睁眼。

2.根据权利要求1所述的方法，其特征在于，步骤二采用face_recognition库中face_landmarks方法，获取左、右眼睛周围的6个坐标点的值。

3.根据权利要求1所述的方法，其特征在于，步骤三中，从人像图片中截取出左或右眼图片，进一步包括有：

步骤31、从左或右眼周围特征点的坐标中，选取最右侧特征点的坐标x_max、最左侧特征点的坐标x_min、最下侧特征点的坐标y_max、最上侧特征点的坐标y_min；

步骤32、分别计算左或右眼图片截取的横向长度x_d和纵向长度y_d：x_d＝0.2*(x_max-x_min)，y_d＝0.5*(y_max-y_min)；

步骤33、计算左或右眼图片截取的四边坐标：top＝y_min-y_d，bottom＝y_max+y_d，left＝x_min-x_d，right＝x_max+x_d，其中，top是左或右眼图片的最顶端坐标，bottom是左或右眼图片的最低端坐标，left是左或右眼图片的最左侧坐标，right是左或右眼图片的最右侧坐标；

步骤34、按照左或右眼图片截取的四边坐标，从人像图片中截取出左或右眼图片。

4.根据权利要求1所述的方法，其特征在于，步骤四采用Xception神经网络模型。

5.根据权利要求1所述的方法，其特征在于，步骤五进一步包括有：

步骤51、将从待识别人像图片中截取出的左眼图片输入训练后的左眼-卷积神经网络，并从左眼-卷积神经网络中提取倒数第二层的输出作为左眼特征向量F1，左眼特征向量的维数为：8×8×2048；

步骤52、将从待识别人像图片中截取出的右眼图片输入训练后的右眼-卷积神经网络，并从右眼-卷积神经网络中提取倒数第二层的输出作为右眼特征向量F2，右眼特征向量的维数为：8×8×2048；

步骤53、将左、右眼特征向量F1、F2进行横向拼接，从而构成眼部整体特征向量F，眼部整体特征向量的维数为：8×8×4096。

6.根据权利要求1所述的方法，其特征在于，步骤六中，对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，进一步包括有：

步骤61、对眼部整体特征向量F进行线性变换，F线性变换后的数据维数为：1×1×4096；

步骤62、将眼部整体特征向量F线性变换后的数据作为输入，利用SoftMax函数计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，SoftMax函数输出的数据维数为：1×1×4，其计算公式为：

其中，i∈{1,2,3,4}，当i＝1、2、3或4时，p_i分别是待识别人像图片归属于左眼闭眼、右眼闭眼、双眼闭眼或双眼睁眼的概率，f_w(F)_i、f_w(F)_j分别是对眼部整体特征向量F进行线性变换后得到的第i、j类的值，w是权重向量。

Images