CN107977623A - 一种鲁棒性人眼状态判断方法 - Google Patents

一种鲁棒性人眼状态判断方法 Download PDF

Info

Publication number
CN107977623A
CN107977623A CN201711242919.1A CN201711242919A CN107977623A CN 107977623 A CN107977623 A CN 107977623A CN 201711242919 A CN201711242919 A CN 201711242919A CN 107977623 A CN107977623 A CN 107977623A
Authority
CN
China
Prior art keywords
image
human eye
eye state
determination methods
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711242919.1A
Other languages
English (en)
Inventor
刘晨曦
吴琦
肖潇
龚纯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruishi Chikaku (shenzhen) Algorithm Technology Co Ltd
Original Assignee
Ruishi Chikaku (shenzhen) Algorithm Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruishi Chikaku (shenzhen) Algorithm Technology Co Ltd filed Critical Ruishi Chikaku (shenzhen) Algorithm Technology Co Ltd
Priority to CN201711242919.1A priority Critical patent/CN107977623A/zh
Publication of CN107977623A publication Critical patent/CN107977623A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种鲁棒性人眼状态判断方法，包括如下步骤：步骤1，提取人脸图像中的弱特征：首先，将给定的人脸图像转换为单通道灰度图像并缩放，通过高斯滤波对图像进行噪声抑制；然后，作高斯自适应二值化，得到提取人脸弱特征后的图像。步骤2，将步骤1得到的图像输入训练好的卷积神经网络结构，网络处理图像的每个像素点，然后通过全连接网络层输出人眼状态结果，其中，所述卷积神经网络包含3个卷积层，3个下采样层和1个全连接层，其中，3个卷积层的卷积核大小为3*3，2个下采样层的核大小为2*2。此种方法可适用于各种场景，提高人眼睁闭状态识别能力，识别精度高，鲁棒性强，复杂度低，硬件要求低，实时性强。

Description

一种鲁棒性人眼状态判断方法
技术领域
本发明涉及一种鲁棒性人眼状态判断方法。
背景技术
随着科学技术水平的不断提高,计算机视觉越来越受到人们的关注。在计算机视觉中，人脸识别已成为一项通用技术，而在人脸识别的技术中，人的眼睛睁闭状态的识别可以有助于活体检测，疲劳驾驶判断，以及提升手机拍照或自拍的质量。在实际的环境中存在非常多且多变的干扰因素，如光照的明暗变化经常导致无法识别眼睛的睁闭状态；而精确的方法往往带来非常复杂的运算，实时性大打折扣。
目前有关眼睛睁闭状态的检测方法很多，基于计算机视觉的检测方法主要有：(1)从人脸图像中进行人的眼睛的检测和定位，当人的眼睛定位不准确时，会直接影响对眼睛睁闭状态的检测准确率；(2)从人脸图像中检测人眼关键点，根据人眼关键点计算上下眼皮的距离，通过阈值判断眼睛睁闭状态。由于不同的人眼睁闭程度不同，同一个人在不同的光照强度下也不同，该方法会存在较大误差，从而导致误判。
如专利申请号201510013052.7“一种基于眼睛特征的疲劳驾驶检测方法”，该方法在定位人脸之后，通过粗定位和精定位确定眼睛的位置，再通过复杂的特征和分类器识别人眼的睁闭状态，算法复杂度高，误差不断积累，计算精度低。
又如专利申请号201710356372.1“一种骑车疲劳驾驶预测方法”，该方法在获得候选人脸窗口后利用人脸特征点标记信息预测人眼区域，再根据眼睛特征点分割眼睛区域，最后再学习眼睛睁闭特征来判断闭合状态。该方法算法复杂，在嵌入式平台上较难实现实时。
通过以上分析，现有的人眼状态检测方法存在着睁闭眼状态需要人眼定位，人眼关键点睁闭眼阈值不统一的不足，有待改进。
发明内容
本发明的目的，在于提供一种鲁棒性人眼状态判断方法，其可适用于各种场景，提高人眼睁闭状态识别能力，识别精度高，鲁棒性强，复杂度低，硬件要求低，实时性强。
为了达成上述目的，本发明的解决方案是：
一种鲁棒性人眼状态判断方法，包括如下步骤：
步骤1，提取人脸图像中的弱特征：
步骤2，利用卷积神经网络对步骤1得到的图像提取睁闭眼特征，判断人眼状态。
上述步骤1包括如下具体内容：
首先，将给定的人脸图像转换为单通道灰度图像，并进行缩放后，通过高斯滤波对图像进行噪声抑制；
然后，对高斯滤波后的图像作高斯自适应二值化，得到提取人脸弱特征后的图像。
上述将给定的人脸图像转换为单通道灰度图像，再缩放为尺寸为100*100的图像。
上述对高斯滤波后的图像作高斯自适应二值化，得到提取人脸弱特征后的图像的具体内容是：将高斯滤波后的图像经过高斯加权再减去一个差值，得到阈值图像，将高斯滤波后的图像的每一个像素与阈值图像的每一个像素进行比较，若高斯滤波后的图像中像素值小于对应的阈值图像像素值的像素，置为0，若高斯滤波后的图像中像素值不小于对应的阈值图像像素值的像素，置为255，得到提取人脸弱特征后的图像。
上述步骤2的具体内容是：将步骤1得到的图像输入训练好的卷积神经网络结构，网络处理图像的每个像素点，然后通过全连接网络层输出人眼状态结果，其中，所述卷积神经网络包含3个卷积层，3个下采样层和1个全连接层，其中，3个卷积层的卷积核大小为3*3，2个下采样层的核大小为2*2。
上述卷积神经网络的训练阶段包括：
a、将大量标注好闭眼或者睁眼的人脸图像数据根据步骤1生成含有标注信息的人脸弱特征图像训练样本；
b、更新3个卷积层和1个全连接层参数，完成训练阶段，得到最优的网络模型参数。
上述步骤b中，利用随机梯度下降算法更新3个卷积层和1个全连接层参数。
上述卷积神经网络输出人眼状态结果的具体内容是：将待判断的提取弱特征后的图像输入到训练好的卷积神经网络中，得到一个输出值，若输出值大于等于判断阈值，那么判断为闭眼状态，否则判断为睁眼状态。
上述判断阈值的设定方法是：设0属于绝对闭眼状态，1属于绝对睁眼状态，睁眼和闭眼的中间值为0.5，因此将判断阈值设为0.5，若output大于等于0.5，那么判断为闭眼状态；若小于0.5，那么判断为睁眼状态。
采用上述方案后，本发明通过直接提取人脸图像弱特征，根据简单的神经网络识别出人眼睁闭状态，不需要人眼定位或人眼关键点检测。本发明适用于各种场景，不受背景干扰，识别精度高，鲁棒性强。同时，本发明计算复杂度低，检测速度快，大大降低人眼状态识别的硬件要求，稳定可靠，实时性强。
附图说明
图1是本发明的整体流程示意图；
图2是本发明中弱特征提取流程示意图；
图3是本发明中神经网络结构示意图；
图4是本发明神经网络训练阶段流程图；
图5是本发明神经网络预测阶段流程图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
如图1所示，本发明提供一种鲁棒性人眼状态判断方法，首先从人脸图像中提取弱特征,再根据神经网络学习人眼睁闭特征,最后根据人眼睁闭特征判断人眼状态；具体包括以下步骤：
步骤1，提取人脸图像中的弱特征：
配合图2所示，首先，对于给定的任意一幅人脸图像，将其转换为单通道灰度图像I0，并且缩放尺寸为100*100的图像，通过高斯滤波对图像进行噪声抑制得到滤波后图像I1；将图像缩放至100*100，可取得较为理想的效果。
接着对滤波后图像I1作高斯自适应二值化，所述高斯自适应二值化方法具体过程是：图像I1经过高斯加权再减去一个差值delta(根据具体情况进行设定)，得到阈值图像I2，将I1的每一个像素与I2的每一个像素进行比较，若I1中像素值小于对应的I2像素值的像素，置为0，若I1中像素值不小于对应的I2像素值的像素，置为255，得到提取人脸弱特征后的图像I3。
步骤2，利用卷积神经网络对图像I3提取睁闭眼特征，判断人眼状态；
如图3所示，利用卷积神经网络判断人眼睁闭状态的具体过程是：首先将图像I3输入训练好的卷积神经网络结构，网络处理图像的每个像素点，然后通过全连接网络层输出人眼状态结果。其中，所述卷积神经网络包含3个卷积层，3个下采样层和1个全连接层，其中，3个卷积层的卷积核大小为3*3，2个下采样层的核大小为2*2。
其中，卷积神经网络的学习过程包括训练阶段和预测阶段，训练阶段如图4所示，包括：
(1)将大量标注好闭眼或者睁眼的人脸图像数据根据步骤1生成含有标注信息的100*100的人脸弱特征图像训练样本；
(2)利用公知的随机梯度下降算法更新3个卷积层和1个全连接层参数，完成训练阶段，得到最优的网络模型参数；
所述预测阶段如图5，具体过程是：将提取人脸弱特征后的图像I3输入到训练好的网络中，得到一个输出值output，若output大于等于0.5，那么判断为闭眼状态；若小于0.5，那么判断为睁眼状态。需要说明的是，所述output的取值范围是[0,1]，0属于绝对闭眼状态，1属于绝对睁眼状态，睁眼和闭眼的中间值为0.5，因此在本实施例中，设定output的范围在[0.5,1]的情况就属于闭眼状态，output的范围在[0,0.5)的情况下就属于睁眼状态。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (9)

1.一种鲁棒性人眼状态判断方法，其特征在于包括如下步骤：
步骤1，提取人脸图像中的弱特征：
步骤2，利用卷积神经网络对步骤1得到的图像提取睁闭眼特征，判断人眼状态。
2.如权利要求1所述的一种鲁棒性人眼状态判断方法，其特征在于：所述步骤1包括如下具体内容：
首先，将给定的人脸图像转换为单通道灰度图像，并进行缩放后，通过高斯滤波对图像进行噪声抑制；
然后，对高斯滤波后的图像作高斯自适应二值化，得到提取人脸弱特征后的图像。
3.如权利要求2所述的一种鲁棒性人眼状态判断方法，其特征在于：所述将给定的人脸图像转换为单通道灰度图像，再缩放为尺寸为100*100的图像。
4.如权利要求2所述的一种鲁棒性人眼状态判断方法，其特征在于：所述对高斯滤波后的图像作高斯自适应二值化，得到提取人脸弱特征后的图像的具体内容是：将高斯滤波后的图像经过高斯加权再减去一个差值，得到阈值图像，将高斯滤波后的图像的每一个像素与阈值图像的每一个像素进行比较，若高斯滤波后的图像中像素值小于对应的阈值图像像素值的像素，置为0，若高斯滤波后的图像中像素值不小于对应的阈值图像像素值的像素，置为255，得到提取人脸弱特征后的图像。
5.如权利要求1所述的一种鲁棒性人眼状态判断方法，其特征在于：所述步骤2的具体内容是：将步骤1得到的图像输入训练好的卷积神经网络结构，网络处理图像的每个像素点，然后通过全连接网络层输出人眼状态结果，其中，所述卷积神经网络包含3个卷积层，3个下采样层和1个全连接层，其中，3个卷积层的卷积核大小为3*3，2个下采样层的核大小为2*2。
6.如权利要求5所述的一种鲁棒性人眼状态判断方法，其特征在于：所述卷积神经网络的训练阶段包括：
a、将大量标注好闭眼或者睁眼的人脸图像数据根据步骤1生成含有标注信息的人脸弱特征图像训练样本；
b、更新3个卷积层和1个全连接层参数，完成训练阶段，得到最优的网络模型参数。
7.如权利要求6所述的一种鲁棒性人眼状态判断方法，其特征在于：所述步骤b中，利用随机梯度下降算法更新3个卷积层和1个全连接层参数。
8.如权利要求5所述的一种鲁棒性人眼状态判断方法，其特征在于：所述卷积神经网络输出人眼状态结果的具体内容是：将待判断的提取弱特征后的图像输入到训练好的卷积神经网络中，得到一个输出值，若输出值大于等于判断阈值，那么判断为闭眼状态，否则判断为睁眼状态。
9.如权利要求8所述的一种鲁棒性人眼状态判断方法，其特征在于：所述判断阈值的设定方法是：设0属于绝对闭眼状态，1属于绝对睁眼状态，睁眼和闭眼的中间值为0.5，因此将判断阈值设为0.5，若output大于等于0.5，那么判断为闭眼状态；若小于0.5，那么判断为睁眼状态。
CN201711242919.1A 2017-11-30 2017-11-30 一种鲁棒性人眼状态判断方法 Pending CN107977623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711242919.1A CN107977623A (zh) 2017-11-30 2017-11-30 一种鲁棒性人眼状态判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711242919.1A CN107977623A (zh) 2017-11-30 2017-11-30 一种鲁棒性人眼状态判断方法

Publications (1)

Publication Number Publication Date
CN107977623A true CN107977623A (zh) 2018-05-01

Family

ID=62008808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711242919.1A Pending CN107977623A (zh) 2017-11-30 2017-11-30 一种鲁棒性人眼状态判断方法

Country Status (1)

Country Link
CN (1) CN107977623A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711309A (zh) * 2018-12-20 2019-05-03 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN110222571A (zh) * 2019-05-06 2019-09-10 平安科技（深圳）有限公司 黑眼圈智能判断方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
CN102346842A (zh) * 2010-07-26 2012-02-08 比亚迪股份有限公司 一种人眼状态检测方法及装置
EP2507742A2 (en) * 2009-12-02 2012-10-10 Tata Consultancy Services Limited A cost effective and robust system and method for eye tracking and driver drowsiness identification
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
EP2507742A2 (en) * 2009-12-02 2012-10-10 Tata Consultancy Services Limited A cost effective and robust system and method for eye tracking and driver drowsiness identification
CN102346842A (zh) * 2010-07-26 2012-02-08 比亚迪股份有限公司 一种人眼状态检测方法及装置
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王琦: "基于卷积神经网络的学生疲劳状态检测关键技术研究与实现", 《中国优秀硕士学位论文全文数据库社会科学Ⅱ辑》 *
蒋刚 等主编: "《工业机器人》", 31 January 2011, 成都：西南交通大学出版社 *
高宏伟: "《电子封装工艺与装备技术基础教程》", 31 July 2017, 西安电子科技大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711309A (zh) * 2018-12-20 2019-05-03 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN109711309B (zh) * 2018-12-20 2020-11-27 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN110222571A (zh) * 2019-05-06 2019-09-10 平安科技（深圳）有限公司 黑眼圈智能判断方法、装置及计算机可读存储介质
CN110222571B (zh) * 2019-05-06 2023-04-07 平安科技（深圳）有限公司 黑眼圈智能判断方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109154978B (zh) 用于检测植物疾病的系统和方法
CN104915972B (zh) 图像处理装置、图像处理方法以及程序
CN106778664B (zh) 一种虹膜图像中虹膜区域的分割方法及其装置
CN109697416A (zh) 一种视频数据处理方法和相关装置
CN102324025B (zh) 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
KR20200020646A (ko) 이미지에 보케 효과를 적용하는 방법 및 기록매체
CN107729835A (zh) 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN101359365A (zh) 一种基于最大类间方差和灰度信息的虹膜定位方法
CN110110661A (zh) 一种基于unet分割的岩石图像孔隙类型识别方法
CN107563345A (zh) 一种基于时空显著性区域检测的人体行为分析方法
CN108764186A (zh) 基于旋转深度学习的人物遮挡轮廓检测方法
CN109741366A (zh) 一种融合多层卷积特征的相关滤波目标跟踪方法
CN110298297A (zh) 火焰识别方法和装置
CN108564528A (zh) 一种基于显著性检测的肖像照片自动背景虚化方法
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
Chen et al. Facial expression recognition based on edge detection
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN109543629B (zh) 一种眨眼识别方法、装置、设备及可读存储介质
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN106469311B (zh) 目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180501

RJ01 Rejection of invention patent application after publication