CN108960071A - 一种睁眼闭眼状态检测方法 - Google Patents

一种睁眼闭眼状态检测方法 Download PDF

Info

Publication number
CN108960071A
CN108960071A CN201810572216.3A CN201810572216A CN108960071A CN 108960071 A CN108960071 A CN 108960071A CN 201810572216 A CN201810572216 A CN 201810572216A CN 108960071 A CN108960071 A CN 108960071A
Authority
CN
China
Prior art keywords
eye
opening closed
state detection
detection method
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810572216.3A
Other languages
English (en)
Inventor
刘汝帅
姚琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Vision Intelligent Technology Co Ltd
Original Assignee
Wuhan Vision Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Vision Intelligent Technology Co Ltd filed Critical Wuhan Vision Intelligent Technology Co Ltd
Priority to CN201810572216.3A priority Critical patent/CN108960071A/zh
Publication of CN108960071A publication Critical patent/CN108960071A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Abstract

本发明涉及一种睁眼闭眼状态检测方法，首先对当前帧图像进行人脸检测并获取人脸landmark的位置；利用检测到的人脸位置以及landmark坐标计算出眼部的区域，并截取眼部图片；利用预先训练好的神经网络模型进行眼部图片的分类，识别睁眼闭眼状态。本发明利用深度学习的方法，将上述截取的眼部图片进行分类训练，实现准确的区分“睁眼”和“闭眼”。

Description

一种睁眼闭眼状态检测方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种睁眼闭眼状态检测方法。
背景技术
随着人工智能技术的发展，眼睛作为人类重要的面部特征有着广泛的使用场景。例如人脸识别过程中要判断是否睁眼以避免在睡眠时误解锁的问题；判断司机是否有疲劳驾驶的行为等方面，一种可靠的判断睁眼闭眼状态的方法显得极其重要。
发明内容
本发明针对现有技术中存在的技术问题，提供一种睁眼闭眼状态检测方法，利用深度学习的方法，将上述截取的眼部图片进行分类训练，实现准确的区分“睁眼”和“闭眼”。
本发明解决上述技术问题的技术方案如下：一种睁眼闭眼状态检测方法，包括以下步骤：
步骤1，对当前帧图像进行人脸检测并获取人脸landmark的位置；
步骤2，利用检测到的人脸位置以及landmark坐标计算出眼部的区域，并截取眼部图片。
步骤3，利用预先训练好的神经网络模型进行眼部图片的分类，识别睁眼闭眼状态。
进一步，所述步骤1中对当前帧图像进行人脸检测采用的算法为MTCNN算法。
进一步，所述步骤2具体为：利用检测到的人脸位置以及landmark坐标计算出眼部的区域，取以两个眼睛之间的距离的0.4倍作为边长，两个眼睛坐标作为中心的正方形，分别截取两个正方形部分的图像作为眼部图片。
进一步，步骤3中所述的神经网络模型是基于深度学习网络MobileNet训练得到的分类模型；训练时采集不少于2000张不同光照条件下的眼部图片，并根据睁眼闭眼状态进行人工分类，构成训练集，对深度学习网络MobileNet进行训练。
本发明的有益效果是：
1.准确率高，利用mtcnn方法检测人脸，并利用深度学习的技术进行眼睛状态的分类，可以达到较高的准确率；
2.效率高，可以达到实时检测的效果，眼睛图片较小且睁眼闭眼特征较明显，可以使用比较高效的神经网络模型；
3.实施方便，只需要普通摄像头就可以完成该功能，不需要其他辅助设备。
附图说明
图1为本发明方法流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明方法流程图。如图1所示，一种睁眼闭眼状态检测方法，包括以下步骤：
步骤一，采用MTCNN算法对当前帧图像进行人脸检测并获取人脸landmark的位置。通过MTCNN算法可获取人脸的位置以及人脸landmark的位置，准确率高，速度快。
步骤二，利用步骤一中检测到的人脸位置以及landmark坐标计算出眼部的区域取以两个眼睛之间的距离的0.4倍作为边长，两个眼睛坐标作为中心的正方形，分别截取两个正方形部分的图像作为眼部图片。
步骤三，重复步骤一步骤二，收集大量的眼部图片，建议各种光线条件下收集2000张以上，并根据睁眼闭眼的状态人工进行分类。
步骤四，将步骤三中的图片集作为训练数据，对深度学习网络MobileNet进行分类训练。
步骤五，对于相机的图像，按步骤一步骤二截取眼部图片。
步骤六，利用步骤四训练得到的神经网络模型进行眼部图片的分类，此时即可得到睁眼闭眼的最后识别结果。
本发明的有益效果是：
1.准确率高，利用mtcnn方法检测人脸，并利用深度学习的技术进行眼睛状态的分类，可以达到较高的准确率；
2.效率高，可以达到实时检测的效果，眼睛图片较小且睁眼闭眼特征较明显，可以使用比较高效的神经网络模型；
3.实施方便，只需要普通摄像头就可以完成该功能，不需要其他辅助设备。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种睁眼闭眼状态检测方法，其特征在于，包括以下步骤：
步骤1，对当前帧图像进行人脸检测并获取人脸landmark的位置；
步骤2，利用检测到的人脸位置以及landmark坐标计算出眼部的区域，并截取眼部图片；
步骤3，利用预先训练好的神经网络模型进行眼部图片的分类，识别睁眼闭眼状态。
2.根据权利要求1所述一种睁眼闭眼状态检测方法，其特征在于，所述步骤1中对当前帧图像进行人脸检测采用的算法为MTCNN算法。
3.根据权利要求1所述一种睁眼闭眼状态检测方法，其特征在于，所述步骤2具体为：利用检测到的人脸位置以及landmark坐标计算出眼部的区域，取以两个眼睛之间的距离的0.4倍作为边长，两个眼睛坐标作为中心的正方形，分别截取两个正方形部分的图像作为眼部图片。
4.根据权利要求1所述一种睁眼闭眼状态检测方法，其特征在于，步骤3中所述的神经网络模型是基于深度学习网络MobileNet训练得到的分类模型；训练时采集不少于2000张不同光照条件下的眼部图片，并根据睁眼闭眼状态进行人工分类，构成训练集，对深度学习网络MobileNet进行训练。
CN201810572216.3A 2018-06-06 2018-06-06 一种睁眼闭眼状态检测方法 Pending CN108960071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810572216.3A CN108960071A (zh) 2018-06-06 2018-06-06 一种睁眼闭眼状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810572216.3A CN108960071A (zh) 2018-06-06 2018-06-06 一种睁眼闭眼状态检测方法

Publications (1)

Publication Number Publication Date
CN108960071A true CN108960071A (zh) 2018-12-07

Family

ID=64493323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810572216.3A Pending CN108960071A (zh) 2018-06-06 2018-06-06 一种睁眼闭眼状态检测方法

Country Status (1)

Country Link
CN (1) CN108960071A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110293974A (zh) * 2019-07-02 2019-10-01 重庆大学 基于轻量级神经网络的驾驶姿态识别与管理系统及app应用
CN110826396A (zh) * 2019-09-18 2020-02-21 云知声智能科技股份有限公司 一种视频中眼睛状态检测方法及装置
CN110897611A (zh) * 2019-12-13 2020-03-24 西南石油大学 一种基于深度学习的闭眼单足站立检测方法
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN110309813B (zh) * 2019-07-10 2020-07-31 南京行者易智能交通科技有限公司 一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器
CN111626087A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN112016429A (zh) * 2020-08-21 2020-12-01 高新兴科技集团股份有限公司 基于火车驾驶室场景下疲劳驾驶检测方法
CN115426506A (zh) * 2022-11-07 2022-12-02 北京鲜衣怒马文化传媒有限公司 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818930A (zh) * 2006-03-23 2006-08-16 上海交通大学 基于识别模型的多神经网络结合的睁眼检测方法
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法
CN107609512A (zh) * 2017-09-12 2018-01-19 上海敏识网络科技有限公司 一种基于神经网络的视频人脸捕捉方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818930A (zh) * 2006-03-23 2006-08-16 上海交通大学 基于识别模型的多神经网络结合的睁眼检测方法
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法
CN107609512A (zh) * 2017-09-12 2018-01-19 上海敏识网络科技有限公司 一种基于神经网络的视频人脸捕捉方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626087A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN110293974A (zh) * 2019-07-02 2019-10-01 重庆大学 基于轻量级神经网络的驾驶姿态识别与管理系统及app应用
CN110309813B (zh) * 2019-07-10 2020-07-31 南京行者易智能交通科技有限公司 一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器
CN110826396A (zh) * 2019-09-18 2020-02-21 云知声智能科技股份有限公司 一种视频中眼睛状态检测方法及装置
CN110897611A (zh) * 2019-12-13 2020-03-24 西南石油大学 一种基于深度学习的闭眼单足站立检测方法
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN112016429A (zh) * 2020-08-21 2020-12-01 高新兴科技集团股份有限公司 基于火车驾驶室场景下疲劳驾驶检测方法
CN115426506A (zh) * 2022-11-07 2022-12-02 北京鲜衣怒马文化传媒有限公司 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质

Similar Documents

Publication Publication Date Title
CN108960071A (zh) 一种睁眼闭眼状态检测方法
CN108108684B (zh) 一种融合视线检测的注意力检测方法
CN104143079B (zh) 人脸属性识别的方法和系统
CN100592322C (zh) 照片人脸与活体人脸的计算机自动鉴别方法
CN101305913B (zh) 一种基于视频的人脸美丽评价方法
CN105260705B (zh) 一种适用于多姿态下的驾驶人员接打电话行为检测方法
WO2019033569A8 (zh) 眼球动作分析方法、装置及存储介质
CN107358152B (zh) 一种活体识别方法和系统
CN109460699A (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN102184016B (zh) 基于视频序列识别的无接触式鼠标控制方法
CN106874830B (zh) 一种基于rgb-d相机和人脸识别的视障人士辅助方法
CN103106397A (zh) 基于亮瞳效应的人脸活体检测方法
CN109697430A (zh) 基于图像识别的工作区域安全帽佩戴的检测方法
CN103295016A (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN102004905B (zh) 人脸认证方法及装置
CN105046219A (zh) 一种人脸识别系统
CN101201695A (zh) 一种基于眼部区域运动特征提取与跟踪的鼠标系统
CN104091155A (zh) 光照鲁棒的虹膜快速定位方法
CN106965675A (zh) 一种货车集群智能安全作业系统
CN106600640A (zh) 一种基于rgb‑d相机的人脸识别辅助眼镜
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN102831408A (zh) 人脸识别方法
CN103544478A (zh) 一种全方位人脸检测的方法及系统
CN104008364A (zh) 人脸识别方法
CN105701457A (zh) 基于人脸识别控制的直流电磁继电器装置及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207