CN108304784A - 一种眨眼检测方法及装置 - Google Patents

一种眨眼检测方法及装置 Download PDF

Info

Publication number
CN108304784A
CN108304784A CN201810037142.3A CN201810037142A CN108304784A CN 108304784 A CN108304784 A CN 108304784A CN 201810037142 A CN201810037142 A CN 201810037142A CN 108304784 A CN108304784 A CN 108304784A
Authority
CN
China
Prior art keywords
image
disparity map
region
face
blink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810037142.3A
Other languages
English (en)
Inventor
刘汝帅
姚琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Vision Information Technology Co Ltd
Original Assignee
Wuhan Vision Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Vision Information Technology Co Ltd filed Critical Wuhan Vision Information Technology Co Ltd
Priority to CN201810037142.3A priority Critical patent/CN108304784A/zh
Publication of CN108304784A publication Critical patent/CN108304784A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种眨眼检测方法及装置，其中方法包括：每经过预设的时间间隔提取一帧由图像采集装置采集的图像；对当前帧图像进行人脸检测并获取人脸landmark的位置；利用当前帧图像与上一帧图像相减获取人脸图像变化区域，将图像变化区域与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。该方法利用减运算获取前后帧图像的双眼变化区域，计算量小，延时低，占用资源少，而且对于光线环境不敏感，在各种环境中都能准确提取眨眼时发生的图像变化区域。

Description

一种眨眼检测方法及装置
技术领域
本发明涉及图像识别技术领域，具体涉及一种眨眼检测方法及装置。
背景技术
眨眼动作作为人类重要的面部特征，准确识别眨眼动作有着广泛的应用场景，可以根据眨眼动作来辅助判断驾驶员疲劳驾驶，可以根据眨眼动作区分活体和图片等非活体。目前现有的眨眼检测一般采用基于人脸68个landmark点计算眼睛宽高比来判断眨眼，然后与预先设置的阈值进行比较，如果在睁眼闭眼状态切换一次，则认为出现眨眼动作，该方法对landmark的准确率要求很高，但是在实际的各种复杂应用场景，不同光线条件，不同头部姿势时，landmark识别的准确率较低，因此基于此方法计算的眨眼检测准确率不高，而且计算量较大，造成延时较高。
发明内容
本发明针对现有技术中存在的技术问题，提供一种适应各种光线条件，各种场景，不同姿势，不同眼睛大小的实时眨眼检测方法及装置。
本发明解决上述技术问题的技术方案如下：
本发明一方面提供一种眨眼检测方法，包括以下步骤：
步骤1，每经过预设的时间间隔提取一帧由图像采集装置采集的图像；
步骤2，对当前帧图像进行人脸检测并获取人脸landmark的位置；
步骤3，利用当前帧图像与上一帧图像相减获取人脸图像变化区域，将图像变化区域与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
进一步，所述预设的时间间隔为20～500ms，优选100ms。
进一步，步骤2中采用MTCNN算法对当前帧图像进行人脸检测并获取人脸landmark的位置。
进一步，步骤3包括：
对当前帧图像进行灰度化处理，得到当前帧灰度图像，并将其上一帧灰度图像进行减操作，获取当前帧灰度图像与上一帧灰度图像的差异图；
对所述差异图进行二值化处理，并检测差异图的轮廓；
将差异图的轮廓与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
进一步，对所述差异图进行二值化处理后，还包括对二值化后的差异图进行开操作，去除差异图中的噪点。
本发明另一方面提供一种眨眼检测装置，包括：
图像获取模块，用于每经过预设的时间间隔提取一帧由图像采集装置采集的图像；
人脸检测模块，用于对当前帧图像进行人脸检测并获取人脸landmark的位置；
比对判断模块，用于利用当前帧图像与上一帧图像相减获取人脸图像变化区域，将图像变化区域与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
进一步，所述人脸检测模块采用MTCNN算法对当前帧图像进行人脸检测并获取人脸landmark的位置。
进一步，所述比对判断模块具体用于：
差异图获取模块，用于对当前帧图像进行灰度化处理，得到当前帧灰度图像，并将其上一帧灰度图像进行减操作，获取当前帧灰度图像与上一帧灰度图像的差异图；
轮廓检测模块，用于对所述差异图进行二值化处理，并检测差异图的轮廓；
眨眼判定模块，将差异图的轮廓与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
进一步，所述轮廓检测模块，还用于在对所述差异图进行二值化处理后，对差异图进行开操作，去除差异图中的噪点。
本发明的有益效果是：
1.该方法只需要对图像进行灰度化，减运算，二值化，开运算等简单的操作，计算量小，延时低，占用资源少
2.该方法通过前后图像比对计算变化区域，对于光线环境不敏感，在各种环境中都能准确提取眨眼时发生的图像变化区域。
附图说明
图1为本发明提供的一种眨眼检测方法流程示意图；
图2为本发明提供的一种眨眼检测装置结构示意图；
图3为本发明提供的比对判断模块结构示意图。
具体实施方式
以下结合实例对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明一方面提供一种眨眼检测方法，如图1所述，包括以下步骤：
步骤1，每经过预设的时间间隔提取一帧由图像采集装置采集的图像；
步骤2，对当前帧图像进行人脸检测并获取人脸landmark的位置；
步骤3，利用当前帧图像与上一帧图像相减获取人脸图像变化区域，将图像变化区域与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置(例如，鼻子位置)没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
进一步，所述预设的时间间隔为20～500ms，优选100ms。
进一步，步骤2中采用MTCNN算法对当前帧图像进行人脸检测并获取人脸landmark的位置。通过MTCNN算法可获取人脸的位置以及人脸landmark的位置，准确率高，速度快。
进一步，步骤3包括：
对当前帧图像进行灰度化处理，得到当前帧灰度图像，并将其上一帧灰度图像进行减操作，获取当前帧灰度图像与上一帧灰度图像的差异图；
对所述差异图进行二值化处理，并检测差异图的轮廓；
将差异图的轮廓与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若鼻子位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
进一步，对所述差异图进行二值化处理后，还包括对二值化后的差异图进行开操作，去除差异图中的噪点。
本发明另一方面提供一种眨眼检测装置，如图2所示，包括：
图像获取模块，用于每经过预设的时间间隔提取一帧由图像采集装置采集的图像；
人脸检测模块，用于对当前帧图像进行人脸检测并获取人脸landmark的位置；
比对判断模块，用于利用当前帧图像与上一帧图像相减获取人脸图像变化区域，将图像变化区域与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置(例如，鼻子位置)没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
进一步，所述人脸检测模块采用MTCNN算法对当前帧图像进行人脸检测并获取人脸landmark的位置。
进一步，所述比对判断模块，如图3所示，包括：
差异图获取模块，用于对当前帧图像进行灰度化处理，得到当前帧灰度图像，并将其上一帧灰度图像进行减操作，获取当前帧灰度图像与上一帧灰度图像的差异图；
轮廓检测模块，用于对所述差异图进行二值化处理，并对差异图进行开操作，去除差异图中的噪点，然后检测差异图的轮廓；
眨眼判定模块，将差异图的轮廓与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
该方法只需要对图像进行灰度化，减运算，二值化，开运算等简单的操作，计算量小，延时低，占用资源少；而且该方法通过前后图像比对计算变化区域，对于光线环境不敏感，在各种环境中都能准确提取眨眼时发生的图像变化区域。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种眨眼检测方法，其特征在于，包括以下步骤：
步骤1，每经过预设的时间间隔提取一帧由图像采集装置采集的图像；
步骤2，对当前帧图像进行人脸检测并获取人脸landmark的位置；
步骤3，利用当前帧图像与上一帧图像相减获取人脸图像变化区域，将图像变化区域与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
2.根据权利要求1所述一种眨眼检测方法，其特征在于，所述预设的时间间隔为20～500ms。
3.根据权利要求1所述一种眨眼检测方法，其特征在于，步骤2中采用MTCNN算法对当前帧图像进行人脸检测并获取人脸landmark的位置。
4.根据权利要求1所述一种眨眼检测方法，其特征在于，步骤3包括：
对当前帧图像进行灰度化处理，得到当前帧灰度图像，并将其上一帧灰度图像进行减操作，获取当前帧灰度图像与上一帧灰度图像的差异图；
对所述差异图进行二值化处理，并检测差异图的轮廓；
将差异图的轮廓与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
5.根据权利要求4所述一种眨眼检测方法，其特征在于，对所述差异图进行二值化处理后，还包括对二值化后的差异图进行开操作，去除差异图中的噪点。
6.一种眨眼检测装置，其特征在于，包括：
图像获取模块，用于每经过预设的时间间隔提取一帧由图像采集装置采集的图像；
人脸检测模块，用于对当前帧图像进行人脸检测并获取人脸landmark的位置；
比对判断模块，用于利用当前帧图像与上一帧图像相减获取人脸图像变化区域，将图像变化区域与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
7.根据权利要求6所述一种眨眼检测装置，其特征在于，所述预设的时间间隔为20～500ms。
8.根据权利要求6所述一种眨眼检测装置，其特征在于，所述人脸检测模块采用MTCNN算法对当前帧图像进行人脸检测并获取人脸landmark的位置。
9.根据权利要求6所述一种眨眼检测装置，其特征在于，所述比对判断模块包括：
差异图获取模块，用于对当前帧图像进行灰度化处理，得到当前帧灰度图像，并将其上一帧灰度图像进行减操作，获取当前帧灰度图像与上一帧灰度图像的差异图；
轮廓检测模块，用于对所述差异图进行二值化处理，并检测差异图的轮廓；
眨眼判定模块，将差异图的轮廓与当前帧图像的人脸检测区域以及人脸landmark位置进行比对，若标定位置没有变化而双眼区域出现变化，则认为发生一次眨眼动作。
10.根据权利要求9所述一种眨眼检测装置，其特征在于，所述轮廓检测模块，还用于在对所述差异图进行二值化处理后，对差异图进行开操作，去除差异图中的噪点。
CN201810037142.3A 2018-01-15 2018-01-15 一种眨眼检测方法及装置 Pending CN108304784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810037142.3A CN108304784A (zh) 2018-01-15 2018-01-15 一种眨眼检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810037142.3A CN108304784A (zh) 2018-01-15 2018-01-15 一种眨眼检测方法及装置

Publications (1)

Publication Number Publication Date
CN108304784A true CN108304784A (zh) 2018-07-20

Family

ID=62869138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810037142.3A Pending CN108304784A (zh) 2018-01-15 2018-01-15 一种眨眼检测方法及装置

Country Status (1)

Country Link
CN (1) CN108304784A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913873A (zh) * 2020-06-17 2020-11-10 浙江数链科技有限公司 图片校验方法、装置、系统和计算机可读存储介质
CN113283318A (zh) * 2021-05-13 2021-08-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799277A (zh) * 2012-07-26 2012-11-28 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及系统
CN103514440A (zh) * 2012-06-26 2014-01-15 谷歌公司 面部识别
CN104318237A (zh) * 2014-10-28 2015-01-28 厦门大学 基于人脸识别的疲劳驾驶预警方法
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
CN105117681A (zh) * 2015-06-29 2015-12-02 电子科技大学 基于安卓的多特征疲劳实时检测方法
CN105184277A (zh) * 2015-09-29 2015-12-23 杨晴虹 活体人脸识别方法以及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514440A (zh) * 2012-06-26 2014-01-15 谷歌公司 面部识别
CN102799277A (zh) * 2012-07-26 2012-11-28 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及系统
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
CN104318237A (zh) * 2014-10-28 2015-01-28 厦门大学 基于人脸识别的疲劳驾驶预警方法
CN105117681A (zh) * 2015-06-29 2015-12-02 电子科技大学 基于安卓的多特征疲劳实时检测方法
CN105184277A (zh) * 2015-09-29 2015-12-23 杨晴虹 活体人脸识别方法以及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
T.N. BHASKAR等: "Blink Detection and Eye Tracking for Eye Localization", 《TENCON 2003. CONFERENCE ON CONVERGENT TECHNOLOGIES FOR ASIA-PACIFIC REGION》 *
常胜江等: "人眼检测技术研究进展", 《数据采集与处理》 *
武照敏: "基于眨眼动作的低成本人机交互系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
牛慧萍: "基于DSP的人眼状态信息检测系统的研究和设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
蒋宇婷等: "基于LabVIEW的电脑使用疲劳预警系统设计", 《测控技术》 *
马文芹: "基于局部特征的人脸识别身份验证系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913873A (zh) * 2020-06-17 2020-11-10 浙江数链科技有限公司 图片校验方法、装置、系统和计算机可读存储介质
CN113283318A (zh) * 2021-05-13 2021-08-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN105740945B (zh) 一种基于视频分析的人群计数方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN102799875B (zh) 任意手形人手跟踪方法
WO2009040976A1 (ja) 対象物追跡装置および対象物追跡方法
WO2016154435A1 (en) Positioning feature points of human face edge
WO2014092552A3 (en) Non-static foreground feature extraction and classification
CN108304784A (zh) 一种眨眼检测方法及装置
CN102307274A (zh) 基于边缘检测和帧差法的运动检测方法
CN108399388A (zh) 一种中高密度人群数量统计方法
CN104680521B (zh) 一种改进的背景建模及前景检测方法
CN104683765B (zh) 一种基于移动物体侦测的视频浓缩方法
CN107977983A (zh) 一种基于改进型ViBe的鬼影和静止目标抑制方法
CN104809482A (zh) 一种基于个体学习的疲劳检测方法
CN102043957B (zh) 基于图像凹点的车辆分割方法
CN107025633B (zh) 一种图像处理方法及装置
CN108062742B (zh) 一种利用数字图像处理和变形的眉毛更换方法
CN108010050B (zh) 一种基于自适应背景更新和选择性背景更新的前景检测方法
CN106897711A (zh) 健康状态监控的方法、设备
CN103996199A (zh) 一种基于深度信息的运动检测方法
CN110991250B (zh) 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统
Takahashi et al. Eye blink detection using monocular system and its applications
CN109901701A (zh) 一种基于计算机视觉的鼠标操作系统
Ning et al. Face detection based on skin color extraction scheme
CN107610135A (zh) 基于测地线距离算法和形态学识别的快速手指分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720