CN108537138A - 一种基于机器视觉的眼睛闭合度计算方法 - Google Patents

一种基于机器视觉的眼睛闭合度计算方法 Download PDF

Info

Publication number
CN108537138A
CN108537138A CN201810227915.4A CN201810227915A CN108537138A CN 108537138 A CN108537138 A CN 108537138A CN 201810227915 A CN201810227915 A CN 201810227915A CN 108537138 A CN108537138 A CN 108537138A
Authority
CN
China
Prior art keywords
eyes
video
roi
area
frame number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810227915.4A
Other languages
English (en)
Inventor
钱丽萍
吴春旭
冯安琪
黄玉蘋
吴远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810227915.4A priority Critical patent/CN108537138A/zh
Publication of CN108537138A publication Critical patent/CN108537138A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

一种基于机器视觉的眼睛闭合度计算方法，包括以下步骤：1)采集一段视频，对视频中的每一帧进行处理，图片处理过程包括图片增强技术、阈值分割、腐蚀、膨胀技术，然后求出眼睛的闭合度；2)根据步骤1)所求的闭合度值，结合判断阈值判断出眼睛的状态；3)统计一段视频中的闭眼状态数帧数，视频总的帧数以及未检测到人眼的帧数，利用帧数求所要检测视频中闭眼时间所占比；4)结合PERCLOS准则对驾驶员状态进行判断。本发明有效计算眼睛的闭合度，并结合判断阈值，判断眼睛的闭合情况，从而有效、准确的评估驾驶员的状态。

Description

一种基于机器视觉的眼睛闭合度计算方法
技术领域
本发明涉及疲劳驾驶检测技术领域，尤其是一种基于机器视觉的眼睛闭合度计算方法。该方法可以有效的解决由于图片中人脸大小不同而引起的错误判断，能够很好的适应现实生活中由于人脸距离摄像头的远近而导致的取样偏差。
背景技术
在过去的十年中，尽管交通安全得到了很大的改善，但在世界各地仍然有一些严重的事故发生。引起这些事故的原因绝大部分是由于人为错误引起的，尤其是疲劳或分心驾驶。根据一项关于安全驾驶的调查，25％～30％的驾驶事故与疲劳驾驶有关。在美国，每年约有13％的重大事故是由于司机的疲劳驾驶引发的，与此同时，英国多达20％的道路交通事故是由上述原因造成的。交通事故对每个人都可能造成身体上、财产上和精神上的损害。因此，研发检测驾驶员疲劳程度的系统对于防止此类严重事故的发生至关重要。
疲劳驾驶检测主要分为三类：1)基于车辆行驶状态的检测；2)基于驾驶员生理信息的检测；3)基于驾驶员行为状态的检测。
基于车辆状态方法是通过安装在车辆上的各种传感器采集车辆行驶中的状态信息，如速度、加速度、方向盘的方向、油门大小等，利用马尔科夫模型、随机向量场和增强学习方法来评估车辆行驶状态，从而间接预防疲劳驾驶。可是现实生活中，车辆的运动情况与驾驶员的驾驶习惯、驾驶技术以及车辆参数和路况等不确定因素有关，因此还没有一个稳定的解决方案。基于驾驶员生理参数是通过检测器来检测人的体征参数，如心电波、脑电波，尽管这种方式的测量准确度最高，可实施过程中，该种方法的缺点是驾驶员必须穿戴精密的测量仪器，这对驾驶员驾驶汽车时极其不利，而且昂贵的测量设备也不是所有的车主所能承受的。最常用的测量手段是通过摄像头采集驾驶员的行为，并通过图像处理以及机器视觉中的人脸分类器、人眼分类器进行人脸人眼进行标定，然后对人眼状态进行检测，结合PERCLOS(单位时间内眼睛闭合时间所占比例)判断准则对驾驶员状态进行判断，经研究对比，PERCLOS的P80准则与驾驶疲劳程度的相关性最好，即一段时间内闭眼状态时间比超过80％即判定为疲劳状态。在对人眼状态进行判断时，常用的方法如模板匹配、二次线性拟合法、角点检测法都不能对人眼状态进行准确估算。
发明内容
为了解决现有技术的由于取样时人脸距离摄像头的远近导致的人物头像尺寸不同引起的判断错误的不足，更好的计算眼睛的闭合度，更准确判断眼部状态，本发明提出一种基于机器视觉的眼睛闭合度计算方法，有效计算眼睛的闭合度，并结合判断阈值，判断眼睛的闭合情况，从而有效、准确的评估驾驶员的状态。
本发明解决其技术问题所采用的技术方案是：
一种基于机器视觉的眼睛闭合度计算方法，所述方法包括以下步骤：
1)采取一段视频，对视频中的每一帧进行处理，其中，图片处理过程包括图片增强技术、阈值分割、腐蚀和膨胀技术，步骤如下：
步骤1.1：读取所测视频中的每一帧图片，根据Viola-Jones算法中的人脸分类器，从采集到的图像中检测出人脸，并把人脸区域从图片中标记出来；
步骤1.2：利用机器视觉中的眼部分类器从人脸区域中标定出眼部区域ROI，记其面积为A；
步骤1.3：在步骤1.2标出ROI的基础上，如果ROI是彩色图，就对ROI进行灰度化处理，如果ROI已经是灰度图就直接进入步骤1.4；
步骤1.4：将ROI的灰度值拉伸；
步骤1.5：利用Otsu法求ROI的分割阈值m，然后根据求出的阈值对ROI进行二值化处理，灰度值小于m的设置为零，灰度值大于m的设置为255；
步骤1.6：利用膨胀、腐蚀技术对二值图像进行平滑处理，此时双眼的面积可以由黑色区域进行表示；
步骤1.7：统计步骤1.6中黑色像素的个数，即眼睛所占的面积B，再计算ROI总像素数，即ROI的面积A；
步骤1.8：用眼睛所占的面积A比上ROI的面积B得到一个比值P，也就是眼睛的闭合度，其方程表示如下：
在此，各参数定义如下：
P：眼睛的闭合度；
A：眼睛所占的面积；
B：ROI的面积；
2)根据步骤1)中所得到的闭合度判断眼睛状态S，其中，用P＝0.15作为阈值来判断眼睛状态，即当P>0.15时为眼睛睁开状态，当P<0.15时为眼睛闭合状态；
3)根据步骤2)中的判断值，判断并统计一段视频中的闭眼状态帧数N，这段视频中的总的帧数用T表示，其中没有检测到人眼的帧数用M表示。利用帧数求所要检测的视频中闭眼时间所占比K由如下公式计算：
其中，上述步骤中各参数定义如下：
K：闭眼状态占所测视频中的百分比；
N：视频中闭眼状态帧数；
T：所测视频中总的帧数；
M：所测视频中没有检测到人眼区域的帧数；
4)根据计算出的K值，结合PERCLOS判断准则判断司机的疲劳程度。
进一步，述步骤1.1中，当利用人脸分类器进行检测时，还要考虑到多个人的情况，此时，根据所检测到的所有人脸的面积，取人脸面积最大的作为研究对象，去除次要人物对检测的影响。在步骤1.2中，使用的是双眼分类器以获取双眼区域的面积。相较于单眼分类器，双眼分类器可以更准确、更稳定的标定眼部区域。使用步骤1.8中的计算方法得出眼睛的闭合度，该方法可以有效适应不同尺寸下眼睛闭合度的求解，有效解决了因摄像机采样距离不同引起的测量错误。
本发明的有益效果表现在：结合机器视觉检测出ROI，利用处理后眼睛部分占眼部区域的比来判断眼部状态。现实生活中因采样距离不同导致图像中人眼大小不同，这对判断影响非常大。该算法可有效的解决由于不同尺寸图片中人眼大小不同引起的错误判断。传统检测方法中的焦点检测法中需要用到的红外摄像机，红外摄像机比普通摄像机价格昂贵；其次，红外线长时间照射也会对眼睛造成伤害。基于机器视觉的眼睛闭合度计算方法是在自然光的条件下进行的，采用普通摄像机对驾驶员进行图像采集，花费小，对眼睛没有伤害且准确度高。
附图说明
图1图片处理流程图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
参照图1，一种基于机器视觉的眼睛闭合度计算方法，所述方法包括以下步骤：
1)如图1所示，采取一段视频，对视频中的每一帧进行处理，其中，图片处理过程包括图片增强技术、阈值分割、腐蚀和膨胀技术，步骤如下：
步骤1.1：读取所测视频中的每一帧图片，根据Viola-Jones算法中的人脸分类器，从采集到的图像中检测出人脸，并把人脸区域从图片中标记出来；
步骤1.2：利用机器视觉中的眼部分类器从人脸区域中标定出眼部区域(ROI)，记其面积为A；
步骤1.3：在步骤1.2标出ROI的基础上，如果ROI是彩色图，就对ROI进行灰度化处理，如果ROI已经是灰度图就直接进入步骤1.4；
步骤1.4：为了增强眼睛的区分度，将ROI的灰度值拉伸；
步骤1.5：利用Otsu法求ROI的分割阈值m，然后根据求出的阈值对ROI进行二值化处理，灰度值小于m的设置为零，灰度值大于m的设置为255；
步骤1.6：二值化后的图像会有一些噪点，因此利用膨胀、腐蚀技术对二值图像进行平滑处理，此时双眼的面积可以由黑色区域进行表示；
步骤1.7：统计步骤1.6中黑色像素的个数，即眼睛所占的面积B。再计算ROI总像素数，即ROI的面积A；
步骤1.8：用眼睛所占的面积A比上ROI的面积B可以得到一个比值P，也就是眼睛的闭合度，其方程表示如下：
在此，各参数定义如下：
P：眼睛的闭合度；
A：眼睛所占的面积；
B：ROI的面积；
2)根据步骤1)中所得到的闭合度判断眼睛状态S，其中，用P＝0.15作为阈值来判断眼睛状态，即当P>0.15时为眼睛睁开状态，当P<0.15时为眼睛闭合状态。
3)根据步骤2)中的判断值，判断并统计一段视频中的闭眼状态帧数N，这段视频中的总的帧数用T表示，其中没有检测到人眼的帧数用M表示。利用帧数求所要检测的视频中闭眼时间所占比K由如下公式计算：
其中，上述步骤中各参数定义如下：
K：闭眼状态占所测视频中的百分比；
N：视频中闭眼状态帧数；
T：所测视频中总的帧数；
M：所测视频中没有检测到人眼区域的帧数
4)根据计算出的K值，结合PERCLOS判断准则判断司机的疲劳程度。
进一步，所述步骤1.1中，当利用人脸分类器进行检测时，还要考虑到多个人的情况，此时，我们根据所检测到的所有人脸的面积，取人脸面积最大的作为研究对象。去除次要人物对检测的影响。在步骤1.2中，使用的是双眼分类器以获取双眼区域的面积。相较于单眼分类器，双眼分类器可以更准确、更稳定的标定眼部区域。使用步骤1.8中的计算方法得出眼睛的闭合度，该方法可以有效解决不同尺寸图片眼睛闭合度的问题，克服了摄像机因采样距离远近不同而引起的图片中人物大小不同问题。
对运营商而言，采用基于机器视觉的眼睛闭合度计算方法进行疲劳驾驶检测只需要安装普通的摄像头，不必装置价格昂贵的红外摄像机，降低成本，而且对人眼没有任何危害，更为亲民健康，从而为运营商创造更高的利润；与此同时，该算法具有较强的自适应性，检测结果更为准确，可以提升运营商的口碑和声誉，进一步赢得消费者的信赖，从而进一步扩大市场占有率。
本实施着眼于一种基于机器视觉的眼睛闭合度计算方法，即结合机器视觉检测出ROI，利用处理后眼睛部分占眼部区域的比来判断眼部状态。现实生活中因采样距离不同导致图像中人眼大小不同，这对判断影响非常大。该算法可有效的解决由于不同尺寸图片中人眼大小不同引起的错误判断。传统检测方法中的焦点检测法中需要用到的红外摄像机，红外摄像机比普通摄像机价格昂贵；其次，红外线长时间照射也会对眼睛造成伤害。基于机器视觉的眼睛闭合度计算方法是在自然光的条件下进行的，采用普通摄像机对驾驶员进行图像采集，花费小，对眼睛没有伤害且准确度高。

Claims (3)

1.一种基于机器视觉的眼睛闭合度计算方法，其特征在于，所述方法包括以下步骤：
1)采取一段视频，对视频中的每一帧进行处理，其中，图片处理过程包括图片增强技术、阈值分割、腐蚀和膨胀技术，步骤如下：
步骤1.1：读取所测视频中的每一帧图片，根据Viola-Jones算法中的人脸分类器，从采集到的图像中检测出人脸，并把人脸区域从图片中标记出来；
步骤1.2：利用机器视觉中的眼部分类器从人脸区域中标定出眼部区域ROI，记其面积为A；
步骤1.3：在步骤1.2标出ROI的基础上，如果ROI是彩色图，就对ROI进行灰度化处理，如果ROI已经是灰度图就直接进入步骤1.4；
步骤1.4：将ROI的灰度值拉伸；
步骤1.5：利用Otsu法求ROI的分割阈值m，然后根据求出的阈值对ROI进行二值化处理，灰度值小于m的设置为零，灰度值大于m的设置为255；
步骤1.6：利用膨胀、腐蚀技术对二值图像进行平滑处理，此时双眼的面积可以由黑色区域进行表示；
步骤1.7：统计步骤1.6中黑色像素的个数，即眼睛所占的面积B，再计算ROI总像素数，即ROI的面积A；
步骤1.8：用眼睛所占的面积A比上ROI的面积B得到一个比值P，也就是眼睛的闭合度，其方程表示如下：
在此，各参数定义如下：
P：眼睛的闭合度；
A：眼睛所占的面积；
B：ROI的面积；
2)根据步骤1)中所得到的闭合度判断眼睛状态(S)，其中，用P＝0.15作为阈值来判断眼睛状态，即当P>0.15时为眼睛睁开状态，当P<0.15时为眼睛闭合状态；
3)根据步骤2)中的判断值，判断并统计一段视频中的闭眼状态帧数N，这段视频中的总的帧数用T表示，其中没有检测到人眼的帧数用M表示。利用帧数求所要检测的视频中闭眼时间所占比K由如下公式计算：
其中，上述步骤中各参数定义如下：
K：闭眼状态占所测视频中的百分比；
N：视频中闭眼状态帧数；
T：所测视频中总的帧数；
M：所测视频中没有检测到人眼区域的帧数；
4)根据计算出的K值，结合PERCLOS判断准则判断司机的疲劳程度。
2.如权利要求1所述的一种基于机器视觉的眼睛闭合度计算方法，其特征在于：所述步骤1.1中，当利用人脸分类器进行检测时，还要考虑到多个人的情况，根据所检测到的所有人脸的面积，取人脸面积最大的作为研究对象。
3.如权利要求1或2所述的一种基于机器学习的眼睛闭合度计算方法，其特征在于：在步骤1.2中，使用的是双眼分类器以获取双眼区域的面积。
CN201810227915.4A 2018-03-20 2018-03-20 一种基于机器视觉的眼睛闭合度计算方法 Pending CN108537138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810227915.4A CN108537138A (zh) 2018-03-20 2018-03-20 一种基于机器视觉的眼睛闭合度计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810227915.4A CN108537138A (zh) 2018-03-20 2018-03-20 一种基于机器视觉的眼睛闭合度计算方法

Publications (1)

Publication Number Publication Date
CN108537138A true CN108537138A (zh) 2018-09-14

Family

ID=63484178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810227915.4A Pending CN108537138A (zh) 2018-03-20 2018-03-20 一种基于机器视觉的眼睛闭合度计算方法

Country Status (1)

Country Link
CN (1) CN108537138A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109823345A (zh) * 2019-04-03 2019-05-31 吉林大学 一种基于生理信息的安全驾驶系统
CN110786869A (zh) * 2019-10-29 2020-02-14 浙江工业大学 一种程序员的疲劳程度的检测方法
CN111091031A (zh) * 2018-10-24 2020-05-01 北京旷视科技有限公司 目标对象选取方法和人脸解锁方法
CN112651957A (zh) * 2020-12-31 2021-04-13 执鼎医疗科技（杭州）有限公司 人眼闭眼程度检测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819725A (zh) * 2011-06-07 2012-12-12 鸿富锦精密工业（深圳）有限公司 疲劳状态检测系统及方法
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819725A (zh) * 2011-06-07 2012-12-12 鸿富锦精密工业（深圳）有限公司 疲劳状态检测系统及方法
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛须伟等: "一种基于眼部状态的疲劳驾驶检测方法", 《长春理工大学学报（自然科学版）》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091031A (zh) * 2018-10-24 2020-05-01 北京旷视科技有限公司 目标对象选取方法和人脸解锁方法
CN109823345A (zh) * 2019-04-03 2019-05-31 吉林大学 一种基于生理信息的安全驾驶系统
CN110786869A (zh) * 2019-10-29 2020-02-14 浙江工业大学 一种程序员的疲劳程度的检测方法
CN110786869B (zh) * 2019-10-29 2021-12-21 浙江工业大学 一种程序员的疲劳程度的检测方法
CN112651957A (zh) * 2020-12-31 2021-04-13 执鼎医疗科技（杭州）有限公司 人眼闭眼程度检测装置

Similar Documents

Publication Publication Date Title
CN108537138A (zh) 一种基于机器视觉的眼睛闭合度计算方法
CN112241658B (zh) 一种基于深度相机的疲劳驾驶预警方法
CN103824420B (zh) 基于心率变异性非接触式测量的疲劳驾驶识别系统
US9483695B2 (en) Cost effective and robust system and method for eye tracking and driver drowsiness identification
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN108053615A (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN103714659B (zh) 基于双光谱融合的疲劳驾驶识别系统
CN106846734A (zh) 一种疲劳驾驶检测装置及方法
CN105404862A (zh) 一种基于手部跟踪的安全驾驶检测方法
CN101593352A (zh) 基于面部朝向和视觉焦点的驾驶安全监测系统
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN102555982A (zh) 基于机器视觉的安全带佩带识别方法及装置
CN104881956A (zh) 一种疲劳驾驶预警系统
CN103729646B (zh) 一种眼睛图像有效性检测方法
Chen Research on driver fatigue detection strategy based on human eye state
RU2413632C2 (ru) Способ предупреждения засыпания водителя транспортного средства
JP4107087B2 (ja) 開閉眼判定装置
CN103942527A (zh) 利用眼镜分类器的眼睛离开道路分类
CN111104817A (zh) 一种基于深度学习的疲劳检测方法
CN112528767A (zh) 基于机器视觉的施工机械操作员疲劳作业检测系统及方法
CN105894732A (zh) 一种疲劳驾驶监测系统
Jimenez et al. Detection of the tiredness level of drivers using machine vision techniques
CN111860437A (zh) 一种基于面部表情判断疲劳程度的方法及装置
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914