CN103729646A - 一种眼睛图像有效性检测方法 - Google Patents

一种眼睛图像有效性检测方法 Download PDF

Info

Publication number
CN103729646A
CN103729646A CN201310713510.9A CN201310713510A CN103729646A CN 103729646 A CN103729646 A CN 103729646A CN 201310713510 A CN201310713510 A CN 201310713510A CN 103729646 A CN103729646 A CN 103729646A
Authority
CN
China
Prior art keywords
eye image
image
camera
eye
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310713510.9A
Other languages
English (en)
Other versions
CN103729646B (zh
Inventor
秦华标
刘军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201310713510.9A priority Critical patent/CN103729646B/zh
Publication of CN103729646A publication Critical patent/CN103729646A/zh
Application granted granted Critical
Publication of CN103729646B publication Critical patent/CN103729646B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种眼睛图像有效性检测方法,属于图像处理和模式识别领域,适用于驾驶员疲劳检测。该方法包括两个位于用户前方左右放置的红外滤光片摄像头,初始时设置一个摄像头为有效摄像头,另一个为无效摄像头;用户工作过程中,从当前有效摄像头采集一帧用户图像,进行人脸检测和眼睛检测;然后截取潜在真实的眼睛图像,进行眼镜反光检测;若检测为眼镜反光,则判定该潜在真实的眼睛图像是无效眼睛图像,并对双摄像头进行乒乓切换;若未检测到眼镜反光,对潜在真实的眼睛图像进行眼睛验证,最终判别是否为有效眼睛图像。本发明对眼睛图像进行有效性判别,可确保检测到的眼睛图像为真实的、有效的眼睛图像,提高驾驶员疲劳检测的准确率。

Description

一种眼睛图像有效性检测方法
技术领域
本方法属于图像处理和模式识别领域,涉及一种眼睛图像有效性的检测方法。
背景技术
在目前的道路交通安全问题中,近年来由于驾驶员疲劳驾驶而造成的交通事故率也是快速增长,美国国家公路交通安全局(NHTSA)对近2005—2009年疲劳驾驶造成的交通事故作了详尽的调查,调查显示:美国2005—2009年与疲劳驾驶有关的车祸平均每年达886起,因此而造成的平均死亡人数达1004人(平均占交通事故中总的死亡人数的2.5%),37000人受伤。详见文献:NHTSA.“Drowsy Driving[R]”.Traffic Safety Facts Crash Stats.(2011.3).所述。相比于醉酒驾驶、超速驾驶等易检测的违法驾驶行为,疲劳驾驶的鉴定和防治都是一个难以解决的问题。
因此,在预防和检测驾驶员疲劳驾驶的技术方法上,国际上许多研究人员根据驾驶员疲劳时在生理和操作上的特征进行了多方面的研究,目前常用的驾驶员疲劳检测方法大致可分为以下四类:基于驾驶员操作行为的检测方法、基于车辆行驶特征的检测方法、基于生理特征的接触式检测方法和基于视觉特征的非接触式检测方法。基于驾驶员操作行为和基于车辆行驶特征的疲劳驾驶检测方法均受到个人习惯、道路环境、操作技能等因素的影响,准确性受到局限;基于生理特征的接触式检测方法需要驾驶员穿戴一些特殊的传感器装置,采集人体的血压或脑电信号,会给驾驶员带来极大的不适,因此适用性并不高;而基于视觉特征的非接触式检测方法,通过图像采集装置采集驾驶员驾驶时的脸部图像,利用图像处理和模式识别的方法,分析驾驶员的脸部特征,判别驾驶员是否处理疲劳状态。此方法不需要接触式的传感器装置,并且不受驾驶习惯、操作技能等主观因素的影响,在准确性和适用性上都得到了保证,是目前研究人员普遍采用的一种方法。
基于视觉特征的非接触式检测方法,一般采用PERCLOS(Percent Eyelid Closure overthe Pupil Time,在一定时间内眼睛闭合时间占总时间的比例)作为驾驶员疲劳程度的评判指标,通过实时监测驾驶员驾驶时的眼睛睁闭程度来判别驾驶员是否处于疲劳状态。美国联邦公路管理局(Federal Highway Administration)为了分析PERCLOS对驾驶疲劳评价的有效性,将其和其他测评方法(EEG算法、头部位置和眨眼频率等)做了对比实验,结果发现PERCLOS各指标和驾驶疲劳的程度相关性最好。详见文献:Dinges D.F.,Grace R.“PERCLOS:A Valid Psychophysiological Measure of Alertness As Assessed by PsychomotorVigilance[R]”.Federal Highway Administration Office of Motor Carriers,1998:26-29.所述。而眼睛状态识别方法也成为了基于视觉特征的驾驶员检测方法中的关键技术。在实际环境中,由于复杂光照、驾驶员头部转动、戴眼镜反光等因素的影响,造成眼睛图像特征部分或者完全丢失,此时仍然对提取的眼睛图像进行眼睛状态识别已经没有意义。在人脸识别领域,许多研究人员对采集的图像进行质量评估,对低质量的人脸图像不进行识别。详见文献:GAO Xiu-feng,ZHANG Pei-ren,LI Zi-qing.“Standardization of face image samplequality[J]”.Journal of Chinese Computer Systems.2009,30(1):95-99.所述。
目前在驾驶疲劳检测领域,还很少有研究人员对眼睛图像的质量进行评估,往往对定位的眼睛位置提取眼睛图像后,直接进行眼睛状态识别,在实际驾驶环境中,这样将导致极大的错误识别率,在实际系统中误报率非常严重,会给正常驾驶带来极大干扰。
发明内容
有鉴于此,本发明的目的在于提出一种眼睛图像有效性的检测方法,在实际环境中,排除那些由于戴眼镜反光、复杂光照、头部转动导致眼睛图像特征大部分丢失的眼睛样本,确保输入到眼镜状态识别中的眼睛图像是真实的、有效的眼睛图像,从而提高驾驶员疲劳检测的准确率。
实现本发明目的的技术解决方案为:一种眼睛图像有效性的检测方法,步骤为:
步骤1:建立眼睛图像验证样本数据库A;
所述眼睛图像验证样本数据库A包括正样本库A1和负样本库A2,A中包含的图像数量为N,A1是由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的眼睛图像组成,眼睛图像包括睁眼和闭眼图像,每幅眼睛图像的大小为W×H;A2是由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的非眼睛图像组成,每幅非眼睛图像的大小为W×H;
步骤2:建立眼睛图像测试样本数据库B;
所述眼睛图像测试样本数据库B包括M个子库B1,…,Bi,…,BM,1≤i≤M,每个子库Bi包含正样本库和负样本库
Figure BDA0000443328310000022
,每个子库Bi包含的图像数量为N′,N′<N,B中每幅图像均不同于A中每幅图像;其中,正样本库
Figure BDA0000443328310000023
由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的眼睛图像组成,眼睛图像包括睁眼和闭眼图像,每幅眼睛图像的大小为W×H;负样本库
Figure BDA0000443328310000031
由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的非眼睛图像组成,每幅非眼睛图像的大小为W×H;
步骤3:根据步骤1建立的眼睛图像验证样本数据库A,提取A中每幅图像的HOG(Histograms of Oriented Gradients)特征描述向量,一共生成N个HOG特征描述向量,并输入径向基核函数的SVM(Support Vector Machine)模型中进行训练,最后训练得到眼睛图像验证分类器C0
步骤4:利用步骤3得到的C0对步骤2中子库B1的眼睛图像和非眼睛图像进行分类,将分类错误的眼睛图像加入A1中,分类错误的非眼睛图像加入A2中,按照步骤3方法重新对A进行训练,得到眼睛图像验证分类器C1;依此进行,对子库B2,…,Bi,…,BM,2≤i≤M,进行M-1次迭代训练,得到最终的眼睛图像验证分类器CM
步骤5:在用户工作过程中,两个位于用户前方左右放置的红外滤光片摄像头,初始时设置一个摄像头为有效摄像头,另一个为无效摄像头;从当前有效摄像头采集一帧用户图像,对用户图像进行Adaboost(Adaptive Boost)人脸检测,如果检测到人脸,则截取当前帧的人脸图像,并执行步骤6;如果检测不到人脸,则跳过当前帧用户图像,从当前有效摄像头采集下一帧用户图像执行步骤5;
步骤6:根据步骤5截取的人脸图像,利用眼睛几何位置信息和Adaboost眼睛检测算法,定位人脸图像的眼睛位置,并根据眼睛位置截取潜在真实的眼睛图像;如果定位不到眼睛,则跳过此帧人脸图像,从当前有效摄像头采集下一帧用户图像执行步骤5;
步骤7:根据步骤6截取的潜在真实的眼睛图像,提取眼镜反光特征,实现眼镜反光的检测,若检测到眼镜反光,则判定潜在真实的眼睛图像是无效眼睛图像,并设置当前摄像头为无效摄像头,设置另外一个摄像头为当前有效摄像头,完成摄像头乒乓切换;若没有检测到眼镜反光,则执行步骤8;
步骤8:根据步骤6截取的潜在真实的眼睛图像,提取HOG特征描述向量V,将V输入到步骤4中得到的眼睛图像验证分类器CM进行判别,若判别为眼睛图像,则该潜在真实的眼睛图像是有效眼睛图像,若判别为非眼睛图像,则该潜在真实的眼睛图像是无效眼睛图像。
上述方法中,所述步骤7中眼镜反光检测步骤包括:
71):以眼镜反光时出现的高亮度斑点为特征,选取阈值T1对眼睛图像进行二值化;
72):利用5×5的结构元对71)中的二值化后的眼睛图像依次进行一次腐蚀和一次膨胀,去除干扰噪声点,得到图像f′;
73):计算图像f′内的最大团块的轮廓;
74):计算出73)中轮廓的白色像素点的个数,选取阈值T2检测是否出现眼镜反光。
上述方法中,所述步骤7检测到眼镜反光时双摄像进行乒乓切换,即当前有效摄像头采集的眼睛图像检测出眼镜反光时,则设置当前摄像头为无效摄像头,设置另外一个无效摄像头为有效摄像头,完成眼镜反光时双摄像头乒乓切换。
上述方法中,所述步骤8中,若没有检测到眼镜反光,则根据步骤6中截取的潜在真实的眼睛图像,进一步进行眼睛图像有效性的验证,具体包括以下步骤:
81):根据步骤6中截取的潜在真实的眼睛图像,将该眼睛图像归一化到W×H的矩形大小,提取该眼睛图像的HOG特征描述向量V;
82):根据步骤4中通过迭代训练得到的眼睛图像验证分类器CM,将81)中得到的HOG特征描述向量V输入到CM中,利用CM进行判别。若CM输出1,则判别该潜在真实的眼睛图像是有效眼睛图像;若CM输出0,则判别该潜在真实的眼睛图像是无效眼睛图像。
与现有技术相比,本发明具有如下优点和技术效果:
1、提出了一种眼睛图像有效性检测方法,该方法对于头部转动、光照变化等方面均具有较好的鲁棒性,并且能识别出眼镜反光的情况,应用在驾驶员疲劳检测中,可确保输入的眼睛图像为真实的、有效的眼睛图像,而非眼睛误定位的图像或者其他恶劣条件下提取的眼睛图像,能够极大地提高后续眼睛状态识别的准确率;
2、提出了眼镜反光时双摄像头切换方法,使得下一帧输入的眼睛图像不会出现眼镜反光的情况,克服了驾驶员疲劳检测中经常碰到的眼镜反光问题;
3、本方法时间复杂度低,配合眼睛状态识别算法也能达到实时处理;
4、本方法使用单目视觉,避免接触式检测,不会给驾驶员带来不便,实用性强;
5、本方法可采用和疲劳检测系统的同一个图像采集装置,配置简单、硬件成本低,易于推广。
附图说明
图1是本发明一种眼睛图像有效性检测方法的整体流程图。
图2是本发明一种眼睛图像有效性检测方法的图像采集系统结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
结合图1,本发明一种眼睛图像有效性检测方法,具体实施方式如下:
步骤1:建立眼睛图像验证样本数据库A;
所述眼睛图像验证样本数据库A包括正样本库A1和负样本库A2,A中包含的图像数量为N,A1是由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的眼睛图像组成,眼睛图像包括睁眼和闭眼图像;A2是由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的非眼睛图像组成,每幅眼睛图像和非眼睛图像矩形大小均采用64×48。眼睛图像验证样本数据库A主要用于训练初步眼睛图像验证分类器C0
步骤2:建立眼睛图像测试样本数据库B;
所述眼睛图像测试样本数据库B包括M个子库B1,…,Bi,…,BM,1≤i≤M,每个子库Bi包含正样本库
Figure BDA0000443328310000053
和负样本库
Figure BDA0000443328310000054
,每个子库Bi包含的图像数量为N′,N′<N,B中每幅图像均不同于A中每幅图像,B主要用于后续分类器迭代训练时,获得新的支持向量,从而最终得到鲁棒性最高的眼睛图像验证分类器CM;其中,正样本库
Figure BDA0000443328310000055
由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的眼睛图像组成,眼睛图像包括睁眼和闭眼图像,负样本库
Figure BDA0000443328310000056
由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的非眼睛图像组成,每个子库Bi包含的图像大小均采用64×48。
步骤3:根据步骤1建立的眼睛图像验证样本数据库A,提取A中每幅图像的HOG特征描述向量,一共生成N个HOG特征描述向量,并输入径向基核函数的SVM模型中进行训练,最后训练得到眼睛图像验证分类器C0
具体实施如下:
a)根据步骤1建立的眼睛图像验证样本数据库A,提取A中每幅图像的HOG特征,这里采用一维微分模板对每幅图像进行卷积计算,f(x,y)是(x,y)坐标像素点的灰度值,其中:
梯度幅值: G ( x , y ) = ( f ( x + 1 , y ) - f ( x - 1 , y ) ) 2 + ( f ( x , y + 1 ) - f ( x , y - 1 ) ) 2 ,
梯度方向: &theta; ( x , y ) = tan - 1 ( f ( x , y + 1 ) - f ( x , y - 1 ) f ( x + 1 , y ) - f ( x - 1 , y ) ) ,
从而获取每幅图像中每个像素点的梯度方向和梯度幅值;
b)将数据库A中每一幅眼睛图像和非眼睛图像划分为多个细胞单元(cell),每个单元是8×8像素正方形单元格,将每4个细胞单元组成一个块(block),故每两个相邻块之间有2个重叠的细胞单元,64×48大小的样本图像含有
Figure BDA0000443328310000061
个块;我们对每个细胞单元构建梯度方向直方图,将梯度方向0-179度分为9个等间隔的区间,即(0,19),(20,39),…(160,179)共9个方向区间,并将a)中计算出的每个像素的梯度方向投影到对应的细胞单元的9个方向区间,然后根据梯度幅值对该方向区间作加权累加。最后,每个块生成4×9=36维的特征向量,则数据库A中每幅图像生成了36×35=1260维的HOG特征向量,N幅图像则生成N个1260维HOG特征描述向量;
c)将b)中得到的N个HOG特征向量输入径向基核函数的SVM模型中进行训练,其中SVM的惩罚因子设为1.0,得到初步的眼睛图像验证分类器C0
步骤4:利用步骤3得到的眼睛图像验证分类器C0对步骤2中子库B1的眼睛图像和非眼睛图像进行分类,将分类错误的眼睛图像加入A1中,分类错误的非眼睛图像加入A2中,按照步骤3方法重新对A进行训练,得到眼睛图像验证分类器C1;依此进行,对子库B2,…,Bi,…,BM,2≤i≤M,进行M-1次迭代训练,得到最终的眼睛图像验证分类器CM
步骤5:在用户工作过程中,两个位于用户前方左右放置的红外滤光片摄像头,初始时设置一个摄像头为有效摄像头,另一个为无效摄像头;从当前有效摄像头采集一帧用户图像,对用户图像进行Adaboost人脸检测,如果检测到人脸,则截取当前帧的人脸图像,并执行步骤6;如果检测不到人脸,则跳过当前帧用户图像,从当前有效摄像头采集下一帧用户图像执行步骤5;
上述步骤5实施方式中,在用户工作过程中,两个位于用户前方左右放置的红外滤光片摄像头,初始时设置一个摄像头为有效摄像头,另一个为无效摄像头;这里需要指出的是,本发明是采用中心波长为850nm,半高宽为30nm的带通滤光片的红外摄像头,图像传感器采用分辨率为640×480的CCD传感器,硬件实施方式结构如图2所示,信号处理平台1,摄像头2,红外LED光源3,滤光片4,头部位置5,摄像头2和红外LED光源3分别连接到信号处理平台1。从当前有效摄像头采集一帧用户图像,对用户图像进行Adaboost人脸检测[Viola P.,Jones M..Rapid object detection using a boosted cascade of simplefeatures[C].IEEE Conference on Computer Vision and Pattern Recognition,2001,511~588.],如果检测到人脸,则截取当前帧的人脸图像,并执行步骤6;如果检测不到人脸,则跳过当前帧用户图像,从当前有效摄像头采集下一帧用户图像执行步骤5。
步骤6:根据步骤5截取的人脸图像,利用眼睛几何位置信息和Adaboost眼睛检测算法,定位人脸图像的眼睛位置,并根据眼睛位置截取潜在真实的眼睛图像;如果定位不到眼睛,则跳过此帧人脸图像,从当前有效摄像头采集下一帧用户图像执行步骤5;
上述步骤6实施方式中,根据步骤5截取的人脸区域图像,设人脸的大小为w×h,截取右半人脸图像,截取后的图像包含右眼区域,图像大小为
Figure BDA0000443328310000071
利用Adaboost眼睛检测算法对截取后的右半人脸图像进行眼睛检测,实现眼睛定位,并根据眼睛位置截取潜在真实的眼睛图像,所谓潜在真实是因为可能会出现眼睛误定位的情况,则记录的眼睛图像为非真实的眼睛图像;如果定位不到眼睛,则跳过此帧人脸图像,从当前有效摄像头采集下一帧用户图像执行步骤5。
步骤7:根据步骤6截取的潜在真实的眼睛图像,提取眼镜反光特征,实现眼镜反光的检测,若检测到眼镜反光,则判定潜在真实的眼睛图像是无效眼睛图像,并设置当前摄像头为无效摄像头,设置另外一个摄像头为当前有效摄像头,完成摄像头乒乓切换;若没有检测到眼镜反光,则执行步骤8;
上述步骤7中,眼镜反光的检测具体实施方式如下:
71):以眼镜反光时出现的高亮度斑点为特征,选取阈值T1=250对眼睛图像进行二值化;
72):利用5×5的结构元对71)中的二值化后的眼睛图像依次进行一次腐蚀和一次膨胀,,即形态学开操作f′=(fΘb)⊕b,其中Θ和⊕分别是形态学腐蚀和膨胀操作,去除干扰噪声点,得到图像f′;
73):计算图像f′内的最大团块的轮廓;
74):计算出73)中轮廓的白色像素点的个数,选取阈值T2=50判别是否出现眼镜反光的情况。
步骤8:根据步骤6截取的潜在真实的眼睛图像,提取HOG特征描述向量V,将V输入到步骤4中得到的眼睛图像验证分类器CM进行判别,若判别为眼睛图像,则该潜在真实的眼睛图像是有效眼睛图像,若判别为非眼睛图像,则该潜在真实的眼睛图像是无效眼睛图像。
上述步骤8具体实施方式如下:
81):根据步骤6中截取的潜在真实的眼睛图像,将该眼睛图像归一化到W×H的矩形大小,提取该眼睛图像的HOG特征描述向量V,该过程与步骤3中具体实施方式a)、b)相同;
82):根据步骤4中通过迭代训练得到的眼睛图像验证分类器CM,将81)中得到的HOG特征描述向量V输入到CM中,利用CM进行判别。若CM输出1,则判别该潜在真实的眼睛图像是有效眼睛图像;若CM输出0,则判别该潜在真实的眼睛图像是无效眼睛图像。

Claims (4)

1.一种眼睛图像有效性检测方法,其特征在于步骤为:
步骤1:建立眼睛图像验证样本数据库A;
所述眼睛图像验证样本数据库A包括正样本库A1和负样本库A2,A中包含的图像数量为N,A1是由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的眼睛图像组成,眼睛图像包括睁眼和闭眼图像,每幅眼睛图像的大小为W×H;A2是由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的非眼睛图像组成,每幅非眼睛图像的大小为W×H;
步骤2:建立眼睛图像测试样本数据库B;
所述眼睛图像测试样本数据库B包括M个子库B1,…,Bi,…,BM,1≤i≤M,每个子库Bi包含正样本库
Figure FDA0000443328300000013
和负样本库
Figure FDA0000443328300000012
,每个子库Bi包含的图像数量为N′,N′<N,B中每幅图像均不同于A中每幅图像;其中,正样本库
Figure FDA0000443328300000014
由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的眼睛图像组成,眼睛图像包括睁眼和闭眼图像,每幅眼睛图像的大小为W×H;负样本库
Figure FDA0000443328300000015
由不同光照、不同头部偏转角度、戴眼镜或不戴眼镜情况下采集的非眼睛图像组成,每幅非眼睛图像的大小为W×H;
步骤3:根据步骤1建立的眼睛图像验证样本数据库A,提取A中每幅图像的HOG特征描述向量,一共生成N个HOG特征描述向量,并输入径向基核函数的SVM模型中进行训练,最后训练得到眼睛图像验证分类器C0
步骤4:利用步骤3得到的C0对步骤2中子库B1的眼睛图像和非眼睛图像进行分类,将分类错误的眼睛图像加入A1中,分类错误的非眼睛图像加入A2中,按照步骤3方法重新对A进行训练,得到眼睛图像验证分类器C1;依此进行,对子库B2,…,Bi,…,BM,2≤i≤M,进行M-1次迭代训练,得到最终的眼睛图像验证分类器CM
步骤5:在用户工作过程中,两个位于用户前方左右放置的红外滤光片摄像头,初始时设置一个摄像头为有效摄像头,另一个为无效摄像头;从当前有效摄像头采集一帧用户图像,对用户图像进行Adaboost人脸检测,如果检测到人脸,则截取当前帧的人脸图像,并执行步骤6;如果检测不到人脸,则跳过当前帧用户图像,从当前有效摄像头采集下一帧用户图像执行步骤5;
步骤6:根据步骤5截取的人脸图像,利用眼睛几何位置信息和Adaboost眼睛检测算法,定位人脸图像的眼睛位置,并根据眼睛位置截取潜在真实的眼睛图像;如果定位不到眼睛,则跳过此帧人脸图像,从当前有效摄像头采集下一帧用户图像执行步骤5;
步骤7:根据步骤6截取的潜在真实的眼睛图像,提取眼镜反光特征,实现眼镜反光的检测,若检测到眼镜反光,则判定潜在真实的眼睛图像是无效眼睛图像,并设置当前摄像头为无效摄像头,设置另外一个摄像头为当前有效摄像头,完成摄像头乒乓切换;若没有检测到眼镜反光,则执行步骤8;
步骤8:根据步骤6截取的潜在真实的眼睛图像,提取HOG特征描述向量V,将V输入到步骤4中得到的眼睛图像验证分类器CM进行判别,若判别为眼睛图像,则该潜在真实的眼睛图像是有效眼睛图像,若判别为非眼睛图像,则该潜在真实的眼睛图像是无效眼睛图像。
2.根据权利要求1中所述的一种眼睛图像有效性检测方法,其特征在于步骤7中眼镜反光检测采取的步骤如下:
71):以眼镜反光时出现的高亮度斑点为特征,选取阈值T1对眼睛图像进行二值化;
72):利用5×5的结构元对71)中的二值化后的眼睛图像依次进行一次腐蚀和一次膨胀,去除干扰噪声点,得到图像f′;
73):计算图像f′内的最大团块的轮廓;
74):计算出73)中轮廓的白色像素点的个数,选取阈值T2检测是否出现眼镜反光。
3.根据权利要求1中所述的一种眼睛图像有效性检测方法,其特征在于步骤7中检测到眼镜反光时双摄像进行乒乓切换,即当前有效摄像头采集的眼睛图像检测出眼镜反光时,则设置当前摄像头为无效摄像头,设置另外一个无效摄像头为有效摄像头,完成眼镜反光时双摄像头乒乓切换。
4.根据权利要求1中所述的一种眼睛图像有效性检测方法,其特征在于所述步骤8中,若没有检测到眼镜反光,则根据步骤6中截取的潜在真实的眼睛图像,进一步进行眼睛图像有效性的验证,具体包括以下步骤:
81):根据步骤6中截取的潜在真实的眼睛图像,将该眼睛图像归一化到W×H的矩形大小,提取该眼睛图像的HOG特征描述向量V;
82):根据步骤4中通过迭代训练得到的眼睛图像验证分类器CM,将81)中得到的HOG特征描述向量V输入到CM中,利用CM进行判别;若CM输出1,则判别该潜在真实的眼睛图像是有效眼睛图像;若CM输出0,则判别该潜在真实的眼睛图像是无效眼睛图像。
CN201310713510.9A 2013-12-20 2013-12-20 一种眼睛图像有效性检测方法 Expired - Fee Related CN103729646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310713510.9A CN103729646B (zh) 2013-12-20 2013-12-20 一种眼睛图像有效性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310713510.9A CN103729646B (zh) 2013-12-20 2013-12-20 一种眼睛图像有效性检测方法

Publications (2)

Publication Number Publication Date
CN103729646A true CN103729646A (zh) 2014-04-16
CN103729646B CN103729646B (zh) 2017-02-08

Family

ID=50453710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310713510.9A Expired - Fee Related CN103729646B (zh) 2013-12-20 2013-12-20 一种眼睛图像有效性检测方法

Country Status (1)

Country Link
CN (1) CN103729646B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼(湖南)科技发展有限公司 用于人脸识别的眼镜检测方法及系统
CN106228168A (zh) * 2016-07-29 2016-12-14 北京小米移动软件有限公司 卡片图像反光检测方法和装置
CN106355135A (zh) * 2015-07-14 2017-01-25 原相科技股份有限公司 眼睛状态侦测方法以及眼睛状态侦测系统
CN104182338B (zh) * 2014-08-19 2017-05-24 苏州清研微视电子科技有限公司 一种疲劳驾驶预警产品检测精度的测试方法
CN107403554A (zh) * 2017-09-01 2017-11-28 北京壹卡行科技有限公司 双目集成驾驶员行为分析设备与方法
US10860852B2 (en) 2015-07-06 2020-12-08 Pixart Imaging Inc. Eye state detecting method and eye state detecting system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835613A (en) * 1992-05-05 1998-11-10 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835613A (en) * 1992-05-05 1998-11-10 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182338B (zh) * 2014-08-19 2017-05-24 苏州清研微视电子科技有限公司 一种疲劳驾驶预警产品检测精度的测试方法
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼(湖南)科技发展有限公司 用于人脸识别的眼镜检测方法及系统
CN104463128B (zh) * 2014-12-17 2017-09-29 智慧眼(湖南)科技发展有限公司 用于人脸识别的眼镜检测方法及系统
US10860852B2 (en) 2015-07-06 2020-12-08 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
CN106355135A (zh) * 2015-07-14 2017-01-25 原相科技股份有限公司 眼睛状态侦测方法以及眼睛状态侦测系统
CN106228168A (zh) * 2016-07-29 2016-12-14 北京小米移动软件有限公司 卡片图像反光检测方法和装置
CN106228168B (zh) * 2016-07-29 2019-08-16 北京小米移动软件有限公司 卡片图像反光检测方法和装置
CN107403554A (zh) * 2017-09-01 2017-11-28 北京壹卡行科技有限公司 双目集成驾驶员行为分析设备与方法
CN107403554B (zh) * 2017-09-01 2023-07-11 北京九州安华信息安全技术有限公司 双目集成驾驶员行为分析设备与方法

Also Published As

Publication number Publication date
CN103729646B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN102054163B (zh) 基于单目视觉的驾驶员疲劳检测方法
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN102436715B (zh) 疲劳驾驶检测方法
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN101639894B (zh) 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统
Tipprasert et al. A method of driver’s eyes closure and yawning detection for drowsiness analysis by infrared camera
CN112241658B (zh) 一种基于深度相机的疲劳驾驶预警方法
CN109308445B (zh) 一种基于信息融合的固定岗位人员疲劳检测方法
CN103729646B (zh) 一种眼睛图像有效性检测方法
Flores et al. Real-time warning system for driver drowsiness detection using visual information
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
CN109840565A (zh) 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及系统
CN101216887A (zh) 照片人脸与活体人脸的计算机自动鉴别方法
CN103714660A (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN104013414A (zh) 一种基于移动智能手机的驾驶员疲劳检测系统
CN102324166A (zh) 一种疲劳驾驶检测方法及装置
CN104637246A (zh) 一种驾驶员多种行为预警系统及危险评估方法
CN107595307A (zh) 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN105404862A (zh) 一种基于手部跟踪的安全驾驶检测方法
Bhowmick et al. Detection and classification of eye state in IR camera for driver drowsiness identification
Liu et al. A practical driver fatigue detection algorithm based on eye state
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN106548132A (zh) 融合眼睛状态和心率检测的疲劳驾驶检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170208

Termination date: 20211220