CN203677103U - 一种基于红外检测技术的ccd摄像头 - Google Patents

一种基于红外检测技术的ccd摄像头 Download PDF

Info

Publication number
CN203677103U
CN203677103U CN201320861096.1U CN201320861096U CN203677103U CN 203677103 U CN203677103 U CN 203677103U CN 201320861096 U CN201320861096 U CN 201320861096U CN 203677103 U CN203677103 U CN 203677103U
Authority
CN
China
Prior art keywords
eyes
infrared
driver
detection
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN201320861096.1U
Other languages
English (en)
Inventor
宿海燕
杨先明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiming Intelligent Technology Development Co ltd
Original Assignee
YANTAI GENERAL LIGHTING Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YANTAI GENERAL LIGHTING Co Ltd filed Critical YANTAI GENERAL LIGHTING Co Ltd
Priority to CN201320861096.1U priority Critical patent/CN203677103U/zh
Application granted granted Critical
Publication of CN203677103U publication Critical patent/CN203677103U/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本实用新型涉及一种基于红外检测技术的CCD摄像头,属于检测设备技术领域。基于红外检测技术的CCD摄像头,其特征在于红外光源由第一组内环红外二极管与第二组外环红外二极管组成,平均分布在同平面同轴心的一个圆环上。两组红外二极管分别发射850nm波长、950nm波长的红外光,实现红外检测技术对眼睛的检测。创新点:在判断人眼面积的基础上又加入了对嘴型的判断,降低了漏判或者错判的概率。将奇偶两帧图像进行差分的方法,精确地检测眼睛、嘴型的位置和特征,实现对驾驶员疲劳程度的精准检测。采用Kalman滤波器和Mean-shift算法,对眼睛和嘴型的位置和特征实现连续检测,并采用短时跟踪策略,对眼睛和嘴型位置进行跟踪,并实现预测功能。

Description

一种基于红外检测技术的CCD摄像头
技术领域
本实用新型涉及一种驾驶员疲劳检测系统使用的基于红外检测技术的CCD摄像头,属于摄像头技术领域。 
背景技术
目前驾驶员疲劳检测研究方法可以分成两大类: 
a)从驾驶员自身特征出发,通过某种设备获取驾驶员的生理参数特征或者视觉特征,利用驾驶员在正常状态和疲劳状态的特征模式不同,采用相应的模式识别技术分类进行判别,从而检测到是否有疲劳产生; 
b)根据车辆的行为表现间接判断驾驶员是否产生疲劳。在这类技术中,通过传感器获取车辆在行驶过程中的各种参数,根据车辆行驶过程中的异常情况,如车辆是否超过道路标志线、速度是否超速、车辆之间的距离是否太近等,判断驾驶员是否有疲劳产生。 
目前疲劳检测系统比较多,效果比较好的有以下几种: 
a)澳大利亚国际大学开发的DAS,目前已经在商业上获得使用。使用安装在汽车仪表板上的人眼跟踪系统监控司机,能监控驾驶员表现,利用方向盘的握力反馈,同时将路面跟踪偏差反馈给驾驶员。路面跟踪设备目的是检测车辆突然擦过路面标志或者道路边缘等违规行为,该系统在检测到异常时给出警告,并有方向盘的制动功能。同时采用的座椅振动报警与道路侧面偏离的程度有关,以鼓励他们纠正航线偏离。 
b)欧盟于2004年完成AWAKE工程。采用的特征状态包括眼睑运动、握力改变及路面跟踪,并使用刹车和方向盘位置等制动行为,把这些 方法结合起来抵制交通风险。 
c)Carnegie Mellon大学开发的Copilot监控系统。通过Perelose测量眼睑运动,监控系统小且好用,提供一种有效的研究工具。 
d)Seeing machine研究组开发的FaeeLABⅢ系统监控驾驶员行为,能检测疲劳与精力分散等情况。用一对视频相机获得视频图像,从左到右匹配得出每个特征的三维位置。采用最小二乘优化法定位头部三维位置,FaceLAB软件并行处理眼睛凝视数据,定位虹膜中心,根据眼睛凝视向量确定眼睛凝视方向,计算眼睛张开以及眨眼频率,监控眼睑。FaceLAB在模拟驾驶中被证明非常有效,且在低光线、头部大范围运动以及视觉方向跟踪上有很好的效果,即使司机带太阳镜也能检测出。可以看出,系统利用各种视觉特征以及车辆的行为表现等综合特征去检测是否有疲劳产生,同时有的还采用某些报警方式提醒驾驶员注意行车安全。目前在国内对这方面涉及比较少,只有少量的研究成果。 
存在的问题及发展趋势 
由于驾驶员个体差异以及光线、路面等驾驶环境差异大,目前的疲劳检测算法基本都是基于模拟驾驶环境,下一步要向真实驾驶环境上发展,使疲劳检测技术广泛应用到商业领域,减少疲劳驾驶而造成的交通事故。不论是从驾驶员自身特征还是从车辆行为方面看,可以直接获得的特征类型有限,而且直接提取的表面特征数据多且有冗余。因此一方面要对疲劳特征进行挖掘,用先进的信号处理方法提取最能表征疲劳的特征参数,另一方面要采用信号融合处理方法,将多个疲劳特征参数结合起来去对驾驶员疲劳状况进行检测,克服空间、光照等影响,提高检测算法的实时性、准确度。驾驶员疲劳检测系统应该具有疲劳决策功能。由于不同人有不同的疲劳表现特征,疲劳检测系统应该具有智能,有自学习、推理功能。在驾车初期,系统根据 获取驾驶员的相关数据对系统进行训练,能得出驾驶员的疲劳特征选择最适合他的检测方法,能适应每个驾驶员。 
目前公用疲劳驾驶数据集比较缺乏,检测系统性能评价方法不统一,难以对各种疲劳检测技术的性能进行定量比较。为了定量、客观地比较各种检测技术,推动疲劳检测方法的发展,需要加强对疲劳驾驶视频图像数据库的建设,统一系统评测方法和规范。 
目前国内外疲劳检测设备主要集中在对驾驶员眼部的检测,没有实现对嘴型的判断,因此容易出现漏判和错判的情况;另外,目前国内外疲劳驾驶设备只能实时检测眼睛位置和眼睛特征,不能实现对眼睛位置和眼睛特征的预测功能,因此对驾驶员的疲劳状态没有实现预测功能;目前国内外疲劳检测设备采取奇偶两帧图像像素对比的方法检测眼睛位置和特征,检测速度慢,且检测精度低。 
发明内容
本实用新型的目的在于解决上述已有技术存在的不足,提供一种驾驶员疲劳检测系统使用的基于红外检测技术的CCD摄像头。 
驾驶员疲劳检测系统是通过对各种疲劳检测方法进行比较分析,提出一套综合驾驶员眼睛疲劳特征、头部姿态、脸部表情特征、驾驶员注视方向等信息的驾驶员疲劳检测系统设计方案。基于人眼对两种波长(850nm/950nm)红外光线的反射率具有明显差异的特点,系统采用红外光源采集图像,采取将奇偶两帧图像进行差分的方法,精确地检测眼睛。利用Kalman滤波器和Mean-shift算法采取采用连续检测、短时跟踪策略,对眼睛位置进行跟踪、预测,分析眼睛的信息来计算眼睛特征、头部姿态、以及嘴巴状态所能表现的脸部表情特征,通过对这些特征设定浅度疲劳、中度疲劳以及过度疲劳判据并给出不同级别的报警,实现疲劳检测的功能。 
本实用新型一种驾驶员疲劳检测系统使用的基于红外检测技术的CCD摄像头,红外光源由两组红外二极管组成,平均分布在同平面同轴心的一个圆环上,两者之间自由切换,使摄像机的视野受限范围减小; 
所述两组红外二极管分别发射850nm波长、950nm波长的红外光,实现红外检测技术对眼睛的检测。 
采用上述基于红外检测技术的CCD摄像头的驾驶员疲劳检测系统,CCD摄像头把红外检测图像通过视频输入解码器连接到数字信号处理器DSP,对检测图像进行模式识别和处理,数字信号处理器连接有报警器,通过判断驾驶员眼睛的开闭来判断驾驶员是否疲劳,并且更进一步可以通过判断眼睛和嘴巴的特征值以及位置值是否达到设定数值,系统通过报警器6发生报警声音提醒驾驶员注意休息和行驶安全。 
当眼睛和嘴巴的特征值以及位置值达到设定数值时,系统就会发生报警声音提醒驾驶员注意休息和行驶安全。 
(1)红外检测技术对眼睛检测的原理 
人眼对不同波长的红外光反射量程度不同,在850nm波长时,视网膜能够反射90%的入射光,在950nm时,视网膜只能反射40%的入射光,而在880±80nm范围内,人脸的其他部分对于红外的反射程度却基本一致。850nm波长红外和950nm红外分别照射人脸得到的图像进行差分计算,可以精确的检测到眼睛。安装在透镜表面的发光二极管环的最佳尺寸只能是个经验值。如果外面的一圈二极管打开就会产生暗瞳效应,里面的一圈二极管打开就会产生亮瞳效应。 
(2)眼睛的定位分析及追踪算法 
a)眼睛的检测 
基于上述的红外检测原理来完成眼睛的检测,红外光照射人脸 后,利用CCD摄像头采集人脸视频图像。采集到两个波长的反射图像差分计算,即可检测到眼睛。由于噪声的影响,差分得到的图像需要进行预处理,首先进行直方图均值化处理,对图像中像素个数多的灰度级进行展宽,对像素个数少的灰度级进行缩减,把原始图像的直方图变换成均匀分布的形式,然后转化为二值图像。 
b)眼睛追踪算法 
将Mean-Shift算法和Kalman滤波器两者结合起来,采用连续检测、短时跟踪策略,即Kalman滤波器检测到人眼时,直接采用其检测到的结果,同时记录下当前图像和人眼位置;如果检测不到,就用最后一次记录的图像和人眼位置对Mean-Shift算法进行初始化,并使用Mean-Shift算法对当前图像上匹配搜索人眼区域,如果后续图像中Kalman滤波器仍然检测不到,则一直进行Mean-Shift算法追踪。 
(3)眼皮运动参数 
人进入疲劳后,眼睛会出现睁闭速度变慢、眼睛转动频率减低、眼皮有闭合趋势、目光呆滞等特征。提取到眼睑的特征信息,利用眼睛闭合平均时间PERCLOS算法和眼睛平均闭合速度算法计算驾驶员的疲劳值。 
PERCLOS原理 
PERCLOS指在一定的时间内眼睛闭合时所占的时间比例。 
在具体实验中有P70、P80、EYEMEA(EM)三种度量标准: 
P70:眼睛闭合面积70%以上的时间百分比; 
P80:眼睛闭合面积80%以上的时间百分比,该指标是最常用的;其中P80被认为最能反映人的疲劳程度。 
图3为PERCLOS值的测量原理图。图中曲线为一次眼睛闭合与睁开过程中睁开程度随时间的变化曲线,可根据此曲线得到所需测量的眼睛某个程度的闭合或睁开持续的时间,从而计算出PERCLOS值。图中 t1为眼睛完全睁开到闭合20%的时间;t2为眼睛完全睁开到闭合80%的时间;t3为眼睛完全睁开到下一次睁开20%的时间;t4为眼睛完全睁开到下一次睁开80%的时间。通过测量出t1到t4的值就能计算出PERCLOS的值:t2t3t4
f = t 3 - t 2 t 4 - t 1
式中,f为眼睛闭合时间所占某一特定时间的百分率 
对于P80测量方式来说,当PERCLOS值f>0.15时,认为驾驶员处于疲劳状态。 
(4)人脸姿态分析 
驾驶员的脸部姿态利用眼睛的位置信息做出评估 
Figure DEST_PATH_GDA0000507365190000062
公式中Δx=x2-x1,Δy=y2-y1,(x2,y2)是左右眼睛的坐标位置。 
当脸部偏向于左方向时,则θ>8°; 
当脸部在正前方时,则|θ|≤8°; 
当脸部偏向于右方向时,则θ<-8°; 
(5)眼睛注视方向评估和追踪 
人的注视信息包括脸部的注视方向和眼睛的注视方向,相比于眼睛的注视方向,脸部的注视方向视野比较大,因此把人脸长时间注视作为广义注视,眼睛长时间注视作为狭义注视。设计中综合考虑这两个注视信息。广义注视经头部姿态信息计算得到,狭义注视经摄像机拍摄的眼睛瞳孔几何参数计算得到。由于瞳孔的形状和方向随着头部姿态变化而变化,因此,广义注视信息最终也用瞳孔的几何参数计算 得出。设Δx和Δy是瞳孔-反光效应的位移偏转参数;r是瞳孔反射图像椭圆长轴和短轴的比率;θ是椭圆的方向角;gx、gy是瞳孔反射光图像的坐标函数。Δx和Δy反映了反射图像和通孔之间的函数关系,是狭义注视信息。r表示反相平面内脸部转动,当人脸在正前方的时候,比率是1,当脸部上下左右运动的时候,比率变大或者变小。角度θ是摄像机物镜光轴平面内脸部运动方向,(gx,gy)平面内瞳孔质心坐标。 
得到以上六个参数,利用广泛回归神经网络对眼睛注视方向构造数学函数,计算出驾驶员的注视信息,如果驾驶员对某个方向注视时间超时,则判断已经疲劳状态。 
(6)脸部表情分析 
利用嘴部的状态信息来描述脸部表情特征。检测到眼睛,人的脸部区域也随之确定。检测到的眼睛坐标位置将人脸分成上下两部分,然后采用迭代式阀值选择算法对人脸的下半部分进行阀值化处理,从而弥补由于嘴唇和肤色差异不大而造成的二值化图像中得不到嘴巴完整轮廓的问题。拍摄的图像转换为灰度图像,对阀值进行自动化阀值处理,即可得到嘴巴区域的轮廓信息。 
由于嘴唇的灰度值比人脸要浅,因而二值化处理后会出现空洞区域,同时也会出现鼻孔所造成的“空洞”以及噪声点的影响。得到嘴巴区域的轮廓信息后将图像进行去噪,利用最小外接矩形表示出嘴巴所产生空洞区域的轮廓,最后利用经典的Harris角点检测法搜寻嘴角。本实用新型检测角点在原来的灰度图像中进行,且只检测嘴巴区域。角点检测的具体算法如下: 
R=det(M)-k(tr2(M)) 
式中 M ( x , y ) = I u 2 ( x , y ) I uv ( x , y ) I uv ( x , y ) I v 2 ( x , y ) , 其中Iu(x,y)、Iv(x,y)、Iuv(x,y)分别为图像点(x,y)处的灰度在u和v方向的偏导数以及二阶混合偏导数;k为常数;tr(M)为M矩阵的迹。 
嘴巴张开的程度由嘴巴张开的上下嘴唇高度和左右嘴角宽度的比率确定。利用嘴巴打哈欠的频率计算驾驶员疲劳程度。 
采用本实用新型基于红外检测技术的CCD摄像头的驾驶员疲劳检测系统具有以下创新点 
1、在判断人眼面积的基础上又加入了对嘴型的判断,降低了漏判或者错判的概率。 
2、将奇偶两帧图像进行差分的方法,精确地检测眼睛、嘴型的位置和特征,实现对驾驶员疲劳程度的精准检测。 
3、本系统采用Kalman滤波器和Mean-shift算法,对眼睛和嘴型的位置和特征实现连续检测,并采用短时跟踪策略,对眼睛和嘴型位置进行跟踪,并实现预测功能。 
附图说明
图1:亮瞳(上面)和暗瞳(下面)效应的原理示意图; 
图2:本实用新型基于红外检测技术的CCD摄像头布置示意图; 
图3:PERCLOS原理示意图; 
图4:驾驶员疲劳检测系统的工作原理图; 
图5:驾驶员疲劳检测系统的硬件结构示意图。 
具体实施方式
以下参照附图,给出本实用新型具体实施方式,对本实用新型做进一步说明。 
实施例1 
本实施例基于红外检测技术的CCD摄像头,红外光源由第一组内环红外二极管2与第二组外环红外二极管3组成,平均分布在同平面同轴心的一个圆环上,两者之间自由切换,使摄像机的视野受限范围减小(见图2); 
所述两组红外二极管分别发射850nm波长、950nm波长的红外光,实现红外检测技术对眼睛的检测。 
采用本实施例基于红外检测技术的CCD摄像头的驾驶员疲劳检测系统,包括有基于红外检测技术的车载CCD摄像头1,CCD摄像头1连续摄取驾驶员的人脸图像,并且不停地跟踪驾驶员眼睛的运动,CCD摄像头把红外检测图像通过视频输入解码器4连接到数字信号处理器5,对检测图像进行模式识别和处理,通过判断驾驶员眼睛的开闭来判断驾驶员是否疲劳,并且进一步可以通过判断眼睛和嘴巴的特征值以及位置值是否达到设定数值,系统通过报警器6发生报警声音提醒驾驶员注意休息和行驶安全。 
基于红外检测技术的CCD摄像头,把检测图像传送到数字信号处理器DM642,本系统软件采用MATLAB开发环境进行开发疲劳驾驶仪检测软件,通过simulink软件转换化C代码,在CCS开发环境的电脑上,把C代码写入仿真器510,并进一步转换化为汇编语言写入硬件开发板DM642中,对检测图像进行模式识别和处理,当眼睛和嘴巴的特征值以及位置值达到设定数值时,系统就会发生报警声音提醒驾驶员注意休息和行驶安全。 
DM642全名TMS320DM642,是TI公司C6000系列DSP中最新的定点DSP,其核心是C6416型高性能数字信号处理器,具有极强的处理性能,高度的灵活性和可编程性,同时外围集成了非常完整的音频、视频和网络通信等设备及接口,特别适用于机器视觉、医学成像、网 络视频监控、数字广播以及基于数字视频/图像处理的消费类电子产品等高速DSP应用领域。以TVP5150为视频输入解码器,以PCM1801为音频输入采集电路,以TMS320DM642型DSP为核心处理器的多路视频采集兼压缩处理PCI板卡,应用于构建高稳定性、高鲁棒性和多媒体数字监控系统。 
TMS320DM642采用第二代高性能、先进的超长指令字veloci T1.2结构的DSP核及增强的并行机制,外围集成了非常完整的音频、视频和网络通信接口。 
具体的技术解决方案分析如下。 
1、技术方案 
(1)红外检测技术对眼睛检测的原理 
人眼对不同波长的红外光反射量程度不同,在850nm波长时,视网膜能够反射90%的入射光,在950nm时,视网膜只能反射40%的入射光,而在880±80nm范围内,人脸的其他部分对于红外的反射程度却基本一致。850nm波长红外和950nm红外分别照射人脸得到的图像进行差分计算,可以精确的检测到眼睛。安装在透镜表面的发光二极管环的最佳尺寸只能是个经验值。如果外面的一圈二极管打开就会产生暗瞳效应,里面的一圈二极管打开就会产生亮瞳效应。(见图1、2) 
(2)眼睛的定位分析及追踪算法 
a)眼睛的检测 
基于上述的红外检测原理来完成眼睛的检测,红外光照射人脸后,利用CCD采集人脸视频图像。CCD摄像机工作原理基于主动红外摄像技术,当摄像机中的光敏传感器检测到可见光不足以达到采集图 像的要求时,摄像机中的控制模块将自动开启固态发光红外灯进行辅助照明,红外发射二极管红外灯的光谱在普通CCD摄像机可感受的范围之内,而由于人眼对红外光不敏感,所以红外摄像机即可以消除夜间行驶时光照不足对采集视频带来的影响,又不会干扰驾驶员的正常行驶。 
采集到两个波长的反射图像差分计算,即可检测到眼睛。由于噪声的影响,差分得到的图像需要进行预处理,首先进行直方图均值化处理,对图像中像素个数多的灰度级进行展宽,对像素个数少的灰度级进行缩减,把原始图像的直方图变换成均匀分布的形式,然后转化为二值图像。 
b)眼睛追踪算法 
本实用新型将Mean-Shift算法和Kalman滤波器两者结合起来,采用连续检测、短时跟踪策略,即Kalman滤波器检测到人眼时,直接采用其检测到的结果,同时记录下当前图像和人眼位置;如果检测不到,就用最后一次记录的图像和人眼位置对Mean-Shift算法进行初始化,并使用Mean-Shift算法对当前图像上匹配搜索人眼区域,如果后续图像中Kalman滤波器仍然检测不到,则一直进行Mean-Shift算法追踪。 
(3)眼皮运动参数 
人进入疲劳后,眼睛会出现睁闭速度变慢、眼睛转动频率减低、眼皮有闭合趋势、目光呆滞等特征。提取到眼睑的特征信息,利用眼睛闭合平均时间PERCLOS算法和眼睛平均闭合速度算法计算驾驶员的 疲劳值。 
PERCLOS原理 
PERCLOS指在一定的时间内眼睛闭合时所占的时间比例。 
在具体实验中有P70、P80、EYEMEA(EM)三种度量标准: 
P70:眼睛闭合面积70%以上的时间百分比; 
P80:眼睛闭合面积80%以上的时间百分比,该指标是最常用的;其中P80被认为最能反映人的疲劳程度。 
图5为PERCLOS值的测量原理图。图中曲线为一次眼睛闭合与睁开过程中睁开程度随时间的变化曲线,可根据此曲线得到所需测量的眼睛某个程度的闭合或睁开持续的时间,从而计算出PERCLOS值。图中t1为眼睛完全睁开到闭合20%的时间;t2为眼睛完全睁开到闭合80%的时间;t3为眼睛完全睁开到下一次睁开20%的时间;t4为眼睛完全睁开到下一次睁开80%的时间。通过测量出t1到t4的值就能计算出PERCLOS的值: 
f = t 3 - t 2 t 4 - t 1
式中,f为眼睛闭合时间所占某一特定时间的百分率(见图3) 
对于P80测量方式来说,当PERCLOS值f>0.15时,认为驾驶员处于疲劳状态。 
(4)人脸姿态分析 
驾驶员的脸部姿态利用眼睛的位置信息做出评估 
Figure DEST_PATH_GDA0000507365190000131
公式中Δx=x2-x1,Δy=y2-y1,(x2,y2)是左右眼睛的坐标位置。 
当脸部偏向于左方向时,则θ>8°; 
当脸部在正前方时,则|θ|≤8°; 
当脸部偏向于右方向时,则θ<-8°; 
(5)眼睛注视方向评估和追踪 
人的注视信息包括脸部的注视方向和眼睛的注视方向,相比于眼睛的注视方向,脸部的注视方向视野比较大,因此把人脸长时间注视作为广义注视,眼睛长时间注视作为狭义注视。设计中综合考虑这两个注视信息。广义注视经头部姿态信息计算得到,狭义注视经摄像机拍摄的眼睛瞳孔几何参数计算得到。由于瞳孔的形状和方向随着头部姿态变化而变化,因此,广义注视信息最终也用瞳孔的几何参数计算得出。设Δx和Δy是瞳孔-反光效应的位移偏转参数;r是瞳孔反射图像椭圆长轴和短轴的比率;θ是椭圆的方向角;gx、gy是瞳孔反射光图像的坐标函数。Δx和Δy反映了反射图像和通孔之间的函数关系,是狭义注视信息。r表示反相平面内脸部转动,当人脸在正前方的时候,比率是1,当脸部上下左右运动的时候,比率变大或者变小。角度θ是摄像机物镜光轴平面内脸部运动方向,(gx,gy)平面内瞳孔质心坐标。 
得到以上六个参数,利用广泛回归神经网络对眼睛注视方向构造数学函数,计算出驾驶员的注视信息,如果驾驶员对某个方向注视时间超时,则判断已经疲劳状态。 
(6)脸部表情分析 
本实用新型利用嘴部的状态信息来描述脸部表情特征。检测到眼睛,人的脸部区域也随之确定。检测到的眼睛坐标位置将人脸分成上下两部分,然后采用迭代式阀值选择算法对人脸的下半部分进行阀值化处理,从而弥补由于嘴唇和肤色差异不大而造成的二值化图像中得不到嘴巴完整轮廓的问题。拍摄的图像转换为灰度图像,对阀值进行自动化阀值处理,即可得到嘴巴区域的轮廓信息。 
由于嘴唇的灰度值比人脸要浅,因而二值化处理后会出现空洞区域,同时也会出现鼻孔所造成的“空洞”以及噪声点的影响。得到嘴巴区域的轮廓信息后将图像进行去噪,利用最小外接矩形表示出嘴巴所产生空洞区域的轮廓,最后利用经典的Harris角点检测法搜寻嘴角。本实用新型检测角点在原来的灰度图像中进行,且只检测嘴巴区域。角点检测的具体算法如下: 
R=det(M)-k(tr2(M)) 
式中 M ( x , y ) = I u 2 ( x , y ) I uv ( x , y ) I uv ( x , y ) I v 2 ( x , y ) , 其中Iu(x,y)、Iv(x,y)、Iuv(x,y)分别为图像点(x,y)处的灰度在u和v方向的偏导数以及二阶混合偏导数;k为常数;tr(M)为M矩阵的迹。 
嘴巴张开的程度由嘴巴张开的上下嘴唇高度和左右嘴角宽度的比率确定。利用嘴巴打哈欠的频率计算驾驶员疲劳程度。 
2.技术方案的可行性论述 
模式识别现在已经很成熟,项目采用基于模式识别的算法进行系统设计,在算法上具有一定的可靠性。在设计中首先从人脸图像识别 算法进行编写程序构建可视化检测系统,简化实验难度;将摄像机直接接入计算机,检测跟踪信息实验完成后,可以方便的移植到DSP芯片中,具有可行性和成熟性。 
(1).特定波长的红外线束沿着摄像机的光轴照射人脸,可以获得明亮的瞳孔效果。但如果偏离光轴,反射的光线无法进入摄像机就会造成暗瞳孔效果。红外光源理论上沿透镜的光轴设置才能有亮瞳效应。但实际上这一点很难,红外光源会限制摄像头的视野。本实用新型把红外光源由两组红外二极管组成,平均分布在同平面同轴心的一个圆环上,两者之间自由切换,使摄像机的视野受限范围减小。 
(2).目前对驾驶员疲劳的检测主要是基于驾驶员生理信号、驾驶操作行为、车辆状态的接触式检测方法。基于驾驶员的生理信号检测虽然准确度比较高,但是影响驾驶员的驾驶;基于车辆状态测量具有不可靠性和不可操作性。与之相比,基于人脸特征的非接触式检测装置同驾驶员没有身体接触、实时测量、对驾驶员没有伤害性辐射。在设计中通过多种疲劳检测方法的有效组合,实现对驾驶员眼睛特征、头部姿态、脸部表情特征、眼睛注视方向等信息的综合检测,最终对驾驶员的疲劳作出不同等级的疲劳状态划分并作出相应的预警判断。 
(3).利用迭代式阀值选择法在人脸的下半区域进行阀值处理,很好的改进了传统的二值化方法所造成的嘴角轮廓不清晰、连通性不好的缺陷。 
采用本实用新型基于红外检测技术的CCD摄像头的驾驶员疲劳检测系统使用的目的和意义: 
1.随着现代交通的迅速发展,交通事故越来越严重,疲劳驾驶已经成为交通安全隐患的重要因素。迫于安全考虑,疲劳驾驶引起世人的注意,各国研究人员纷纷致力于此方面的研究,并取得了一定的成就。而我国在此方面的研究起步晚,本实用新型的研究可以推进我国在此方面的研究和发展。 
2.多特征疲劳测量技术在红外光源的支持下,准确的提取驾驶员的眼睛特征,检测驾驶员眼皮运动特征参数(眨眼速度、睁闭眼时间、瞳孔几何特征)、头部姿态、眼睛注视方向信息,从而计算疲劳度;另外提取驾驶员嘴巴的特征参数测量驾驶员脸部在疲劳状态下的脸部表情特征。对驾驶员的疲劳检测实行多特征综合检测的策略,对驾驶员的疲劳状况做出实时准确检测,将会为交通安全带来巨大的意义。 

Claims (2)

1.基于红外检测技术的CCD摄像头,其特征在于红外光源由第一组内环红外二极管(2)与第二组外环红外二极管(3)组成,平均分布在同平面同轴心的一个圆环上。 
2.按照权利要求1所述基于红外检测技术的CCD摄像头,其特征在于所述两组红外二极管分别发射850nm波长、950nm波长的红外光,实现红外检测技术对眼睛的检测。 
CN201320861096.1U 2013-12-24 2013-12-24 一种基于红外检测技术的ccd摄像头 Expired - Lifetime CN203677103U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201320861096.1U CN203677103U (zh) 2013-12-24 2013-12-24 一种基于红外检测技术的ccd摄像头

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201320861096.1U CN203677103U (zh) 2013-12-24 2013-12-24 一种基于红外检测技术的ccd摄像头

Publications (1)

Publication Number Publication Date
CN203677103U true CN203677103U (zh) 2014-07-02

Family

ID=50999082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201320861096.1U Expired - Lifetime CN203677103U (zh) 2013-12-24 2013-12-24 一种基于红外检测技术的ccd摄像头

Country Status (1)

Country Link
CN (1) CN203677103U (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369766A (zh) * 2016-05-10 2018-08-03 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
CN108918096A (zh) * 2018-06-21 2018-11-30 维沃移动通信有限公司 一种红外发射器的检测方法、移动终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369766A (zh) * 2016-05-10 2018-08-03 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
CN108918096A (zh) * 2018-06-21 2018-11-30 维沃移动通信有限公司 一种红外发射器的检测方法、移动终端
CN108918096B (zh) * 2018-06-21 2019-11-29 维沃移动通信有限公司 一种红外发射器的检测方法、移动终端

Similar Documents

Publication Publication Date Title
CN104224204B (zh) 一种基于红外检测技术的驾驶员疲劳检测系统
Ramzan et al. A survey on state-of-the-art drowsiness detection techniques
CN104013414B (zh) 一种基于移动智能手机的驾驶员疲劳检测系统
CN101639894B (zh) 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统
CN101950355B (zh) 基于数字视频的驾驶员疲劳状态检测方法
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
EP1320830B1 (en) Facial image processing system
CN101540090B (zh) 基于多元信息融合的驾驶员疲劳监测方法
CN105719431A (zh) 一种疲劳驾驶检测系统
CN105769120A (zh) 疲劳驾驶检测方法和装置
Batista A drowsiness and point of attention monitoring system for driver vigilance
CN104240446A (zh) 基于人脸识别的疲劳驾驶预警系统
CN104574817A (zh) 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统
CN202257856U (zh) 驾驶员疲劳驾驶监控装置
CN102324166A (zh) 一种疲劳驾驶检测方法及装置
Flores et al. Driver drowsiness detection system under infrared illumination for an intelligent vehicle
CN103714659A (zh) 基于双光谱融合的疲劳驾驶识别系统
CN104881956A (zh) 一种疲劳驾驶预警系统
CN203885510U (zh) 一种基于红外检测技术的驾驶员疲劳检测系统
Bergasa et al. Visual monitoring of driver inattention
CN203677103U (zh) 一种基于红外检测技术的ccd摄像头
Kajiwara Driver-condition detection using a thermal imaging camera and neural networks
Lang et al. The study of driver fatigue monitor algorithm combined PERCLOS and AECS
Akshay et al. Drowsy driver detection using eye-tracking through machine learning
Singh et al. Driver fatigue detection using machine vision approach

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: 264006 No. 69 Changjiang Road, Yantai Development Zone, Yantai City, Shandong Province

Patentee after: YANTAI TAIMING LIGHTING Co.,Ltd.

Address before: 264006 No. 69 Changjiang Road, Yantai Development Zone, Shandong Province

Patentee before: YANTAI GENERAL LIGHTING Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 264006 No. 69 Changjiang Road, Yantai Development Zone, Shandong, China

Patentee after: Taiming Intelligent Technology Development Co.,Ltd.

Address before: 264006 No. 69 Changjiang Road, Yantai Development Zone, Yantai City, Shandong Province

Patentee before: YANTAI TAIMING LIGHTING Co.,Ltd.

CP03 Change of name, title or address
CX01 Expiry of patent term

Granted publication date: 20140702

CX01 Expiry of patent term