CN103886307A - 一种视线跟踪及疲劳预警方法 - Google Patents
一种视线跟踪及疲劳预警方法 Download PDFInfo
- Publication number
- CN103886307A CN103886307A CN201410148043.4A CN201410148043A CN103886307A CN 103886307 A CN103886307 A CN 103886307A CN 201410148043 A CN201410148043 A CN 201410148043A CN 103886307 A CN103886307 A CN 103886307A
- Authority
- CN
- China
- Prior art keywords
- eye
- pupil
- image
- driver
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 210000001747 pupil Anatomy 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 210000001508 eye Anatomy 0.000 claims description 73
- 230000000007 visual effect Effects 0.000 claims description 42
- 238000012512 characterization method Methods 0.000 claims description 16
- 230000004424 eye movement Effects 0.000 claims description 14
- 210000003128 head Anatomy 0.000 claims description 9
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000012876 topography Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 21
- 238000011160 research Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Abstract
本发明公开了一种视线跟踪及疲劳预警方法，属于智能交通技术领域，特别是涉及。本发明根据微型摄像头获取驾驶员脸部信息，控制近轴和远轴红外可控光源的开关，在奇数帧打开近轴红外灯光源，在偶数帧打开远轴红外灯光源，利用人眼瞳孔反光特性，差分计算后确定视频序列中人眼瞳孔的位置。在利用基于红外光下的红外效应进行图像差频进行瞳孔定位后，利用瞳孔中心位置结合根据车载显示器的特征识别点，反向推算出视线投射位置，其推算可以按用户个体差异进行微调或者进行精细定标。相比较其他控制方法，本发明中方法可有效减少驾驶员眼部特征获取的时间，同时避免由于环境光变换所引起的干扰，从而保障驾驶员视线信息的快速准确获取。
Description
技术领域
本发明属于智能交通技术领域，特别是涉及一种视线跟踪及疲劳预警方法。
背景技术
驾驶员的视觉行为是影响道路交通安全的主要因素之一，因此驾驶员视线追踪技术已成为智能交通领域的研究热点。本专利将基于先进汽车主动安全和现代控制理论的最新成果，通过开展车载微型视线跟踪及预警技术研究，对不同道路条件下驾驶员动态视觉进行差异性分析。通过对不同行驶环境下的驾驶员眼动特征参数进行统计，分析不同路段上驾驶员注视和扫视行为的总体特征，进一步分析驾驶员动态视觉对汽车主动安全控制参数影响的显著性，从而使整个汽车控制系统具有良好的舒适性及鲁棒性。
智随着经济的迅猛发展，道路交通越来越便捷的同时，汽车数量迅速增加而引发道路交通高事故率、高伤亡、高损失问题同样愈发严重。驾驶员作为车辆的操作者，道路的使用者，环境条件的感受者，是道路交通系统活动的主体，在这个道路交通动态系统中处于主导地位，因此对驾驶员行为的研究对提高道路交通安全显得尤为重要。驾驶员的视觉特性与行车安全有必然联系，对于保证系统的稳定性有着较大的能动性，是影响交通安全的首要因素。表1列出了道路交通系统中各种因素与交通事故的关系。
| 影响交通肇事的因素 | 各种因素所占百分比 |
| 纯系人的因素 | 58% |
| 纯系车的因素 | 2% |
| 纯系道路、环境因素 | 4% |
| 人与环境的综合因素 | 26% |
| 人与车的综合因素 | 6% |
| 车与环境综合因素 | 1% |
| 人、车、环境综合因素 | 3% |
表1交通肇事与影响因素的关系
从表1中可以看出，驾驶员因素是引发交通事故的第一因素，如果将与驾驶员有关的因素结合统计，比例将达到交通事故总量的90%以上，由此可见对驾驶员驾驶行为的研究，是提高道路交通安全性的必要手段。
驾驶员动态视野与车速的关系是国内外学者关注的问题。静止时视野未发生变化，而车辆运行时视野的深度、宽度、视野内画面都在不断变化，驾驶员正是根据不断变化的视野内容来操作车辆的。驾驶员在驾驶过程中，95%的视觉信息是动态的，在驾驶过程中，随着汽车行驶速度的提高，驾驶员的注视点前移，视野变窄，周界感减少，给驾驶安全带来一定的影响，驾驶员视野变窄，周界感减少即视野缺损，视野敏感度下降，意味着感知信息能力降低，极易造成交通事故。
在智能交通领域，利用眼动技术实现驾驶员视线追踪是目前国际热点研究方向，视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分，它利用眼动技术获得眼球位置变化特征，然后通过几何模型或映射模型获取视线方向。视线追踪可获取人的注视方向，在人机交互和疾病诊断等领域有着广泛的应用,目前主要应用于如虚拟现实、车辆辅助驾驶、人因分析等。眼动关键技术对智能驾驶人车交互界面有独特的应用价值。自然、高效、智能是人车交互界面的发展趋势，所视即所指，视线应用于人车交互具有直接性、自然性和双向性特点，视线跟踪技术必然会在智能驾驶信息交互领域具有广泛和深入的研究及应用价值。
国内在交通领域研究交通工具的操作者视觉的很少，其中北京航空航天大学开展了飞行员的视觉研究；而在公路交通领域研究汽车驾驶员视觉的主要集中在几所高校里。西南交通大学的张殿业在对驾驶员动态视野与行车安全可靠度的研究中，建立了驾驶员动态视野行为模式，提出驾驶员视野随车速的增大而变窄。研究还分析了驾驶员视野机理与测试方法，建立了动态视野量化指标评价体系，并通过室内试验，对事故组与非事故组驾驶员进行动态视野可靠度分析，指出事故组的可靠度远远小于非事故组驾驶员的可靠度。西安交通大学的杨建国等人通过驾驶员视觉关注焦点的移动规律、视场范围和障碍物遮挡等3个方面的研究，提出了一个非熟练驾驶员视觉感知模型，并通过计算机模拟实际场景，完成了模型有效性的验证。同济大学的潘晓东等人刚利用EMR8B眼动仪，研究了在逆光条件下交通标志的可视距离。同济大学的杨志清等人根据驾驶员的视觉特性，提出了一个新概念“空间视距”用于量化驾驶员的视觉信息，并给出了空间视距的近似算法，用于计算路线任意位置处的近似空间视距值。结合试验，采用回归方法得到了期望车速与空间视距的非线性关系，并通过纵坡修正，最终得到高速公路运行车速的预测模型。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够更加准确的对疲劳驾驶进行报警的视线跟踪及疲劳预警方法，以便提高车辆行驶过程中的安全性与车辆行驶的稳定性。
为实现上述目的，本发明提供了一种视线跟踪及疲劳预警方法，其特征在于包括以下步骤：
步骤一、通过车载视线跟踪器屏幕附近的红外LED标定显示器的特征识别点；
步骤二、通过微型摄像头获取驾驶员脸部的RGB彩色图像，所述RGB彩色图像中包括驾驶员眼睛瞳孔信息及视线方向信息；
步骤三、将所述RGB彩色图像转化为灰度图像，获取灰度图像中各帧图像的最佳动态阈值并进行图像分割，得到二值图像；
步骤四、控制近轴和远轴红外可控光源的开关，在奇数帧打开近轴红外灯光源，在偶数帧打开远轴红外灯光源，确定视频序列中人眼瞳孔的位置；
步骤五、利用瞳孔中心位置结合根据车载显示器的特征识别点，反向推算出视线投射位置；
步骤六、对驾驶时的眼动特征参数进行统计，建立动态视觉差异性模板库；
步骤七、利用所述动态视觉差异性模板库与二值图像中眼睛区域进行匹配，提取眼睛特征参数；
步骤八、判断是否疲劳驾驶；当疲劳驾驶时，进行报警提示；当没有疲劳驾驶时，返回执行步骤二。
较佳的，步骤五中所述反向推算出视线投射位置按以下步骤进行：
找到瞳孔的中心和反射点的位置，得到瞳孔中心反射点向量：计算瞳孔中心与反射点的位置，对红外眼睛图像进行归一化处理，对归一化图像进行基于瞳孔的二值化，通过计算图像的质心得到瞳孔的位置，由于反射点在瞳孔附近，这时对归一化图像瞳孔周围的局部图像重新进行反射点二值化，通过对反射点二值化图像的质心计算确定反射点的位置。由于瞳孔附近反射点明显的比其它部分灰度值大，这样经过反射点二值化后除反射点外其余部分成白色。
较佳的，步骤六中所述眼动特征参数包括注视行为表征参数和扫视行为表征参数；
所述注视行为表征参数包括：注视点、注视点数目、注视点顺序、注视持续时间、瞳孔大小、水平方向的视角、垂直方向的视角、视觉搜索广度、注视点间距离和累积注视时间；
所述扫视行为表征参数包括扫视持续时间、扫视幅度、扫视平均速度。
4、如权利要求1所述的一种视线跟踪及疲劳预警方法，其特征是：步骤八中所述判断是否疲劳驾驶按以下步骤进行：
A1、初始化眼睛最大值M左、M右和最小值m左、m右；设左右两眼面积随时间的变化函数分别为S左（t）和S右（t），M左、M右由S（t）的频数统计直方图最大值对应的S确定，m左、m右则由初始化阶段S的频数统计直方图除0位置之外的起始位置确定；
A2、设定左眼睁开程度为p左（t），右眼睁开程度为p右（t）；计算所述左眼睁开程度和右眼睁开程度：
p左（t）=（S左（t）-m左）（/M左-m左）；
p右（t）=（S右（t）-m右）（/M右-m右）；
A3、计算p（t）=［p左（t）+p右（t）］/2，得到眼睛睁开的程度：
A4、设定一定的时间内眼睛闭合时所占的时间比例为PERCLOS，计算
得到PERCLOS，t为眼睛从最大闭合到完全张开所用时间；
A5、判断PERCLOS是否大于40%且眼睛闭合时间是否大于3s；当PERCLOS大于40%且眼睛闭合时间大于3s时，为疲劳驾驶；否则为没有疲劳驾驶。
本发明的有益效果是：本发明根据微型摄像头获取驾驶员脸部信息，利用DSP芯片控制近轴和远轴红外可控光源的开关，在奇数帧打开近轴红外灯光源，在偶数帧打开远轴红外灯光源，利用人眼瞳孔反光特性，差分计算后确定视频序列中人眼瞳孔的位置。在利用基于红外光下的红外效应进行图像差频进行瞳孔定位后，利用瞳孔中心位置结合根据车载显示器的特征识别点，反向推算出视线投射位置，其推算可以按用户个体差异进行微调或者进行精细定标。相比较其他控制方法，本发明中方法可有效减少驾驶员眼部特征获取的时间，同时避免由于环境光变换所引起的干扰，从而保障驾驶员视线信息的快速准确获取。
本发明的跟踪方法稳定、易控制，瞳孔识别时间可以在0.5毫秒之内完成。
附图说明
图1是本发明一具体实施方式的结构示意图。
图2是注视不同位置时瞳孔与反射点的检测结果示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
如图1和图2所示，一种视线跟踪及疲劳预警方法，包括以下步骤：
步骤一、通过车载视线跟踪器屏幕附近的红外LED标定显示器的特征识别点；微型摄像头用于跟踪用户头部和眼部细节。
步骤二、通过微型摄像头获取驾驶员脸部的RGB彩色图像，所述RGB彩色图像中包括驾驶员眼睛瞳孔信息及视线方向信息；
步骤三、将所述RGB彩色图像转化为灰度图像，获取灰度图像中各帧图像的最佳动态阈值并进行图像分割，得到二值图像。所述最佳动态阈值的确定是根据车辆所处环境光强度，采用自适应阈值算法求取，其为现有技术，在此不再赘述。
步骤四、通过DSP芯片控制近轴和远轴红外可控光源的开关，在奇数帧打开近轴红外灯光源，在偶数帧打开远轴红外灯光源，利用人眼瞳孔反光特性，通过差分计算确定视频序列中人眼瞳孔的位置；
步骤五、在利用基于红外光下的红外效应进行图像差频进行瞳孔定位后，利用瞳孔中心位置结合根据车载显示器的特征识别点，反向推算出视线投射位置。
步骤六、对驾驶时的眼动特征参数进行统计，分析不同路段上驾驶员注视和扫视行为的总体特征，建立不同道路条件下驾驶员的动态视觉差异性模板库；
步骤七、利用所述动态视觉差异性模板库与二值图像中眼睛区域进行匹配，由于眼睛瞳孔已经精确定位，在区间内使用模板进行匹配来提取眼睛特征参数；
步骤八、根据获取的眼睛特征参数判断是否疲劳驾驶；当疲劳驾驶时，进行报警提示；当没有疲劳驾驶时，返回执行步骤二。
步骤五中所述反向推算出视线投射位置按以下步骤进行：
红外线不容易被人眼发现却容易被摄像机发现，红外线的照射人眼时会瞳孔明显比虹膜黑，在虹膜上有一个明显的红外反射点，由此可以找到瞳孔的中心和反射点的位置，从而得到相应的瞳孔与反射点向量。计算红外眼睛图像的瞳孔与反射点向量首先要计算瞳孔中心与反射点的位置，先对原始图像进行归一化处理以增强瞳孔与反射点的对比度，归一化后对图像进行基于瞳孔的二值化，通过计算图像的质心就可以得到瞳孔的粗略位置，由于反射点在瞳孔附近，这时对归一化后的图像瞳孔周围的局部图像重新进行基于反射点二值化，由于瞳孔附近反射点明显的比其它部分灰度值大，这样经过反射点二值化后除反射点外其余部分成白色，通过对反射点二值化图像的质心计算就可以确定反射点的位置。
在本实施例中，将特征识别点红外光源设置在眼睛的下方，摄像机处于高于眼睛的位置，这样反射点的位置出现在瞳孔的下半部，利用这一特点可以利用瞳孔的上半部分进行圆拟合，这里计算了瞳孔粗略位置点与反射点连线的垂直平分线，并保留垂直平分线上面的边缘部分作为圆拟合的计算点集。
由图2可以看出，将分辨率为1024×768的屏幕分为大小平均的9块区域，每块的中心坐标在块的中心标记出来，可以看出眼睛在看不同的方位时，瞳孔中心与反射点向量发生了变化，通过寻找向量变化的规律，并将这种变换规律对应到视线与屏幕的映射关系上，就可以实现视线跟踪。
本实施例中的的瞳孔中心反射点向量算法，将头部固定，由于头部位置和光源的位置和摄像头位置都是固定的，反射点在眼睛中的位置不变，当人的视线发生变化时只有瞳孔中心的位置是变化的，瞳孔中心反射点向量与屏幕上点的对应关系利用以下多项式得到：
设定瞳孔中心反射点向量为V，其在坐标轴x轴与y轴方向的投影分别为Vｘ和Vｙ，其在观测平面屏幕上的投影为(Ｘｇ，Yｇ)，
计算Xｇ＝a0+a1Vｘ+a2Vｙ+a3VｘVｙ+a4Vｘ 2+a5Vｙ 2和Yｇ＝b0+b1Vｘ+b2Vｙ+b3VｘVｙ+b4Vｘ 2+b5Vｙ 2；所述a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5均为未知数。
通过以上多项式方程确定注视点与视线的映射关系，具体步骤为：用户依次注视9块区域的中心点，每当注视一个特定中心点，就记录下虹膜中心和瞳孔中心的矢量，由此产生18个方程，但是在这个多项式算法中只有12个未知数，所以用最小二乘法确定未知数的值，此时瞳孔中心反射点向量V与注视点的映射关系就可以用求得的结果表示出来，由此得到瞳孔中心反射点向量。
步骤六中所述眼动特征参数包括注视行为表征参数和扫视行为表征参数；
所述注视行为表征参数包括：注视点、注视点数目、注视点顺序、注视持续时间、瞳孔大小、水平方向的视角、垂直方向的视角、视觉搜索广度、注视点间距离和累积注视时间。
注视点（Location of fixations，LOF）反映的是一段时间内人所注意的空间焦点。眼睛会根据以往的经验自然地注视在引人注目的、极显眼的或重要的区域。
注视点数目（Number OF fixations，NOF）与观察者所需要处理信息的数目有关系，而与所需处理信息的深度无关。然而，一旦搜索者发现其兴趣所在，那么注视点的数目就反映了视觉区域中兴趣点的数目，并且信息比例高的区域，产生的注视频率也很高。另外，区域的几何形状重要性与在该区域的注视持续时间之间也有相关性。分区域的注视次数是衡量搜索效率的一个指标，也是区域重要性的衡量指标，区域越重要，注视次数越多。
注视点顺序（Sequence of fixations，SOF）为注视点先后之间的顺序关系，连续的注视顺序构成扫描路径。
注视持续时间（Ｆｉｘａｔｉｏｎｄｕｒａｔｉｏｎ，FD）是指在注视时，视轴中心位置保持不变的持续时间，以毫秒计。注视持续时间代表着处理与危险相关的信息所花费的时间，反映的是提取信息的难易程度，也就是从所注视的目标上提取信息所用的时间，同时也是注视区域信息内容和主观信息处理策略的度量标准。
瞳孔大小（Pupil diamerter，PD）表征驾驶员的紧张程度，也是视觉信息注意状态的重要指标。瞳孔的大小可以揭示不同刺激条件对注意状态的激发。瞳孔大小可以用直径来描述，也可以用面积来描述。
水平方向的视角和垂直方向的视角这两个参数描述的是被试者注视某个目标时，眼球相对于头部在水平和垂直方向转动的角度示。结合人体眼球的结构，本方法所使用的眼动仪在水平和垂直方向可测得的转动角度范围是±240。
搜索广度表示的是水平、垂直方向视觉搜索的范围。采用水平及垂直方向视觉搜索角度的方差及标准差ＳＤ作为评价搜索广度的指标。
注视点间的距离(Distance between fixations，DBF）是指相邻两个注视点间的距离。如果距离比较短则能够说明该信息比较容易识别且看起来很容易发现，同时也反映出前一个注视的效率很低，被试者通过前一个注视点获取的信息量不足以判断该目标是否有危险；如果该距离比较长则说明从前一个注视点到当前这个注视点需要很长的距离，中间所经过的距离内经扫视判断而认为其间并不存在需要注视的目标。
累积注视时间（Cumlative fixation time，CFT）是指在任一注视区域的总的注视持续时间。
所述扫视行为表征参数包括扫视持续时间、扫视幅度、扫视平均速度。
扫视持续时间（Saccade duration，SD）是指眼球从一个注视运动结束至下一个注视运动开始期间所包含的时间，它反映了在视觉搜索过程中搜索目标所花费的时间。扫视持续时间越长，说明在搜索范围内的信息密度；扫视持续时间越短，则在搜索范围内的信息密度越大。扫视持续时间和视觉搜索效率相比，与要处理信息的复杂度更相关。
扫视幅度（Saccade amplitude，SA）是指一次扫视从开始到结束时所覆盖的范围，也是指从一次注视结束开始转移到下一次注视之前眼睛跳跃的范围，通常用视角的度数来表示。
扫视平均速度（Saccade average velocity，SAV）为每一次扫视的角度与扫视持续时间的比值，其计量单位是度／秒。扫视平均速度能够说明前一次注视过程中信息加工的速度以及被试者寻找下一个目标的速度。
城市道路一般可以分为平面交叉口、立交桥、直行路段，将其按照特征划分为左转十字路口、右转十字路口、直行十字路口、隔离带分隔路段、隔离栅分隔路段、标线分隔路段、快速干道路段、直行立交路段和立交匝道路段9种路段；同时这9种路段也代表了不同的交通复杂程度。通过选取50名驾驶员作为试验对象，对50位驾驶员在这9种路段上驾驶时的注视行为总体特征进行了统计。得到了驾驶员的注视行为表征参数和扫视行为表征参数。
本实施例为了分析隐藏在这些眼动数据之后的驾驶员动态视觉特征规律，首先对50位驾驶员的注视和扫视行为参数进行分区段统计，分析驾驶员注视行为表征参数和扫视行为表征参数；然后比较驾驶员在各种路段的眼动行为的具体差异，建立不同道路条件下驾驶员动态视觉差异性模板库。例如，在不同路段上驾驶时，驾驶员注视时间长短的区段分布具有基本相同的变化趋势，即注视时间落在0--200ms区间的注视行为的频次最高，注视时间超过200ms的注视行为的频次逐渐降低。三种十字路口路段比较时，注视时间在0--150ms区间，驾驶员注视频次在左转十字路口最高；注视时间在50--200ms区间，驾驶员注视频次在右转十字路口最高；在直行十字路口时，该注视时间段内的注视频次相对较低。对三种城市普通道路进行比较时，注视时间在0--100ms区间，在快速干道路段时驾驶员注视频次最高；注视时间在lO0--150ms区间，在直行立交桥路段驾驶员注视频次最低；注视时间在150--一200ms区间，在立交桥匝道路段驾驶员注视频次最高。注视时间在0--100区间，在快速干道路段驾驶员注视频次最高；注视时间在100--200区间，在十字路口路段驾驶员注视频次最高。利用这些规律设置相应的阈值来建立不同道路条件下驾驶员动态视觉差异性模板库。
步骤八中所述判断是否疲劳驾驶按以下步骤进行：
A1、初始化眼睛最大值M左、M右和最小值m左、m右；设左右两眼面积随时间的变化函数分别为S左（t）和S右（t），M左、M右由S（t）的频数统计直方图最大值对应的S确定，m左、m右则由初始化阶段S的频数统计直方图除0位置之外的起始位置确定；
A2、设定左眼睁开程度为p左（t），右眼睁开程度为p右（t）；计算所述左眼睁开程度和右眼睁开程度：
p左（t）=（S左（t）-m左）（/M左-m左）；
p右（t）=（S右（t）-m右）（/M右-m右）；
A3、计算p（t）=［p左（t）+p右（t）］/2，得到眼睛睁开的程度：
A4、设定一定的时间内眼睛闭合时所占的时间比例为PERCLOS，计算
得到PERCLOS，t为眼睛从最大闭合到完全张开所用时间；
A5、判断PERCLOS（Percentage of EyeIid CIosure over the PupiI，overTime，度量疲劳/瞌睡的物理量）是否大于40%且眼睛闭合时间是否大于3s；当PERCLOS大于40%且眼睛闭合时间大于3s时，为疲劳驾驶；否则为没有疲劳驾驶。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (4)
1.一种视线跟踪及疲劳预警方法，其特征在于包括以下步骤：
步骤一、通过车载视线跟踪器屏幕附近的红外LED标定显示器的特征识别点；
步骤二、通过微型摄像头获取驾驶员脸部的RGB彩色图像，所述RGB彩色图像中包括驾驶员眼睛瞳孔信息及视线方向信息；
步骤三、将所述RGB彩色图像转化为灰度图像，获取灰度图像中各帧图像的最佳动态阈值并进行图像分割，得到二值图像；
步骤四、控制近轴和远轴红外可控光源的开关，在奇数帧打开近轴红外灯光源，在偶数帧打开远轴红外灯光源，确定视频序列中人眼瞳孔的位置；
步骤五、利用瞳孔中心位置结合根据车载显示器的特征识别点，反向推算出视线投射位置；
步骤六、对驾驶时的眼动特征参数进行统计，建立动态视觉差异性模板库；
步骤七、利用所述动态视觉差异性模板库与二值图像中眼睛区域进行匹配，提取眼睛特征参数；
步骤八、根据获取的眼睛特征参数判断是否疲劳驾驶；当疲劳驾驶时，进行报警提示；当没有疲劳驾驶时，返回执行步骤二。
2.如权利要求1所述的一种视线跟踪及疲劳预警方法，其特征是：步骤五中所述反向推算出视线投射位置按以下步骤进行：
找到瞳孔的中心和反射点的位置，得到瞳孔中心反射点向量：计算瞳孔中心与反射点的位置，对红外眼睛图像进行归一化处理，对归一化图像进行基于瞳孔的二值化，通过计算图像的质心得到瞳孔的位置，对归一化图像瞳孔周围的局部图像重新进行基于反射点二值化，通过对反射点二值化图像的质心计算确定反射点的位置。
3.如权利要求1所述的一种视线跟踪及疲劳预警方法，其特征是：步骤六中所述眼动特征参数包括注视行为表征参数和扫视行为表征参数；
所述注视行为表征参数包括：注视点、注视点数目、注视点顺序、注视持续时间、瞳孔大小、水平方向的视角、垂直方向的视角、视觉搜索广度、注视点间距离和累积注视时间；
所述扫视行为表征参数包括扫视持续时间、扫视幅度、扫视平均速度。
4.如权利要求1所述的一种视线跟踪及疲劳预警方法，其特征是：步骤八中所述判断是否疲劳驾驶按以下步骤进行：
A1、初始化眼睛最大值M左、M右和最小值m左、m右；设左右两眼面积随时间的变化函数分别为S左（t）和S右（t），M左、M右由S（t）的频数统计直方图最大值对应的S确定，m左、m右则由初始化阶段S的频数统计直方图除0位置之外的起始位置确定；
A2、设定左眼睁开程度为p左（t），右眼睁开程度为p右（t）；计算所述左眼睁开程度和右眼睁开程度：
p左（t）=（S左（t）-m左）（/M左-m左）；
p右（t）=（S右（t）-m右）（/M右-m右）；
A3、计算p（t）=［p左（t）+p右（t）］/2，得到眼睛睁开的程度：
A4、设定一定的时间内眼睛闭合时所占的时间比例为PERCLOS，计算
得到PERCLOS，所述t为眼睛从最大闭合到完全张开所用时间；
A5、判断PERCLOS是否大于40%且眼睛闭合时间是否大于3s；当PERCLOS大于40%且眼睛闭合时间大于3s时，为疲劳驾驶；否则为没有疲劳驾驶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410148043.4A CN103886307B (zh) | 2014-04-15 | 2014-04-15 | 一种视线跟踪及疲劳预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410148043.4A CN103886307B (zh) | 2014-04-15 | 2014-04-15 | 一种视线跟踪及疲劳预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103886307A true CN103886307A (zh) | 2014-06-25 |
| CN103886307B CN103886307B (zh) | 2017-07-07 |
Family
ID=50955190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410148043.4A Expired - Fee Related CN103886307B (zh) | 2014-04-15 | 2014-04-15 | 一种视线跟踪及疲劳预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103886307B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868157A (zh) * | 2016-04-18 | 2016-08-17 | 山东交通学院 | 基于驾驶员注视时间的隧道出入口限速标志位置设定方法 |
| CN106485880A (zh) * | 2016-11-15 | 2017-03-08 | 广东技术师范学院 | 汽车驾驶安全预警车载智能终端 |
| CN106529409A (zh) * | 2016-10-10 | 2017-03-22 | 中山大学 | 一种基于头部姿态的眼睛注视视角测定方法 |
| CN107066936A (zh) * | 2016-02-02 | 2017-08-18 | 罗伯特·博世有限公司 | 用于识别驾驶员的疲劳的方法和装置 |
| CN108216034A (zh) * | 2016-12-20 | 2018-06-29 | 罗伯特·博世有限公司 | 用于显示车辆的周围环境的与视向有关的系统 |
| CN109375773A (zh) * | 2018-10-24 | 2019-02-22 | 深圳市领点科技有限公司 | 一种基于vr设备的监督方法和装置 |
| CN109740512A (zh) * | 2018-12-29 | 2019-05-10 | 山东财经大学 | 一种用于疲劳驾驶判断的人眼状态识别方法 |
| CN109969195A (zh) * | 2019-03-25 | 2019-07-05 | 陕西科技大学 | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 |
| CN110502100A (zh) * | 2019-05-29 | 2019-11-26 | 中国人民解放军军事科学院军事医学研究院 | 基于眼动跟踪的虚拟现实交互方法及装置 |
| CN110550043A (zh) * | 2019-09-05 | 2019-12-10 | 上海博泰悦臻网络技术服务有限公司 | 危险行为的警示方法、系统、计算机存储介质及车载终端 |
| CN110579879A (zh) * | 2019-09-17 | 2019-12-17 | 中国第一汽车股份有限公司 | 一种车载抬头显示系统及其控制方法 |
| CN110811645A (zh) * | 2019-10-15 | 2020-02-21 | 南方科技大学 | 一种视疲劳测量方法及其系统、存储介质、电子设备 |
| CN110857067A (zh) * | 2018-08-24 | 2020-03-03 | 上海汽车集团股份有限公司 | 一种人车交互装置和人车交互方法 |
| CN111267865A (zh) * | 2020-02-11 | 2020-06-12 | 矩阵元技术（深圳）有限公司 | 基于视觉的安全驾驶预警方法、系统及存储介质 |
| CN111325172A (zh) * | 2020-02-28 | 2020-06-23 | 英华达（上海）科技有限公司 | 以视线追踪达成驾驶习惯养成的装置及方法 |
| WO2021249300A1 (zh) * | 2020-06-11 | 2021-12-16 | 广州汽车集团股份有限公司 | 一种视觉追踪人眼注视点的方法、车辆预警方法及装置 |
| CN113925512A (zh) * | 2021-10-14 | 2022-01-14 | 东风汽车集团股份有限公司 | 基于视野焦点的疲劳检测方法及装置 |
| CN114035685A (zh) * | 2015-09-24 | 2022-02-11 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
| CN115562500A (zh) * | 2022-11-30 | 2023-01-03 | 南京航空航天大学 | 一种眼动控制智能手机的方法 |
| CN115770013A (zh) * | 2022-11-30 | 2023-03-10 | 北京中科睿医信息科技有限公司 | 辅助弱势人群的眼动测试方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540090A (zh) * | 2009-04-14 | 2009-09-23 | 华南理工大学 | 基于多元信息融合的驾驶员疲劳监测装置及其监测方法 |
| US20110169625A1 (en) * | 2010-01-14 | 2011-07-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Combining driver and environment sensing for vehicular safety systems |
-
2014
- 2014-04-15 CN CN201410148043.4A patent/CN103886307B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540090A (zh) * | 2009-04-14 | 2009-09-23 | 华南理工大学 | 基于多元信息融合的驾驶员疲劳监测装置及其监测方法 |
| US20110169625A1 (en) * | 2010-01-14 | 2011-07-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Combining driver and environment sensing for vehicular safety systems |
Non-Patent Citations (2)
| Title |
|---|
| 张海水 等: ""基于DSP多特征检测疲劳驾驶检测系统研究"", 《计算机应用与软件》 * |
| 王磊 等: ""一种基于视觉的 PERCLOS 特征提取方法"", 《计算机工程与科学》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114035685A (zh) * | 2015-09-24 | 2022-02-11 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
| CN107066936A (zh) * | 2016-02-02 | 2017-08-18 | 罗伯特·博世有限公司 | 用于识别驾驶员的疲劳的方法和装置 |
| CN105868157B (zh) * | 2016-04-18 | 2018-06-15 | 山东交通学院 | 基于驾驶员注视时间的隧道出入口限速标志位置设定方法 |
| CN105868157A (zh) * | 2016-04-18 | 2016-08-17 | 山东交通学院 | 基于驾驶员注视时间的隧道出入口限速标志位置设定方法 |
| CN106529409A (zh) * | 2016-10-10 | 2017-03-22 | 中山大学 | 一种基于头部姿态的眼睛注视视角测定方法 |
| CN106485880A (zh) * | 2016-11-15 | 2017-03-08 | 广东技术师范学院 | 汽车驾驶安全预警车载智能终端 |
| CN108216034A (zh) * | 2016-12-20 | 2018-06-29 | 罗伯特·博世有限公司 | 用于显示车辆的周围环境的与视向有关的系统 |
| CN110857067A (zh) * | 2018-08-24 | 2020-03-03 | 上海汽车集团股份有限公司 | 一种人车交互装置和人车交互方法 |
| CN109375773A (zh) * | 2018-10-24 | 2019-02-22 | 深圳市领点科技有限公司 | 一种基于vr设备的监督方法和装置 |
| CN109740512A (zh) * | 2018-12-29 | 2019-05-10 | 山东财经大学 | 一种用于疲劳驾驶判断的人眼状态识别方法 |
| CN109969195A (zh) * | 2019-03-25 | 2019-07-05 | 陕西科技大学 | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 |
| CN109969195B (zh) * | 2019-03-25 | 2024-02-27 | 陕西科技大学 | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 |
| CN110502100A (zh) * | 2019-05-29 | 2019-11-26 | 中国人民解放军军事科学院军事医学研究院 | 基于眼动跟踪的虚拟现实交互方法及装置 |
| CN110550043A (zh) * | 2019-09-05 | 2019-12-10 | 上海博泰悦臻网络技术服务有限公司 | 危险行为的警示方法、系统、计算机存储介质及车载终端 |
| CN110579879A (zh) * | 2019-09-17 | 2019-12-17 | 中国第一汽车股份有限公司 | 一种车载抬头显示系统及其控制方法 |
| CN110579879B (zh) * | 2019-09-17 | 2021-11-02 | 中国第一汽车股份有限公司 | 一种车载抬头显示系统及其控制方法 |
| CN110811645A (zh) * | 2019-10-15 | 2020-02-21 | 南方科技大学 | 一种视疲劳测量方法及其系统、存储介质、电子设备 |
| CN110811645B (zh) * | 2019-10-15 | 2022-12-20 | 南方科技大学 | 一种视疲劳测量方法及其系统、存储介质、电子设备 |
| CN111267865A (zh) * | 2020-02-11 | 2020-06-12 | 矩阵元技术（深圳）有限公司 | 基于视觉的安全驾驶预警方法、系统及存储介质 |
| CN111267865B (zh) * | 2020-02-11 | 2021-07-16 | 矩阵元技术（深圳）有限公司 | 基于视觉的安全驾驶预警方法、系统及存储介质 |
| CN111325172B (zh) * | 2020-02-28 | 2023-04-21 | 英华达（上海）科技有限公司 | 以视线追踪达成驾驶习惯养成的装置及方法 |
| CN111325172A (zh) * | 2020-02-28 | 2020-06-23 | 英华达（上海）科技有限公司 | 以视线追踪达成驾驶习惯养成的装置及方法 |
| CN113815623A (zh) * | 2020-06-11 | 2021-12-21 | 广州汽车集团股份有限公司 | 一种视觉追踪人眼注视点的方法、车辆预警方法及装置 |
| WO2021249300A1 (zh) * | 2020-06-11 | 2021-12-16 | 广州汽车集团股份有限公司 | 一种视觉追踪人眼注视点的方法、车辆预警方法及装置 |
| CN113815623B (zh) * | 2020-06-11 | 2023-08-08 | 广州汽车集团股份有限公司 | 一种视觉追踪人眼注视点的方法、车辆预警方法及装置 |
| CN113925512A (zh) * | 2021-10-14 | 2022-01-14 | 东风汽车集团股份有限公司 | 基于视野焦点的疲劳检测方法及装置 |
| CN113925512B (zh) * | 2021-10-14 | 2023-10-20 | 东风汽车集团股份有限公司 | 基于视野焦点的疲劳检测方法及装置 |
| CN115562500A (zh) * | 2022-11-30 | 2023-01-03 | 南京航空航天大学 | 一种眼动控制智能手机的方法 |
| CN115770013A (zh) * | 2022-11-30 | 2023-03-10 | 北京中科睿医信息科技有限公司 | 辅助弱势人群的眼动测试方法、装置、设备及介质 |
| CN115770013B (zh) * | 2022-11-30 | 2023-07-14 | 北京中科睿医信息科技有限公司 | 辅助弱势人群的眼动测试方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103886307B (zh) | 2017-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103886307A (zh) | 一种视线跟踪及疲劳预警方法 | |
| Costa et al. | Fixation distance and fixation duration to vertical road signs | |
| US9963153B2 (en) | Method and device for detecting safe driving state of driver | |
| CN103767715B (zh) | 一种驾驶员安全驾驶状态检测装置 | |
| Tsimhoni et al. | Visual demand of driving curves determined by visual occlusion | |
| Langner et al. | Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display | |
| CN113743471B (zh) | 一种驾驶评估方法及其系统 | |
| CN109849788B (zh) | 信息提供方法、装置及系统 | |
| Guasconi et al. | A low-cost implementation of an eye tracking system for driver's gaze analysis | |
| Gibbons et al. | Development of visual model for exploring relationship between nighttime driving behavior and roadway visibility features | |
| Rezaei et al. | Toward next generation of driver assistance systems: A multimodal sensor-based platform | |
| CN108537161A (zh) | 一种基于视觉特性的驾驶分心检测方法 | |
| Rani et al. | Computer vision based gaze tracking for accident prevention | |
| You et al. | Using eye-tracking to help design HUD-based safety indicators for lane changes | |
| US11908208B2 (en) | Interface sharpness distraction mitigation method and system | |
| Addanki et al. | Analysis of traffic related factors and vehicle environment in monitoring driver’s driveability | |
| Talamonti Jr et al. | Eye glance and head turn correspondence during secondary task performance in simulator driving | |
| Gould et al. | Detection of vehicle approach in the presence of additional motion and simulated observer motion at road junctions. | |
| Luo et al. | Methods for automated identification of informative behaviors in natural bioptic driving | |
| Schieber et al. | Driver eye fixation and reading patterns while using highway signs under dynamic nighttime driving conditions: Effects of age, sign luminance and environmental demand | |
| Hamada et al. | Detecting method applicable to individual features for drivers' drowsiness | |
| Sharma et al. | A review of driver gaze estimation and application in gaze behavior understanding | |
| Mittal et al. | Driver Alert Control & Accident Prevention System | |
| Sato et al. | Driver body information analysis for distraction state detection | |
| Jia | An Analysis ofDriver Cognitive Distraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20171107 Address after: 401123 comprehensive research and development building, 2 Willow Road, northern New District, Chongqing, Yubei District Co-patentee after: Chen Yong Patentee after: CHONGQING ACADEMY OF BIG DATA CO.,LTD. Co-patentee after: Wang Dongqiang Co-patentee after: Liu Chao Address before: 401123 Chongqing city in northern New Mount Huangshan road middle Willow Road No. 2 Patentee before: Wang Dongqiang |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170707 |