CN114267169A - 一种基于机器视觉的预防疲劳驾驶限速控制方法 - Google Patents
一种基于机器视觉的预防疲劳驾驶限速控制方法 Download PDFInfo
- Publication number
- CN114267169A CN114267169A CN202111078164.2A CN202111078164A CN114267169A CN 114267169 A CN114267169 A CN 114267169A CN 202111078164 A CN202111078164 A CN 202111078164A CN 114267169 A CN114267169 A CN 114267169A
- Authority
- CN
- China
- Prior art keywords
- driver
- fatigue
- road
- speed
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000002265 prevention Effects 0.000 title claims abstract description 7
- 206010039203 Road traffic accident Diseases 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000013210 evaluation model Methods 0.000 claims abstract 2
- 210000000744 eyelid Anatomy 0.000 claims description 21
- 210000001747 pupil Anatomy 0.000 claims description 11
- 241001282135 Poromitra oscitans Species 0.000 claims description 4
- 206010048232 Yawning Diseases 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 2
- 230000006996 mental state Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于机器视觉的预防疲劳驾驶限速控制方法，通过检测驾驶员眼部图像数据，建立疲劳程度检测模型，并利用摄像头获取路况信息，建立道路评估模型对道路进行安全评估，得出在此刻驾驶员的疲劳状态下，根据前方路况信息，安全行驶的最大安全速度范围，以降低交通事故发生的概率。
Description
技术领域
本发明属于智能交通与控制领域，具体涉及一种基于机器视觉的预防疲劳驾驶限速控制方法。
背景技术
由《2019—2025年中国交通事故现场勘查救援设备行业市场专项调研及投资战略研究报告》可知：每年发生的交通事故平均高达19万起，其中每年因交通事故而死亡的人数达到万之多。事故的发生多因驾驶员疲劳驾驶、超速等行为造成。据统计，截至2020年6月，全国机动车驾驶人数量达4.4亿人，其中，汽车驾驶人数量为4亿人，占驾驶人总数的90.9％。。汽车产业的发展不仅有助于经济增长，更为人们的出行带来了极大便利，但频发的交通事故也为我国交通治理带来巨大挑战。行车记录仪和道路摄像头等传统的监测方式普遍存在智能效果不足等弊端，容易造成存储和计算资源的巨大浪费。高速行驶时易使驾驶员神经紧张，在不影响交通的情况下，以略低于正常速度行驶可减轻精神压力，降低疲劳。同时，行驶时尽量减少超车，减少紧急制动等动作，也可减轻疲劳。通过机器视觉等新技术对驾驶员的疲劳驾驶程度、路况等进行判定，限制行车速度，增加对意外情况的反应时间，从而规范驾驶员的驾驶行为，大大降低交通事故的发生概率。
发明内容
针对超速、疲劳驾驶等现象频发的情况下，本发明提供了一种基于机器视觉的车辆动态限速控制方法，可根据驾驶者的疲劳程度、前方路况等的问题提前计算出一个安全的最高行驶速度，驾驶人从而可以提前降低行驶速度，降低交通事故的发生概率。
为解决上述技术问题，本发明所提供的技术方案包括：
首先要检测驾驶员的疲劳程度，其次利用摄像头获取路况信息，电脑通过路况模型评估出道路的安全系数，最后给出最佳安全速度范围。
疲劳状态检测采用检测驾驶人眼睛动作特性的方法，检测驾驶人的疲劳状态。驾驶人在不同的疲劳状态下其眼睑开合程度、睁闭速度，虹膜运动特性均呈现出不同的特性。
眼睑开合程度能很大程度反映驾驶员的困意或者疲劳程度，当驾驶员的眼睑开合程度小于一定值时，发生交通事故的概率会大大上升。定义眼睑开合程度d为：
其中，fup(x,y)，fdown(x,y)分别为根据眼睛左右角点及上下眼睑的顶点坐标计算而来的上下眼睑抛物线方程，(x0,y0)，(u0,v0)分别为上下眼睑的顶点坐标。
驾驶人在不同的疲劳状态下，其睁闭眼的速度是不一样的，根据眼睛纵横比(EyeAspect Ratio，EAR)以及嘴巴纵横比(Mouth Aspect Radio，MAR)来判断驾驶员是否存在疲劳驾驶行为，眼睛纵横比和嘴巴纵横比定义为：
其中，p1,...,pn为视觉系统中提取的人眼坐标，
为坐标的平均坐标点，
当EAR大于设定的阈值时则其眨眼计数n加1，同理，当MAR大于设定的阈值时，其打哈欠计数m加1，从而计算其睁闭眼速度ve和其打哈欠的速度vy，定义为：
其中，t为驾驶时长。
瞳孔作为识别人体身份的重要特征之一，机器视觉能够通过采集人眼特征图像，定位瞳孔位置，计算瞳孔与上眼睑的距离判断驾驶员是否处于疲劳状态中。从视觉系统提取的人眼坐标中取像素大于人眼平均像素大小的坐标，即：
其中，g(x,y)为人眼坐标点p(x,y)的像素值大小，
为人眼图像像素值的均值。
瞳孔坐标(ue,ve)满足：
其中α、β表示权重系数。
瞳孔与上眼睑的距离定义为：
将获取的眼睑开合程度、眼睛睁闭速度、瞳孔运动作为疲劳检测的特征，定义驾驶人疲劳状态变量为C,则驾驶人的疲劳状态可表示为:
对C(t)进行二阶求导得
明显当
时，驾驶员的疲劳度增大得最快，此时也是相对容易发生交通事故的一个时间点，并提醒驾驶员需要提高自身注意力，注意安全。
其次进行路况评估，根据地图定位数据可以获取车辆一定范围内路段限速值以及不同的车道限速值，再基于地图定位数据获取当前车辆所在位置即获取当前车道以及当前车道对应的当前路段限速值和当前车道限速值,还可以根据地图定位数据获取法规限定速度，将所述法规限定速度定义为v0。
其次，所述路况评估由所述机器视觉数据确定：从机器视觉数据中提取车辆前方道路图像；对所述车辆前方道路图像进行图像处理，以获得当前车道图像；不同的车道曲率下，车辆能安全通过的车速是不同的。可以利用安装在自动驾驶汽车车内后视镜上的摄像头采集前方道路视频生成机器视觉数据，从所述机器视觉数据中提取车辆前方道路图像；对所述车辆前方道路图像进行图像处理，以获得当前车道图像；根据所述当前车道图像提取当前车道信息,并根据所述当前车道信息计算当前车道曲率，定义车道曲率为：
其中，f(x)为车道拟合函数。
预设曲率车速对应表可以为现有曲率车速对应表，通过当前车道曲率在现有曲率车速对应表中查找最大安全通过车速，最大安全通过车速为曲率车速。定义曲率车速vk为：
其中，θ为行驶车辆在弯道中所转过的角度，l为弯道起点到终点的弧度长。
从机器视觉数据中提取障碍物数据，所述障碍物数据可以包括障碍物状态数据和障碍物行驶数据，前方有车但自车不期望超车的时候，自车的行驶车速会受前车的行驶速度限制，从所述障碍物行驶数据中提取前车速度vf。
定义道路评估函数模型为：
其中，μ为道路的摩擦系数，L为道路宽度，ω表示为道路的坡度。
根据驾驶员的疲劳程度和道路评估，可给出预测最高安全速度，定义速度预测模型为：
驾驶员的精神状态是导致交通事故发生的因素之一，可通过以下过程获得根据驾驶员当时的疲劳程度和当时的路况的一个预测最高安全速度vsafe：
①从脸部图像获取眼部各个坐标点和像素值的大小
②计算得上下眼睑的开合程度d、眨眼和打哈欠的速度ve和vy、瞳孔到上眼睑的距离，由此计算驾驶员的疲劳程度。
③从地图定位数据和机器视觉数据中获取得v0、vk、vf，道路曲度、宽度等进行道路路况评估。
④根据驾驶员的疲劳程度、路况评估、驾驶时长得到预测最高安全速度vsafe。
⑤不断刷新数据。
附图说明
图1：限速控制流程图
图2：驾驶员的疲劳程度随驾车时长的变化图
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明。
本发明实施例提供了一种基于机器视觉的预防疲劳驾驶车速控制方法，参照图1，图1为本发明一种基于机器视觉的预防疲劳驾驶车速控制方法第一实施例的流程示意图。
采用CCD摄像机采集驾驶人的面部图像，摄像机安装在车辆仪表盘附近。针对车辆的不同，摄像机焦距分别为8mm(乘用车)与12mm(商用车)，本实施例中采用焦距为8mm的摄像机采集人脸图像。考虑一名正常状态驾驶员，根据已知眼部坐标点p1,...,pn，获取的眼睑开合程度d为2mm、眼睛睁闭速度为2秒一次、瞳孔与上眼睑的距离l为1.2mm，其疲劳程度随驾驶时长的变化如图2所示。若驾驶员在坡度为30°，车道曲率K＝10，道路宽度L为1.5m宽的车道上行驶，根据驾驶员的疲劳程度和道路评估，且驾驶员已经驾驶汽车时长1小时，则可给出预测最高安全速度vsafe＝37.265km/h。
Claims (1)
1.一种基于机器视觉的预防疲劳驾驶限速控制方法，其特征在于：
通过检测驾驶员的疲劳程度和利用摄像头获取路况信息，建立道路评估模型对道路进行安全评估，得出在此刻驾驶员的疲劳状态下，根据前方路况信息，安全行驶的最大安全速度，以降低交通事故发生的概率。
根据驾驶员的疲劳程度和道路评估，可给出预测最高安全速度，定义最高安全速度预测模型为：
其中，C表示为驾驶员的疲劳程度，t表示为驾驶时长，v0为道路限定速度，vk为车道曲率速度，vf为前车速度，h(v0,vk,vf)表示为道路评估函数，且
其中，μ为道路的摩擦系数，L为道路宽度，ω表示为道路的坡度。
眼睑开合程度、眼睛睁闭速度、瞳孔运动作为疲劳检测的特征，定义驾驶人疲劳状态变量为C,则驾驶人的疲劳状态可表示为:
其中d表示眼睑开合程度，l为瞳孔与上眼睑的距离，veye为眼睛睁闭速度，vy表示驾驶员打哈欠的速度，fup(x,y)，fdown(x,y)分别为根据眼睛左右角点及上下眼睑的顶点坐标计算而来的上下眼睑抛物线方程，(x0,y0)，(u0,v0)分别为上下眼睑的顶点坐标，(ue,ve)为瞳孔坐标。
对C(t)进行二阶求导得
明显当
时，驾驶员的疲劳度增大得最快，此时也是相对容易发生交通事故的一个时间点，并提醒驾驶员需要提高自身注意力，注意安全。
驾驶员的精神状态是导致交通事故发生的因素之一，可通过本发明获得根据驾驶员当时的疲劳程度和当时的路况的预测最高安全速度vsafe，可大大降低交通事故发生的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078164.2A CN114267169A (zh) | 2021-09-15 | 2021-09-15 | 一种基于机器视觉的预防疲劳驾驶限速控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078164.2A CN114267169A (zh) | 2021-09-15 | 2021-09-15 | 一种基于机器视觉的预防疲劳驾驶限速控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114267169A true CN114267169A (zh) | 2022-04-01 |
Family
ID=80824601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111078164.2A Pending CN114267169A (zh) | 2021-09-15 | 2021-09-15 | 一种基于机器视觉的预防疲劳驾驶限速控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114267169A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115366909A (zh) * | 2022-10-21 | 2022-11-22 | 四川省公路规划勘察设计研究院有限公司 | 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509418A (zh) * | 2011-10-11 | 2012-06-20 | 东华大学 | 一种多传感信息融合的疲劳驾驶评估预警方法及装置 |
| CN110702121A (zh) * | 2019-11-23 | 2020-01-17 | 赣南师范大学 | 面向山地果园机械的最优路径模糊规划方法 |
-
2021
- 2021-09-15 CN CN202111078164.2A patent/CN114267169A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509418A (zh) * | 2011-10-11 | 2012-06-20 | 东华大学 | 一种多传感信息融合的疲劳驾驶评估预警方法及装置 |
| CN110702121A (zh) * | 2019-11-23 | 2020-01-17 | 赣南师范大学 | 面向山地果园机械的最优路径模糊规划方法 |
Non-Patent Citations (3)
| Title |
|---|
| GUO-FANG ZHAO: "Method of Detecting Logistics Driver’s Fatigue State based on Computer Vision", 《2015 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND APPLICATIONS》 * |
| 付锐: "基于动态匹配模型的驾驶人嘴部行为识别与分级预警", 《汽车工程》 * |
| 朱赟: "稀疏角度CT图像重建的一类自适应临近点算法", 《电子科技大学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115366909A (zh) * | 2022-10-21 | 2022-11-22 | 四川省公路规划勘察设计研究院有限公司 | 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020078465A1 (zh) | 驾驶状态分析方法和装置、驾驶员监控系统、车辆 | |
| CN102785661B (zh) | 车道偏离控制系统及方法 | |
| CN103714660B (zh) | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 | |
| CN105303830A (zh) | 一种驾驶行为分析系统及分析方法 | |
| CN104021370B (zh) | 一种基于视觉信息融合的驾驶员状态监测方法及系统 | |
| CN102054163B (zh) | 基于单目视觉的驾驶员疲劳检测方法 | |
| CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 | |
| CN109977930B (zh) | 疲劳驾驶检测方法及装置 | |
| CN106571015A (zh) | 基于互联网络的驾驶行为数据采集方法 | |
| CN104183091A (zh) | 一种自适应调整疲劳驾驶预警系统灵敏度的系统 | |
| CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
| CN105404862A (zh) | 一种基于手部跟踪的安全驾驶检测方法 | |
| CN108230619A (zh) | 基于多特征融合的疲劳驾驶检测方法 | |
| CN104318237A (zh) | 基于人脸识别的疲劳驾驶预警方法 | |
| CN108021875A (zh) | 一种车辆驾驶员个性化疲劳监测及预警方法 | |
| CN109740477A (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
| Charniya et al. | Drunk driving and drowsiness detection | |
| CN114872713A (zh) | 一种驾驶员异常驾驶状态监测装置和方法 | |
| Du et al. | Driver fatigue detection based on eye state analysis | |
| CN117523537A (zh) | 一种车辆驾驶危险程度动态判断方法 | |
| CN114267169A (zh) | 一种基于机器视觉的预防疲劳驾驶限速控制方法 | |
| Mašanović et al. | Driver monitoring using the in-vehicle camera | |
| US10945651B2 (en) | Arousal level determination device | |
| Mohammed et al. | Real-time driver awareness detection system | |
| CN212569985U (zh) | 一种疲劳驾驶预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220401 |
|
| WD01 | Invention patent application deemed withdrawn after publication |