CN110077398A - 一种用于智能驾驶的危险处理方法 - Google Patents
一种用于智能驾驶的危险处理方法 Download PDFInfo
- Publication number
- CN110077398A CN110077398A CN201910417142.0A CN201910417142A CN110077398A CN 110077398 A CN110077398 A CN 110077398A CN 201910417142 A CN201910417142 A CN 201910417142A CN 110077398 A CN110077398 A CN 110077398A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- road
- driver
- motion profile
- danger coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 230000000306 recurrent effect Effects 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000007613 environmental effect Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 12
- FXNSVEQMUYPYJS-UHFFFAOYSA-N 4-(2-aminoethyl)benzenesulfonamide Chemical compound NCCC1=CC=C(S(N)(=O)=O)C=C1 FXNSVEQMUYPYJS-UHFFFAOYSA-N 0.000 abstract description 4
- 206010039203 Road traffic accident Diseases 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000002788 crimping Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/107—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/12—Brake pedal position
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明属于智能驾驶的技术领域，公开了一种用于智能驾驶的危险处理方法，利用递归神经网络对连续的多帧图像进行车辆行驶道路上的车道线和驾驶员注意力的集中度进行检测，以及车辆的运动轨迹进行预测，根据检测出的车道线和运动轨迹，利用隐藏马尔科夫模型判断车辆偏离车道线的可能性，根据车辆偏离车道线的可能性及驾驶员注意力的集中度进行危险系数评估，根据危险系数的等级度，强制进行车辆的运动轨迹优化，以避免车辆偏离车道。采用本发明的方法可以弥补现有汽车AEBS系统的软肋，通过监控驾驶员注意力，提高车辆行驶过程中的安全性，结合前视摄像头拍摄的车辆行驶道路上的环境状况进行危险系数评估，再根据评估结果重新规划行驶路线。
Description
技术领域
本发明涉及智能驾驶的技术领域，尤其涉及一种用于智能驾驶的危险处理方法。
背景技术
伴随着我国高速公路的迅猛发展和人民生活水平的提高，机动车保有量呈现出井喷式增加，与此同时，道路交通事故也居高不下，给人民群众的生命财产造成了巨大的损失。根据交警部门对多年来的交通事故调查分析表明，我国大多数交通事故的主要直接原因是驾驶人的疲劳驾驶或违章驾驶，主要包括车辆驾驶人行驶过程中的非正常驾驶行为，如疲劳驾驶、越线行驶、超速行驶、长时间占道行驶、压线行驶和安全车距不足等行为。目前国际上通用的危险情况处理系统为AEBS自动紧急制动系统，该方法仅仅通知制动装置避免或减缓碰撞，不控制车辆转向，不能避免或减缓车辆驶出道路从而发生严重事故，不能避免或者减缓车辆偏离车道线撞击道路栅栏或者对面车辆，如重庆公交车坠江事件，因此，如何有效的监控、约束和规范车辆驾驶人操纵行为已成为保障道路交通安全的核心问题。
发明内容
本发明提供了一种用于智能驾驶的危险处理方法，解决了现有AEBS自动紧急制动系统仅仅通知制动装置避免或减缓碰撞，不控制车辆转向，不能避免或减缓车辆驶出道路从而发生严重事故等问题。
本发明可通过以下技术方案实现：
一种用于智能驾驶的危险处理方法，利用递归神经网络对连续的多帧图像进行车辆行驶道路上的车道线和驾驶员注意力的集中度进行检测，以及车辆的运动轨迹进行预测，根据检测出的车道线和运动轨迹，利用隐藏马尔科夫模型判断车辆偏离车道线的可能性，根据车辆偏离车道线的可能性及驾驶员注意力的集中度进行危险系数评估，根据危险系数的等级度，强制进行车辆的运动轨迹优化，以避免车辆偏离车道。
进一步，以车辆自身的前视摄像头拍摄的车辆行驶道路上的连续的多帧图像信息、每帧图像信息对应的车辆自身的速度和角速度作为第一递归神经网络的输入，进行车道线与车辆之间的距离、车道线所在曲线的方程式及其曲率的检测。
进一步，以连续多个时刻对应的油门踏板开度及制动踏板开度、方向盘角度及角速度、车辆自身的角速度、速度及加速度作为第二递归神经网络的输入，对车辆的运动轨迹进行预测，再将车道线所在曲线的方程式与车辆的运动轨迹作为隐藏马尔科夫模型的输入，判断车辆偏离车道线的可能性。
进一步，以连续多帧的驾驶员监控图像提取的驾驶员面部特征，每帧驾驶员监控图像对应的油门踏板开度、制动踏板开度、方向盘角度及角速度作为第三递归神经网络的输入，对驾驶员注意力的集中度进行检测，再结合车辆偏离车道线的可能性、车辆自身的前视摄像头拍摄的车辆行驶道路上的环境状况进行危险系数评估。
进一步，驾驶员注意力的集中度的范围设置0～100,0表示驾驶员的注意力完全没有集中，100表示驾驶员的注意力高度集中，当所述集中度不大于80时，设置为驾驶员的视线偏离车道，需要结合车辆偏离车道线的可能性进行危险系数评估。
进一步，所述危险系数的范围设置为0～100，0表示没有危险，100表示高度危险，当所述危险系数不小于80时，强制进行车辆的运动轨迹优化，以避免车辆偏离车道。
本发明有益的技术效果在于：
本发明利用递归神经网络对连续的多帧图像进行车辆行驶道路上的车道线和驾驶员注意力的集中度进行检测，以及车辆的运动轨迹进行预测，根据检测出的车道线和运动轨迹，利用隐藏马尔科夫模型判断车辆偏离车道线的可能性，根据车辆偏离车道线的可能性及驾驶员注意力的集中度进行危险系数评估，根据危险系数的等级度，强制进行车辆的运动轨迹优化，以避免车辆偏离车道。采用本发明的方法可以弥补现有汽车AEBS系统的软肋，通过监控驾驶员注意力，提高车辆行驶过程中的安全性，再结合前视摄像头拍摄的车辆行驶道路上的环境状况进行危险系数评估，再根据评估结果重新规划行驶路线，避免由于驾驶员注意力不集中造成车辆偏离车道线而没有及时进行调整，造成车辆重出本车道发生撞击、坠河等事件，有效降低交通事故的发生，便于交通部门的管理。
附图说明
图1为本发明的总体框架示意图；
图2为采用本发明的方法对行驶在双向车道上的车辆进行危险处理的示意图，实线箭头代表车辆原来的运动轨迹，虚线箭头代表采用本发明的方法进行危险处理后重新规划的运动轨迹。
具体实施方式
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
对路情实时识别和危险判断以及及时的提示危险信息，对于预防交通事故的发生具有重要的意义。目前，交通事故的预防主要依靠驾驶员的驾驶经验，通过驾驶员对路情进行实时识别和危险判断，这种方法严重依赖于驾驶员的主观人为因素，容易出现交通事故。驾驶辅助系统是一项重要的汽车主动安全技术，运用目标检测和跟踪技术对车辆前方危险目标进行识别，并判断其风险等级，可以实现路情实时识别和车辆前方危险目标识别，很大程度的降低交通事故，提高车辆行驶的安全性，是智能交通和智能车辆的重点研究方向。
递归神经网络Recursive Neural Network是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络Artificial Neural Network，ANN，是深度学习deep learning算法之一。它提出于1990年，被视为循环神经网络recurrent neuralnetwork的推广，当递归神经网络的每个父节点都仅与一个子节点连接时，其结构等价于全连接的循环神经网络，可以引入门控机制gated mechanism以学习长距离依赖。由于递归神经网络包括一层内的加权连接，且包含循环，所以它们可以在处理新输入的同时存储信息，这种记忆使它们非常适合处理必须考虑事先输入的任务，比如时序数据，时间序列数据的应用需要一种可以考虑输入历史的新型拓扑结构。采用RNN能够通过反馈来维护内部记忆，支持时间行为，其预测准确率高，效果好。
利用递归神经网络的这一特点，如图1所示，本发明提供了一种用于智能驾驶的危险处理方法，利用递归神经网络对连续的多帧图像进行车辆行驶道路上的车道线和驾驶员注意力的集中度进行检测，以及车辆的运动轨迹进行预测，根据检测出的车道线和运动轨迹，利用隐藏马尔科夫模型判断车辆偏离车道线的可能性，根据车辆偏离车道线的可能性及驾驶员注意力的集中度进行危险系数评估，根据危险系数的等级度，强制进行车辆的运动轨迹优化，以避免车辆偏离车道。具体如下：
首先，以车辆自身的前视摄像头拍摄的车辆行驶道路上的连续的多帧图像信息、每帧图像信息对应的车辆自身的速度和角速度作为第一递归神经网络的输入，进行车道线与车辆之间的距离、车道线所在曲线的方程式及其曲率的检测。具体步骤：提取图像边缘特征点输入RNN网络；提取车辆角速度高频部分信号输入RNN网络；提出车辆速度低频部分信号输入RNN。利用采集的数据训练并且生成RNN网络结构。
然后，以连续多个时刻对应的油门踏板开度及制动踏板开度、方向盘角度及角速度、车辆自身的角速度、速度及加速度作为第二递归神经网络的输入，对车辆的运动轨迹进行预测。具体步骤：将制动踏板开度、方向盘角度及角速度、车辆自身的角速度、车辆自身速度及加速度作为特征值输入RNN网络；利用采集的数据训练并且生成RNN网络结构。
再将车道线所在曲线的方程式与车辆的运动轨迹作为隐藏马尔科夫模型的输入，判断车辆偏离车道线的可能性。
最后，以连续多帧的驾驶员监控图像提取的驾驶员面部特征，每帧驾驶员监控图像对应的油门踏板开度、制动踏板开度、方向盘角度及角速度作为第三递归神经网络的输入，对驾驶员注意力的集中度进行检测，再结合车辆偏离车道线的可能性、车辆自身的前视摄像头拍摄的车辆行驶道路上的环境状况进行危险系数评估。具体步骤：首先将驾驶员图像输入CNN网络提取特征值并输入RNN网络，将制动踏板开度、方向盘角度及角速度、车辆自身的角速度作为特征值输入RNN网络；利用采集的数据训练并且生成CNN与RNN网络结构。
其中，驾驶员注意力的集中度的范围可设置0～100,0表示驾驶员的注意力完全没有集中，100表示驾驶员的注意力高度集中，当该集中度不大于80时，设置为驾驶员的视线偏离车道，需要结合车辆偏离车道线的可能性进行危险系数评估。
该危险系数的范围可设置为0～100，0表示没有危险，100表示高度危险，当危险系数不小于80时，就可以强制进行车辆的运动轨迹优化，以避免车辆偏离车道。
利用本发明的方法可以对行驶在乡间小道、前方遇见桥梁道路变窄或者双向车道等情况下的车辆都可以进行运动轨迹的强制优化，避免由于驾驶员注意力不集中造成车辆偏离车道线而没有及时进行调整，造成车辆重出本车道发生撞击、坠河等事件。
本发明还提供了一种用于智能驾驶的危险处理系统，主要包括处理器，所述处理器与车辆自身的前视摄像头、驾驶室摄像头、报警模块、惯性导航模块、车道线检测模块、偏离判定模块、集中度检测模块、运动轨迹预测模块、危险系数评估模块和状态检测模块相连，该状态检测模块用于油门踏板开度、制动踏板开度、方向盘的角度和角速度、车辆自身的速度和角速度，该车道线检测模块用于以车辆自身的前视摄像头拍摄的车辆行驶道路上的连续的多帧图像信息、每帧图像信息对应的车辆自身的速度和角速度作为第一递归神经网络的输入，进行车道线所在曲线的方程式检测，该运动轨迹预测模块用于以状态检测模块测量得到的连续多个时刻对应的油门踏板开度及制动踏板开度、方向盘角度及角速度、车辆自身的角速度、速度及加速度作为第二递归神经网络的输入，对车辆的运动轨迹进行预测，该偏离判定模块用于基于车辆的运动轨迹、车道线所在曲线方程式，利用隐藏马尔科夫模型对车辆偏离车道线的可能性进行判定，该集中度检测模块用于以连续多帧的驾驶员监控图像提取的驾驶员面部特征，每帧驾驶员监控图像对应的状态检测模块测量得到的油门踏板开度、制动踏板开度、方向盘角度及角速度作为第三递归神经网络的输入，对驾驶员注意力的集中度进行检测，该危险系数评估模块用于基于车辆偏离车道线的可能性、驾驶员注意力的集中度及前视摄像头拍摄的车辆行驶道路上的环境状况，进行危险系数评估，该报警模块用于对低于集中度阈值的驾驶员注意力的集中度进行报警，该惯性导航模块用于对具有高于系数阈值的危险系数的车辆重新进行运动轨迹规划。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。
Claims (6)
1.一种用于智能驾驶的危险处理方法，其特征在于：利用递归神经网络对连续的多帧图像进行车辆行驶道路上的车道线和驾驶员注意力的集中度进行检测，以及车辆的运动轨迹进行预测，根据检测出的车道线和运动轨迹，利用隐藏马尔科夫模型判断车辆偏离车道线的可能性，根据车辆偏离车道线的可能性及驾驶员注意力的集中度进行危险系数评估，根据危险系数的等级度，强制进行车辆的运动轨迹优化，以避免车辆偏离车道。
2.根据权利要求1所述的用于智能驾驶的危险处理方法，其特征在于：以车辆自身的前视摄像头拍摄的车辆行驶道路上的连续的多帧图像信息、每帧图像信息对应的车辆自身的速度和角速度作为第一递归神经网络的输入，进行车道线与车辆之间的距离、车道线所在曲线的方程式及其曲率的检测。
3.根据权利要求2所述的用于智能驾驶的危险处理方法，其特征在于：以连续多个时刻对应的油门踏板开度及制动踏板开度、方向盘角度及角速度、车辆自身的角速度、速度及加速度作为第二递归神经网络的输入，对车辆的运动轨迹进行预测，再将车道线所在曲线的方程式与车辆的运动轨迹作为隐藏马尔科夫模型的输入，判断车辆偏离车道线的可能性。
4.根据权利要求3所述的用于智能驾驶的危险处理方法，其特征在于：以连续多帧的驾驶员监控图像提取的驾驶员面部特征，每帧驾驶员监控图像对应的油门踏板开度、制动踏板开度、方向盘角度及角速度作为第三递归神经网络的输入，对驾驶员注意力的集中度进行检测，再结合车辆偏离车道线的可能性、车辆自身的前视摄像头拍摄的车辆行驶道路上的环境状况进行危险系数评估。
5.根据权利要求4所述的用于智能驾驶的危险处理方法，其特征在于：驾驶员注意力的集中度的范围设置0～100,0表示驾驶员的注意力完全没有集中，100表示驾驶员的注意力高度集中，当所述集中度不大于80时，设置为驾驶员的视线偏离车道，需要结合车辆偏离车道线的可能性进行危险系数评估。
6.根据权利要求5所述的用于智能驾驶的危险处理方法，其特征在于：所述危险系数的范围设置为0～100，0表示没有危险，100表示高度危险，当所述危险系数不小于80时，强制进行车辆的运动轨迹优化，以避免车辆偏离车道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910417142.0A CN110077398B (zh) | 2019-05-20 | 2019-05-20 | 一种用于智能驾驶的危险处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910417142.0A CN110077398B (zh) | 2019-05-20 | 2019-05-20 | 一种用于智能驾驶的危险处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110077398A true CN110077398A (zh) | 2019-08-02 |
| CN110077398B CN110077398B (zh) | 2021-05-07 |
Family
ID=67420871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910417142.0A Active CN110077398B (zh) | 2019-05-20 | 2019-05-20 | 一种用于智能驾驶的危险处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110077398B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472556A (zh) * | 2019-08-12 | 2019-11-19 | 一汽轿车股份有限公司 | 基于单目视觉的驾驶员注意力状态分析系统和分析方法 |
| CN111650939A (zh) * | 2020-06-09 | 2020-09-11 | 南京工业职业技术学院 | 一种用于自动驾驶的轨迹控制方法 |
| CN112215115A (zh) * | 2020-09-30 | 2021-01-12 | 易显智能科技有限责任公司 | 一种驾驶培训中专注能力评价的方法及相关装置 |
| CN112428970A (zh) * | 2020-11-13 | 2021-03-02 | 宝能(广州)汽车研究院有限公司 | 公共交通工具行车偏离时的刹停方法及公共交通工具 |
| CN112814500A (zh) * | 2020-12-31 | 2021-05-18 | 南京海索信息科技有限公司 | 一种智能锁实时监控系统及方法 |
| CN112927389A (zh) * | 2019-12-06 | 2021-06-08 | 丰田自动车株式会社 | 信息处理装置、信息处理方法及存储介质 |
| CN113380048A (zh) * | 2021-06-25 | 2021-09-10 | 中科路恒工程设计有限公司 | 基于神经网络的高危路段车辆驾驶行为识别方法 |
| CN114333289A (zh) * | 2020-09-28 | 2022-04-12 | 沃尔沃汽车公司 | 车辆起步提醒设备、系统和方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004034748A1 (de) * | 2004-07-17 | 2006-02-02 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers |
| CN102509418A (zh) * | 2011-10-11 | 2012-06-20 | 东华大学 | 一种多传感信息融合的疲劳驾驶评估预警方法及装置 |
| CN103129385A (zh) * | 2011-11-25 | 2013-06-05 | 财团法人交大思源基金会 | 驾驶行为分析警示系统与方法 |
| CN105151049A (zh) * | 2015-08-27 | 2015-12-16 | 嘉兴艾特远信息技术有限公司 | 基于驾驶员脸部特征和车道偏离检测的预警系统 |
| CN107161152A (zh) * | 2017-05-24 | 2017-09-15 | 成都志博科技有限公司 | 车道偏移监测的驾驶员检测系统 |
| EP3266668A1 (en) * | 2016-07-06 | 2018-01-10 | Continental Automotive GmbH | Device for determining driving warning information |
| CN107972671A (zh) * | 2017-07-19 | 2018-05-01 | 宁波诺丁汉大学 | 一种驾驶行为分析系统 |
| CN108327717A (zh) * | 2018-02-06 | 2018-07-27 | 合肥工业大学 | 一种人机共驾的车道偏离辅助系统及其车道偏离辅助方法 |
| CN108423006A (zh) * | 2018-02-02 | 2018-08-21 | 辽宁友邦网络科技有限公司 | 一种辅助驾驶预警方法及系统 |
| CN108438004A (zh) * | 2018-03-05 | 2018-08-24 | 长安大学 | 基于单目视觉的车道偏离预警系统 |
-
2019
- 2019-05-20 CN CN201910417142.0A patent/CN110077398B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004034748A1 (de) * | 2004-07-17 | 2006-02-02 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers |
| CN102509418A (zh) * | 2011-10-11 | 2012-06-20 | 东华大学 | 一种多传感信息融合的疲劳驾驶评估预警方法及装置 |
| CN103129385A (zh) * | 2011-11-25 | 2013-06-05 | 财团法人交大思源基金会 | 驾驶行为分析警示系统与方法 |
| CN105151049A (zh) * | 2015-08-27 | 2015-12-16 | 嘉兴艾特远信息技术有限公司 | 基于驾驶员脸部特征和车道偏离检测的预警系统 |
| EP3266668A1 (en) * | 2016-07-06 | 2018-01-10 | Continental Automotive GmbH | Device for determining driving warning information |
| CN107161152A (zh) * | 2017-05-24 | 2017-09-15 | 成都志博科技有限公司 | 车道偏移监测的驾驶员检测系统 |
| CN107972671A (zh) * | 2017-07-19 | 2018-05-01 | 宁波诺丁汉大学 | 一种驾驶行为分析系统 |
| CN108423006A (zh) * | 2018-02-02 | 2018-08-21 | 辽宁友邦网络科技有限公司 | 一种辅助驾驶预警方法及系统 |
| CN108327717A (zh) * | 2018-02-06 | 2018-07-27 | 合肥工业大学 | 一种人机共驾的车道偏离辅助系统及其车道偏离辅助方法 |
| CN108438004A (zh) * | 2018-03-05 | 2018-08-24 | 长安大学 | 基于单目视觉的车道偏离预警系统 |
Non-Patent Citations (3)
| Title |
|---|
| 戴秋菊等: "基于单目视觉的车道偏离预警算法研究 ", 《微型机与应用》 * |
| 肖献强等: "基于隐马尔可夫模型的驾驶行为预测方法研究 ", 《中国机械工程》 * |
| 邱桢等: "疲劳驾驶识别算法与技术 ", 《微型电脑应用》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472556A (zh) * | 2019-08-12 | 2019-11-19 | 一汽轿车股份有限公司 | 基于单目视觉的驾驶员注意力状态分析系统和分析方法 |
| CN110472556B (zh) * | 2019-08-12 | 2023-05-23 | 一汽奔腾轿车有限公司 | 基于单目视觉的驾驶员注意力状态分析系统和分析方法 |
| CN112927389A (zh) * | 2019-12-06 | 2021-06-08 | 丰田自动车株式会社 | 信息处理装置、信息处理方法及存储介质 |
| CN111650939A (zh) * | 2020-06-09 | 2020-09-11 | 南京工业职业技术学院 | 一种用于自动驾驶的轨迹控制方法 |
| US11738769B2 (en) | 2020-09-28 | 2023-08-29 | Volvo Car Corporation | Vehicle-launching warning device, system and method |
| CN114333289A (zh) * | 2020-09-28 | 2022-04-12 | 沃尔沃汽车公司 | 车辆起步提醒设备、系统和方法 |
| CN114333289B (zh) * | 2020-09-28 | 2023-12-22 | 沃尔沃汽车公司 | 车辆起步提醒设备、系统和方法 |
| CN112215115A (zh) * | 2020-09-30 | 2021-01-12 | 易显智能科技有限责任公司 | 一种驾驶培训中专注能力评价的方法及相关装置 |
| CN112428970A (zh) * | 2020-11-13 | 2021-03-02 | 宝能(广州)汽车研究院有限公司 | 公共交通工具行车偏离时的刹停方法及公共交通工具 |
| CN112814500A (zh) * | 2020-12-31 | 2021-05-18 | 南京海索信息科技有限公司 | 一种智能锁实时监控系统及方法 |
| CN112814500B (zh) * | 2020-12-31 | 2022-03-18 | 南京海索信息科技有限公司 | 一种智能锁实时监控系统及方法 |
| CN113380048A (zh) * | 2021-06-25 | 2021-09-10 | 中科路恒工程设计有限公司 | 基于神经网络的高危路段车辆驾驶行为识别方法 |
| CN113380048B (zh) * | 2021-06-25 | 2022-09-02 | 中科路恒工程设计有限公司 | 基于神经网络的高危路段车辆驾驶行为识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110077398B (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110077398A (zh) | 一种用于智能驾驶的危险处理方法 | |
| US11084494B2 (en) | Method for detecting safety of driving behavior, apparatus, device and storage medium | |
| CN104239741B (zh) | 基于行车风险场的汽车驾驶安全辅助方法 | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| CN110155046A (zh) | 自动紧急制动分级控制方法与系统 | |
| CN108549366A (zh) | 智能汽车道路行驶与虚拟测试平行映射实验方法 | |
| CN109727469B (zh) | 一种多车道下自动驾驶车辆综合危险度评估方法 | |
| CN112224211A (zh) | 基于多自主体交通流的驾驶模拟仿真系统 | |
| CN110588623B (zh) | 一种基于神经网络的大型汽车安全驾驶方法及系统 | |
| WO2011052247A1 (ja) | 運転支援装置 | |
| JP6406356B2 (ja) | 走行制御装置 | |
| CN105489023B (zh) | 低能见度下无信号控制平面交叉口的车辆预警系统及方法 | |
| WO2019213982A1 (zh) | 基于最小作用量原理的驾驶人操控行为量化方法及装置 | |
| WO2023138039A1 (zh) | 一种斑马线路口场景下安全驾驶控制方法 | |
| CN112026761A (zh) | 一种基于数据共享的汽车辅助驾驶方法 | |
| WO2022213542A1 (zh) | 基于激光雷达和轨迹预测的信控交叉口清空方法和系统 | |
| CN104575047A (zh) | 提示并防止机动车绿灯跟进阻塞路口及闯红灯的系统和方法 | |
| CN113034952A (zh) | 一种基于车路协同的路段交通安全实时预警系统 | |
| CN109774473A (zh) | 一种基于摄像头与导航数据融合的限速控制方法 | |
| CN115279643A (zh) | 用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备 | |
| CN115782905A (zh) | 一种自动驾驶车辆驾驶安全度量化系统 | |
| CN111994075A (zh) | 一种基于人工智能的驾驶辅助方法 | |
| CN117022323A (zh) | 一种智能驾驶车辆行为分析与预测系统及方法 | |
| CN109895766B (zh) | 一种电动汽车的主动避障系统 | |
| CN113706901B (zh) | 高速公路隧道入口段事故智慧防控与预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |