CN110077414B - 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 - Google Patents
一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 Download PDFInfo
- Publication number
- CN110077414B CN110077414B CN201910272080.9A CN201910272080A CN110077414B CN 110077414 B CN110077414 B CN 110077414B CN 201910272080 A CN201910272080 A CN 201910272080A CN 110077414 B CN110077414 B CN 110077414B
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- state
- alarm
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/26—Incapacity
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于驾驶员状态监测的车辆行驶安全保障方法及系统,控制车内摄像头采集驾驶员人脸及面部信息,并进行驾驶员的人脸检测和心率检测;判断驾驶员状态是否异常;当判断驾驶员状态异常时,控制报警器对驾驶员进行声光报警提示;若报警器持续处于报警状态,启动车外摄像头进行图像采集,进行车道线检测和车辆周围障碍物检测;判断车辆是否处于车道偏离状态;当判断车辆处于车道偏离状态时,进行停车路径规划,并控制车辆按照规划的行驶路径信息行驶至安全停车。本发明通过融合多种检测手段对驾驶员状态进行准确监测,并进行报警提示,且在报警无效提示的情况下能够安全停车,保障车辆的行驶安全。
Description
技术领域
本发明涉及汽车技术领域,具体涉及一种基于驾驶员状态监测的车辆行驶安全保障方法及系统。
背景技术
疲劳驾驶使得驾驶员的五官感觉灵敏度降低、思维判断迟钝、操作反应慢,极易造成交通事故的发生。据统计,疲劳驾驶在各类交通事故原因中占比30%以上,严重影响驾驶者的生命安全。驾驶员疲劳预警系统通过摄像头检测驾驶员的脸部和眼睛特征,判断驾驶员是否处于疲劳驾驶状态,并对处于疲劳驾驶状态下的驾驶员进行声音、图像或者触觉振动报警,从而唤醒驾驶员接管和控制车辆,提高汽车的行驶安全性。目前,基于摄像头的驾驶员疲劳通过图像处理进行人脸检测,并对眼睛闭合状态进行监控,计算闭眼频率从而判断疲劳状态。利用驾驶员的眼睛特性、嘴部运动特征等推理驾驶员的疲劳状态,这些信息被认为是反映疲劳的重要特征,眨眼幅度、眨眼频率、平均闭合时间和打哈欠的动作等都可直接用于检测疲劳,但由于不同的驾驶员的习惯和特征存在一定的差异性,单纯通过面部表情特征来判断驾驶员状态的鲁棒性不高,需要融合多种生理特征来对驾驶员的疲劳状态做精确判断。此外,当前驾驶员疲劳预警系统仅仅通过声光或触觉对驾驶员进行提示,在对驾驶员警示无效且不能将其从疲劳状态唤醒的情况下并不能实现车辆的安全停车。
发明内容
为解决上述技术问题,本发明提供了一种基于驾驶员状态监测的车辆行驶安全保障方法及系统,通过融合多种检测手段对驾驶员状态进行准确监测,并进行报警提示,且在报警无效提示的情况下能够安全停车,保障车辆的行驶安全。
本发明采用如下技术方案:
一种基于驾驶员状态监测的车辆行驶安全保障方法,所述方法包括:
控制车内摄像头采集驾驶员人脸及面部信息,并进行驾驶员的人脸检测和心率检测;
根据驾驶员的人脸检测和心率检测结果,判断驾驶员状态是否异常;
当判断驾驶员状态异常时,控制报警器对驾驶员进行声光报警提示;
若报警器持续处于报警状态,则判断驾驶员当前的状态不能稳定操控车辆,启动车外摄像头进行图像采集,进行车道线检测和车辆周围障碍物检测;
根据车道线检测和车辆周围障碍物检测结果,判断车辆是否处于车道偏离状态;
当判断车辆处于车道偏离状态时,进行停车路径规划,并控制车辆按照规划的行驶路径信息行驶至安全停车。
优选的,报警器工作的具体方法为:
设置驾驶员疲劳标志位为flag1,设置驾驶员心率异常标志位为flag2,报警器报警标志位为flag3,其中,flag3=flag1*flag2;
flag3=1时,触发报警器对驾驶员进行声光报警提示;
报警器上设置有报警禁能开关,当驾驶员听到报警音后关闭报警禁能开关而使flag3复位为0;
若系统发出告警后长时间没有接收到报警器的反馈信息,使得报警器持续处于报警状态,则判断驾驶员当前的状态不能稳定操控车辆。
优选的,进行驾驶员的人脸检测的具体方法为:
将驾驶员头部转动角度划分成左右0~30度、左右30~60度、左右60度以上三个检测范围,训练生成三个不同检测范围的人脸检测分类器;
利用人脸检测分类器,对采集的驾驶员疲劳状态时的人脸表情的图像样本数据集,采用卷积神经网络将图像样本数据集作为输入,训练出人脸状态检测与表情识别模型;
启动车内摄像头采集驾驶员人脸及面部信息,并进行二值化、滤波和降噪处理,得到清晰的人脸成像图像;
将单张驾驶员人脸成像图像输入人脸状态检测与表情识别模型,设置输出权重判断出当前人脸的状态和表情;
根据人脸的状态和表情识别结果,判断驾驶员是否处于疲劳状态。
优选的,进行驾驶员的人脸检测时,还包括驾驶员头部姿态检测,具体方法为:在人脸成像图像的基础上,计算脸部特征轮廓的坐标位置在人脸成像图像上下移动的幅度和频率,进一步确认驾驶员是否处于疲劳状态。
优选的,驾驶员的心率检测的具体方法为:
利用人脸检测分类器对驾驶员的面部图像进行人脸定位和器官识别,利用ASM方法进行脸部器官的定位;
根据定位到的器官边缘定位额头、左脸颊、右脸颊三个区域,并统计三个区域的R、G、B值,得到包含心率信息的三个通道,分别计算每个通道的像素均值;
对三个通道像素均值的离散序列进行归一化处理,根据驾驶员正常驾驶状态下的心率设置滤波带宽进行滤波处理;
对滤波后的通道离散序列进行频域变换得到频谱图,计算频带内幅度最大值对应的频率w,换算成实际心率值HR=60*w;
根据计算的心率值与驾驶员正常驾驶状态下的心率对比,判断驾驶员心率是否异常。
优选的,车道线检测的具体方法为:
采用在概率霍夫变换基础上,添加位置约束和角度约束条件,实现对直线的检测;
位置约束是相机捕捉图片时,路面车道线通常位于图片的下半部分,以此为依据将所检测的车道线严格约束在图像下边缘;
角度约束为车辆左右两侧的车道线在图片上的成像在坐标系中的斜率呈现规律性变化,根据斜率的变化规律最终确定车道线位置。
优选的,车辆周围障碍物检测的具体方法为:
根据行驶场景分类,分别选取出障碍物图片和非障碍物图片作为训练集的正、负样本;
根据障碍物分类,分别使用Haar特征规格化后的每一幅正、负样本进行表征,形成特征向量;
对Haar特征形成的特征向量分别构建场景分类弱分类器;
利用级联的Adaboost算法对场景弱分类器进行训练,得到对应场景分类级联车辆检测强分类器;
对车外摄像头获得的行驶场景图像数据,将捕捉到的灰度图像输入级联车辆强分类器中进行判断,实现对车身前方障碍物的检测。
优选的,停车路径规划的具体方法为:
在当前车辆位置和路边安全停靠点之间使用最小曲率变化率的三次Hermite样条曲线生成法生成一簇平滑曲线,再结合根据车道线检测和车辆周围障碍物检测结果规划出一组可行路径,按照安全、平滑的标准从中选出最优的一条。
本发明还公开了一种基于驾驶员状态监测的车辆行驶安全保障系统,包括车内摄像头、车外摄像头、报警器、总线接口模块以及分别与车内摄像头、车外摄像头、报警器、总线接口模块相连的主控制器;其中:
所述车内摄像头用于采集驾驶员人脸及面部信息;
所述车外摄像头用于采集车辆行驶状态的路面图像信息;
主控制器用于根据采集驾驶员人脸及面部信息,进行驾驶员的人脸检测和心率检测,在判断驾驶员状态异常时,控制报警器对驾驶员进行声光报警提示;在报警器持续处于报警状态时,启动车外摄像头进行图像采集,进行车道线检测和车辆周围障碍物检测,判断车辆是否处于车道偏离状态;在判断车辆处于车道偏离状态时,主控制器进行停车路径规划并将规划的行驶路径信息传输至总线接口模块;
总线接口模块用于控制车辆按照规划的行驶路径信息行驶至安全停车。
优选的,所述总线接口模块连接有档位模块、转向模块、油门模块、制动模块和车载传感器,车载传感器将车辆行驶信息反馈至总线接口模块,总线接口模块将规划的行驶路径信息发送至档位模块、转向模块、油门模块和制动模块,档位模块、转向模块、油门模块和制动模块共同控制车辆按照规划的行驶路径信息行驶至安全停车。
本发明的有益效果:
(1)通过单一的车内摄像头实现驾驶员人脸检测与表情识别、驾驶员心率检测,并进行驾驶员状态的融合判断分析,提高了驾驶员状态判断的准确性和鲁棒性,避免系统频繁误报警和错误报警,且实现成本低。
(2)当系统对驾驶员警示无效且不能将其从疲劳状态唤醒的情况下,系统能够规划出一条安全行驶路径,实现车辆的靠边停车,有效保障车辆的行驶安全性。
附图说明
附图用来提供对本发明的优选的理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明中车辆行驶安全保障系统组成图;
图2是本发明中主控制器组成图;
图3是本发明中车辆行驶安全保障系统的工作流程图;
图4是本发明中驾驶员状态检测流程图;
图5是本发明中车辆行驶环境检测流程图。
图中:1、车内摄像头、2、车外摄像头、3、主控制器、301、车内摄像头图像采集模块、302、人脸检测模块、303、心率检测模块、304、疲劳状态信息融合模块、305、疲劳报警模块、306、远程通信模块、307、车外摄像头图像采集模块、308、车道线检测模块、309、障碍物检测模块、310、决策控制模块、4、报警器、5、总线接口模块、6、档位模块、7、转向模块、8、油门模块、9、制动模块、10、车载传感器。
具体实施方式
下面结合附图描述本发明的具体实施方式。
如图1、图2所示,为本发明的一种基于驾驶员状态监测的车辆行驶安全保障系统,该系统由车内摄像头1、车外摄像头2、主控制器3、报警器4、总线接口模块5、档位模块6、转向模块7、油门模块8、制动模块9和车载传感器10组成;其中,主控制器3由车内摄像头图像采集模块301、人脸检测模块302、心率检测模块303、疲劳状态信息融合模块304、疲劳报警模块305、远程通信模块306、车外摄像头图像采集模块307、车道线检测模块308、障碍物检测模块309和决策控制模块310组成。
车内摄像头1的输出端与车内摄像头图像采集模块301的输入端相连,车内摄像头图像采集模块301用于接收车内摄像头1采集的驾驶员人脸及面部信息;车内摄像头图像采集模块301的输出端分别接人脸检测模块302和心率检测模块303的输入端,人脸检测模块302用于根据车内摄像头图像采集模块301采集的图像信息进行驾驶员的人脸检测,心率检测模块303用于根据车内摄像头图像采集模块301采集的图像信息进行驾驶员的心率检测;
人脸检测模块302、心率检测模块303的输出端均与疲劳状态信息融合模块304的输入端相连,疲劳状态信息融合模块304用于根据人脸检测模块302和心率检测模块303的检测结果,判断驾驶员的状态是否异常,并将驾驶员状态异常的结果输送至疲劳报警模块305;
疲劳状态信息融合模块304的输出端与疲劳报警模块305的输入端相连,疲劳报警模块305的输出端分别连报警器4的输入端、远程通信模块306和决策控制模块310的输入端,疲劳报警模块305用于控制报警器4对驾驶员发出声光报警提示,并将驾驶员状态异常的结果输送至决策控制模块310;
车外摄像头2的输出端与车外摄像头图像采集模块306的输入端相连,车外摄像头图像采集模块306用于接收车外摄像头2采集的车辆行驶状态的路面图像信息;车外摄像头图像采集模块307的输出端分别接车道线检测模块308和障碍物检测模块309的输入端,车道线检测模块308用于根据车外摄像头图像采集模块306采集的图像信息进行车道线检测,障碍物检测模块309用于根据车外摄像头图像采集模块306采集的图像信息进行障碍物检测;
决策控制模块310的输入端除了连接疲劳报警模块305的输出端,还连接了车道线检测模块307的输出端和障碍物检测模块308的输出端,决策控制模块310根据车道线检测模块307的车道线检测结果以及障碍物检测模块308的障碍物检测结果,在车辆处于车道偏离状态时,进行停车路径规划;
决策控制模块309通过总线接口模块5与档位模块6、转向模块7、油门模块8、制动模块9和车载传感器10进行通讯和信息交互,决策控制模块310将规划的行驶路径信息传输至总线接口模块5,总线接口模块5将规划的行驶路径信息发送至档位模块6、转向模块7、油门模块8和制动模块9,档位模块6、转向模块7、油门模块8和制动模块9共同控制车辆按照规划的行驶路径信息行驶至安全停车。
如图3所示,为本发明的一种基于驾驶员状态监测的车辆行驶安全保障方法,方法包括如下步骤:
步骤一:控制车内摄像头采集驾驶员人脸及面部信息,并进行驾驶员的人脸检测和心率检测;
步骤二:根据驾驶员的人脸检测和心率检测结果,判断驾驶员状态是否异常;
步骤三:当判断驾驶员状态异常时,控制报警器对驾驶员进行声光报警提示;
步骤四:若报警器持续处于报警状态,则判断驾驶员当前的状态不能稳定操控车辆,启动车外摄像头进行图像采集,进行车道线检测和车辆周围障碍物检测;
步骤五:根据车道线检测和车辆周围障碍物检测结果,判断车辆是否处于车道偏离状态;
步骤六:当判断车辆处于车道偏离状态时,进行停车路径规划,并控制车辆按照规划的行驶路径信息行驶至安全停车。
如图4所示,是进行驾驶员的人脸检测和心率检测的具体方法,通过人脸检测模块302进行驾驶员人脸状态和表情识别,车内摄像头1采用940nm的红外摄像头,安装在车辆仪表台或车辆左侧A柱上,用于检测驾驶员的脸部状态。普通RGB相机的图像成像容易受光照影响,红外摄像头可以排除光照强弱变化的影响,减轻后续图像处理算法的负担,提高算法的实时性和鲁棒性。车内摄像头图像采集模块301接收车内摄像头1的图像信息,进行图像预处理,包括滤波、降噪和图像格式转换,并将结果输出至人脸检测模块302和心率检测模块303。
人脸检测模块302接收车内摄像头图像采集模块301发送的驾驶员人脸图像信息,进行驾驶员脸部状态检测,步骤如下:
步骤一:驾驶员人脸检测;将驾驶员头部转动角度划分成左右0~30度、左右30~60度、左右60度以上三个检测范围,为了确保驾驶员头部在不同转动角度的情况下的脸部都能被检测到,训练生成三个不同检测范围的人脸检测分类器。通过三个级联分类器,不仅使对应检测范围的级联分类器更小,改善检测效率和检测速度,更使得人脸不同程度遮挡下的特征突出、针对性强,提高了人脸检测击中率,降低了虚检率。
步骤二:状态检测与表情识别;车辆行驶过程中,驾驶员的疲劳、突发疾病等状态均可在脸部上表现出来,严重影响了车辆的行驶安全性。对10万张包含驾驶员疲劳、打哈欠、眨眼、痛苦、愤怒等表情的图像样本数据集,采用卷积神经网络将图像样本数据集作为输入,训练出人脸状态检测与表情识别模型,通过对单张图片的输入,设置输出权重判断出当前人脸的状态和表情。
步骤三:驾驶员头部姿态检测;驾驶员疲劳时伴随的头部动作往往是不停地点头,即头部轮廓不停地上下移动,反映在摄像头图片上是头部特征轮廓的坐标位置不停地上下移动,在人脸检测的基础上,通过脸部特征在图片上下移动的幅度和频率进一步确认驾驶员是否处于疲劳状态。此外,驾驶员出现突发性疾病后,伴随着的动作应该是持续低头,此时驾驶员的视线已经脱离了前方路面,更为严重的是驾驶员无法控制车辆而趴在方向盘上,摄像头图像甚至无法检测到驾驶员的面部,根据人脸状态检测与表情识别结果,综合判断驾驶员是否遇到突发性紧急情况。
如图4所示,心率检测模块303接收车内摄像头图像采集模块301发送的驾驶员人脸图像信息,进行驾驶员心率检测,步骤如下:
步骤一:利用人脸分类器对驾驶员的面部图像进行人脸定位和器官识别,利用ASM方法进行脸部器官的定位;
步骤二:根据定位到的器官边缘定位额头、左脸颊、右脸颊三个区域,并统计三个区域的R、G、B值,得到包含心率信息的三个通道,分别计算每个通道的像素均值;
步骤三:对三个通道像素均值的离散序列进行归一化处理,根据驾驶员正常驾驶状态下的心率设置滤波带宽进行滤波处理;
步骤四:对滤波后的通道离散序列进行频域变换得到频谱图,计算频带内幅度最大值对应的频率w,换算成实际心率值HR=60*w;
步骤五:根据计算的心率值与驾驶员正常驾驶状态下的心率对比,判断驾驶员心率是否异常。
疲劳状态信息融合模块304融合人脸检测模块302和心率检测模块303的输出结果,进行信息融合与判断,从而提高驾驶员状态检测的准确性和鲁棒性。设置人脸检测模块302的驾驶员疲劳和突发疾病标志位为flag1,设置驾驶员心率异常标志位为flag2,报警器4报警标志位为flag3,其中,flag3=flag1*flag2;
当flag3=1时,触发报警器4对驾驶员进行声光报警提示;报警器4上设置有报警禁能开关,当驾驶员听到报警音后会关闭报警禁能开关而使flag3复位为0。
若系统发出告警后长时间没有接收到报警器4的反馈信息,使得报警器4持续处于报警状态,则判断驾驶员当前的状态不能稳定操控车辆,则通过远程通信模块306拨号后台管理中心,同时启动车外摄像头2进行图像采集,进行车道线检测、车辆周边障碍检测,规划停车路径,直至实现车辆安全靠边停车。
如图3和图5所示,当系统判断驾驶员当前无法稳定操控车辆时,开启车外摄像头2进行图像信息采集,由车道线检测模块308进行车道线和道路边沿检测、由障碍物检测模块309进行车身周边行人、非机动车和车辆检测。车道线检测模块308采用在概率霍夫变换基础上,添加位置约束和角度约束条件,实现对直线的检测。位置约束是相机捕捉图片时,路面车道线通常位于图片的下半部分,以此为依据将所检测的车道线严格约束在图像下边缘。角度约束为车辆左右两侧的车道线在图片上的成像在坐标系中的斜率呈现规律性变化,根据斜率的变化规律最终确定车道线位置。
障碍物检测模块309采用基于Haar特征的障碍物检测方法,包括以下步骤:
步骤一:根据行驶场景分类,分别选取出障碍物图片和非障碍物图片作为训练集的正、负样本,并将正、负样本规格化到18X 18像素下;
步骤二:根据障碍物分类,分别使用Haar特征规格化后的每一幅正、负样本进行表征,形成特征向量;
步骤三:对Haar特征形成的特征向量分别构建场景分类弱分类器;
步骤四:利用级联的Adaboost算法对场景弱分类器进行训练,得到对应场景分类级联车辆检测强分类器;
步骤五:对车外摄像头2获得的行驶场景图像数据,将捕捉到的灰度图像输入级联车辆强分类器中进行判断,从而实现对车身前方障碍物的检测。
决策与控制模块310在当前车辆位置和路边安全停靠点之间使用最小曲率变化率的三次Hermite样条曲线生成法生成一簇平滑曲线,再结合车道线检测模块308、障碍物检测模块309检测结果规划出一组可行路径,按照安全、平滑的标准从中选出最优的一条,最后将路径点通过总线接口模块5发送给档位模块6、转向模块7、油门模块8和制动模块9,控制车辆实现安全靠边停车。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于驾驶员状态监测的车辆行驶安全保障方法,其特征在于,所述方法包括:
控制车内摄像头采集驾驶员人脸及面部信息,并进行驾驶员的人脸检测和心率检测;
根据驾驶员的人脸检测和心率检测结果,判断驾驶员状态是否异常;
当判断驾驶员状态异常时,控制报警器对驾驶员进行声光报警提示;
若报警器持续处于报警状态,则判断驾驶员当前的状态不能稳定操控车辆,启动车外摄像头进行图像采集,进行车道线检测和车辆周围障碍物检测;
车道线检测的具体方法为:
采用在概率霍夫变换基础上,添加位置约束和角度约束条件,实现对直线的检测;
位置约束是相机捕捉图片时,路面车道线通常位于图片的下半部分,以此为依据将所检测的车道线严格约束在图像下边缘;
角度约束为车辆左右两侧的车道线在图片上的成像在坐标系中的斜率呈现规律性变化,根据斜率的变化规律最终确定车道线位置;
根据车道线检测和车辆周围障碍物检测结果,判断车辆是否处于车道偏离状态;
当判断车辆处于车道偏离状态时,进行停车路径规划,并控制车辆按照规划的行驶路径信息行驶至安全停车。
2.根据权利要求1所述的一种基于驾驶员状态监测的车辆行驶安全保障方法,其特征在于,报警器工作的具体方法为:
设置驾驶员疲劳标志位为flag1,设置驾驶员心率异常标志位为flag2,报警器报警标志位为flag3,其中,flag3=flag1*flag2;
flag3=1时,触发报警器对驾驶员进行声光报警提示;
报警器上设置有报警禁能开关,当驾驶员听到报警音后关闭报警禁能开关而使flag3复位为0;
若系统发出告警后长时间没有接收到报警器的反馈信息,使得报警器持续处于报警状态,则判断驾驶员当前的状态不能稳定操控车辆。
3.根据权利要求2所述的一种基于驾驶员状态监测的车辆行驶安全保障方法,其特征在于,进行驾驶员的人脸检测的具体方法为:
将驾驶员头部转动角度划分成左右0~30度、左右30~60度、左右60度以上三个检测范围,训练生成三个不同检测范围的人脸检测分类器;
利用人脸检测分类器,对采集的驾驶员疲劳状态时的人脸表情的图像样本数据集,采用卷积神经网络将图像样本数据集作为输入,训练出人脸状态检测与表情识别模型;
启动车内摄像头采集驾驶员人脸及面部信息,并进行二值化、滤波和降噪处理,得到清晰的人脸成像图像;
将单张驾驶员人脸成像图像输入人脸状态检测与表情识别模型,设置输出权重判断出当前人脸的状态和表情;
根据人脸的状态和表情识别结果,判断驾驶员是否处于疲劳状态。
4.根据权利要求3所述的一种基于驾驶员状态监测的车辆行驶安全保障方法,其特征在于,进行驾驶员的人脸检测时,还包括驾驶员头部姿态检测,具体方法为:在人脸成像图像的基础上,计算脸部特征轮廓的坐标位置在人脸成像图像上下移动的幅度和频率,进一步确认驾驶员是否处于疲劳状态。
5.根据权利要求3或4所述的一种基于驾驶员状态监测的车辆行驶安全保障方法,其特征在于,驾驶员的心率检测的具体方法为:
利用人脸检测分类器对驾驶员的面部图像进行人脸定位和器官识别,利用ASM方法进行脸部器官的定位;
根据定位到的器官边缘定位额头、左脸颊、右脸颊三个区域,并统计三个区域的R、G、B值,得到包含心率信息的三个通道,分别计算每个通道的像素均值;
对三个通道像素均值的离散序列进行归一化处理,根据驾驶员正常驾驶状态下的心率设置滤波带宽进行滤波处理;
对滤波后的通道离散序列进行频域变换得到频谱图,计算频带内幅度最大值对应的频率w,换算成实际心率值HR=60*w;
根据计算的心率值与驾驶员正常驾驶状态下的心率对比,判断驾驶员心率是否异常。
6.根据权利要求1所述的一种基于驾驶员状态监测的车辆行驶安全保障方法,其特征在于,车辆周围障碍物检测的具体方法为:
根据行驶场景分类,分别选取出障碍物图片和非障碍物图片作为训练集的正、负样本;
根据障碍物分类,分别使用Haar特征规格化后的每一幅正、负样本进行表征,形成特征向量;
对Haar特征形成的特征向量分别构建场景分类弱分类器;
利用级联的Adaboost算法对场景弱分类器进行训练,得到对应场景分类级联车辆检测强分类器;
对车外摄像头获得的行驶场景图像数据,将捕捉到的灰度图像输入级联车辆强分类器中进行判断,实现对车身前方障碍物的检测。
7.根据权利要求1所述的一种基于驾驶员状态监测的车辆行驶安全保障方法,其特征在于,停车路径规划的具体方法为:
在当前车辆位置和路边安全停靠点之间使用最小曲率变化率的三次Hermite样条曲线生成法生成一簇平滑曲线,再结合根据车道线检测和车辆周围障碍物检测结果规划出一组可行路径,按照安全、平滑的标准从中选出最优的一条。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910272080.9A CN110077414B (zh) | 2019-04-04 | 2019-04-04 | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910272080.9A CN110077414B (zh) | 2019-04-04 | 2019-04-04 | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110077414A CN110077414A (zh) | 2019-08-02 |
CN110077414B true CN110077414B (zh) | 2020-12-01 |
Family
ID=67414265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910272080.9A Expired - Fee Related CN110077414B (zh) | 2019-04-04 | 2019-04-04 | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110077414B (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110576861A (zh) * | 2019-08-11 | 2019-12-17 | 西藏宁算科技集团有限公司 | 一种基于视觉识别结合触觉识别的车辆控制方法和系统 |
US12061971B2 (en) | 2019-08-12 | 2024-08-13 | Micron Technology, Inc. | Predictive maintenance of automotive engines |
CN110422117A (zh) * | 2019-08-14 | 2019-11-08 | 天津清智科技有限公司 | 一种车辆驾驶环境监控方法 |
US10993647B2 (en) * | 2019-08-21 | 2021-05-04 | Micron Technology, Inc. | Drowsiness detection for vehicle control |
CN110682863B (zh) * | 2019-09-04 | 2020-11-20 | 武汉乐道物流有限公司 | 一种用于货车的驾驶员疲劳驾驶预警的装置及方法 |
CN110901650B (zh) * | 2019-11-02 | 2021-11-26 | 芜湖职业技术学院 | 一种车辆压实线自调整系统和方法 |
CN111240481B (zh) * | 2020-01-10 | 2021-02-09 | 鄢家厚 | 基于智能手表的读写距离识别方法 |
JP7140154B2 (ja) * | 2020-03-04 | 2022-09-21 | トヨタ自動車株式会社 | 車両制御装置 |
CN111444843B (zh) * | 2020-03-26 | 2023-06-30 | 中科海微(北京)科技有限公司 | 一种多模态驾驶员及车辆违法行为监测方法及系统 |
CN111959393A (zh) * | 2020-05-11 | 2020-11-20 | 黄建松 | 一种不安全驾驶警示装置及其警示方法 |
JP7327301B2 (ja) * | 2020-07-02 | 2023-08-16 | トヨタ自動車株式会社 | 運転者監視装置 |
CN112216067B (zh) * | 2020-09-07 | 2023-01-06 | 邢台林樾科技有限公司 | 一种基于车载广角相机的图像处理方法 |
CN112373478A (zh) * | 2020-10-10 | 2021-02-19 | 湖南北斗赛格导航科技有限公司 | 一种疲劳驾驶预警方法及装置 |
CN112389444B (zh) * | 2020-10-16 | 2022-04-12 | 爱驰汽车(上海)有限公司 | 基于驾驶员心率检测的车辆预警方法及装置 |
CN112220480B (zh) * | 2020-10-21 | 2023-08-04 | 合肥工业大学 | 基于毫米波雷达和相机融合的驾驶员状态检测系统及车辆 |
CN112220481B (zh) * | 2020-10-21 | 2023-08-01 | 合肥工业大学 | 一种驾驶员的驾驶状态检测方法及其安全驾驶方法 |
CN112660157B (zh) * | 2020-12-11 | 2022-12-27 | 重庆邮电大学 | 一种多功能无障碍车远程监控与辅助驾驶系统 |
CN112668974A (zh) * | 2020-12-31 | 2021-04-16 | 车主邦(北京)科技有限公司 | 一种车况信息获取方法和装置 |
CN112784723A (zh) * | 2021-01-14 | 2021-05-11 | 金陵科技学院 | 一种基于IFast-RCNN算法的道路交通安全保护模型 |
CN112950809A (zh) * | 2021-01-15 | 2021-06-11 | 上海宏英智能科技股份有限公司 | 一种安全行驶辅助监督装置及其工作方法 |
CN114842432B (zh) * | 2021-02-02 | 2024-08-20 | 广州汽车集团股份有限公司 | 一种基于深度学习汽车灯光控制方法及系统 |
CN112829767B (zh) * | 2021-02-22 | 2024-05-17 | 清华大学苏州汽车研究院(相城) | 一种基于监测驾驶员误操作的自动驾驶控制系统及方法 |
CN113703341A (zh) * | 2021-08-30 | 2021-11-26 | 中质智通检测技术有限公司 | 一种用于驾驶员监控的仿真测试系统 |
CN114610020B (zh) * | 2022-01-28 | 2023-05-23 | 广州文远知行科技有限公司 | 障碍物运动轨迹的预测方法、装置、设备及存储介质 |
CN115027488A (zh) * | 2022-07-08 | 2022-09-09 | 质子汽车科技有限公司 | 一种车辆控制方法、装置及智能车辆 |
CN115973183B (zh) * | 2022-12-30 | 2024-07-26 | 清智汽车科技(苏州)有限公司 | 非正常驾驶的警示方法和装置 |
CN116587847B (zh) * | 2023-05-16 | 2024-08-23 | 深圳多为智联科技有限公司 | 一种汽车安全控制系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及系统 |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
CN105151049A (zh) * | 2015-08-27 | 2015-12-16 | 嘉兴艾特远信息技术有限公司 | 基于驾驶员脸部特征和车道偏离检测的预警系统 |
CN105894734A (zh) * | 2015-10-19 | 2016-08-24 | 乐卡汽车智能科技(北京)有限公司 | 用于交通工具的疲劳驾驶预警方法及系统 |
CN207867669U (zh) * | 2017-12-26 | 2018-09-14 | 郑州宇通客车股份有限公司 | 驾驶员疲劳预警系统以及车辆 |
CN109552337A (zh) * | 2018-11-23 | 2019-04-02 | 重庆睿驰智能科技有限公司 | 车辆无人驾驶主动干预系统 |
-
2019
- 2019-04-04 CN CN201910272080.9A patent/CN110077414B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及系统 |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
CN105151049A (zh) * | 2015-08-27 | 2015-12-16 | 嘉兴艾特远信息技术有限公司 | 基于驾驶员脸部特征和车道偏离检测的预警系统 |
CN105894734A (zh) * | 2015-10-19 | 2016-08-24 | 乐卡汽车智能科技(北京)有限公司 | 用于交通工具的疲劳驾驶预警方法及系统 |
CN207867669U (zh) * | 2017-12-26 | 2018-09-14 | 郑州宇通客车股份有限公司 | 驾驶员疲劳预警系统以及车辆 |
CN109552337A (zh) * | 2018-11-23 | 2019-04-02 | 重庆睿驰智能科技有限公司 | 车辆无人驾驶主动干预系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110077414A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110077414B (zh) | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 | |
US11383721B2 (en) | System and method for responding to driver state | |
CN106463065B (zh) | 驾驶员的驾驶不能状态检测装置 | |
CN107323338B (zh) | 车用转向灯控制系统、控制方法及车辆 | |
CN104021370B (zh) | 一种基于视觉信息融合的驾驶员状态监测方法及系统 | |
KR102053794B1 (ko) | 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법 | |
CN109740477B (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
US20200070848A1 (en) | Method and System for Initiating Autonomous Drive of a Vehicle | |
CN106394555A (zh) | 基于3d摄像头的无人驾驶汽车避障系统及方法 | |
CN114735010B (zh) | 基于情绪识别的智能车辆行驶控制方法、系统及存储介质 | |
US20230356728A1 (en) | Using gestures to control machines for autonomous systems and applications | |
CN209795467U (zh) | 一种疲劳驾驶检测系统和车辆 | |
CN107194381A (zh) | 基于Kinect的驾驶员状态监测系统 | |
CN115027484A (zh) | 一种面向高度自动驾驶的人机融合感知方法 | |
CN117523537A (zh) | 一种车辆驾驶危险程度动态判断方法 | |
KR20110065304A (ko) | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 및 방법 | |
CN116279572B (zh) | 一种车辆安全态势评估与稳态驾驶模式切换方法及系统 | |
KR101005339B1 (ko) | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 | |
CN115892029A (zh) | 一种基于驾驶人注意力评估的汽车智能盲区监测及预警系统 | |
CN115299948A (zh) | 一种驾驶员疲劳检测方法及检测系统 | |
CN210554492U (zh) | 一种车辆驾驶环境监控系统 | |
KR102568260B1 (ko) | 자율주행 차량의 원격 진료 시스템 | |
CN112494045A (zh) | 一种驾驶员疲劳检测方法及装置 | |
Zhan et al. | A Review of Driver Fatigue Detection and Warning Based on Multi-Information Fusion | |
CN113901866A (zh) | 一种机器视觉的疲劳驾驶预警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210118 Address after: No. 99, Jinxiu Road, Hefei, Anhui, Anhui Patentee after: HEFEI University Address before: 230000 8th floor, area a, building 1, phase III, Huguang road independent innovation industrial base, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee before: HEFEI DIVINEYE TECHNOLOGY Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201201 Termination date: 20210404 |