CN108438004A - 基于单目视觉的车道偏离预警系统 - Google Patents

基于单目视觉的车道偏离预警系统 Download PDF

Info

Publication number
CN108438004A
CN108438004A CN201810203428.4A CN201810203428A CN108438004A CN 108438004 A CN108438004 A CN 108438004A CN 201810203428 A CN201810203428 A CN 201810203428A CN 108438004 A CN108438004 A CN 108438004A
Authority
CN
China
Prior art keywords
module
lane
monocular vision
departure warning
lane departure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810203428.4A
Other languages
English (en)
Inventor
陈卫卫
王卫星
王峰萍
贺燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201810203428.4A priority Critical patent/CN108438004A/zh
Publication of CN108438004A publication Critical patent/CN108438004A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0029—Mathematical model of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

本发明公开了一种基于单目视觉的车道偏离预警系统，包括图像采集模块、图像处理模块、车道线提取模块、汽车行驶参数采集模块、驾驶人换道意图识别模型构建模块和预警模块。本发明采用HMM模型并综合考虑自车与周围车辆的动力学关系，如横向速度、偏向角、角速度等动力学特征，进行驾驶员驾驶意图识别，进而降低车道偏离预警的虚警率。同时系统自带单目传感器工作状态监测功能，提高了系统的安全性。

Description

基于单目视觉的车道偏离预警系统
技术领域
本发明涉及汽车安全领域，具体涉及一种基于单目视觉的车道偏离预警系统。
背景技术
车道偏离预警系统简称DWS(Lane Departure Warning System)，是基于基本交通规则的安全系统。其主要功能是在高速公路上或者类似的公路中，辅助过度疲惫或者长时间单调驾驶的驾驶员保持车辆在车道内行驶。当由于驾驶员由于疏忽可能造成车道偏离时，警告驾驶员。比较经典的预测车道偏离的方法有跨道时间(TLC)与跨道距离(DLC)，但这两个方法都只考虑了车与路，误警率、虚警率比较高，容易使驾驶员分心。国内外学者在驾驶员意图识别、换道行为等方面展开了一定的研究，如模糊推理、神经网络、认知模型、动态贝叶斯网络等，但大多数是基于模拟器的仿真或采用不能描述随时间变化的特征信号，所以在真实驾车环境下误警率及虚警率比较高。
发明内容
本发明的目的在于提供了一种基于单目视觉的车道偏离预警系统，可有效降低车道偏离预警的虚警率。
为实现上述目的，本发明采取的技术方案为：
基于单目视觉的车道偏离预警系统，包括
图像采集模块，通过安装在车身上的单目视觉传感器进行图像数据的采集，并将所采集到的图像数据发送到图像处理模块；
图像处理模块，采用双边滤波和分段线性变换算法分别进行图像去噪和图像增强预处理；并采用迭代自适应阈值分割法进行图像二值化处理；
车道线提取模块，基于连通分量外接矩形的长宽比对完成二值化处理的图像进行车道ROI的形状识别，完成车道ROI的检测；然后将检测到的车道线的ROI分割为两个子区域，两个子区域分别应用霍夫变换寻找左右车道线，并利用卡尔曼滤波器进行跟踪；
汽车行驶参数采集模块，用于进行汽车横向车速、加速度、转向角和角速度的采集；
驾驶人换道意图识别模型构建模块，以汽车行驶参数为连续信号，将汽车行驶参数的PDF(概率分布函数)拟合成为混合高斯概率密度函数，基于混合高斯隐型马尔科夫模型进行驾驶人换道意图识别模型的构建；
预警模块，基于驾驶人换道意图的识别结果以及车道线提取模块寻找跟踪结果进行车道偏离情况的评估，并根据评估结果进行报警模块的启闭。
优选地，所述汽车横向速度由相邻两帧图像获取的横向距离计算而来。
优选地，所述驾驶人换道意图识别模型包括左偏离状态模型、右偏离状态模型和车道保持模型。
优选地，所述报警模块采用语音报警。
优选地，每个卡尔曼滤波器定义对应的计数向量，在跟踪的过程中，如果检测结果与预测输出值匹配，将检测结果作为滤波器的观测值输入，并将对应的计数位加1，反之输出预测结果作为观测值，并将计数自减1；设定一定阈值，当连续不匹配次数占对应滤波器总迭代次数的比率大于阈值，则重新跟踪。
优选地，还包括一单目视觉传感器监控模块，用于通过识别图像数据中所对应的时间数据进行单目视觉传感器工作状态的判定，一旦在汽车行驶状态中，未识别到某一时间点的图像数据则启动报警模块进行预警短信的发送。
优选地，所发送的预警短信以自动填空的方式进行预警短信的编辑发送。
本发明具有以下有益效果：
采用HMM模型并综合考虑自车与周围车辆的动力学关系，如横向速度、偏向角、角速度等动力学特征，进行驾驶员驾驶意图识别，进而降低车道偏离预警的虚警率。同时系统自带单目传感器工作状态监测功能，提高了系统的安全性。
附图说明
图1为本发明实施例基于单目视觉的车道偏离预警系统的系统框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种基于单目视觉的车道偏离预警系统，包括：
图像采集模块，通过安装在车身上的单目视觉传感器进行图像数据的采集，并将所采集到的图像数据发送到图像处理模块；
图像处理模块，采用双边滤波和分段线性变换算法分别进行图像去噪和图像增强预处理；并采用迭代自适应阈值分割法进行图像二值化处理；
车道线提取模块，基于连通分量外接矩形的长宽比对完成二值化处理的图像进行车道ROI的形状识别，完成车道ROI的检测；然后将检测到的车道线的ROI分割为两个子区域，两个子区域分别应用霍夫变换寻找左右车道线，并利用卡尔曼滤波器进行跟踪；
汽车行驶参数采集模块，用于进行汽车横向车速、加速度、转向角和角速度的采集；
驾驶人换道意图识别模型构建模块，以汽车行驶参数为连续信号，将汽车行驶参数的PDF(概率分布函数)拟合成为混合高斯概率密度函数，基于混合高斯隐型马尔科夫模型进行驾驶人换道意图识别模型的构建；
预警模块，基于驾驶人换道意图的识别结果以及车道线提取模块寻找跟踪结果进行车道偏离情况的评估，并根据评估结果进行报警模块的启闭；
单目视觉传感器监控模块，用于通过识别图像数据中所对应的时间数据进行单目视觉传感器工作状态的判定，一旦在汽车行驶状态中，未识别到某一时间点的图像数据则启动报警模块进行预警短信的发送。所发送的预警短信以自动填空的方式进行预警短信的编辑发送。
所述汽车横向速度由相邻两帧图像获取的横向距离计算而来。
所述驾驶人换道意图识别模型包括左偏离状态模型、右偏离状态模型和车道保持模型。
所述报警模块采用语音报警。
每个卡尔曼滤波器定义对应的计数向量，在跟踪的过程中，如果检测结果与预测输出值匹配，将检测结果作为滤波器的观测值输入，并将对应的计数位加1，反之输出预测结果作为观测值，并将计数自减1；设定一定阈值，当连续不匹配次数占对应滤波器总迭代次数的比率大于阈值，则重新跟踪。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.基于单目视觉的车道偏离预警系统，其特征在于，包括：
图像采集模块，通过安装在车身上的单目视觉传感器进行图像数据的采集，并将所采集到的图像数据发送到图像处理模块；
图像处理模块，采用双边滤波和分段线性变换算法分别进行图像去噪和图像增强预处理；并采用迭代自适应阈值分割法进行图像二值化处理；
车道线提取模块，基于连通分量外接矩形的长宽比对完成二值化处理的图像进行车道ROI的形状识别，完成车道ROI的检测；然后将检测到的车道线的ROI分割为两个子区域，两个子区域分别应用霍夫变换寻找左右车道线，并利用卡尔曼滤波器进行跟踪；
汽车行驶参数采集模块，用于进行汽车横向车速、加速度、转向角和角速度的采集；
驾驶人换道意图识别模型构建模块，以汽车行驶参数为连续信号，将汽车行驶参数的PDF拟合成为混合高斯概率密度函数，基于混合高斯隐型马尔科夫模型进行驾驶人换道意图识别模型的构建；
预警模块，基于驾驶人换道意图的识别结果以及车道线提取模块寻找跟踪结果进行车道偏离情况的评估，并根据评估结果进行报警模块的启闭。
2.如权利要求1所述的基于单目视觉的车道偏离预警系统，其特征在于，所述汽车横向速度由相邻两帧图像获取的横向距离计算而来。
3.如权利要求1所述的基于单目视觉的车道偏离预警系统，其特征在于，所述驾驶人换道意图识别模型包括左偏离状态模型、右偏离状态模型和车道保持模型。
4.如权利要求1所述的基于单目视觉的车道偏离预警系统，其特征在于，所述报警模块采用语音报警。
5.如权利要求1所述的基于单目视觉的车道偏离预警系统，其特征在于，每个卡尔曼滤波器定义对应的计数向量，在跟踪的过程中，如果检测结果与预测输出值匹配，将检测结果作为滤波器的观测值输入，并将对应的计数位加1，反之输出预测结果作为观测值，并将计数自减1；设定一定阈值，当连续不匹配次数占对应滤波器总迭代次数的比率大于阈值，则重新跟踪。
6.如权利要求1所述的基于单目视觉的车道偏离预警系统，其特征在于，还包括一单目视觉传感器监控模块，用于通过识别图像数据中所对应的时间数据进行单目视觉传感器工作状态的判定，一旦在汽车行驶状态中，未识别到某一时间点的图像数据则启动报警模块进行预警短信的发送。
7.如权利要求6所述的基于单目视觉的车道偏离预警系统，其特征在于，所发送的预警短信以自动填空的方式进行预警短信的编辑发送。
CN201810203428.4A 2018-03-05 2018-03-05 基于单目视觉的车道偏离预警系统 Pending CN108438004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810203428.4A CN108438004A (zh) 2018-03-05 2018-03-05 基于单目视觉的车道偏离预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810203428.4A CN108438004A (zh) 2018-03-05 2018-03-05 基于单目视觉的车道偏离预警系统

Publications (1)

Publication Number Publication Date
CN108438004A true CN108438004A (zh) 2018-08-24

Family

ID=63194808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810203428.4A Pending CN108438004A (zh) 2018-03-05 2018-03-05 基于单目视觉的车道偏离预警系统

Country Status (1)

Country Link
CN (1) CN108438004A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109398356A (zh) * 2018-11-23 2019-03-01 奇瑞汽车股份有限公司 车道保持系统及方法
CN109901595A (zh) * 2019-04-16 2019-06-18 山东大学 一种基于单目摄像头和树莓派的自动驾驶系统及方法
CN110077398A (zh) * 2019-05-20 2019-08-02 上海域驾智能科技有限公司 一种用于智能驾驶的危险处理方法
CN111660928A (zh) * 2019-03-06 2020-09-15 杭州海康威视数字技术股份有限公司 车道偏离预警方法、装置和电子设备
CN111891129A (zh) * 2020-08-17 2020-11-06 湖南汽车工程职业学院 电动汽车智能驾驶系统
CN112133154A (zh) * 2020-09-22 2020-12-25 沈阳工业大学 一种基于单目视觉的高级驾驶模拟系统及方法
CN112927303A (zh) * 2021-02-22 2021-06-08 中国重汽集团济南动力有限公司 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN113709324A (zh) * 2020-05-21 2021-11-26 武汉Tcl集团工业研究院有限公司 一种视频降噪方法、视频降噪装置及视频降噪终端
CN115946710A (zh) * 2023-03-14 2023-04-11 北京航空航天大学 一种驾驶特征数据处理方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201249721Y (zh) * 2008-06-23 2009-06-03 长安大学 一种汽车偏离车道预警装置
CN204895461U (zh) * 2015-08-28 2015-12-23 南京创来科技有限公司 一种车道偏离预警系统
US9659497B2 (en) * 2012-06-29 2017-05-23 Lg Innotek Co., Ltd. Lane departure warning system and lane departure warning method
CN107176432A (zh) * 2017-06-15 2017-09-19 西安科技大学 一种基于机器视觉的锚杆异物及皮带撕裂检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201249721Y (zh) * 2008-06-23 2009-06-03 长安大学 一种汽车偏离车道预警装置
US9659497B2 (en) * 2012-06-29 2017-05-23 Lg Innotek Co., Ltd. Lane departure warning system and lane departure warning method
CN204895461U (zh) * 2015-08-28 2015-12-23 南京创来科技有限公司 一种车道偏离预警系统
CN107176432A (zh) * 2017-06-15 2017-09-19 西安科技大学 一种基于机器视觉的锚杆异物及皮带撕裂检测系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
傅泽田等: "《面向移动终端的农业信息智能获取》", 30 September 2015, 中国农业大学出版社 *
戴秋菊，陈贤富: ""基于单目视觉的车道偏离预警算法研究"", 《微型机与应用》 *
王晓锦: "基于单目视觉的结构化道路车道线识别和SAE算法的车道偏离检测研究", 《中国优秀硕士学位论文全文数据库》 *
秦洪懋: "基于驾驶行为的车道偏离预警系统关键技术研究", 《中国博士学位论文全文数据库》 *
薛玉利: "基于分水岭变换的粘连交通标志分离算法", 《微型机与应用》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109398356A (zh) * 2018-11-23 2019-03-01 奇瑞汽车股份有限公司 车道保持系统及方法
CN109398356B (zh) * 2018-11-23 2021-03-30 奇瑞汽车股份有限公司 车道保持系统及方法
CN111660928A (zh) * 2019-03-06 2020-09-15 杭州海康威视数字技术股份有限公司 车道偏离预警方法、装置和电子设备
CN111660928B (zh) * 2019-03-06 2021-11-23 杭州海康威视数字技术股份有限公司 车道偏离预警方法、装置和电子设备
CN109901595A (zh) * 2019-04-16 2019-06-18 山东大学 一种基于单目摄像头和树莓派的自动驾驶系统及方法
CN110077398A (zh) * 2019-05-20 2019-08-02 上海域驾智能科技有限公司 一种用于智能驾驶的危险处理方法
CN113709324A (zh) * 2020-05-21 2021-11-26 武汉Tcl集团工业研究院有限公司 一种视频降噪方法、视频降噪装置及视频降噪终端
CN111891129A (zh) * 2020-08-17 2020-11-06 湖南汽车工程职业学院 电动汽车智能驾驶系统
CN112133154A (zh) * 2020-09-22 2020-12-25 沈阳工业大学 一种基于单目视觉的高级驾驶模拟系统及方法
CN112927303A (zh) * 2021-02-22 2021-06-08 中国重汽集团济南动力有限公司 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN112927303B (zh) * 2021-02-22 2023-01-24 中国重汽集团济南动力有限公司 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN115946710A (zh) * 2023-03-14 2023-04-11 北京航空航天大学 一种驾驶特征数据处理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108438004A (zh) 基于单目视觉的车道偏离预警系统
Muthukumaran et al. Driver sleepiness detection using deep learning convolution neural network classifier
CN101739829B (zh) 一种基于视频的车辆超速监控方法及系统
CN108537197A (zh) 一种基于深度学习的车道线检测预警装置及预警方法
CN106652468A (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN105303830A (zh) 一种驾驶行为分析系统及分析方法
CN109977930B (zh) 疲劳驾驶检测方法及装置
CN106448265A (zh) 司机驾驶行为数据的采集方法及装置
CN104751600A (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
Alluhaibi et al. Driver behavior detection techniques: A survey
Dey et al. Real time driver fatigue detection based on facial behaviour along with machine learning approaches
Ali et al. Distance estimation and vehicle position detection based on monocular camera
Baili et al. Lane departure detection using image processing techniques
Lee et al. Real-time lane detection and tracking system using simple filter and Kalman filter
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN107303907A (zh) 用于确定驾驶者的睡意的装置和方法
CN115782905B (zh) 一种自动驾驶车辆驾驶安全度量化系统
Kamble et al. Lane departure warning system for advanced drivers assistance
Song The application of computer vision in responding to the emergencies of autonomous driving
Yi et al. Safety belt wearing detection algorithm based on human joint points
Rani et al. Development of an Automated Tool for Driver Drowsiness Detection
Rizvi et al. Fuzzy adaptive cruise control system with speed sign detection capability
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
CN109895694B (zh) 一种车道偏离预警方法、装置及车辆
Jurkovič et al. Proposal of an enhanced safety system on board of the inland vessel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180824