CN101984478B - 基于双目视觉车道线检测的非正常s型驾驶预警方法 - Google Patents
基于双目视觉车道线检测的非正常s型驾驶预警方法 Download PDFInfo
- Publication number
- CN101984478B CN101984478B CN2010102438309A CN201010243830A CN101984478B CN 101984478 B CN101984478 B CN 101984478B CN 2010102438309 A CN2010102438309 A CN 2010102438309A CN 201010243830 A CN201010243830 A CN 201010243830A CN 101984478 B CN101984478 B CN 101984478B
- Authority
- CN
- China
- Prior art keywords
- image
- lane line
- vehicle
- time
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 title abstract 2
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 108700002783 roundabout Proteins 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明专利公开了一种基于双目视觉车道线检测的非正常S型驾驶预警方法,该方法通过对前视方向和侧视方向采集到的视频图像进行分析,即可判定出车辆行驶的“S”型路线,然后通过语音或亮灯的方式对驾驶员进行报警。该方法是通过间接的方法来判别驾驶员的驾驶状态,没有对驾驶员驾驶状态产生任何干扰,能够有效防止车辆事故的发生。
Description
技术领域
本发明涉及一种在具有良好标识线的公路上的辅助驾驶技术,尤其涉及一种提高汽车驾驶的安全性乃至整个公路系统的安全性的基于双目视觉车道线检测的非正常S型驾驶预警方法。
背景技术
人机工程学的研究表明,交通事故是在人-车-环境系统中产生不稳定或不平衡时发生的。道路交通事故的直接或间接原因包括人、车、路及各种环境因素。其中由于疲劳驾驶、酒后驾驶以及其它精力不集中情况下驾驶操作失误而引发的车辆偏离车道行驶是导致重大交通事故发生的主要原因之一。根据(美国)联邦公路局的估计,美国2002年所有的致命的交通事故中44%是跟车道偏离驾驶有关。同时,多次跨越车道线行驶即“S”型线路驾驶也被看成车祸事故的主要原因,不仅危害“S”型线路行驶的驾驶员本身的安全,对道路上其他驾驶员及公共财产也存在着很大的安全隐患。因此,对“S”型驾驶检测与预警的研究很有必要。
目前,有学者针对结构化高速道路进行车道线识别研究,分别采用曲线拟合方法、Hough变换法、逆投射投影变换车道线检测方法等,但由于上述方法都是对灰度图像进行处理,图像预处理复杂,其他因素对车道线的提取干扰太大,提取车道线的准确率较低。在车道偏离车道线预警决策中,多数采用的是一次车道偏离就报警的策略,这样可能会产生误报,不能很好的反映出驾驶员目前的驾驶状态;而对多次车道跨越行驶的“S”型驾驶检测与预警就能比较理想的反应驾驶员当前是否处于非正常驾驶状态,从而及时发现安全隐患,有效避免交通事故的发生。
发明内容
本发明的目的在于针对现有车道偏离预警系统中普遍采用的灰度图像处理和单目视觉方法检测车道线的不足,提供一种基于双目视觉车道线检测的非正常S型驾驶预警方法。
本发明的目的是通过以下技术方案来实现的:一种基于双目视觉车道线检测的非正常S型驾驶预警方法,它包括以下步骤:
(1)采集前视和侧视彩色视频图像:通过车载CCD摄像头采集标准模式图像,即现实中的公路图像;将前视摄像头装在车顶,采集车头前面的车道线,将侧视摄像头装在车的左侧,采集车辆左侧的车道线。
(2)转换标准模式图像的颜色模型,从RGB模型转向HSI模型,利用饱和度亮度分量作为特征参数进行图像分割,采用Hough直线检测提取出车道线。
(3)车道预警决策中,首先采用TLC方法判别车辆每一次的触界或跨界与否,并计算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶。
(4)对驾驶员进行报警:通过预警决策判断满足报警条件之后,通过语音报警或亮灯报警对驾驶员进行报警。
本发明的有益效果是:本发明通过对前视方向和侧视方向采集到的视频图像进行分析,即可判定出车辆行驶的“S”型路线,然后通过语音或亮灯的方式对驾驶员进行报警。该方法是通过间接的方法来判别驾驶员的驾驶状态,没有对驾驶员驾驶状态产生任何干扰,有效防止车辆事故的发生。
附图说明
图1是本发明车道检测判别和预警决策框图;
图2是采集到的前视和侧视车道原始图像,其中,(a)是前视图像,(b)是侧视图像;
图3是RGB颜色模型转化到HSI颜色模型,得到的亮度分量图像,其中,(a)是前视图像,(b)是侧视图像;
图4是RGB颜色模型转化到HSI颜色模型,根据饱和度和亮度分量二值化后的图像,其中,(a)是前视图像,(b)是侧视图像;
图5是对二值化后的图像进行形态学操作消除噪声干扰后的结果,其中,(a)是前视图像,(b)是侧视图像;
图6是Hough直线检测后的结果,其中,(a)前视图像,(b)是侧视图像。
具体实施方式
目前,国内对车道线的检测很多。有学者针对结构化高速道路进行车道线识别研究,分别采用曲线拟合方法、Hough变换法、逆投射投影变换车道线检测方法等,但由于上述方法都是对灰度图像进行处理,图像预处理复杂,其他因素对车道线的提取干扰太大,提取车道线的准确率较低。
在车道偏离预警方面采用的方法有:(1)基于车辆在车道中的当前位置(Car’s Current Position,CCP),(2)基于将来偏离量的不同(Future OffsetDifference,FOD),(3)基于车辆将横越车道边界的时间(Time to Lane Crossing,TLC),(4)基于知识的道路场景感知(Knowledge-Based Interpretation of RoadScenes,KBIRS)。目前采用较多的是TLC预警方法,但他们都是采用一次触界报警的TLC方法,即要根据以后几秒钟内车辆运动假设模型,估计出车辆将触碰车道的时间,设置一个合理的时间阈值,当估计出的时间小于该阈值时就触发报警。
通过对比分析发现,车道线的饱和度较低,这也可以作为区别于车道线和其他干扰因素的特征之一。所以本发明专利提出一种在HSI模型下利用饱和度和亮度综合特征并采用Hough直线检测来提取车道线的方法。
在车道预警判定决策方面,针对的是“S”型线路即多次触界或跨界的检测。
本发明基于双目视觉车道线检测的非正常“S”型驾驶预警方法框图如附图1所示,主要步骤如下:
1采集前视和侧视彩色视频图像:
采用车载CCD摄像头采集标准模式图像,即现实中的公路图像。将前视摄像头装在车顶,保证能够采集到车头前面的车道线,将侧视摄像头装在车的左侧,使得能够采集到车辆左侧的车道线。采集到的车道前视和侧视车道线原始图像如图2所示。
2转换标准模式图像的颜色模型,从RGB模型转向HSI模型,利用饱和度亮度分量作为特征参数进行图像分割,采用Hough直线检测提取出车道线:首先,对采集到视频图像进行预处理,采用7*7模板进行中值滤波,消除突变的噪声点;然后将图像RGB模型转换为HSI模型,HSI模型中亮度分量如附图3所示;接着利用饱和度值和亮度值作为特征参数提取车道线,主要步骤如下:
1)图像二值化:选定饱和度亮度合适的阈值区间对图像进行二值化,计算公式由式(1)给出:
式中:g(x,y)为二值化后图像,s为饱和度值,s1为饱和度阈值,i为亮度值,i1为亮度阈值。阈值可以通过计算饱和度和亮度图的直方图得出。二值化结果如附图4所示。
2)形态学操作:对二值图像进行开运算操作,消除阈值分割后遗留的噪声。采用半径为3像素的圆形结构元素进行腐蚀,膨胀后的图像如附图5所示。
3)Hough直线检测:结果如附图6所示。
Hough变换的基本思想是点-线的对偶性,即图像空间中共线的点映射为参数空间里相交的直线;反之,参数空间相交于同一点的所有直线在图像空间里都有共线的点与之对应。常用Hough变换直线检测方法采用式(2)在图像空间和参数空间建立对偶变换。
ρ=xcosθ+ysinθ (2)
3车道预警决策中,首先采用TLC方法判别车辆每一次的触界或跨界与否,并计算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶:首先需设定两个阈值:
(1)车辆将要触碰车道线的时间阈值tth;
(2)触界或跨界的次数阈值n。
根据前视视频图像和侧视视频图像计算出车辆将要触碰车道线的时间tc,当计算出的时间tc小于阈值tth时判定为一次触界;当在一段时间内,车辆的触界或跨界次数超过n时,判定该车辆在做“S”型线路行驶,并触发报警。
采用TLC算法判别车辆每一次的触界或跨界与否:TLC算法包括一阶TLC算法和二阶TLC算法,一阶TLC用到了车辆的侧向位置和侧向速度,预测车辆前轮碰触道路边界的时间,并设置阈值,若该时间小于阈值则产生警报。一阶TLC触发报警的条件如公式(3)所示:
其中,d为前胎外沿距道路边界距离;vl为汽车侧向速度;tth为前视时间阈值。采用的假设:侧向速度在短时间内是常值,车体和道路之间的侧偏角是常值。
本专利中采用二阶TLC算法,除了考虑侧向位置和侧向速度外,还用到了侧向加速度来建模车辆运动,触发警报的条件如公式(4)所示:
其中,d为前胎外沿距道路边界距离;vl为汽车侧向速度;tth为前视时间阈值;al汽车的测向加速。若al为0,则二阶TLC等价于一阶TLC(当al趋于0时,运用洛比达求极限法则,分子分母分别求al的导数,得到与一阶TLC触发报警条件相同的条件,如公式(5)所示)。
采用的假设:汽车的侧向加速度在一段时间内是常值,等效于汽车运动轨迹曲率为常值。
本发明利用彩色图像HSI模型检测车道线的方法,并综合前视和侧视车道图像(即双目视觉)的车道线检测结果后采用TLC方法得出每一次的触界或跨界预警决策规律;特别针对“S”型行驶路线进行检测,即在检测出每一次是否触界的基础上设置合理的触界次数阈值,只有当在一段时间内,车辆跨越车道线次数达到该触界次数阈值时才触发报警信号。
4对驾驶员进行报警:
通过预警决策判断满足报警条件之后,就需要通过驱动硬件电路的方式对驾驶员进行报警,比如语音报警或亮灯报警,可以将硬件电路的I0口置低即可。
Claims (4)
1.一种基于双目视觉车道线检测的非正常S型驾驶预警方法,其特征在于,它包括以下步骤:
(1)采集前视和侧视彩色视频图像:通过车载CCD摄像头采集标准模式图像,即现实中的公路图像;将前视摄像头装在车顶,采集车头前面的车道线,将侧视摄像头装在车的左侧,采集车辆左侧的车道线;
(2)转换标准模式图像的颜色模型,从RGB模型转向HSI模型,利用饱和度亮度分量作为特征参数进行图像分割,采用Hough直线检测提取出车道线;
(3)车道预警决策中,首先采用TLC方法判别车辆每一次的触界或跨界与否,并计算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶;
(4)对驾驶员进行报警:通过预警决策判断满足报警条件之后,通过语音报警或亮灯报警对驾驶员进行报警。
2.根据权利要求1所述基于双目视觉车道线检测的非正常S型驾驶预警方法,其特征在于,所述步骤(2)具体为:首先,对采集到视频图像进行预处理,采用7*7模板进行中值滤波,消除突变的噪声点;然后将图像RGB模型转换为HSI模型;接着利用饱和度值和亮度值作为特征参数提取车道线。
4.根据权利要求1所述基于双目视觉车道线检测的非正常S型驾驶预警方法,其特征在于,所述步骤(3)具体为:首先需设定两个阈值:
(a)车辆将要触碰车道线的时间阈值tth;
(b)触界或跨界的次数阈值n;
根据前视视频图像和侧视视频图像计算出车辆将要触碰车道线的时间tc, 当计算出的时间tc小于阈值tth时判定为一次触界;当在一段时间内,车辆的触界或跨界次数超过n时,判定该车辆在做“S”型线路行驶,并触发报警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102438309A CN101984478B (zh) | 2010-08-03 | 2010-08-03 | 基于双目视觉车道线检测的非正常s型驾驶预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102438309A CN101984478B (zh) | 2010-08-03 | 2010-08-03 | 基于双目视觉车道线检测的非正常s型驾驶预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101984478A CN101984478A (zh) | 2011-03-09 |
CN101984478B true CN101984478B (zh) | 2012-08-08 |
Family
ID=43641648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102438309A Expired - Fee Related CN101984478B (zh) | 2010-08-03 | 2010-08-03 | 基于双目视觉车道线检测的非正常s型驾驶预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101984478B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9405982B2 (en) * | 2013-01-18 | 2016-08-02 | GM Global Technology Operations LLC | Driver gaze detection system |
CN103213579B (zh) * | 2013-04-07 | 2015-08-19 | 杭州电子科技大学 | 一种相机参数和车辆系统无关的车道偏离提前预警方法 |
CN104567890A (zh) * | 2014-11-24 | 2015-04-29 | 朱今兰 | 一种智能车辆导航辅助系统 |
WO2017069747A1 (en) * | 2015-10-21 | 2017-04-27 | Ford Global Technologies, Llc | Boundary detection system utilizing wireless signals |
CN105354559A (zh) * | 2015-11-24 | 2016-02-24 | 厦门雅迅网络股份有限公司 | 一种对车前图像检测车道直线的方法 |
TWI609807B (zh) * | 2016-05-17 | 2018-01-01 | 緯創資通股份有限公司 | 影像評估方法以及其電子裝置 |
CN106250816A (zh) * | 2016-07-19 | 2016-12-21 | 武汉依迅电子信息技术有限公司 | 一种基于双摄像头的车道线识别方法及系统 |
EP3360746A1 (en) * | 2017-02-13 | 2018-08-15 | Autoliv Development AB | Apparatus operable to determine a position of a portion of a lane |
CN107719361A (zh) * | 2017-10-10 | 2018-02-23 | 深圳市豪恩汽车电子装备股份有限公司 | 基于图像视觉的自动泊车辅助方法及系统 |
JP7140498B2 (ja) | 2018-01-25 | 2022-09-21 | フォルシアクラリオン・エレクトロニクス株式会社 | 表示制御装置及び表示システム |
CN109883432B (zh) * | 2019-02-21 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 位置确定方法、装置、设备及计算机可读存储介质 |
CN110428660A (zh) * | 2019-08-12 | 2019-11-08 | 中车株洲电力机车研究所有限公司 | 一种自导向车辆线路运行方向的识别及控制方法、装置、系统以及计算机可读存储介质 |
CN112991790B (zh) * | 2019-12-02 | 2022-06-07 | 宇龙计算机通信科技(深圳)有限公司 | 提示用户的方法、装置、电子设备及介质 |
CN111160126B (zh) * | 2019-12-11 | 2023-12-19 | 深圳市锐明技术股份有限公司 | 驾驶状态确定方法、装置、车辆及存储介质 |
CN112232330B (zh) * | 2020-12-17 | 2021-02-23 | 中智行科技有限公司 | 车道连接线生成方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0810569A1 (en) * | 1996-05-28 | 1997-12-03 | Matsushita Electric Industrial Co., Ltd. | Lane detection sensor and navigation system employing the same |
CN101135558A (zh) * | 2007-09-28 | 2008-03-05 | 深圳先进技术研究院 | 一种基于机器视觉的汽车防撞预警方法及装置 |
CN201427553Y (zh) * | 2009-06-26 | 2010-03-24 | 长安大学 | 一种车辆偏离车道报警系统 |
-
2010
- 2010-08-03 CN CN2010102438309A patent/CN101984478B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0810569A1 (en) * | 1996-05-28 | 1997-12-03 | Matsushita Electric Industrial Co., Ltd. | Lane detection sensor and navigation system employing the same |
CN101135558A (zh) * | 2007-09-28 | 2008-03-05 | 深圳先进技术研究院 | 一种基于机器视觉的汽车防撞预警方法及装置 |
CN201427553Y (zh) * | 2009-06-26 | 2010-03-24 | 长安大学 | 一种车辆偏离车道报警系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101984478A (zh) | 2011-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101984478B (zh) | 基于双目视觉车道线检测的非正常s型驾驶预警方法 | |
CN104008645B (zh) | 一种适用于城市道路车道线预测及预警方法 | |
US8976040B2 (en) | Intelligent driver assist system based on multimodal sensor fusion | |
WO2018058958A1 (zh) | 一种道路车辆交通告警系统及其方法 | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
CN102910126B (zh) | 一种辅助车辆安全变更车道的方法及系统 | |
CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 | |
CN108281041A (zh) | 一种基于超声波和视觉传感器相融合的泊车车位检测方法 | |
CN105303830A (zh) | 一种驾驶行为分析系统及分析方法 | |
CN105512623A (zh) | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 | |
CN104129389A (zh) | 一种有效判别车辆行驶状态的方法及其装置 | |
CN106627585B (zh) | 一种基于图像处理的车辆变道辅助装置及其工作方法 | |
CN107953827A (zh) | 一种车辆盲区预警方法及装置 | |
CN106537180A (zh) | 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法 | |
CN109859509A (zh) | 车道通行状态提醒方法及设备 | |
CN108346316A (zh) | 一种基于车道线检测的智能违章防控系统 | |
CN107097794B (zh) | 道路车道线的侦测系统及其方法 | |
CN205930481U (zh) | 一种汽车转向灯控制装置及汽车 | |
CN110126730A (zh) | 车辆变道提醒方法及系统 | |
JP2008285015A (ja) | 運転タイプ判別装置、プログラム、及び運転支援装置 | |
Rodemerk et al. | Predicting the driver's turn intentions at urban intersections using context-based indicators | |
CN116030662B (zh) | 一种基于大数据的智能安全检测系统及方法 | |
CN104299400A (zh) | 车辆周围环境监测系统 | |
CN114023107A (zh) | 预防城市渣土车右转过程与非机动车发生冲突的方法、系统及其存储介质 | |
CN112606831A (zh) | 一种用于客车的防碰撞警示信息对外交互方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120808 |