CN101984478A - 基于双目视觉车道线检测的非正常s型驾驶预警方法 - Google Patents

基于双目视觉车道线检测的非正常s型驾驶预警方法 Download PDF

Info

Publication number
CN101984478A
CN101984478A CN 201010243830 CN201010243830A CN101984478A CN 101984478 A CN101984478 A CN 101984478A CN 201010243830 CN201010243830 CN 201010243830 CN 201010243830 A CN201010243830 A CN 201010243830A CN 101984478 A CN101984478 A CN 101984478A
Authority
CN
China
Prior art keywords
image
lane line
vehicle
early warning
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010243830
Other languages
English (en)
Other versions
CN101984478B (zh
Inventor
周泓
刘林冲
徐海儿
虞侠挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN2010102438309A priority Critical patent/CN101984478B/zh
Publication of CN101984478A publication Critical patent/CN101984478A/zh
Application granted granted Critical
Publication of CN101984478B publication Critical patent/CN101984478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于双目视觉车道线检测的非正常S型驾驶预警方法,该方法通过对前视方向和侧视方向采集到的视频图像进行分析,即可判定出车辆行驶的“S”型路线,然后通过语音或亮灯的方式对驾驶员进行报警。该方法是通过间接的方法来判别驾驶员的驾驶状态,没有对驾驶员驾驶状态产生任何干扰,能够有效防止车辆事故的发生。

Description

基于双目视觉车道线检测的非正常S型驾驶预警方法
技术领域
[0001] 本发明涉及一种在具有良好标识线的公路上的辅助驾驶技术,尤其涉及一种提高 汽车驾驶的安全性乃至整个公路系统的安全性的基于双目视觉车道线检测的非正常S型 驾驶预警方法。
背景技术
[0002] 人机工程学的研究表明,交通事故是在人-车-环境系统中产生不稳定或不平衡 时发生的。道路交通事故的直接或间接原因包括人、车、路及各种环境因素。其中由于疲劳 驾驶、酒后驾驶以及其它精力不集中情况下驾驶操作失误而引发的车辆偏离车道行驶是导 致重大交通事故发生的主要原因之一。根据(美国)联邦公路局的估计,美国2002年所有 的致命的交通事故中44%是跟车道偏离驾驶有关。同时,多次跨越车道线行驶即“S”型线 路驾驶也被看成车祸事故的主要原因,不仅危害“S”型线路行驶的驾驶员本身的安全,对道 路上其他驾驶员及公共财产也存在着很大的安全隐患。因此,对“S”型驾驶检测与预警的 研究很有必要。
[0003] 目前,有学者针对结构化高速道路进行车道线识别研究,分别采用曲线拟合方法、 Hough变换法、逆投射投影变换车道线检测方法等,但由于上述方法都是对灰度图像进行 处理,图像预处理复杂,其他因素对车道线的提取干扰太大,提取车道线的准确率较低。在 车道偏离车道线预警决策中,多数采用的是一次车道偏离就报警的策略,这样可能会产生 误报,不能很好的反映出驾驶员目前的驾驶状态;而对多次车道跨越行驶的“S”型驾驶检 测与预警就能比较理想的反应驾驶员当前是否处于非正常驾驶状态,从而及时发现安全隐 患,有效避免交通事故的发生。
发明内容
[0004] 本发明的目的在于针对现有车道偏离预警系统中普遍采用的灰度图像处理和单 目视觉方法检测车道线的不足,提供一种基于双目视觉车道线检测的非正常S型驾驶预警 方法。
[0005] 本发明的目的是通过以下技术方案来实现的:一种基于双目视觉车道线检测的非 正常S型驾驶预警方法,它包括以下步骤:
[0006] (1)采集前视和侧视彩色视频图像:通过车载CCD摄像头采集标准模式图像,即现 实中的公路图像;将前视摄像头装在车顶,采集车头前面的车道线,将侧视摄像头装在车的 左侧,采集车辆左侧的车道线。
[0007] (2)转换标准模式图像的颜色模型,从RGB模型转向HSI模型,利用饱和度亮度分 量作为特征参数进行图像分割,采用Hough直线检测提取出车道线。
[0008] (3)车道预警决策中,首先采用TLC方法判别车辆每一次的触界或跨界与否,并计 算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶。
[0009] (4)对驾驶员进行报警:通过预警决策判断满足报警条件之后,通过语音报警或
3亮灯报警对驾驶员进行报警。
[0010] 本发明的有益效果是:本发明通过对前视方向和侧视方向采集到的视频图像进行 分析,即可判定出车辆行驶的“S”型路线,然后通过语音或亮灯的方式对驾驶员进行报警。 该方法是通过间接的方法来判别驾驶员的驾驶状态,没有对驾驶员驾驶状态产生任何干 扰,有效防止车辆事故的发生。
附图说明
[0011] 图1是本发明车道检测判别和预警决策框图;
[0012] 图2是采集到的前视和侧视车道原始图像,其中,(a)是前视图像,(b)是侧视图 像;
[0013] 图3是RGB颜色模型转化到HSI颜色模型,得到的亮度分量图像,其中,(a)是前 视图像,(b)是侧视图像;
[0014] 图4是RGB颜色模型转化到HSI颜色模型,根据饱和度和亮度分量二值化后的图 像,其中,(a)是前视图像,(b)是侧视图像;
[0015] 图5是对二值化后的图像进行形态学操作消除噪声干扰后的结果,其中,(a)是前 视图像,(b)是侧视图像;
[0016] 图6是Hough直线检测后的结果,其中,(a)前视图像,(b)是侧视图像。 具体实施方式
[0017] 目前,国内对车道线的检测很多。有学者针对结构化高速道路进行车道线识别研 究,分别采用曲线拟合方法、Hough变换法、逆投射投影变换车道线检测方法等,但由于上述 方法都是对灰度图像进行处理,图像预处理复杂,其他因素对车道线的提取干扰太大,提取 车道线的准确率较低。
[0018] 在车道偏离预警方面采用的方法有:(1)基于车辆在车道中的当前位置(Car’ s Current Position, CCP),(2)基于将来偏离量的不同(Future Offset Difference, F0D), (3)基于车辆将横越车道边界的时间(Time to Lane Crossing, TLC), (4)基于知识的道路 场景感知(Knowledge-Based Interpretation of Road Scenes,KBIRS)。目前采用较多的 是TLC预警方法,但他们都是采用一次触界报警的TLC方法,即要根据以后几秒钟内车辆运 动假设模型,估计出车辆将触碰车道的时间,设置一个合理的时间阈值,当估计出的时间小 于该阈值时就触发报警。
[0019] 通过对比分析发现,车道线的饱和度较低,这也可以作为区别于车道线和其他干 扰因素的特征之一。所以本发明专利提出一种在HSI模型下利用饱和度和亮度综合特征并 采用Hough直线检测来提取车道线的方法。
[0020] 在车道预警判定决策方面,针对的是“S”型线路即多次触界或跨界的检测。
[0021] 本发明基于双目视觉车道线检测的非正常“S”型驾驶预警方法框图如附图1所 示,主要步骤如下:
[0022] 1采集前视和侧视彩色视频图像:
[0023] 采用车载CCD摄像头采集标准模式图像,即现实中的公路图像。将前视摄像头装 在车顶,保证能够采集到车头前面的车道线,将侧视摄像头装在车的左侧,使得能够采集到车辆左侧的车道线。采集到的车道前视和侧视车道线原始图像如图2所示。
[0024] 2转换标准模式图像的颜色模型,从RGB模型转向HSI模型,利用饱和度亮度分量 作为特征参数进行图像分割,采用Hough直线检测提取出车道线:首先,对采集到视频图像 进行预处理,采用7*7模板进行中值滤波,消除突变的噪声点;然后将图像RGB模型转换为 HSI模型,HSI模型中亮度分量如附图3所示;接着利用饱和度值和亮度值作为特征参数提 取车道线,主要步骤如下:
[0025] 1)图像二值化:选定饱和度亮度合适的阈值区间对图像进行二值化,计算公式由 式⑴给出:
[0026]
Figure CN101984478AD00051
[0027] 式中:g(X,y)为二值化后图像,s为饱和度值,S1为饱和度阈值,i为亮度值,“为 亮度阈值。阈值可以通过计算饱和度和亮度图的直方图得出。二值化结果如附图4所示。
[0028] 2)形态学操作:对二值图像进行开运算操作,消除阈值分割后遗留的噪声。采用 半径为3像素的圆形结构元素进行腐蚀,膨胀后的图像如附图5所示。
[0029] 3) Hough直线检测:结果如附图6所示。
[0030] Hough变换的基本思想是点_线的对偶性,即图像空间中共线的点映射为参数空 间里相交的直线;反之,参数空间相交于同一点的所有直线在图像空间里都有共线的点与 之对应。常用Hough变换直线检测方法采用式(2)在图像空间和参数空间建立对偶变换。
Figure CN101984478AD00052
[0032] 3车道预警决策中,首先采用TLC方法判别车辆每一次的触界或跨界与否,并计算 一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶:首先需设定两个阈值:
[0033] (1)车辆将要触碰车道线的时间阈值tth;
[0034] (2)触界或跨界的次数阈值η。
[0035] 根据前视视频图像和侧视视频图像计算出车辆将要触碰车道线的时间t。,当计算 出的时间t。小于阈值tth时判定为一次触界;当在一段时间内,车辆的触界或跨界次数超过 η时,判定该车辆在做“S”型线路行驶,并触发报警。
[0036] 采用TLC算法判别车辆每一次的触界或跨界与否:TLC算法包括一阶TLC算法和 二阶TLC算法,一阶TLC用到了车辆的侧向位置和侧向速度,预测车辆前轮碰触道路边界的 时间,并设置阈值,若该时间小于阈值则产生警报。一阶TLC触发报警的条件如公式(3)所 示:
Figure CN101984478AD00053
[0038] 其中,d为前胎外沿距道路边界距离;Vl为汽车侧向速度;tth为前视时间阈值。采 用的假设:侧向速度在短时间内是常值,车体和道路之间的侧偏角是常值。
[0039] 本专利中采用二阶TLC算法,除了考虑侧向位置和侧向速度外,还用到了侧向加 速度来建模车辆运动,触发警报的条件如公式(4)所示:
[0040] ,c = -Wv"¥<。 (4)
Q1
5[0041] 其中,d为前胎外沿距道路边界距离;Vl为汽车侧向速度;tth为前视时间阈值;ai 汽车的测向加速。若〜为0,则二阶TLC等价于一阶TLC (当ai趋于0时,运用洛比达求极 限法则,分子分母分别求&的导数,得到与一阶TLC触发报警条件相同的条件,如公式(5) 所示)。
Figure CN101984478AD00061
[0043] 采用的假设:汽车的侧向加速度在一段时间内是常值,等效于汽车运动轨迹曲率 为常值。
[0044] 本发明利用彩色图像HSI模型检测车道线的方法,并综合前视和侧视车道图像 (即双目视觉)的车道线检测结果后采用TLC方法得出每一次的触界或跨界预警决策规律; 特别针对“S”型行驶路线进行检测,即在检测出每一次是否触界的基础上设置合理的触界 次数阈值,只有当在一段时间内,车辆跨越车道线次数达到该触界次数阈值时才触发报警信号。
[0045] 4对驾驶员进行报警:
[0046] 通过预警决策判断满足报警条件之后,就需要通过驱动硬件电路的方式对驾驶员 进行报警,比如语音报警或亮灯报警,可以将硬件电路的IO 口置低即可。
6

Claims (4)

  1. 一种基于双目视觉车道线检测的非正常S型驾驶预警方法,其特征在于,它包括以下步骤:(1)采集前视和侧视彩色视频图像:通过车载CCD摄像头采集标准模式图像,即现实中的公路图像;将前视摄像头装在车顶,采集车头前面的车道线,将侧视摄像头装在车的左侧,采集车辆左侧的车道线。(2)转换标准模式图像的颜色模型,从RGB模型转向HSI模型,利用饱和度亮度分量作为特征参数进行图像分割,采用Hough直线检测提取出车道线。(3)车道预警决策中,首先采用TLC方法判别车辆每一次的触界或跨界与否,并计算一段时间内触界或跨界次数来判别车辆是否“S”型线路行驶。(4)对驾驶员进行报警:通过预警决策判断满足报警条件之后,通过语音报警或亮灯报警对驾驶员进行报警。
  2. 2.根据权利要求1所述基于双目视觉车道线检测的非正常S型驾驶预警方法,其特征 在于,所述步骤(2)具体为:首先,对采集到视频图像进行预处理,采用7*7模板进行中值滤 波,消除突变的噪声点;然后将图像RGB模型转换为HSI模型;接着利用饱和度值和亮度值 作为特征参数提取车道线。
  3. 3.根据权利要求2所述基于双目视觉车道线检测的非正常S型驾驶预警方法,其特征 在于,所述步骤(2)分为以下子步骤:(A)图像二值化:选定饱和度亮度合适的阈值区间对图像进行二值化:式中:g(x,y)为二值化后图像,S为饱和度值,S1为饱和度阈值,i为亮度值,I1为亮度 阈值。阈值通过计算饱和度和亮度图的直方图得出。(B)形态学操作:对二值图像进行开运算操作,消除阈值分割后遗留的噪声。采用半径 为3像素的圆形结构元素进行腐蚀。(C)Hough直线检测。
  4. 4.根据权利要求1所述基于双目视觉车道线检测的非正常S型驾驶预警方法,其特征 在于,所述步骤(3)具体为:首先需设定两个阈值:(a)车辆将要触碰车道线的时间阈值tth;(b)触界或跨界的次数阈值η。根据前视视频图像和侧视视频图像计算出车辆将要触碰车道线的时间t。,当计算出 的时间t。小于阈值tth时判定为一次触界;当在一段时间内,车辆的触界或跨界次数超过η 时,判定该车辆在做“S”型线路行驶,并触发报警。255,如果 SS1J1Abi1 O,其他.
CN2010102438309A 2010-08-03 2010-08-03 基于双目视觉车道线检测的非正常s型驾驶预警方法 Active CN101984478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102438309A CN101984478B (zh) 2010-08-03 2010-08-03 基于双目视觉车道线检测的非正常s型驾驶预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102438309A CN101984478B (zh) 2010-08-03 2010-08-03 基于双目视觉车道线检测的非正常s型驾驶预警方法

Publications (2)

Publication Number Publication Date
CN101984478A true CN101984478A (zh) 2011-03-09
CN101984478B CN101984478B (zh) 2012-08-08

Family

ID=43641648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102438309A Active CN101984478B (zh) 2010-08-03 2010-08-03 基于双目视觉车道线检测的非正常s型驾驶预警方法

Country Status (1)

Country Link
CN (1) CN101984478B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103213579A (zh) * 2013-04-07 2013-07-24 杭州电子科技大学 一种相机参数和车辆系统无关的车道偏离提前预警方法
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
CN104567890A (zh) * 2014-11-24 2015-04-29 朱今兰 一种智能车辆导航辅助系统
CN105354559A (zh) * 2015-11-24 2016-02-24 厦门雅迅网络股份有限公司 一种对车前图像检测车道直线的方法
CN106250816A (zh) * 2016-07-19 2016-12-21 武汉依迅电子信息技术有限公司 一种基于双摄像头的车道线识别方法及系统
CN107392080A (zh) * 2016-05-17 2017-11-24 纬创资通股份有限公司 影像评估方法以及其电子装置
CN107719361A (zh) * 2017-10-10 2018-02-23 深圳市豪恩汽车电子装备股份有限公司 基于图像视觉的自动泊车辅助方法及系统
CN108136952A (zh) * 2015-10-21 2018-06-08 福特全球技术公司 利用无线信号的边界检测系统
CN109883432A (zh) * 2019-02-21 2019-06-14 百度在线网络技术(北京)有限公司 位置确定方法、装置、设备及计算机可读存储介质
CN110214106A (zh) * 2017-02-13 2019-09-06 维宁尔瑞典公司 可操作用于确定车道的一部分的位置的装置
CN110428660A (zh) * 2019-08-12 2019-11-08 中车株洲电力机车研究所有限公司 一种自导向车辆线路运行方向的识别及控制方法、装置、系统以及计算机可读存储介质
CN111656775A (zh) * 2018-01-25 2020-09-11 歌乐株式会社 显示控制装置以及显示系统
CN112232330A (zh) * 2020-12-17 2021-01-15 中智行科技有限公司 车道连接线生成方法、装置、电子设备和存储介质
CN112991790A (zh) * 2019-12-02 2021-06-18 宇龙计算机通信科技(深圳)有限公司 提示用户的方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0810569A1 (en) * 1996-05-28 1997-12-03 Matsushita Electric Industrial Co., Ltd. Lane detection sensor and navigation system employing the same
CN101135558A (zh) * 2007-09-28 2008-03-05 深圳先进技术研究院 一种基于机器视觉的汽车防撞预警方法及装置
CN201427553Y (zh) * 2009-06-26 2010-03-24 长安大学 一种车辆偏离车道报警系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0810569A1 (en) * 1996-05-28 1997-12-03 Matsushita Electric Industrial Co., Ltd. Lane detection sensor and navigation system employing the same
CN101135558A (zh) * 2007-09-28 2008-03-05 深圳先进技术研究院 一种基于机器视觉的汽车防撞预警方法及装置
CN201427553Y (zh) * 2009-06-26 2010-03-24 长安大学 一种车辆偏离车道报警系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
CN104200192B (zh) * 2013-01-18 2017-11-17 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
CN103213579B (zh) * 2013-04-07 2015-08-19 杭州电子科技大学 一种相机参数和车辆系统无关的车道偏离提前预警方法
CN103213579A (zh) * 2013-04-07 2013-07-24 杭州电子科技大学 一种相机参数和车辆系统无关的车道偏离提前预警方法
CN104567890A (zh) * 2014-11-24 2015-04-29 朱今兰 一种智能车辆导航辅助系统
CN108136952B (zh) * 2015-10-21 2021-06-18 福特全球技术公司 利用无线信号的边界检测系统
CN108136952A (zh) * 2015-10-21 2018-06-08 福特全球技术公司 利用无线信号的边界检测系统
CN105354559A (zh) * 2015-11-24 2016-02-24 厦门雅迅网络股份有限公司 一种对车前图像检测车道直线的方法
CN107392080A (zh) * 2016-05-17 2017-11-24 纬创资通股份有限公司 影像评估方法以及其电子装置
CN106250816A (zh) * 2016-07-19 2016-12-21 武汉依迅电子信息技术有限公司 一种基于双摄像头的车道线识别方法及系统
CN110214106B (zh) * 2017-02-13 2022-07-22 维宁尔瑞典公司 可操作用于确定车道的一部分的位置的装置
CN110214106A (zh) * 2017-02-13 2019-09-06 维宁尔瑞典公司 可操作用于确定车道的一部分的位置的装置
CN107719361A (zh) * 2017-10-10 2018-02-23 深圳市豪恩汽车电子装备股份有限公司 基于图像视觉的自动泊车辅助方法及系统
CN111656775A (zh) * 2018-01-25 2020-09-11 歌乐株式会社 显示控制装置以及显示系统
US11450040B2 (en) 2018-01-25 2022-09-20 Clarion Co., Ltd. Display control device and display system
CN111656775B (zh) * 2018-01-25 2022-04-29 歌乐株式会社 显示控制装置以及显示系统
CN109883432A (zh) * 2019-02-21 2019-06-14 百度在线网络技术(北京)有限公司 位置确定方法、装置、设备及计算机可读存储介质
CN109883432B (zh) * 2019-02-21 2020-12-29 百度在线网络技术(北京)有限公司 位置确定方法、装置、设备及计算机可读存储介质
CN110428660A (zh) * 2019-08-12 2019-11-08 中车株洲电力机车研究所有限公司 一种自导向车辆线路运行方向的识别及控制方法、装置、系统以及计算机可读存储介质
CN112991790A (zh) * 2019-12-02 2021-06-18 宇龙计算机通信科技(深圳)有限公司 提示用户的方法、装置、电子设备及介质
CN112991790B (zh) * 2019-12-02 2022-06-07 宇龙计算机通信科技(深圳)有限公司 提示用户的方法、装置、电子设备及介质
CN112232330A (zh) * 2020-12-17 2021-01-15 中智行科技有限公司 车道连接线生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN101984478B (zh) 2012-08-08

Similar Documents

Publication Publication Date Title
CN101984478B (zh) 基于双目视觉车道线检测的非正常s型驾驶预警方法
CN104008645B (zh) 一种适用于城市道路车道线预测及预警方法
US8976040B2 (en) Intelligent driver assist system based on multimodal sensor fusion
CN108281041A (zh) 一种基于超声波和视觉传感器相融合的泊车车位检测方法
CN101135558B (zh) 一种基于机器视觉的汽车防撞预警方法及装置
CN105303830A (zh) 一种驾驶行为分析系统及分析方法
CN105620489A (zh) 驾驶辅助系统及车辆实时预警提醒方法
CN102910126B (zh) 一种辅助车辆安全变更车道的方法及系统
CN105512623A (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
CN104129389A (zh) 一种有效判别车辆行驶状态的方法及其装置
WO2018058958A1 (zh) 一种道路车辆交通告警系统及其方法
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN107449440A (zh) 行车提示信息的显示方法及显示装置
CN102616241A (zh) 基于车道线模型检测方法和在线学习方法的车道偏离报警系统
CN107953827A (zh) 一种车辆盲区预警方法及装置
CN110532976A (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN110126730A (zh) 车辆变道提醒方法及系统
CN104742912A (zh) 车道偏移检测方法和装置
CN104210488A (zh) 防止车辆与路沿碰撞的方法及装置
CN104299400A (zh) 车辆周围环境监测系统
CN108346316A (zh) 一种基于车道线检测的智能违章防控系统
CN107097794B (zh) 道路车道线的侦测系统及其方法
JP2008285015A (ja) 運転タイプ判別装置、プログラム、及び運転支援装置
CN103895512A (zh) 一种行车安全警示方法及其系统
CN109849924B (zh) 弯道速度预警方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant