CN103310006A - 一种车辆辅助驾驶系统中的感兴趣区域提取方法 - Google Patents
一种车辆辅助驾驶系统中的感兴趣区域提取方法 Download PDFInfo
- Publication number
- CN103310006A CN103310006A CN2013102689404A CN201310268940A CN103310006A CN 103310006 A CN103310006 A CN 103310006A CN 2013102689404 A CN2013102689404 A CN 2013102689404A CN 201310268940 A CN201310268940 A CN 201310268940A CN 103310006 A CN103310006 A CN 103310006A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- variable
- area
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提供一种易于实现的基于灰度跃变的车辆辅助驾驶系统中的感兴趣区域提取方法，包括：对图像进行灰度处理；从图像顶端向下寻找图像中两相邻行的灰度值的差值绝对值大于等于跃变门限值的作为分割图像中感兴趣区域的水平线；提取水平线以下的图像作为感兴趣区域。本发明通过找到灰度跃变像素行来去除大块无用区域，易于实现。
Description
技术领域
本方法涉及数字图像处理技术领域。
背景技术
基于视觉的车辆辅助驾驶系统一般通过摄像头采集得到路况图像，然后以路况图像作为信息来源，进行各种处理以提供各种辅助驾驶信息。然而，即使是通过单目光学摄像头摄取得到的图像，也包含了庞大的数据量，而其中的很多数据对处理过程和结果来说都是冗余的或是完全不必要的，甚至会严重影响输出信息的准确性或稳健性，此外，对冗余数据的处理显然会造成不必要的耗时，从而影响整个系统的实时性性能。感兴趣区域(Regions of Interest,ROI)是指图像中最能反映图像应用目标的区域，其中包含了使用者最感兴趣的内容。所以，如能提取得到感兴趣区域，再进行其它处理，将能够极大程度地消减以上提及的诸多缺陷。对于车辆辅助驾驶系统而言，感兴趣区域即为图像中车道与车道线部分。
目前获得车道检测感兴趣区域（ROI）的方法主要有下列3类：
1、基于初始检测结果的ROI提取方法
根据已经检测出来的车道线，定义一个小区域只包含了一条车道线的一部分，将此小区域坐标作为样本信息输入卡尔曼滤波器从而预测下一个包含本条车道线的小区域，本方法将感兴趣区域从包含所有车道线缩小到只包含一条车道线的某一部分，提高了车道线检测精度。本方法可参见文献：余厚云，张为公．基于动态感兴趣区域的车道线识别与跟踪[J].工业仪表与自动化装置，2009,5:029．
2、基于拐点的ROI提取方法
图像在内容上发生变化的区域是重要的区域。而拐点是点的几何关系发生变化的地方，是图像的重要部分，因此，可以利用拐点提取图像的感兴趣区域。本方法可参见文献：SchmidC,Mohr R.Local grayvalue invariants for image retrieval[J].Pattern Analysis and MachineIntelligence,IEEE Transactions on,1997,19(5):530-535.
3、基于视觉注意的ROI提取方法
人类视觉系统处理较为复杂的场景时，会将其视觉注意力集中于该场景的少数几个对象，并将这些对象优先处理，力求在最短时间获取场景中的主要信息，此过程称为视觉注意过程由于人是图像信息的最终受用者，因此一个好的ROI检测结果应该符合人的认知。认知心理学家提出了许多视觉注意的数学模型来模拟人的注视点的转换过程。这些模型可以分为两大类：自底向上的(BottomUp)模型和自顶向下的(Top-Down)模型。比较具有代表性的注意模型有Itti等提出的显著图(SaliencyMap)模型。本方法可参见文献：陈再良．图像感兴趣区域提取方法研究[D]．中南大学，2012．
以上三类ROI提取方法中,第1类方法需要以计算出车道线为前提,对于路况场景变化较频繁的情况，因为车道线在路况图像中所在区域可能发生变化，所以无法保证准确性；第2类方法方法通过计算感兴趣的点集自相关函数和特征向量来限定感兴趣区域范围，计算复杂度较高；而第3类方法引入视觉注意模型，需要将观察者的查询意图以及对图像的理解转换为显著图权重的方式，即通过对低层特征加以相应权重来影响显著图的求解，从而得到ROI，此类方法同样具有较高的计算复杂度。
发明内容
本发明所要解决的技术问题是，提供一种易于实现的基于灰度跃变的车辆辅助驾驶系统感兴趣区域提取方法。
本发明为解决上述技术问题所采样的技术方案是，一种车辆辅助驾驶系统中的感兴趣区域提取方法，包括：
对图像进行灰度处理；
从图像顶端向下寻找图像中两相邻行的灰度值的差值绝对值大于等于跃变门限值的作为分割图像中感兴趣区域的水平线；
提取水平线以下的图像作为感兴趣区域。
通过观察路况图像内各类场景的层次布局特性和显见程度，可粗略地把路况图像分为三大区域：车道区域、两旁背景区域和上方天空区域。一般情况下，两旁背景区域由于行人、建筑物、树木等复杂因素的存在，且又随着车辆的移动而频繁变化，所以边缘、颜色及纹理特征最为复杂；上方天空区域的视觉特征则简单许多，通常仅发生小范围的明暗变化及相对很小的边缘变化，以及由于云层、雨雾及空气粉尘的存在导致的色调变化，而对黄昏或夜间环境，这些特征的变化尤为微弱。
对于黄昏、夜间或云雾天气等暗光条件下的路况图像，天空区域光线黯淡，灰度值很小且较少变化，而当我们把视角逐渐过渡到两旁背景区域或车道区域时，由于路灯、车灯以及两旁各种建筑灯饰的存在，灰度值便骤然变大。
对于白天环境，如果天空区域可见，则相对于两旁背景区域和车道区域，天空区域较为明亮，灰度值大且变化很小；如果天空区域不可见，如浓密丛林或隧道公路环境，则路况图像的灰度变化与上述暗光条件下的相似。
统计发现上方天空区域与其它两类场景之间在灰度值上的区分度相当可观，而前景区域（车道区域）与背景区域也通常会出现区分度较大的分层布局特性。因此，本发明提出一种纵向灰度跃变搜索法用于检测水平线，根据车道区域位置先验信息得到水平线的位置信息从而得到车道检测的感兴趣区域。
本发明的有益效果是，通过有效找到灰度跃变像素行来去除大块无用区域，易于实现。
附图说明
图1为路况图像场景层次布局示意图；
图2为各种路况场景灰度图；
图3为实际检测结果图。
具体实施方式
很多水平线检测方法将水平线和消失点特征绑定起来，必须以消失点的确切位置去限定水平线的位置参数。而感兴趣区域提取的最重要目的是忽略冗余图像区域以降低处理时间，并降低冗余图像区域内各种杂散的背景对象对目标特征检测的造成的干扰。所以，本发明在提取水平线特征时，仅从感兴趣区域提取的目的出发，利用路况图像中的场景布局特性进行水平线的检测，而并不显性地依赖消失点的位置参数。
本发明提出一种检测水平线的方法通过纵向灰度跃变搜索，即利用前景与背景对象的灰度对比度信息去搜索场景对象之间的“分界线”：在一幅已灰度化的路况图像中，从最顶端开始，依次累加图像数据的每一行像素灰度值，然后向下对尚未处理的每一行执行同样的操作，然后根据累加结果进行极值搜索来获取感兴趣区域的水平线；提取水平线以下的图像作为感兴趣区域。从顶端向下搜素较从低端向上搜素能够更好地保证最终感兴趣区域中车道的完整性。
设灰度化后的图像数据为m*n维矩阵，并设一个跃变门限值Ts。在实际操作中，无需从严格数学意义上去求纵向灰度统计形成的极值，可以通过两种方法去搜索灰度累加值的跃变：
（1）统计出每一行的灰度累加值，并依次存储于一个m维的向量中，再从这个向量中图像最顶端对应元素开始向下计算两两相邻元素值的差值绝对值，如果差值绝对值大于或等于Ts，则我们认为找到了水平线的位置，以当前处理元素值对应的图像行作为水平线所在的行；
（2）设定两个累加值变量a1,a2,从这个图像最顶端的一行开始向下计算灰度累加值，变量a2存储当前行累加值，变量a1存储上一行累计值，每当计算出累加值新值后，将a2的旧值转存于a1中，新值存储于a2中，然后计算a2与a1的差值绝对值，如果差值绝对值大于等于Ts，则我们认为找到了水平线的位置，以当前处理元素值对应的图像行作为水平线所在的行。
本发明的水平线搜索方法的准确性很大程度上都依赖于灰度跃变门限Ts的选取。通过申请人实验发现，各类复杂光照条件下的灰度跃变值恰恰有一个交集，实现时中可以根据实际成像设备特性等实际情况调整设置跃变门限Ts的取值。实测效果表明，通过这种方法能够有效找到灰度跃变像素行，从而去除大块车道线特征检测与识别的无用区域，而且易于理解和实现。
在Windows环境下，利用Matlab R2011b实现了本文提出的方法，取得了检测结果如下：
实验采用了三类路况环境，如图2所示，从上到下分别为以下三类：
（1）背景对象下的阴影路面环境，图像尺寸为480x360；
（2）雨后的路面环境，图像尺寸为480x360；
（3）夜间路面环境，图像尺寸为640x360。
在对三类路况环境的实验中，本实施例设定的灰度跃变门限均为Ts=2200。可根据其它路况环境对所需灰度跃变门限进行调整，比如因场景对象、光照条件及成像设备特性而异。水平线的搜素结果如图3所示。
通过实验输出图像我们可以看到，纵向灰度跃变搜索法能够有效检测出一条水平线，从而可以划定一个正确的感兴趣区域。另外，因为感兴趣区域的提取剔除了较多背景干扰信息，所以相较于对图像全部区域进行特征检测，用纵向灰度跃变搜索法进行感兴趣区域提取后能够提高车道线的识别精度；实际上，车载前视摄像头采集得到的路况图像中，通常都有很大一块区域不存在结构化的车道线或非结构化车道的边界线，所以我们无需在这块区域上搜索前景目标。
此外，由于本方法根据路况图像外观信息和路况场景层次来提取ROI，即使车辆行驶的路况环境激烈变化，通过本方法仍能得到正确的车道检测的动态ROI。
Claims (3)
1.一种车辆辅助驾驶系统中的感兴趣区域提取方法，其特征在于，包括以下步骤：
a、对图像进行灰度处理；
b、从图像顶端向下寻找图像中两相邻行的累加灰度值的差值绝对值大于等于跃变门限值的作为分割图像中感兴趣区域的水平线；
c、提取水平线以下的图像部分作为感兴趣区域。
2.如权利要求1所述一种车辆辅助驾驶系统中的感兴趣区域提取方法，其特征在于，步骤b的具体方法是：
统计出图像中每一行的灰度累加值，并依次存储于一个m维的向量中，其中m为图像的行数，再从所述向量中图像最顶端对应元素开始向下计算两两相邻元素值的差值绝对值，当差值绝对值大于或等于跃变门限值，则以当前处理元素值对应的图像行作为水平线所在的行。
3.如权利要求1所述一种车辆辅助驾驶系统中的感兴趣区域提取方法，其特征在于，步骤b的具体方法是：
设定两个累加值变量a1,a2,从这个图像最顶端的一行开始向下计算各行灰度累加值，变量a2存储当前行累加值，变量a1存储上一行累计值，计算变量a2与变量a1的差值绝对值，当差值绝对值大于等于跃变门限值，则以当前处理元素值对应的图像行作为水平线所在的行；每当计算出累加值新值后，将变量a2的旧值转存于变量a1中，新值存储于变量a2中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310268940.4A CN103310006B (zh) | 2013-06-28 | 2013-06-28 | 一种车辆辅助驾驶系统中的感兴趣区域提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310268940.4A CN103310006B (zh) | 2013-06-28 | 2013-06-28 | 一种车辆辅助驾驶系统中的感兴趣区域提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103310006A true CN103310006A (zh) | 2013-09-18 |
| CN103310006B CN103310006B (zh) | 2016-06-29 |
Family
ID=49135224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310268940.4A Active CN103310006B (zh) | 2013-06-28 | 2013-06-28 | 一种车辆辅助驾驶系统中的感兴趣区域提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103310006B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751138A (zh) * | 2015-03-27 | 2015-07-01 | 东华大学 | 一种车载红外图像彩色化辅助驾驶系统 |
| CN104899898A (zh) * | 2015-05-28 | 2015-09-09 | 华南理工大学 | 基于多维信息概率模型的路面检测方法 |
| CN105117495A (zh) * | 2015-09-24 | 2015-12-02 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN107610100A (zh) * | 2017-08-24 | 2018-01-19 | 苏州大学 | 一种有轨电车轨道起点的自适应检测方法及装置 |
| CN107895151A (zh) * | 2017-11-23 | 2018-04-10 | 长安大学 | 一种强光照条件下基于机器视觉的车道线检测方法 |
| CN109703460A (zh) * | 2019-01-11 | 2019-05-03 | 合肥思艾汽车科技有限公司 | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 |
| CN111832347A (zh) * | 2019-04-17 | 2020-10-27 | 北京地平线机器人技术研发有限公司 | 动态选取感兴趣区域的方法及装置 |
| CN112428989A (zh) * | 2020-10-30 | 2021-03-02 | 惠州华阳通用电子有限公司 | 一种车辆控制方法 |
| CN112989956A (zh) * | 2021-02-20 | 2021-06-18 | 潍柴动力股份有限公司 | 基于感兴趣区域的红绿灯识别方法、系统及存储介质 |
| CN113396579A (zh) * | 2019-02-21 | 2021-09-14 | 索尼半导体解决方案公司 | 事件信号检测传感器和控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5706355A (en) * | 1991-03-22 | 1998-01-06 | Thomson-Csf | Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles |
| CN101727666A (zh) * | 2008-11-03 | 2010-06-09 | 深圳迈瑞生物医疗电子股份有限公司 | 图像分割方法及装置、图像倒置判断及胸片前后区分方法 |
| CN102436644A (zh) * | 2011-11-02 | 2012-05-02 | 南京物联网研究院发展有限公司 | 基于自适应边缘配准的非结构化道路检测方法 |
| CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
-
2013
- 2013-06-28 CN CN201310268940.4A patent/CN103310006B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5706355A (en) * | 1991-03-22 | 1998-01-06 | Thomson-Csf | Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles |
| CN101727666A (zh) * | 2008-11-03 | 2010-06-09 | 深圳迈瑞生物医疗电子股份有限公司 | 图像分割方法及装置、图像倒置判断及胸片前后区分方法 |
| CN102436644A (zh) * | 2011-11-02 | 2012-05-02 | 南京物联网研究院发展有限公司 | 基于自适应边缘配准的非结构化道路检测方法 |
| CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 卢卫娜: "车辆视觉导航方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751138B (zh) * | 2015-03-27 | 2018-02-23 | 东华大学 | 一种车载红外图像彩色化辅助驾驶系统 |
| CN104751138A (zh) * | 2015-03-27 | 2015-07-01 | 东华大学 | 一种车载红外图像彩色化辅助驾驶系统 |
| CN104899898A (zh) * | 2015-05-28 | 2015-09-09 | 华南理工大学 | 基于多维信息概率模型的路面检测方法 |
| CN104899898B (zh) * | 2015-05-28 | 2018-01-05 | 华南理工大学 | 基于多维信息概率模型的路面检测方法 |
| CN105117495A (zh) * | 2015-09-24 | 2015-12-02 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN105117495B (zh) * | 2015-09-24 | 2018-12-14 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN107610100B (zh) * | 2017-08-24 | 2020-04-28 | 苏州大学 | 一种有轨电车轨道起点的自适应检测方法及装置 |
| CN107610100A (zh) * | 2017-08-24 | 2018-01-19 | 苏州大学 | 一种有轨电车轨道起点的自适应检测方法及装置 |
| CN107895151A (zh) * | 2017-11-23 | 2018-04-10 | 长安大学 | 一种强光照条件下基于机器视觉的车道线检测方法 |
| CN109703460A (zh) * | 2019-01-11 | 2019-05-03 | 合肥思艾汽车科技有限公司 | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 |
| CN109703460B (zh) * | 2019-01-11 | 2021-01-12 | 合肥思艾汽车科技有限公司 | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 |
| CN113396579A (zh) * | 2019-02-21 | 2021-09-14 | 索尼半导体解决方案公司 | 事件信号检测传感器和控制方法 |
| CN113396579B (zh) * | 2019-02-21 | 2024-04-26 | 索尼半导体解决方案公司 | 事件信号检测传感器和控制方法 |
| CN111832347A (zh) * | 2019-04-17 | 2020-10-27 | 北京地平线机器人技术研发有限公司 | 动态选取感兴趣区域的方法及装置 |
| CN111832347B (zh) * | 2019-04-17 | 2024-03-19 | 北京地平线机器人技术研发有限公司 | 动态选取感兴趣区域的方法及装置 |
| CN112428989A (zh) * | 2020-10-30 | 2021-03-02 | 惠州华阳通用电子有限公司 | 一种车辆控制方法 |
| CN112428989B (zh) * | 2020-10-30 | 2022-03-11 | 惠州华阳通用电子有限公司 | 一种车辆控制方法 |
| CN112989956A (zh) * | 2021-02-20 | 2021-06-18 | 潍柴动力股份有限公司 | 基于感兴趣区域的红绿灯识别方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103310006B (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103310006A (zh) | 一种车辆辅助驾驶系统中的感兴趣区域提取方法 | |
| CN105160309B (zh) | 基于图像形态学分割及区域生长的三车道检测方法 | |
| Philipsen et al. | Traffic light detection: A learning algorithm and evaluations on challenging dataset | |
| CN102637257B (zh) | 一种基于视频的交通车辆检测识别系统和方法 | |
| CN100495438C (zh) | 一种基于视频监控的运动目标检测与识别方法 | |
| CN102289686B (zh) | 一种基于迁移学习的运动目标分类识别方法 | |
| CN110647850A (zh) | 一种基于逆透视原理的车道偏移自动测量方法 | |
| CN202563526U (zh) | 一种基于视频的交通车辆检测识别系统 | |
| Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
| CN107169985A (zh) | 一种基于对称帧间差分和背景更新的运动目标检测方法 | |
| CN105260712A (zh) | 一种车辆前方行人检测方法及系统 | |
| CN105427626A (zh) | 一种基于视频分析的车流量统计方法 | |
| CN103902985B (zh) | 一种基于roi的强鲁棒性实时车道侦测算法 | |
| CN102855758A (zh) | 一种违章车辆检测方法 | |
| CN102819841B (zh) | 用于目标图像分割的全局阈值分割方法 | |
| CN105046206A (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
| Liu et al. | ROI perspective transform based road marking detection and recognition | |
| CN104615986A (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN107704833A (zh) | 一种基于机器学习的前方车辆检测与跟踪方法 | |
| Chen et al. | Robust and real-time traffic light recognition based on hierarchical vision architecture | |
| CN103021183A (zh) | 一种监控场景中违章机动车检测方法 | |
| Zang et al. | Traffic lane detection using fully convolutional neural network | |
| CN108491828B (zh) | 一种基于层次的成对相似性PVAnet的停车位检测系统及方法 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN103050008A (zh) | 夜间复杂交通视频中车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210520 Address after: No.3, 11th floor, building 6, no.599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610041 Patentee after: Houpu clean energy Co.,Ltd. Address before: 611731, No. 2006, West Avenue, Chengdu hi tech Zone (West District, Sichuan) Patentee before: University of Electronic Science and Technology of China |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No.3, 11th floor, building 6, no.599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610041 Patentee after: Houpu clean energy (Group) Co.,Ltd. Address before: No.3, 11th floor, building 6, no.599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610041 Patentee before: Houpu clean energy Co.,Ltd. |