CN106128115B - 一种基于双摄像机检测道路交通信息的融合方法 - Google Patents
一种基于双摄像机检测道路交通信息的融合方法 Download PDFInfo
- Publication number
- CN106128115B CN106128115B CN201610628279.7A CN201610628279A CN106128115B CN 106128115 B CN106128115 B CN 106128115B CN 201610628279 A CN201610628279 A CN 201610628279A CN 106128115 B CN106128115 B CN 106128115B
- Authority
- CN
- China
- Prior art keywords
- image
- video camera
- traffic lights
- lane line
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 241000283070 Equus zebra Species 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000007812 deficiency Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000005452 bending Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000011895 specific detection Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000736199 Paeonia Species 0.000 description 1
- 235000006484 Paeonia officinalis Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于道路交通信息检测技术领域，涉及一种基于双摄像机检测道路交通信息的融合方法，通过双摄像机获取智能车辆前方车道线、斑马线、车辆以及红绿灯等关键道路交通信息，采用改进的检测算法对车道线、斑马线进行检测，并采用5帧循环检测提升单摄像机功能，根据设定的逻辑规则判定系统在不同状态下需要获取的特征，逻辑检测识别相应的特征，提高系统的响应速度，为智能车辆横向和纵向控制提供关键信息，给智能车辆在城市道路中正常行驶奠定基础，当遇到紧急情况时，获取更多的信息进行分析决策，弥补单一摄像机获取数据的不足。
Description
技术领域：
本发明属于道路交通信息检测技术领域，涉及一种基于双摄像机检测道路交通信息的融合方法，采用双摄像机对车辆前方车道线和斑马线进行检测，对前方车辆以及红绿灯进行识别。
背景技术：
智能车辆是一个综合系统，包括环境感知、规划决策和多种辅助驾驶功能。它综合运用了传感器、通信、人工智能和自动控制等技术，成为现代先进技术的演练场。随着计算机视觉技术在智能车辆中得到广泛应用，基于视觉的智能车辆周围环境感知技术也在不断发展，并成为智能车辆研究的热点。
智能车辆周围环境感知技术主要包括道路线的检测、斑马线检测、前方车辆识别、行人识别以及红绿灯识别等。基于视觉传感器的单一特征检测算法目前已经有了丰富的研究基础，鲁棒性和实时性都很强，在汽车辅助驾驶系统中得到广泛应用。基于梯度增强和逆透视验证的车道线检测，基于最大稳定区域和随机采样的斑马线检测方法，基于Harr-like训练的车辆和红绿灯识别方法，存在准确性不高，鲁棒性不强等缺点。
发明内容：
本发明的目的在于克服现有技术存在的缺点，寻求设计提供一种基于双摄像机检测道路交通信息的融合方法，采用双摄像机对车辆前方车道线和斑马线进行检测，对前方车辆以及红绿灯进行识别，并应用逻辑判别方法进行信息融合，获取车前环境主要特征。
为了实现上述目的，本发明采用智能车辆环境感知技术，利用双摄像机检测道路交通信息，其具体过程为：
(1)确定第一摄像机和第二摄像机的安装高度均为1.05m，将视角范围为30°的第一摄像机和第二摄像机分别安装在车辆前方支架横向距离的1/3和2/3处，根据车道线、斑马线、红绿灯和前方车辆的位置确定两台摄像机的纵横向安装位置及角度；
(2)第一摄像机检测4帧车道线再检测1帧斑马线，进行5帧循环检测；第二摄像机进行车辆和红绿灯循环识别，当第二摄像机识别出红绿灯时，第一摄像机下一帧图像进行斑马线的检测，如果没有检测到斑马线，第二摄像机再次进行红绿灯识别，如果两次都识别出红绿灯，说明车辆前方处于交叉口；
(3)当第二摄像机识别出前方车辆时，第一摄像机只进行车道线的检测，第二摄像机不识别红绿灯，判断前方车辆的行为，并跟随车辆运行；
(4)当第一摄像机检测出斑马线时，第二摄像机只进行红绿灯的识别判定，若第二摄像机没有检测到红绿灯，则第一摄像机进行下一帧斑马线的判定，第二摄像机进行红绿灯的判定，如果第一摄像机检测出斑马线，第二摄像机没有检测出红绿灯表明此时前方是人行横道；如果第一摄像机检测出斑马线，第二摄像机识别出红绿灯，表明前方是交叉口，实现道路交通信息的检测。
本发明所述智能车辆环境感知技术，运用传感器融合技术来获得车辆周围环境的有用信息，传感器将外界的各种信号转化成计算机能够识别的电信号，包括环境感知模块、分析模块和控制模块，环境感知模块需要双摄像机输入相应信息，分析模块获取环境特征，控制模块模拟驾驶员的行为，紧急情况弥补驾驶员行为的不足。
本发明所述车辆前方支架由一个横向支架放置在两个竖向支架上构成，横向支架和竖向支架的长度根据实际需要确定。
本发明第一摄像机检测车道线时，采用改进的Hough变换检测车道线，检测速度为10帧/秒，一帧图像检测出的车道线长度至少为2.5米，完全满足城市道路实时检测车道线的需求，具体检测过程为：
(1)第一摄像机获取图像的像素矩阵为m行n列矩阵，定义图像的左上角为(0,0)，并对图像进行预处理；
(2)从图像的m/2行向下逐行扫描，当检测到白点时(像素值为255)进行计数，将白点坐标存储在寄存器中，直至扫描到m行；
(3)将直角坐标下检测出的白点转换到极坐标下，在极坐标系下这些白点都是一条条直线，计算直线在极坐标下通过各个点的数量，并将它们存放在存储器中，判断存储器中数据的最大值和次大值，最大值和次大值就是直角坐标系中经过两条特定直线的白点数目。如果直线在直角坐标系40°-60°范围内，并且白点数目大于30，在40°-60°内拟合出一条左车道线；如果直线在直角坐标系130°-150°范围内，并且白点数目大于30，在130°-150°内拟合出一条右车道线；
(4)通过左右车道线角度的判定，得到左右车道线最下方起始点(a,b)和(c,d)，并获得相应的角度值分别为α1和α2，(x，y)为道路消失点；
(5)当左右车道线检测不完整时：
①α1＝0|α2＝0时，即没有检测出左车道线或右车道线或者左右车道线都没有检测出时，若只检测出一条车道线，控制车辆中心线与左右车道线距离相等，相互平行；当左右车道线都没有检测出来时，令车辆停止前进；
②40°<α1<60°或130°<α2<150°时，根据(3)中检测出的直线，确定(a,b)和(c,d)的坐标以及左右车道线的角度α1和α2；
(6)分别求出(a,b)和(c,d)的坐标、偏离角度α1和α2，列出左右车道线的直线方程，求出交点坐标(x，y)，由此能延伸车道线长度，继而通过检测判定车道线的弯曲方向。
本发明检测斑马线时通过第一摄像机实时采集道路周围视频图像，然后对采集的视频图像进行分析处理，从而做出预警和提示，包括角点检测、角度判定、灰度直方图判定和斑马线区域面积判定四个过程：首先对图像进行预处理，将图像转换为灰度图像，基于灰度图像的角点检测是将角点定义在图像的像素点内，将周围邻域内的像素点灰度值与该点灰度值进行比较，如果灰度值大于或者小于30，则证明此处存在角点，并获取角点坐标；角度判定是计算两条直线夹角的余弦值进行矩形的判定，根据斑马线在图像中的特征，计算检测到矩形的数量，当矩形数量大于4个时，证明存在斑马线；对图像进行灰度处理，根据图像的灰度直方图判定可能存在斑马线的区域，根据所确定的区域进行矩形面积的判定，设定图像中矩形大于1000像素并且小于4000像素为斑马线矩形区域，通过以上步骤，最终确定图像中是否存在斑马线。
本发明采用第二摄像机识别前方车辆和红绿灯，判断前方是否有车辆和红绿灯，为智能车辆的纵向控制提供依据，前方车辆识别时，采用现有的Haar特征训练分类器进行车辆识别，先车辆图像训练需要经过正负样本的选取、生成样本文件和训练样本三步，最后进行车辆目标识别，其中正样本指只包含待识别的物体的图片，负样本指不包含待识别物体的任何图片；红绿灯识别时，先获取红绿灯图像，对图像进行区域划分、灰度化和平滑滤波等预处理后，统计像素颜色特性判断红绿灯所在区域，在红绿灯区域内具体判断出红绿灯的颜色，通过定位红绿灯位置，将第二摄像机获取的图像由RGB空间转换到HSV空间，通过对图像的色调H、图像的饱和度S、图像的亮度V分量分别进行判断，得出当前红绿灯颜色。
本发明与现有技术相比，通过双摄像机获取智能车辆前方车道线、斑马线、车辆以及红绿灯等关键道路交通信息，采用改进的检测算法对车道线、斑马线进行检测，并采用5帧循环检测提升单摄像机功能，根据设定的逻辑规则判定系统在不同状态下需要获取的特征，逻辑检测识别相应的特征，提高系统的响应速度，为智能车辆横向和纵向控制提供关键信息，给智能车辆在城市道路中正常行驶奠定基础，当遇到紧急情况时，获取更多的信息进行分析决策，弥补单一摄像机获取数据的不足。
附图说明：
图1为本发明实施例的车辆前方支架和摄像机安装示意图。
图2为本发明的工作原理示意框图。
图3为本发明实施例车道线对应的坐标值与角度值。
图4为本发明实施例所述斑马线(a)及其灰度直方图(b)。
图5为本发明实施例所述斑马线检测效果图。
图6为本发明实施例识别前方车辆和红绿灯的工作流程示意框图。
图7为本发明实施例采用现有的Haar特征训练分类器对车辆样本Harr-like特征提取图。
图8为本发明实施例的车辆识别效果图。
图9为本发明实施例所述HSV色彩空间图。
图10为本发明实施例的红绿灯判定流程图。
具体实施方式：
下面通过实施例并结合附图对本发明作进一步说明。
实施例：
本实施例采用智能车辆环境感知技术，利用双摄像机检测道路交通信息，其具体过程为：
(1)确定两台摄像机的安装高度为1.05m，将视角范围为30°的两台摄像机分别安装在自主设计的电动车前方支架横向距离的1/3和2/3处，如图1所示，根据车道线、斑马线、红绿灯和前方车辆的位置确定两台摄像机的纵横向安装位置及角度，安装在电动车前方支架横向距离1/3处的第一摄像机1检测车道线和斑马线，其光轴线在水平线之下，与水平线夹角为10°；安装在电动车前方支架横向距离2/3处的第二摄像机2识别前方车辆和红绿灯，其光轴线在水平线之上，与水平线夹角为10°；
(2)第一摄像机1检测4帧车道线再检测1帧斑马线，进行5帧循环检测；第二摄像机2进行车辆和红绿灯循环识别，当第二摄像机2识别出红绿灯时，第一摄像机1下一帧图像进行斑马线的检测，如果没有检测到斑马线，第二摄像机2再次进行红绿灯识别，如果两次都识别出红绿灯，说明车辆前方处于交叉口；
(3)当第二摄像机2识别出前方车辆时，第一摄像机1只进行车道线的检测，第二摄像机2不识别红绿灯，判断前方车辆的行为，并跟随车辆运行；
(4)当第一摄像机1检测出斑马线时，第二摄像机2只进行红绿灯的识别判定，若第二摄像机2没有检测到红绿灯，则第一摄像机1进行下一帧斑马线的判定，第二摄像机2进行红绿灯的判定，如果第一摄像机1检测出斑马线，第二摄像机2没有检测出红绿灯表明此时前方是人行横道；如果第一摄像机1检测出斑马线，第二摄像机2识别出红绿灯，表明前方是交叉口，实现道路交通信息的检测，如图2所示。
本实施例所述智能车辆环境感知技术，运用传感器融合技术来获得车辆周围环境的有用信息，传感器将外界的各种信号转化成计算机能够识别的电信号，包括环境感知模块、分析模块和控制模块，环境感知模块需要双摄像机输入相应信息，分析模块获取环境特征，控制模块模拟驾驶员的行为，紧急情况弥补驾驶员行为的不足。
本实施例第一摄像机1检测车道线时，采用改进的Hough变换检测车道线，检测速度为10帧/秒，一帧图像检测出的车道线长度至少为2.5米，完全满足城市道路实时检测车道线的需求，具体检测过程为：
(1)第一摄像机获取图像的像素矩阵为m行n列矩阵，定义图像的左上角为(0,0)，并对图像进行预处理；
(2)从图像的m/2行向下逐行扫描，当检测到白点时(像素值为255)进行计数，将白点坐标存储在寄存器中，直至扫描到m行；
(3)将直角坐标下检测出的白点转换到极坐标下，在极坐标系下这些白点都是一条条直线，计算直线在极坐标下通过各个点的数量，并将它们存放在存储器中，判断存储器中数据的最大值和次大值，最大值和次大值就是直角坐标系中经过两条特定直线的白点数目。如果直线在直角坐标系40°-60°范围内，并且白点数目大于30，在40°-60°内拟合出一条左车道线；如果直线在直角坐标系130°-150°范围内，并且白点数目大于30，在130°-150°内拟合出一条右车道线；
(4)通过左右车道线角度的判定，得到左右车道线最下方起始点(a,b)和(c,d)，并获得相应的角度值分别为α1和α2，(x，y)为道路消失点，如图3所示；
(5)当左右车道线检测不完整时：
①α1＝0|α2＝0时，即没有检测出左车道线或右车道线或者左右车道线都没有检测出时，若只检测出一条车道线，控制车辆中心线与左右车道线距离相等，相互平行；当左右车道线都没有检测出来时，令车辆停止前进；
②40°<α1<60°或130°<α2<150°时，根据(3)中检测出的直线，确定(a,b)和(c,d)的坐标以及左右车道线的角度α1和α2；
(6)分别求出(a,b)和(c,d)的坐标、偏离角度α1和α2，列出左右车道线的直线方程，求出交点坐标(x，y)，假设k1和k2分别为：
y1＝k1(x1-a)+b (1)
y2＝k2(x2-c)+d (2)
当x1＝x2，y1＝y2由(1)和(2)可得：
y＝k1(x-a)+b (4)
由此能延伸车道线长度，继而通过检测判定车道线的弯曲方向。
本实施例检测斑马线时通过第一摄像机1实时采集道路周围视频图像，然后对采集的视频图像进行分析处理，从而做出预警和提示，包括角点检测、角度判定、灰度直方图判定和斑马线区域面积判定四个过程。
首先对图像进行预处理，将图像转换为灰度图像，基于灰度图像的角点检测是将角点定义在图像的像素点内，将周围邻域内的像素点灰度值与该点灰度值进行比较。如果灰度值大于或者小于30，则证明此处存在角点，并获取角点坐标，如图4所示。
角度判定是计算两条直线夹角的余弦值进行矩形的判定，假设其中三个角点坐标分别为p1(x1,y1)，p2(x2,y2)，p0(x0,y0)。
d1＝x1-x0 (5)
d2＝y1-y0 (6)
d3＝x2-x0 (7)
d4＝y2-y0 (8)
根据斑马线在图像中的特征，设定cosθ＜1.0，计算检测到矩形的数量，当矩形数量大于4个时，证明存在斑马线，如图5所示。
对图像进行灰度处理，根据图像的灰度直方图判定可能存在斑马线的区域，根据所确定的区域进行矩形面积的判定，设定图像中矩形大于1000像素并且小于4000像素为斑马线矩形区域。通过以上步骤，最终确定图像中是否存在斑马线。
本实施例采用第二摄像机2识别前方车辆和红绿灯，判断前方是否有车辆和红绿灯，为智能车辆的纵向控制提供依据，如图6所示。前方车辆识别时，采用现有的Haar特征训练分类器进行车辆识别，车辆图像训练需要经过正负样本的选取、生成样本文件和训练样本三步，最后进行车辆目标识别，其中正样本指只包含待识别的物体的图片，负样本指不包含待识别物体的任何图片，本实施例采用3种类型，共5种Harr-like特征组成特征模板，对车辆目标进行边缘和纹理特征描述，模板中包括2种边缘特征、2种线性特征和1种中心特征，如图7所示。
在某道路上拍摄相应视频，进行车流量及车型分析，确定对正负样本训练图像的选择，调查统计结果如表(1)所示：
:表1：车型比例调查
通过调查，确定大型车、中型车和小型车的比例在1:5:10左右，对正样本训练数量及比例进行调整，增强系统的识别效率，通过VC++平台开发软件进行前方车辆的动态识别，并进行准确率的判定，完成前方车辆的识别，检测效果如图8(a)、(b)、(c)、(d)所示；在正常城市道路环境下，光线充足，场景能见度高，车辆轮廓清晰，算法的识别正确率可以达到93.75％。根据前方车辆在图像中的大小，判断车辆的距离，进一步可以通过雷达等其他传感器辅助进行更精确的距离信息测量；红绿灯识别时，先获取红绿灯图像，对图像进行区域划分、灰度化和平滑滤波等预处理后，统计像素颜色特性判断红绿灯所在区域，在红绿灯区域内具体判断出红绿灯的颜色，通过定位红绿灯位置，将第二摄像机2获取的图像由RGB空间转换到HSV空间，通过对H、S、V分量分别进行判断，得出当前红绿灯颜色，HSV色彩空间如图9所示；H、S、V分别表示图像的色调、饱和度和亮度。由于受到光照条件、图像品质和图像背景等因素的影响，需要对各个分量的值进行设定，最后判断红绿灯的颜色，具体检测流程如图10所示；根据现实环境中的光照条件、图像品质和图像背景等因素取S>0.2，如果S过低图像就会是灰色；取0.1<V<0.6，V过低图像是黑色的，V过高图像是白色的。根据红绿灯的颜色给S取值，取红色范围0<S<50，黄色范围50<S<100，绿色范围170<S<220。
Claims (6)
1.一种基于双摄像机检测道路交通信息的融合方法，其特征在于采用智能车辆环境感知技术，利用双摄像机检测道路交通信息，其具体过程为：
(1)确定第一摄像机和第二摄像机的安装高度均为1.05m，将视角范围为30°的第一摄像机和第二摄像机分别安装在车辆前方支架横向距离的1/3和2/3处，根据车道线、斑马线、红绿灯和前方车辆的位置确定两台摄像机的纵横向安装位置及角度；
(2)第一摄像机检测4帧车道线再检测1帧斑马线，进行5帧循环检测；第二摄像机进行车辆和红绿灯循环识别，当第二摄像机识别出红绿灯时，第一摄像机下一帧图像进行斑马线的检测，如果没有检测到斑马线，第二摄像机再次进行红绿灯识别，如果两次都识别出红绿灯，说明车辆前方处于交叉口；
(3)当第二摄像机识别出前方车辆时，第一摄像机只进行车道线的检测，第二摄像机不识别红绿灯，判断前方车辆的行为，并跟随车辆运行；
(4)当第一摄像机检测出斑马线时，第二摄像机只进行红绿灯的识别判定，若第二摄像机没有检测到红绿灯，则第一摄像机进行下一帧斑马线的判定，第二摄像机进行红绿灯的判定，如果第一摄像机检测出斑马线，第二摄像机没有检测出红绿灯表明此时前方是人行横道；如果第一摄像机检测出斑马线，第二摄像机识别出红绿灯，表明前方是交叉口，实现道路交通信息的检测。
2.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于所述智能车辆环境感知技术，运用传感器融合技术来获得车辆周围环境的有用信息，传感器将外界的各种信号转化成计算机能够识别的电信号，包括环境感知模块、分析模块和控制模块，环境感知模块需要双摄像机输入相应信息，分析模块获取环境特征，控制模块模拟驾驶员的行为，紧急情况弥补驾驶员行为的不足。
3.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于所述车辆前方支架由一个横向支架放置在两个竖向支架上构成，横向支架和竖向支架的长度根据实际需要确定。
4.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于第一摄像机检测车道线时，采用改进的Hough变换检测车道线，检测速度为10帧/秒，一帧图像检测出的车道线长度至少为2.5米，完全满足城市道路实时检测车道线的需求，具体检测过程为：
步骤一：第一摄像机获取图像的像素矩阵为m行n列矩阵，定义图像的左上角为(0,0)，并对图像进行预处理；
步骤二：从图像的m/2行向下逐行扫描，当检测到白点时进行计数，将白点坐标存储在寄存器中，直至扫描到m行；
步骤三：将直角坐标下检测出的白点转换到极坐标下，在极坐标系下这些白点都是一条条直线，计算直线在极坐标下通过各个点的数量，并将它们存放在存储器中，判断存储器中数据的最大值和次大值，最大值和次大值就是直角坐标系中经过两条特定直线的白点数目；如果直线在直角坐标系40°-60°范围内，并且白点数目大于30，在40°-60°内拟合出一条左车道线；如果直线在直角坐标系130°-150°范围内，并且白点数目大于30，在130°-150°内拟合出一条右车道线；
步骤四：通过左右车道线角度的判定，得到左右车道线最下方起始点(a,b)和(c,d)，并获得相应的角度值分别为α1和α2，(x，y)为道路消失点；
(步骤五：当左右车道线检测不完整时：
①α1＝0|α2＝0时，即没有检测出左车道线或右车道线或者左右车道线都没有检测出，若只检测出一条车道线，控制车辆中心线与检测出的车道线平行并留有距离；当左右车道线都没有检测出来时，令车辆停止前进；
②40°<α1<60°或130°<α2<150°时，根据步骤三中检测出的直线，确定(a,b)和(c,d)的坐标以及左右车道线的角度α1和α2；
(6)分别求出(a,b)和(c,d)的坐标、偏离角度α1和α2，列出左右车道线的直线方程，求出交点坐标(x，y)，由此能延伸车道线长度，继而通过检测判定车道线的弯曲方向。
5.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于检测斑马线时通过第一摄像机实时采集道路周围视频图像，然后对采集的视频图像进行分析处理，从而做出预警和提示，包括角点检测、角度判定、灰度直方图判定和斑马线区域面积判定四个过程：首先对图像进行预处理，将图像转换为灰度图像，基于灰度图像的角点检测是将角点定义在图像的像素点内，将周围邻域内的像素点灰度值与该点灰度值进行比较，如果灰度值大于或者小于30，则证明此处存在角点，并获取角点坐标；角度判定是计算两条直线夹角的余弦值进行矩形的判定，根据斑马线在图像中的特征，计算检测到矩形的数量，当矩形数量大于4个时，证明存在斑马线；对图像进行灰度处理，根据图像的灰度直方图判定可能存在斑马线的区域，根据所确定的区域进行矩形面积的判定，设定图像中矩形大于1000像素并且小于4000像素为斑马线矩形区域，通过以上步骤，最终确定图像中是否存在斑马线。
6.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于采用第二摄像机识别前方车辆和红绿灯，判断前方是否有车辆和红绿灯，为智能车辆的纵向控制提供依据，前方车辆识别时，采用现有的Haar特征训练分类器进行车辆识别，车辆图像训练需要经过正负样本的选取、生成样本文件和训练样本三步，最后进行车辆目标识别，其中正样本指只包含待识别的物体的图片，负样本指不包含待识别物体的任何图片；红绿灯识别时，先获取红绿灯图像，对图像进行区域划分、灰度化和平滑滤波预处理后，统计像素颜色特性判断红绿灯所在区域，在红绿灯区域内具体判断出红绿灯的颜色，通过定位红绿灯位置，将第二摄像机获取的图像由RGB空间转换到HSV空间，通过对图像的色调H、图像的饱和度S、图像的亮度V分量分别进行判断，得出当前红绿灯颜色。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610628279.7A CN106128115B (zh) | 2016-08-01 | 2016-08-01 | 一种基于双摄像机检测道路交通信息的融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610628279.7A CN106128115B (zh) | 2016-08-01 | 2016-08-01 | 一种基于双摄像机检测道路交通信息的融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106128115A CN106128115A (zh) | 2016-11-16 |
| CN106128115B true CN106128115B (zh) | 2018-11-30 |
Family
ID=57254567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610628279.7A Expired - Fee Related CN106128115B (zh) | 2016-08-01 | 2016-08-01 | 一种基于双摄像机检测道路交通信息的融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106128115B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650730A (zh) * | 2016-12-14 | 2017-05-10 | 广东威创视讯科技股份有限公司 | 汽车变道过程中的转向灯检测方法和系统 |
| EP3563365A4 (en) * | 2017-01-02 | 2020-08-12 | Visteon Global Technologies, Inc. | USE OF VEHICLE SENSOR INFORMATION FOR DATA RECOVERY |
| CN107066985B (zh) * | 2017-04-21 | 2020-03-31 | 南京邮电大学 | 一种基于快速霍夫变换的路口斑马线检测方法 |
| CN107451566B (zh) * | 2017-08-02 | 2020-07-24 | 海信集团有限公司 | 车道线的显示方法、装置及计算机可读存储介质 |
| CN109426771A (zh) * | 2017-08-24 | 2019-03-05 | 日立汽车系统株式会社 | 对车辆周围的小物体区域进行识别的装置和方法 |
| CN109753841B (zh) * | 2017-11-01 | 2023-12-12 | 比亚迪股份有限公司 | 车道线识别方法和装置 |
| CN107918775B (zh) * | 2017-12-28 | 2020-04-17 | 聊城大学 | 一种辅助车辆安全驾驶的斑马线检测方法及系统 |
| CN108182430B (zh) * | 2018-02-27 | 2022-01-14 | 厦门蔚森智能科技有限公司 | 双区域车道线识别系统及方法 |
| CN109188932A (zh) * | 2018-08-22 | 2019-01-11 | 吉林大学 | 一种面向智能驾驶的多摄像头在环仿真测试方法及系统 |
| CN110874921A (zh) | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元及其信息处理方法 |
| CN110008862B (zh) * | 2019-03-22 | 2021-03-30 | 哈尔滨工业大学（深圳） | 一种车辆目标检测方法及相关装置 |
| CN111046714B (zh) * | 2019-04-21 | 2020-12-01 | 南京内外软件信息有限公司 | 电子设备状态切换系统 |
| CN110633637B (zh) * | 2019-08-09 | 2023-05-16 | 河海大学常州校区 | 基于Haar-Like特征提取算法与灰度值差异分析的辅助驾驶方法 |
| CN113836964B (zh) * | 2020-06-08 | 2023-11-10 | 北京图森未来科技有限公司 | 车道线角点检测方法及装置 |
| CN114612869A (zh) * | 2022-03-14 | 2022-06-10 | 合肥工业大学 | 一种路侧激光雷达与车载激光雷达信息融合方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6526352B1 (en) * | 2001-07-19 | 2003-02-25 | Intelligent Technologies International, Inc. | Method and arrangement for mapping a road |
| CN101369312A (zh) * | 2007-08-17 | 2009-02-18 | 日电（中国）有限公司 | 检测图像中交叉口的方法和设备 |
| CN101941399A (zh) * | 2010-09-17 | 2011-01-12 | 长安大学 | 一种车辆车道变换辅助装置及其辅助判断方法 |
| CN104504363A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 基于时空关联的人行道实时识别方法 |
| CN104494598A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车辆的路口行驶控制方法 |
| CN204821175U (zh) * | 2015-07-17 | 2015-12-02 | 樊强 | 一种可识别路况的抬头显示器 |
| CN105678316A (zh) * | 2015-12-29 | 2016-06-15 | 大连楼兰科技股份有限公司 | 基于多信息融合的主动驾驶方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101297324B1 (ko) * | 2013-04-11 | 2013-08-14 | 주식회사 스마트비전 | 차량 검지기(vds)를 이용한 지능형 교통 시스템 |
-
2016
- 2016-08-01 CN CN201610628279.7A patent/CN106128115B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6526352B1 (en) * | 2001-07-19 | 2003-02-25 | Intelligent Technologies International, Inc. | Method and arrangement for mapping a road |
| CN101369312A (zh) * | 2007-08-17 | 2009-02-18 | 日电（中国）有限公司 | 检测图像中交叉口的方法和设备 |
| CN101941399A (zh) * | 2010-09-17 | 2011-01-12 | 长安大学 | 一种车辆车道变换辅助装置及其辅助判断方法 |
| CN104504363A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 基于时空关联的人行道实时识别方法 |
| CN104494598A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车辆的路口行驶控制方法 |
| CN204821175U (zh) * | 2015-07-17 | 2015-12-02 | 樊强 | 一种可识别路况的抬头显示器 |
| CN105678316A (zh) * | 2015-12-29 | 2016-06-15 | 大连楼兰科技股份有限公司 | 基于多信息融合的主动驾驶方法 |
Non-Patent Citations (6)
| Title |
|---|
| Research on Lane Marking Lines Detection;Hui Tan;《Applied Mechanics and Materials》;20130131;第274卷;第634-637页 * |
| Road traffic measurement and related data fusion methodology for traffic estimation;Tamás Tettamanti;《Transport and Telecommunication》;20141231;第15卷(第4期);第269-279页 * |
| 基于机器视觉的汽车智能驾驶系统研讨;黄干等;《微计算机信息》;20040630;第20卷(第6期);第4-6页 * |
| 基于视觉的车道线检测算法;张云港;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20051215(第8期);I138-565 * |
| 汽车自动驾驶目标识别系统的研究;路昊;《中国优秀硕士学位论文全文数据库信息科技辑》;20111215(第S2期);I138-1148 * |
| 车辆引导路线检测的计算机视觉技术初探;王丰元等;《农业机械学报》;19980331;第29卷(第1期);第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106128115A (zh) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106128115B (zh) | 一种基于双摄像机检测道路交通信息的融合方法 | |
| CN105488454B (zh) | 基于单目视觉的前方车辆检测与测距 | |
| US20200041284A1 (en) | Map road marking and road quality collecting apparatus and method based on adas system | |
| CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
| US20200026930A1 (en) | Lane line detection method and apparatus | |
| CN109583267B (zh) | 车辆用目标检测方法、车辆用目标检测装置和车辆 | |
| Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
| CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
| CN110647850A (zh) | 一种基于逆透视原理的车道偏移自动测量方法 | |
| CN205992300U (zh) | 用于提供利用人行横道识别结果的引导信息的电子装置 | |
| CN105260712B (zh) | 一种车辆前方行人检测方法及系统 | |
| CN106156723B (zh) | 一种基于视觉的路口精定位方法 | |
| CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN105913013A (zh) | 双目视觉人脸识别算法 | |
| CN109635737A (zh) | 基于道路标记线视觉识别辅助车辆导航定位方法 | |
| CN106887004A (zh) | 一种基于块匹配的车道线检测方法 | |
| CN106802144A (zh) | 一种基于单目视觉和车牌的车距测量方法 | |
| CN109785354A (zh) | 一种基于背景光照去除和联通区域的车位检测方法 | |
| CN110334601A (zh) | 一种结合机器学习和计算机视觉的限速标志牌识别方法 | |
| CN103927548A (zh) | 一种新的避免车辆碰撞的刹车行为检测方法 | |
| Bi et al. | A new method of target detection based on autonomous radar and camera data fusion | |
| CN104992160B (zh) | 一种重型卡车夜间前方车辆检测方法 | |
| CN103021179A (zh) | 基于实时监控视频中的安全带检测方法 | |
| CN102930271A (zh) | 一种视频图像的出租车实时识别方法 | |
| JP4813304B2 (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181130 Termination date: 20190801 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |