CN103942546B - 一种城市环境中导向交通标线识别系统及方法 - Google Patents

一种城市环境中导向交通标线识别系统及方法 Download PDF

Info

Publication number
CN103942546B
CN103942546B CN201410194049.5A CN201410194049A CN103942546B CN 103942546 B CN103942546 B CN 103942546B CN 201410194049 A CN201410194049 A CN 201410194049A CN 103942546 B CN103942546 B CN 103942546B
Authority
CN
China
Prior art keywords
mrow
traffic marking
oriented
image
mfrac
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410194049.5A
Other languages
English (en)
Other versions
CN103942546A (zh
Inventor
谷明琴
陈军
陈效华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dazhuo Intelligent Technology Co ltd
Dazhuo Quxing Intelligent Technology Shanghai Co ltd
Original Assignee
SAIC Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Chery Automobile Co Ltd filed Critical SAIC Chery Automobile Co Ltd
Priority to CN201410194049.5A priority Critical patent/CN103942546B/zh
Publication of CN103942546A publication Critical patent/CN103942546A/zh
Application granted granted Critical
Publication of CN103942546B publication Critical patent/CN103942546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种城市环境中导向交通标线识别系统及方法,为了实现无人驾驶车对路面导向标识的主动认知,本发明包括图像采集单元,获取在道路上拍摄的图像信息;导向交通标线提取单元,将从图像采集单元获取的图像中导向交通标线的区域提取出来;数据库单元,存储导向交通标线标识;导向交通标线识别单元,将导向交通标线提取单元提取的导向交通标线图形与数据库单元的导向交通标线标识对比,并将图形的识别结果传给车载控制单元;车载控制单元,根据导向交通标线识别单元的识别结果做出车辆行驶指令。该系统方法实现无人车对路面标识的主动认知,用二维独立分量分析方法降低特征维数,最近分类器分类交通标线的类别,该方法求取的特征维数低,分类准确率高。

Description

一种城市环境中导向交通标线识别系统及方法
技术领域
本发明属于一种图像识别系统,具体涉及到一种可以识别城市道路上标识的交通标线,用于指导无人驾驶汽车对于路面环境的感知,智能决策行驶的路线及遵从交通法律和法规。
背景技术
目前,在无人驾驶车和主动安全领域,对车辆行驶的环境信息感知要求提高,不但要根据车载的各种传感器信息,获得车辆周围影响行车的障碍物信息,还要根据车辆所处的环境,智能决策行驶的路线及遵从交通法律和法规。
在城市道路环境中的十字交通路口,一般均有标画于路面上的各种线条、箭头、文字、突起路标和轮廓标等构成的交通标线,用于管制和引导交通。为了使车辆行驶到交通路口之前,能正确的进入要行驶的车道,如车辆要左转,要提前进入左转车道;车辆要右转,需提前进入右转车道等。在车辆行驶的道路中常出现菱形,表明前方有人行横道,需减速慢行。车辆行驶中,应该遵守这些基本的交通驾驶规则,保证自身和他人的安全。
然而,目前,对地面上的交通标线识别系统研究较少,特别是在无人驾驶车和主动安全的应用中。为此,提出一种城市环境中导向交通标线的识别算法,适用于无人驾驶车和主动安全对地面标记感知的需要。
发明内容
为了克服现有技术的不足,本发明提供一种城市环境中导向交通标线识别系统及方法,实现对路面导向标识的主动认知。
本发明的技术方案是:一种城市环境中导向交通标线识别系统,其特征在于:包括图像采集单元,获取在道路上拍摄的图像信息;导向交通标线提取单元,将从图像采集单元获取的图像中导向交通标线的区域提取出来;数据库单元,存储导向交通标线标识;导向交通标线识别单元,将导向交通标线提取单元提取的导向交通标线图形与数据库单元的导向交通标线标识对比,并将图形的识别结果传给车载控制单元;车载控制单元,根据导向交通标线识别单元的识别结果做出车辆行驶指令。一种城市环境中导向交通标线识别方法,其特征在于:包括如下步骤:
步骤一、采集路面图像,并对图像进行直方图均衡化处理,增强图像对比度;
步骤二、对图像进行自适应阈值分割,根据分割后的二值图像得到交通标线的候选区域;
步骤三、将不同形状类的候选交通标线图像进行灰度化、归一化及Gabor小波变换,得到特征向量;用二维独立分量分析算法降低特征向量的维数,并利用最近邻分类算法进行分类,获得交通标线的类别;步骤四、将图像中的交通标线类型信息送入车载控制单元,车载控制单元选择正确的车道行车。
作为城市环境中导向交通标线识别方法的进一步改进,还包括如下步骤:对增强后的图像进行逆投影变换,得到场景的俯视图。
作为本方案的进一步改进:所述步骤二还包括,对采集的路面图像进行Canny边缘提取,根据分割后的二值图像和Canny边缘图像,分裂和合并二值图像,得到交通标线候选区域。
作为本方案的进一步改进:所述步骤二还包括:分裂和合并后的二值图像,是通过查找二次分割后的二值图像的连通区域,并根据区域形态学判断交通标线区域和非交通标线区域。所述区域形态学选择的区分特征是面积、宽度、高度和占空比。
本发明的有益效果是:逆透视变换后,用局部自适应阈值分割方法,分割出的交通标线感兴趣区域图像清晰,杂质较少,错误率低;根据交通标线的形状,面积,占空比等信息定位导向交通标线,交通标线正确定位率高;用Gabor小波变换表示交通标线的特征,用二维独立分量分析方法降低特征维数,最近分类器分类交通标线的类别,该方法求取的特征维数低,分类准确率高。
附图说明
图1为本发明具体实施方式的系统结构图;
图2为本发明具体实施方式的采集单元采集的原图像的平面坐标系;
图3为本发明具体实施方式的逆投影变换图像平面坐标系;
图4为本发明具体实施方式的导向交通标线的检测流程图;
图5为本发明具体实施方式的导向交通标线的识别流程图。
具体实施方式
下面对照附图,通过对实施例的描述,本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等,作进一步详细的说明,以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
(1)首先从车载相机中获取连续图像,然后直方图均衡化方法,增强图像的对比度,使图像中交通标线区域更加容易分辨。
(2)将增强后的图像进行逆投影变换,变换的具体过程如下:
假设相机安装在车辆的前方,基本与水平面保持平行,如附图2所示,首先定义两个平面坐标:
I={(u,v)}∈E2表示采集到的图像平面坐标系。
W={(x,y,z)}∈E3表示逆投影变换图像平面坐标系。
为了获得场景的俯瞰图像,定义新的映射图像V={(x,y,0)}∈W为图像空间W中z=0的图像平面。设定空间W的感兴趣区域,用下列映射变换公式,将图像平面映射到平面V中:
P=(l,d,h)是相机在世界坐标平面W中坐标。如图2所示,2α和2β分别是水平和垂直视场角;γ是相机光轴和垂直坐标轴之间的角度;θ是相机光轴和地平面之间的夹角。而这些参数均需要根据相机标定结果获得。
(3)图3描述了图像分割和感兴趣区域定位的过程。用自适应阈值分割法来分割图像。具体步骤为先在像素的邻域b×b内,有:
则通过判断p(x,y)和t(x,y)值的大小,来分割图像,得到二值图像s(x,y):
p(x,y)为像素(x,y)的灰度值,t(x,y)记为局部自适应阈值。w(x+i,y+i)是像素(x+i,y+i)的权值。
但此时交通标线会因车辆,树荫,建筑物等的遮挡,分割到的交通标线可能会被分割成两个部分,或者和其它一些杂质连接在一起。为了进一步区分交通标线和背景图像,用Canny提取图像的边缘。并结合边缘图像和阈值分割后的二值图像,将二值图像进行分裂和合并,提取并保留疑似交通标线的区域。
查找二值图像的连通区域,记为CRj,j=1,…,N。假设连通区域的面积,宽度和高度分别是CAj,CWj,CHj,定义宽高比:
CRARj=CWj/CHj
占空比:
CRSj=CAj/(CWj×CHj)
若连通区域满足:
则将该区域确定为交通标线候选区域。其中TAh,TAl,TARh,TARl,TCRS是对应的阈值。
(4)为了分类候选区域的交通标线类型,采用如图4所示的交通标线识别流程图,首先将候选区域归一化为30×30大小的图像,利用二维Gabor小波:
其中,(x,y)是空间域中点的坐标,σ是Gaussian包络的标准差,决定了高斯包络下的振荡数。|·|是向量模。小波向量是:
其中ku=kmax/fu,φv=(v×π)/6,kmax是最大频率,取kmax=π/2。fu是频域中函数核的间距因子。参数u,v分别是Gabor核的尺度和方向。取用6个方向和6个尺度Gabor小波变换对图像进行处理,获得36个Gabor函数图像。取每幅Gabor小波图像的幅值作为候选区域图像的特征。对特征进行采样,并归一化为[0,1]之间的数值。
在识别交通标线类型之前,提取10类导向交通标线的模板库,并建立其对应的Gabor小波特征库,每幅图像可以提取出3600维特征。为了降低特征数量,用2维独立分量分析算法降低特征的冗余度,提高特征之间的独立性。
假设每类交通标线的模板库特征为χj={χij,i=1,2,…,Nj},χij∈Rn×n,其中Nj模板个数。假设模板库样本图像的平均特征为则模板库样本库的协方差矩阵有:
其中F=10,表示10类导向交通标线,L为每类内的交通标线模板数。
用奇异值分解法对Σ分解,满足Σ=UΛUT,Λ=diag(λ1,λ2,…,λn),满足λj≥λj11,U为特征向量组成的正交阵。本文取r=10个最大特征值Λr=diag(λ1,λ2,…,λr)及其对应的特征向量Ur=[u1,u2,…,Mr])构造白化矩阵为了降低模板特征χij的冗余度,需求取优化映射矩阵S=(s1,s2,…,sr),r为其独立向量的个数,si的均值必须为0,方差为1的非高斯分布。令z=EΣT,有
其中W是分离矩阵。用得到的优化特征向量矩阵S=(s1,s2,…,sr)来提取特征。对于样本库中的每个图像特征有:
映射特征向量Y1,Y2,…,Yr即为样本特征χij的独立主分量。样本χi的特征矩阵可以降为n×r矩阵B=(Y1,Y2,…,Yr)。送入最近邻分类算法对其进行分类。
假设现有的导向交通标线有ci,i=1,2,…,F,每类均有Li个训练样本:
是训练样本的总个数。
假设测试样本的特征为B,ci的距离决策函数定义为:
其中||·||2为两个向量间的欧式距离。令
则可用下列判断规则,判断导向交通标线感兴趣区域的类型信息。
其中,TL为相似性阈值,以区分是否为导向交通标线,以排除一些误检区域的干扰。这种方法可以较好的分类导向交通标线的类别信息,且误识别率均较低,对城市环境中的导向交通标线识别非常有效。
(5)将图像中的交通标线类型信息送入决策系统中,根据前方道路中的交通标线导线信息,选择合适的车道行车,以遵守城市内的交通规则。
上面结合附图对本发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围之内。

Claims (4)

1.一种城市环境中导向交通标线识别方法,其特征在于:包括如下步骤:
步骤一、采集路面图像,并对图像进行直方图均衡化处理,增强图像对比度,对增强后的图像进行逆投影变换,得到场景的俯视图;
步骤二、对图像进行自适应阈值分割,根据分割后的二值图像得到交通标线的候选区域;
步骤三、将不同形状类的候选交通标线图像进行灰度化、归一化及Gabor小波变换,得到特征向量;用二维独立分量分析算法降低特征向量的维数,并利用最近邻分类算法进行分类,获得交通标线的类别;
步骤四、将图像中的交通标线类型信息送入车载控制单元,车载控制单元选择正确的车道行车;
所述逆投影变换的具体过程如下:首先定义两个平面坐标:
I={(u,v)}∈E2表示采集到的图像平面坐标系,
W={(x,y,z)}∈E3表示逆投影变换图像平面坐标系,
为了获得场景的俯瞰图像,定义新的映射图像V={(x,y,0)}∈W为图像空间W中z=0的图像平面,设定空间W的感兴趣区域,用下列映射变换公式,将图像平面映射到平面V中:
<mrow> <mi>u</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>arctan</mi> <mo>(</mo> <mfrac> <mrow> <mi>x</mi> <mo>-</mo> <mi>d</mi> </mrow> <mrow> <mi>y</mi> <mo>-</mo> <mi>l</mi> </mrow> </mfrac> <mo>)</mo> <mo>-</mo> <mo>(</mo> <mrow> <mi>&amp;gamma;</mi> <mo>-</mo> <mi>&amp;alpha;</mi> </mrow> <mo>)</mo> <mo>)</mo> <mo>&amp;times;</mo> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mrow> <mn>2</mn> <mi>&amp;alpha;</mi> </mrow> </mfrac> </mrow>
<mrow> <mi>v</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>arctan</mi> <mo>(</mo> <mfrac> <mi>h</mi> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>d</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>d</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>)</mo> <mo>-</mo> <mo>(</mo> <mrow> <mi>&amp;theta;</mi> <mo>-</mo> <mi>&amp;beta;</mi> </mrow> <mo>)</mo> <mo>)</mo> <mo>&amp;times;</mo> <mo>(</mo> <mi>m</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mrow> <mn>2</mn> <mi>&amp;beta;</mi> </mrow> </mfrac> </mrow>
P=(l,d,h)是相机在世界坐标平面W中坐标,2α和2β分别是相机的水平和垂直视场角;γ是相机光轴和垂直坐标轴之间的角度;θ是相机光轴和地平面之间的夹角。
2.根据权利要求1所述的城市环境中导向交通标线识别方法,其特征在于:所述步骤二还包括,对采集的路面图像进行Canny边缘提取,根据分割后的二值图像和Canny边缘图像,分裂和合并二值图像,得到交通标线候选区域。
3.根据权利要求2所述的城市环境中导向交通标线识别方法,其特征在于:所述步骤二还包括:分裂和合并后的二值图像,是通过查找二次分割后的二值图像的连通区域,并根据区域形态学判断交通标线区域和非交通标线区域。
4.根据权利要求3所述的城市环境中导向交通标线识别方法,其特征在于:所述区域形态学选择的区分特征是面积、宽度、高度和占空比。
CN201410194049.5A 2014-05-08 2014-05-08 一种城市环境中导向交通标线识别系统及方法 Active CN103942546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410194049.5A CN103942546B (zh) 2014-05-08 2014-05-08 一种城市环境中导向交通标线识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410194049.5A CN103942546B (zh) 2014-05-08 2014-05-08 一种城市环境中导向交通标线识别系统及方法

Publications (2)

Publication Number Publication Date
CN103942546A CN103942546A (zh) 2014-07-23
CN103942546B true CN103942546B (zh) 2017-09-12

Family

ID=51190209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410194049.5A Active CN103942546B (zh) 2014-05-08 2014-05-08 一种城市环境中导向交通标线识别系统及方法

Country Status (1)

Country Link
CN (1) CN103942546B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361350B (zh) * 2014-10-28 2017-12-12 奇瑞汽车股份有限公司 一种交通标识识别系统
JP6817804B2 (ja) * 2016-12-16 2021-01-20 クラリオン株式会社 区画線認識装置
CN109285161A (zh) * 2017-07-22 2019-01-29 周尧 一种单边中值分割算法
CN108022250B (zh) * 2017-12-19 2021-04-06 北京奇虎科技有限公司 基于自适应阈值分割的自动驾驶处理方法及装置
CN109101924B (zh) * 2018-08-14 2021-05-04 武汉大学 一种基于机器学习的路面交通标志识别方法
CN109166353B (zh) * 2018-09-12 2021-08-20 安徽中科美络信息技术有限公司 一种车辆行驶前方复杂路口导向车道检测方法及系统
CN109784344B (zh) * 2019-01-24 2020-09-29 中南大学 一种用于地平面标识识别的图像非目标滤除方法
CN110135387B (zh) * 2019-05-24 2021-03-02 李子月 一种基于传感器融合的图像快速识别方法
CN110427902B (zh) * 2019-08-08 2020-06-12 昆明理工大学 一种航空影像路面交通标志提取方法及系统
CN111783604A (zh) * 2020-06-24 2020-10-16 中国第一汽车股份有限公司 基于目标识别的车辆控制方法、装置、设备及车辆
CN111966108A (zh) * 2020-09-02 2020-11-20 成都信息工程大学 基于导航系统的极端天气无人驾驶控制系统
WO2023178507A1 (zh) * 2022-03-22 2023-09-28 华为技术有限公司 一种辅助驾驶方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366190A (zh) * 2013-07-26 2013-10-23 中国科学院自动化研究所 一种识别交通标志的方法
CN203337156U (zh) * 2013-07-10 2013-12-11 华北电力大学 一种具有交通指示牌自动识别功能的车载导航仪
CN103577809A (zh) * 2013-11-12 2014-02-12 北京联合大学 一种基于智能驾驶的地面交通标志实时检测的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203337156U (zh) * 2013-07-10 2013-12-11 华北电力大学 一种具有交通指示牌自动识别功能的车载导航仪
CN103366190A (zh) * 2013-07-26 2013-10-23 中国科学院自动化研究所 一种识别交通标志的方法
CN103577809A (zh) * 2013-11-12 2014-02-12 北京联合大学 一种基于智能驾驶的地面交通标志实时检测的方法

Also Published As

Publication number Publication date
CN103942546A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
CN103942546B (zh) 一种城市环境中导向交通标线识别系统及方法
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN105930791B (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN104197897B (zh) 一种基于车载激光扫描点云的城区道路标线自动分类方法
CN106056086B (zh) 基于快速学习框架的车辆品牌型号识别方法
CN105335702B (zh) 一种基于统计学习的卡口车型识别方法
CN104021378A (zh) 基于时空关联与先验知识的交通信号灯实时识别方法
CN108345822A (zh) 一种点云数据处理方法及装置
CN104050447A (zh) 一种交通信号灯识别方法和装置
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN106127153A (zh) 车载激光扫描点云数据的交通标牌识别方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN106951879A (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN105740886B (zh) 一种基于机器学习的车标识别方法
CN103077384A (zh) 一种车标定位识别的方法与系统
CN103324920A (zh) 基于车辆正面图像与模板匹配的车型自动识别方法
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN102509098A (zh) 一种鱼眼图像车辆识别方法
CN102968646A (zh) 一种基于机器学习的车牌检测方法
CN103268489A (zh) 基于滑窗搜索的机动车号牌识别方法
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN114359876B (zh) 一种车辆目标识别方法及存储介质
CN102902957A (zh) 一种基于视频流的自动车牌识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220214

Address after: 241009 Wuhu economic and Technological Development Zone, Anshan, Wuhu, Anhui

Patentee after: Wuhu Sambalion auto technology Co.,Ltd.

Address before: 241009 No. 8, Changchun Road, Wuhu economic and Technological Development Zone, Anhui, China

Patentee before: CHERY AUTOMOBILE Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20240416

Address after: 241000 10th Floor, Block B1, Wanjiang Wealth Plaza, Guandou Street, Jiujiang District, Wuhu City, Anhui Province

Patentee after: Dazhuo Intelligent Technology Co.,Ltd.

Country or region after: China

Patentee after: Dazhuo Quxing Intelligent Technology (Shanghai) Co.,Ltd.

Address before: 241009 Wuhu economic and Technological Development Zone, Anshan, Wuhu, Anhui

Patentee before: Wuhu Sambalion auto technology Co.,Ltd.

Country or region before: China