CN104361350B - 一种交通标识识别系统 - Google Patents

一种交通标识识别系统 Download PDF

Info

Publication number
CN104361350B
CN104361350B CN201410604927.6A CN201410604927A CN104361350B CN 104361350 B CN104361350 B CN 104361350B CN 201410604927 A CN201410604927 A CN 201410604927A CN 104361350 B CN104361350 B CN 104361350B
Authority
CN
China
Prior art keywords
traffic
traffic sign
information
road
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410604927.6A
Other languages
English (en)
Other versions
CN104361350A (zh
Inventor
谷明琴
陈效华
王海
孙锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Lion Automotive Technologies Co Ltd
Original Assignee
SAIC Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Chery Automobile Co Ltd filed Critical SAIC Chery Automobile Co Ltd
Priority to CN201410604927.6A priority Critical patent/CN104361350B/zh
Publication of CN104361350A publication Critical patent/CN104361350A/zh
Application granted granted Critical
Publication of CN104361350B publication Critical patent/CN104361350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种交通标识识别系统，其特征在于：所述的识别系统包括在车辆内后视镜位置安装高动态相机，采集道路前方路面的交通标识信息后分别从道路环境图像中识别交通标线、交通信号灯、交通标志并建立相应的时空关联模型；由于采用上述的结构和方法，本发明结合时间和空间关系，建立交通标识识别结果的时空关联准则，在同一图像内识别多种交通标识，将多种交通标识识别结果进行融合，获取可信的输出结果，减少因交通标识识别错误对智能车行驶造成的影响。

Description

一种交通标识识别系统
技术领域
本发明涉及智能交通领域，特别涉及一种交通标识识别系统。
背景技术
目前，在智能车驾驶方面，视觉传感器因其成本低廉，识别种类多样，因此获得了广泛的应用。道路环境中的各项指示信息，如地面标线，交通信号灯，交通标志等对行车具有较强的指示，且它们之间设置具有较强的相关性。
但是目前的车辆视频处理系统对道路环境的综合信息考虑较少，没有建立地面标线，交通信号灯，交通标志之间的相关性模型，大部分还是单独识别和分析交通标志，交通标线，交通信号灯的信息。
在识别系统中建立一种合理的交通标识的关联模型，为智能车提供合理准确的道路环境信息估计，在车辆行驶过程中减少误操作，降低冲突信息，以让智能车选择合理的规则，进行行驶控制。
发明内容
本发明所要解决的技术问题是，提供一种交通标识识别系统，将多种交通标识识别结果进行融合，获取可信的输出结果，减少因交通标识识别错误对智能车行驶造成的影响。
为达到上述目的，本发明的技术方案是，一种交通标识识别系统，其特征在于：所述的识别系统包括在车辆内后视镜位置安装高动态相机，采集道路前方路面的交通标识信息后分别从道路环境图像中识别交通标线、交通信号灯、交通标志并建立相应的时空关联模型；
所述的关联模型包括在检测到导向交通标志时，确认地面上是否出现导向交通标线，相互印证后再向车辆控制中心发送车道指示信息；在检测到交通信号灯时，如果对应车道的信号灯为绿色，则直接通行，否则搜索车辆前方的停止线或人行横道线，当搜索到时，则将控制信息发送到车辆控制中心以指示停车；在检测到人行横道交通标志时，确认前方路面上是否有人行横道线和停止线，当有相应的道路交通标线时，输出需要减速信息给控制中心；在检测到停交通标志或交通标线时，确认前方路面上是否有人行横道线和停止线，当出现相应的道路交通标线时，输出停车信息给控制中心；在检测到指示单行的交通标志时，并确认是否行驶在正确的单行车道内，此时，发送车辆不能转向信息。
所述的识别系统对于交通标线的识别首先将图像进行逆投影变换，将图像转换为俯视图；在小邻域内计算分割阈值，然后用阈值分割出高亮度的区域，获得图像内的交通标线感兴趣区域；对交通标线感兴趣进行分析，根据交通标线的特性，去除噪声点的干扰；对道路中的直线进行拟合，获得平行的车道线，而导向交通标线则根据其相对位置，大小，比例关系信息进行区分，人行横道线根据二值图像的双极性特征进行有效判断。
所述的识别系统对于交通信号灯的识别首先针对交通信号灯的灯板颜色，对输入图像进行颜色分割。根据灯板的形态信息，定位灯板感兴趣区域的位置；在灯板感兴趣区域上，将图像从RGB空间转换到YCbCr空间中，然后在Cb和Cr颜色通道分别分割出红色和绿色的感兴趣区域。根据交通信号灯的形态，灯在灯板中的相对位置来判断是否为交通信号灯区域；将符合交通信号灯形态特征的感兴趣区域彩色图像灰度化，归一化。然后提取6个方向和6个尺度的Gabor小波特征，并用二维独立分量分析方法，降低特征的维数；送入最近邻分类器中，以分类出交通信号灯的方向和形状信息；最后将交通信号灯的状态信息输出到无人车的控制单元中。
所述的识别系统对于交通标志的识别首先将图像进行颜色变换，凸显出交通标志的区域，并对交通标志的特征颜色进行分割；然后根据交通标志的形态和形状特性，寻找和定位交通标志的感兴趣区域；提取交通标志感兴趣的特征，并去除相关性强的冗余特征；对交通标志特征与数据库内特征进行比对，识别交通标志的类型信息及表示含义，并排除一些误检的非交通标志干扰；交通标志跟踪，建立多目标跟踪模型，在连续序列中跟踪交通标志的位置，尺度，面积信息。判断识别目标的连续性；最后将准确的交通标志类型输出。
一种交通标识识别系统，由于采用上述的结构和方法，本发明结合时间和空间关系，建立交通标识识别结果的时空关联准则，在同一图像内识别多种交通标识，将多种交通标识识别结果进行融合，获取可信的输出结果，减少因交通标识识别错误对智能车行驶造成的影响。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明；
图1为本发明一种交通标识识别系统的系统流程图；
图2为本发明一种交通标识识别系统中交通标线的识别过程；
图3为本发明一种交通标识识别系统中交通信号灯的识别过程；
图4为本发明一种交通标识识别系统中交通标志的识别过程。
具体实施方式
如图1所示，本发明从安装于车辆内后视镜后侧的相机上，获取车辆行驶过程中车辆前方的外部道路环境图像。在车辆内后视镜位置安装高动态相机，采集道路前方路面的交通标识信息(包括交通标线，交通标志，交通信号灯)。分别从道路环境图像中识别各类交通标识。
如图2所示，本识别系统识别交通标线的过程为：
(1)将图像进行逆投影变换，将图像转换为俯视图；
(2)在小邻域内计算分割阈值，然后用阈值分割出高亮度的区域，获得图像内的交通标线感兴趣区域。
(3)对交通标线感兴趣进行分析，根据交通标线的特性，去除噪声点的干扰。
(4)对道路中的直线进行拟合，获得平行的车道线，而导向交通标线则根据其相对位置，大小，比例关系信息进行区分。而人行横道线则可以根据二值图像的双极性特征进行有效判断。
如图3所示，本识别系统识别交通信号灯的过程为：
(1)针对交通信号灯的灯板颜色，对输入图像进行颜色分割。根据灯板的形态信息，定位灯板感兴趣区域的位置；
(2)在灯板感兴趣区域上，将图像从RGB空间转换到YCbCr空间中，然后在Cb和Cr颜色通道分别分割出红色和绿色的感兴趣区域。根据交通信号灯的形态，灯在灯板中的相对位置来判断是否为交通信号灯区域；
(3)将符合交通信号灯形态特征的感兴趣区域彩色图像灰度化，归一化。然后提取6个方向和6个尺度的Gabor小波特征，并用二维独立分量分析方法，降低特征的维数；
(4)送入最近邻分类器中，以分类出交通信号灯的方向和形状信息；
(5)最后将交通信号灯的状态信息输出到无人车的控制单元中。
如图4所示，本识别系统识别交通标志的过程为：
(1)将图像进行颜色变换，凸显出交通标志的区域，并对交通标志的特征颜色进行分割。然后根据交通标志的形态和形状特性，寻找和定位交通标志的感兴趣区域；
(2)提取交通标志感兴趣的特征(Gabor，DT-CWT等)，并去除相关性强的冗余特征；
(3)对交通标志特征与数据库内特征进行比对，识别交通标志的类型信息及表示含义，并排除一些误检的非交通标志干扰；
(4)交通标志跟踪，建立多目标跟踪模型，在连续序列中跟踪交通标志的位置，尺度，面积信息。判断识别目标的连续性；
(5)最后将准确的交通标志类型输出。
在车辆行驶的道路上，出现的交通标识种类繁多：信号灯，车道线，导向地面标记，交通标志导向箭头，人行横道线，停止线，人形横道标志等一些交通标识。这些交通标识可以通过相互印证来确定交通标识的识别结果是否正确，并给出关键的交通标识输出信息。
一般情况下，最先检测到的会是交通标志的信息，而后出现的会是交通标线和交通信号灯信息。针对一些对行车影响较大的交通标识关联情况，建立下面常用的交通标识间的关联模型准则：
(1)当检测到当前图像帧中有导向交通标志时，则在后续图像帧中确认地面上是否出现导向交通标线，并确定所处的车道位置，相互印证后向车辆控制中心发送车道指示信息和具体的车道行驶位置。
(2)当检测到当前图像帧中有交通信号灯时，如果对应车道的信号灯为绿色，则直接通行，否则在接下来的图像帧中搜索车辆前方的停止线或人行横道线，当搜索到停止线或人行横道线时，则将控制信息发送到车辆控制中心以指示停车。
(3)当检测到当前图像帧中有人行横道交通标志时，在接下来的图像帧中确认前方路面上是否有人行横道线和停止线，当有相应的道路交通标线时，输出需要减速信息给车辆控制中心。
(4)当检测到当前图像帧中有“停”交通标志或交通标线时，在接下来的图像帧中确认前方路面上是否有人行横道线和停止线，当出现相应的道路交通标线时，输出停车信息给车辆控制中心。
(5)当检测到当前图像帧中有指示单行的交通标志时，并在接下来的图像帧中确认是否行驶在正确的单行车道内，此时，发送车辆不能转向信息。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。

Claims (4)

1.一种交通标识识别系统，其特征在于：所述的交通标识识别系统包括在车辆内后视镜位置安装高动态相机，采集道路前方路面的交通标识信息后分别从道路环境图像中识别交通标线、交通信号灯、交通标志并建立相应的时空关联模型；
所述的时空关联模型包括在检测到导向交通标志时，确认地面上是否出现导向交通标线，相互印证后再向车辆控制中心发送车道指示信息；在检测到交通信号灯时，如果对应车道的信号灯为绿色，则直接通行，否则搜索车辆前方的停止线或人行横道线，当搜索到时，则将控制信息发送到车辆控制中心以指示停车；在检测到人行横道交通标志时，确认前方路面上是否有人行横道线和停止线，当有相应的道路交通标线时，输出需要减速信息给车辆控制中心；在检测到停交通标志或交通标线时，确认前方路面上是否有人行横道线和停止线，当出现相应的道路交通标线时，输出停车信息给车辆控制中心；在检测到指示单行的交通标志时，并确认是否行驶在正确的单行车道内，此时，发送车辆不能转向信息。
2.根据权利要求1所述的一种交通标识识别系统，其特征在于：所述的交通标识识别系统对于交通标线的识别首先将图像进行逆投影变换，将图像转换为俯视图；在小邻域内计算分割阈值，然后用阈值分割出高亮度的区域，获得图像内的交通标线感兴趣区域；对交通标线感兴趣进行分析，根据交通标线的特性，去除噪声点的干扰；对道路中的直线进行拟合，获得平行的车道线，而导向交通标线则根据其相对位置，大小，比例关系信息进行区分，人行横道线根据二值图像的双极性特征进行有效判断。
3.根据权利要求1所述的一种交通标识识别系统，其特征在于：所述的交通标识识别系统对于交通信号灯的识别首先针对交通信号灯的灯板颜色，对输入图像进行颜色分割；根据灯板的形态信息，定位灯板感兴趣区域的位置；在灯板感兴趣区域上，将图像从RGB空间转换到YCbCr空间中，然后在Cb和Cr颜色通道分别分割出红色和绿色的感兴趣区域；根据交通信号灯的形态，灯在灯板中的相对位置来判断是否为交通信号灯区域；将符合交通信号灯形态特征的感兴趣区域彩色图像灰度化，归一化；然后提取6个方向和6个尺度的Gabor小波特征，并用二维独立分量分析方法，降低特征的维数；送入最近邻分类器中，以分类出交通信号灯的方向和形状信息；最后将交通信号灯的状态信息输出到无人车的控制单元中。
4.根据权利要求1所述的一种交通标识识别系统，其特征在于：所述的交通标识识别系统对于交通标志的识别首先将图像进行颜色变换，凸显出交通标志的区域，并对交通标志的特征颜色进行分割；然后根据交通标志的形态和形状特性，寻找和定位交通标志的感兴趣区域；提取交通标志感兴趣的特征，并去除相关性强的冗余特征；对交通标志特征与数据库内特征进行比对，识别交通标志的类型信息及表示含义，并排除一些误检的非交通标志干扰；交通标志跟踪，建立多目标跟踪模型，在连续序列中跟踪交通标志的位置，尺度，面积信息；判断识别目标的连续性；最后将准确的交通标志类型输出。
CN201410604927.6A 2014-10-28 2014-10-30 一种交通标识识别系统 Active CN104361350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410604927.6A CN104361350B (zh) 2014-10-28 2014-10-30 一种交通标识识别系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2014105918147 2014-10-28
CN201410591814 2014-10-28
CN201410591814.7 2014-10-28
CN201410604927.6A CN104361350B (zh) 2014-10-28 2014-10-30 一种交通标识识别系统

Publications (2)

Publication Number Publication Date
CN104361350A CN104361350A (zh) 2015-02-18
CN104361350B true CN104361350B (zh) 2017-12-12

Family

ID=52528608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410604927.6A Active CN104361350B (zh) 2014-10-28 2014-10-30 一种交通标识识别系统

Country Status (1)

Country Link
CN (1) CN104361350B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097682A (ja) * 2015-11-26 2017-06-01 マツダ株式会社 標識認識システム
CN105740803A (zh) * 2016-01-27 2016-07-06 大连楼兰科技股份有限公司 一种应用于智能驾驶的斑马线检测算法
CN105825203B (zh) * 2016-03-30 2018-12-18 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN107577981A (zh) * 2016-07-04 2018-01-12 高德信息技术有限公司 一种道路交通标识识别方法及装置
CN107891808B (zh) * 2016-09-30 2020-06-19 比亚迪股份有限公司 行车提醒方法、装置及车辆
CN107886034B (zh) * 2016-09-30 2020-10-20 比亚迪股份有限公司 行车提醒方法、装置及车辆
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN108242167A (zh) * 2016-12-24 2018-07-03 钱浙滨 一种道路交通安全设施信息获取方法、使用方法及装置
CN107066965A (zh) * 2017-04-11 2017-08-18 北京汽车集团有限公司 检测交通标识的方法及装置
CN108985138A (zh) * 2017-06-02 2018-12-11 奥迪股份公司 信息提供系统和方法
CN107491756B (zh) * 2017-08-17 2019-10-11 武汉大学 基于交通标牌与地面标志的车道转向信息识别方法
CN107644538B (zh) * 2017-11-01 2020-10-23 广州汽车集团股份有限公司 交通信号灯的识别方法及装置
CN108090413A (zh) * 2017-11-21 2018-05-29 武汉中海庭数据技术有限公司 一种交通标志牌关联方法及装置
CN107992829A (zh) * 2017-12-05 2018-05-04 武汉中海庭数据技术有限公司 一种交通信号灯车道级控制关系提取方法及装置
CN108509942A (zh) * 2018-05-28 2018-09-07 清华大学 检验装置及其检验方法
US10699141B2 (en) * 2018-06-26 2020-06-30 Waymo Llc Phrase recognition model for autonomous vehicles
CN111460861B (zh) * 2019-01-21 2023-05-19 阿里巴巴集团控股有限公司 一种道路交通标志识别方法、装置和识别设备
CN110069986B (zh) * 2019-03-13 2021-11-02 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
CN116745820A (zh) * 2022-01-05 2023-09-12 华为技术有限公司 路面标志识别方法及装置、设备、存储介质、车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449383B1 (en) * 1998-01-27 2002-09-10 Denso Corporation Lane mark recognition system and vehicle traveling control system using the same
CN101023436A (zh) * 2004-08-16 2007-08-22 西门子共同研究公司 交通标志检测方法
CN103335853A (zh) * 2013-07-18 2013-10-02 中国科学院自动化研究所 一种无人驾驶车辆认知能力测试系统及方法
CN103942546A (zh) * 2014-05-08 2014-07-23 奇瑞汽车股份有限公司 一种城市环境中导向交通标线识别系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2172873B1 (en) * 2008-10-06 2018-08-15 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449383B1 (en) * 1998-01-27 2002-09-10 Denso Corporation Lane mark recognition system and vehicle traveling control system using the same
CN101023436A (zh) * 2004-08-16 2007-08-22 西门子共同研究公司 交通标志检测方法
CN103335853A (zh) * 2013-07-18 2013-10-02 中国科学院自动化研究所 一种无人驾驶车辆认知能力测试系统及方法
CN103942546A (zh) * 2014-05-08 2014-07-23 奇瑞汽车股份有限公司 一种城市环境中导向交通标线识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
复杂环境中交通标识识别与状态跟踪估计算法研究;谷明琴;《中国博士学位论文全文数据库 信息科技辑》;20140215(第02期);全文 *

Also Published As

Publication number Publication date
CN104361350A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104361350B (zh) 一种交通标识识别系统
CN111212772B (zh) 用于确定车辆的驾驶策略的方法和设备
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
US8750567B2 (en) Road structure detection and tracking
CN109299674B (zh) 一种基于车灯的隧道违章变道检测方法
Jazayeri et al. Vehicle detection and tracking in car video based on motion model
CN103984950B (zh) 一种适应白天检测的运动车辆刹车灯状态识别方法
KR100969995B1 (ko) 영상처리기법을 이용한 신호교차로의 교통상충 판단 시스템및 방법
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
CN107316486A (zh) 基于双摄像头的无人驾驶汽车视觉识别系统
US9280900B2 (en) Vehicle external environment recognition device
CN105550632A (zh) 交通标志牌识别装置及其工作方法
US20100098297A1 (en) Clear path detection using segmentation-based method
CN105825185A (zh) 车辆防碰撞预警方法及装置
CN102556021B (zh) 一种汽车防闯红灯的控制装置
CN104778444A (zh) 道路场景下车辆图像的表观特征分析方法
US20180141561A1 (en) Method and Apparatus for Detecting and Assessing Road Reflections
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN107609472A (zh) 一种基于车载双摄像头的无人驾驶汽车机器视觉系统
Fernández et al. Real-time vision-based blind spot warning system: Experiments with motorcycles in daytime/nighttime conditions
Wu et al. A Real‐Time Embedded Blind Spot Safety Assistance System
Lin et al. Adaptive IPM-based lane filtering for night forward vehicle detection
Li et al. A low-cost and fast vehicle detection algorithm with a monocular camera for adaptive driving beam systems
Moizumi et al. Traffic light detection considering color saturation using in-vehicle stereo camera
CN104408431A (zh) 交通监控下的车款识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220221

Address after: 241009 Wuhu economic and Technological Development Zone, Anshan, Wuhu, Anhui

Patentee after: Wuhu Sambalion auto technology Co.,Ltd.

Address before: 241009 No. 8, Changchun Road, Wuhu economic and Technological Development Zone, Anhui, China

Patentee before: CHERY AUTOMOBILE Co.,Ltd.

TR01 Transfer of patent right