CN109753880B - 一种自然场景车载视频道路限速标志的检测与识别方法 - Google Patents

一种自然场景车载视频道路限速标志的检测与识别方法 Download PDF

Info

Publication number
CN109753880B
CN109753880B CN201811521604.5A CN201811521604A CN109753880B CN 109753880 B CN109753880 B CN 109753880B CN 201811521604 A CN201811521604 A CN 201811521604A CN 109753880 B CN109753880 B CN 109753880B
Authority
CN
China
Prior art keywords
speed limit
limit sign
road speed
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811521604.5A
Other languages
English (en)
Other versions
CN109753880A (zh
Inventor
单梁
栾佳
徐海洋
戴跃伟
李军
项文波
苏智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811521604.5A priority Critical patent/CN109753880B/zh
Publication of CN109753880A publication Critical patent/CN109753880A/zh
Application granted granted Critical
Publication of CN109753880B publication Critical patent/CN109753880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种自然场景车载视频道路限速标志的检测与识别方法，包括以下内容：首先从自然场景车载视频中采集包含道路限速标志的图像；之后对包含道路限速标志的图像依次进行滤波处理、阈值分割、二值化处理、形态学处理；然后对图像处理后的图像中的道路限速标志进行定位，获得道路限速标志在图像中的区域；接着对道路限速标志在图像中的区域进行字符分割，获得道路限速标志内的所有字符；最后对分割后的所有字符进行识别，即完成道路限速标志的识别。本发明能够适用于现有的行车记录仪等录像设备，适用范围广，且无需增加新的硬件设施，使用成本低，且针对各种复杂的路况或者极端天气下采集的图像均能够很好的识别限速标志，且识别准确度高。

Description

一种自然场景车载视频道路限速标志的检测与识别方法
技术领域
本发明属于目标检测与识别领域，特别是一种自然场景车载视频道路限速标志的检测与识别方法。
背景技术
自然场景车载视频道路限速标志的检测与识别主要是行车过程中针对车载摄像头摄像视频中的诸多限速标志的识别，其是通过车载摄像头获取影像，基于图像处理技术识别道路限速标志，从而快速准确地识别道路限速标志能为交通导航及时提供准确的信息。对道路限速标志的检测与识别方法研究具有重要意义，受到国内外研究人员的广泛关注，有很大的现实意义和实用价值，可以减少交通事故的发生，提高社会的和谐稳定性。
图像处理技术经过长时间的发展，已经有了较为完善的理论，并被广泛用于各个领域，但是目前在道路限速标志图像识别领域的论文和专利还很少。道路限速标志摄像图片存在扭曲和低像素等特点，加大了识别难度，且当面对各种极端的天气时，限速标志检测和识别的正确率较低，同时限速具体数值的识别正确率不高等，很难满足道路限速标志的检测与识别的要求。针对这一问题，杜影丽等提出了一种首先将原始影像转化到明度空间，然后采用形状边缘检测算法进行限速标志定位的方法[杜影丽，贾永红.自然场景车载视频道路交通限速标志的检测与识别方法[J].测绘地理信息，2018，43(2)： 32-34]，该方法有一定的缺点，其中采用的边缘检测算法易受圆弧噪声的干扰，从而导致误检，检测的成功率并不高。
发明内容
本发明所解决的技术问题在于提供一种针对自然场景车载视频中道路限速标志的检测与识别方法。
实现本发明目的的技术解决方案为：一种自然场景车载视频道路限速标志的检测与识别方法，包括以下步骤：
步骤1、从自然场景车载视频中采集包含道路限速标志的图像；
步骤2、对所述包含道路限速标志的图像进行滤波处理；
步骤3、对步骤2滤波处理后的图像进行阈值分割；
步骤4、对步骤3阈值分割后的图像进行二值化处理；
步骤5、对步骤4获得的二值化图像进行形态学处理和滤波处理；
步骤6、对步骤5处理后的图像中的道路限速标志进行定位，获得道路限速标志在图像中的区域；
步骤7、对步骤6获得的道路限速标志在图像中的区域进行字符分割，获得道路限速标志内的所有字符；
步骤8、对步骤7分割后的所有字符进行识别，即完成道路限速标志的识别。
本发明与现有技术相比，其显著优点为：1)本发明的方法能够适用于现有的行车记录仪等录像设备，适用范围广，且无需增加新的硬件设施，使用成本低；2)本发明中采用基于HSV颜色空间的图像分割法，针对各种复杂的路况或者极端天气下采集的图像均能够很好的实现图像分割；3)本发明通过滤波算法及Hough变换和图像填充等算法对图像进行处理，定位精度更高，且有效提高了识别效率；4)本发明中采用基于分块特征匹配法，提高了字符识别的准确率。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明自然场景车载视频道路限速标志的检测与识别方法的流程图。
图2为本发明实施例中从自然场景车载视频中采集的包含道路限速标志的图像。
图3为本发明实施例中阈值分割之后的图像。
图4为本发明实施例中对阈值分割后的图像进行二值化处理之后的图像。
图5为本发明实施例二值化图像进行形态学处理和滤波处理之后的图像。
图6为本发明实施例中提取处理后的图像中的圆形目标区域的图像。
图7为本发明实施例中获得道路限速标志内的所有字符的图像。
具体实施方式
结合图1，本发明一种自然场景车载视频道路限速标志的检测与识别方法，包括以下步骤：
步骤1、从自然场景车载视频中采集包含道路限速标志的图像。
步骤2、对所述包含道路限速标志的图像进行滤波处理，消除明显的噪点。
进一步地，滤波处理具体采用中值滤波处理。
步骤3、对步骤2滤波处理后的图像进行阈值分割。
进一步地，阈值分割具体采用基于HSV颜色空间的图像分割法。
步骤4、对步骤3阈值分割后的图像进行二值化处理。
步骤5、对步骤4获得的二值化图像进行形态学处理和滤波处理，以消除噪声且增强连通区域的连通性。
步骤6、对步骤5处理后的图像中的道路限速标志进行定位，获得道路限速标志在图像中的区域。
进一步地，对步骤5处理后的图像中的道路限速标志进行定位，获得道路限速标志在图像中的区域，具体为：
步骤6-1、利用Hough变换圆检测法提取步骤5处理后的图像中的所有圆形目标区域；
步骤6-2、利用投影法对每个圆形目标区域内的像素进行垂直投影获得若干个垂直投影，之后对每个垂直投影对应的目标区域进行水平投影；
步骤6-3、根据每个圆形目标区域内像素垂直投影后垂直投影的个数、每个垂直投影的宽度与其所在圆形目标区域的直径之间的关系，以及对每个垂直投影对应的目标区域进行水平投影后投影的高度，提取出道路限速标志对应的圆形目标区域，具体为：
若对圆形目标区域内的像素依次进行垂直投影、水平投影后，同时满足以下条件：垂直投影的个数为1～3个、每个垂直投影的宽度为其所在圆形目标区域直径的1/4～1/3、所有的水平投影的高度为其所在圆形目标区域直径的1/3～1/2，则该圆形目标区域即为道路限速标志。
进一步地，在执行步骤6之前对步骤5处理后的图像进行直方图均衡化和几何归一化处理，以克服检测到的限速标志可能存在颜色失真和几何形变的问题。
步骤7、对步骤6获得的道路限速标志在图像中的区域进行字符分割，获得道路限速标志内的所有字符。
步骤8、对步骤7分割后的所有字符进行识别，即完成道路限速标志的识别。
进一步地，对步骤7分割后的所有字符进行识别并进行组合，即完成道路限速标志的识别，具体为：
步骤8-1、将步骤7分割后的每个字符均进行归一化处理使其与模板库中的字符大小一致；
步骤8-2、以从左至右的顺序，利用图像匹配算法对步骤8-1归一化处理后的每个待识别字符与模板库中所有的字符分别进行匹配，并求取对应的相关系数，其中最大的相关系数对应的模板库中的字符即为待识别字符，从而完成道路限速标志的识别。
进一步地，步骤8-2中图像匹配算法具体采用基于分块特征匹配法。
进一步地，基于分块特征匹配法为基于分块SIFT特征匹配法。
进一步地，基于分块特征匹配法为基于分块SURF特征匹配法。
实施例
本发明自然场景车载视频道路限速标志的检测与识别方法，包括以下内容：
1、从自然场景车载视频中采集包含道路限速标志的图像如图2所示。
2、对上述采集到的图像进行中值滤波处理，去除明显的噪点。
3、采用基于HSV颜色空间的图像分割法对滤波处理后的图像进行阈值分割，如图3所示。
4、对阈值分割后的图像进行二值化处理，如图4所示。
5、对二值化图像进行形态学处理和滤波处理，如图5所示。
6、利用Hough变换圆检测法对上述5处理后的图像中的道路限速标志进行定位，获得道路限速标志在图像中区域，如图6所示。
7、对道路限速标志在图像中的区域进行字符分割，获得道路限速标志内的所有字符。
8、对分割后的所有字符进行识别，即完成道路限速标志的识别，具体为将分割后的每个字符均进行归一化处理使其与模板库中的字符大小一致，然后基于分块SURF特征匹配法，以从左至右的顺序，利用图像匹配算法对归一化处理后的每个待识别字符与模板库中所有的字符分别进行匹配，并求取对应的相关系数，其中最大的相关系数对应的模板库中的字符即为待识别字符，从而完成道路限速标志的识别，如图7所示。
对112个限速标志的103帧视频影像进行如上的识别实验，采用HSV及特征向量字符分块模板匹配和Hough和投影法等上述提及的相关算法和改进算法，识别准确率达到97.56％，传统方法为85.41％。结果表明，本发明很大程度上提高了道路限速标志的识别准确率，有很高的应用价值。
本发明在能够适用于现有的行车记录仪等录像设备，适用范围广，且无需增加新的硬件设施，使用成本低。本发明针对各种复杂的路况或者极端天气下采集的图像均能够很好的识别限速标志，且识别准确度高。

Claims (8)

1.一种自然场景车载视频道路限速标志的检测与识别方法，其特征在于，包括以下步骤：
步骤1、从自然场景车载视频中采集包含道路限速标志的图像；
步骤2、对所述包含道路限速标志的图像进行滤波处理；
步骤3、对步骤2滤波处理后的图像进行阈值分割；
步骤4、对步骤3阈值分割后的图像进行二值化处理；
步骤5、对步骤4获得的二值化图像进行形态学处理和滤波处理；
步骤6、对步骤5处理后的图像中的道路限速标志进行定位，获得道路限速标志在图像中的区域；具体为：
步骤6-1、利用Hough变换圆检测法提取步骤5处理后的图像中的所有圆形目标区域；
步骤6-2、利用投影法对每个圆形目标区域内的像素进行垂直投影获得若干个垂直投影，之后对每个垂直投影对应的目标区域进行水平投影；
步骤6-3、根据每个圆形目标区域内像素垂直投影后垂直投影的个数、每个垂直投影的宽度与其所在圆形目标区域的直径之间的关系，以及对每个垂直投影对应的目标区域进行水平投影后投影的高度，提取出道路限速标志对应的圆形目标区域，具体为：
若对圆形目标区域内的像素依次进行垂直投影、水平投影后，同时满足以下条件：垂直投影的个数为1~3个、每个垂直投影的宽度为其所在圆形目标区域直径的1/4~1/3、所有的水平投影的高度为其所在圆形目标区域直径的1/3~1/2，则该圆形目标区域即为道路限速标志；
步骤7、对步骤6获得的道路限速标志在图像中的区域进行字符分割，获得道路限速标志内的所有字符；
步骤8、对步骤7分割后的所有字符进行识别，即完成道路限速标志的识别。
2.根据权利要求1所述的自然场景车载视频道路限速标志的检测与识别方法，其特征在于，步骤2所述滤波处理具体采用中值滤波处理。
3.根据权利要求1所述的自然场景车载视频道路限速标志的检测与识别方法，其特征在于，步骤3所述阈值分割具体采用基于HSV颜色空间的图像分割法。
4.根据权利要求1所述的自然场景车载视频道路限速标志的检测与识别方法，其特征在于，在执行步骤6之前对步骤5处理后的图像进行直方图均衡化和几何归一化处理。
5.根据权利要求1所述的自然场景车载视频道路限速标志的检测与识别方法，其特征在于，步骤8所述对步骤7分割后的所有字符进行识别并进行组合，即完成道路限速标志的识别，具体为：
步骤8-1、将步骤7分割后的每个字符均进行归一化处理使其与模板库中的字符大小一致；
步骤8-2、以从左至右的顺序，利用图像匹配算法对步骤8-1归一化处理后的每个待识别字符与模板库中所有的字符分别进行匹配，并求取对应的相关系数，其中最大的相关系数对应的模板库中的字符即为待识别字符，从而完成道路限速标志的识别。
6.根据权利要求5所述的自然场景车载视频道路限速标志的检测与识别方法，其特征在于，步骤8-2所述图像匹配算法具体采用基于分块特征匹配法。
7.根据权利要求6所述的自然场景车载视频道路限速标志的检测与识别方法，其特征在于，步骤8-2所述基于分块特征匹配法为基于分块SIFT特征匹配法。
8.根据权利要求6所述的自然场景车载视频道路限速标志的检测与识别方法，其特征在于，步骤8-2所述基于分块特征匹配法为基于分块SURF特征匹配法。
CN201811521604.5A 2018-12-13 2018-12-13 一种自然场景车载视频道路限速标志的检测与识别方法 Active CN109753880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811521604.5A CN109753880B (zh) 2018-12-13 2018-12-13 一种自然场景车载视频道路限速标志的检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811521604.5A CN109753880B (zh) 2018-12-13 2018-12-13 一种自然场景车载视频道路限速标志的检测与识别方法

Publications (2)

Publication Number Publication Date
CN109753880A CN109753880A (zh) 2019-05-14
CN109753880B true CN109753880B (zh) 2022-09-27

Family

ID=66402613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811521604.5A Active CN109753880B (zh) 2018-12-13 2018-12-13 一种自然场景车载视频道路限速标志的检测与识别方法

Country Status (1)

Country Link
CN (1) CN109753880B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334601A (zh) * 2019-06-04 2019-10-15 武汉极目智能技术有限公司 一种结合机器学习和计算机视觉的限速标志牌识别方法
CN113792611A (zh) * 2021-08-20 2021-12-14 昆明理工大学 一种运行在辅助驾驶边缘设备上的道路限速标志识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968624A (zh) * 2012-12-12 2013-03-13 天津工业大学 一种人脸图像中的人眼定位方法
CN104834932A (zh) * 2015-04-29 2015-08-12 河南城建学院 一种汽车车牌识别的matlab算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968624A (zh) * 2012-12-12 2013-03-13 天津工业大学 一种人脸图像中的人眼定位方法
CN104834932A (zh) * 2015-04-29 2015-08-12 河南城建学院 一种汽车车牌识别的matlab算法

Also Published As

Publication number Publication date
CN109753880A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
WO2020173022A1 (zh) 一种识别车辆违章行为的方法、服务器及存储介质
WO2018018788A1 (zh) 一种基于图像识别的计量表抄表装置及其方法
CN102509098B (zh) 一种鱼眼图像车辆识别方法
Shidore et al. Number plate recognition for indian vehicles
CN103093201B (zh) 车标定位识别方法及系统
CN103077407B (zh) 车标定位识别方法及系统
CN104361336A (zh) 一种水下视频图像的文字识别方法
KR20130105952A (ko) 차량 번호판 인식 방법과 그 장치
Paunwala et al. A novel multiple license plate extraction technique for complex background in Indian traffic conditions
CN105956579A (zh) 融合模糊模板和点特征的手指静脉快速识别方法
CN111027544B (zh) 一种基于视觉显著性检测的mser车牌定位方法及系统
CN102842037A (zh) 一种基于多特征融合的车辆阴影消除方法
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN105718916A (zh) 一种基于霍夫变换的车道线检测方法
CN103324958B (zh) 一种复杂背景下基于投影法和svm的车牌定位方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN109753880B (zh) 一种自然场景车载视频道路限速标志的检测与识别方法
CN104616019A (zh) 电力设备标牌图像的识别方法
CN108520252B (zh) 基于广义霍夫变换和小波变换的路标识别方法
CN103065137A (zh) 一种车牌字符识别方法
Huang A novel video text extraction approach based on Log-Gabor filters
CN113449629B (zh) 基于行车视频的车道线虚实识别装置、方法、设备及介质
Liu et al. Real-time speed limit sign detection and recognition from image sequences
CN204347862U (zh) 一种车辆车标识别系统
Dandu et al. Vehicular number plate recognition using edge detection and characteristic analysis of national number plates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant