CN109782364B - 基于机器视觉的交通标志牌缺失检测方法 - Google Patents
基于机器视觉的交通标志牌缺失检测方法 Download PDFInfo
- Publication number
- CN109782364B CN109782364B CN201811600053.1A CN201811600053A CN109782364B CN 109782364 B CN109782364 B CN 109782364B CN 201811600053 A CN201811600053 A CN 201811600053A CN 109782364 B CN109782364 B CN 109782364B
- Authority
- CN
- China
- Prior art keywords
- traffic
- data information
- traffic sign
- sign
- signboards
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的交通标志牌缺失检测方法，该方法包括：利用摄像装置采集待检测路段上的视频；通过图像识别模块和定位装置获得标志牌相关数据信息；在此后的每次巡查过程中，对采集到的相同路段的视频进行分析处理，与首次得到的数据信息做比对，检测标志牌的缺失情况。本发明针对当前交通标志牌缺失检测主要基于人工手段进行巡查的现象，结合机器视觉技术对标志牌的缺失问题进行自动化检测，有效解决了现有手段效率低、作业量大且准确度差的问题，大大提高了巡查效率和准确率。
Description
技术领域
本发明涉及智能交通技术领域，特别是一种基于机器视觉的交通标志牌缺失检测方法。
背景技术
随着全国道路交通网络的不断发展，我国各地的道路交通建设日趋完善，道路及其附属设施发生着日新月异的变化。然而，早期“重建设，轻管理”的问题束缚了当前道路交通的发展，现今的道路管养部门仍处于起步阶段，维护、管理水平还有待提升。所以，提高交通信息化管理与服务水平，加强交通管理建设成为了目前道路交通发展的关键。
道路交通标志牌是道路信息的重要组成部分，用以管理交通、指示行车方向以保证道路畅通与行车安全。它是显示交通法规及道路信息的图形符号，可以使交通法规得到形象、具体、简明的表达，是一种不可或缺的交通安全附属设施。然而，在我国各地各等级的道路上，由于地物遮挡、标志牌破损及标志牌被盗等原因，引起了交通标志牌缺失的问题。这些情况不但给国家造成了直接的经济损失外，而且由此造成的安全隐患更是难以估量，因此，对交通标志牌的巡查工作成为了道路管养部门日常重要工作之一。
目前，大部分城市交通标志牌的缺失巡查工作主要基于人工手段进行，这种手段存在效率低、作业量大且准确度差的问题，每次巡查工作均需要消耗大量的人力物力，限制了道路交通附属设施维护的及时性，不利于数据信息的及时更新。
发明内容
本发明的目的在于提供一种基于机器视觉的交通标志牌缺失检测方法。
实现本发明目的的技术方案为：一种基于机器视觉的交通标志牌缺失检测方法，具体步骤为：
步骤1，利用摄像装置采集待检测路段上的视频；
步骤2，利用识别模块检测分析视频中存在的交通标志牌，并在检测到交通标志牌的同时采用定位装置确定当前地理位置；
步骤3，在此后相同路段的每次巡查过程中，再次执行步骤1和步骤2获得所有交通标志牌的数据信息，与首次得到的数据信息做比对，检测交通标志牌的缺失情况。
本发明与现有技术相比，其显著优点为：本发明采用一种基于机器视觉的交通标志牌缺失检测方法，结合机器视觉技术对标志牌的缺失问题进行自动化检测，有效解决了现有人工手段效率低、作业量大且准确度差的问题，弥补了现今手段技术存在的不足，大大提高了巡查效率和准确率，是一种高效、可靠且低成本高收益的检测方式。
附图说明
图1为本发明基于机器视觉的交通标志牌缺失检测方法流程图。
图2为本发明基于机器视觉的交通标志牌缺失检测方法中利用摄像装置进行标志牌数据信息采集的示意图。
图3为本发明基于机器视觉的交通标志牌缺失检测方法中改进的YOLO神经网络结构示意图。
具体实施方式
如图1所示，一种基于机器视觉的交通标志牌缺失检测方法，包括以下步骤：
步骤1，利用摄像装置采集待检测路段上的视频；
步骤2，利用识别模块检测分析视频中存在的交通标志牌，并在检测到交通标志牌的同时采用定位装置确定当前地理位置；
步骤3，在此后相同路段的每次巡查过程中，再次执行步骤1和步骤2获得所有交通标志牌的数据信息，与首次得到的数据信息做比对，检测交通标志牌的缺失情况。
进一步的，步骤1具体为：所述摄像装置包括摄像头和摄像头控制模块，摄像头控制模块自动调节摄像头焦距和曝光度，并将所拍摄得的视频进行传输与存储；所述摄像装置装载于载运工具上，沿待测路段行进，将拍摄得到的待测路段画面传送给后台数据解析模块，后台数据解析模块包括识别模块及定位装置。
进一步的，步骤2具体为：识别模块对摄像装置传回的视频进行检测分析，将待检测的视频分解成若干帧图像，利用预先训练好的改进的YOLO神经网络结构模型提取图像特征，检测出图像视频中的交通标志牌，并分析得到交通标志牌的类型及含义，同时触发所述定位装置，获得当前所处位置的地理坐标，最后将所述类型、含义及地理坐标存入数据库；交通标志牌类型包括广告标志、禁令标志、警告标志、指路标志及指示标志，交通标志牌含义是指其所传递的引导、限制、警告或指示信息。
所述改进的YOLO神经网络结构模型具体为：基于交通标志尺度较小的特点，删除YOLO预测层中52*52*255的大尺度预测层，同时，对13*13*255的小尺度预测层进行上采样，与26*26*255的中尺度预测层进行累加融合，重组成新的26*26*255的预测层，然后以13*13*255的小尺度预测层和重组后26*26*255的中尺度预测层分别预测不同尺度的目标，从而完成对所有目标的预测；其中，预测层是指原始YOLOv3神经网络结构中的输出层。
进一步的，所述步骤3具体为：在此后相同路段的每次巡查过程中，均会再次执行步骤1和步骤2获得该路段上所有交通标志牌的数据信息，其中，所述数据信息包含标志牌的类型、含义及地理坐标，然后将本次巡查所获得的数据信息与首次巡查得到的数据信息进行比对，若首次巡查中存在本次巡查中无法匹配成功的标志牌数据信息，则判断该标志牌存在缺失的情况；其中，所述巡查过程指检测路段上标志牌是否存在缺失情况的过程；匹配成功是指标志牌的类型、含义相同，且经度、纬度均相差设定阈值范围内；所述缺失应包含标志牌被遮挡导致无法检测到的情况。
进一步的，匹配成功是指标志牌的类型、含义相同，且经度、纬度均相差0.5"以内。
下面结合实施例对本发明进行详细说明。
实施例
结合图1，一种基于机器视觉的交通标志牌缺失检测方法，具体步骤如下：
1)利用摄像装置采集待检测路段上的视频
摄像装置主要包括摄像头及摄像头控制模块，摄像头控制模块可自动调节摄像头焦距和曝光度，并将所拍摄得的视频进行传输与存储。如图2所示，将摄像装置放置于小汽车前挡风玻璃后，对准小汽车前方道路，与小汽车行驶方向保持一致，随后沿着待测路段前进，拍摄该路段的实时画面，并回传给后台数据解析模块，后台数据解析模块包括识别模块及定位装置。
2)利用识别模块检测分析视频中存在的标志牌，并在检测到标志牌的同时采用定位装置确定当前地理位置
所述识别模块对摄像装置传回的视频进行检测分析，利用改进的YOLO神经网络模型检测出图像视频中的标志牌，并分析得到标志牌的类型及含义，同时触发所述定位装置，获得当前所处位置的地理坐标，最后将所述类型、含义及地理坐标存入数据库。假定检测得标志牌A后，即对标志牌进行分析，得到其为禁令标志，表征限速100km/h，位于32°02'38"N，118°46'43"E，则将这些数据信息保存入数据库，作为该路段上一个标志牌的唯一信息。如图3所示，改进的YOLO神经网络结构模型是指：基于交通标志尺度较小的特点，删除YOLO预测层中52x52x255的大尺度预测层y3，同时，对13x13x255的小尺度预测层y1进行上采样，与26x26x255的中尺度预测层y2进行累加融合，重组成新的26x26x255的预测层new y2，然后以13x13x255的小尺度预测层y1和重组后26x26x255的中尺度预测层new y2分别预测不同尺度的目标，从而完成对所有目标的预测。其中，预测层是指原始YOLOv3神经网络结构中的输出层y1、y2、y3。
3)在此后相同路段的每次巡查过程中，再次执行步骤1和步骤2获得所有标志牌的数据信息，与首次得到的数据信息做比对，检测标志牌的遮挡、缺失情况。信息比对不成功表明算法无法检测到该标志牌，除了缺失的情况，也有可能是因为标志牌被大面积遮挡，导致后续的巡查中检测不到，所以遮挡应属于缺失的一种情况，检测方法是一致的。
巡查过程是指检测路段上标志牌是否存在缺失情况的过程，在此后相同路段的每次巡查过程中，均会再次执行步骤1和步骤2获得该路段上所有标志牌的数据信息，其中，所述数据信息包含标志牌的类型、含义及地理坐标，然后将本次巡查所获得的数据信息与首次巡查得到的数据信息进行比对，若首次巡查中存在本次巡查中无法匹配成功的标志牌数据信息，其中，所述匹配成功是指标志牌的类型、含义相同，且地理坐标相近，则判断该标志牌存在缺失的情况，例如首次巡查记录下的所有标志牌数据信息中存在一个标志牌B1，其为指示标志，表征左转，位于32°02'40"N，118°46'45"E，但无法在本次巡查记录下的数据信息中找到某一标志牌B2，同样为指示标志，表征左转，且与标志牌B1的经度、纬度均相差0.5"以内，则表示标志牌B1存在缺失的情况。
Claims (2)
1.一种基于机器视觉的交通标志牌缺失检测方法，其特征在于，包括以下步骤：
步骤1，利用摄像装置采集待检测路段上的视频；具体为：
所述摄像装置包括摄像头和摄像头控制模块，摄像头控制模块自动调节摄像头焦距和曝光度，并将所拍摄得的视频进行传输与存储；所述摄像装置装载于载运工具上，沿待测路段行进，将拍摄得到的待测路段画面传送给后台数据解析模块，后台数据解析模块包括识别模块及定位装置；
步骤2，利用识别模块检测分析视频中存在的交通标志牌，并在检测到交通标志牌的同时通过定位装置确定当前地理位置；具体为：
识别模块对摄像装置传回的视频进行检测分析，将待检测的视频分解成若干帧图像，利用预先训练好的改进的YOLO神经网络结构模型提取图像特征，检测出视频中的交通标志牌，并分析得到交通标志牌的类型及含义，同时触发所述定位装置，获得当前所处位置的地理坐标，最后将所述类型、含义及地理坐标存入数据库；交通标志牌类型包括广告标志、禁令标志、警告标志、指路标志及指示标志，交通标志牌含义是指交通标志牌所传递的引导、限制、警告或指示信息；所述改进的YOLO神经网络结构模型具体为：
删除YOLO预测层中52*52*255的大尺度预测层，同时，对13*13*255的小尺度预测层进行上采样，与26*26*255的中尺度预测层进行累加融合，重组成新的26*26*255的预测层，然后以13*13*255的小尺度预测层和重组后26*26*255的中尺度预测层分别预测不同尺度的目标，从而完成对所有目标的预测；其中，预测层是指原始YOLOv3神经网络结构中的输出层；
步骤3，在此后相同路段的每次巡查过程中，再次执行步骤1和步骤2获得所有交通标志牌的数据信息，与首次得到的数据信息做比对，检测交通标志牌的缺失情况；具体为：
在此后相同路段的每次巡查过程中，再次执行步骤1和步骤2获得该路段上所有交通标志牌的数据信息，所述数据信息包含交通标志牌的类型、含义及地理坐标，然后将本次巡查所获得的数据信息与首次巡查得到的数据信息进行比对，若首次巡查中存在本次巡查中无法匹配成功的交通标志牌数据信息，则判断该标志牌存在缺失的情况；匹配成功是指交通标志牌的类型、含义相同，且经度、纬度均相差在设定阈值范围内。
2.根据权利要求1所述的基于机器视觉的交通标志牌缺失检测方法，其特征在于，匹配成功是指交通标志牌的类型、含义相同，且经度、纬度均相差0.5"以内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811600053.1A CN109782364B (zh) | 2018-12-26 | 2018-12-26 | 基于机器视觉的交通标志牌缺失检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811600053.1A CN109782364B (zh) | 2018-12-26 | 2018-12-26 | 基于机器视觉的交通标志牌缺失检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109782364A CN109782364A (zh) | 2019-05-21 |
| CN109782364B true CN109782364B (zh) | 2021-08-24 |
Family
ID=66498424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811600053.1A Active CN109782364B (zh) | 2018-12-26 | 2018-12-26 | 基于机器视觉的交通标志牌缺失检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109782364B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956642A (zh) * | 2019-12-03 | 2020-04-03 | 深圳市未来感知科技有限公司 | 多目标跟踪识别方法、终端及可读存储介质 |
| CN111160368A (zh) * | 2019-12-24 | 2020-05-15 | 中国建设银行股份有限公司 | 图像中目标检测方法、装置、设备及存储介质 |
| CN111652940B (zh) * | 2020-04-30 | 2024-06-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
| CN112071078B (zh) * | 2020-09-01 | 2022-11-08 | 交科院检测技术（北京）有限公司 | 交通工程环境智能检测系统 |
| CN112458642B (zh) * | 2020-09-22 | 2022-04-12 | 浙江玛雅机电科技有限公司 | 一种基于图像识别的自动特种绣方法及系统 |
| CN114427876B (zh) * | 2021-12-15 | 2023-11-28 | 武汉中海庭数据技术有限公司 | 一种交通看板关联关系的自动化检查方法及系统 |
| CN114973206A (zh) * | 2022-07-28 | 2022-08-30 | 临沂市公路事业发展中心 | 一种路面病害自动识别管理方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101737791B1 (ko) * | 2014-10-23 | 2017-05-19 | 현대모비스 주식회사 | 교통 표지판 인식 장치 및 그 동작 방법 |
| CN104637300B (zh) * | 2015-02-06 | 2017-01-04 | 南京理工大学 | 公路交通标志牌信息化普查分析与展示系统 |
| CN104766086B (zh) * | 2015-04-15 | 2017-08-25 | 湖南师范大学 | 一种公路标识的监管方法和系统 |
| EP3131020B1 (en) * | 2015-08-11 | 2017-12-13 | Continental Automotive GmbH | System and method of a two-step object data processing by a vehicle and a server database for generating, updating and delivering a precision road property database |
| CN106023623A (zh) * | 2016-07-28 | 2016-10-12 | 南京理工大学 | 基于机器视觉的车载交通信号与标志的识别及预警方法 |
| CN106326858A (zh) * | 2016-08-23 | 2017-01-11 | 北京航空航天大学 | 一种基于深度学习的公路交通标志自动识别与管理系统 |
| CN107194383A (zh) * | 2017-07-10 | 2017-09-22 | 上海应用技术大学 | 基于改进Hu不变矩和ELM的交通标志牌识别方法和装置 |
-
2018
- 2018-12-26 CN CN201811600053.1A patent/CN109782364B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109782364A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109782364B (zh) | 基于机器视觉的交通标志牌缺失检测方法 | |
| Maeda et al. | Road damage detection using deep neural networks with images captured through a smartphone | |
| CN111833598B (zh) | 一种高速公路无人机交通事件自动监测方法及系统 | |
| CN111753612B (zh) | 一种抛洒物检测方法、装置及存储介质 | |
| KR20190094005A (ko) | 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법 | |
| CN109815912B (zh) | 一种基于人工智能的高速公路安全巡查系统 | |
| CN104766086A (zh) | 一种公路标识的监管方法和系统 | |
| Borkar et al. | An efficient method to generate ground truth for evaluating lane detection systems | |
| US20230306573A1 (en) | Systems and methods for assessing infrastructure | |
| CN110610153A (zh) | 一种用于自动驾驶的车道识别方法及系统 | |
| CN109993163A (zh) | 一种基于人工智能的非标铭牌识别系统及其识别方法 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| WO2020048116A1 (zh) | 经济地理要素后处理分析与挖掘方法及系统 | |
| CN111144301A (zh) | 一种基于深度学习的道路路面缺陷快速预警装置 | |
| CN116434525A (zh) | 一种高速公路智能管理预警系统 | |
| CN112101223A (zh) | 检测方法、装置、设备和计算机存储介质 | |
| CN114648748A (zh) | 一种基于深度学习的机动车违停智能识别方法及系统 | |
| CN115994901A (zh) | 一种道路病害自动检测方法与系统 | |
| KR102562757B1 (ko) | 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법 | |
| CN115272222A (zh) | 道路检测信息的处理方法、装置、设备及存储介质 | |
| CN109934161B (zh) | 基于卷积神经网络的车辆识别与检测方法及系统 | |
| CN116229396B (zh) | 高速路面病害识别及告警方法 | |
| CN115965926A (zh) | 一种车载式道路标志标线巡检系统 | |
| KR102493800B1 (ko) | 주행환경 정적객체인지 ai 데이터 처리 방법 및 이를 위한 장치 | |
| CN112861701B (zh) | 违章停车识别方法、装置、电子设备以及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 210014 No. 9, Ziyun Avenue, Qinhuai District, Jiangsu, Nanjing Applicant after: China Design Group Co.,Ltd. Address before: 210014 No. 9, Ziyun Avenue, Qinhuai District, Jiangsu, Nanjing Applicant before: CHINA DESIGN GROUP Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |