CN114120080A - 一种违反禁止标线的车辆违法行为的识别方法 - Google Patents

一种违反禁止标线的车辆违法行为的识别方法 Download PDF

Info

Publication number
CN114120080A
CN114120080A CN202111462046.1A CN202111462046A CN114120080A CN 114120080 A CN114120080 A CN 114120080A CN 202111462046 A CN202111462046 A CN 202111462046A CN 114120080 A CN114120080 A CN 114120080A
Authority
CN
China
Prior art keywords
illegal
motor vehicle
marking
pictures
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111462046.1A
Other languages
English (en)
Inventor
孔晨晨
黄淑兵
张慧辰
肖鹏飞
曹长剑
曹鹏
葛广照
赵磊
孙瀚
邓力恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Management Research Institute of Ministry of Public Security
Original Assignee
Traffic Management Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Management Research Institute of Ministry of Public Security filed Critical Traffic Management Research Institute of Ministry of Public Security
Priority to CN202111462046.1A priority Critical patent/CN114120080A/zh
Publication of CN114120080A publication Critical patent/CN114120080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种违反禁止标线的车辆违法行为的识别方法，其可以在不依赖场景要素标注和识别的基础上，结合追踪结果和分类结果进行违反禁止标线违法行为的识别。本发明技术方案中，通过设置违规行为标注框，将机动车与其周边环境的背景信息统一标注，基于包含背景信息的违法行检测用图片训练得到车辆行为分类模型，基于车辆行为分类模型对包括背景信息的违法识别待识别图片进行识别，然后基于识别结果中的机动车行为类型，判断待识别监控图片对应的车辆是否存在违反禁止标线的违法行为。

Description

一种违反禁止标线的车辆违法行为的识别方法
技术领域
本发明涉及智能交通控制技术领域，具体为一种违反禁止标线的车辆违法行为的识别方法。
背景技术
机动车违法行为中，如：白实线变道、黄实线停车等等违反禁止标线的违法行为是常见的交通违规。随着当前各类深度学习技术在智能交通领域广泛应用，现有技术中对机动车的违反禁止标线的违法行为的分析，多是应用目标检测和目标追踪技术实现视频中机动车的轨迹分析，结合人工标注或算法识别的背景信息，判断有无违反禁止标线的违法行为。但是，现有的技术方案中，在结合背景信息判断车辆是否违法的过程里，需要对图片中的禁止标线和车辆的位置关系做逻辑判断，因为显示中存在的情况随机性很大，无法通过穷举的方法覆盖，所以需要非常复杂的车辆轨迹分析算法或者需要人工添加很多场景要素的标注，才能判断车辆是否有违法行为，导致现有技术中的针对表现违法行为识别的方法都非常复杂，实现比较困难。
发明内容
为了解决现有技术中的针对表现违法行为识别的方法都比较复杂，实现比较困难的问题，本发明提供一种违反禁止标线的车辆违法行为的识别方法，其可以在不依赖场景要素标注和识别的基础上，结合追踪结果和分类结果进行违反禁止标线违法行为的识别。
本发明的技术方案是这样的：一种违反禁止标线的车辆违法行为的识别方法，其包括以下步骤：
S1：收集监控图片，通过机动车位置标注框，对图片中的机动车进行位置标注，得到机动车位置检测用图片；
其特征在于，其还包括以下步骤：
S2：对所述机动车位置检测用图片，用违规行为标准框进行标注，得到分类基础图片；
所述违规行为标注框的位置中心与所述机动车位置标注框中心相同；
所述违规行为标注框的尺寸为：按照预设的违规位置阈值，以所述机动车位置标注框的中心为中心，在所述机动车位置标注框的上、下、左和右四个方向上分别进行扩充；
S3：基于所述分类基础图片，按照机动车行为类型进行分类，得到违法行检测用图片；
所述机动车行为类型包括：黄实线场景无违法、黄实线场景有违法、黄虚线场景、白实线场景无违法、白实线场景有违法、白虚线场景、导流线场景无违法、导流线场景有违法、无标线场景、其他场景；
S4：基于所述机动车位置检测用图片，训练车辆目标检测模型，得到训练好的所述车辆目标检测模型；
S5：基于所述违法行检测用图片，训练车辆行为分类模型，得到训练好的所述车辆行为分类模型；
S6：取得所有待识别监控图片，将所述待识别监控图片输入到训练好的所述车辆目标检测模型中，得到带有识别结果的图片，将其中检测出有机动车的图片，记做违法行为待识别图片；
S7：将所述违法识别待识别图片基于所述违规行为标注框进行标注；
S8：将标注完毕的所述违法行为待识别图片输入到训练好的所述车辆行为分类模型中，得到对应的所述机动车行为类型；
S9：基于所述违法行为待识别图片对一个的所述机动车行为类型，判断所述待识别监控图片对应的车辆是否存在违反禁止标线的违法行为。
其进一步特征在于：
所述违规位置阈值设置为扩充方向上所述机动车位置标注框的对应边长的1/5；
步骤S9中，判断所述待识别监控图片对应的车辆是否存在违反禁止标线的违法行为，具体包括以下步骤：
a1：基于所述待识别监控图片获取待识别车牌号码；
a2：找到所述待识别车牌号码对应的所有所述违法行为待识别图片和基于所述车辆行为分类模型识别后得到的所述机动车行为类型；
a3：确认所述待识别车牌号码对应的所述机动车行为类型中是否包括：黄实线场景有违法或导流线场景有违法；
如果至少包括黄实线场景有违法或导流线场景有违法的二者之一，则，所述待识别车牌号码存在违法行为；
否则，实施步骤a4；
a4：确认所述待识别车牌号码对应的所述机动车行为类型中是否包括：白实线场景有违法；
如果不包括：白实线场景有违法，则所述待识别车牌号码不存在违法行为；
否则，取出所述待识别车牌号码对应的识别结果为白实线场景有违法的所有所述违法行为待识别图片，记做违法嫌疑帧；
a5：确认所述违法嫌疑帧的数量，当所述违法嫌疑帧的数量大于1的时候，则判断所述待识别车牌号码存在违法行为。
本发明提供的一种违反禁止标线的车辆违法行为的识别方法，通过设置违规行为标注框，将机动车与其周边环境的背景信息统一标注，基于包含背景信息的违法行检测用图片训练得到车辆行为分类模型，基于车辆行为分类模型对包括背景信息的违法识别待识别图片进行识别，然后基于识别结果中的机动车行为类型，判断待识别监控图片对应的车辆是否存在违反禁止标线的违法行为。识别过程中，无需对背景信息与机动车的关系进行逻辑判断，无需人工添加场景要素标注，即可实现违反禁止标线的车辆违法行为的识别，系统结构简单，实现方便，效率更高。
附图说明
图1为本发明的违反禁止标线的车辆违法行为的识别方法流程图；
图2为机动车位置标注框与违规行为标注框标注后的图片对比实施例。
具体实施方式
如图1所示，本发明一种违反禁止标线的车辆违法行为的识别方法，其包括以下步骤：
S1：收集监控图片，通过机动车位置标注框，对图片中的机动车进行位置标注，得到机动车位置检测用图片。
具体实施时，监控图片基于现有技术获得，包括：卡口系统抓拍的图片、监控视频抓取的视频数据逐帧分解后得到的图片和其他任何现有技术得到的记录车辆行驶行为的图片。
S2：对机动车位置检测用图片，用违规行为标准框进行标注，得到分类基础图片；
违规行为标注框的位置中心与机动车位置标注框中心相同；违规行为标注框的尺寸为：按照预设的违规位置阈值，以机动车位置标注框的中心为中心，在机动车位置标注框的上、下、左和右四个方向上分别进行扩充；
现有技术中在做违法行为识别的时候，大多只通过机动车位置标注框标注机动车位置，机动车位置标注框中不包括背景信息，然后将识别出来的机动车与背景信息中违法禁止标线的位置关系进行判定，所以过程非常复杂。本发明中，则通过将机动车与环境背景信息视为一体，进行分类识别。使用到的违规行为标注框与机动车位置标注框中心相同，但是标记的图片面积扩大，确保标记的图片内容充分包含机动车和场景信息。
本实施例中，违规位置阈值设置为扩充方向上机动车位置标注框的对应边长的1/5；如：机动车位置标注框的尺寸为5cm*4cm的矩形框，高度边长为5cm，高度边长的1/5是1cm，宽度边长4cm的1/5是4/5cm，则：分别在高度边长的两个方向都向外延长1/5，在宽度边长的两端向外分别延长1/5，违规行为标注框的尺寸为（5+1+1）cm*（4+0.8+0.8）4cm = 7cm*5.6cm。如图2所示，图2中左侧为基于机动车位置标注框标注的机动车图片，右侧为基于违规行为标注框标注后的图片，右侧的图片中，机动车的车轮和禁止标线的位置关系被包含在内。
S3：基于分类基础图片，按照机动车行为类型进行分类，得到违法行检测用图片；
机动车行为类型包括：黄实线场景无违法、黄实线场景有违法、黄虚线场景、白实线场景无违法、白实线场景有违法、白虚线场景、导流线场景无违法、导流线场景有违法、无标线场景、其他场景。具体实施的是，可以定期根据现实生活中的违反禁止标线的类型的变化调整机动车行为类型，进而调整车辆行为分类模型的检测内容。确保本发明技术方案更具实用性。
S4：基于机动车位置检测用图片，训练车辆目标检测模型，得到训练好的车辆目标检测模型。
具体实施时，车辆目标检测模型基于现有的深度学习技术实现即可，如YOLO或其他one-step的目标检测模型。
S5：基于违法行检测用图片，训练车辆行为分类模型，得到训练好的车辆行为分类模型。
因为现实生活中违反禁止标线的违法行为种类是有限的，所以车辆行为分类模型基于浅层的深度学习模型技术实现即可，如：AlexNet模型，确保模型构建、训练无需花费过多时间，提高系统的整体工作效率。
S6：取得所有待识别监控图片，将待识别监控图片输入到训练好的车辆目标检测模型中，得到带有识别结果的图片，将其中检测出有机动车的图片，记做违法行为待识别图片。
具体实施时，根据图片来源待识别监控图片包括：卡口系统抓拍的图片、监控视频抓取的视频数据，如果图片来源是监控视频抓取的视频数据，则先基于现有视频数据分析技术将视频数据逐帧分解，进行预处理后再进行后续识别。
S7：将违法识别待识别图片基于违规行为标注框进行标注。
S8：将标注完毕的违法行为待识别图片输入到训练好的车辆行为分类模型中，得到对应的机动车行为类型。
S9：基于违法行为待识别图片对一个的机动车行为类型，判断待识别监控图片对应的车辆是否存在违反禁止标线的违法行为。
步骤S9中，判断待识别监控图片对应的车辆是否存在违反禁止标线的违法行为，具体包括以下步骤：
a1：基于待识别监控图片获取待识别车牌号码；
a2：找到待识别车牌号码对应的所有违法行为待识别图片和基于车辆行为分类模型识别后得到的机动车行为类型；
a3：确认待识别车牌号码对应的机动车行为类型中是否包括：黄实线场景有违法或导流线场景有违法；
如果至少包括黄实线场景有违法或导流线场景有违法的二者之一，则，待识别车牌号码存在违法行为；
否则，实施步骤a4；
a4：确认待识别车牌号码对应的机动车行为类型中是否包括：白实线场景有违法；
如果不包括：白实线场景有违法，则待识别车牌号码不存在违法行为；
否则，取出待识别车牌号码对应的识别结果为白实线场景有违法的所有违法行为待识别图片，记做违法嫌疑帧；
a5：确认违法嫌疑帧的数量，当违法嫌疑帧的数量大于1的时候，则判断待识别车牌号码存在违法行为。
使用本发明的技术方案后，对违反禁止标线的车辆违法行为进行识别，系统结构简单，容易构建，识别效率高，能够快速高效的完成识别，尤其适合交通流量大的应用场景。

Claims (3)

1.一种违反禁止标线的车辆违法行为的识别方法，其包括以下步骤：
S1：收集监控图片，通过机动车位置标注框，对图片中的机动车进行位置标注，得到机动车位置检测用图片；
其特征在于，其还包括以下步骤：
S2：对所述机动车位置检测用图片，用违规行为标准框进行标注，得到分类基础图片；
所述违规行为标注框的位置中心与所述机动车位置标注框中心相同；
所述违规行为标注框的尺寸为：按照预设的违规位置阈值，以所述机动车位置标注框的中心为中心，在所述机动车位置标注框的上、下、左和右四个方向上分别进行扩充；
S3：基于所述分类基础图片，按照机动车行为类型进行分类，得到违法行检测用图片；
所述机动车行为类型包括：黄实线场景无违法、黄实线场景有违法、黄虚线场景、白实线场景无违法、白实线场景有违法、白虚线场景、导流线场景无违法、导流线场景有违法、无标线场景、其他场景；
S4：基于所述机动车位置检测用图片，训练车辆目标检测模型，得到训练好的所述车辆目标检测模型；
S5：基于所述违法行检测用图片，训练车辆行为分类模型，得到训练好的所述车辆行为分类模型；
S6：取得所有待识别监控图片，将所述待识别监控图片输入到训练好的所述车辆目标检测模型中，得到带有识别结果的图片，将其中检测出有机动车的图片，记做违法行为待识别图片；
S7：将所述违法识别待识别图片基于所述违规行为标注框进行标注；
S8：将标注完毕的所述违法行为待识别图片输入到训练好的所述车辆行为分类模型中，得到对应的所述机动车行为类型；
S9：基于所述违法行为待识别图片对一个的所述机动车行为类型，判断所述待识别监控图片对应的车辆是否存在违反禁止标线的违法行为。
2.根据权利要求1所述一种违反禁止标线的车辆违法行为的识别方法，其特征在于：所述违规位置阈值设置为扩充方向上所述机动车位置标注框的对应边长的1/5。
3.根据权利要求1所述一种违反禁止标线的车辆违法行为的识别方法，其特征在于：步骤S9中，判断所述待识别监控图片对应的车辆是否存在违反禁止标线的违法行为，具体包括以下步骤：
a1：基于所述待识别监控图片获取待识别车牌号码；
a2：找到所述待识别车牌号码对应的所有所述违法行为待识别图片和基于所述车辆行为分类模型识别后得到的所述机动车行为类型；
a3：确认所述待识别车牌号码对应的所述机动车行为类型中是否包括：黄实线场景有违法或导流线场景有违法；
如果至少包括黄实线场景有违法或导流线场景有违法的二者之一，则，所述待识别车牌号码存在违法行为；
否则，实施步骤a4；
a4：确认所述待识别车牌号码对应的所述机动车行为类型中是否包括：白实线场景有违法；
如果不包括：白实线场景有违法，则所述待识别车牌号码不存在违法行为；
否则，取出所述待识别车牌号码对应的识别结果为白实线场景有违法的所有所述违法行为待识别图片，记做违法嫌疑帧；
a5：确认所述违法嫌疑帧的数量，当所述违法嫌疑帧的数量大于1的时候，则判断所述待识别车牌号码存在违法行为。
CN202111462046.1A 2021-12-02 2021-12-02 一种违反禁止标线的车辆违法行为的识别方法 Pending CN114120080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111462046.1A CN114120080A (zh) 2021-12-02 2021-12-02 一种违反禁止标线的车辆违法行为的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111462046.1A CN114120080A (zh) 2021-12-02 2021-12-02 一种违反禁止标线的车辆违法行为的识别方法

Publications (1)

Publication Number Publication Date
CN114120080A true CN114120080A (zh) 2022-03-01

Family

ID=80366413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111462046.1A Pending CN114120080A (zh) 2021-12-02 2021-12-02 一种违反禁止标线的车辆违法行为的识别方法

Country Status (1)

Country Link
CN (1) CN114120080A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110685536A (zh) * 2018-07-04 2020-01-14 郑州宇通客车股份有限公司 一种自动驾驶车辆安全控制方法及装置
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
WO2020192122A1 (zh) * 2019-03-27 2020-10-01 江苏智通交通科技有限公司 一种闯红灯车辆的非现场执法图片智能审核方法和系统
CN112163543A (zh) * 2020-10-12 2021-01-01 北京易华录信息技术股份有限公司 一种车辆违法占道的检测方法及系统
CN112509325A (zh) * 2020-12-04 2021-03-16 公安部交通管理科学研究所 一种基于视频深度学习的非现场违法自动甄别方法
WO2021184628A1 (zh) * 2020-03-18 2021-09-23 平安国际智慧城市科技股份有限公司 一种图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110685536A (zh) * 2018-07-04 2020-01-14 郑州宇通客车股份有限公司 一种自动驾驶车辆安全控制方法及装置
WO2020192122A1 (zh) * 2019-03-27 2020-10-01 江苏智通交通科技有限公司 一种闯红灯车辆的非现场执法图片智能审核方法和系统
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
WO2021184628A1 (zh) * 2020-03-18 2021-09-23 平安国际智慧城市科技股份有限公司 一种图像处理方法及装置
CN112163543A (zh) * 2020-10-12 2021-01-01 北京易华录信息技术股份有限公司 一种车辆违法占道的检测方法及系统
CN112509325A (zh) * 2020-12-04 2021-03-16 公安部交通管理科学研究所 一种基于视频深度学习的非现场违法自动甄别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付川云;刘华;周悦;王道莘;张伟;: "基于电子抓拍数据的交通违法行为影响因素研究", 武汉理工大学学报(交通科学与工程版), no. 06, 15 December 2019 (2019-12-15) *
王军群;李华鹏;: "基于深度学习算法的车辆违法行为智能分析", 上海船舶运输科学研究所学报, no. 04, 30 December 2019 (2019-12-30) *

Similar Documents

Publication Publication Date Title
Yang et al. Vehicle detection in intelligent transportation systems and its applications under varying environments: A review
Balali et al. Evaluation of multiclass traffic sign detection and classification methods for US roadway asset inventory management
CN106600977B (zh) 基于多特征识别的违停检测方法及系统
CN103279756B (zh) 基于集成分类器的车辆检测分析系统及其检测分析方法
CN105930791A (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
CN110738857A (zh) 一种车辆违章取证方法、装置及设备
Uy et al. Automated traffic violation apprehension system using genetic algorithm and artificial neural network
CN104766042A (zh) 交通标志板识别方法及装置
CN110619279A (zh) 一种基于跟踪的路面交通标志实例分割方法
CN111860690A (zh) 基于深度学习的危险品车辆检测与识别方法
Ketcham et al. Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine
Şentaş et al. Real-time traffic rules infringing determination over the video stream: wrong way and clearway violation detection
Balali et al. Video-based detection and classification of US traffic signs and mile markers using color candidate extraction and feature-based recognition
Xu et al. A machine learning approach to vehicle occupancy detection
Nguwi et al. Number plate recognition in noisy image
Rokonuzzaman et al. Automatic vehicle identification system using machine learning and robot operating system (ROS)
CN114120080A (zh) 一种违反禁止标线的车辆违法行为的识别方法
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques
Gupta et al. An Automated Number Plate Recognition System based on Optical Character Recognition
CN112071079B (zh) 一种基于5g传输的机器视觉车辆远光灯检测预警系统
CN115019263A (zh) 交通监管模型的建立方法、交通监管系统及方法
CN113850112A (zh) 基于孪生神经网络的路况识别方法和系统
Zin et al. Robust road sign recognition using standard deviation
CN113177443A (zh) 一种基于图像视觉的智能识别道路交通违章的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination