CN115240435A - 一种基于ai技术的车辆违章行驶检测方法、装置 - Google Patents

一种基于ai技术的车辆违章行驶检测方法、装置 Download PDF

Info

Publication number
CN115240435A
CN115240435A CN202211153346.6A CN202211153346A CN115240435A CN 115240435 A CN115240435 A CN 115240435A CN 202211153346 A CN202211153346 A CN 202211153346A CN 115240435 A CN115240435 A CN 115240435A
Authority
CN
China
Prior art keywords
vehicle
target
lane line
judging whether
running
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211153346.6A
Other languages
English (en)
Inventor
李景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd
Original Assignee
Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd filed Critical Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd
Priority to CN202211153346.6A priority Critical patent/CN115240435A/zh
Publication of CN115240435A publication Critical patent/CN115240435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于人工智能与深度学习技术领域，具体涉及一种基于AI技术的车辆违章行驶检测方法，应用于车辆，包括实时获取车前的图像信息；判断获取的图像信息是否存在违章行为；若存在违章行为，截取违章前后预定时长的视频片段，上报至交管部门；其中，所述判断获取的图像信息是否存在违章行为步骤中，包括通过CAN总线获取当前本车的运行速度；若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道和恶意别车的行为；若当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯和未礼让行人的行为。本发明灵活性好、覆盖面广，便捷、安全。

Description

一种基于AI技术的车辆违章行驶检测方法、装置
技术领域
本发明属于人工智能与深度学习技术领域，具体涉及一种基于AI技术的车辆违章行驶检测方法、装置。
背景技术
现有技术中，一般通过以下方式来实现对车辆违章行驶行为的监控：
（1）电子警察，电子警察这类摄像头一般安装在十字路口，通过抓拍车尾来监测车辆闯红灯、不按导向行驶、违法变道、压线、逆行、机动车占用非机动车道等违法行为，抓拍违章过程中没有任何提示。
（2）交警随手拍，交警随手拍是交管部门开发的违章行为举报平台，市民群众可通过“随手拍”平台举报交通违法行为，反映交通管理问题。具体举报方法为：通过“随手拍”平台拍摄能记录交通违法事实的5-20秒的连续视频或2张违法照片，点击“立即举报”，即可完成举报操作。举报范围包含：闯红灯，违法占用公交车道、应急车道、非机动车道、消防通道等专用车道，不按车道行驶，在设有禁止停车标志、标线地点违法停车，行经人行横道或行经没有交通信号灯的道路时、不按规定避让行人，遇拥堵时街道超车，高速路或城市快速路上倒车、逆行、调头，开车使用手机、不系安全带，故意遮挡、污损等涉牌违法行为，交通肇事逃逸等。
以上两种监控方式一般存在以下缺陷：
（1）电子警察这类摄像头安装在特定的位置上，摄像头安装以后，一般不会再更改摄像头的位置，且电子警察能够监控的画面比较局限，只能监控特定的区域；因此该类设备存在灵活性差、覆盖面较窄的问题。
（2）交警随手拍一般通过人工的方式进行违规识别，并且需主动通过手机记录违章的图像信息；首先，该过程不够智能化，整个过程都要全靠人力完成；其次，即使人眼辨别出车辆存在违章行为，也不一定有足够的时间用手机记录下违章的过程；最后，违章驾驶通常发生在公路上，行人无法关注到车辆行驶路面的具体情况，并且即使有驾驶员发现其他车辆存在违章驾驶的情况，也无法及时的拍摄违章的过程。
发明内容
为了解决所述现有技术的不足，本发明提供了一种基于AI技术的车辆违章行驶检测方法，以行驶的车辆为载体，通过车辆中装载的行车记录仪或车载摄像头实时抓拍路面的图像信息，并利用AI技术来对获取的图像信息进行主动分析，判断所获取的图像中是否存在违章行为，若存在违章行为则截取违章前后预定时长的视频片段，上报至交管部门。由于车辆为可移动的检测装置，一般情况下可在任意的地点对违章行驶的行为进行采集，因此，本发明利用车辆为载体的检测方法相较于现有技术中的电子警察监控方式而言，灵活性更好、覆盖面也更广。另外，由于车辆违章行驶检测的过程中通过行车记录仪或车载摄像头即可主动识别并记录违章行为，无需人为的加入，因此，相较于现有技术中交警随手拍的监控方式而言，本发明基于AI技术的车辆违章行驶检测方法不仅更加便捷，而且更加安全，可以避免在拍摄过程中，拍摄视频人员所有注意力都集中在违章车辆上，而忽略自身周围交通状况，进而造成交通事故。本发明还提供了一种基于AI技术的车辆违章行驶检测装置，用于实现上述基于AI技术的车辆违章行驶检测方法。
本发明所要达到的技术效果通过以下技术方案来实现：
第一方面，本发明提供了一种基于AI技术的车辆违章行驶检测方法，应用于车辆，该方法包括：
实时获取车前的图像信息；
判断获取的图像信息是否存在违章行为；
若存在违章行为，截取违章前后预定时长的视频片段，上报至交管部门；
其中，所述判断获取的图像信息是否存在违章行为步骤中，包括：
通过CAN总线获取当前本车的运行速度；
若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道和恶意别车的行为；
若当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯和未礼让行人的行为。
进一步地，所述实时获取车前的图像信息步骤中，包括：
对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记；
对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹。
进一步地，所述对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记步骤中，包括：
通过YOLOv5算法来对车辆、红绿灯和行人进行目标检测；
通过UFLD深度学习算法和传统图像处理方法来对车道线进行目标检测。
进一步地，所述对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹步骤中，包括：
S121，对第一帧次检测到的结果创建其对应的Tracks，通过卡尔曼滤波预测其对应的边界框；
S122，将该帧目标检测的边界框和上一帧通过Tracks预测的边界框进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；
S123，将S122得出的代价矩阵作为匈牙利算法的输入，得到线性匹配的结果；
S124，反复循环步骤S121-S123，直至出现确认态的Tracks或者视频帧结束；
S125，通过卡尔曼滤波预测其确认态的Tracks和不确认态的Tracks对应的边界框，并将确认态的Tracks的边界框与Detections进行级联匹配；
S126，若Tracks与Detections匹配，Tracks通过卡尔曼滤波更新其对应的Tracks变量；
S127，若Tracks与Detections失配，将之前的不确认态的Tracks和失配的Tracks一起同失配的Detections进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；
S128，将S127得出的代价矩阵作为匈牙利算法的输入，再次得到线性匹配的结果；
S129，反复循环步骤S125-S128，直至视频帧结束。
进一步地，所述若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道行为步骤中，包括：
判断目标检测出的车道线是否为实线；
若目标检测出的车道线为实线，将目标检测出车道线的轨迹与目标跟踪车辆的运行轨迹对比；
若目标检测出车道线的轨迹与目标跟踪车辆的运行轨迹存在交点，则判断车辆存在违章变道行为。
进一步地，所述判断目标检测出的车道线是否为实线步骤中，包括：
通过UFLD深度学习算法检测出车道线的位置，形成车道线拟合线段；
通过传统图像处理方法提取图像中每条车道线的像素值P（xi，yi），以及该坐标左右两侧分别5个以上像素点的像素值，即P（xi+j,yi），其中，j＞5；
将提取的每条车道线的像素点，按照纵坐标生成一副新的图像；
将新生成的车道线图像转换为二值图像后，通过开闭运算滤除噪音；
将生成的二值图像进行连通域判定，若二值图像为连通的，则判定该车道线为实线，否则，判定该车道线为虚线。
进一步地，所述若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在恶意别车行为步骤中，包括：
统计时间段T范围内，每一目标跟踪车辆的运行轨迹与目标检测出车道线相交的次数n；
若n＞N，则判断车辆存在恶意别车行为；其中，T、N为预设的阈值范围。
进一步地，所述若当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯行为步骤中，包括：
判断所检测的目标中是否存在红绿灯；
若检测到目标中存在红绿灯，则对红绿灯进行状态判定；
若判定当前红绿灯为红灯，且目标跟踪车辆的运行轨迹与红绿灯所标记位置垂直于目标检测出车道线的方向相交，则判断车辆存在闯红灯行为。
进一步地，所述当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在未礼让行人行为步骤中，包括：
判断所检测的目标中是否存在行人；
若检测到目标中存在行人，则判断目标跟踪车辆的运行轨迹与行人所标记位置垂直于目标检测出车道线的方向是否相交；
若目标跟踪车辆的运行轨迹与行人所标记位置垂直于目标检测出车道线的方向相交，则判断车辆存在未礼让行人行为。
进一步地，所述若存在违章行为，截取违章前后预定时长的视频片段，上报至交管部门步骤中，还包括同步获取本车的GPS定位信息，用作举报车辆违章行驶的佐证。
第二方面，本发明还提供了一种基于AI技术的车辆违章行驶检测装置，应用于车辆，该装置包括：
图像获取模块，用于实时获取车前的图像信息；
目标检测模块，用于对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记；
目标跟踪模块，用于对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹；
速度获取模块，用于获取当前本体的车速，判断当前本车的车速是否＝0 km/h；
违章判断模块，用于分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道和恶意别车的行为，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯和未礼让行人的行为；
远程发送模块，用于将违章前后预定时长的视频片段，上报至交管部门；
GPS定位模块，用于获取本车的GPS定位信息，用作举报车辆违章行驶的佐证。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序；其中，所述处理器执行所述计算机程序时实现上述车辆违章行驶检测方法的部分或全部步骤。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，且所述计算机程序被处理器执行时实现上述车辆违章行驶检测方法的部分或全部步骤。
综上所述，本发明至少具有以下有益之处：
1、本发明中基于AI技术的车辆违章行驶检测方法，以行驶的车辆为载体，通过车辆中装载的行车记录仪或车载摄像头实时抓拍路面的图像信息，相较于现有技术中的电子警察监控方式而言，灵活性更好、覆盖面也更广。
2、本发明中基于AI技术的车辆违章行驶检测方法，利用AI技术来对获取的图像信息进行主动分析，判断所获取的图像中是否存在违章行为，相较于现有技术中交警随手拍的监控方式而言，不仅更加便捷、及时，而且更加安全，可以避免在拍摄过程中，拍摄视频人员所有注意力都集中在违章车辆上，而忽略自身周围交通状况，进而造成交通事故。
3、本发明中基于AI技术的车辆违章行驶检测方法，采用YOLOv5算法、UFLD深度学习算法和传统图像处理方法相结合，来对获取的图像信息进行目标检测， 高效、灵活、泛化性能好，可有效的加快检测和推理的进程，提高检测的效率。
4、本发明中基于AI技术的车辆违章行驶检测方法，采用Deep-sort算法来对获取的图像信息进行目标跟踪，在sort目标跟踪的基础上引入了表观特征提取网络，可以有效的改善遮挡情况下的目标追踪效果。
附图说明
图1是本发明实施例中基于AI技术的车辆违章行驶检测方法的流程示意图；
图2是本发明实施例中实时获取车前的图像信息的流程示意图；
图3是本发明实施例中YOLOv5算法模型的模型结构图；
图4是本发明实施例中车道线检测的场景图；
图5是本发明实施例中判断目标检测出的车道线是否为实线的流程示意图；
图6是本发明实施例中对图像信息中的车辆进行目标跟踪的流程示意图；
图7是本发明实施例中判断获取的图像信息是否存在违章行为的流程示意图；
图8是本发明实施例中判断获取的图像信息是否存在违章行为的原理框图；
图9是本发明实施例中判断车辆是否存在违章变道行为的原理框图；
图10是本发明实施例中目标跟踪车辆违章变道的行驶轨迹图；
图11是本发明实施例中判断车辆是否存在恶意别车行为的原理框图；
图12是本发明实施例中目标跟踪车辆恶意别车的行驶轨迹图；
图13是本发明实施例中判断车辆是否存在闯红灯行为的原理框图；
图14是本发明实施例中目标跟踪车辆闯红灯的行驶轨迹图；
图15是本发明实施例中判断车辆是否存在未礼让行人行为的原理框图；
图16是本发明实施例中目标跟踪车辆未礼让行人的行驶轨迹图；
图17是本发明实施例中基于AI技术的车辆违章行驶检测装置的结构示意图；
图18是本发明实施例中电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1：
请参阅附图1，本实施例中基于AI技术的车辆违章行驶检测方法，应用于车辆，该方法包括：
S100、实时获取车前的图像信息；
本实施例中主要通过车辆中的行车记录仪或车载摄像头来获取车前的图像信息；请参阅附图2，实时获取车前的图像信息可通过如下步骤来实现：
S110、对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记；例如：用矩形框标记来表示检测到的车辆区域，用圆形框标记来表示检测到的红绿灯区域，用点划线标记来表示检测到的车道线区域，用三角形框标记来表示检测到的行人区域。
S120、对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹。
一、通过YOLOv5算法来对车辆、红绿灯和行人进行目标检测：
YOLOv5是一种单阶段目标检测算法，请参阅附图3，模型结构具体包括输入端、基准网络、Neck网络和Head输出端；其中：
输入端用于图片的输入，为了使网络模型能够快速的在边缘设备上运行，调整该网络的输入图像大小为320×320，该阶段通常包含一个图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作；在网络训练阶段，YOLOv5使用Mosaic数据增强操作提升模型的训练速度和网络的精度。
基准网络通常是一些性能优异的分类器种的网络，用来提取一些通用的特征表示，为了解决YOLOv5网络的运行速度问题和设备端不支持Focus层，本实施例将使用轻量级网络mobilenet替换YOLOv5在基准网络中使用的CSPDarknet53结构。
Neck网络通常位于基准网络和头网络的中间位置，利用它可以进一步提升特征的多样性及鲁棒性；YOLOv5同样用到了SPP模块、FPN+PAN模块。
Head输出端用来完成目标检测结果的输出，针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归/定位分支；YOLOv5利用GIOU_Loss来代替Smooth L1 Loss函数，可进一步提升算法的检测精度。本实施例中，修改后的输出端只检测三类目标，分别为车辆、行人和红绿灯。
为了在不影响模型准确率的情况下，加快网络的处理速度，本实施例对YOLOv5模型进行了剪枝压缩，具体过程为：通过添加L1正则来约束BN层系数，使的系数稀疏化；通过稀疏训练后，裁剪掉稀疏最小的层，该层对应激活相对较小，所以对后面网络层的影响非常小，反复迭代这个过程，即可获得不影响准确率且压缩后的模型。
YOLOv5模型剪枝压缩的原理为：
BN层的计算如下所示，
Figure 442022DEST_PATH_IMAGE001
；
所以每个channel激活大小Zout和系数γ（pytorch对应BN层的weights，β对应bias）正相关，如果γ太小接近于0，那么激活值也非常小，因此去掉这些γ趋近于0的channel是可以的。但是正常情况下，训练一个网络后，BN层的系数是类似正态分布，0附近的值是很少的，所以没法剪枝，但是可以通过添加L1正则约束：
Figure 368389DEST_PATH_IMAGE002
；
上面第一项是正常训练的loss函数，第二项是约束，其中g(s)=|s|，λ是正则系数（根据数据集调整），可以将参数稀疏化。
通过以上剪枝压缩后模型的大小为3Mb左右，降为原模型的1/5左右，从而加快了模型在设备端的推理过程。
二、通过UFLD深度学习算法和传统图像处理方法来对车道线进行目标检测：
UFLD神经网络结构主要包括三个部分：主干部分、辅助部分和用于车道线候选点选择的分组分类部分；其中：
主干部分采用了较小的ResNet18或者ResNet34，下采样到4X的部分作为最终的特征；为了加快网络的处理速度，本实施例中将主干部分由原来的ResNet替换为mobilenetv2网络，并且根据项目的需求，更换了网络输入的分辨率为512*256。
辅助部分对三层浅层特征进行了concat和上采样，用来进行实例分割，其目的是在训练过程中增强视觉特征，不参与推理。
分组分类部分为基于全局图像特征的行选取方法，即在全局特征上进行行索引来计算候选点，将先验假设融入到了车道线检测的任务中。
在分割任务上，最终的特征图的大小是H×W×C，分类是要沿着C方向的，C方向的向量代表一个像素位置的特征向量属于哪一个类别；在本实施例中，最终的特征图的大小是h×(w+1) ×C，其中h是要在垂直方向上采样的行的数量（row anchor），h<H；w是行方向上车道线候选点的位置（grid cell）的数量，w<W；C是车道线的数量。分类是沿着w方向的，即对每个车道线，在其预设的垂直方向h上，计算其出现在水平位置上每个grid cell中的概率。最终生成的检测结果如图4所示，从图4中可以看出，通过UFLD能够有效的检测出车道线的位置，但是无法检测出车道线是实线还是虚线，因此本实施例在UFLD检测到车道线的基础上，结合传统数字图像处理方法即可分析该车道线是否为实线。
请参阅附图5，判断目标检测出的车道线是否为实线的具体步骤如下，包括：
S111、通过UFLD深度学习算法检测出车道线的位置，形成车道线拟合线段；
S112、通过传统图像处理方法提取图像中每条车道线的像素值P（xi，yi），以及该坐标左右两侧分别5个以上像素点的像素值，即P（xi+j,yi），其中，j＞5；例如：j=10时，则提取图像中每条车道线的像素值P（xi，yi），以及该坐标左右两侧分别10像素点的像素值，即P（xi+10,yi）。
S113、将提取的每条车道线的像素点，按照纵坐标生成一副新的图像，例如：提取坐标左右两侧分别10像素点的像素值，则新生成图像的宽为21个像素点，即包含车道线像素点和车道线像素点左右分别10个像素，图像的高即为车道线的长度。
S114、将新生成的车道线图像转换为二值图像后，通过开闭运算滤除噪音；
S115、将生成的二值图像进行连通域判定，若二值图像为连通的，则判定该车道线为实线，否则，判定该车道线为虚线。
三、采用Deep-sort算法来对图像信息中的车辆进行目标跟踪，请参阅附图6，对图像信息中的车辆进行目标跟踪的具体步骤包括：
S121，对第一帧次检测到的结果创建其对应的Tracks，通过卡尔曼滤波预测其对应的边界框，这时的Tracks一定是未经确认的；
S122，将该帧目标检测的边界框和上一帧通过Tracks预测的边界框进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵，计算方式为1-IOU；
S123，将S122得出的代价矩阵作为匈牙利算法的输入，得到线性匹配的结果；得到的结果有三种，第一种是Tracks失配（Unmatched Tracks），此时可直接将失配的Tracks删除；第二种是Detections失配（Unmatched Detections），此时可将Detections初始化为一个新的Tracks（new Tracks）；第三种是目标检测的边界框和预测的边界框配对成功，说明前一帧和后一帧追踪成功，此时将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量。
S124，反复循环步骤S121-S123，直至出现确认态的Tracks或者视频帧结束；
S125，通过卡尔曼滤波预测其确认态的Tracks和不确认态的Tracks对应的边界框，并将确认态的Tracks的边界框与Detections进行级联匹配；每次只要Tracks匹配上都会保存Detections的外观特征和运动信息，默认保存前100帧，然后利用外观特征、运动信息和Detections进行级联匹配。
S126，若Tracks与Detections匹配，Tracks通过卡尔曼滤波更新其对应的Tracks变量；
S127，若Tracks与Detections失配，将之前不确认态的Tracks和失配的Tracks一起同失配 Detections进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵，计算方式为1-IOU；
S128，将S127得出的代价矩阵作为匈牙利算法的输入，再次得到线性匹配的结果；得到的结果同样有三种，第一种是Tracks失配（Unmatched Tracks），此时可直接将失配的Tracks删除；第二种是Detections失配（Unmatched Detections），此时将Detections初始化为一个新的Tracks（new Tracks）；第三种是目标检测的边界框和预测的边界框配对成功，说明前一帧和后一帧追踪成功，此时将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量。
S129，反复循环步骤S125-S128，直至视频帧结束。
S200、判断获取的图像信息是否存在违章行为；
请参阅附图7和8，本实施例中判断获取的图像信息是否存在违章行为可通过如下步骤来实现：
S210、通过CAN总线获取当前本车的运行速度；
S220、若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道和恶意别车的行为；
S230、若当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯和未礼让行人的行为。
示例一：违章变道检测
通过CAN总线获取当前本车的运行速度，若当前本车的车速＞0km/h，则分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道行为，请参阅附图9，判断车辆是否存在违章变道行为的具体步骤包括：
通过上述的YOLOv5算法检测路面车辆的位置信息，并用矩形框标记出来，通过上述的Deep-sort跟踪算法实时跟踪每辆车的位置，并记录车辆的整体运行轨迹。
判断目标检测出的车道线是否为实线，通过上述的UFLD深度学习算法与传统数字图像处理算法相结合，检测出车道线的位置信息（用点划线标记），并判断车道线为实线还是虚线。
若目标检测出的车道线为实线，将目标检测出车道线的轨迹与目标跟踪车辆的运行轨迹对比，假设目标跟踪车辆的运行轨迹为虚线标记。
若目标检测出车道线的轨迹与目标跟踪车辆的运行轨迹存在交点，如附图10所示，图中的虚线标记与点划线标记相交，此时可判断车辆存在违章变道行为。
示例二：恶意别车检测
通过CAN总线获取当前本车的运行速度，若当前本车的车速＞0km/h，则分析车辆行驶轨迹与车道线的关系，判断车辆是否存在恶意别车行为，请参阅附图11，判断车辆是否存在恶意别车行为的具体步骤包括：
通过上述的YOLOv5算法检测路面车辆的位置信息，并用矩形框标记出来，通过上述的UFLD深度学习算法检测出车道线的位置，并用点划线标记出来，通过上述的Deep-sort跟踪算法实时跟踪每辆车的位置，并记录车辆的整体运行轨迹。
统计时间段T范围内，每一目标跟踪车辆的运行轨迹与目标检测出车道线相交的次数n；如附图12所示，假设目标跟踪车辆的运行轨迹为虚线标记，预设的统计时间段T为90s，通过虚线标记与点划线标记相交的点数Pn（n＞0，且n为整数），即可表明在90s内，每一目标跟踪车辆变道到本车道中的次数n，从而判断车辆是否存在恶意别车行为。
若n＞N，则判断车辆存在恶意别车行为；假设N预设为3次，如果每一目标跟踪车辆变道到本车道中的次数n＞3次，此时可以判断车辆存在恶意别车行为。
示例三：闯红灯检测
通过CAN总线获取当前本车的运行速度，若当前本车的车速＝0km/h，则分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯行为，请参阅附图13，判断车辆是否存在闯红灯行为的具体步骤包括：
通过上述的YOLOv5算法检测路面车辆的位置信息，并用矩形框标记出来，通过上述的Deep-sort跟踪算法实时跟踪每辆车的位置，并记录车辆的整体运行轨迹。
判断所检测的目标中是否存在红绿灯，通过上述的YOLOv5算法检测是否有红绿灯；
若检测到目标中存在红绿灯，用圆形框标记出来，对红绿灯进行状态判定；红绿灯的状态判定的主要基于HSV颜色空间，具体判断过程为：1）对于检测到的红绿灯（黄色矩形框标记的区域），首先在图像中截取该区域，并且将截取出的图像区域进行颜色空间转换。2）将图像由RGB图像转为灰度图像，进行基于大津法的二值化操作，生成二值图，其中二值图中像素值为“1”的部分，即为当前亮着的红绿灯区域。3）在图像中截取该区域的感兴趣的区域（ROI区域），将该ROI区域图像，由RGB颜色空间转为HSV颜色空间，HSV颜色空间中H通道为色调空间，以色调分析当前ROI区域图像的色调为红色还是绿色，如果色调为红色则表示当前红绿灯为红灯，如果色调为绿色则表示当前红绿灯为绿灯。
若判定当前红绿灯为红灯，且目标跟踪车辆的运行轨迹与红绿灯所标记位置垂直于目标检测出车道线的方向相交，则判断车辆存在闯红灯行为；如附图14所示，假设目标跟踪车辆的运行轨迹为虚线、车道线位置为点划线，红绿灯所标记位置垂直于目标检测出车道线的方向形成线条a，如果当前红绿灯为红灯，且虚线与线条a相交，则表明目标跟踪车辆已驶过红绿灯所标记的位置，可判断车辆存在闯红灯行为。
示例四：未礼让行人检测
通过CAN总线获取当前本车的运行速度，若当前本车的车速＝0km/h，则分析红绿灯、车辆和行人的状态，判断车辆是否存在未礼让行人行为，请参阅附图15，判断车辆是否存在未礼让行人行为的具体步骤包括：
通过上述的YOLOv5算法检测路面车辆的位置信息，并用矩形框标记出来，通过上述的Deep-sort跟踪算法实时跟踪每辆车的位置，并记录车辆的整体运行轨迹。
判断所检测的目标中是否存在行人，通过上述的YOLOv5算法检测是否有行人；
若检测到目标中存在行人，用三角形框标记出来，然后判断目标跟踪车辆的运行轨迹与行人所标记位置垂直于目标检测出车道线的方向是否相交；如附图16所示，假设目标跟踪车辆的运行轨迹为虚线、车道线位置为点划线，行人所标记位置垂直于目标检测出车道线的方向形成线条b，通过虚线与线条b是否相交，来判断目标跟踪车辆是否已驶过行人所标记的位置。
若目标跟踪车辆的运行轨迹与行人所标记位置垂直于目标检测出车道线的方向相交，则判断车辆存在未礼让行人行为；既虚线与线条b相交，表明此时目标跟踪车辆已驶过行人所标记的位置，可判断车辆存在未礼让行人行为。
S300、若存在违章行为，截取违章前后预定时长的视频片段，上报至交管部门；优选地，前后预定时长为10s，既截取约20s的视频片段，上报至交管部门。在视频片段上报的过程中，还同步获取本车的GPS定位信息，用作举报车辆违章行驶的佐证。
实施例2：
请参阅附图17，本实施例中基于AI技术的车辆违章行驶检测装置，应用于车辆，该装置包括：图像获取模块101、目标检测模块102、目标跟踪模块103、速度获取模块104、违章判断模块105、远程发送模块106和GPS定位模块107；其中：
图像获取模块101用于实时获取车前的图像信息，本实施例中，图像获取模块101优选为行车记录仪或车载摄像头。
目标检测模块102用于对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记；本实施例中，目标检测模块102为含有YOLOv5算法程序、UFLD深度学习算法程序和传统数字图像处理算法程序的处理器模块。
目标跟踪模块103用于对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹；本实施例中，目标跟踪模块103为含有Deep-sort跟踪算法程序的处理器模块。
速度获取模块104用于获取当前本体的车速，判断当前本车的车速是否＝0 km/h；本实施例中，速度获取模块104优选为车速测试仪。
违章判断模块105，用于分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道和恶意别车的行为，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯和未礼让行人的行为；本实施例中，违章判断模块105是基于AI技术的处理器模块。
远程发送模块106用于将违章前后预定时长的视频片段，上报至交管部门；本实施例中，远程发送模块106可为基于GPRS/ GSM网络的远程无线传输模块。
GPS定位模块107用于获取本车的GPS定位信息，用作举报车辆违章行驶的佐证；本实施例中，GPS定位模块107为车辆车机系统中的GPS模块或行车记录仪中的GPS模块。
实施例3：
请参阅附图18，本实施例提供了一种电子设备，包括存储器201、处理器202以及存储在存储器201中并可在处理器202上运行的计算机程序；其中，处理器202执行计算机程序时实现实施例1中车辆违章行驶检测方法的部分或全部步骤。
本实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，且计算机程序被处理器执行时实现实施例1车辆违章行驶检测方法的部分或全部步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种基于AI技术的车辆违章行驶检测方法，应用于车辆，其特征在于，包括：
实时获取车前的图像信息；
判断获取的图像信息是否存在违章行为；
若存在违章行为，截取违章前后预定时长的视频片段，上报至交管部门；
其中，所述判断获取的图像信息是否存在违章行为步骤中，包括：
通过CAN总线获取当前本车的运行速度；
若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道和恶意别车的行为；
若当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯和未礼让行人的行为。
2.根据权利要求1所述的车辆违章行驶检测方法，其特征在于，所述实时获取车前的图像信息步骤中，包括：
对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记；
对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹。
3.根据权利要求2所述的车辆违章行驶检测方法，其特征在于，所述对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记步骤中，包括：
通过YOLOv5算法来对车辆、红绿灯和行人进行目标检测；
通过UFLD深度学习算法和传统图像处理方法来对车道线进行目标检测。
4.根据权利要求2所述的车辆违章行驶检测方法，其特征在于，所述对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹步骤中，包括：
S121，对第一帧次检测到的结果创建其对应的Tracks，通过卡尔曼滤波预测其对应的边界框；
S122，将该帧目标检测的边界框和上一帧通过Tracks预测的边界框进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；
S123，将S122得出的代价矩阵作为匈牙利算法的输入，得到线性匹配的结果；
S124，反复循环步骤S121-S123，直至出现确认态的Tracks或者视频帧结束；
S125，通过卡尔曼滤波预测其确认态的Tracks和不确认态的Tracks对应的边界框，并将确认态的Tracks的边界框与Detections进行级联匹配；
S126，若Tracks与Detections匹配，Tracks通过卡尔曼滤波更新其对应的Tracks变量；
S127，若Tracks与Detections失配，将之前不确认态的Tracks和失配的Tracks一起同失配的Detections进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；
S128，将S127得出的代价矩阵作为匈牙利算法的输入，再次得到线性匹配的结果；
S129，反复循环步骤S125-S128，直至视频帧结束。
5.根据权利要求1所述的车辆违章行驶检测方法，其特征在于，所述若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道行为步骤中，包括：
判断目标检测出的车道线是否为实线；
若目标检测出的车道线为实线，将目标检测出车道线的轨迹与目标跟踪车辆的运行轨迹对比；
若目标检测出车道线的轨迹与目标跟踪车辆的运行轨迹存在交点，则判断车辆存在违章变道行为。
6.根据权利要求5所述的车辆违章行驶检测方法，其特征在于，所述判断目标检测出的车道线是否为实线步骤中，包括：
通过UFLD深度学习算法检测出车道线的位置，形成车道线拟合线段；
通过传统图像处理方法提取图像中每条车道线的像素值P（xi，yi），以及该坐标左右两侧分别5个以上像素点的像素值，即P（xi+j,yi），其中，j＞5；
将提取的每条车道线的像素点，按照纵坐标生成一副新的图像；
将新生成的车道线图像转换为二值图像后，通过开闭运算滤除噪音；
将生成的二值图像进行连通域判定，若二值图像为连通的，则判定该车道线为实线，否则，判定该车道线为虚线。
7.根据权利要求1所述的车辆违章行驶检测方法，其特征在于，所述若当前本车的车速＞0km/h，分析车辆行驶轨迹与车道线的关系，判断车辆是否存在恶意别车行为步骤中，包括：
统计时间段T范围内，每一目标跟踪车辆的运行轨迹与目标检测出车道线相交的次数n；
若n＞N，则判断车辆存在恶意别车行为；其中，T、N为预设的阈值范围。
8.根据权利要求1所述的车辆违章行驶检测方法，其特征在于，所述若当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯行为步骤中，包括：
判断所检测的目标中是否存在红绿灯；
若检测到目标中存在红绿灯，则对红绿灯进行状态判定；
若判定当前红绿灯为红灯，且目标跟踪车辆的运行轨迹与红绿灯所标记位置垂直于目标检测出车道线的方向相交，则判断车辆存在闯红灯行为。
9.根据权利要求1所述的车辆违章行驶检测方法，其特征在于，所述当前本车的车速＝0km/h，分析红绿灯、车辆和行人的状态，判断车辆是否存在未礼让行人行为步骤中，包括：
判断所检测的目标中是否存在行人；
若检测到目标中存在行人，则判断目标跟踪车辆的运行轨迹与行人所标记位置垂直于目标检测出车道线的方向是否相交；
若目标跟踪车辆的运行轨迹与行人所标记位置垂直于目标检测出车道线的方向相交，则判断车辆存在未礼让行人行为。
10.根据权利要求1所述的车辆违章行驶检测方法，其特征在于，所述若存在违章行为，截取违章前后预定时长的视频片段，上报至交管部门步骤中，还包括同步获取本车的GPS定位信息，用作举报车辆违章行驶的佐证。
11.一种基于AI技术的车辆违章行驶检测装置，应用于车辆，其特征在于，包括：
图像获取模块，用于实时获取车前的图像信息；
目标检测模块，用于对所获取的图像信息进行目标检测，分别用不同的颜色和/或形状来对不同的目标进行标记；
目标跟踪模块，用于对图像信息中的车辆进行目标跟踪，记录目标跟踪车辆的运行轨迹；
速度获取模块，用于获取当前本体的车速，判断当前本车的车速是否＝0 km/h；
违章判断模块，用于分析车辆行驶轨迹与车道线的关系，判断车辆是否存在违章变道和恶意别车的行为，分析红绿灯、车辆和行人的状态，判断车辆是否存在闯红灯和未礼让行人的行为；
远程发送模块，用于将违章前后预定时长的视频片段，上报至交管部门；
GPS定位模块，用于获取本车的GPS定位信息，用作举报车辆违章行驶的佐证。
12.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-10任一所述的检测方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10任一所述的检测方法的步骤。
CN202211153346.6A 2022-09-21 2022-09-21 一种基于ai技术的车辆违章行驶检测方法、装置 Pending CN115240435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211153346.6A CN115240435A (zh) 2022-09-21 2022-09-21 一种基于ai技术的车辆违章行驶检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211153346.6A CN115240435A (zh) 2022-09-21 2022-09-21 一种基于ai技术的车辆违章行驶检测方法、装置

Publications (1)

Publication Number Publication Date
CN115240435A true CN115240435A (zh) 2022-10-25

Family

ID=83681939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211153346.6A Pending CN115240435A (zh) 2022-09-21 2022-09-21 一种基于ai技术的车辆违章行驶检测方法、装置

Country Status (1)

Country Link
CN (1) CN115240435A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612642A (zh) * 2023-07-19 2023-08-18 长沙海信智能系统研究院有限公司 一种车辆连续变道检测方法及电子设备

Citations (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954275A (zh) * 2014-04-01 2014-07-30 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
CN104809449A (zh) * 2015-05-14 2015-07-29 重庆大学 适用于高速公路视频监控系统的车道虚线分界线自动检测方法
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105329239A (zh) * 2014-08-12 2016-02-17 博世汽车部件(苏州)有限公司 攻击性驾驶行为的检测和处理
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN106485927A (zh) * 2016-10-28 2017-03-08 江苏信息职业技术学院 一种智能交通违章信息采集装置及采集方法
CN107305627A (zh) * 2016-04-22 2017-10-31 杭州海康威视数字技术股份有限公司 一种车辆视频监控方法、服务器及系统
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的系统及方法
CN109214334A (zh) * 2018-09-03 2019-01-15 百度在线网络技术（北京）有限公司 车道线处理方法和装置
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统
CN109670376A (zh) * 2017-10-13 2019-04-23 神州优车股份有限公司 车道线识别方法及系统
CN109858459A (zh) * 2019-02-20 2019-06-07 公安部第三研究所 基于警用车载视频要素信息实现智能解析处理的系统及其方法
US20190197889A1 (en) * 2017-12-26 2019-06-27 Toyota Jidosha Kabushiki Kaisha Information collection system and information collection apparatus
CN110021185A (zh) * 2019-04-04 2019-07-16 邵沈齐 一种智慧交通管理系统
CN110210363A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于车载图像的目标车辆压线检测方法
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
US20200043326A1 (en) * 2018-07-31 2020-02-06 Baidu Usa Llc Use sub-system of autonomous driving vehicles (adv) for police car patrol
CN111213154A (zh) * 2019-03-08 2020-05-29 深圳市大疆创新科技有限公司 一种车道线检测方法、设备、移动平台及存储介质
CN111295666A (zh) * 2019-04-29 2020-06-16 深圳市大疆创新科技有限公司 一种车道线检测方法、装置、控制设备及存储介质
CN111353446A (zh) * 2020-03-05 2020-06-30 广智微芯(扬州)有限公司 一种车道线检测方法及系统
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111695483A (zh) * 2020-06-05 2020-09-22 腾讯科技（深圳）有限公司 一种车辆违章检测方法、装置、设备及计算机存储介质
CN111968378A (zh) * 2020-07-07 2020-11-20 浙江大华技术股份有限公司 机动车闯红灯抓拍方法、装置、计算机设备和存储介质
CN112580565A (zh) * 2020-12-25 2021-03-30 广州亚美智造科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112937572A (zh) * 2021-02-01 2021-06-11 邵阳学院 一种车辆危险行为的防控方法、装置、系统及存储介质
CN113111824A (zh) * 2021-04-22 2021-07-13 青岛图灵科技有限公司 一种基于视频分析的行人穿越马路实时识别方法
CN113593301A (zh) * 2021-07-22 2021-11-02 上汽通用五菱汽车股份有限公司 车辆加塞的预判断方法、车辆及计算机可读存储介质
CN113674329A (zh) * 2021-08-13 2021-11-19 上海同温层智能科技有限公司 车辆驾驶行为检测方法和系统
CN113688652A (zh) * 2020-05-18 2021-11-23 魔门塔(苏州)科技有限公司 一种异常驾驶行为的处理方法和装置
CN113869293A (zh) * 2021-12-03 2021-12-31 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN114333344A (zh) * 2021-12-29 2022-04-12 以萨技术股份有限公司 机动车违章抓拍方法、装置及电子设备
US20220139217A1 (en) * 2019-08-08 2022-05-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic violation detection
CN114898297A (zh) * 2022-05-30 2022-08-12 浙江嘉兴数字城市实验室有限公司 基于目标检测和目标跟踪的非机动车违法行为判定的方法
CN114898296A (zh) * 2022-05-26 2022-08-12 武汉大学 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN115019516A (zh) * 2022-05-12 2022-09-06 浙江亚太机电股份有限公司 基于摄像头识别与毫米波雷达检测的汽车违章上报系统

Patent Citations (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954275A (zh) * 2014-04-01 2014-07-30 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
CN105329239A (zh) * 2014-08-12 2016-02-17 博世汽车部件(苏州)有限公司 攻击性驾驶行为的检测和处理
CN104809449A (zh) * 2015-05-14 2015-07-29 重庆大学 适用于高速公路视频监控系统的车道虚线分界线自动检测方法
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN107305627A (zh) * 2016-04-22 2017-10-31 杭州海康威视数字技术股份有限公司 一种车辆视频监控方法、服务器及系统
CN106485927A (zh) * 2016-10-28 2017-03-08 江苏信息职业技术学院 一种智能交通违章信息采集装置及采集方法
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的系统及方法
CN109670376A (zh) * 2017-10-13 2019-04-23 神州优车股份有限公司 车道线识别方法及系统
US20190197889A1 (en) * 2017-12-26 2019-06-27 Toyota Jidosha Kabushiki Kaisha Information collection system and information collection apparatus
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
US20200043326A1 (en) * 2018-07-31 2020-02-06 Baidu Usa Llc Use sub-system of autonomous driving vehicles (adv) for police car patrol
CN109214334A (zh) * 2018-09-03 2019-01-15 百度在线网络技术（北京）有限公司 车道线处理方法和装置
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN109858459A (zh) * 2019-02-20 2019-06-07 公安部第三研究所 基于警用车载视频要素信息实现智能解析处理的系统及其方法
CN111213154A (zh) * 2019-03-08 2020-05-29 深圳市大疆创新科技有限公司 一种车道线检测方法、设备、移动平台及存储介质
CN110021185A (zh) * 2019-04-04 2019-07-16 邵沈齐 一种智慧交通管理系统
CN111295666A (zh) * 2019-04-29 2020-06-16 深圳市大疆创新科技有限公司 一种车道线检测方法、装置、控制设备及存储介质
CN110210363A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于车载图像的目标车辆压线检测方法
US20220139217A1 (en) * 2019-08-08 2022-05-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic violation detection
CN111353446A (zh) * 2020-03-05 2020-06-30 广智微芯(扬州)有限公司 一种车道线检测方法及系统
CN113688652A (zh) * 2020-05-18 2021-11-23 魔门塔(苏州)科技有限公司 一种异常驾驶行为的处理方法和装置
CN111695483A (zh) * 2020-06-05 2020-09-22 腾讯科技（深圳）有限公司 一种车辆违章检测方法、装置、设备及计算机存储介质
CN111968378A (zh) * 2020-07-07 2020-11-20 浙江大华技术股份有限公司 机动车闯红灯抓拍方法、装置、计算机设备和存储介质
CN112580565A (zh) * 2020-12-25 2021-03-30 广州亚美智造科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112937572A (zh) * 2021-02-01 2021-06-11 邵阳学院 一种车辆危险行为的防控方法、装置、系统及存储介质
CN113111824A (zh) * 2021-04-22 2021-07-13 青岛图灵科技有限公司 一种基于视频分析的行人穿越马路实时识别方法
CN113593301A (zh) * 2021-07-22 2021-11-02 上汽通用五菱汽车股份有限公司 车辆加塞的预判断方法、车辆及计算机可读存储介质
CN113674329A (zh) * 2021-08-13 2021-11-19 上海同温层智能科技有限公司 车辆驾驶行为检测方法和系统
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN113869293A (zh) * 2021-12-03 2021-12-31 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质
CN114333344A (zh) * 2021-12-29 2022-04-12 以萨技术股份有限公司 机动车违章抓拍方法、装置及电子设备
CN115019516A (zh) * 2022-05-12 2022-09-06 浙江亚太机电股份有限公司 基于摄像头识别与毫米波雷达检测的汽车违章上报系统
CN114898296A (zh) * 2022-05-26 2022-08-12 武汉大学 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN114898297A (zh) * 2022-05-30 2022-08-12 浙江嘉兴数字城市实验室有限公司 基于目标检测和目标跟踪的非机动车违法行为判定的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王慧赢: "基于深度学习的车辆未礼让行人的违规行为判定方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612642A (zh) * 2023-07-19 2023-08-18 长沙海信智能系统研究院有限公司 一种车辆连续变道检测方法及电子设备
CN116612642B (zh) * 2023-07-19 2023-10-17 长沙海信智能系统研究院有限公司 一种车辆连续变道检测方法及电子设备

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
Cucchiara et al. Vehicle Detection under Day and Night Illumination.
Zhang et al. Automated detection of grade-crossing-trespassing near misses based on computer vision analysis of surveillance video data
CN106600977B (zh) 基于多特征识别的违停检测方法及系统
Tseng et al. Real-time video surveillance for traffic monitoring using virtual line analysis
CN109299674B (zh) 一种基于车灯的隧道违章变道检测方法
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
CN104361350B (zh) 一种交通标识识别系统
CN105741559B (zh) 一种基于车道线模型的违法占用应急车道检测方法
CN106652468A (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
KR101756848B1 (ko) 불법 주정차 관리 시스템
CN105931467A (zh) 一种跟踪目标的方法及装置
CN113033275B (zh) 基于深度学习的车辆变道不打转向灯分析系统
CN113255439B (zh) 一种障碍物识别方法、装置、系统、终端及云端
CN115240435A (zh) 一种基于ai技术的车辆违章行驶检测方法、装置
KR101268316B1 (ko) 다목적 문제차량 지능형 검색 및 자동 인식 통합 플랫폼 및 그의 운영 방법
CN115601717A (zh) 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN114926824A (zh) 一种不良驾驶行为判别方法
KR102204051B1 (ko) 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템
CN113076821A (zh) 一种事件的检测方法及装置
JP7548813B2 (ja) 車線を認識するための方法及び装置並びに運転支援システム及び車両
CN105761501A (zh) 一种智能车辆行为检测抓拍方法
CN113850112A (zh) 基于孪生神经网络的路况识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221025

RJ01 Rejection of invention patent application after publication