CN117576926B - 车辆违规检测方法、设备及存储介质 - Google Patents

车辆违规检测方法、设备及存储介质 Download PDF

Info

Publication number
CN117576926B
CN117576926B CN202410026585.8A CN202410026585A CN117576926B CN 117576926 B CN117576926 B CN 117576926B CN 202410026585 A CN202410026585 A CN 202410026585A CN 117576926 B CN117576926 B CN 117576926B
Authority
CN
China
Prior art keywords
vehicle
violation
motion
future
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410026585.8A
Other languages
English (en)
Other versions
CN117576926A (zh
Inventor
陈玮
黄金虎
邹伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Xingzhong Wulian Technology Co ltd
Original Assignee
Xiamen Xingzhong Wulian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Xingzhong Wulian Technology Co ltd filed Critical Xiamen Xingzhong Wulian Technology Co ltd
Priority to CN202410026585.8A priority Critical patent/CN117576926B/zh
Publication of CN117576926A publication Critical patent/CN117576926A/zh
Application granted granted Critical
Publication of CN117576926B publication Critical patent/CN117576926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种车辆违规检测方法、设备及存储介质，涉及交通技术领域。该方法包括：采用目标检测模型进行多任务分类检测，得到目标车辆的位置信息；使用车辆运动学模型、动态运动学模型和位置信息，分析得到目标车辆的未来运动情况；采用卷积神经网络在相邻两帧间进行特征提取和特征匹配，得到目标车辆的跟踪运动轨迹；采用卡尔曼滤波算法拟合跟踪运动轨迹和未来运动情况，得到目标车辆的预测车辆位置并用于迭代更新跟踪运动轨迹和未来运动情况；根据违规检测框和每次迭代得到的跟踪运动轨迹、预测车辆位置预判目标车辆的违规情况。本申请综合利用深度学习、运动分析和卡尔曼滤波思想，能有效提升车辆轨迹跟踪实时性以及违规检测的精准度。

Description

车辆违规检测方法、设备及存储介质
技术领域
本申请涉及交通技术领域，特别涉及一种车辆违规检测方法、设备及存储介质。
背景技术
随着汽车产业逐渐向智能化和数字化转型，深度学习和视觉技术在交通领域的应用越来越广泛。针对红绿灯路口的车辆违规检测场景，已提出了一些利用深度学习技术，对车辆的轨迹进行跟踪，以检测车辆是否违反交通规则的技术方案。
而目前的车辆违规检测技术中，无法兼顾对车辆进行目标跟踪的实时性和违规检测的准确度。因此，亟需一种车辆违规检测方法，能够同时提升对车辆进行目标跟踪的实时性和违规检测的精准度。
发明内容
为了实现上述目的，本申请提供了一种车辆违规检测方法、设备及存储介质，能够同时提升对车辆进行目标跟踪的实时性和违规检测的精准度。
第一方面，本申请提供了车辆违规检测方法，该方法包括：
S1、采用给定的目标检测模型对交通视频中的当前帧进行多任务分类检测，得到所述当前帧中目标车辆的位置信息；
S2、使用预定的车辆运动学模型、动态运动学模型和所述位置信息，对所述目标车辆进行运动分析，得到所述目标车辆的未来运动情况，所述未来运动情况描述所述目标车辆在当前帧之后的未来预设时长内的多种运动轨迹；
S3、采用给定的卷积神经网络，从所述交通视频中提取所述目标车辆在所述当前帧和所述当前帧的下一帧中的车辆局部特征，对所述当前帧和所述下一帧中的车辆局部特征进行特征匹配，得到所述目标车辆的跟踪运动轨迹；
S4、采用卡尔曼滤波算法对所述跟踪运动轨迹和所述未来运动情况进行拟合，得到所述目标车辆在未来帧中的预测车辆位置，将所述预测车辆位置作为所述步骤S2中采用的位置信息，迭代执行所述步骤S2至步骤S4，所述未来帧是指所述未来预设时长内的任一帧；
S5、根据预设的违规检测框和每次迭代得到的所述跟踪运动轨迹、所述预测车辆位置，预判所述目标车辆的违规情况。
在一种可能实施方式中，所述步骤S1包括：
S11、采用所述目标检测模型对所述当前帧进行多任务分类检测，得到所述目标车辆的车辆特征信息和车道划分信息，所述车辆特征信息包括车头位置、车顶位置、车窗位置和车底盘位置中至少一项；
S12、根据所述车辆特征信息和所述车道划分信息，确定所述目标车辆针对车道线的位置信息，所述位置信息包括：车辆位置；所述位置信息还包括车辆朝向及车道线遮挡情况中的至少一项。
在一种可能实施方式中，所述目标检测模型为：对YOLOv8模型的骨干网络进行剪枝和蒸馏后得到的轻量化目标检测模型。
在一种可能实施方式中，所述步骤S2包括：
S21、以所述位置信息为初始状态，通过预定的车辆运动学模型模拟所述目标车辆的运动惯性规律，通过预定的动态运动学模型模拟所述目标车辆的速度、加速度和位置变化，得到所述目标车辆的多种预测运动轨迹；
S22、根据所述多种预测运动轨迹进行区域辐射，得到所述未来运动情况，所述未来运动情况描述所述未来预设时长内所述目标车辆在所述辐射得到的运动区域内的多种运动轨迹。
在一种可能实施方式中，所述步骤S4包括：
S41、按照预设比例，将所述跟踪运动轨迹和所述未来运动情况中的多种运动轨迹分别进行加权平均，得到所述目标车辆在未来帧中的多个初步预测位置；
S42、利用卷积神经网络对所述多个初步预测位置进行线性拟合，得到在未来帧中出现概率最大的预测车辆位置；
S43、将未来帧中的所述预测车辆位置作为所述步骤S2中采用的位置信息，迭代执行所述步骤S2至步骤S4。
在一种可能实施方式中，所述步骤S41包括：
用高斯模型对所述跟踪运动轨迹和所述未来运动情况中的多种运动轨迹进行离散处理后，采用所述预设比例进行加权平均，得到所述多个初步预测位置；
所述步骤S42包括：针对任一所述初步预测位置，计算所述初步预测位置相对于所在轨迹中前一车辆位置的特征点变化信息，所述特征点变化信息包括：车辆底盘中点变化值、车辆定位框中点变化值、车辆车头中点变化值、车辆车窗中点变化值和车辆车头角度变化值中的一项或多项；
利用给定的卷积神经网络对所述多个初步预测位置进行推理，得到多个中间预测位置，再按照预设的组合方式对所述多个中间预测位置进行拟合，得到所述预测车辆位置。
在一种可能实施方式中，所述步骤S5包括：
S51、针对任一个未来帧，根据所述预测车辆位置和所述违规检测框的相对位置，得到针对至少一种违规事件的预测概率；
S52、根据实时交通管制信息和连续多个未来帧对应的所述预测概率，得到所述目标车辆的在所述多个未来帧下的违规情况，所述违规情况描述所述目标车辆在所述多个未来帧中发生违规事件的概率和/或发生违规事件概率的变化情况；
S53、根据所述跟踪运动轨迹和所述违规情况，得到所述目标车辆在行驶过程中的违规事件。
在一种可能实施方式中，所述卷积神经网络模型为OSNet或MobileNet。
第二方面，提供一种计算设备，该计算设备包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如第一方面提供的车辆违规检测方法。
第三方面，提供一种计算机可读存储介质，该存储介质中存储有至少一段程序，该至少一段程序由处理器执行以实现如第一方面提供的车辆违规检测方法。
本申请提供的技术方案至少包括如下技术效果：
利用深度学习模型提升车辆目标识别的效率，再利用相关运动学规律进行轨迹推理，得到未来运动情况，采用卡尔曼滤波算法，综合跟踪运动轨迹和未来运动情况进行轨迹优化；用优化得到的预测车辆位置对跟踪运动轨迹和未来运动情况进行迭代更新，即可有效提升车辆轨迹跟踪的实时性，利用预测车辆位置进行违规判定，即可提升违规检测的精准度。因此，本申请提供的车辆违规检测方法能够同时提升对车辆进行目标跟踪的实时性和违规检测的精准度。
附图说明
图1是本申请实施例提供的一种车辆检测方法的流程示意图；
图2是本申请实施例提供的一种提取车辆特征的示意图；
图3是本申请实施例提供的一种计算设备的硬件结构示意图。
具体实施方式
为进一步说明各实施例，本申请提供有附图。这些附图为本申请揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本申请的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个目标是指两个或两个以上的目标。
现结合附图和具体实施方式对本申请进一步说明。
本申请提供了一种车辆违规检测方法，综合利用了深度学习、运动分析和卡尔曼滤波思想，能有效提升车辆轨迹跟踪实时性以及违规检测的精准度。
本申请提供的车辆违规检测方法能够由计算设备执行。计算设备可以为服务器、多个物理服务器构成的服务器集群或者分布式文件系统，又或者是提供云存储以及云服务、云数据库、云计算、云函数、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（content delivery network，CDN）、大数据和人工智能平台等基础云计算服务的云服务器集群，本申请对此不做限定。
图1为本申请提供的一种车辆违规检测方法的流程示意图。下面结合图1对本申请提供的车辆违规检测方法进行详细介绍，参见图1，该方法包括下述步骤S1至步骤S5，由计算设备执行。
S1、采用给定的目标检测模型对交通视频中的当前帧进行多任务分类检测，得到当前帧中目标车辆的位置信息。
示例性地，交通视频在获得充分授权的情况下，从指定的网络视频监控系统中获取。
本申请实施例中，步骤S1包括步骤S11和步骤S12。
S11、采用目标检测模型对当前帧进行多任务分类检测，得到目标车辆的车辆特征信息和车道划分信息，车辆特征信息包括车头位置、车顶位置、车窗位置和车底盘位置中至少一项。
其中，车头、车顶、车窗、车底盘等是车辆所具备特征点的一些示例，车辆特征信息包括车辆的多个特征点位置，多个特征点位置组合起来即可高精度地描述车辆所在的位置，从而用于判断车辆和车道线之间的相对关系。
示例性地，目标检测模型采用不同的识别任务来识别车辆的不同特征点位置，通过多任务分类检测即可快速得到目标车辆的车辆特征信息。
在一种可能实施方式中，目标检测模型为：对YOLOv8模型的骨干网络进行剪枝和蒸馏后得到的轻量化目标检测模型（YOLOv8s）。基于此，可以进一步提高目标检测模型的检测速度，采用YOLOv8s模型进行多任务分类检测，在满足所需识别精度情况下可最大程度的节省时耗，并且，得出的车辆特征信息更加全面，从而能够支持更精确的违规检测。
S12、根据车辆特征信息和车道划分信息，确定目标车辆针对车道线的位置信息，位置信息包括车辆朝向，还包括车辆位置和车道线遮挡情况中至少一项。
其中，车道划分信息可以由目标检测模型识别得出，也可以根据交通视频对应交通场景的车道线划分情况直接从交通数据库中读取，本申请对此不作限定。
本申请实施例中，根据从交通视频中识别出的车头位置、车顶位置、车窗位置、车底盘位置等车辆的局部信息，再结合交通视频识别出的车道划分信息，即可精准地分析出车辆是否遮挡了车道线、车辆所处位置以及车辆朝向等信息。
为了便于理解，本申请实施例提供了一种提取车辆特征的示意图，参见图2，其中，红色矩形框（1）为车顶位置、绿色矩形框（2）为车窗位置（包括左车窗以及前挡风）、黄色矩形框为车头位置（3）、蓝色矩形框（4）为车底盘位置（由于图2为灰度图无法体现颜色，不同颜色的矩形框用数字标号区分）。
基于此，本申请的技术方案可以应用在复杂多车道场景中，有效提升对车辆进行目标跟踪的实时性和违规检测的精准度。
S2、使用预定的车辆运动学模型（VKB）、动态运动学模型（DKFB）和位置信息，对目标车辆进行运动分析，得到目标车辆的未来运动情况，未来运动情况描述目标车辆在当前帧之后的未来预设时长内的多种运动轨迹。
其中，未来预设时长可根据预测需求和违规检测精度进行设置。
本申请实施例中，步骤S2包括步骤S21和步骤S22。
S21、以位置信息为初始状态，通过车辆运动学模型模拟目标车辆的运动惯性规律，通过动态运动学模型模拟目标车辆的速度、加速度和位置变化，得到目标车辆的多种预测运动轨迹。
其中，使用车辆运动学模型模拟车辆运动关系规律是指：车辆为钢体，因此不会凭空出现或消失，所以车辆的运动符合惯性规律；动态运动学模型的作用是：保证车辆的运动情况符合正常加速度运动及弯道变化动作等。
S22、根据多种预测运动轨迹进行区域辐射，得到未来运动情况，未来运动情况描述未来预设时长内目标车辆未来在辐射得到的运动区域（如扇形区域）内的多种运动轨迹。
本申请实施例中，使用车辆运动学的方法和动态运动学融合的方法，推理出目标车辆未来可能的运动情况，并辐射得到未来的可能运动区域，从而精准确定目标车辆未来一段时间内的运动情况。具体地，推理出车辆的多个运动轨迹遵循车辆移动规律，因此不会超出对应的运动方向扩充出来的扇形区域，基于此原理即可辐射得到未来可能的扇形运动区域。
进一步地，未来运动情况具体描述了各种运动轨迹和车道线之间的关系。在一种可能实施方式中，根据运动分析得到的多种运动轨迹，即可确定预测出的目标车辆未来的运动方向及车辆未来所处的位置。再根据车道划分信息，判断车辆的不同位置和车道线之间的距离，再根据距离的远近，得到不同的预测运动轨迹对应的波动值等级，波动值等级描述了车辆沿着这个运动轨迹前进过程中和车道线之间距离的波动剧烈程度。
基于上述过程，即可精确地预测出目标车辆未来一段时间内的运动情况，从而为后续的目标跟踪和违规检测提供支持。
S3、采用给定的卷积神经网络，从交通视频中提取目标车辆在当前帧和当前帧的下一帧中的车辆局部特征，对在当前帧和下一帧中的车辆局部特征进行特征匹配，得到目标车辆的跟踪运动轨迹。
其中，给定的卷积神经网络为全方位网络（Omni-Scale Network，OSNet），OSNet在目标检测场景中能够从多个维度进行特征学习，从而提升目标识别的准确度。具体地，OSnet将从视频图像中提取出的特征数据以不同分支输入不同多个卷积模块组成的残差块，从而分别对不同特征进行学习，每个残差块都按照一定的权重进行特征检测。
通过上述过程，采用OSNet精准匹配车辆前后帧的运动轨迹，可有效提升车辆轨迹跟踪的精准度。
S4、采用卡尔曼滤波算法对跟踪运动轨迹和未来运动情况进行拟合，得到目标车辆在未来帧中的预测车辆位置，将预测车辆位置作为步骤S2中采用的位置信息，迭代执行步骤S2至步骤S4。
其中，未来帧是指未来预设时长内的任一帧。本申请实施例中，将步骤S2得到的未来运动情况和步骤S3得到的跟踪运动轨迹结合，采用卡尔曼滤波算法对车辆轨迹进行优化。
本申请实施例中，步骤S4包括步骤S41至步骤S43。
S41、按照预设比例，将跟踪运动轨迹和未来运动情况中的多种运动轨迹分别进行加权平均，得到目标车辆在未来帧中的多个初步预测位置。
其中，卡尔曼滤波算法用于根据理论预测值和实际测量值得到下一时刻的估计值；具体地，卡尔曼滤波的思想是分别给理论预测值和实际测量值一个权重，通过理论预测值与实际测量值的加权线性组合来得到估计值。本申请实施例中，跟踪运动轨迹也即是实际测量值，未来运动情况中的多种运动轨迹也即是理论预测值。
本申请实施例中，高斯模型用于在对实际测量值和理论预测值的拟合过程中引入随机噪声，以提升整个拟合过程更加贴合实际的车辆行驶场景。
在一种可能实施方式中，通过用高斯模型对跟踪运动轨迹和未来运动情况中的多种运动轨迹进行离散处理后，再采用预设比例进行加权平均，得到多个初步预测位置。具体地，离散处理包括：将高斯模型和轨迹（跟踪运动轨迹或未来运动情况中的任一运动轨迹）对应的车辆特征点信息进行乘积，例如，将高斯模型和车辆底盘位置（可以以坐标形式）、车辆底盘长宽比、车辆定位框位置和车辆整体长宽比等相乘，得到轨迹的高斯乘积值。再采用预设比例对跟踪运动轨迹的高斯乘积值和未来运动情况中的任一运动轨迹的高斯乘积值进行加权平均，即可得到对应的初步预测位置。
其中，高斯模型更适用于车辆轨迹预测，经过高斯模型乘积从而得出类线性回归规律抽象出预测车辆位置点，可以增加预测值的线性规律。
S42、利用卷积神经网络对多个初步预测位置进行线性拟合，得到在未来帧中出现概率最大的预测车辆位置。
在一种可能实施方式中，针对任一初步预测位置，计算初步预测位置相对于所在轨迹中前一车辆位置的特征点变化信息，特征点变化信息包括：车辆底盘中点变化值、车辆定位框中点变化值、车辆车头中点变化值、车辆车窗中点变化值和车辆车头角度变化值中的一项或多项。利用给定的卷积神经网络对多个初步预测位置进行推理，得到多个中间预测位置，再按照预设的组合方式对多个中间预测位置进行拟合，得到预测车辆位置。
参见图2，上述车辆底盘中点变化也即是指蓝色矩形框中点的变化，其他位置同理，不做赘述。
本步骤中采用的卷积神经网络可以为步骤S3中采用的OSNet，还可以是MobileNet。
S43、将未来帧中的预测车辆位置作为步骤S2中采用的位置信息，迭代执行步骤S2至步骤S4。
其中，预测结果反作用于后续的轨迹预测、轨迹跟踪和拟合过程，实现轨迹预判跟踪，从而得出精准的轨迹跟踪信息。
S5、根据每次迭代得到的跟踪运动轨迹、预测车辆位置和预设的违规检测框，预判目标车辆的违规情况。
本申请实施例中，步骤S5包括步骤S51和步骤S53。
S51、针对任一个未来帧，根据预测车辆位置和违规检测框的相对位置，得到针对至少一种违规事件的预测概率。
其中，预测概率指示未来可能发生该违规事件的可能性。违规检测框为预设的。示例性地，违规检测框由多条违规线构成。当违规检测框用于检测红绿灯路口的车辆是否超过停止线，则当预测车辆位置中车头超出违规检测框的前违规线，则判定发生违规事件1（超过停车线）。若预测车辆位置在违规检测框内，则没有违规事件发生。同理，还可以根据预测车辆位置。
S52、根据实时交通管制信息和连续多个未来帧对应的预测概率，得到目标车辆的在多个未来帧下的违规情况，违规情况描述目标车辆在多个未来帧中发生违规事件的概率和/或发生违规事件概率的变化情况。
其中，实时交通管制信息例如是红绿灯的颜色和读秒情况，又例如是禁止停车区域划分信息，又例如是单行道、左转道、直行道、掉头等车道标志。
其中，违规事件例如是闯红灯、抢红灯、违规变道、超过停止线等。
其中，违规情况包括步骤S51中得到的多个未来帧中发生违规事件的概率以及对应违规事件的类型。相应地，根据多个未来帧中发生违规事件的概率，即可得到多个未来帧对应的这一时间段中目标车辆发生违规事件概率的变化情况，以动态地表示目标车辆违规的可能性。
S53、根据跟踪运动轨迹和违规情况，得到目标车辆在行驶过程中的违规事件。
本申请实施例中，根据迭代得到的跟踪运动轨迹，即可将车辆的完整运动情况和违规检测框提供的预测概率相结合起来，精准地判断车辆出现的违规情况。
本申请提供的车辆违规检测方法，利用YOLOv8s模型进行多任务分类检测，在满足所需识别精度情况下可最大程度的节省时耗，并且，得出的车辆特征信息更加全面，从而能够支持更精确的违规检测；再利用相关运动学规律进行轨迹推理，得到未来运动情况，采用卡尔曼滤波算法，综合跟踪运动轨迹和未来运动情况进行轨迹优化；用优化得到的预测车辆位置对跟踪运动轨迹和未来运动情况进行迭代更新，即可有效提升车辆轨迹跟踪的实时性，利用预测车辆位置进行违规判定，即可提升违规检测的精准度。因此，本申请提供的车辆违规检测方法能够同时提升对车辆进行目标跟踪的实时性和违规检测的精准度。
进一步地，通过结合车道划分信息，精准地分析出车辆是否遮挡了车道线、车辆所处位置以及车辆朝向等信息，在复杂多车道场景中，同样能够达到提升目标跟踪的实时性和违规检测的精准度的效果。
本申请提供的车辆违规检测方法能够由计算设备执行。图3是本申请实施例提供的一种计算设备的硬件结构示意图，如图3所示，该计算设备包括处理器301、存储器302、总线303、以及存储在所述存储器302中并可在所述处理器301上运行的计算机程序，处理器301包括一个或一个以上处理核心，存储器302通过总线303与处理器301相连，存储器302用于存储程序指令，所述处理器执行所述计算机程序时实现本申请提供的上述方法实施例中的全部或部分步骤。
进一步地，作为一个可执行方案，上述计算设备可以是计算机单元，该计算机单元可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机单元可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述计算机单元的组成结构仅仅是计算机单元的示例，并不构成对计算机单元的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件。例如所述计算机单元还可以包括输入输出设备、网络接入设备、总线等，本申请实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元（CentralProcessing Unit，CPU），还可以是其他通用处理器、数字信号处理器 （Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 （Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机单元的控制中心，利用各种接口和线路连接整个计算机单元的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机单元的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例上述车辆违规检测方法的步骤。
所述计算机单元集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述车辆违规检测方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
尽管结合优选实施方案具体展示和介绍了本申请，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本申请的精神和范围内，在形式上和细节上可以对本申请做出各种变化，均为本申请的保护范围。

Claims (7)

1.一种车辆违规检测方法，其特征在于，所述方法包括：
S1、采用给定的目标检测模型对交通视频中的当前帧进行多任务分类检测，得到所述当前帧中目标车辆的位置信息，所述目标检测模型为：对YOLOv8模型的骨干网络进行剪枝和蒸馏后得到的轻量化目标检测模型；
S21、以所述位置信息为初始状态，通过预定的车辆运动学模型模拟所述目标车辆的运动惯性规律，通过预定的动态运动学模型模拟所述目标车辆的速度、加速度和位置变化，得到所述目标车辆的多种预测运动轨迹；
S22、根据所述多种预测运动轨迹进行区域辐射，得到未来运动情况，所述未来运动情况描述未来预设时长内所述目标车辆在所述辐射得到的运动区域内的多种运动轨迹；
S3、采用给定的卷积神经网络，从所述交通视频中提取所述目标车辆在所述当前帧和所述当前帧的下一帧中的车辆局部特征，对所述当前帧和所述下一帧中的车辆局部特征进行特征匹配，得到所述目标车辆的跟踪运动轨迹；
S41、按照预设比例，将所述跟踪运动轨迹和所述未来运动情况中的多种运动轨迹分别进行加权平均，得到所述目标车辆在未来帧中的多个初步预测位置；所述未来帧是指所述未来预设时长内的任一帧；
S42、利用卷积神经网络对所述多个初步预测位置进行线性拟合，得到在所述未来帧中出现概率最大的预测车辆位置；
S43、将所述未来帧中的所述预测车辆位置作为所述步骤S2中采用的位置信息，迭代执行所述步骤S2至步骤S43；
S5、根据预设的违规检测框和每次迭代得到的所述跟踪运动轨迹、所述预测车辆位置，预判所述目标车辆的违规情况。
2.根据权利要求1所述的车辆违规检测方法，其特征在于，所述步骤S1包括：
S11、采用所述目标检测模型对所述当前帧进行多任务分类检测，得到所述目标车辆的车辆特征信息和车道划分信息，所述车辆特征信息包括车头位置、车顶位置、车窗位置和车底盘位置中至少一项；
S12、根据所述车辆特征信息和所述车道划分信息，确定所述目标车辆针对车道线的位置信息，所述位置信息包括：车辆位置；所述位置信息还包括车辆朝向及车道线遮挡情况中的至少一项。
3.根据权利要求1所述的车辆违规检测方法，其特征在于，所述步骤S41包括：
用高斯模型对所述跟踪运动轨迹和所述未来运动情况中的多种运动轨迹进行离散处理后，采用所述预设比例进行加权平均，得到所述多个初步预测位置；
所述步骤S42包括：针对任一所述初步预测位置，计算所述初步预测位置相对于所在轨迹中前一车辆位置的特征点变化信息，所述特征点变化信息包括：车辆底盘中点变化值、车辆定位框中点变化值、车辆车头中点变化值、车辆车窗中点变化值和车辆车头角度变化值中的一项或多项；
利用给定的卷积神经网络对所述多个初步预测位置进行推理，得到多个中间预测位置，再按照预设的组合方式对所述多个中间预测位置进行拟合，得到所述预测车辆位置。
4.根据权利要求1所述的车辆违规检测方法，其特征在于，所述步骤S5包括：
S51、针对任一个所述未来帧，根据所述预测车辆位置和所述违规检测框的相对位置，得到针对至少一种违规事件的预测概率；
S52、根据实时交通管制信息和连续多个所述未来帧对应的所述预测概率，得到所述目标车辆的在所述多个未来帧下的违规情况，所述违规情况描述所述目标车辆在多个所述未来帧中发生违规事件的概率和/或发生违规事件概率的变化情况；
S53、根据所述跟踪运动轨迹和所述违规情况，得到所述目标车辆在行驶过程中的违规事件。
5.根据权利要求1所述的车辆违规检测方法，其特征在于，所述卷积神经网络模型为OSNet或MobileNet。
6.一种计算设备，其特征在于，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至5任一所述的车辆违规检测方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至5任一所述的车辆违规检测方法。
CN202410026585.8A 2024-01-09 2024-01-09 车辆违规检测方法、设备及存储介质 Active CN117576926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410026585.8A CN117576926B (zh) 2024-01-09 2024-01-09 车辆违规检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410026585.8A CN117576926B (zh) 2024-01-09 2024-01-09 车辆违规检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117576926A CN117576926A (zh) 2024-02-20
CN117576926B true CN117576926B (zh) 2024-03-12

Family

ID=89864525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410026585.8A Active CN117576926B (zh) 2024-01-09 2024-01-09 车辆违规检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117576926B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089867A1 (zh) * 2013-12-17 2015-06-25 东莞中国科学院云计算产业技术创新与育成中心 一种交通违章检测方法
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN109492588A (zh) * 2018-11-12 2019-03-19 广西交通科学研究院有限公司 一种基于人工智能的快速车辆检测与分类方法
CN112750150A (zh) * 2021-01-18 2021-05-04 西安电子科技大学 基于车辆检测和多目标跟踪的车流量统计方法
CN116229385A (zh) * 2023-03-08 2023-06-06 重庆大学 一种基于卷积神经网络结合贪心算法的车辆3d多目标跟踪方法
WO2023201904A1 (zh) * 2022-04-19 2023-10-26 五邑大学 车辆异常行驶检测方法、电子设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089867A1 (zh) * 2013-12-17 2015-06-25 东莞中国科学院云计算产业技术创新与育成中心 一种交通违章检测方法
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN109492588A (zh) * 2018-11-12 2019-03-19 广西交通科学研究院有限公司 一种基于人工智能的快速车辆检测与分类方法
CN112750150A (zh) * 2021-01-18 2021-05-04 西安电子科技大学 基于车辆检测和多目标跟踪的车流量统计方法
WO2023201904A1 (zh) * 2022-04-19 2023-10-26 五邑大学 车辆异常行驶检测方法、电子设备、存储介质
CN116229385A (zh) * 2023-03-08 2023-06-06 重庆大学 一种基于卷积神经网络结合贪心算法的车辆3d多目标跟踪方法

Also Published As

Publication number Publication date
CN117576926A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Hassaballah et al. Vehicle detection and tracking in adverse weather using a deep learning framework
Chen et al. Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review
CN108345822B (zh) 一种点云数据处理方法及装置
EP4152204A1 (en) Lane line detection method, and related apparatus
US11727668B2 (en) Using captured video data to identify pose of a vehicle
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN109727273B (zh) 一种基于车载鱼眼相机的移动目标检测方法
CN110929655B (zh) 一种行驶过程中车道线识别方法、终端设备及存储介质
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
Zakaria et al. Lane detection in autonomous vehicles: A systematic review
CN112706785B (zh) 一种自动驾驶车辆行驶环境认知目标选择方法、装置及存储介质
CN112487905A (zh) 一种车辆周边行人危险等级预测方法及系统
Hatolkar et al. A survey on road traffic sign recognition system using convolution neural network
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN117593685A (zh) 真值数据的构建方法和装置、存储介质
CN117576926B (zh) 车辆违规检测方法、设备及存储介质
CN115755021A (zh) 一种毫米雷达目标跟踪方法、装置、设备及存储介质
Venkatesh et al. An intelligent traffic management system based on the Internet of Things for detecting rule violations
Alam et al. Faster RCNN based robust vehicle detection algorithm for identifying and classifying vehicles
US20240020964A1 (en) Method and device for improving object recognition rate of self-driving car
Sun et al. Intelligent traffic accident detection system using surveillance video
CN117774963B (zh) 前向碰撞预警方法、装置、电子设备及智能驾驶车辆
CN111611942B (zh) 一种透视自适应车道骨架提取建库的方法
US20230252638A1 (en) Systems and methods for panoptic segmentation of images for autonomous driving
CN116561604B (zh) 货车的识别方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant