CN117392621B - 一种机动车右转不礼让行人行为识别方法及系统 - Google Patents

一种机动车右转不礼让行人行为识别方法及系统 Download PDF

Info

Publication number
CN117392621B
CN117392621B CN202311469888.9A CN202311469888A CN117392621B CN 117392621 B CN117392621 B CN 117392621B CN 202311469888 A CN202311469888 A CN 202311469888A CN 117392621 B CN117392621 B CN 117392621B
Authority
CN
China
Prior art keywords
motor vehicle
pedestrian
turn
width
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311469888.9A
Other languages
English (en)
Other versions
CN117392621A (zh
Inventor
龚永刚
吴晓
李威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202311469888.9A priority Critical patent/CN117392621B/zh
Publication of CN117392621A publication Critical patent/CN117392621A/zh
Application granted granted Critical
Publication of CN117392621B publication Critical patent/CN117392621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及计算机视觉技术领域，公开了一种机动车右转不礼让行人行为识别方法及系统，该方法，包括以下步骤：S1，目标检测跟踪：检测并跟踪视频画面中的目标，形成目标的实时轨迹；其中，目标包括机动车、行人；S2，道路场景识别：识别道路场景；S3，行为识别：识别机动车右转不礼让行人行为；其中，步骤S1、步骤S2的顺序可交换，也可同时执行。本发明解决了现有技术存在的人力投入较大、工作效率较低等问题。

Description

一种机动车右转不礼让行人行为识别方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体是一种机动车右转不礼让行人行为识别方法及系统。
背景技术
人行横道又被称为斑马线，它引导行人安全的通过道路，所以斑马线也是行人的“安全线”和“生命线”。机动车礼让斑马线，不仅是遵守道路交通法律法规的具体体现，也是城市文明交通的重要标志。按照《道路交通安全法》第四十七条规定，机动车行经人行横道时，应当减速行驶，遇行人正在通过人行横道，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。因此，机动车驾驶员如果不礼让行人，不仅仅是不文明驾驶的问题，更是一种违法行为。现阶段，城市机动车驾驶人不文明、不安全的交通出行行为仍然普遍存在，尤其由于机动车右转不受信号灯状态限制，遇行人正在通过人行横道时未停车让行的行为尤为明显，由此造成交通事故也屡见不鲜。然而各地现有电子警察设备,由于设备老旧等客观原因，普遍不支持对机动车不礼让行人违法行为进行自动采抓拍取证。为减低建设应用成本，提升工作效能，解放人力资源，亟需充分利旧智慧交通建设成果，基于已建的海量视频监控球机，通过后端智能视频分析，实现机动车不礼让行人违法数据的自动采集。
视频监控球机获取交通信息普遍采用固定的检测区域(虚拟线圈法)。一般来说，检测区域是在算法部署时根据具体检测场景以人工的方式设定，但道路实际运行环境中，车辆通行引起的路面、桥面震动以及视频监控球机同时兼顾视频交通事件检测和交通监控用途等因素，使得视频监控设备时常偏离其初始位置。而设备性能、应用年限等客观原因，导致视频监控球机往往无法精准复位至预定的检测场景位置，交通事件检测的准确性和有效性随着应用时间呈逐步下降趋势。对此，传统做法通过人工持续维护，人力投入较大，工作效率较低，影响实战应用。
发明内容
为克服现有技术的不足，本发明提供了一种机动车右转不礼让行人行为识别方法及系统，解决现有技术存在的人力投入较大、工作效率较低等问题。
本发明解决上述问题所采用的技术方案是：
一种机动车右转不礼让行人行为识别方法，包括以下步骤：
S1，目标检测跟踪：检测并跟踪视频画面中的目标，形成目标的实时轨迹；其中，目标包括机动车、行人；
S2，道路场景识别：识别道路场景；
S3，行为识别：识别机动车右转不礼让行人行为；
其中，步骤S1、步骤S2的顺序可交换，也可同时执行。
作为一种优选的技术方案，步骤S1中，使用YOLOv8算法检测并跟踪视频画面中的机动车、行人，形成目标的实时轨迹Traj(i，Vehicle，t)、Traj(j，Person，t)；其中，Vehicle为机动车，Person为行人，i为机动车编号，j为行人编号，t为时间。
作为一种优选的技术方案，步骤S2中，通过图像分割方法识别路口右转入口车道、人行横道、右转出口道，包括以下步骤：
S21，通过图像分割算法将视频画面k分割为不同语义区域Regionk；其中，k为道路的编号，k＝1，2，3，Region1对应右转入口车道，Region2对应人行横道，Region3对应右转出口道；
S22，对每个语义区域Regionk进行图像操作，提取轮廓contourk，自动配置检测区域Fk，k＝1，2，3；
S23，当检测到道路场景发生变化，进行视频画面自动标定，返回步骤S21。
作为一种优选的技术方案，步骤S23中，视频画面自动标定包括如下步骤：
S231，特征点及其局部特征提取：提取静态画面的特征点和局部特征；
S232，特征点匹配：比较二副画面中的特征匹配度；
S233，映射关系计算：根据设定的匹配度阈值，判断视频画面的角度是否发生变化；
S234，任意角度实时车道分割：对于判定发生变化的情况，重新对车道进行分割，并配置检测区域。
作为一种优选的技术方案，步骤S3包括以下步骤：
S31，判断机动车是否右转；若是，进入步骤S32；若否，丢弃该视频画面；
S32，判断车辆右转过程中行人是否进入人行横道；若是，进入步骤S33；若否，丢弃该视频画面；
S33，判断机动车是否在行人通过后通行：若是，认定为该行为涉嫌违法；若否，丢弃该视频画面。
作为一种优选的技术方案，步骤S31包括以下步骤：
S311，遍历目标检测跟踪得到的所有机动车实时轨迹数据Traj(i，Vehicle，t)，得到机动车i的连续轨迹坐标Vehicle(i，t)；
其中，Vehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，i为机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为机动车i的X轴坐标，Yn为机动车i的Y轴坐标，heightn为机动车i的高，widthn为机动车i的宽；
S312，结合机动车i连续轨迹坐标Vehicle(i，t)、检测区域Fk，对比判断Vehicle(i，t)是否顺序经过右转入口车道Region1、人行横道Region2、右转出口道Region3；其中，k＝1，2，3；
S313，若机动车i完成右转，则生成右转轨迹RightVehicle(i，t)；否则跳到步骤S311进行下一次遍历；
其中，RightVehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，i为右转机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为右转机动车i的X轴坐标，Yn为右转机动车i的Y轴坐标，heightn为右转机动车i的高，widthn为右转机动车i的宽。
作为一种优选的技术方案，步骤S32包括以下步骤：
S321，遍历目标检测跟踪得到所有行人的实时轨迹数据Traj(j，person，t)，得到行人j的连续轨迹坐标Person(j，t)；
其中，Person(j，t)＝{(tn，Xn，Yn，heightn，widthn)}，j为行人的编号，n为时刻点的编号，tn为第n个时刻点，Xn为行人j的X轴坐标，Yn为行人j的Y轴坐标，heightn为行人j的高，widthn为行人j的宽；
S322，结合右转机动车i连续轨迹坐标RightVehicle(i，t)、行人j的连续轨迹坐标Person(j，t)、人行横道线Region2，对比判断右转机动车i、行人j是否同一时段出现在人行横道；
S323，若机动车i右转过程中是否有行人j进入人行横道，则生成右转机动车与行人的位置关系Vp＝(RightVehicle(i，t)，Person(j，t))，否则进入跳到步骤S321进行下一次遍历。
作为一种优选的技术方案，步骤S33包括以下步骤：
S331，遍历右转机动车i与行人j的位置关系Vp＝(RightVehicle(i，t)，Person(j，t))，根据坐标信息判断行人的移动轨迹方向，并且计算右转车辆与行人距离dij；
S332，若右转机动车i从行人j身后经过，进入步骤1进行下一次遍历，若车辆从行人身前经过，且dij<＝单车道宽度，则记录车辆连续轨迹坐标ViolateVehicle(i，t)；
其中，ViolateVehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，i为机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为涉嫌违法机动车i的X轴坐标，Yn为涉嫌违法机动车i的Y轴坐标，heightn为涉嫌违法机动车i的高，widthn为涉嫌违法机动车i的宽。
作为一种优选的技术方案，还包括以下步骤：
S4，涉嫌违法图片生成：根据违法处罚规则将存在右转不礼让行人的违法机动车i进入人行横道前、人行横道中、离开人行横道后的视频画面以及涉嫌违法信息进行封装，具体包括以下步骤：
S41，通过涉嫌违法机动车i连续目标轨迹ViolateVehicle(i，t)、检测区域Fk，从机动车i中计算筛选出右转入口车道Region1、人行横道Region2、右转出口道Region3中的坐标集listit＝(tit，Xit，Yit，heightit，widthit)，其中i＝1，2，3，tit为第it个时刻点时刻，Xit为涉嫌违法机动车i在某一时刻画面中的X轴坐标，Yit为涉嫌违法机动车i在某一时刻画面中的Y轴坐标，heightit为涉嫌违法机动车i在在某一时刻画面中的高，widthit为涉嫌违法机动车i在在某一时刻画面中的宽；
S42，从listit中分别随机选取三个时刻点1n，2n，3n，根据违法机动车i连续目标轨ViolateVehicle(i，n)取得对应帧的视频画面；
S43，生成违法证据图片。
一种机动车右转不礼让行人行为识别系统，用于实现所述的一种机动车右转不礼让行人行为识别方法，包括以下模块：
目标检测跟踪模块：用以，检测并跟踪视频画面中的目标，形成目标的实时轨迹；其中，目标包括机动车、行人；
道路场景识别模块：用以，识别道路场景；
行为识别模块：用以，识别机动车右转不礼让行人行为；
其中，目标检测跟踪模块、道路场景识别模块、行为识别模块依次连接，或，道路场景识别模块、目标检测跟踪模块、行为识别模块依次连接，或，道路场景识别模块、目标检测跟踪模块连接，道路场景识别模块、目标检测跟踪模块分别与行为识别模块连接。
本发明相比于现有技术，具有以下有益效果：
(1)本发明对现有的深度学习技术进行了应用创新，与传统方法相比，提升图像分割的准确性和精度，有效解决球机大视角偏差和规模化应用问题，提高了该方法的鲁棒性和实用性；
(2)本发明通过视频画面静态背景和车辆动态轨迹叠加，自动识别视频画面中路口右转入口车道、人行横道、右转出口道等道路区域，自动绘制线圈，配置道路属性，提升图像分割的准确性和精度；
(3)本发明通过视频画面自动标定，触发自适应算法，实时自动分析、调整检测线圈范围，减少人工工作量，有效解决球机大视角偏差和规模化应用问题；
(4)本发明在自动识别机动车右转未礼让行人行为的同时，根据交通违法处罚规则，自动生成违法证据图片，具有较好的应用性。
附图说明
图1为本发明所述的一种机动车右转不礼让行人行为识别方法的流程图；
图2为视频画面自动分割流程图；
图3为图2的局部放大图之一；
图4为图2的局部放大图之二；
图5为视频画面自动标定流程图；
图6为图5的局部放大图之一；
图7为图5的局部放大图之二；
图8为背景画面场景分割例图；
图9为识别的机动车右转不礼让行人例图。
具体实施方式
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例1
如图1至图9所示，本发明通过目标检测与跟踪算法、视频画面自动分割、视频画面自动标定等技术，利旧已有的视频监控球机，自动完成机动车右转不礼让行人的自动识别、自动抓拍。同时，本发明自动产出检测线圈，解放人工运维压力，支持视频监控球机规模化应用。
针对现有技术存在的问题，本发明既赋予视频监控球机自动识别机动车不礼让行人的能力，又赋予球机视频监控设备检测区域自适应能力。
本发明利旧已有的视频监控球机，利用前沿的深度学习技术，实时检测视频画面中机动车、行人、车道线、人行横道等交通要素，根据机动车、行人、人行横道的位置信息，自动识别不礼让行人的车辆。同时，根据交通违法处罚规则自动生成违法证据图片。
本发明通过视频画面自动分割，识别入口车道、人行横道、出口车道和车流方向，采用静态背景和动态轨迹叠加的策略，进一步提升了场景分割的准确性。
如图1所示，本发明提出的基于视频监控球机机动车右转未礼让行人自动识别方法，实现方式主要步骤如下：
1.目标(人、车)检测与跟踪：
目标检测与跟踪会检测并跟踪视频画面中的机动车、行人，形成目标的实时轨迹Traj(i，Vehicle，t)、Traj(j，Person，t)，其中i、j分别为机动车、行人编号，t为时刻。本发明使用YOLOv8算法检测跟踪视频画面中机动车、行人的实时轨迹数据。
2.道路场景识别，自动绘制检测区域：
通过图像分割技术，识别路口右转入口车道、人行横道、右转出口道等，自动配置检测区域。具体流程如下：
(1)对于视频画面k，通过图像分割算法，分割为不同语义区域Regionk(k＝1，2，3)，Region1对应右转入口车道，Region2对应人行横道，Region3对应右转出口道；
(2)对每个语义区域Regionk进行图像操作，提取轮廓contourk，表现形式为多边形，自动配置检测区域Fk(k＝1，2，3)。
(3)当检测到道路场景发生变化，进行视频画面自动标定，重复步骤(1)-(2)。
本发明使用的图像分割技术如图2，对应步骤(1)和(2)。通过视频画面静态背景和车辆动态轨迹叠加，提升图像分割的准确性和精度。
更具体地：
通过车辆动态轨迹判断机动车车道的数量、方向、隔离带，通过行人轨迹的轨迹去判断人行道、人行横道，从而进一步去校正静态背景中车道线、机动车道、人行横道、人行道等交通要素。
本方法使用的视频画面自动标定如图5，对应步骤(3)，自动生成新的检测区域，满足任意角度实时车道分割：
更具体地：
提取静态画面的特征点和局部特征，比较二副画面中的特征匹配度。根据设定的匹配度阈值，判断视频画面的角度是否发生变化。对于判定发生变化的情况，重新对车道进行分割，并配置检测区域。
3.判断机动车是否右转：
判断机动车i是否右转，具体流程如下：
(1)遍历目标检测跟踪得到的所有机动车实时轨迹数据Traj(i，Vehicle，t)，得到机动车i的连续轨迹坐标Vehicle(i，t)。
Vehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，其中i为机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为机动车i的X轴坐标，Yn为机动车i的Y轴坐标，heightn为机动车i的高，widthn为机动车i的宽。
(2)结合机动车i连续轨迹坐标Vehicle(i，t)、检测区域Fk，对比判断Vehicle(i，t)是否顺序经过右转入口车道Region1、人行横道Region2、右转出口道Region3。
(3)若机动车i完成右转，则生成右转轨迹RightVehicle(i，t)；否则跳到步骤1进行下一次遍历。
RightVehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，其中i为右转机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为右转机动车i的X轴坐标，Yn为右转机动车i的Y轴坐标，heightn为右转机动车i的高，widthn为右转机动车i的宽。
4.判断机动车右转过程中行人是否进入人行横道：
分析机动车i右转过程中是否有行人j进入人行横道，具体流程如下：
(1)遍历目标检测跟踪得到所有行人的实时轨迹数据Traj(j，Person，t)，得到行人j的连续轨迹坐标Person(j，t)。
Person(j，t)＝{(tn，Xn，Yn，heightn，widthn)}，其中j为行人的编号，n为时刻点的编号，tn为第n个时刻点，Xn为行人j的X轴坐标，Yn为行人j的Y轴坐标，heightn为行人j的高，widthn为行人j的宽。
(2)结合右转机动车i连续轨迹坐标RightVehicle(i，t)、行人j的连续轨迹坐标Person(j，t)、人行横道线Region2，对比判断右转机动车i、行人j是否同一时段出现在人行横道。
(3)若右转机动车i右转过程中是否有行人j进入人行横道，则生成机动车与行人的位置关系Vp＝(RightVehicle(i，t)，Person(j，t))，否则进入跳到步骤2进行下一次遍历。
5.判断右转机动车是否在行人通过后通行：
分析右转机动车i是否在行人j通过后通过，需要计算机动车i与行人j的位置关系，具体流程如下：
(1)遍历机动车i与行人j的位置关系Vp＝(RightVehicle(i，t)，Person(j，t))，根据坐标信息判断行人的移动轨迹方向，并且计算车辆与行人距离dij。
(2)若右转机动车i从行人j身后经过，进入步骤1进行下一次遍历，若车辆从行人身前经过，且dij<＝单车道宽度，则记录涉嫌违法车辆连续轨迹坐标ViolateVehicle(i，t)。
ViolateVehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)]，其中i为机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为涉嫌违法机动车i的X轴坐标，Yn为涉嫌违法机动车i的Y轴坐标，heightn为涉嫌违法机动车i的高，widthn为涉嫌违法机动车i的宽。
6.自动生成违法图片：
根据违法处罚规则将存在右转不礼让行人的机动车i进入人行横道前、人行横道中、离开人行横道后的图片以及涉嫌违法信息进行封装，具体实现如下：
(1)通过涉嫌违法机动车i连续目标轨迹ViolateVehicle(i，t)、检测区域Fk，从机动车i中计算筛选出右转入口车道Region1、人行横道Region2、右转出口道Region3中的坐标集listit＝(tit，Xit，Yit，heightit，widthit)，其中i＝1，2，3，tit为时刻，Xit为涉嫌违法机动车i在某一时刻画面中的X轴坐标，Yit为涉嫌违法机动车i在某一时刻画面中的Y轴坐标，heightit为涉嫌违法机动车i在在某一时刻画面中的高，widthit为涉嫌违法机动车i在在某一时刻画面中的宽。
(2)从listit(i＝1，2，3)中分别随机选取三个时刻点1n，2n，3n，根据涉嫌右转不礼让行人的机动车i连续目标轨ViolateVehicle(i，n)取得对应帧的画面图片。
(3)根据图片信息、涉嫌违法信息、抓拍时间、设备信息等叠加水印生成涉嫌违法证据图片。
图9中，前三张图片，分别为涉嫌右转不礼让行人的机动车经过转入口车道、人行横道、右转出口道的画面；最后一张为车辆抠图，判断车辆号牌是否被识别出。
如上所述，可较好地实现本发明。
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (6)

1.一种机动车右转不礼让行人行为识别方法，其特征在于，包括以下步骤：
S1，目标检测跟踪：检测并跟踪视频画面中的目标，形成目标的实时轨迹；其中，目标包括机动车、行人；
S2，道路场景识别：识别道路场景；
S3，行为识别：识别机动车右转不礼让行人行为；
其中，步骤S1、步骤S2的顺序可交换，也可同时执行；
步骤S3包括以下步骤：
S31，判断机动车是否右转；若是，进入步骤S32；若否，丢弃该视频画面；
S32，判断车辆右转过程中行人是否进入人行横道；若是，进入步骤S33；若否，丢弃该视频画面；
S33，判断机动车是否在行人通过后通行：若是，认定为该行为涉嫌违法；若否，丢弃该视频画面；
步骤S31包括以下步骤：
S311，遍历目标检测跟踪得到的所有机动车实时轨迹数据Traj(i，Vehicle，t)，得到机动车i的连续轨迹坐标Vehicle(i，t)；
其中，Vehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，i为机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为机动车i的X轴坐标，Yn为机动车i的Y轴坐标，heightn为机动车i的高，widthn为机动车i的宽；
S312，结合机动车i连续轨迹坐标Vehicle(i，t)、检测区域Fk，对比判断Vehicle(i，t)是否顺序经过右转入口车道Region1、人行横道Region2、右转出口道Region3；其中，k＝1，2，3；
S313，若机动车i完成右转，则生成右转轨迹RightVehicle(i，t)；否则跳到步骤S311进行下一次遍历；
其中，RightVehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，i为右转机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为右转机动车i的X轴坐标，Yn为右转机动车i的Y轴坐标，heightn为右转机动车i的高，widthn为右转机动车i的宽；
步骤S32包括以下步骤：
S321，遍历目标检测跟踪得到所有行人的实时轨迹数据Traj(j，person，t)，得到行人j的连续轨迹坐标Person(j，t)；
其中，Person(j，t)＝{(tn，Xn，Yn，heightn，widthn)}，j为行人的编号，n为时刻点的编号，tn为第n个时刻点，Xn为行人j的X轴坐标，Yn为行人j的Y轴坐标，heightn为行人j的高，widthn为行人j的宽；
S322，结合右转机动车i连续轨迹坐标RightVehicle(i，t)、行人j的连续轨迹坐标Person(j，t)、人行横道线Region2，对比判断右转机动车i、行人j是否同一时段出现在人行横道；
S323，若机动车i右转过程中是否有行人j进入人行横道，则生成右转机动车与行人的位置关系Vp＝(RightVehicle(i，t)，Person(j，t))，否则进入跳到步骤S321进行下一次遍历；
步骤S33包括以下步骤：
S331，遍历右转机动车i与行人j的位置关系Vp＝(RightVehicle(i，t)，Person(j，t))，根据坐标信息判断行人的移动轨迹方向，并且计算右转车辆与行人距离dij；
S332，若右转机动车i从行人j身后经过，进入步骤1进行下一次遍历，若车辆从行人身前经过，且dij<＝单车道宽度，则记录车辆连续轨迹坐标ViolateVehicle(i，t)；
其中，ViolateVehicle(i，t)＝{(tn，Xn，Yn，heightn，widthn)}，i为机动车的编号，n为时刻点的编号，tn为第n个时刻点，Xn为涉嫌违法机动车i的X轴坐标，Yn为涉嫌违法机动车i的Y轴坐标，heightn为涉嫌违法机动车i的高，widthn为涉嫌违法机动车i的宽。
2.根据权利要求1所述的一种机动车右转不礼让行人行为识别方法，其特征在于，步骤S1中，使用YOLOv8算法检测并跟踪视频画面中的机动车、行人，形成目标的实时轨迹Traj(i，Vehicle，t)、Traj(j，Person，t)；其中，Vehicle为机动车，Person为行人，i为机动车编号，j为行人编号，t为时间。
3.根据权利要求1所述的一种机动车右转不礼让行人行为识别方法，其特征在于，步骤S2中，通过图像分割方法识别路口右转入口车道、人行横道、右转出口道，包括以下步骤：
S21，通过图像分割算法将视频画面k分割为不同语义区域Regionk；其中，k为道路的编号，k＝1，2，3，Region1对应右转入口车道，Region2对应人行横道，Region3对应右转出口道；
S22，对每个语义区域Regionk进行图像操作，提取轮廓contourk，自动配置检测区域Fk，k＝1，2，3；
S23，当检测到道路场景发生变化，进行视频画面自动标定，返回步骤S21。
4.根据权利要求3所述的一种机动车右转不礼让行人行为识别方法，其特征在于，步骤S23中，视频画面自动标定包括如下步骤：
S231，特征点及其局部特征提取：提取静态画面的特征点和局部特征；
S232，特征点匹配：比较二副画面中的特征匹配度；
S233，映射关系计算：根据设定的匹配度阈值，判断视频画面的角度是否发生变化；
S234，任意角度实时车道分割：对于判定发生变化的情况，重新对车道进行分割，并配置检测区域。
5.根据权利要求1至4任一项所述的一种机动车右转不礼让行人行为识别方法，其特征在于，还包括以下步骤：
S4，涉嫌违法图片生成：根据违法处罚规则将存在右转不礼让行人的违法机动车i进入人行横道前、人行横道中、离开人行横道后的视频画面以及涉嫌违法信息进行封装，具体包括以下步骤：
S41，通过涉嫌违法机动车i连续目标轨迹ViolateVehicle(i，t)、检测区域Fk，从机动车i中计算筛选出右转入口车道Region1、人行横道Region2、右转出口道Region3中的坐标集listit＝(tit，Xit，Yit，heightit，widthit)，其中i＝1，2，3，tit为第it个时刻点时刻，Xit为涉嫌违法机动车i在某一时刻画面中的X轴坐标，Yit为涉嫌违法机动车i在某一时刻画面中的Y轴坐标，heightit为涉嫌违法机动车i在在某一时刻画面中的高，widthit为涉嫌违法机动车i在在某一时刻画面中的宽；
S42，从listit中分别随机选取三个时刻点1n，2n，3n，根据违法机动车i连续目标轨ViolateVehicle(i，n)取得对应帧的视频画面；
S43，生成违法证据图片。
6.一种机动车右转不礼让行人行为识别系统，其特征在于，用于实现权利要求1至5任一项所述的一种机动车右转不礼让行人行为识别方法，包括以下模块：
目标检测跟踪模块：用以，检测并跟踪视频画面中的目标，形成目标的实时轨迹；其中，目标包括机动车、行人；
道路场景识别模块：用以，识别道路场景；
行为识别模块：用以，识别机动车右转不礼让行人行为；
其中，目标检测跟踪模块、道路场景识别模块、行为识别模块依次连接，或，道路场景识别模块、目标检测跟踪模块、行为识别模块依次连接，或，道路场景识别模块、目标检测跟踪模块连接，道路场景识别模块、目标检测跟踪模块分别与行为识别模块连接。
CN202311469888.9A 2023-11-07 2023-11-07 一种机动车右转不礼让行人行为识别方法及系统 Active CN117392621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311469888.9A CN117392621B (zh) 2023-11-07 2023-11-07 一种机动车右转不礼让行人行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311469888.9A CN117392621B (zh) 2023-11-07 2023-11-07 一种机动车右转不礼让行人行为识别方法及系统

Publications (2)

Publication Number Publication Date
CN117392621A CN117392621A (zh) 2024-01-12
CN117392621B true CN117392621B (zh) 2024-06-07

Family

ID=89464765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311469888.9A Active CN117392621B (zh) 2023-11-07 2023-11-07 一种机动车右转不礼让行人行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN117392621B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005219639A (ja) * 2004-02-05 2005-08-18 Nissan Motor Co Ltd 走行状況検出装置及び走行状況検出方法
CN103065470A (zh) * 2012-12-18 2013-04-24 浙江工业大学 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置
CN106097724A (zh) * 2016-07-18 2016-11-09 中国科学院地理科学与资源研究所 户外便携式交通信息视频检测与采集系统及其检测方法
JP2017142735A (ja) * 2016-02-12 2017-08-17 マツダ株式会社 車両用の歩行者動作識別装置
CN107146429A (zh) * 2017-07-03 2017-09-08 辽宁科技大学 一种基于图像和gps信息融合的交通信号灯控制方法
CN107293116A (zh) * 2017-06-27 2017-10-24 浙江浩腾电子科技股份有限公司 一种基于视频分析的交通事件检测系统
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN108364466A (zh) * 2018-02-11 2018-08-03 金陵科技学院 一种基于无人机交通视频的车流量统计方法
CN109741608A (zh) * 2019-01-29 2019-05-10 浙江浩腾电子科技股份有限公司 基于深度学习的机动车右转礼让行人分析抓拍系统及方法
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN113011331A (zh) * 2021-03-19 2021-06-22 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN113879295A (zh) * 2020-07-02 2022-01-04 华为技术有限公司 轨迹预测方法及装置
CN114494938A (zh) * 2021-12-23 2022-05-13 济南博观智能科技有限公司 一种非机动车行为识别方法及相关装置
CN115601717A (zh) * 2022-10-19 2023-01-13 中诚华隆计算机技术有限公司（Cn） 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN116453341A (zh) * 2023-04-24 2023-07-18 公安部道路交通安全研究中心 一种自动驾驶汽车的车端实时违规监测方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5146482B2 (ja) * 2010-03-29 2013-02-20 株式会社デンソー 交錯点マップ作成装置および交錯点マップ作成装置用のプログラム
CN105314122B (zh) * 2015-12-01 2017-08-15 浙江宇视科技有限公司 一种用于应急指挥和占道取证的无人机
CN105741595B (zh) * 2016-04-27 2018-02-27 常州加美科技有限公司 一种基于云端数据库的无人驾驶车辆导航行车方法
US10782138B2 (en) * 2017-10-06 2020-09-22 Here Global B.V. Method, apparatus, and computer program product for pedestrian behavior profile generation
JP6664441B2 (ja) * 2018-07-23 2020-03-13 株式会社ゼンリン 車両制御システム及び地図データのデータ構造
JP2023526329A (ja) * 2020-05-15 2023-06-21 パーセプティブ オートマタ インコーポレイテッド 自律車両のための機械学習ベースモデルの検証およびトレーニングのためのシナリオ識別
CN112721802A (zh) * 2021-02-06 2021-04-30 合肥思艾汽车科技有限公司 集成全景环视和盲区行人预警的车载设备及其预警方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005219639A (ja) * 2004-02-05 2005-08-18 Nissan Motor Co Ltd 走行状況検出装置及び走行状況検出方法
CN103065470A (zh) * 2012-12-18 2013-04-24 浙江工业大学 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置
JP2017142735A (ja) * 2016-02-12 2017-08-17 マツダ株式会社 車両用の歩行者動作識別装置
CN106097724A (zh) * 2016-07-18 2016-11-09 中国科学院地理科学与资源研究所 户外便携式交通信息视频检测与采集系统及其检测方法
CN107293116A (zh) * 2017-06-27 2017-10-24 浙江浩腾电子科技股份有限公司 一种基于视频分析的交通事件检测系统
CN107146429A (zh) * 2017-07-03 2017-09-08 辽宁科技大学 一种基于图像和gps信息融合的交通信号灯控制方法
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN108364466A (zh) * 2018-02-11 2018-08-03 金陵科技学院 一种基于无人机交通视频的车流量统计方法
CN109741608A (zh) * 2019-01-29 2019-05-10 浙江浩腾电子科技股份有限公司 基于深度学习的机动车右转礼让行人分析抓拍系统及方法
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN113879295A (zh) * 2020-07-02 2022-01-04 华为技术有限公司 轨迹预测方法及装置
CN113011331A (zh) * 2021-03-19 2021-06-22 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN114494938A (zh) * 2021-12-23 2022-05-13 济南博观智能科技有限公司 一种非机动车行为识别方法及相关装置
CN115601717A (zh) * 2022-10-19 2023-01-13 中诚华隆计算机技术有限公司（Cn） 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN116453341A (zh) * 2023-04-24 2023-07-18 公安部道路交通安全研究中心 一种自动驾驶汽车的车端实时违规监测方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Road boundary estimation to improve vehicle detection and tracking in UAV video;张立业;彭仲仁;李立;王华;;Journal of Central South University;20141215(第12期);全文 *
多尺度深度特征融合的变化检测;樊玮;周末;黄睿;;中国图象图形学报;20200415(第04期);全文 *

Also Published As

Publication number Publication date
CN117392621A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
US10885777B2 (en) Multiple exposure event determination
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN112069643B (zh) 一种自动驾驶仿真场景生成方法及装置
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
US11216689B2 (en) Detection of emergency vehicles
CN106462727A (zh) 用于车道尽头识别的系统和方法
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN104574993B (zh) 一种道路监控的方法及装置
CN103164958B (zh) 车辆监控方法及系统
CN107393311B (zh) 一种车牌篡改识别装置及方法
CN113822285A (zh) 一种用于复杂应用场景的车辆违停识别方法
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN113676702A (zh) 基于视频流的目标追踪监测方法、系统、装置及存储介质
CN109427191A (zh) 一种行驶检测方法及装置
CN102768726A (zh) 一种预防行人碰撞的行人检测方法
CN109670431A (zh) 一种行为检测方法及装置
JP2023104982A (ja) 事故分析装置
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
CN106205135A (zh) 一种违章掉头车辆行为的检测方法、装置及系统和一种球机
CN114694060A (zh) 一种道路抛洒物检测方法、电子设备及存储介质
CN114140767A (zh) 路面检测方法、装置、设备及存储介质
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
CN117392621B (zh) 一种机动车右转不礼让行人行为识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant