CN115620518B - 基于深度学习的交叉口交通冲突判别方法 - Google Patents

基于深度学习的交叉口交通冲突判别方法 Download PDF

Info

Publication number
CN115620518B
CN115620518B CN202211240935.8A CN202211240935A CN115620518B CN 115620518 B CN115620518 B CN 115620518B CN 202211240935 A CN202211240935 A CN 202211240935A CN 115620518 B CN115620518 B CN 115620518B
Authority
CN
China
Prior art keywords
vehicle
state
conflict
frame
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211240935.8A
Other languages
English (en)
Other versions
CN115620518A (zh
Inventor
刘攀
彭玮玥
季彦婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202211240935.8A priority Critical patent/CN115620518B/zh
Publication of CN115620518A publication Critical patent/CN115620518A/zh
Application granted granted Critical
Publication of CN115620518B publication Critical patent/CN115620518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于深度学习的交叉口交通冲突判别方法，通过无人机拍摄的城市道路交叉口视频数据集进行图像预处理和模型训练，利用深度学习原理进行运动目标的检测与跟踪，再运用高斯混合模型判断车辆的运动状态，利用卡尔曼滤波算法进行车辆实时轨迹预测，根据预测轨迹进行交通冲突判别，分别针对不同类型的交通冲突采取不同的计算方法提取冲突车辆的交通参数与冲突指标。本发明可以准确高效地统计交叉口的交通冲突，与人工计数法相比更加省时省力，为交通冲突分析提供了良好的数据基础和技术支持。

Description

基于深度学习的交叉口交通冲突判别方法
技术领域
本发明属于交通安全领域，更具体地说，涉及一种基于深度学习的交叉口交通冲突判别方法。
背景技术
交通冲突是交通安全评价领域中主流的研究对象之一，它是指不同的交通参与者在同一时间和空间上相互接近，迫使其中至少一个交通参与者改变自己的行驶速度或者方向来避免危险的一个现象。观测和分析交通冲突有利于评价特定路段的交通安全水平，从而改善其道理交通环境和交通设施。尽管如此，交通冲突的观测需要大量交通数据支撑，会造成数据提取工作繁杂，同时判断交通冲突具有主观性，容易造成大量不具备危险性的交通事件被误判，从而导致交通冲突难以被正确检测。
为了解决上述难点，人们进行了大量的研究，现有的研究大致分为现场人工观测法和录像法。由于人工观测法对观察人员要求很高，无法保证长时间精神高度集中，导致交通冲突漏判、误判，因此现阶段主流的方法是录像法，录像法大致分为基于人工观测的软件提取方法和基于视频识别的自动提取方法。基于人工观测的软件提取方法是由经过培训的人员反复观看录像，利用专业知识和经验识别交通冲突并利用软件提取交通参数和冲突指标。该方法简单灵活、易于实现，但是非常耗费时间和人力，主观性强且数据不准确。基于视频识别的自动提取方法是利用特征提取相关方法进行车辆识别与跟踪，根据交通冲突指标利用特征提取结果进行交通冲突识别。该方法节省了大量时间的精力，检测结果高效、客观、可靠、准确，但是目前多数研究中的冲突判别的顺序错误，应该是根据预测车辆轨迹进行冲突判别，最后提取冲突指标。同时，多数研究依然使用经典的检测和跟踪算法，未能很好地借鉴领域中更为先进的深度学习技术来提升检测和追踪效果。由于非机动车目标小、行驶轨迹灵活，鲜有研究利用深度学习技术判别非机动车这类小目标车辆的交通冲突，并且大部分数据集是道路监控视频或者倾斜拍摄的图片，畸变严重导致预测结果不准，误差大。
发明内容
针对以上问题，本发明构建了俯视拍摄的无人机数据集，能够有效地解决图片畸变问题，检测更加准确，并且利用的模型和算法更有利于小目标的检测、追踪和预测。本发明提出了一种基于深度学习的交叉口交通冲突判别方法，该方法有两个模块构成，第一个模块主要实现车辆的检测和跟踪，并且根据提取的车辆历史轨迹预测车辆未来轨迹。第二个模块是根据预测的车辆轨迹来判别交通冲突，进而提取交通参数和交通冲突指标，为交通冲突分析提供良好的技术和数据支撑。
本发明提供一种能够根据拍摄的视频文件，预测车辆轨迹，由此判断视频中车辆是否会发生冲突，从而达到自动识别交通冲突并提取相关交通参数与冲突指标的方法。
一种基于深度学习的交叉口交通冲突判别方法，所述方法包括以下步骤：
S1、对待研究地点所采集得到的交叉口交通图片数据进行图片纠偏、坐标系转换等预处理，将处理所得的图片数据集用于深度神经网络YOLOv3进行训练，随后使用训练后的模型T1训练YOLOv3模型，并通过其进行车辆检测；
S2、运用多目标跟踪DeepSORT算法进行车辆跟踪；
S3、利用高斯混合模型区分车辆的行驶状态，再采用卡尔曼滤波模型预测车辆轨迹；
S4、根据车辆预测轨迹判别交通冲突，最终提取车辆的交通参数与相关冲突指标。
进一步的，所述的S1中选择交叉口利用无人机拍摄视频数据，截取视频图片，对图片进行裁剪，并增加高斯噪声进行数据增强；利用标注软件标注无人机航拍图片中的车辆，将车辆分为七类：小汽车、货车、卡车、三轮车、自行车、公共汽车和电动自行车。
进一步的，所述的S1中下载YOLOv3的预训练权重，将测试图片规格设定为640*640，抽取类设为7类；输入图像经过全卷积神经网络得到3种尺度的输出特征图，在输出特征图上划分网络单元格，对于真实框中心所在的单元格，所述单元格就负责预测真实框中的目标；所述单元格先计算事先指定的3种锚点框与真实框的交并比，选出交并比最高的锚点框，然后用选出的锚点框生成需要的检测框，最后根据该检测框对不同类别的置信度，来检测类别；具体步骤如下：
S11、YOLOv3算法将输入的图片缩放到640*640，按照特征图的大小划分为s*s个大小一致的单元格，每个网格输出三个预测边界框，计算得到最终预测边界框的宽度、高度、高度、置信度和C个目标的类别概率；
其中，(cx,cy,pw,ph)、(bx,by,bw,bh)分别为锚点框和最终预测边界框在特征图上的重心坐标、宽和高；(tx,ty,tw,th)为每个网格预测的边界框中心偏移量、宽和高；σ表示sigmoid函数，通过该函数将变量缩放到[0,1]；
S12、根据与真实框IOU值最大的准则来选择最优边界框，由目标类别分数最大的为最终边界框；各类别的概率与各边界框的置信度相乘得到每个边界框类别分数；小于预设的分数阈值的边界框会被去除，然后按照分数降序排列，首先计算类1对应的置信度最大的边界框与剩余边界框的IOU值，若该值小于阈值，则认为其为冗余边界框，将类别分数设置为0；计算完所有边界框后，保留满足分数阈值和非极大值抑制的边界框；检索每个边界框对应的最大分数并获取对应的目标类别，若分数大于0，则将边界框作为最终的目标检测框，输出坐标信息；否则跳过，对其余边界框进行相同操作；
S13、通过分数阈值和非极大值抑制处理，去除冗余的边界框，得到最终的检测结果。
进一步的，所述的S2中根据前一帧检测框的位置，利用卡尔曼滤波预测出目标下一帧的位置，再通过匈牙利匹配算法对预测框和检测框进行重叠度评价，进而将预测框和检测框有效关联起来，实现对目标的追踪；具体步骤如下：
S21、使用8维空间向量描述每个车辆在某时刻的运动状态，其中，u，v，γ，h四个参数来自上述目标检测部分，(u，v)表示目标中心点坐标，γ表示检测框长宽比，h表示高度，/>表示检测框信息；根据当前目标状态可以用时间更新方程推测出目标下一帧的运动状态，用状态更新方程将时间更新方程预测出的下一帧的位置信息与检查得出的位置信息做差值，通过误差分析来矫正目标的实际位置信息，由此确定目标的运动轨迹；
X(k+1，k)＝A(k)X(k，k)
Z(k+1，k)＝H(k)X(k+1，k)
B(k+1)＝Z(k+1)-Z(k+1，k)
X(k+1，k+1)＝X(k+1，k)+K(k+1)B(k+1)
(2)
其中，X(k)表示系统状态向量，描述在k时刻下运动对象状态矢量，A(k)表示状态转移矩阵，描述由前一时刻到当前时刻下的运动状态转移方式，Z(k)表示观测向量，描述k时刻下的观测值，H(k)为观测矩阵，B(k)为控制矩阵，K(k)为滤波增益矩阵，是基于状态噪声协方差及观测噪声协方差得出的；
S22、利用现有轨迹的运动状态和外观特征，将新的检测框与跟踪器相关联；使用代价矩阵表示每个检测框和现有跟踪器之间的空间和外观相似性，用两个度量值加权；首先用马氏距离计算检测得到的目标框和卡尔曼滤波预测得到的目标框的运动匹配程度，再计算第i个轨迹和第j个轨迹之间的最小余弦距离，用两个指标加权平均计算最终的关联匹配程度；
ci，j＝λd(1)(i，j)+(1-λ)d(2)(i，j)
(3)
其中，第i个轨迹分布到测量空间的投影为(yi，Si)，第j个边界框检测为dj，rj为边界框检测dj的外观描述矩阵，为第i个轨迹的第k个外观描述信息，λ为超参数。
若合并关联成本ci，j位于度量阈值交集内，表示一个新的检测成功与现有跟踪器关联，则将该检测添加至轨迹中；如果未能关联，将该检测视为暂定轨迹，进行二次匹配，在后续如果连续3帧关联成功，该轨迹也将更新；如果在后续30帧中都未能找到匹配的检测框，则该轨迹被删除。
进一步的，所述的S3中根据高斯混合模型辨别交叉口车辆运动形式，利用标准卡尔曼滤波和无迹卡尔曼滤波进行车辆直行和转向轨迹预测；具体操作步骤如下：
S31、利用轨迹样本数据训练轨迹识别模型，将车辆运动状态分为直行、左转、右转，求得高斯混合模型中的参数，进而进行车辆运动形式判断；高斯混合模型定义如下：
其中，πk是第k个高斯成分的影响因子，且满足约束πk≥0，N(x|uk，∑k)为单高斯分布密度函数，∑k为标准差，σk为方差；
S32、利用标准卡尔曼滤波模型进行直行车辆的轨迹预测，其中运用匀速直线运动估计直行车辆的运动状态；定义状态向量x∈Rn，观测向量Z∈Rm，建立状态预测方程和观测方程如下：
xk＝Axk-1+Buk-1+ωk-1
zk＝Hxk+vk
(5)
其中，A，B，H分别表示过程矩阵、控制矩阵和观测矩阵，uk表示控制量；ωk，vk分别表示过程和观测噪声，两者相互独立，为满足正态分布的高斯白噪声，方差分别为Q和R；
给定初始值和Pk-1，再利用k时刻之前的状态对k时刻状态变量进行估计，并计算k时刻的误差协方差：
其中，表示先验状态估计，/>表示先验估计的协方差矩阵；
由此计算卡尔曼增益，并由观测变量更新后验估计值和后验协方差更新协方差矩阵；
其中，Kk表示卡尔曼增益，表示已知测量变量zk时第k步的后验状态估计，Pk表示后验状态的协方差矩阵；
上述步骤计算完毕后，整个过程重复迭代，上一次计算得到的后验估计作为下一次计算的先验估计；
S33、利用无迹卡尔曼滤波模型进行车辆转弯轨迹预测，其中运用恒转率恒速率转弯模型估计转弯车辆的运动状态；
建立转弯车辆的状态方程和观测方程：
初始化系统在k-1时刻的状态向量xk-1和状态协方差Pk-1，构造在k-1时刻的2n+1个sigma采样点
其中，n为状态向量xk的维数，λ为一个缩放比例参数，λ＝α2(n+κ)-n，此处取α＝0.01，取κ＝0；
计算采样点的权重，得到采样点集
其中，Wm为状态向量xk的权重，Wc为协方差Pk的权重，β是一个调整系数，β≥0；
利用状态方程递推出未来的sigma点并且计算状态向量的预测/>和协方差Px：k|k-1：
利用预测值产生新的sigma点集并将预测的点集代入观测方程，得到预测测量值/>
进一步计算得到观测状态向量的预测和协方差Pz：k|k-1，由此计算系统协方差Pxz：k|k-1：
更新系统的卡尔曼增益，并且计算得到新的系统状态向量xk|k和协方差Px：k|k，由此进行下一次的迭代计算；
Px：k|k＝Px：k|k-1-KPz：k|k-1KT
(14)。
进一步的，所述的S4中具体操作步骤如下：
S41、利用车辆轨迹预测判断两车轨迹是否相交，相交则记录相交点的坐标；根据向量计算车辆的前进方向角度变化和两车加速度，只要其中一个有减速行为或者变向行为，则两车可能造成交通冲突。计算当前时刻两车分别距离相交点的距离与此刻的速度，分别计算两车到达冲突点所需时间TTC’，记为TTC1和TTC2。
其中，TTC’为车辆到达冲突点所需时间，d为车辆距离冲突点的距离，v为车辆瞬时速度；
S42、根据车辆车身长度、避险时刻点前速度，计算其通过冲突点所需时间，记为t1和t2；若TTC1大于或等于TTC2，则比较TTC1与TTC2+t2的大小，若此时TTC1≤TTC2+t2，则两车可能造成交通冲突，否则为无效交通冲突；若TTC1小于TTC2，则比较TTC2与TTC1+t1的大小，若此时TTC2≤TTC1+t1，则两车可能造成交通冲突，否则为无效交通冲突；
S43、根据两车前进方向的相交角度划分车辆冲突类型，包括正向冲突、追尾冲突和对向冲突；不同的冲突类型按照不同的计算方式计算TTC，记为此时刻交通冲突的碰撞时间TTC；
当发生正向冲突时，TTC值计算公式为：
其中，di、dj分别为该时刻车辆i、j到达冲突点的距离，vi、vj分别为车辆i、j的瞬时速度；
当发生追尾冲突时，TTC值计算公式为：
其中，vi是后车瞬时速度，vj是前车瞬时速度，(xi,yi)、(xj,yj)分别为该时刻车辆i、j的像素坐标；
当发生对向冲突时，TTC值计算公式为：
S44、两辆车之间只记一次交通冲突，其TTC值取所有时刻的最小值；设置TTC阈值，排除部分交通冲突；计算两车速度、加速度、后侵入时间PET、冲突时间差TDTC、冲突位置等数据；
PET计算公式为：
PET＝t2-t1 (19)
其中，t1为先到达冲突点的车辆驶离冲突点的时刻，t2为后到达冲突点的车辆到达冲突点的时刻；
TDTC计算公式为：
根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明的基于深度学习的交叉口交通冲突判别方法中的步骤。
根据本发明的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明的基于深度学习的交叉口交通冲突判别方法中的步骤。
相比于现有技术，本发明至少具有如下有益效果：本发明提供了一种基于视频识别的交通冲突判别方法，能够实时检测交叉口的交通冲突，相比半人工和人工统计获取数据更加高效、智能、省时省力，结果更加准确、客观，为数据处理与分析提供便利。通过该发明可以获取各种车辆之间的冲突，不再拘泥于机动车之间的冲突或者机动车与非机动车冲突。同时该发明能够输出例如TTC、PET、TDTC、车辆加速度等各种指标，获取的数据多种多样，使得交通安全分析更加系统且全面。因此，本发明在交通冲突分析中具有实际运用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
图1为本发明的总体流程图；
图2为本发明中的车辆检测与跟踪的算法流程图；
图3为本发明中车辆轨迹判断方法流程图；
图4为本发明中冲突判别方式流程图；
图5为本发明与人工计数法在不同交叉口的交通冲突计数示意图。
具体实施方式
如图1-5所示，以下采用具体实施例进一步说明本发明的方法的具体实施过程。
采集某市五个交叉口的视频数据，利用基于深度学习的交通冲突判别方法进行交通冲突数据提取，具体步骤如下：
步骤1)截取该视频中的车流图片进行数据增强处理，利用深度神经网络YOLOv3对图片数据进行训练，得到模型的相关参数，通过训练结果对于视频中的车辆进行检测，得到目标检测框以及类别概率。
步骤2)利用卡尔曼滤波估计车辆下一帧的位置，并根据马氏距离和最小余弦距离将检测框和跟踪器进行匹配，从而实现车辆的追踪和轨迹更新。
步骤3)用提取的车辆轨迹数据训练轨迹识别模型，判断车辆为转弯或者直行，用标准卡尔曼滤波模型进行直行车辆的轨迹预测，用无迹卡尔曼滤波模型进行转弯车辆的轨迹预测。
步骤4)首先利用预测车辆轨迹判断两车轨迹是否相交，记录相交点坐标，计算当前时刻两车分别距离相交点的距离与此刻的速度，分别计算两车到达冲突点所需时间TTC’，记为TTC1和TTC2。根据车辆车身长度、避险时刻点前速度，计算其通过冲突点所需时间，记为t1和t2。若TTC1大于或等于TTC2，则比较TTC1与TTC2+t2的大小，若此时TTC1≤TTC2+t2，则两车可能造成交通冲突，否则为无效交通冲突；若TTC1小于TTC2，则比较TTC2与TTC1+t1的大小，若此时TTC2≤TTC1+t1，则两车可能造成交通冲突，否则为无效交通冲突。再利用向量判断车辆是否有变向或者减速行为，有则确定为有效交通冲突。由此可以根据两车前进方向的相交角度对车辆冲突类型进行划分，提取车辆的加速度、速度、车型等指标，并计算相关的交通冲突指标，例如TTC、PET、TDTC等。
为了将本发明与现在常用的交通冲突识别方法进行比较，利用无人机采集了5个交叉口的交通录像，分别为某市玄武区珠江路与太平北路相交的浮桥地铁站所在交叉口(交叉口1)、玄武区珠江路与北门桥路相交的交叉口(交叉口2)、江宁区兰台街与双龙大道相交的交叉口(交叉口3)、江宁区天元西路和利源中路相交的天元西路地铁站所在交叉口(交叉口4)、江宁区双龙大道与庄排路相交的交叉口(交叉口5)。为了验证该发明的准确性，每个交叉口选取20分钟的录像，然后对比人工统计得到的机动车与非机动车交通冲突数与本发明统计的机动车与非机动车交通交通冲突数，由此对比出的结果如表1所示。
表1
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (3)

1.一种基于深度学习的交叉口交通冲突判别方法，其特征在于，所述方法包括以下步骤：
S1、对待研究地点所采集得到的交叉口交通图片数据进行图片纠偏、坐标系转换预处理，将处理所得的图片数据集用于深度神经网络YOLOv3进行训练，随后使用训练后的模型T1训练YOLOv3模型，并通过其进行车辆检测；
S2、运用多目标跟踪DeepSORT算法进行车辆跟踪；
S3、利用高斯混合模型区分车辆的行驶状态，再采用卡尔曼滤波模型预测车辆轨迹；
S4、根据车辆预测轨迹判别交通冲突，最终提取车辆的交通参数与相关冲突指标；
所述的S1中选择交叉口利用无人机拍摄视频数据，截取视频图片，对图片进行裁剪，并增加高斯噪声进行数据增强；利用标注软件标注无人机航拍图片中的车辆，将车辆分为七类：小汽车、货车、卡车、三轮车、自行车、公共汽车和电动自行车；
所述的S1中下载YOLOv3的预训练权重，将测试图片规格设定为640*640，抽取类设为7类；输入图像经过全卷积神经网络得到3种尺度的输出特征图，在输出特征图上划分网络单元格，对于真实框中心所在的单元格，所述单元格就负责预测真实框中的目标；所述单元格先计算事先指定的3种锚点框与真实框的交并比，选出交并比最高的锚点框，然后用选出的锚点框生成需要的检测框，最后根据该检测框对不同类别的置信度，来检测类别；具体步骤如下：
S11、YOLOv3算法将输入的图片缩放到640*640，按照特征图的大小划分为s*s个大小一致的单元格，每个网格输出三个预测边界框，计算得到最终预测边界框的宽度、高度、置信度和C个目标的类别概率；
其中，(cx，cy，pw，ph)、(bx，by，bw，bh)分别为锚点框和最终预测边界框在特征图上的重心坐标、宽和高；(tx，ty，tw，th)为每个网格预测的边界框中心偏移量、宽和高；σ表示sigmoid函数，通过该函数将变量缩放到[0，1]；
S12、根据与真实框IOU值最大的准则来选择最优边界框，由目标类别分数最大的为最终边界框；各类别的概率与各边界框的置信度相乘得到每个边界框类别分数；小于预设的分数阈值的边界框会被去除，然后按照分数降序排列，首先计算类1对应的置信度最大的边界框与剩余边界框的IOU值，若该值小于阈值，则认为其为冗余边界框，将类别分数设置为0；计算完所有边界框后，保留满足分数阈值和非极大值抑制的边界框；检索每个边界框对应的最大分数并获取对应的目标类别，若分数大于0，则将边界框作为最终的目标检测框，输出坐标信息；否则跳过，对其余边界框进行相同操作；
S13、通过分数阈值和非极大值抑制处理，去除冗余的边界框，得到最终的检测结果；
所述的S2中根据前一帧检测框的位置，利用卡尔曼滤波预测出目标下一帧的位置，再通过匈牙利匹配算法对预测框和检测框进行重叠度评价，进而将预测框和检测框有效关联起来，实现对目标的追踪；具体步骤如下：
S21、使用8维空间向量描述每个车辆在某时刻的运动状态，其中，u，v，γ，h四个参数来自上述目标检测部分，(u，v)表示目标中心点坐标，γ表示检测框长宽比，h表示高度，/>表示检测框信息；根据当前目标状态可以用时间更新方程推测出目标下一帧的运动状态，用状态更新方程将时间更新方程预测出的下一帧的位置信息与检查得出的位置信息做差值，通过误差分析来矫正目标的实际位置信息，由此确定目标的运动轨迹；
X(k+1，k)＝A(k)X(k，k)
Z(k+1，k)＝H(k)X(k+1，k)
B(k+1)＝Z(k+1)-Z(k+1，k)
X(k+1，k+1)＝X(k+1，k)+K(k+1)B(k+1)
(2)
其中，X(k，k)表示系统状态向量，描述在k时刻下运动对象状态矢量，X(k+1，k)为预测的状态矢量，A(k)表示状态转移矩阵，描述由前一时刻到当前时刻下的运动状态转移方式，Z(k)表示观测向量，描述k时刻下的观测值，Z(k+1)为k+1时刻的观测向量，Z(k+1，k)为预测的观测向量，H(k)为观测矩阵，B(k+1)为控制矩阵，K(k)为滤波增益矩阵，是基于状态噪声协方差及观测噪声协方差得出的；
S22、利用现有轨迹的运动状态和外观特征，将新的检测框与跟踪器相关联；使用代价矩阵表示每个检测框和现有跟踪器之间的空间和外观相似性，用两个度量值加权；首先用马氏距离计算检测得到的目标框和卡尔曼滤波预测得到的目标框的运动匹配程度，再计算第i个轨迹和第j个轨迹之间的最小余弦距离，用两个指标加权平均计算最终的关联匹配程度；
ci，j＝λd(1)(i，j)+(1-λ)d(2)(i，j)
(3)
其中，d(1)(i，j)为马氏距离，d(2)(i，j)为最小余弦距离，第i个轨迹分布到测量空间的投影为(yi，Si)，第j个边界框检测为dj，rj为边界框检测dj的外观描述矩阵，为第i个轨迹的第k个外观描述信息，Ri表示确定轨迹的外观特征向量库，λ为超参数；
若合并关联成本ci，j位于度量阈值交集内，表示一个新的检测成功与现有跟踪器关联，则将该检测添加至轨迹中；如果未能关联，将该检测视为暂定轨迹，进行二次匹配，在后续如果连续3帧关联成功，该轨迹也将更新；如果在后续30帧中都未能找到匹配的检测框，则该轨迹被删除；
所述的S3中根据高斯混合模型辨别交叉口车辆运动形式，利用标准卡尔曼滤波和无迹卡尔曼滤波进行车辆直行和转向轨迹预测；具体操作步骤如下：
S31、利用轨迹样本数据训练轨迹识别模型，将车辆运动状态分为直行、左转、右转，求得高斯混合模型中的参数，进而进行车辆运动形式判断；高斯混合模型定义如下：
其中，πk是第k个高斯成分的影响因子，且满足约束为单高斯分布密度函数，∑k为标准差，σk为方差；
S32、利用标准卡尔曼滤波模型进行直行车辆的轨迹预测，其中运用匀速直线运动估计直行车辆的运动状态；定义状态向量x∈Rn，观测向量Z∈Rm，建立状态预测方程和观测方程如下：
xk＝Axk-1+Buk-1+ωk-1
zk＝Hxk+vk
(5)
其中，A，B，H分别表示过程矩阵、控制矩阵和观测矩阵，xk表示状态向量，uk-1表示控制量，zk表示观测向量；ωk-1，vk分别表示过程和观测噪声，两者相互独立，为满足正态分布的高斯白噪声，方差分别为Q和R；
给定初始值和Pk-1，再利用k时刻之前的状态对k时刻状态变量进行估计，并计算k时刻的误差协方差：
(6)
其中，表示先验状态估计，/>表示先验估计的协方差矩阵；
由此计算卡尔曼增益，并由观测变量更新后验估计值和后验协方差更新协方差矩阵；
(7)
其中，Kk表示卡尔曼增益，表示已知测量变量zk时第k步的后验状态估计，Pk表示后验状态的协方差矩阵；
上述步骤计算完毕后，整个过程重复迭代，上一次计算得到的后验估计作为下一次计算的先验估计；
S33、利用无迹卡尔曼滤波模型进行车辆转弯轨迹预测，其中运用恒转率恒速率转弯模型估计转弯车辆的运动状态；
建立转弯车辆的状态方程和观测方程：
其中，f()为非线性状态方程函数，h()为非线性观测方程函数；
初始化系统在k-1时刻的状态向量xk-1和状态协方差Pk-1，构造在k-1时刻的2n+1个sigma采样点
其中，n为状态向量zk的维数，λ为一个缩放比例参数，λ＝α2(n+κ)-n，此处取α＝0.01，取k＝0；
计算采样点的权重，得到采样点集
其中，为状态向量xk的权重，/>为第一个采样点的权重；/> 为协方差Pk的权重，/>为第一个采样点的权重；β是一个调整系数，β≥0；
利用状态方程递推出未来的sigma点并且计算状态向量的预测/>和协方差Px：k1k-1：
利用预测值产生新的sigma点集并将预测的点集代入观测方程，得到预测测量值/>
进一步计算得到观测状态向量的预测和协方差Pz：k|k-1，由此计算系统协方差Pxz：k|k-1：
更新系统的卡尔曼增益K，并且计算得到新的系统状态向量xk|k和协方差Px：k|k，由此进行下一次的迭代计算；
Px：k|k＝Px：k|k-1-KPz：k|k-1KT
(14)；
所述的S4中具体操作步骤如下：
S41、利用车辆轨迹预测判断两车轨迹是否相交，相交则记录相交点的坐标；根据向量计算车辆的前进方向角度变化和两车加速度，只要其中一个有减速行为或者变向行为，则两车可能造成交通冲突；计算当前时刻两车分别距离相交点的距离与此刻的速度，分别计算两车到达冲突点所需时间TTC’，记为TTC1和TTC2；
其中，TTC’为车辆到达冲突点所需时间，d为车辆距离冲突点的距离，v为车辆瞬时速度；
S42、根据车辆车身长度、避险时刻点前速度，计算其通过冲突点所需时间，记为t1和t2；若TTC1大于或等于TTC2，则比较TTC1与TTC2+t2的大小，若此时TTC1≤TTC2+t2，则两车可能造成交通冲突，否则为无效交通冲突；若TTC1小于TTC2，则比较TTC2与TTC1+t1的大小，若此时TTC2≤TTC1+t1，则两车可能造成交通冲突，否则为无效交通冲突；
S43、根据两车前进方向的相交角度划分车辆冲突类型，包括正向冲突、追尾冲突和对向冲突；不同的冲突类型按照不同的计算方式计算TTC，记为此时刻交通冲突的碰撞时间TTC；
当发生正向冲突时，TTC值计算公式为：
其中，di、dj分别为该时刻车辆i、j到达冲突点的距离，vi、vj分别为车辆i、j的瞬时速度；
当发生追尾冲突时，TTC值计算公式为：
其中，vi是后车瞬时速度，vj是前车瞬时速度，(xi，yi)、(xj，yj)分别为该时刻车辆i、j的像素坐标；
当发生对向冲突时，TTC值计算公式为：
S44、两辆车之间只记一次交通冲突，其TTC值取所有时刻的最小值；设置TTC阈值，排除部分交通冲突；计算两车速度、加速度、后侵入时间PET、冲突时间差TDTC、冲突位置数据；
PET计算公式为：
PET＝t2-t1 (19)
其中，t1为先到达冲突点的车辆驶离冲突点的时刻，t2为后到达冲突点的车辆到达冲突点的时刻；
TDTC计算公式为：
2.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1所述的基于深度学习的交叉口交通冲突判别方法中的步骤。
3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述的基于深度学习的交叉口交通冲突判别方法中的步骤。
CN202211240935.8A 2022-10-11 2022-10-11 基于深度学习的交叉口交通冲突判别方法 Active CN115620518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211240935.8A CN115620518B (zh) 2022-10-11 2022-10-11 基于深度学习的交叉口交通冲突判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211240935.8A CN115620518B (zh) 2022-10-11 2022-10-11 基于深度学习的交叉口交通冲突判别方法

Publications (2)

Publication Number Publication Date
CN115620518A CN115620518A (zh) 2023-01-17
CN115620518B true CN115620518B (zh) 2023-10-13

Family

ID=84861737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211240935.8A Active CN115620518B (zh) 2022-10-11 2022-10-11 基于深度学习的交叉口交通冲突判别方法

Country Status (1)

Country Link
CN (1) CN115620518B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777950B (zh) * 2023-04-19 2024-05-03 长沙理工大学 基于相机参数的多目标视觉跟踪方法、装置、设备及介质
CN116612642B (zh) * 2023-07-19 2023-10-17 长沙海信智能系统研究院有限公司 一种车辆连续变道检测方法及电子设备
CN117877272A (zh) * 2024-03-11 2024-04-12 中国市政工程华北设计研究总院有限公司 一种基于无人机检测的交叉口安全评价方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033461A (ja) * 2011-06-30 2013-02-14 Nissan Motor Co Ltd 運転状態診断装置
CN103093622A (zh) * 2013-01-09 2013-05-08 东南大学 一种平面信号交叉口机非交通冲突数的预测方法
CN103106811A (zh) * 2013-01-15 2013-05-15 东南大学 一种基于两车碰撞时间的机动车有效交通冲突识别方法
CN105243876A (zh) * 2015-11-06 2016-01-13 东南大学 一种用于互通立交的交通冲突严重性分析方法
CN112101433A (zh) * 2020-09-04 2020-12-18 东南大学 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
US10971005B1 (en) * 2019-12-26 2021-04-06 Continental Automotive Systems, Inc. Determining I2X traffic-participant criticality
CN113112809A (zh) * 2021-04-23 2021-07-13 武汉理工大学 一种基于全息感知的交叉口交通安全风险性评价系统
CN113312732A (zh) * 2021-04-28 2021-08-27 东南大学 一种结合预先决策与动态调整的无信控交叉口仿真控制方法及装置
CN113421289A (zh) * 2021-05-17 2021-09-21 同济大学 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN113781773A (zh) * 2021-08-17 2021-12-10 中山大学 一种交通运行评估方法、装置、系统及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033461A (ja) * 2011-06-30 2013-02-14 Nissan Motor Co Ltd 運転状態診断装置
CN103093622A (zh) * 2013-01-09 2013-05-08 东南大学 一种平面信号交叉口机非交通冲突数的预测方法
CN103106811A (zh) * 2013-01-15 2013-05-15 东南大学 一种基于两车碰撞时间的机动车有效交通冲突识别方法
CN105243876A (zh) * 2015-11-06 2016-01-13 东南大学 一种用于互通立交的交通冲突严重性分析方法
US10971005B1 (en) * 2019-12-26 2021-04-06 Continental Automotive Systems, Inc. Determining I2X traffic-participant criticality
CN112101433A (zh) * 2020-09-04 2020-12-18 东南大学 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN113112809A (zh) * 2021-04-23 2021-07-13 武汉理工大学 一种基于全息感知的交叉口交通安全风险性评价系统
CN113312732A (zh) * 2021-04-28 2021-08-27 东南大学 一种结合预先决策与动态调整的无信控交叉口仿真控制方法及装置
CN113421289A (zh) * 2021-05-17 2021-09-21 同济大学 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN113781773A (zh) * 2021-08-17 2021-12-10 中山大学 一种交通运行评估方法、装置、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄同愿 ; 向国徽 ; 杨雪姣 ; .基于深度学习的行人检测技术研究进展.重庆理工大学学报(自然科学).2019,(第04期),全文. *

Also Published As

Publication number Publication date
CN115620518A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN115620518B (zh) 基于深度学习的交叉口交通冲突判别方法
CN109948582B (zh) 一种基于跟踪轨迹分析的车辆逆行智能检测方法
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
CN109285348B (zh) 基于无人机与长短时记忆网络的车辆行为识别方法及系统
CN112308881B (zh) 一种基于遥感图像的舰船多目标跟踪方法
CN110197502B (zh) 一种基于身份再识别的多目标跟踪方法及系统
DE102011117585B4 (de) Systeme und Verfahren zum Verfolgen von Objekten
CN103699905B (zh) 一种车牌定位方法及装置
CN105956632B (zh) 一种检测目标的方法和装置
Bach et al. Deep convolutional traffic light recognition for automated driving
CN109871763A (zh) 一种基于yolo的特定目标跟踪方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111476817A (zh) 一种基于yolov3的多目标行人检测跟踪方法
CN109190488B (zh) 基于深度学习YOLOv3算法的前车车门打开检测方法及装置
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN114898326A (zh) 基于深度学习的单行道车辆逆行检测方法、系统及设备
CN111210458B (zh) 一种基于预检测置信度的运动目标检测前跟踪方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN115657002A (zh) 基于交通毫米波雷达的车辆运动状态估计方法
CN116109986A (zh) 一种基于激光雷达和视频技术互补的车辆轨迹提取方法
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
Yi et al. Multi-Person tracking algorithm based on data association
CN106127798A (zh) 基于自适应模型的稠密时空上下文目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant