CN117994987A - 基于目标检测技术的交通参数提取方法及相关装置 - Google Patents
基于目标检测技术的交通参数提取方法及相关装置 Download PDFInfo
- Publication number
- CN117994987A CN117994987A CN202410404764.0A CN202410404764A CN117994987A CN 117994987 A CN117994987 A CN 117994987A CN 202410404764 A CN202410404764 A CN 202410404764A CN 117994987 A CN117994987 A CN 117994987A
- Authority
- CN
- China
- Prior art keywords
- track
- sub
- lane
- traffic
- tracks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 title claims abstract description 31
- 238000005516 engineering process Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 9
- 239000013598 vector Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于目标检测技术的交通参数提取方法及相关装置，本发明从路测监控获取稳定视角下交通运行视频，通过坐标转换方式将视频中的车辆轨迹点坐标转换为真实世界坐标，从而可获得轨迹点的速度，通过对车辆轨迹拆分、聚类，获得不同的子轨迹类，根据轨迹点的速度和不同的子轨迹类获取车道级交通参数，该方法可直接通过程序实现，相较于传统的人工计数统计或利用浮动车法，更加省时省力，成本低，便于广泛使用。
Description
技术领域
本发明涉及一种基于目标检测技术的交通参数提取方法及相关装置，属于图像识别与交通运行管理技术领域。
背景技术
智能交通系统是一种综合应用信息技术和通信技术的交通管理系统，旨在提高交通效率、减少交通拥堵、增强交通安全和改善交通环境。它利用现代通信、传感、计算和控制技术，将交通设施、交通工具和交通管理有机地结合起来，实现交通信息的采集、处理、传输和利用。车道级交通参数是进行交通运行情况分析，交通优化方案制定的基础，能够为智能交通管理和服务提供更精细的支持，在工程实际中有着重要的作用。然而使用人工计数统计或利用浮动车法进行车道级交通参数的采集费时费力，成本高，难以得到广泛的使用，因此现在急需一种新的车道级交通参数获取方法。
发明内容
本发明提供了一种基于目标检测技术的交通参数提取方法及相关装置，解决饿了背景技术中披露的问题。
根据本公开的一个方面，提供一种基于目标检测技术的交通参数提取方法，包括：从路测监控获取交通运行视频，并从交通运行视频中获取各车辆的轨迹；将车辆轨迹的轨迹点坐标转换成真实世界的坐标，并根据真实世界的坐标，计算轨迹点的速度；对车辆轨迹进行拆分，获得子轨迹，并对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类；根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数。
在本公开的一些实施例中，从交通运行视频中获取各车辆的轨迹，包括：逐帧读取交通运行视频，采用TransTrack模型，获取各车辆的轨迹；其中，在TransTrack模型中，采用跟踪框的分布区间代替跟踪框具体位置，采用检测框的分布区间代替检测框具体位置，利用匈牙利算法代替跟踪框与检测框的交并比指标匹配方法。
在本公开的一些实施例中，依次采用预先获取的坐标转换矩阵和坐标旋转矩阵进行坐标转换；
其中，获取坐标转换矩阵的过程包括：从路测监控获取包含标定板的图像，并提取图像中的标定板上的角点坐标；根据角点坐标、与角点坐标对应的真实世界坐标、以及路测监控的摄像机内外参数，获得坐标转换矩阵；
坐标旋转矩阵为将真实世界坐标的x轴旋转至垂直交通运行视频内标定的车道方向、将真实世界坐标的y轴旋转至平行交通运行视频内标定的车道方向。
在本公开的一些实施例中，对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类，包括：对子轨迹进行聚类，获得多个子轨迹类；针对每个子轨迹类，随机抽取子轨迹类中的部分子轨迹，将随机抽取的子轨迹作为代表轨迹，若大于A1%的代表轨迹为沿车道方向的子轨迹，则判定该子轨迹类为车道子轨迹类，若不大于A1%的代表轨迹为沿车道方向的子轨迹，则判定该子轨迹类为变道子轨迹类；其中，A1%为第一阈值。
在本公开的一些实施例中，判断代表轨迹为沿车道方向的子轨迹过程为：若代表轨迹中大于A2%的轨迹点的速度夹角在[-θ,θ]内，则判定代表轨迹为代表轨迹为沿车道方向的子轨迹；其中，轨迹点的速度夹角为轨迹点的速度方向与车道中线的夹角，θ为速度夹角上限，A2%为第二阈值。
在本公开的一些实施例中，根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数，包括：根据车道子轨迹类中的车辆id数量，获得每分钟车道的流量；根据变道子轨迹类中的车辆id数量，获得每分钟车道间进行变道的流量；根据车道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道平均车速；根据变道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道间变道平均车速；根据车道子轨迹类中每帧的轨迹点数量，获得每分钟车道的排队长度均值；根据车道子轨迹类中的车辆id第一次出现时间，获得每分钟车道中的平均车头时距。
根据本公开的另一个方面，提供一种基于目标检测技术的交通参数提取装置，包括：
视频轨迹模块，从路测监控获取交通运行视频，并从交通运行视频中获取各车辆的轨迹；
速度模块，将车辆轨迹的轨迹点坐标转换成真实世界的坐标，并根据真实世界的坐标，计算轨迹点的速度；
聚类模块，对车辆轨迹进行拆分，获得子轨迹，并对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类；
交通参数模块，根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数。
在本公开的一些实施例中，视频轨迹模块中，从交通运行视频中获取各车辆的轨迹，包括：逐帧读取交通运行视频，采用TransTrack模型，获取各车辆的轨迹；其中，在TransTrack模型中，采用跟踪框的分布区间代替跟踪框具体位置，采用检测框的分布区间代替检测框具体位置，利用匈牙利算法代替IOU匹配。
根据本公开的另一个方面，提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行基于目标检测技术的交通参数提取方法。
根据本公开的另一个方面，提供一种计算机设备，包括一个或多个处理器、以及一个或多个存储器，一个或多个程序存储在一个或多个存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行基于目标检测技术的交通参数提取方法的指令。
本发明所达到的有益效果：本发明从路测监控获取稳定视角下交通运行视频，通过坐标转换方式将视频中的车辆轨迹点坐标转换为真实世界坐标，从而可获得轨迹点的速度，通过对车辆轨迹拆分、聚类，获得不同的子轨迹类，根据轨迹点的速度和不同的子轨迹类获取车道级交通参数，该方法可直接通过程序实现，相较于传统的人工计数统计或利用浮动车法，更加省时省力，成本低，便于广泛使用。
附图说明
图1为交通参数提取方法的流程图；
图2为交通参数提取装置的框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具有说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不做详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其他示例可以具有不同值。
应注意到：相似的符号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为了解决现有人工计数统计或利用浮动车法费时费力、成本高的问题，
高精度地图建图方法中会出现地图漂移和高度跳变的现象，本公开提出一种基于目标检测技术的交通参数提取方法及相关装置，具体是从路测监控获取稳定视角下交通运行视频，采用目标检测技术获得车道级交通参数。
图1为本公开基于目标检测技术的交通参数提取方法一个实施例的示意图，图1的实施例可由智能交通系统的服务器执行。
如图1所示，实施例的步骤1，从路测监控获取交通运行视频，并从交通运行视频中获取各车辆的轨迹。
需要说明的是，目前交通运行视频的获取可以有多种途径，比较常见如采用无人机拍摄，但是无人机无法提供稳定的视角，对于交通参数精度会产生影响，同时无人机采集数据往往时长较短，无法针对定点获取多时段长时间的连续数据，每次飞行的视角不同也会对后续坐标转换工作以及车道级的交通参数获取造成困扰。而路侧监控（即路侧监控摄像机）布设范围广泛，拍摄时间长，视角固定，通过单次标定即可获取稳定的坐标转换关系，因此本发明直接从路测监控获取稳定视角下的交通运行视频，交通参数提取也不需要过长或过短的视频，一般仅需获取1小时视频即可。
需要说明的是，可以采用YOLO（You Only Look Once，是一个系列的目标识别算法）+DeepSORT（Deep learning based SORT，是结合了深度学习的SORT算法）从视频中提取轨迹，具体过程可以为：对于交通运行视频，逐帧读取并使用YOLOv5目标检测神经网络对初始帧进行目标检测，获取车辆目标位置，而后对比每一帧图像与相邻帧图像中检测出的车辆目标检测框的相对位置信息，利用DeepSort目标关联跟踪算法将前后帧检测出的车辆目标进行关联，获取每帧中车辆的编号和位置信息，将所得结果进行整合，得到视频流车辆轨迹。
上述过程的运算效率一般，为了减少运算时间，提高用户满意度，在一些实施例中，采用JDE（Jointly learns the Detector and Embedding model (JDE)检测与追踪联合学习）范式追踪算法提取轨迹，具体采用改进的TransTrack模型提取轨迹，具体过程可以为：逐帧读取交通运行视频，采用改进的TransTrack模型，获取各车辆的轨迹。
TransTrack模型分为两部分，即目标检测和目标追踪，交通参数提取方法的根本来源在于轨迹提取，而轨迹提取的根本来源在于目标检测。这里改进的TransTrack模型在现有TransTrack模型的基础上做了改进，具体是采用跟踪框的分布区间代替跟踪框具体位置，采用检测框的分布区间代替检测框具体位置，利用匈牙利算法代替IOU匹配方法。
Transtrack模型的流程在于：使用当前帧和上一帧的检测特征序列作为输入，通过网络提取当前帧的键特征向量与检测目标特征序列，上一帧的检测特征序列与当前帧键特征向量进行编解码得到跟踪特征序列，当前帧的检测目标特征序列与当前帧键特征向量进行编解码得到检测特征序列；前者经过编解码之后变为当前帧的跟踪框（上一帧目标在当前帧的位置预测），后者经过编解码之后变为检测框；而后利用IOU（跟踪框与检测框的交并比指标）匹配算法在当前帧完成了数据关联步骤。
改进的TransTrack模型采用与现有TransTrack模型相同的骨干网络，调整了其编解码的输出结果，从原先的跟踪框准确位置改为跟踪框的分布区间（包含了框中心横、纵坐标、框大小、框横纵比、以及四个值的估计方差），从原先的检测框准确位置改为检测框的分布区间，从而使目标追踪匹配具有更加丰富的目标信息，对于不同的目标有着更强的适应性。并将原模型中使用IOU进行匹配改为了使用匈牙利算法对网络中的跟踪框分布和检测框分布进行匹配，对改进后的TransTrack模型进行重新的端对端训练，解决了原本的TransTrack模型检测能力强而跟踪能力相对不足的问题。
返回图1，实施例的步骤2，将车辆轨迹的轨迹点坐标转换成真实世界的坐标，并根据真实世界的坐标，计算轨迹点的速度。
需要说明的是，在实施坐标变换之前，需要预先获取像素坐标系与真实坐标系间之间的坐标转换矩阵，具体过程可以如下：
21）从路测监控获取包含标定板的图像，并提取图像中的标定板上的角点坐标。
需要说明的是，标定板为一个已知大小和形状的棋盘格标定板，路侧监控摄像机拍摄若干张包含标定板的图像，确保标定板在图像中有足够的数量和不同的姿态，对每张图像，使用OpenCV（开源的跨平台计算机视觉库）图像处理算法提取出标定板上的角点坐标，并将其与真实世界坐标对应，即可建立像素坐标与真实坐标之间的映射关系。
22）根据角点坐标、与角点坐标对应的真实世界坐标、以及路测监控的摄像机内外参数，获得坐标转换矩阵。
需要说明的是，路测监控的摄像机内外参数可使用如张正友相机标定算法获取，内参数包括相机的焦距、畸变等，外参数包括相机的位置和姿态。
根据角点坐标、与角点坐标对应的真实世界坐标、内外参数，计算像素坐标系与真实坐标系间的转换矩阵，具有如下：
；
；
；
式中，z c 为比例因子，u和v分别为像素坐标系的横坐标和纵坐标，X W 、Y W 、Z W 分别为世界坐标系的水平横坐标、水平纵坐标和竖直坐标，M1和M2分别为内参数矩阵和外参数矩阵，f x 和f y 分别是摄像机在x和y方向上的焦距，γ是像素间的非正交因子，u 0和v 0分别表示摄像机感光板中心在像素坐标系下的横坐标和纵坐标，R为旋转矩阵，t为平移向量，为一个全0矩阵，大小为1*3，公式中的3代表3行，T代表转置。
在完成坐标系变换后，为了方便后续运算，对真实世界坐标进行一个旋转操作，使真实世界坐标的x轴垂直车道方向，y轴平行车道方向，车道上z坐标始终为0；其中，旋转操作通过坐标旋转矩阵实现，车道方向采用人工在交通运行视频内标定，不需要标定每个车道的具体位置，以减少人工标注工作量，提高效率。具体操作是将通过坐标转换矩阵转换后的坐标，再乘一个坐标旋转矩阵得到最后的真实世界的坐标。
为了进一步保证转换的准确，在转换之前，还需要采用滤波算法对步骤1的车辆轨迹去去噪平滑，由于轨迹中的轨迹点较多，为了增加计算效率，进一步可对轨迹进行采样，具体可以每1s均匀选取10个采样点进行采样，采用坐标转换矩阵，将采样的轨迹点坐标转换成真实世界的坐标，可以将轨迹点表示为如下矢量：
h t =(t,id,x t ,y t ,△x t , △y t )；
式中，t表示时刻，也是当前流矢量所在的帧数，流矢量即车辆轨迹矢量，是包含了位置、运动方向、时间和表征特征的矢量集合，由于多个矢量之间有流的关系（交通流）因此称作流矢量，h t 表示t时刻的轨迹点，id为当前流矢量对应的车辆编号，x t 代表车辆在t时刻真实世界坐标系下的横坐标，y t 代表车辆在t时刻真实世界坐标系下的纵坐标，△x t 代表车辆在t时刻与上个采样点真实世界坐标系下的横坐标差值，△y t 代表车辆在t时刻与上个采样点真实世界坐标系下的纵坐标差值。因此每辆车的轨迹序列均可表示为：H={h 1,h 2,…,h n }，n为轨迹点数量。
对上述采样的轨迹点进行时序差分即可得到每个轨迹点的速度。
返回图1，实施例的步骤3，对车辆轨迹进行拆分，获得子轨迹，并对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类。
需要说明的是，因为车辆行驶通过监控路段的时长不同，每辆车的轨迹序列长度不同，如果按照完整轨迹长度会导致聚类产生困难（使用神经网络聚类需要保证每个输入的格式是一致的，如果轨迹长度不同会导致格式不一致），同时也会引入多余信息（即经过的时长会形成新的轨迹特征，干扰我们利用轨迹空间特征进行聚类的本意）导致聚类不准确。因此，按每20个点将轨迹拆分成多个子轨迹，轨迹总数量无法被20整除时允许对交接处的轨迹点进行重复采样，即如果轨迹长度为58，那么前一段轨迹是前20个点，中间段轨迹为第19个点到第39个点，后段轨迹为最后20个点。拆分的轨迹点同时也能使子轨迹代表较短行驶段，增强其所在空间区域特征，丰富样本量，减少长段轨迹中包含复杂行驶行为（如先按道行驶，后变道，再变道）对轨迹聚类产生的影响。
拆分成子轨迹后，对子轨迹进行聚类，获得多个子轨迹类；其中，需要注意的是，在聚类时去除序列中的t和id，避免无关干扰。
车辆的轨迹主要有两种，一种是沿车道行驶的轨迹，另一种是变道的轨迹，因此，针对每个子轨迹类，随机抽取子轨迹类中的部分子轨迹，每个子轨迹类抽取的数量一致，为一个预先设定的值，具体可以是100（如果子轨迹类中子轨迹数量达不到该值可以进行随机重复采样，值的设定根据不同场景可以自行调整），将随机抽取的子轨迹作为代表轨迹，若大于A1%的代表轨迹为沿车道方向的子轨迹，则判定该子轨迹类为车道子轨迹类，若不大于A1%的代表轨迹为沿车道方向的子轨迹，则判定该子轨迹类为变道子轨迹类；其中，A1%为第一阈值，一般为75%。通过车道子轨迹类以及变道子轨迹类中轨迹的坐标分布情况可以获得其在图像中的对应关系与相对位置关系。
在一些实施例中，通过轨迹点的速度方向判断代表轨迹是否为沿车道方向的子轨迹，具体过程可以如下：
若代表轨迹中大于A2%的轨迹点的速度夹角在[-θ,θ]内，则判定代表轨迹为代表轨迹为沿车道方向的子轨迹；其中，轨迹点的速度夹角为轨迹点的速度方向与车道中线的夹角，θ为速度夹角上限，一般为6°，A2%为第二阈值，一般为50%。
返回图1，实施例的步骤4，根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数。
需要说明的是，目前常用的车道级交通参数包括每分钟车道的流量、每分钟车道间进行变道的流量、每分钟车道平均车速、每分钟车道间变道平均车速、每分钟车道的排队长度均值、以及每分钟车道中的平均车头时距。
因此获取参数时，将视频的时间进行切片，按每1分钟为时间区间进行统计，具体过程可以如下：
1）根据车道子轨迹类中的车辆id数量，获得每分钟车道的流量。
需要说明的是，每个车辆会被分配一个车辆id，轨迹是车辆的轨迹，因此每条轨迹有且仅有一个id，即车辆id。轨迹类中包含多条轨迹，但由于对轨迹进行拆分，因此可能一个轨迹类中同一个车辆的子轨迹出现了多条，因此判断车辆id（即不重复的id）即可判别出现过的车辆数量。
2）根据变道子轨迹类中的车辆id数量，获得每分钟车道间进行变道的流量。
需要说明的是，通过统计不同轨迹类中的车辆id数量，得到每分钟各个车道的流量估计值，以及不同车道间进行变道的流量估计值。
3）根据车道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道平均车速。
4）根据变道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道间变道平均车速。
需要说明的是，通过统计不同轨迹类在每分钟内轨迹点对应速度的均值，可以得到每分钟的车道平均车速以及车道间变道平均车速。
5）根据车道子轨迹类中每帧的轨迹点数量，获得每分钟车道的排队长度均值。
需要说明的是，通过统计车道子轨迹类中每帧的轨迹点数量，可以得到每个时刻的车道排队长度，按一分钟取均值可以得到每分钟的排队长度均值。
6）根据车道子轨迹类中的车辆id第一次出现时间，获得每分钟车道中的平均车头时距。
需要说明的是，通过统计车道子轨迹类中车辆id的第一次出现时间，将其求差分可以得到车辆的车头时距，按一分钟取均值可以得到该分钟的平均车头时距。
需要说明的是，获得车道级交通参数后，可对其进行分析，计算这些参数的方差，上15%分位数与下15%分位数，绘制参数随时间的变化，输出数据，表格与图像并保存。
上述方法基于目标检测技术实现车道级交通参数提取，通过路侧监控采集交通运行视频，可获得稳定视角下的交通场景画面，广泛应用于布设了监控摄像头的重点路段，通过一次坐标标定获取稳定图像信息与真实场景坐标转换关系，利用图像识别方法获取车辆轨迹，并利用聚类方法自适应划分车道轨迹类，可以高效智能统计提取车道级交通参数，该方法可直接通过程序实现，相较于传统的人工计数统计或利用浮动车法，更加省时省力，成本低，便于广泛使用，在交通安全评价与交通运行管理中具有实际的工程应用价值。
图2为本公开基于目标检测技术的交通参数提取装置一个实施例的示意图，图2的实施例为一个虚拟装置，可由智能交通系统的服务器装载并执行，包括视频轨迹模块、速度模块、聚类模块和交通参数模块。
实施例的视频轨迹模块被配置为，从路测监控获取交通运行视频，并从交通运行视频中获取各车辆的轨迹。
为了提高轨迹提取效率，在一些实施例中，采用JDE（Jointly learns theDetector and Embedding model (JDE)检测与追踪联合学习）范式追踪算法提取轨迹，具体采用改进的TransTrack模型提取轨迹，具体过程可以为：逐帧读取交通运行视频，采用改进的TransTrack模型，获取各车辆的轨迹。
这里改进的TransTrack模型在现有TransTrack模型的基础上做了改进，具体是采用跟踪框的分布区间代替跟踪框具体位置，采用检测框的分布区间代替检测框具体位置，利用匈牙利算法代替IOU匹配方法。这种改进有效解决了现有TransTrack模型虽然检测效果强大但是在跟踪效果上仍有欠缺的问题，实现了更好的轨迹提取效果。
实施例的速度模块被配置为，将车辆轨迹的轨迹点坐标转换成真实世界的坐标，并根据真实世界的坐标，计算轨迹点的速度。
实施例的聚类模块被配置为，对车辆轨迹进行拆分，获得子轨迹，并对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类。
实施例的交通参数模块被配置为，根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数。
需要说明的是，目前常用的车道级交通参数包括每分钟车道的流量、每分钟车道间进行变道的流量、每分钟车道平均车速、每分钟车道间变道平均车速、每分钟车道的排队长度均值、以及每分钟车道中的平均车头时距。
因此交通参数模块被配置为：根据车道子轨迹类中的车辆id数量，获得每分钟车道的流量；根据变道子轨迹类中的车辆id数量，获得每分钟车道间进行变道的流量；根据车道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道平均车速；根据变道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道间变道平均车速；根据车道子轨迹类中每帧的轨迹点数量，获得每分钟车道的排队长度均值；根据车道子轨迹类中的车辆id第一次出现时间，获得每分钟车道中的平均车头时距。
上述系统从路测监控获取稳定视角下交通运行视频，通过坐标转换方式将视频中的车辆轨迹点坐标转换为真实世界坐标，从而可获得轨迹点的速度，通过对车辆轨迹拆分、聚类，获得不同的子轨迹类，根据轨迹点的速度和不同的子轨迹类获取车道级交通参数，相较于传统的人工计数统计或利用浮动车法，更加省时省力，成本低，便于广泛使用。
基于相同的技术方案，本公开还涉及一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行基于目标检测技术的交通参数提取方法。
基于相同的技术方案，本公开还涉及一种计算机设备，包括一个或多个处理器、以及一个或多个存储器，一个或多个程序存储在一个或多个存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行基于目标检测技术的交通参数提取方法的指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。
Claims (10)
1.基于目标检测技术的交通参数提取方法，其特征在于，包括：
从路测监控获取交通运行视频，并从交通运行视频中获取各车辆的轨迹；
将车辆轨迹的轨迹点坐标转换成真实世界的坐标，并根据真实世界的坐标，计算轨迹点的速度；
对车辆轨迹进行拆分，获得子轨迹，并对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类；
根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数。
2.根据权利要求1所述的基于目标检测技术的交通参数提取方法，其特征在于，从交通运行视频中获取各车辆的轨迹，包括：
逐帧读取交通运行视频，采用TransTrack模型，获取各车辆的轨迹；其中，在TransTrack模型中，采用跟踪框的分布区间代替跟踪框具体位置，采用检测框的分布区间代替检测框具体位置，利用匈牙利算法代替跟踪框与检测框的交并比指标匹配方法。
3.根据权利要求1所述的基于目标检测技术的交通参数提取方法，其特征在于，依次采用预先获取的坐标转换矩阵和坐标旋转矩阵进行坐标转换；
其中，获取坐标转换矩阵的过程包括：
从路测监控获取包含标定板的图像，并提取图像中的标定板上的角点坐标；
根据角点坐标、与角点坐标对应的真实世界坐标、以及路测监控的摄像机内外参数，获得坐标转换矩阵；
坐标旋转矩阵为将真实世界坐标的x轴旋转至垂直交通运行视频内标定的车道方向、将真实世界坐标的y轴旋转至平行交通运行视频内标定的车道方向。
4.根据权利要求1所述的基于目标检测技术的交通参数提取方法，其特征在于，对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类，包括：
对子轨迹进行聚类，获得多个子轨迹类；
针对每个子轨迹类，随机抽取子轨迹类中的部分子轨迹，将随机抽取的子轨迹作为代表轨迹，若大于A1%的代表轨迹为沿车道方向的子轨迹，则判定该子轨迹类为车道子轨迹类，若不大于A1%的代表轨迹为沿车道方向的子轨迹，则判定该子轨迹类为变道子轨迹类；其中，A1%为第一阈值。
5.根据权利要求4所述的基于目标检测技术的交通参数提取方法，其特征在于，判断代表轨迹为沿车道方向的子轨迹过程为：
若代表轨迹中大于A2%的轨迹点的速度夹角在[-θ,θ]内，则判定代表轨迹为代表轨迹为沿车道方向的子轨迹；其中，轨迹点的速度夹角为轨迹点的速度方向与车道中线的夹角，θ为速度夹角上限，A2%为第二阈值。
6.根据权利要求1所述的基于目标检测技术的交通参数提取方法，其特征在于，根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数，包括：
根据车道子轨迹类中的车辆id数量，获得每分钟车道的流量；
根据变道子轨迹类中的车辆id数量，获得每分钟车道间进行变道的流量；
根据车道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道平均车速；
根据变道子轨迹类中在每分钟内轨迹点对应速度的均值，获得每分钟车道间变道平均车速；
根据车道子轨迹类中每帧的轨迹点数量，获得每分钟车道的排队长度均值；
根据车道子轨迹类中的车辆id第一次出现时间，获得每分钟车道中的平均车头时距。
7.基于目标检测技术的交通参数提取装置，其特征在于，包括：
视频轨迹模块，从路测监控获取交通运行视频，并从交通运行视频中获取各车辆的轨迹；
速度模块，将车辆轨迹的轨迹点坐标转换成真实世界的坐标，并根据真实世界的坐标，计算轨迹点的速度；
聚类模块，对车辆轨迹进行拆分，获得子轨迹，并对子轨迹进行聚类，获得车道子轨迹类和变道子轨迹类；
交通参数模块，根据轨迹点的速度、车道子轨迹类和变道子轨迹类，获取交通运行视频中的交通参数。
8.根据权利要求7所述的基于目标检测技术的交通参数提取装置，其特征在于，视频轨迹模块中，从交通运行视频中获取各车辆的轨迹，包括：
逐帧读取交通运行视频，采用TransTrack模型，获取各车辆的轨迹；其中，在TransTrack模型中，采用跟踪框的分布区间代替跟踪框具体位置，采用检测框的分布区间代替检测框具体位置，利用匈牙利算法代替IOU匹配。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行权利要求1~6任一所述的方法。
10.一种计算机设备，其特征在于，包括：
一个或多个处理器、以及一个或多个存储器，一个或多个程序存储在一个或多个存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行权利要求1~6任一所述的方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410404764.0A CN117994987B (zh) | 2024-04-07 | 2024-04-07 | 基于目标检测技术的交通参数提取方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410404764.0A CN117994987B (zh) | 2024-04-07 | 2024-04-07 | 基于目标检测技术的交通参数提取方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117994987A true CN117994987A (zh) | 2024-05-07 |
| CN117994987B CN117994987B (zh) | 2024-06-11 |
Family
ID=90901042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410404764.0A Active CN117994987B (zh) | 2024-04-07 | 2024-04-07 | 基于目标检测技术的交通参数提取方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994987B (zh) |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004086341A (ja) * | 2002-08-23 | 2004-03-18 | Mitsubishi Electric Corp | 道路交通流計測装置 |
| JP2009140007A (ja) * | 2007-12-03 | 2009-06-25 | Sumitomo Electric Ind Ltd | 交通量算出装置、交通量算出プログラム及び交通量算出方法 |
| CN104504897A (zh) * | 2014-09-28 | 2015-04-08 | 北京工业大学 | 一种基于轨迹数据的交叉口交通流特性分析及车辆运动预测方法 |
| CN104882005A (zh) * | 2015-05-15 | 2015-09-02 | 青岛海信网络科技股份有限公司 | 一种检测车道车流量的方法及装置 |
| CN109544909A (zh) * | 2018-10-29 | 2019-03-29 | 华蓝设计（集团）有限公司 | 基于航拍视频车辆轨迹的驾驶员换道行为分析方法 |
| CN110400461A (zh) * | 2019-07-22 | 2019-11-01 | 福建工程学院 | 一种路网变更检测方法 |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
| CN112530159A (zh) * | 2020-11-13 | 2021-03-19 | 鹏城实验室 | 一种自标定式多车道级交通流量检测方法及电子设备 |
| CN113096379A (zh) * | 2021-03-03 | 2021-07-09 | 东南大学 | 基于交通冲突的驾驶风格识别方法 |
| US11068713B1 (en) * | 2018-07-23 | 2021-07-20 | University Of South Florida | Video-based intelligent road traffic universal analysis |
| CN113436432A (zh) * | 2021-05-24 | 2021-09-24 | 武汉理工大学 | 一种利用路侧观测数据进行路段短时交通风险预测的方法 |
| CN113674521A (zh) * | 2020-05-13 | 2021-11-19 | 南京东控智能交通研究院有限公司 | 一种车辆换道对交通效率影响的预测方法 |
| CN113781773A (zh) * | 2021-08-17 | 2021-12-10 | 中山大学 | 一种交通运行评估方法、装置、系统及电子设备 |
| US20210403001A1 (en) * | 2020-06-30 | 2021-12-30 | Lyft, Inc. | Systems and methods for generating lane data using vehicle trajectory sampling |
| WO2022032781A1 (zh) * | 2020-08-12 | 2022-02-17 | 深圳技术大学 | 车流量特征提取方法及系统 |
| CN115170611A (zh) * | 2022-07-11 | 2022-10-11 | 湖北工业大学 | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 |
| CN115240429A (zh) * | 2022-08-11 | 2022-10-25 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种人车流量统计方法、电子设备及存储介质 |
| CN115311617A (zh) * | 2022-07-22 | 2022-11-08 | 北京交通大学 | 城轨车站区域客流信息获取方法及系统 |
| CN116092033A (zh) * | 2023-01-09 | 2023-05-09 | 广州大学 | 一种车辆轨迹数据驱动的车辆换道起终点识别方法 |
| US20230204378A1 (en) * | 2021-12-27 | 2023-06-29 | Here Global B.V. | Detecting and monitoring dangerous driving conditions |
| CN116504068A (zh) * | 2023-06-26 | 2023-07-28 | 创辉达设计股份有限公司江苏分公司 | 车道级车流量的统计方法、装置、计算机设备及存储介质 |
| CN116740753A (zh) * | 2023-04-20 | 2023-09-12 | 安徽大学 | 一种基于改进YOLOv5和DeepSORT的目标检测及追踪的方法及系统 |
| US20230324195A1 (en) * | 2022-04-06 | 2023-10-12 | Here Global B.V. | Real-time lane-level traffic processing system and method |
| WO2023213018A1 (zh) * | 2022-05-06 | 2023-11-09 | 苏州大学 | 一种车辆跟驰控制方法和系统 |
| CN117037085A (zh) * | 2023-08-15 | 2023-11-10 | 南京华苏科技有限公司 | 基于改进YOLOv5的车辆识别及数量统计的监控方法 |
| WO2024027027A1 (zh) * | 2022-08-03 | 2024-02-08 | 苏州大学 | 一种人工驾驶车辆换道意图识别方法和系统 |
| CN117576638A (zh) * | 2023-10-17 | 2024-02-20 | 哈尔滨工业大学 | 一种机动车跟驰、换道行驶轨迹获取方法 |
-
2024
- 2024-04-07 CN CN202410404764.0A patent/CN117994987B/zh active Active
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004086341A (ja) * | 2002-08-23 | 2004-03-18 | Mitsubishi Electric Corp | 道路交通流計測装置 |
| JP2009140007A (ja) * | 2007-12-03 | 2009-06-25 | Sumitomo Electric Ind Ltd | 交通量算出装置、交通量算出プログラム及び交通量算出方法 |
| CN104504897A (zh) * | 2014-09-28 | 2015-04-08 | 北京工业大学 | 一种基于轨迹数据的交叉口交通流特性分析及车辆运动预测方法 |
| CN104882005A (zh) * | 2015-05-15 | 2015-09-02 | 青岛海信网络科技股份有限公司 | 一种检测车道车流量的方法及装置 |
| US11068713B1 (en) * | 2018-07-23 | 2021-07-20 | University Of South Florida | Video-based intelligent road traffic universal analysis |
| CN109544909A (zh) * | 2018-10-29 | 2019-03-29 | 华蓝设计（集团）有限公司 | 基于航拍视频车辆轨迹的驾驶员换道行为分析方法 |
| CN110400461A (zh) * | 2019-07-22 | 2019-11-01 | 福建工程学院 | 一种路网变更检测方法 |
| CN113674521A (zh) * | 2020-05-13 | 2021-11-19 | 南京东控智能交通研究院有限公司 | 一种车辆换道对交通效率影响的预测方法 |
| US20210403001A1 (en) * | 2020-06-30 | 2021-12-30 | Lyft, Inc. | Systems and methods for generating lane data using vehicle trajectory sampling |
| WO2022032781A1 (zh) * | 2020-08-12 | 2022-02-17 | 深圳技术大学 | 车流量特征提取方法及系统 |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
| CN112530159A (zh) * | 2020-11-13 | 2021-03-19 | 鹏城实验室 | 一种自标定式多车道级交通流量检测方法及电子设备 |
| CN113096379A (zh) * | 2021-03-03 | 2021-07-09 | 东南大学 | 基于交通冲突的驾驶风格识别方法 |
| CN113436432A (zh) * | 2021-05-24 | 2021-09-24 | 武汉理工大学 | 一种利用路侧观测数据进行路段短时交通风险预测的方法 |
| CN113781773A (zh) * | 2021-08-17 | 2021-12-10 | 中山大学 | 一种交通运行评估方法、装置、系统及电子设备 |
| US20230204378A1 (en) * | 2021-12-27 | 2023-06-29 | Here Global B.V. | Detecting and monitoring dangerous driving conditions |
| US20230324195A1 (en) * | 2022-04-06 | 2023-10-12 | Here Global B.V. | Real-time lane-level traffic processing system and method |
| WO2023213018A1 (zh) * | 2022-05-06 | 2023-11-09 | 苏州大学 | 一种车辆跟驰控制方法和系统 |
| CN115170611A (zh) * | 2022-07-11 | 2022-10-11 | 湖北工业大学 | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 |
| CN115311617A (zh) * | 2022-07-22 | 2022-11-08 | 北京交通大学 | 城轨车站区域客流信息获取方法及系统 |
| WO2024027027A1 (zh) * | 2022-08-03 | 2024-02-08 | 苏州大学 | 一种人工驾驶车辆换道意图识别方法和系统 |
| CN115240429A (zh) * | 2022-08-11 | 2022-10-25 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种人车流量统计方法、电子设备及存储介质 |
| CN116092033A (zh) * | 2023-01-09 | 2023-05-09 | 广州大学 | 一种车辆轨迹数据驱动的车辆换道起终点识别方法 |
| CN116740753A (zh) * | 2023-04-20 | 2023-09-12 | 安徽大学 | 一种基于改进YOLOv5和DeepSORT的目标检测及追踪的方法及系统 |
| CN116504068A (zh) * | 2023-06-26 | 2023-07-28 | 创辉达设计股份有限公司江苏分公司 | 车道级车流量的统计方法、装置、计算机设备及存储介质 |
| CN117037085A (zh) * | 2023-08-15 | 2023-11-10 | 南京华苏科技有限公司 | 基于改进YOLOv5的车辆识别及数量统计的监控方法 |
| CN117576638A (zh) * | 2023-10-17 | 2024-02-20 | 哈尔滨工业大学 | 一种机动车跟驰、换道行驶轨迹获取方法 |
Non-Patent Citations (4)
| Title |
|---|
| "交通系统监控环境下车辆异常行为识别算法研究", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), 15 January 2019 (2019-01-15), pages 034 - 1850 * |
| LI, YAN等: "Study on Driver Behavior Pattern in Merging Area under Naturalistic Driving Conditions", JOURNAL OF ADVANCED TRANSPORTATION, 3 April 2024 (2024-04-03), pages 1 - 14 * |
| 卢胜男: "复杂交通视频场景中的车辆轨迹提取及行为分析", 中国博士学位论文全文数据库 (信息科技辑), 15 May 2017 (2017-05-15), pages 138 - 16 * |
| 吕浩: "大数据环境下基于LCNN的车辆目标跟踪", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), 15 July 2020 (2020-07-15), pages 034 - 494 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117994987B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Asha et al. | Vehicle counting for traffic management system using YOLO and correlation filter | |
| CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN106845374B (zh) | 基于深度学习的行人检测方法及检测装置 | |
| CN101120382B (zh) | 跟踪用相机获得的场景视频中的移动物体的方法 | |
| US8170278B2 (en) | System and method for detecting and tracking an object of interest in spatio-temporal space | |
| US20170161591A1 (en) | System and method for deep-learning based object tracking | |
| CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
| CN112800860B (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN104134222A (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
| CN100435160C (zh) | 一种用于交通信息实时采集的视频图像处理方法及系统 | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN110827320B (zh) | 基于时序预测的目标跟踪方法和装置 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| Rabiu | Vehicle detection and classification for cluttered urban intersection | |
| CN101320477B (zh) | 一种人体跟踪方法及其设备 | |
| CN113744316A (zh) | 一种基于深度神经网络的多目标跟踪方法 | |
| CN102314591A (zh) | 静止前景物体的检测方法和设备 | |
| CN111597992B (zh) | 一种基于视频监控的场景物体异常的识别方法 | |
| Yu et al. | A real-time motion detection algorithm for traffic monitoring systems based on consecutive temporal difference | |
| CN110889347B (zh) | 基于时空计数特征的密度交通流计数方法及系统 | |
| CN106919889B (zh) | 对视频图像中的人头进行检测的方法和装置 | |
| CN117994987B (zh) | 基于目标检测技术的交通参数提取方法及相关装置 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| Kini | Real time moving vehicle congestion detection and tracking using OpenCV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |