CN117975734A - 一种基于多目标跟踪的道路交通状态预测方法及系统 - Google Patents
一种基于多目标跟踪的道路交通状态预测方法及系统 Download PDFInfo
- Publication number
- CN117975734A CN117975734A CN202410369757.1A CN202410369757A CN117975734A CN 117975734 A CN117975734 A CN 117975734A CN 202410369757 A CN202410369757 A CN 202410369757A CN 117975734 A CN117975734 A CN 117975734A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- road
- vehicles
- module
- average speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000011176 pooling Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035755 proliferation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及交通控制技术领域，特别涉及一种基于多目标跟踪的道路交通状态预测方法及系统，先使用改进后的YOLOv8模型检测视频中的车辆，获取车辆的相关特征信息，再采用DeepSORT多目标跟踪算法分配车辆ID并对车辆进行跟踪；然后对车辆计数和车辆平均速度评估，最后依据车辆平均速度和车流量，判断道路是否拥堵，将改进后的YOLOv8与DeepSORT算法相结合，使用轻量级网络进行车流量统计、车辆平均速度和道路拥堵情况的评估，降低计算资源需求，便于在各种硬件环境下部署。
Description
技术领域
本发明涉及交通控制技术领域，特别涉及一种基于多目标跟踪的道路交通状态预测方法及系统，通过对的车辆结构化数据识别分析对车流量、车辆平均速度、路段拥堵情况进行判断，从而预测道路交通状态。
背景技术
在现代社会，交通管理系统对于维护交通秩序、减少拥堵和提高道路安全至关重要。随着智能交通系统的发展，利用相机技术进行车辆识别已经成为一种常见的手段。这种技术可以通过捕捉图像帧来分析并获取车辆的相关信息，如车牌号、车型、颜色以及精确的地理位置等，这些信息通常被称为车辆结构化数据。通过整合多台相机收集的数据，可以更全面地了解特定路段的交通情况。
然而，目前车辆识别技术仍面临一些挑战，这些挑战包括物体遮挡和交错、不同的光照条件、目标激增、外观相似等，在错综复杂的场景中，物体可能会被遮挡物或其他实体遮挡，从而妨碍精确跟踪，光照的变化会改变物体的特征，从而对跟踪器的性能产生不利影响，包含众多目标的场景会影响跟踪速度和精度，相似的物体外观会导致混淆和跟踪差异。
为了解决这些问题，研究人员正在探索更先进的图像处理算法、深度学习和计算机视觉技术来提高车辆识别的准确性。同时，大数据处理和云计算技术也被提出来提升数据分析和处理的效率。此外，通过结合机器学习和数据挖掘技术，可以更加准确地实时判断道路的拥堵情况，从而为交通管理决策提供科学依据。因此，开发能够实时捕捉、准确识别并分析车辆数据的技术，以及利用这些技术来评估和优化道路交通状况，对于实现智能交通管理和提高城市交通效率具有重要意义。
发明内容
为了解决上述复杂情况下物体遮挡和交错、不同的光照条件、目标激增、外观相似等问题，本发明提出了一种基于多目标跟踪的道路交通状态预测方法及系统，基于改进的YOLOv8算法和DeepSORT算法，充分融合车辆跟踪id、车牌号、车辆颜色、车型、车辆坐标等车辆结构化数据，将部署在低计算成本的边缘计算设备上，所有计算都将在本地进行，只有实时车辆计数将通过网络传递，使用先进的目标检测算法，作为自定义车辆检测算法的基础模型，确保在特定路段上准确检测，同时为跟踪多个摄像头拍摄的视频序列中不同帧的车辆，使用DeepSORT算法进行车辆的实时跟踪，基于上面得到的数据，进行特定路段车流量、车辆平均速度、路段拥堵情况进行判断。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供了一种基于多目标跟踪的道路交通状态预测方法，包括以下步骤：
S1、车辆检测：收集某一路段不同位置的摄像头拍摄的车辆经过的视频，使用改进后的YOLOv8模型检测视频中的车辆，获取车辆的相关特征信息，特征信息包括车牌号、车型、颜色以及精确的地理位置，并将其用作DeepSORT多目标跟踪算法的输入；
S2、车辆跟踪：采用DeepSORT多目标跟踪算法分配车辆ID，当车辆在不同视频序列中的不同帧中移动时对其进行跟踪；
S3、车辆计数：对跟踪车辆经过该路段时实时计数，得到一定时间段内该路段区域的车流量；
S4、车辆平均速度评估：通过计算连续帧之间车辆位置的变化，并结合车辆的地理位置坐标来估算车辆平均速度；
S5、道路拥堵情况评估：根据步骤S4得到的车辆平均速度以及步骤S3得到的车流量，判断道路是否拥堵。
作为本发明的进一步技术方案，步骤S1所述改进后的YOLOv8模型在以现有YOLOv8框架为基础，采用SoftNMS替换非最大值抑制（NMS）来细化车辆候选框，采用卷积块注意力模块替代现有YOLOv8框架的平均精度（mAP）中的卷积模块，并在平均精度中添加上采样层。
作为本发明的进一步技术方案，采用SoftNMS细化车辆候选框的过程具体表示如下：
，
其中表示第i个车辆候选框的得分，M和/>分别表示具有最高得分的车辆候选框的坐标和第i个车辆候选框的坐标，函数IOU（.）量化第i个车辆候选框与M之间的交集与并集之比，/>为预定阈值。
作为本发明的进一步技术方案，所述卷积块注意力模块包括通道注意力模块（CAM）和空间注意力模块（SAM）两个子模块，通道注意力模块用于识别车辆图像中存在哪些重要元素或特征，空间注意力模块用于识别车辆重要特征位于车辆图像中的位置，具体过程如下：
通道注意力模块（CAM）利用平均池化和最大池化来生成通道注意力𝑀𝑐(𝐹)，计算公式为：
，
其中𝜎表示sigmoid函数，表示特征图，/>和/>为权重矩阵，/>和/>分别表示车辆平均池化特征和最大池化特征，这两个特征都传递到具有多层感知器 (𝑀𝐿𝑃)和一个隐藏层的共享网络，输出通道注意力；
空间注意力模块（SAM）利用平均池化和最大池化来生成空间注意力Ms(F)，计算公式为：
，
其中𝜎表示sigmoid函数，表示滤波器大小为7×7的卷积运算，/>代表经过平均池化和最大池化后生成的空间注意力特征图。
作为本发明的进一步技术方案，步骤S2所述DeepSORT 多目标跟踪算法使用卡尔曼滤波器和匈牙利算法的组合进行跟踪，具体过程为：
S21、对车辆的当前状态进行估计：，其中/>表示车辆在第/>状态下的当前估计，/>是当前时间车辆轨迹的测量观测值；/>是卡尔曼增益，为给予测量的权重，/>是车辆在先前状态下的预测估计；
S22、利用马氏距离来解释卡尔曼滤波器引入的不确定性，确定每个样本是异常值还是该组的成员；
S23、使用匈牙利算法进行车辆关联和车辆ID归属，根据车辆特征为车辆分配唯一的标识。
作为本发明的进一步技术方案，步骤S3所述车辆计数过程采用虚拟多边形区域来扩展车辆计数系统的鲁棒性，在路上设置一个虚拟的多边形区域，将场景划分为两个区域，其中一个区域位于多边形区域外，另外一个区域是位于多边形区域内，车辆计数发生在车辆已经穿过道路并且其中心坐标从多边形区域外进入多边形区域内时，同时保持唯一的车辆ID分配。
作为本发明的进一步技术方案，步骤S4所述车辆平均速度的评估过程为：先使用提前设定好的车辆真实宽度和检测出来的车辆像素宽度求出真实距离和像素距离的比值，再使用每辆车的前后两帧框的中心坐标计算出两帧之间移动的像素距离，利用比值和像素距离做映射，求出两帧之间车辆移动的真实距离；然后将真实距离除以两帧之间的时间，得到车辆速度；最后通过对该路段的所有车辆的速度求平均值，得到车辆的平均速度。
作为本发明的进一步技术方案，步骤S5道路拥堵情况评估的过程为：
S51、定义车辆平均速度（V）：车辆平均速度通过步骤S4得到，单位为 km/h；
S52、定义车流量（Q）：车流量是指单位时间内通过某一段路段的车辆数量，由步骤S3得到，单位为辆/小时；
S53、通过道路拥堵指数评估道路拥堵情况，道路拥堵指数为车流量和车辆平均速度的比值来评估道路拥堵情况，公式如下：道路拥堵指数 = ，道路拥堵指数越大，表示道路越拥堵。
第二方面，本发明提供一种基于多目标跟踪的道路交通状态预测系统，包括：
车辆检测模块：使用改进后的YOLOv8模型来检测某一路段不同位置摄像头拍摄的视频中的车辆，获取车辆的相关特征信息；
车辆跟踪模块：采用DeepSORT多目标跟踪算法分配车辆检测模块检测到的车辆ID，当车辆在不同视频序列中的不同帧中移动时对其进行跟踪；
车辆计数模块：对车辆跟踪模块跟踪的车辆实时计数，得到一定时间段内该路段的车流量；
车辆平均速度评估模块：通过计算连续帧之间车辆位置的变化，并结合车辆的地理位置坐标来估算平均速度；
道路拥堵情况评估模块：分析车辆平均速度以及特定路段的车流量，判断道路是否拥堵。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于多目标跟踪技术的车辆结构化数据识别、分析和交通状态评估方法，以解决物体遮挡和交错、不同的光照条件、目标激增、外观相似等问题，从而提高车辆识别、跟踪计数的准确性，具体优点如下：
（1）在车辆检测中，引入SoftNMS来提高遮挡条件下车辆检测的性能，SoftNMS有效地处理了重叠的边界框，提高了车辆检测的准确性。
（2）在YOLOv8中加卷积注意力层以及额外的上采样层，卷积块注意力模块取代了原来的卷积模块，减少了模型对道路和其他背景的关注，提供更多关于过往车辆的信息。
（3）将改进后的YOLOv8与DeepSORT算法相结合，验证了算法的遮挡鲁棒性，并测试了车辆被异物遮挡或车辆相互遮挡情况下算法的实时性，并使用轻量级网络进行车流量统计、车辆平均速度和道路拥堵情况的评估，降低计算资源需求，便于在各种硬件环境下部署。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本公开，并不构成对本发明的不当限定。
图1为本发明所述基于多目标跟踪的道路交通状态预测方法流程示意图，图中差异检测器、深层外观描述符为DeepSort算法中通用技术。
图2为本发明所述DeepSORT多目标跟踪算法中完整数据流的流程示意图。
图3为本发明所述用于车辆计数的虚拟多边形区域。
图4为本发明所述改进后的YOLOv8模型网络结构图。
图5为本发明所述基于多目标跟踪的道路交通状态预测系统的结构框图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本实施例中的一种基于多目标跟踪的道路交通状态预测方法，包括如下步骤：
S1、车辆检测：车辆驶入某一路段后，将获得多个车辆经过的视频，针对这些视频数据，本实施例使用最小最快的YOLOv8n作为基础，并通过添加一些额外层来修改网络结构得到改进后的YOLOv8模型，用以提高检测精度，
在最初的YOLOv8框架中，使用非最大值抑制（NMS）来细化候选框，然而，NMS阈值的选择显著影响行人检测的准确性。阈值设置太保守可能会抑制有效的肯定实例，而过于宽松的阈值可能会导致误报实例的增加。为了克服这一限制，本实施例集成了SoftNMS，以增强遮挡场景中的车辆检测性能，SoftNMS在战略上是针对闭塞情况定制的，在数学上表示如下：
，
其中表示第i个车辆候选框的得分，M和/>分别表示具有最高得分的车辆候选框的坐标和第i个车辆候选框的坐标，函数IOU（.）量化第i个车辆候选框与M之间的交集与并集之比，并且/>为预定阈值。
为了进一步提高较小车辆对象的检测准确性，而不影响模型的速度，在平均精度（mAP）中添加了一个注意力层以及一些额外的上采样层，卷积块注意力模块取代了原来的卷积模块，减少了模型对道路和其他背景的关注，提供更多关于过往车辆的信息，上采样层有助于检测和识别不同尺寸和尺度的车辆，其中卷积块注意力模块的工作原理是利用两个主要子模块，即通道注意模块（CAM）和空间注意模块（SAM），通道注意力用于识别图像中存在哪些重要元素或特征，同时空间注意力用于识别重要特征位于图像中的位置，具体为：
CAM 利用平均池化和最大池化来生成通道注意力𝑀𝑐(𝐹)，计算公式为：
，
其中表示特征图，/>和/>为权重矩阵，𝜎表示sigmoid函数，/>和/>分别表示车辆的平均池化特征和最大池化特征，这两个特征都传递到具有多层感知器 (𝑀𝐿𝑃)和一个隐藏层的共享网络，输出通道注意力映射 (𝑀𝑐)；
另一方面，SAM利用平均池化和最大池化来生成空间注意力Ms(F)，计算公式为：
其中𝜎表示sigmoid函数，表示滤波器大小为7×7的卷积运算，，/>代表经过平均池化和最大池化后生成的空间注意力特征图，该网络使模型能够通过关联通道和空间来学习车辆的空间注意力特征，并与额外的上采样层相结合，显著提高了各种规模的车辆物体的检测精度。
S2、车辆跟踪：使用改进后的YOLOv8模型检测到车辆后，提取车辆特征并将其用作DeepSORT 多目标跟踪算法的输入，以将特征与其他视频帧进行匹配，并将同一车辆与其他类似车辆相关联，如图2所示，DeepSORT 多目标跟踪算法使用卡尔曼滤波器和匈牙利算法的组合进行跟踪，卡尔曼滤波器根据一些先前的值预测车辆的当前状态，并提供该预测的不确定性，一旦做出预测并更新测量结果，就可以获得车辆的最佳状态估计，具体为：
为了计算车辆的当前状态估计，使用卡尔曼增益、测量值和先前或预测的估计值，如下所示：
，
其中表示车辆在第/>状态下的下的当前估计，/>是当前时间车辆轨迹的测量观测值；/>是卡尔曼增益，它是给予测量的权重；/>是车辆在先前状态下的预测估计，获得车辆的最佳状态；然后利用马氏距离来解释卡尔曼滤波器引入的不确定性，确定每个样本是异常值还是该组的成员；最后使用匈牙利算法进行车辆关联和车辆ID归属，根据车辆特征为车辆分配唯一的标识。
S3、车辆计数：为了避免在某些车辆中观察到相似特征时经常发生的ID切换，引入“虚拟多边形区域”来扩展车辆计数系统的鲁棒性，虚拟多边形区域将场景划分为两个区域，区域1和区域2，如图3所示，区域1是指位于指定多边形区域之外的区域，而区域2是指位于多边形区域内的区域，车辆计数发生在车辆已经穿过高速公路并且其中心坐标从区域1进入区域2时，同时保持唯一的车辆ID分配，这种方法减少了对车辆跟踪和ID分配的依赖，确保了更准确的车辆计数结果。
S4、车辆平均速度评估：首先使用提前设定好的车辆真实宽度和检测出来的车辆像素宽度求出真实距离和像素距离的比值，再使用每辆车的前后两帧框的中心坐标计算出两帧之间移动的像素距离，利用比值和像素距离做映射，求出两帧之间车辆移动的真实距离；然后距离除以两帧之间的时间，得到车辆的速度；最后通过对该路段的所有车辆的速度求平均值，即可得到车辆的平均速度。
S5、道路拥堵情况评估：分析车辆移动速度以及特定路段的车流量，结合平均车速、车辆间距、停车次数等指标，即可判断道路是否拥堵，具体为：
S51、定义车辆平均速度（V）：车辆平均速度通过步骤S4得到，单位为 km/h；
S52、定义车流量（Q）：车流量是指单位时间内通过某一段路段的车辆数量，由步骤S3得到，单位为辆/小时；
S53、通过道路拥堵指数评估道路拥堵情况，道路拥堵指数为车流量和车辆平均速度的比值来评估道路拥堵情况，公式如下：道路拥堵指数 = ，道路拥堵指数越大，表示道路越拥堵。
实施例2：
本实施例提供一种基于多目标跟踪的道路交通状态预测系统，包括：
车辆检测模块：使用改进后的YOLOv8模型来检测某一路段不同位置摄像头拍摄的视频中的车辆，获取车辆的相关特征信息；
车辆跟踪模块：采用DeepSORT多目标跟踪算法分配车辆检测模块检测到的车辆ID，当车辆在不同视频序列中的不同帧中移动时对其进行跟踪；
车辆计数模块：对车辆跟踪模块跟踪的车辆实时计数，得到一定时间段内该路段的车流量；
车辆平均速度评估模块：通过计算连续帧之间车辆位置的变化，并结合车辆的地理位置坐标来估算平均速度；
道路拥堵情况评估模块：分析车辆移动速度以及特定路段的车流量，结合平均车速、车辆间距、停车次数等指标，判断道路是否拥堵。
此处需要说明的是，上述模块对应于实施例1中的步骤S1至S5，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于多目标跟踪的道路交通状态预测方法，其特征在于，包括以下步骤：
S1、车辆检测：收集某一路段不同位置的摄像头拍摄的车辆经过的视频，使用改进后的YOLOv8模型检测视频中的车辆，获取车辆的相关特征信息，特征信息包括车牌号、车型、颜色以及精确的地理位置，并将其用作DeepSORT多目标跟踪算法的输入；
S2、车辆跟踪：采用DeepSORT多目标跟踪算法分配车辆ID，当车辆在不同视频序列中的不同帧中移动时对其进行跟踪；
S3、车辆计数：对跟踪车辆经过该路段时实时计数，得到一定时间段内该路段区域的车流量；
S4、车辆平均速度评估：通过计算连续帧之间车辆位置的变化，并结合车辆的地理位置坐标来估算车辆平均速度；
S5、道路拥堵情况评估：根据步骤S4得到的车辆平均速度以及步骤S3得到的车流量，判断道路是否拥堵。
2.据权利要求1所述基于多目标跟踪的道路交通状态预测方法，其特征在于，步骤S1所述改进后的YOLOv8模型在以现有YOLOv8框架为基础，采用SoftNMS替换非最大值抑制来细化车辆候选框，采用卷积块注意力模块替代现有YOLOv8框架的平均精度中的卷积模块，并在平均精度中添加上采样层。
3.根据权利要求2所述基于多目标跟踪的道路交通状态预测方法，其特征在于，所述采用SoftNMS细化车辆候选框的过程具体表示如下：
，
其中表示第i个车辆候选框的得分，M和/>分别表示具有最高得分的车辆候选框的坐标和第i个车辆候选框的坐标，函数IOU（.）量化第i个车辆候选框与M之间的交集与并集之比，/>为预定阈值。
4.根据权利要求3所述基于多目标跟踪的道路交通状态预测方法，所述卷积块注意力模块包括通道注意力模块和空间注意力模块两个子模块，通道注意力模块用于识别车辆图像中存在哪些重要元素或特征，空间注意力模块用于识别车辆重要特征位于车辆图像中的位置，具体过程如下：
通道注意力模块利用平均池化和最大池化来生成通道注意力𝑀𝑐(𝐹)，计算公式为：
，
其中𝜎表示sigmoid函数，表示特征图，/>和/>为权重矩阵，/>和/>分别表示车辆平均池化特征和最大池化特征，这两个特征都传递到具有多层感知器和一个隐藏层的共享网络，输出通道注意力；
空间注意力模块利用平均池化和最大池化来生成空间注意力Ms(F)，计算公式为：
，
其中𝜎表示sigmoid函数，表示滤波器大小为7×7的卷积运算，/>代表经过平均池化和最大池化后生成的空间注意力特征图。
5.根据权利要求4所述基于多目标跟踪的道路交通状态预测方法，步骤S2所述DeepSORT 多目标跟踪算法使用卡尔曼滤波器和匈牙利算法的组合进行跟踪，具体过程为：
S21、对车辆的当前状态进行估计：，其中/>表示车辆在第/>状态下的当前估计，/>是当前时间车辆轨迹的测量观测值；/>是卡尔曼增益，为给予测量的权重，/>是车辆在先前状态下的预测估计；
S22、利用马氏距离来解释卡尔曼滤波器引入的不确定性，确定每个样本是异常值还是该组的成员；
S23、使用匈牙利算法进行车辆关联和车辆ID归属，根据车辆特征为车辆分配唯一的标识。
6.根据权利要求5所述基于多目标跟踪的道路交通状态预测方法，步骤S3所述车辆计数过程采用虚拟多边形区域来扩展车辆计数系统的鲁棒性，在路上设置一个虚拟的多边形区域，将场景划分为两个区域，其中一个区域位于多边形区域外，另外一个区域是位于多边形区域内，车辆计数发生在车辆已经穿过道路并且其中心坐标从多边形区域外进入多边形区域内时，同时保持唯一的车辆ID分配。
7.根据权利要求6所述基于多目标跟踪的道路交通状态预测方法，步骤S4所述车辆平均速度的评估过程为：先使用提前设定好的车辆真实宽度和检测出来的车辆像素宽度求出真实距离和像素距离的比值，再使用每辆车的前后两帧框的中心坐标计算出两帧之间移动的像素距离，利用比值和像素距离做映射，求出两帧之间车辆移动的真实距离；然后将真实距离除以两帧之间的时间，得到车辆速度；最后通过对该路段的所有车辆的速度求平均值，得到车辆的平均速度。
8.根据权利要求7所述基于多目标跟踪的道路交通状态预测方法，步骤S5道路拥堵情况评估通过道路拥堵指数评估道路拥堵情况，道路拥堵指数为车流量和车辆平均速度的比值，道路拥堵指数越大，表示道路越拥堵。
9.一种基于多目标跟踪的道路交通状态预测系统，其特征在于，能完成如权利要求1-8任一项所述的方法，包括：
车辆检测模块：使用改进后的YOLOv8模型来检测某一路段不同位置摄像头拍摄的视频中的车辆，获取车辆的相关特征信息；
车辆跟踪模块：采用DeepSORT多目标跟踪算法分配车辆检测模块检测到的车辆ID，当车辆在不同视频序列中的不同帧中移动时对其进行跟踪；
车辆计数模块：对车辆跟踪模块跟踪的车辆实时计数，得到一定时间段内该路段的车流量；
车辆平均速度评估模块：通过计算连续帧之间车辆位置的变化，并结合车辆的地理位置坐标来估算平均速度；
道路拥堵情况评估模块：分析车辆平均速度以及特定路段的车流量，判断道路是否拥堵。
10.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410369757.1A CN117975734A (zh) | 2024-03-29 | 2024-03-29 | 一种基于多目标跟踪的道路交通状态预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410369757.1A CN117975734A (zh) | 2024-03-29 | 2024-03-29 | 一种基于多目标跟踪的道路交通状态预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117975734A true CN117975734A (zh) | 2024-05-03 |
Family
ID=90853468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410369757.1A Pending CN117975734A (zh) | 2024-03-29 | 2024-03-29 | 一种基于多目标跟踪的道路交通状态预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117975734A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366581A (zh) * | 2013-06-28 | 2013-10-23 | 南京云创存储科技有限公司 | 一种交通流量统计装置及统计方法 |
| CN110009634A (zh) * | 2019-04-22 | 2019-07-12 | 苏州海赛人工智能有限公司 | 一种基于全卷积网络的车道内车辆计数方法 |
| CN114023062A (zh) * | 2021-10-27 | 2022-02-08 | 河海大学 | 一种基于深度学习和边缘计算的交通流信息监测方法 |
| CN114724063A (zh) * | 2022-03-24 | 2022-07-08 | 华南理工大学 | 一种基于深度学习的公路交通事件检测方法 |
| CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
| CN117416349A (zh) * | 2023-12-05 | 2024-01-19 | 桂林电子科技大学 | V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法 |
-
2024
- 2024-03-29 CN CN202410369757.1A patent/CN117975734A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366581A (zh) * | 2013-06-28 | 2013-10-23 | 南京云创存储科技有限公司 | 一种交通流量统计装置及统计方法 |
| CN110009634A (zh) * | 2019-04-22 | 2019-07-12 | 苏州海赛人工智能有限公司 | 一种基于全卷积网络的车道内车辆计数方法 |
| CN114023062A (zh) * | 2021-10-27 | 2022-02-08 | 河海大学 | 一种基于深度学习和边缘计算的交通流信息监测方法 |
| CN114724063A (zh) * | 2022-03-24 | 2022-07-08 | 华南理工大学 | 一种基于深度学习的公路交通事件检测方法 |
| CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
| CN117416349A (zh) * | 2023-12-05 | 2024-01-19 | 桂林电子科技大学 | V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘寒松: "改进YOLOv8的多尺度轻量型车辆目标检测算法", 计算机工程与应用, vol. 60, no. 3, 29 February 2024 (2024-02-29), pages 129 - 137 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Javadi et al. | Vehicle speed measurement model for video-based systems | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| CN101727748B (zh) | 一种基于车辆尾灯检测的车辆监控方法、系统和设备 | |
| WO2018161037A1 (en) | Systems and methods for quantitatively assessing collision risk and severity | |
| CN112562405A (zh) | 一种雷达视频智能融合与预警方法及系统 | |
| CN108389421B (zh) | 基于图像再识别的停车场精确诱导系统及方法 | |
| JP2015514278A (ja) | マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析） | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN109766867B (zh) | 车辆运行状态确定方法、装置、计算机设备和存储介质 | |
| CN107909012B (zh) | 一种基于视差图的实时车辆跟踪检测方法与装置 | |
| WO2022217630A1 (zh) | 一种车速确定方法、装置、设备和介质 | |
| CN109343051A (zh) | 一种用于高级辅助驾驶的多传感器数据融合方法 | |
| Mammeri et al. | Extending the detection range of vision-based vehicular instrumentation | |
| Tak et al. | Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application | |
| CN115965655A (zh) | 一种基于雷视一体的交通目标跟踪方法 | |
| Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
| Beymer et al. | Tracking vehicles in congested traffic | |
| Anandhalli et al. | Image projection method for vehicle speed estimation model in video system | |
| KR102494953B1 (ko) | 딥러닝 기반 온-디바이스 실시간 교통제어 시스템 | |
| Rahim et al. | Vehicle velocity estimation for traffic surveillance system | |
| CN113313012A (zh) | 一种基于卷积生成对抗网络的危险驾驶行为识别方法 | |
| CN117387647A (zh) | 融合车载传感器数据与道路传感器数据的道路规划方法 | |
| CN117115752A (zh) | 一种高速公路视频监控方法及系统 | |
| KR102616571B1 (ko) | 인공지능을 이용한 영상 분석 기반의 도로 교통정보 제공 방법 및 그를 위한 시스템 | |
| CN117975734A (zh) | 一种基于多目标跟踪的道路交通状态预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |