CN117218580A - 一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统 - Google Patents
一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统 Download PDFInfo
- Publication number
- CN117218580A CN117218580A CN202311180228.9A CN202311180228A CN117218580A CN 117218580 A CN117218580 A CN 117218580A CN 202311180228 A CN202311180228 A CN 202311180228A CN 117218580 A CN117218580 A CN 117218580A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- tracking
- reid
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 121
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims description 84
- 238000000605 extraction Methods 0.000 claims description 67
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 101100437784 Drosophila melanogaster bocks gene Proteins 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000012805 post-processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种结合多模型的高速公路跨摄像头多车辆跟踪方法及应用，对跟踪视频的目标车辆图片进行移动窗口自注意力的多尺度特征的车辆目标检测，对检测的车辆进行多融合ReID特征的提取，并基于目标检测的box和特征提取的ReID进行暂存‑融合策略的单摄像头车辆跟踪轨迹，使用多种后处理技术对单摄像头车辆跟踪轨迹进行过滤以及多个摄像机间的单摄像头车辆跟踪轨迹的关联匹配，形成最终的跨摄像头车辆跟踪轨迹，该结合多模型的高速公路跨摄像头多车辆跟踪方法可在高速公路上实现准确地跨摄像头的车辆跟踪，减少多车辆在跨摄像机间跟踪的ID身份的转变而引起的跟踪失败情况的出现。
Description
技术领域
本发明涉及车辆跟踪领域，特别涉及一种使用移动窗口自注意力、多融合ReID特征和重排序的结合多模型的结合多模型的高速公路跨摄像多车辆跟踪方法及系统。
背景技术
跨摄像多车辆跟踪一直是视觉任务的重要研究方向，在现实生活中也广泛受到人们的关注研究，在包括城市交通流量统计，交通道路监控，无人驾驶等领域有着广泛的应用。现有的大多数跨摄像多车辆的跟踪技术主要应用于城市街道，十字路口进行多车辆目标的跟踪，对于高速公路的跨摄像多车辆跟踪的研究较少。
与传统的城市街区的跨摄像多车辆的跟踪相比，在高速公路实现跨摄像多车辆跟踪更加具有挑战性，存在的挑战主要有以下几点：
1)高速公路的车辆相较于城市街区的车辆速度更快，导致摄像机难以清晰地捕捉或者摄像机捕捉的车辆图片较为模糊，这给目标检测带来更多的困难；
2)高速公路的道路相较于城市街区的分布更长且摄像机距离地面的高度更高，导致部分相同品牌以及颜色的相似车辆更加难以区分，同时高速公路上的大型车辆相较于城市街区更多，容易出现小型车辆被遮挡的现象，导致车辆的漏检以及跟踪轨迹的缺失；
3)高速公路隧道中的灯光强弱变化更加明显，容易对车辆ReID造成干扰，对于正确区分目标车辆的特征产生影响；
4)高速公路的跟踪摄像机与车辆目标的距离相对较远同时存在摄像机抖动的现象，容易出现部分车辆驶离摄像机的视域时无法准确跟踪车辆。
综上所述，目前用于城市街道的跨摄像多车辆跟踪技术难以直接应用于高速公路的跨摄像多车辆跟踪场景。
发明内容
本方案提供了一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统，该方法使用移动窗口自注意力对车辆目标检测模型进行优化，使用多特征ReID融合对车辆目标重识别模型进行优化，并采用重排序的方法跟踪的车辆轨迹进行优化处理以实现在高速公路上利用多摄像头实现多车辆的跟踪。
为实现以上目的，本方案提供了一种结合多模型的高速公路跨摄像头多车辆跟踪方法，包括以下步骤：
获取高速公路上多个摄像头的跟踪视频；
将每一摄像头的跟踪视频的视频帧输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，其中车辆目标检测模型对输入的图像进行分块处理得到多个图片分块，图块分块经历多层swin-transformer后得到对应每一层的特征图，多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中预测得到车辆目标检测框；
将车辆目标检测框对应的车辆图像输入到预训练得到的多ReID特征提取融合模型中输出车辆外表特征，其中所述多ReID特征提取融合模型包括由多个不同bockbone的ReID组成的ReID特征提取模块以及ReID特征融合模块，车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征，所有ReID特征输入到ReID特征融合模块融合得到车辆外表特征；
将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹；
将多个摄像头的单摄像头车辆跟踪轨迹进行过滤、重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
第二方面，本方案提供了一种结合多模型的高速公路跨摄像头多车辆跟踪系统，包括：
车辆检测模块，其中所述车辆检测模型内设有预训练好的车辆目标检测模型，获取高速公路上多个摄像头的跟踪视频，将每一摄像头的跟踪视频的视频帧输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，其中车辆目标检测模型对输入的图像进行分块处理得到多个图片分块，图块分块经历多层swin-transformer后得到对应每一层的特征图，多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中预测得到车辆目标检测框；
多ReID特征提取融合模块，其中多ReID特征提取融合模块中设有预训练好的多ReID特征提取融合模型，将车辆目标检测框对应的车辆图像输入到预训练得到的多ReID特征提取融合模型中输出车辆外表特征，其中所述多ReID特征提取融合模型包括由多个不同bockbone的ReID组成的ReID特征提取模块以及ReID特征融合模块，车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征，所有ReID特征输入到ReID特征融合模块融合得到车辆外表特征；
多目标跟踪模块，用于将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹；
跨镜关联轨迹模块，用于将多个摄像头的单摄像头车辆跟踪轨迹进行过滤、重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
第三方面，本申请方案提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行结合多模型的高速公路跨摄像头多车辆跟踪方法。
第四方面，本申请方案提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括结合多模型的高速公路跨摄像头多车辆跟踪方法。
相较现有技术，本方案具有以下特点和有益效果：
1.本方案采用移动窗口自注意力优化车辆目标检测模型，且将不同窗口大小的多尺度特征进行自适应融合，使得车辆目标检测模型可更加关注于不同尺度的特征之间的关系，且通过自适应融合的方式获取更加精细化的车辆目标检测结果，适用于在高速公路的低质量的视频图像中准确检测到车辆。
2.本方案采用由多个不同bockbone的ReID组成的多ReID特征提取融合模型，可适用于大批量跨摄像头的视频图像帧的处理，且通过融合的方式得到全局精细化的外表特征表示；不仅如此，还采用联合联合的交叉熵损失和三元组损失的联合损失函数训练该模型，使得多ReID特征提取融合模型更好地识别车辆外表特征和区分具有相似外表的相似车辆。
3.本方案采用暂存-融合的策略将车辆区分为高置信度组和低置信度组，对不同置信度组的车辆采用不同方式的跟踪匹配，且对于未能匹配的车辆计算跟踪阈值和连续帧的判断，减少因遮挡导致部分车辆低检测而产生的单摄像头车辆跟踪轨迹的缺失；
4.本方案采用时间过滤，重排序和聚类的多种后处理方法对多个摄像头的单摄像头车辆跟踪轨迹进行后处理以得到更精准的跨摄像头车辆跟踪轨迹，通过重排序的方式不仅使得相近似的车辆保持在相互之间的距离，还可以保证相似度相近的不同车辆轨迹都保持在相互之间的距离，减少部分假阳性车辆噪声的融入。
附图说明
图1是根据本方案的结合多模型的高速公路跨摄像多车辆跟踪方法的基线流程示意图；
图2是根据本方案的结合多模型的高速公路跨摄像多车辆跟踪方法的逻辑流程示意图；
图3是车辆目标检测模型的架构示意图；
图4是多ReID特征提取融合模型的架构示意图；
图5是车辆目标检测模型检测效果的可视化示意图；
图6是ID变化导致的跟踪成功和失败的示意图；
图7是传统的高速公路上的跨镜多车辆跟踪存在的挑战的示意图；
图8是结合多模型的高速公路跨摄像头多车辆跟踪系统在真实高速公路上的跨摄像多车辆跟踪轨迹示意图；
图9是实现结合多模型的高速公路跨摄像多车辆跟踪方法的电子装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
传统的多车辆跟踪技术应用于高速公路时存在的挑战如图7所示，如图7中的(a)所示：由于高速公路上的车辆行驶速度过快进而导致摄像头获取的图像中的车辆是模糊的；再如图7的(b)所示，由于高速公路的道路相较于城市街区的分布更长且摄像机距离地面的高度更高，导致部分相同品牌以及颜色的相似车辆更加难以区分；如图7的(c)所示，高速公路隧道中的灯光强弱会发生变化进而影响到车辆重识别的效果；如图7的(d)所示，摄像头和车辆的距离跨度过大，这些挑战都导致了传统的多车辆跟踪技术应用于高速公路时难以满足多车辆跟踪的实际需求。
而本方案提出的特别适用于高速公路的结合多模型的高速公路跨摄像多车辆跟踪方法及系统，将摄像头的视频帧输入到利用移动窗口自注意力优化的车辆目标检测模型中，利用移动窗口自注意力提取多尺度的特征进行分类网络和边框预测网络的预测进而得到准确的车辆目标检测框，提高了模糊图像中车辆目标检测的准确率；再将车辆目标检测框批量传入多个ReID特征提取模型中提取不同关注点的ReID特征后对多个ReID特征进行融合后得到全局精细化特征，提高了车辆重识别的准确率；再将基车辆目标检测模型得到的车辆目标检测框以及ReID特征提取模型得到的融合后的ReID特征传入多目标跟踪器进行单摄像机车辆轨迹的跟踪，利用暂存-融合的策略对部分低置信度以及未匹配的车辆重新进行车辆轨迹跟踪，最后，利用多种后处理技术对多个摄像机跟踪下的车辆轨迹进行相邻摄像机间的匹配关联，形成最终的跨摄像机多车辆跟踪结果。
实施例一、
图1提供了本方案的结合多模型的高速公路跨摄像头多车辆跟踪方法的基线流程图，图2提供了本方案的结合多模型的高速公路跨摄像多车辆跟踪方法的逻辑流程示意图，该结合多模型的高速公路跨摄像头多车辆跟踪方法包括以下步骤：
获取高速公路上多个摄像头的跟踪视频；
将每一摄像头的跟踪视频的视频帧输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，其中车辆目标检测模型对输入的图像进行分块处理得到多个图片分块，图块分块经历多层swin-transformer后得到对应每一层的特征图，多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中预测得到车辆目标检测框；
将车辆目标检测框对应的车辆图像输入到预训练得到的多ReID特征提取融合模型中输出车辆外表特征，其中所述多ReID特征提取融合模型包括由多个不同bockbone的ReID组成的ReID特征提取模块以及ReID特征融合模块，车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征，所有ReID特征输入到ReID特征融合模块融合得到车辆外表特征；
将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹；
将多个摄像头的单摄像头车辆跟踪轨迹进行过滤、重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
具体的，关于本方案中涉及的车辆目标检测模型的架构如图3所示。本方案将每一摄像头的跟踪视频的视频帧按照预定大小进行裁剪成统一规格后输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，具体的，车辆目标检测模型输出预测边框的box信息，相应的目标类别class以及检测出来的车辆图像，车辆目标检测框为目标类别为“车辆”的预测边框，车辆图像为目标类别为车辆目标检测框所在的区域图像。
所述车辆目标检测模型包括多层swin-transformer层和移动窗口自注意力模块，分类网络和边框预测网络，其中输入到车辆目标检测模型中的图像进行分块处理得到多个图像分块，图像分块组成的图像分块序列传入串联设置的多层swin-transformer层中，每一层swin-transformer层根据当前层的窗口大小对图像分块序列进行重新组合得到当前层的特征图，每一特征图通过移动窗口自注意力模块处理后得到对应的多尺度特征，多尺度特征进行自适应融合后得到融合特征；融合特征传入分类网络和边框预测网络中进行目标边框预测和目标类别分类操作得到车辆目标检测框。
在一些实施例中，车辆目标检测模型包括三层swin-transformer层，每一swin-transformer层具有不同的窗口大小，图像序列在对应swin-transformer层进行特征提取后再根据预定的窗口大小进行重新组合得到对应当前swin-transformer层的特征图P1，P2，P3。对应的，移动窗口自注意力模块包括对应三个特征图的窗口大小的多头自注意力，每一特征图通过多头自注意力进行特征图内部间的提取关注得到对应的多尺度特征，多尺度特征进行自适应融合后得到融合特征。具体的，将不同尺度的多尺度特征进行下采样融合形成更加精细化的融合特征。
需要说明的是，本方案对多尺度特征进行自适应融合处理进而得到更加精细化的车辆特征，自适应融合的公式如下所示：
其中wi为第i层多尺度特征fi的权重值，n为融合的多尺度特征的特征层数。
关于分类网络：分类网络使用全连接层将融合特征的通道数降维到N(这里的N是已知类别数，在高速公路目标跟踪中主要有以下目标类别：car，truck，bus，others)，通过分类网络得到对应当前区域图像中所包含的目标类别class，car，truck，bus对应的均是车辆目标检测框。
关于边框预测网络：经过相应的边框预测网路得到相应预测目标的预测边框box信息。本方案使用NMS和IOU进行重复的预测目标的检测去除，得到最终车辆目标检测的车辆目标检测框的box信息以及相应的class信息。
关于车辆目标检测模型的训练：采用标记有目标类别的图像对模型进行训练，迭代训练至满足设定条件。
如图5所示，本方案比对传统的目标检测模型和本方案的车辆目标检测模型对于同一视频帧图像的检测结果，图5中的(b)显示的传统的目标检测模型的检测结果，图5中的(c)显示的则是本方案的车辆目标检测模型的检测结果，可以看到本方案提供的车辆目标检测模型检测的车辆目标框更为精细。
具体的，关于本方案中涉及的多ReID特征提取融合模型的架构如图4所示。考虑到跨摄像头的摄像头数量多导致视频帧图片过多，故本方案采用分批次传入多ReID特征提取融合模型中不同的bockbone中进行学习并融合不同的关注点的ReID特征进行整体的车辆外表特征。
所述多ReID特征提取融合模型中的ReID特征提取模块由多个不同bockbone的ReID组成，将车辆目标检测框对应的车辆图像按照batch的大小分批传入ReID特征提取模块中不同bockbone的ReID中得到对应关注点的ReID特征。在一些实施例中，ReID特征提取模块中包括ResNet50，ResNet101，ResNeXt101，Se-ResNet101。为了让提取的ReID特征更加精细化，每一ReID中的backbone最后的步长stride为1同时经过BN layer得到标准化的ReID特征。
所述ReID特征融合模块将多个backbone的不同关注点的ReID特征进行L2准则融合得到车辆外表特征。在一些实施例中，由于车辆目标检测框对应的车辆图片尺寸存在不一致，本阶段将原始的车辆图片进行缩放到384×384，将缩放后的图片输入到相应ReID的backbone中进行相应的ReID提取，车辆外表特征为2048维的全局精细化的外表特征表示freid，以用于关注区分更加相似外表的车辆。
另外，为了更好地识别车辆外表特征和区分具有相似外表的相似车辆，本方案使用联合的交叉熵损失和三元组损失训练多ReID特征提取融合模型，使具有相似外表特征的车辆在特征空间上保持在相近的距离，使明显不同外表的车辆保持在较远的距离。
具体的，多ReID特征提取融合模型采用交叉熵损失函数和三元组损失函数联合的联合损失函数作为损失函数：
L＝Lentropy+βLtriplet
其中L是联合损失函数，Lentropy是交叉熵损失函数，Ltriplet是三元组损失函数，β是超参数(平衡权重)，在模型训练中进行学习更新；
其中，yi是第i实例的车辆真实标签，是第i实例车辆的预测值，/>是第i实例车辆的目标框，/>是第i实例车辆的正目标框，/>是第i实例车辆的负目标框，θ是超参数(边界)。
换言之，关于多ReID特征提取融合模型的训练：采用标记有目标类别的图像对模型进行训练，迭代训练至联合损失函数最小或者达到迭代数量。
在得到了车辆目标检测框和车辆外表特征后，本方案将将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹，需要说明的是，为了能够保留更多可信的车辆，避免部分遮挡导致短暂低置信度的车辆由于某时刻的低检测导致舍弃而出现部分车辆漏跟踪(缺失)的现象，本方案采取暂存-融合的策略生成单摄像头车辆跟踪轨迹。
具体的，在“将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹”步骤中，根据检测阈值将车辆区分为高置信度组和低置信度组，对高置信度组中的车辆的车辆外表特征进行相似度匹配，若匹配则跟踪生成当前车辆的单摄像头车辆跟踪轨迹，若不匹配，则根据相邻视频帧之间的车辆目标检测框的IOU对不匹配的车辆以及低置信度组中的车辆进行二次匹配，若匹配则生成当前车辆的单摄像头车辆跟踪轨迹，若再次不匹配，则计算不匹配的车辆的跟踪阈值，若跟踪阈值大于阈值且车辆出现在连续的视频帧，则将该车辆重新纳入目标跟踪集中进行下一轮跟踪。
本方案之所以分层级地对车辆进行单摄像头车辆跟踪轨迹的生成，是为了可以减少由于遮挡而导致部分车辆低检测而导致的单摄像头车辆跟踪轨迹的缺失。本方案的检测阈值指的是每个摄像头检测车辆目标框的置信度的平均值，计算公式如下：
其中N为跨摄像头的摄像头数量，mk为第k个摄像头下的车辆目标框对应的车辆图像的数量，Ck，i为第k个摄像头下的第i实例的车辆目标检测框的检测置信度。
本方案的检测阈值分为高检测阈值和低检测阈值，当车辆的车辆目标检测框的置信度大于高检测阈值时则将该车辆的车辆目标检测框都纳入高置信度组，对于剩余车辆的目标检测框介于高检测阈值和低检测阈值则将车辆纳入到低置信度组。对于高置信度组中的车辆，利用车辆的车辆外表特征进行相似度匹配，若匹配的话则表示为同一个车辆并生成单摄像头车辆跟踪轨迹；若不匹配的话则计算未匹配成功的车辆目标检测框在相邻视频帧之间的IOU进行二次匹配，以及计算低置信度组中的车辆的车辆目标检测框在相邻视频帧之间的IOU进行二次匹配，若匹配的话则生成对应的单摄像头车辆跟踪轨迹；若二次匹配依旧不匹配的话则计算剩余未匹配的车辆目标检测框的跟踪阈值，其中跟踪阈值为根据卡尔曼滤波预测的跟踪框计算与下一帧车辆目标框的中心偏移值，若跟踪阈值大于阈值且该车辆的确出现在连续的视频帧中则将该车辆目标检测重新纳入到目标跟踪集中进行后续跟踪。
在本方案的实施例中，设置跟踪阈值Te为0.4，检测高置信度阈值τhigh0.5，低置信度阈值τlow0.2，匹配阈值0.5以及余弦距离阈值0.5。
在得到了单摄像头车辆跟踪轨迹后，本方案使用多种后处理技术对多个摄像头的单摄像头车辆跟踪轨迹进行匹配融合以得到跨摄像头车辆跟踪轨迹。
本方案的后处理技术包括过滤、重排序和聚类：
其中对单摄像头车辆跟踪轨迹进行过滤指的是：获取同一车辆的单摄像头车辆跟踪轨迹经过摄像头的经过时间，基于经过时间和摄像头分布顺序判断假阳性的单摄像头车辆跟踪轨迹，并过滤假阳性的单摄像头车辆跟踪轨迹。
换言之，摄像头是按照车辆前进方向顺序分布的，若是某个车辆经过相邻两个摄像头的经过时间同摄像头的顺序是矛盾的话，则认为该车辆的单摄像头车辆跟踪轨迹存在假阳性。比如，某车辆的单摄像头车辆跟踪轨迹在A摄像头的经过时间是10:00，在B摄像头的经过时间是：9:50，而B摄像头是设置相对于A摄像头的前进方向上的，则此时单摄像头车辆跟踪轨迹存在假阳性。
具体的，本方案是通过初始化车辆穿越两个摄像头的时间冲突表，并通过同一车辆ID的单摄像头车辆跟踪轨迹经过摄像头的经过时间将时间冲突的单摄像头车辆跟踪轨迹及经过时间记录到时间冲突表中，根据时间冲突表判断相同ID的车辆在经过两个摄像头的单摄像头车辆跟踪轨迹是否是假阳性，即由于ID的切换导致部分单摄像头车辆跟踪轨迹的不合理匹配，对于假阳性的车辆进行去除操作，进一步缩小跨摄像机轨迹匹配的数量以及后续重排序的搜索的空间。如图6所示，图6中的图(a)显示的是发生ID变化后在跨摄像头中跟踪失败的示例，而图6中的图(b)显示的是没有ID变化而跟踪成功的示例。
其中对单摄像头车辆跟踪轨迹进行重排序指的是：
基于车辆外表特征计算同一摄像头下的不同单摄像头车辆跟踪轨迹之间的相似度，将同目标车辆的相似度高的单摄像头车辆跟踪轨迹重排序至靠前的位置，并根据不同单摄像头车辆跟踪轨迹之间的相似度建立相邻摄像头之间的相似度矩阵，使用k互补最近邻算法对相似度矩阵进行更新。
具体的，基于车辆外表特征计算同一摄像头下的不同单摄像头车辆跟踪轨迹之间的相似度的公式如下所示：
其中Sim(Ti，Tj)是第i条单摄像头车辆跟踪轨迹和第j条单摄像头车辆跟踪轨迹之间的相似度，Ti指的是第i条单摄像头车辆跟踪轨迹，Tj指的是第j条单摄像头车辆跟踪轨迹，fi指的是Ti对应下的实例车辆的Re-ID特征，Af指的是计算轨迹的平均特征，fj指的是Tj对应下的实例车辆的Re-ID特征。
本方案根据相似度的大小对车辆匹配对pairs进行重排序，使与目标车辆相似度相近的车辆排在靠前的位置，使不同的车辆保持远离的距离。
根据不同单摄像头车辆跟踪轨迹之间的相似度建立相邻摄像头之间的相似度矩阵的计算公式如下：
其中Sm是相似度矩阵。
然而由于重排序得到的相似度矩阵只能保持目标车辆与相似车辆保持在相互之间的距离，而无法保证不同车辆间的的相互距离，故本方案再使用k互补最近邻算法对相似度矩阵进行精细化更新，可以保证相似度相近的不同车辆轨迹都保持在相互之间的距离，与传统的k近邻相比更加准确，减少部分假阳性车辆噪声的融入。
其中对单摄像头车辆跟踪轨迹进行聚类指的是：利用层次聚类法对时间过滤后的单摄像头车辆跟踪轨迹进行同一摄像头内的单摄像头车辆跟踪轨迹进行聚类，再根据相似度矩阵对不同摄像头之间的单摄像头车辆跟踪轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
图8是结合多模型的高速公路跨摄像头多车辆跟踪系统在真实高速公路上的跨摄像多车辆跟踪轨迹示意图，可以看到本方案在高速公路上可以准确地获取跨镜头的多个车辆的跨摄像头车辆跟踪轨迹。
实施例二、
本方案提供了一种结合多模型的高速公路跨摄像头多车辆跟踪系统，包括：
车辆检测模块，其中所述车辆检测模型内设有预训练好的车辆目标检测模型，获取高速公路上多个摄像头的跟踪视频，将每一摄像头的跟踪视频的视频帧输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，其中车辆目标检测模型对输入的图像进行分块处理得到多个图片分块，图块分块经历多层swin-transformer后得到对应每一层的特征图，多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中预测得到车辆目标检测框；
多ReID特征提取融合模块，其中多ReID特征提取融合模块中设有预训练好的多ReID特征提取融合模型，将车辆目标检测框对应的车辆图像输入到预训练得到的多ReID特征提取融合模型中输出车辆外表特征，其中所述多ReID特征提取融合模型包括由多个不同bockbone的ReID组成的ReID特征提取模块以及ReID特征融合模块，车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征，所有ReID特征输入到ReID特征融合模块融合得到车辆外表特征；
多目标跟踪模块，用于将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹；
跨镜关联轨迹模块，用于将多个摄像头的单摄像头车辆跟踪轨迹进行过滤、重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
关于实施例二中涉及的技术内容参见实施例一的技术描述，在此不进行累赘说明。
实施例三
本实施例还提供了一种电子装置，参考图9，包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述任一项结合多模型的高速公路跨摄像头多车辆跟踪方法实施例中的步骤。
具体地，上述处理器302可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器304。举例来说而非限制，存储器304可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器304可在数据处理装置的内部或外部。在特定实施例中，存储器304是非易失性(Non-Volatile)存储器。在特定实施例中，存储器304包括只读存储器(Read-OnlyMemory，简称为ROM)和随机存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemory，简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory，简称为EPROM)、电可擦除PROM(ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-AccessMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器304(FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRandom-AccessMemory，简称SDRAM)等。
存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的任意一种结合多模型的高速公路跨摄像头多车辆跟踪方法。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
传输设备306可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备306可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
输入输出设备308用于输入或输出信息。在本实施例中，输入的信息可以是高速公路上的多个摄像头的视频等，输出的信息可以是跟踪轨迹等。
可选地，在本实施例中，上述处理器302可以被设置为通过计算机程序执行以下步骤：
获取高速公路上多个摄像头的跟踪视频；
将每一摄像头的跟踪视频的视频帧输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，其中车辆目标检测模型对输入的图像进行分块处理得到多个图片分块，图块分块经历多层swin-transformer后得到对应每一层的特征图，多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中预测得到车辆目标检测框；
将车辆目标检测框对应的车辆图像输入到预训练得到的多ReID特征提取融合模型中输出车辆外表特征，其中所述多ReID特征提取融合模型包括由多个不同bockbone的ReID组成的ReID特征提取模块以及ReID特征融合模块，车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征，所有ReID特征输入到ReID特征融合模块融合得到车辆外表特征；
将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹；
将多个摄像头的单摄像头车辆跟踪轨迹进行过滤、重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。
Claims (10)
1.一种结合多模型的高速公路跨摄像头多车辆跟踪方法，其特征在于，包括以下步骤：
获取高速公路上多个摄像头的跟踪视频；
将每一摄像头的跟踪视频的视频帧输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，其中车辆目标检测模型对输入的图像进行分块处理得到多个图片分块，图块分块经历多层swin-transformer后得到对应每一层的特征图，多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中预测得到车辆目标检测框；
将车辆目标检测框对应的车辆图像输入到预训练得到的多ReID特征提取融合模型中输出车辆外表特征，其中所述多ReID特征提取融合模型包括由多个不同bockbone的ReID组成的ReID特征提取模块以及ReID特征融合模块，车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征，所有ReID特征输入到ReID特征融合模块融合得到车辆外表特征；
将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹；
将多个摄像头的单摄像头车辆跟踪轨迹进行过滤、重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
2.根据权利要求1所述的结合多模型的高速公路跨摄像头多车辆跟踪方法，其特征在于，在“多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征”步骤中，每一特征图通过移动窗口自注意力模块处理后得到对应的多尺度特征，多尺度特征进行自适应融合后得到融合特征，自适应融合的公式如下所示：
其中wi为第i层多尺度特征fi的权重值，n为融合的多尺度特征的特征层数。
3.根据权利要求1所述的结合多模型的高速公路跨摄像头多车辆跟踪方法，其特征在于，在“车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征”步骤中，每一ReID中的backbone最后的步长stride为1同时经过BN layer得到标准化的ReID特征。
4.根据权利要求1所述的结合多模型的高速公路跨摄像头多车辆跟踪方法，其特征在于，多ReID特征提取融合模型采用交叉熵损失函数和三元组损失函数联合的联合损失函数作为损失函数：
L＝Lentropy+βLtriplet
其中L是联合损失函数，Lentropy是交叉熵损失函数，Ltriplet是三元组损失函数，β是超参数(平衡权重)，在模型训练中进行学习更新；
其中，yi是第i实例的车辆真实标签，是第i实例车辆的预测值，/>是第i实例车辆的目标框，/>是第i实例车辆的正目标框，/>是第i实例车辆的负目标框，θ是超参数。
5.根据权利要求1所述的结合多模型的高速公路跨摄像头多车辆跟踪方法，其特征在于，在“将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹”步骤中，根据检测阈值将车辆区分为高置信度组和低置信度组，对高置信度组中的车辆的车辆外表特征进行相似度匹配，若匹配则跟踪生成当前车辆的单摄像头车辆跟踪轨迹，若不匹配，则根据相邻视频帧之间的车辆目标检测框的IOU对不匹配的车辆以及低置信度组中的车辆进行二次匹配，若匹配则生成当前车辆的单摄像头车辆跟踪轨迹，若再次不匹配，则计算不匹配的车辆的跟踪阈值，若跟踪阈值大于阈值且车辆出现在连续的视频帧，则将该车辆重新纳入目标跟踪集中进行下一轮跟踪。
6.根据权利要求1所述的结合多模型的高速公路跨摄像头多车辆跟踪方法，其特征在于，对单摄像头车辆跟踪轨迹进行重排序指的是基于车辆外表特征计算同一摄像头下的不同单摄像头车辆跟踪轨迹之间的相似度，将同目标车辆的相似度高的单摄像头车辆跟踪轨迹重排序至靠前的位置，并根据不同单摄像头车辆跟踪轨迹之间的相似度建立相邻摄像头之间的相似度矩阵，使用k互补最近邻算法对相似度矩阵进行更新。
7.根据权利要求1所述的结合多模型的高速公路跨摄像头多车辆跟踪方法，其特征在于，对单摄像头车辆跟踪轨迹进行聚类指的是：利用层次聚类法对时间过滤后的单摄像头车辆跟踪轨迹进行同一摄像头内的单摄像头车辆跟踪轨迹进行聚类，再根据相似度矩阵对不同摄像头之间的单摄像头车辆跟踪轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
8.一种结合多模型的高速公路跨摄像头多车辆跟踪系统，其特征在于，包括：
车辆检测模块，其中所述车辆检测模型内设有预训练好的车辆目标检测模型，获取高速公路上多个摄像头的跟踪视频，将每一摄像头的跟踪视频的视频帧输入到预训练得到的车辆目标检测模型中输入车辆目标检测框，其中车辆目标检测模型对输入的图像进行分块处理得到多个图片分块，图块分块经历多层swin-transformer后得到对应每一层的特征图，多个特征图通过移动窗口自注意力进行特征提取后自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中预测得到车辆目标检测框；
多ReID特征提取融合模块，其中多ReID特征提取融合模块中设有预训练好的多ReID特征提取融合模型，将车辆目标检测框对应的车辆图像输入到预训练得到的多ReID特征提取融合模型中输出车辆外表特征，其中所述多ReID特征提取融合模型包括由多个不同bockbone的ReID组成的ReID特征提取模块以及ReID特征融合模块，车辆图像输入到ReID特征提取模块中得到对应不同关注点的ReID特征，所有ReID特征输入到ReID特征融合模块融合得到车辆外表特征；
多目标跟踪模块，用于将车辆目标检测框和车辆外表特征输入到多目标跟踪模块中得到每一摄像头中的多个车辆的单摄像头车辆跟踪轨迹；
跨镜关联轨迹模块，用于将多个摄像头的单摄像头车辆跟踪轨迹进行过滤、重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到8任一所述的结合多模型的高速公路跨摄像头多车辆跟踪方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到8任一所述的结合多模型的高速公路跨摄像头多车辆跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311180228.9A CN117218580A (zh) | 2023-09-13 | 2023-09-13 | 一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311180228.9A CN117218580A (zh) | 2023-09-13 | 2023-09-13 | 一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218580A true CN117218580A (zh) | 2023-12-12 |
Family
ID=89034809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311180228.9A Pending CN117218580A (zh) | 2023-09-13 | 2023-09-13 | 一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218580A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011147101A1 (en) * | 2010-05-28 | 2011-12-01 | Siemens Aktiengesellschaft | Vehicle position estimation method in traffic road network |
| CN111144407A (zh) * | 2019-12-22 | 2020-05-12 | 浪潮(北京)电子信息产业有限公司 | 一种目标检测方法、系统、装置及可读存储介质 |
| WO2021159748A1 (zh) * | 2020-09-23 | 2021-08-19 | 平安科技（深圳）有限公司 | 模型压缩方法、装置、计算机设备及存储介质 |
| CN115909187A (zh) * | 2022-10-11 | 2023-04-04 | 诺维艾创(广州)科技有限公司 | 基于Transformer和超分辨率遥感图像的违停车辆检测方法、系统、设备和介质 |
| CN115908489A (zh) * | 2022-11-09 | 2023-04-04 | 京东方科技集团股份有限公司 | 一种目标跟踪方法及装置 |
| WO2023065395A1 (zh) * | 2021-10-18 | 2023-04-27 | 中车株洲电力机车研究所有限公司 | 作业车辆检测与跟踪方法和系统 |
-
2023
- 2023-09-13 CN CN202311180228.9A patent/CN117218580A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011147101A1 (en) * | 2010-05-28 | 2011-12-01 | Siemens Aktiengesellschaft | Vehicle position estimation method in traffic road network |
| CN111144407A (zh) * | 2019-12-22 | 2020-05-12 | 浪潮(北京)电子信息产业有限公司 | 一种目标检测方法、系统、装置及可读存储介质 |
| WO2021159748A1 (zh) * | 2020-09-23 | 2021-08-19 | 平安科技（深圳）有限公司 | 模型压缩方法、装置、计算机设备及存储介质 |
| WO2023065395A1 (zh) * | 2021-10-18 | 2023-04-27 | 中车株洲电力机车研究所有限公司 | 作业车辆检测与跟踪方法和系统 |
| CN115909187A (zh) * | 2022-10-11 | 2023-04-04 | 诺维艾创(广州)科技有限公司 | 基于Transformer和超分辨率遥感图像的违停车辆检测方法、系统、设备和介质 |
| CN115908489A (zh) * | 2022-11-09 | 2023-04-04 | 京东方科技集团股份有限公司 | 一种目标跟踪方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| CHONG LIU 等: "City-Scale Multi-Camera Vehicle Tracking Guided by Crossroad Zones", CVPR2021, 31 December 2021 (2021-12-31), pages 1 - 9 * |
| XIPENG YANG 等: "Box-Grained Reranking Matching for Multi-Camera Multi-Target Tracking", 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, 31 December 2022 (2022-12-31), pages 3095 - 3105 * |
| ZE LIU 等: "Swin Transformer: Hierarchical Vision Transformer using ShiftedWindows", IEEE, 31 December 2021 (2021-12-31), pages 9992 - 9999 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads | |
| CN110222667B (zh) | 一种基于计算机视觉的开放道路交通参与者数据采集方法 | |
| Izquierdo et al. | Experimental validation of lane-change intention prediction methodologies based on CNN and LSTM | |
| KR101395094B1 (ko) | 개체 검출 방법 및 시스템 | |
| Khorramshahi et al. | Attention Driven Vehicle Re-identification and Unsupervised Anomaly Detection for Traffic Understanding. | |
| Kowsari et al. | Real-time vehicle detection and tracking using stereo vision and multi-view AdaBoost | |
| CN107909012B (zh) | 一种基于视差图的实时车辆跟踪检测方法与装置 | |
| EP2813973B1 (en) | Method and system for processing video image | |
| CN111667512A (zh) | 基于改进卡尔曼滤波的多目标车辆轨迹预测方法 | |
| Khalifa et al. | A novel multi-view pedestrian detection database for collaborative intelligent transportation systems | |
| CN112529934B (zh) | 多目标追踪方法、装置、电子设备和存储介质 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| Yebes et al. | Learning to automatically catch potholes in worldwide road scene images | |
| de Paula Veronese et al. | An accurate and computational efficient system for detecting and classifying ego and sides lanes using LiDAR | |
| CN114049610B (zh) | 一种高速公路上机动车倒车和逆行违法行为主动发现方法 | |
| Ghahremannezhad et al. | Robust road region extraction in video under various illumination and weather conditions | |
| US11420623B2 (en) | Systems for determining object importance in on-road driving scenarios and methods thereof | |
| Arora et al. | Automatic vehicle detection system in Day and Night Mode: challenges, applications and panoramic review | |
| CN114694078A (zh) | 一种基于多目标跟踪的交通行为判定方法 | |
| Arthi et al. | Object detection of autonomous vehicles under adverse weather conditions | |
| Appiah et al. | Object detection in adverse weather condition for autonomous vehicles | |
| CN113771573A (zh) | 一种基于识别路面信息的车辆悬架控制方法及装置 | |
| CN117173669A (zh) | 一种基于人工智能的图片识别方法和系统 | |
| CN117218580A (zh) | 一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统 | |
| Imad et al. | Navigation system for autonomous vehicle: A survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |