CN114972410A - 一种多级匹配视频赛车追踪方法及系统 - Google Patents

一种多级匹配视频赛车追踪方法及系统 Download PDF

Info

Publication number
CN114972410A
CN114972410A CN202210682158.6A CN202210682158A CN114972410A CN 114972410 A CN114972410 A CN 114972410A CN 202210682158 A CN202210682158 A CN 202210682158A CN 114972410 A CN114972410 A CN 114972410A
Authority
CN
China
Prior art keywords
frame
tracking
target
video
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210682158.6A
Other languages
English (en)
Inventor
邹才刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingpu Technology Co ltd
Original Assignee
Shanghai Yingpu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingpu Technology Co ltd filed Critical Shanghai Yingpu Technology Co ltd
Priority to CN202210682158.6A priority Critical patent/CN114972410A/zh
Publication of CN114972410A publication Critical patent/CN114972410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多级匹配视频赛车追踪方法及系统，使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度；将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征；结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。兼顾运动特征和外观特征，可实现对某些特殊镜头的追踪，例如长时间的遮挡，两帧之间目标移动的位置太大等。

Description

一种多级匹配视频赛车追踪方法及系统
技术领域
本发明涉及目标追踪技术领域，具体涉及一种多级匹配视频赛车追踪方法及系统。
背景技术
随着人工智能技术的发展，越来越多的技术被应用到视频的处理中，在以往的赛车比赛中，我们有时需要提取不同镜头类的精彩镜头进行集锦，通常的做法是通过人工获取某些车辆的片段，这样会会花费大量的时间。我们希望能通过技术手段来获取每辆车在视频的轨迹，实现自动提取，已有的技术路径大多是通过目标检测的方法对车辆进行检测，结合ocr的结果来确定某一辆车在视频片段中出现的位置，但由于赛车的快速移动，镜头角度的切换，以及车辆的相互遮挡，很多车牌被遮挡，导致无法准确的获取一个镜头内车辆的完整轨迹。现有的目标追踪方法通常无法兼顾运动特征和外观特征，实现对某些特殊镜头的追踪，例如长时间的遮挡，两帧之间目标移动的位置太大等，这些都是在视频赛车中需要解决的问题。
发明内容
为此，本发明提供一种多级匹配视频赛车追踪方法及系统，以解决现有视频赛车目标追踪方法无法兼顾运动特征和外观特征，对某些特殊镜头例如长时间的遮挡，两帧之间目标移动的位置太大等，无法准确的获取一个镜头内车辆的完整轨迹的问题。
为了实现上述目的，本发明提供如下技术方案：
根据本发明实施例的第一方面，提出了一种多级匹配视频赛车追踪方法，其特征在于，所述方法包括：
使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度；
将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征；
结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。
进一步地，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体包括：
通过设置置信度阈值将检测结果分为高分框和低分框；对已创建的目标跟踪轨迹开始先在高分框之间进行匹配，如果没匹配上，再使用低分框和没有匹配上高分框的跟踪轨迹进行匹配。
进一步地，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体还包括：
对于没有匹配上跟踪轨迹，得分又足够高的高分框，对其新建一个跟踪轨迹。
进一步地，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体还包括：
对于没有匹配上检测框的跟踪轨迹，保留连续多帧，直至目标再次出现再进行匹配。
进一步地，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体包括：
针对于当前帧的目标检测结果，通过卡尔曼滤波进行预测得到一个相邻帧的检测框；
根据目标的检测结果和预测框结果，基于运动特征计算马氏距离获得空间位置差异；并根据不同帧目标的外观特征计算余弦距离获得外观相似度；
对计算的马氏距离和余弦距离进行加权求和得到代价矩阵，通过匈牙利算法进行匹配，将不符合马氏距离阈值的匹配项设为无限大后去除掉，对每一帧的结果进行多目标级联匹配，最终得到视频每一帧目标之间的关联结果。
进一步地，所述方法还包括，对目标检测模型进行训练，具体为：
选取包含不同赛车型号的视频片段进行等间隔抽帧，将抽取的每一帧进行标注每一辆赛车的最小外接矩形框，构建训练集，使用所述训练集对模型进行训练。
进一步地，所述目标检测模型采用yolox网络模型。
进一步地，所述方法还包括：在yolox主干网的输出头添加一个二级网络，通过所述二级网络对获取的目标检测区域进行外观特征提取。
根据本发明实施例的第二方面，提出了一种多级匹配视频赛车追踪系统，所述系统包括：
目标检测模块，用于使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度；
外观特征提取模块，用于将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征；
车辆追踪模块，用于结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。
本发明具有如下优点：
本发明提出的一种多级匹配视频赛车追踪方法及系统，使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度；将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征；结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。兼顾运动特征和外观特征，可实现对某些特殊镜头的追踪，例如长时间的遮挡，两帧之间目标移动的位置太大等。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例1提供的一种多级匹配视频赛车追踪方法的流程示意图；
图2为本发明实施例1提供的一种多级匹配视频赛车追踪方法的具体实施过程示意图；
图3为本发明实施例1提供的一种多级匹配视频赛车追踪方法中车辆外观提取网络示意图；
图4为本发明实施例1提供的一种多级匹配视频赛车追踪方法中级联匹配的步骤示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提出了一种多级匹配视频赛车追踪方法，所述方法包括：
S100、使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度。
S200、将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征。
S300、结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。
具体实施过程如下，参考图2：
1.车辆检测
1)赛车数据集的构建
选取包含不同赛车型号的视频片段进行等间隔抽帧，将抽取的每一帧进行标注每一辆赛车的最小外接矩形框，其类别统一设置为一类，标注数量大约为2000帧左右，构建训练集，使用所述训练集对模型进行训练。
2)模型训练和推理
选取yolox作为检测模型，利用标注好的数据训练出一个赛车检测模型。利用该模型，对视频中的每一帧进行检测，并输出检测结果。对于每一帧画面，获取到车辆位置的四个参数(x0,y0,w,h)以及检测结果的置信度conf，并记录每一辆车的帧号frame。获取到连续帧的结果之后，接下来就是对检测结果进行追踪。
2.车辆追踪：
1)初始化，根据第一帧的检测结果，创建一个初始化的追踪器(tracks)，并通过卡尔曼滤波预测出相邻帧的检测框。并确定tracks的状态。
2)马氏距离的计算：马氏距离利用运动特征，即不同帧之间目标的空间位置信息。马氏距离通过计算检测位置和平均追踪位置之间的标准差将状态测量的不确定性进行了考虑，通过马氏距离来反映空间位置的差异，马氏距离相似度度量计算公式如下：
Figure BDA0003698781110000051
dj表示第j个检测框的位置；yi表示第i个追踪器的对目标的预测位置，Si表示检测框和预测框之间的协方差矩阵。
3)外观信息的提取以及相似度计算：考虑到视频中的赛车的快速运动，往往两帧之间的运动差距较大，纯粹考虑运动距离匹配的依据往往难以取得理想的效果，特别是当不同的车辆交叉出现的时候，纯粹的运动特征往往难以取得合理的匹配，通过对目标检测区域的提取，并利用一个轻量级的二级网络提取外观特征络，得到reid特征。
本实施例通过在yolox主干网的输出头添加一个二级网络，通过所述二级网络对获取的目标检测区域进行外观特征提取。特征提取网络结构如图3所示。网络的输入为目标检测结果区域，输出为1×512的特征向量。表观特征余弦距离度量公式如下
Figure BDA0003698781110000061
其中，rj对应第j个检测的特征向量，
Figure BDA0003698781110000062
对应跟踪的特征向量。通过该公式计算得到第i个物体跟踪的所有特征向量和第j个物体的之间的最小余弦距离。该距离表面不同帧之间的目标的外观相似度。
4)目标置信度分级：考虑到检测结果中对于相同范围内的置信度的关联度更高，通过设置置信度阈值将检测结果分为高分框和低分框。开始先在高分框之间进行匹配。第二次使用低分框和第一次没有匹配上高分框的跟踪轨迹(例如在当前帧受到严重遮挡导致得分下降的物体)进行匹配。对于没有匹配上跟踪轨迹，得分又足够高的检测框，我们对其新建一个跟踪轨迹。对于没有匹配上检测框的跟踪轨迹，我们会保留30帧，在其再次出现时再进行匹配。
5)级联匹配：
计算运动特征的马氏距离，通过门控矩阵，将不符合马氏距离阈值的匹配项设为无限大，得到结果B；
reid的余弦距离和马氏距离得到cost矩阵，计为C，其计算公式如下：
ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
根据预测框的更新状态(这里更新状态是指，这个预测框距离上一次被匹配成功的时间)，越新的预测框(也即距离上一次被匹配上的帧数越短的)，越优先根据C的结果进行匈牙利算法进行匹配，最后根据B中的结果划分匹配上的集合和未匹配上的集合。对每一帧的结果进行多目标级联匹配，通过匹配可得到每一帧中目标车辆的编号，编号相同的车辆归类于同一跟踪轨迹，即可得到最终整个视频系列每一帧目标之间的关联结果。级联匹配的具体步骤如图4所示。
实施例2
与上述实施例1相对应的，本实施例提出了一种多级匹配视频赛车追踪系统，所述系统包括：
目标检测模块，用于使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度；
外观特征提取模块，用于将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征；
车辆追踪模块，用于结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。
本发明实施例提供的一种多级匹配视频赛车追踪系统中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种多级匹配视频赛车追踪方法，其特征在于，所述方法包括：
使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度；
将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征；
结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。
2.根据权利要求1所述的一种多级匹配视频赛车追踪方法，其特征在于，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体包括：
通过设置置信度阈值将检测结果分为高分框和低分框；对已创建的目标跟踪轨迹开始先在高分框之间进行匹配，如果没匹配上，再使用低分框和没有匹配上高分框的跟踪轨迹进行匹配。
3.根据权利要求2所述的一种多级匹配视频赛车追踪方法，其特征在于，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体还包括：
对于没有匹配上跟踪轨迹，得分又足够高的高分框，对其新建一个跟踪轨迹。
4.根据权利要求3所述的一种多级匹配视频赛车追踪方法，其特征在于，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体还包括：
对于没有匹配上检测框的跟踪轨迹，保留连续多帧，直至目标再次出现再进行匹配。
5.根据权利要求1所述的一种多级匹配视频赛车追踪方法，其特征在于，结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果，具体包括：
针对于当前帧的目标检测结果，通过卡尔曼滤波进行预测得到一个相邻帧的检测框；
根据目标的检测结果和预测框结果，基于运动特征计算马氏距离获得空间位置差异；并根据不同帧目标的外观特征计算余弦距离获得外观相似度；
对计算的马氏距离和余弦距离进行加权求和得到代价矩阵，通过匈牙利算法进行匹配，将不符合马氏距离阈值的匹配项设为无限大后去除掉，对每一帧的结果进行多目标级联匹配，得到视频每一帧目标之间的关联结果。
6.根据权利要求1所述的一种多级匹配视频赛车追踪方法，其特征在于，所述方法还包括，对目标检测模型进行训练，具体为：
选取包含不同赛车型号的视频片段进行等间隔抽帧，将抽取的每一帧进行标注每一辆赛车的最小外接矩形框，构建训练集，使用所述训练集对模型进行训练。
7.根据权利要求1所述的一种多级匹配视频赛车追踪方法，其特征在于，所述目标检测模型采用yolox网络模型。
8.根据权利要求7所述的一种多级匹配视频赛车追踪方法，其特征在于，所述方法还包括：在yolox主干网的输出头添加一个二级网络，通过所述二级网络对获取的目标检测区域进行外观特征提取。
9.一种多级匹配视频赛车追踪系统，其特征在于，所述系统包括：
目标检测模块，用于使用预先训练的目标检测模型对赛车视频逐帧进行目标车辆检测，得到检测结果，所述结果包括目标检测框及检测结果置信度；
外观特征提取模块，用于将提取到的目标检测框区域图像输入至二级网络中提取出车辆外观特征；
车辆追踪模块，用于结合车辆的运动特征和外观特征，并根据目标检测框置信度进行多级匹配完成车辆追踪，得到视频每一帧目标之间的关联结果。
CN202210682158.6A 2022-06-16 2022-06-16 一种多级匹配视频赛车追踪方法及系统 Pending CN114972410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210682158.6A CN114972410A (zh) 2022-06-16 2022-06-16 一种多级匹配视频赛车追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210682158.6A CN114972410A (zh) 2022-06-16 2022-06-16 一种多级匹配视频赛车追踪方法及系统

Publications (1)

Publication Number Publication Date
CN114972410A true CN114972410A (zh) 2022-08-30

Family

ID=82963999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210682158.6A Pending CN114972410A (zh) 2022-06-16 2022-06-16 一种多级匹配视频赛车追踪方法及系统

Country Status (1)

Country Link
CN (1) CN114972410A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830075A (zh) * 2023-02-20 2023-03-21 武汉广银飞科技发展有限公司 一种面向行人多目标跟踪的分级关联匹配方法
CN115880646A (zh) * 2023-02-20 2023-03-31 中国民航大学 一种飞机入离位状态识别方法
WO2024140095A1 (zh) * 2022-12-30 2024-07-04 中国电信股份有限公司 基于视频流跟踪融合的车辆属性识别方法及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024140095A1 (zh) * 2022-12-30 2024-07-04 中国电信股份有限公司 基于视频流跟踪融合的车辆属性识别方法及相关设备
CN115830075A (zh) * 2023-02-20 2023-03-21 武汉广银飞科技发展有限公司 一种面向行人多目标跟踪的分级关联匹配方法
CN115880646A (zh) * 2023-02-20 2023-03-31 中国民航大学 一种飞机入离位状态识别方法

Similar Documents

Publication Publication Date Title
CN114972410A (zh) 一种多级匹配视频赛车追踪方法及系统
Yoon et al. Online multi-object tracking via structural constraint event aggregation
Huang et al. Multiple target tracking by learning-based hierarchical association of detection responses
CN111127513A (zh) 一种多目标跟踪方法
CN114638855A (zh) 一种多目标跟踪方法、设备及介质
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和系统
Tan et al. Multi-camera vehicle tracking and re-identification based on visual and spatial-temporal features.
CN111626194B (zh) 一种使用深度关联度量的行人多目标跟踪方法
CN107133970A (zh) 基于运动信息的在线多目标跟踪方法及装置
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
Lee et al. A memory model based on the Siamese network for long-term tracking
CN112651995A (zh) 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法
Gaidon et al. Online domain adaptation for multi-object tracking
CN110349188B (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
Wu et al. Traffic pattern modeling, trajectory classification and vehicle tracking within urban intersections
Chan et al. City tracker: Multiple object tracking in urban mixed traffic scenes
Song et al. Multi-object tracking and segmentation with embedding mask-based affinity fusion in hierarchical data association
CN113807457A (zh) 确定路网表征信息的方法、装置、设备及存储介质
CN116883457B (zh) 一种基于检测跟踪联合网络和混合密度网络的轻量化多目标跟踪方法
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
Zhang et al. A real-time multiple vehicle tracking method for traffic congestion identification
CN114820699B (zh) 多目标跟踪方法、装置、设备及介质
Belmouhcine et al. Robust deep simple online real-time tracking
Yadav et al. An Efficient Yolov7 and Deep Sort are Used in a Deep Learning Model for Tracking Vehicle and Detection
CN112116634B (zh) 一种半在线机置的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination