CN114255434A - 一种多目标跟踪方法及装置 - Google Patents

一种多目标跟踪方法及装置 Download PDF

Info

Publication number
CN114255434A
CN114255434A CN202210191392.9A CN202210191392A CN114255434A CN 114255434 A CN114255434 A CN 114255434A CN 202210191392 A CN202210191392 A CN 202210191392A CN 114255434 A CN114255434 A CN 114255434A
Authority
CN
China
Prior art keywords
target
target detection
track
detection frame
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210191392.9A
Other languages
English (en)
Inventor
张宇
杨伟强
吴庆耀
舒欣
刘东剑
梁浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Santachi Video Technology Shenzhen Co ltd
Original Assignee
Santachi Video Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Santachi Video Technology Shenzhen Co ltd filed Critical Santachi Video Technology Shenzhen Co ltd
Priority to CN202210191392.9A priority Critical patent/CN114255434A/zh
Publication of CN114255434A publication Critical patent/CN114255434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种多目标跟踪方法及装置，通过对获取到的待处理图像以第一预设值进行下采样操作，使得特征图具有更大的特征尺寸，同时通过分别第一网络分支头解决特征图的前后景分类任务和目标框坐标回归任务，通过第二网络分支头解决特征图的目标类别分类的任务，采用解耦的思想并结合尺寸更大的特征图，有效的提升了小目标检测的效果；再通过第三网络分支头提取特征图中的特征向量，并将由第一网络分支头和第二网络分支头输出的目标检测结果映射至特征向量特征图，实现对目标坐标特征向量以及轨迹特征向量的获取；最后再通过坐标特征向量与轨迹特征向量进行匹配得到目标检测框和目标轨迹数据，实现对视频中的多目标进行的有效地检测和跟踪。

Description

一种多目标跟踪方法及装置
技术领域
本发明涉及视频监控领域，特别是涉及一种多目标跟踪及装置方法。
背景技术
目标检测和跟踪在人脸识别、物体动态追踪等方面具有广泛的应用。目前，通常采用SORT方法和DeepSORT方法对目标进行检测与追踪。
在SORT方法中：通过训练一个神经网络模型，用于目标检测，采用卡尔曼滤波和匈牙利算法进行目标和轨迹的匹配。首先使用目标检测的神经网络模型检测出视频帧的目标，获取每个目标的目标框；然后采用卡尔曼滤波预测每个轨迹在当前帧的目标位置，筛选出置信度高的合格目标，通过计算当前帧的合格目标和轨迹的IOU距离矩阵，采用匈牙利算法进行轨迹匹配，完成多目标跟踪的过程。但该方法存在以下缺点：1、目标跟踪丢失，无法找回，导致目标的唯一标识ID找回时发生了变更；2.置信度低的目标实际存在当前帧中却被筛选掉了而没有参与目标和轨迹匹配的流程。
而在DeepSORT方法中：通过训练两个独立的神经网络模型，分别用于目标检测和目标特征向量提取，采用卡尔曼滤波和匈牙利算法进行目标和轨迹的匹配。首先使用目标检测的神经网络模型检测出视频帧的目标，获取每个目标的目标框；然后根据目标框从视频帧中裁剪出每个目标的图片，输入到目标特征向量神经网络模型中，提取出每个目标的特征向量；最后采用卡尔曼滤波预测轨迹在当前帧的目标位置，筛选出置信度高的合格目标，通过计算当前帧的合格目标框和特征向量和轨迹集合之间的特征向量距离矩阵和IOU距离矩阵，采用匈牙利算法进行轨迹匹配，完成多目标跟踪的过程。但该方法也存在的缺点：1、当图片中目标数量非常多，例如50个以上，从原片中裁剪出每个目标的图片和计算特征向量非常耗时，在嵌入式终端设备无法达到实时性；2、目标的大小和形状变化范围大，需要转为统一尺寸，此时目标的外观信息可能发生剧变，导致同一个图片难以提取出相近的特征向量，不利于目标跟踪；3、置信度低的目标实际存在当前帧中，但是被筛选掉而没有参与目标和轨迹的匹配流程。因此，当应用于小目标以及跟踪目标数量较多的场景时，目前的检测和追踪方法无法起到有效的检测和追踪。
发明内容
本发明所要解决的技术问题是：提供一种多目标跟踪方法及装置，提高对小目标以及多目标跟踪的检测效果。
为了解决上述技术问题，本发明采用的技术方案为：
一种多目标跟踪方法，包括步骤：
获取视频流内每一帧的图像，得到待处理图像；
对所述待处理图像依次进行下采样和上采样，得到下采样率为小于第一预设值的特征图；
分别通过第一网络分支头提取所述特征图的目标坐标，通过第二网络分支头对所述特征图中的目标进行分类，得到目标检测框中心坐标；
通过第三网络分支头提取所述特征图的特征向量，得到特征向量特征图；
将所述目标检测框中心坐标映射至所述特征向量特征图中，得到每一目标检测框对应的特征向量；
根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合；
将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。
为了解决上述技术问题，本发明采用的另一技术方案为：
一种多目标跟踪终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种多目标跟踪方法中的各个步骤。
本发明的有益效果在于：通过对获取到的待处理图像以第一预设值进行下采样操作，并对应增加一次上采样操作，使得特征图具有更大的特征尺寸，同时通过分别第一网络分支头解决特征图的前后景分类任务和目标框坐标回归任务，通过第二网络分支头解决特征图的目标类别分类的任务，采用解耦的思想并结合尺寸更大的特征图，有效的提升了目标检测的效果，提高了小目标检测的效果；再通过第三网络分支头提取特征图中的特征向量，并将由第一网络分支头和第二网络分支头输出的目标检测结果映射至特征向量特征图，实现对目标坐标特征向量以及轨迹特征向量的获取；最后再通过坐标特征向量与轨迹特征向量进行匹配得到目标检测框和目标轨迹数据，实现对视频中的多目标进行的有效地检测和跟踪。
附图说明
图1为本发明实施例的一种多目标跟踪方法的步骤流程图；
图2为本发明实施例的一种多目标跟踪装置的一种结构示意图；
图3为本发明实施例的一种多目标跟踪的神经网络模型结构示意图；
图4为本发明实施例的一种多目标跟踪方法中特征向量抽取示意图；
图5为本发明实施例的一种多目标跟踪方法的另一步骤流程图；
图6为本发明实施例的一种多目标跟踪方法的实例步骤流程图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，一种多目标跟踪方法，包括步骤：
获取视频流内每一帧的图像，得到待处理图像；
对所述待处理图像依次进行下采样和上采样，得到下采样率为第一预设值的特征图；
分别通过第一网络分支头提取所述特征图的目标坐标，通过第二网络分支头对所述特征图中的目标进行分类，得到目标检测框中心坐标；
通过第三网络分支头提取所述特征图的特征向量，得到特征向量特征图；
将所述目标检测框中心坐标映射至所述特征向量特征图中，得到每一目标检测框对应的特征向量；
根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合；
将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。
由上述描述可知，本发明的有益效果在于：通过对获取到的待处理图像以第一预设值进行下采样操作，并对应增加一次上采样操作，使得特征图具有更大的特征尺寸，同时通过分别第一网络分支头解决特征图的前后景分类任务和目标框坐标回归任务，通过第二网络分支头解决特征图的目标类别分类的任务，采用解耦的思想并结合尺寸更大的特征图，有效的提升了目标检测的效果，提高了小目标检测的效果；再通过第三网络分支头提取特征图中的特征向量，并将由第一网络分支头和第二网络分支头输出的目标检测结果映射至特征向量特征图，实现对目标坐标特征向量以及轨迹特征向量的获取；最后再通过坐标特征向量与轨迹特征向量进行匹配得到目标检测框和目标轨迹数据，实现对视频中的多目标进行的有效地检测和跟踪。
进一步地，所述根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合之后包括：
对所述第一目标轨迹集合内的所有目标轨迹进行卡尔曼滤波计算，预测所述目标轨迹在下一帧图像中对应的所述目标检测框的状态；
所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据包括：
根据所述目标轨迹在下一帧图像中对应的所述目标检测框的状态挑选出与之匹配的所述目标检测框对应的特征向量以及所述目标轨迹的轨迹特征向量；
遍历所述待处理图像后，得到匹配成功的所述目标检测框和目标轨迹数据。
由上述描述可知，通过卡尔曼滤波计算预测出目标轨迹在下一帧图像中对应的目标检测框的状态，再通过预测出的目标检测框的状态匹配当前图像中的目标检测框对应的特征向量以及目标轨迹的轨迹特征向量，从而大大提高目标检测框与目标轨迹之间的匹配度和精确度。
进一步地，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据包括：
计算所述目标检测框对应的特征向量与所述轨迹特征向量之间的余弦距离矩阵；
通过匈牙利算法以及所述余弦距离矩阵对所述目标检测框与所述第一目标轨迹进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。
由上述描述可知，通过匈牙利算法以及目标检测框的特征向量与轨迹特征向量之间的余弦距离矩阵对目标检测框与所述第一目标轨迹进行匹配，使得每一帧图像中目标检测框与轨迹之间形成一一对应的匹配，提高目标与轨迹之间的匹配的精确度。
进一步地，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
获取匹配失败的所述目标检测框和目标轨迹；
对所述匹配失败的所述目标检测框和目标轨迹进行二次匹配。
由上述描述可知，通过将匹配失败的目标检测框和目标轨迹进行二次匹配，从而充分的利用了每一视频帧中检测出的目标检测框，减小了目标与轨迹丢失的次数，提高了目标跟踪的效果。
进一步地，所述对所述匹配失败的所述目标检测框和目标轨迹进行二次匹配包括：
计算匹配失败的所述目标检测框和目标轨迹的IOU距离矩阵；
通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行二次匹配，得到二次匹配成功的所述目标检测框和目标轨迹数据。
由上述描述可知，通过计算目标检测框和目标轨迹的IOU距离矩阵以及结合匈牙利算法进行二次匹配，从而提高了二次匹配时目标检测框与目标轨迹之间的匹配度，利用匈牙利算法能够尽可能的将所有有效的目标检测框与有效的轨迹进行再次匹配，从而起到减小目标与轨迹丢失的次数，提高目标跟踪效果的作用。
进一步地，设置有第一置信度阈值；
所述根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合之前还包括：
以第一置信度阈值为筛选标准，筛选出置信度高于所述第一置信度阈值的所述目标检测框以及目标检测框对应的特征向量。
由上述描述可知，通过设置第一置信度阈值对目标检测框进行筛选，从而能够优先将最有可能的目标检测框筛选出来与轨迹进行匹配，不仅减少了目标与轨迹之间匹配的计算量，而且也提高了目标与轨迹的匹配度。
进一步地，置有第二置信度阈值；
所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
筛选出置信度低于所述第一置信度阈值且置信度高于所述第二置信度阈值的所述目标检测框以及目标检测框对应的特征向量；
计算挑选出的所述目标检测框和匹配失败的所述目标轨迹的IOU距离矩阵；
通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。
由上述描述可知，通过设置第二置信度阈值并结合第一置信度阈值对目标检测框进行再次筛选，从而进一步再将次级有效的目标检测框与轨迹进行匹配，能够有效的利用所有检测出的目标检测框，起到减小目标与轨迹丢失的次数，提高目标跟踪效果的作用。
进一步地，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
判断匹配失败的所述目标检测框的置信度是否度高于所述第一置信度阈值，若是，则为匹配失败的所述目标检测框初始化一条轨迹并分配唯一ID。
由上述描述可知，为置信度高但匹配失败的目标检测框初始化轨迹并设置ID，使得有效的目标检测框在没有匹配到对应的轨迹时也能够通过初始化的轨迹对其进行跟踪，避免有效的目标检测框在匹配轨迹的过程中被忽略或删除，提高对目标跟踪的效果。
进一步地，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
将匹配失败的所述目标轨迹标记为丢失状态；
判断被标记为丢失状态的所述目标轨迹匹配失败的次数是否达到第一阈值，若是，则删除被标记为丢失状态的所述目标轨迹。
由上述描述可知，当轨迹在匹配的过程中出现多次匹配失败的情况，则表示该轨迹极有可能为无效的轨迹，将无效的轨迹删除不仅减少了匹配的计算量，而且提高了目标与轨迹之间匹配的精确度。
本发明另一实施例提供一种多目标跟踪终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种多目标跟踪方法中的各个步骤。
本发明上述多目标跟踪方法能够适用于各种类型视频监控场景，特别适用于对视频监控中小目标跟踪的应用场景，以下通过具体实施方式进行说明：
实施例一
请参照图3，为本实例中多目标跟踪的神经网络模型；其中，input表示输入的视频帧，Encoder层表示下采样操作，Neck层表示上采样过程，h4表示下采样率为4的特征图，Head层包含3个网络分支头，他们的作用依次为：解决前后景分类任务（obj task）和目标框回归任务（reg task）；解决目标类别分类任务（cls task）；解决目标特征向量提取任务（reid task）；在进行神经网络模型的训练前，准备用于神经网络训练的数据集，即将每个视频的每一帧图像分离出来，并对每一帧图像进行标签标注，具体的包括：目标当前帧索引、目标的类别、目标在该视频的唯一ID以及跟踪目标的检测框等；训练时，在具有GPU的服务器设备上编写模型训练代码，利用训练数据集对多目标跟踪神经网络模型进行训练，不断更新模型参数，在模型的跟踪指标收敛后保存模型的权重参数；而后将训练完成的神经网络模型部署到监控摄像头的终端设备中，并编写模型的推理代码和目标和轨迹匹配策略的代码，输入摄像头的视频流，对每一帧图片进行多目标跟踪计算；
请参照图1，一种多目标跟踪方法，包括步骤：
S1、获取视频流内每一帧的图像，得到待处理图像；
S2、对所述待处理图像依次进行下采样和上采样，得到下采样率为小于第一预设值的特征图；具体的，在Encoder层增加一个下采样率为4的目标检测网络分支头，并在神经网络模型的Neck层中增加一次上采样和连接的操作，从而输出一个下采样率为4的特征图；下采样率为4表示对一个W×L大小的图片进行下采样，使其分辨率大小变为W/4×L/4；
S3、分别通过第一网络分支头提取所述特征图的目标坐标，通过第二网络分支头对所述特征图中的目标进行分类，得到目标检测框中心坐标；所述第一网络分支头用于解决所述前后景分类任务和目标框回归任务，所述第二网络分支头用于解决目标类别分类任务；其中，也可分别采用三个网络分支头分别用于解决所述前后景分类任务、目标框回归任务以及目标类别分类任务；但网络分支头数量的增加也使得模型的计算量增大，不利于实时的监控跟踪，因此优选为以所述第一网络分支头和第二网络分支头共同解决目标检测任务的方式进行，能够起到最优的效果；
S4、通过第三网络分支头提取所述特征图的特征向量，得到特征向量特征图；所述第三网络分支头用于解决目标特征向量提取任务，输入为所述下采样率为4的特征图，输出的所述特征向量特征图包括所述下采样率为4的特征图中每一个像素点对应的特征向量；同时，将目标检测模型（即所述第一网络分支头和第二网络分支头）和目标特征向量提取模型（即所述第三网络分支头）合并为一个模型，采用计算量更小的目标特征向量提取方法，同时解决目标检测和特征向量提取任务，整体上提高模型推理的速度；
S5、将所述目标检测框中心坐标映射至所述特征向量特征图中，得到每一目标检测框对应的特征向量；请参照图4，采用映射的方式将所述像素的特征向量与所述目标检测框中心坐标进行匹配，根据每一所述目标检测框的中心坐标如（x，y）从特征向量特征图（feature map）中抽离出对应的特征向量（object feature），从而避免了目标图片裁剪和特征向量提取独立计算的问题，解决了目标数量增加导致目标特征向量提取的计算量增加的问题，保证模型的推理速度始终维持在一个高水平；
S6、根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合，具体的：
S61、获取视频流内预设数量的所述待处理图像；
S62、对每一所述待处理图像内的每一所述目标检测框进行匹配，得到所有可能的目标轨迹；具体的：通过抽帧的方式对目标跟踪进行跟踪；如在一秒的画面中包括30帧的图像，每五帧抽一帧进行一次跟踪，即针对总共六帧的画面进行跟踪；根据六帧画面中的所有所述目标检测框进行匹配得到所有所述可能的目标轨迹；或对一帧画面中的所述目标检测框进行轨迹初始化，得到所述可能的目标轨迹；
S63、对所有所述可能的目标轨迹进行筛选得到所述第一目标轨迹集合；如将具有多段折线的轨迹、多次变相的轨迹等不符合同个物体在连续帧中的轨迹特性的曲线滤除，并最终得到可能性最大轨迹集合即第一目标轨迹集合，不仅减少了后期目标与轨迹匹配的计算量，而且提高了目标与轨迹之间匹配上的概率；
S7、对所述第一目标轨迹集合内的所有目标轨迹进行卡尔曼滤波计算，预测所述目标轨迹在下一帧图像中对应的所述目标检测框的状态；所述目标检测框的状态包括：目标框（中心坐标、长度和宽度）、运动方向、运动速度等，即包含所述卡尔曼滤波算法计算所必需的状态变量；
S8、将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据，具体的：
S81、计算所述目标检测框对应的特征向量与所述轨迹特征向量之间的余弦距离矩阵，所述余弦距离计算公式如下：
Figure 544500DEST_PATH_IMAGE001
其中，k表示特征向量的维度，通常包括64、128以及256；本实施例采用64维度用于计算；计算量更小；i表示特征向量中的第i个元素；如有m个所述目标检测框，则具有m个对应的特征向量；如有n条所述轨迹，则具有n个对应的特征向量；每一所述目标检测框的特征向量与每一轨迹的特征向量计算余弦距离，得到余弦距离矩阵，其大小为m×n；A、B分别表示所述目标检测框和轨迹的特征向量；
S82、根据所述目标轨迹在下一帧图像中对应的所述目标检测框的状态挑选出与之匹配的所述目标检测框对应的特征向量以及所述目标轨迹的轨迹特征向量；
S83、通过匈牙利算法以及所述余弦距离矩阵对所述目标检测框与所述第一目标轨迹进行匹配，得到当前图像帧中匹配成功的所述目标检测框和目标轨迹数据；
S9、遍历所述待处理图像后，得到匹配成功的所述目标检测框和目标轨迹数据；
本实施例提供一具体多目标跟踪实例如下：
请参照图6，（1）获取视频流中连续的两帧图像，得到所述待处理图像；
（2）将所述连续的两帧图像经过所述神经网络模型后，分别得到具有所述目标检测框的两帧图像；其中，第一帧图像中的所述目标检测框代表轨迹（轨迹可通过所述轨迹初始化过程得到），第二帧图像中的所述目标检测框为当前检测框；
（3）对两帧图像中的所述目标检测框进行特征向量提取，得到每一所述目标检测框对应的特征向量；
（4）计算第一帧图像中的轨迹与第二帧图像中的所述目标检测框特征向量之间的余弦距离矩阵，作为所述目标检测框和轨迹的匹配依据；
（5）采用匈牙利算法对（4）中的所述余弦距离矩阵进行计算处理，设定一个最大的余弦距离阈值，输出所述目标检测框和轨迹匹配的结果。
实施例二
本实施例与实施例一的不同在于，还对匹配失败的目标检测框进行二次匹配；
步骤S83之后还包括步骤S84、对匹配失败的所述目标检测框进行二次匹配，具体的：
S841、获取匹配失败的所述目标检测框和目标轨迹；
S842、计算匹配失败的所述目标检测框和目标轨迹的IOU距离矩阵；
IOU距离计算公式如下：
Figure 811534DEST_PATH_IMAGE002
S843、通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行二次匹配，得到二次匹配成功的所述目标检测框和目标轨迹数据；
通过依次进行两次不同计算方式的所述目标检测框与轨迹的匹配，极大提高了对检测出的所述目标检测框的利用率，也提高对目标检测和跟踪的效率。
实施例三
本实施例与实施例一或二的不同在于，设置匹配优先级对目标检测框与轨迹进行匹配，具体的：
请参照图5，设置有第一置信度阈值和第二置信度阈值；所述置信度为检测到的所述目标检测框的可信度，数值越高表示检测到的所述目标检测框的越可信；
步骤S6之前还包括：
以所述第一置信度阈值为筛选标准，筛选出置信度高于所述第一置信度阈值的所述目标检测框以及目标检测框对应的特征向量；
步骤S843之后包括：
对匹配失败的所述目标检测框执行以下步骤：
A1、判断匹配失败的所述目标检测框的置信度是否度高于所述第一置信度阈值，若是，A2、则为匹配失败的所述目标检测框初始化一条轨迹并分配唯一ID；
若否，则A3、筛选出置信度低于所述第一置信度阈值且置信度高于所述第二置信度阈值的所述目标检测框以及目标检测框对应的特征向量；
A4、计算挑选出的所述目标检测框和匹配失败的所述目标轨迹的IOU距离矩阵；
A5、通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据；
对匹配失败的所述目标轨迹执行以下步骤：
B1、将匹配失败的所述目标轨迹标记为丢失状态；
B2、判断被标记为丢失状态的所述目标轨迹匹配失败的次数是否达到第一阈值，若是，则删除被标记为丢失状态的所述目标轨迹；如所述目标轨迹在连续的三帧图像中都没有被匹配到，则将其删除，不再参与跟踪；
以下为本技术方案与现有技术中的目标跟踪方案的对比；
表1.目标检测的指标对比表
Figure 948117DEST_PATH_IMAGE003
在目标检测的指标对比表中，选用了当前应用广泛的目标检测方法YOLOv5s和YOLOXs进行指标对比，采用的测试数据集是VisDrone数据集，从AP0.5指标可知，本技术方法的指标数值远高于其他两种方法，起到了提高目标检测的效果，尤其是对于小目标，极大提高多目标跟踪的效果；
表2.多目标跟踪的指标对比
Figure 616996DEST_PATH_IMAGE004
每个指标的具体作用：
MOTA：多目标跟踪的准确度，体现在确定目标的个数，以及有关目标的相关属性方面的准确度，用于统计在跟踪中的误差积累情况，包括FP、FN、IDs；
Figure 545113DEST_PATH_IMAGE005
，t表示第t帧图片；gt表示当前第t帧图像中 目标框的数量；
FP：误检的总数（轨迹匹配到错误的目标）；
FN：漏检的总数（轨迹没有匹配目标）；
IDs：ID发生改变的总次数（轨迹的ID发生改变）；
IDF1：ID F1的分数，正确识别的检测目标与平均真实目标数和计算检测目标数数之比；其中，FP和FN是两个相对的指标，一个指标高，另一个指标就会低；
在多目标跟踪的指标对比表中，选用了多目标跟踪领域中5个目标跟踪算法作为对比，分别为SORT、DeepSORT、MOTDT、FairMOT以及ByteTrack，对应的指标选择了MOTA、IDF1、IDs、FP以及FN共5个，采用的测试数据集是VisDrone数据集；从表格数据中可以看出，本方案法在MOTA，IDF1，FN指标取得了最好的成绩，在IDs指标中也接近其他方法最好的成绩，可见本方案相比其他多目标跟踪方法有明显的优势，可以取得更好的多目标跟踪效果。
实施例四
请参照图2，一种多目标跟踪终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例一、二或三中任意一项所述的一种多目标跟踪方法中的各个步骤。
综上所述，本发明提供的一种多目标跟踪方法及装置，通过对获取到的待处理图像以下采样率为4的目标检测网络进行下采样操作，并对应增加一次上采样操作，使得特征图具有更大的特征尺寸，同时通过分别第一网络分支头解决特征图的前后景分类任务和目标框坐标回归任务，通过第二网络分支头解决特征图的目标类别分类的任务，采用解耦的思想并结合尺寸更大的特征图，有效的提升了目标检测的效果，提高了小目标检测的效果；再通过第三网络分支头提取特征图中的特征向量，并将由第一网络分支头和第二网络分支头输出的目标检测结果映射至特征向量特征图，实现对目标坐标特征向量以及轨迹特征向量的获取，同时从目标检测框和特征向量两个维度进行目标跟踪，并通过设置第一置信度阈值和第二置信度阈值，以及对匹配失败的目标检测框与目标轨迹进行多次匹配，优化了目标和轨迹进行匹配的策略，充分利用每个视频帧中检测出的目标，减少目标跟踪丢失次数，并实现目标丢失重找回的功能整体上提高目标根据的效果，实现对视频中的多目标进行的有效地检测和跟踪。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括步骤：
获取视频流内每一帧的图像，得到待处理图像；
对所述待处理图像依次进行下采样和上采样，得到下采样率为第一预设值的特征图；
分别通过第一网络分支头提取所述特征图的目标坐标，通过第二网络分支头对所述特征图中的目标进行分类，得到目标检测框中心坐标；
通过第三网络分支头提取所述特征图的特征向量，得到特征向量特征图；
将所述目标检测框中心坐标映射至所述特征向量特征图中，得到每一目标检测框对应的特征向量；
根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合；
将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。
2.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合之后包括：
对所述第一目标轨迹集合内的所有目标轨迹进行卡尔曼滤波计算，预测所述目标轨迹在下一帧图像中对应的所述目标检测框的状态；
所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据包括：
根据所述目标轨迹在下一帧图像中对应的所述目标检测框的状态挑选出与之匹配的所述目标检测框对应的特征向量以及所述目标轨迹的轨迹特征向量；
遍历所述待处理图像后，得到匹配成功的所述目标检测框和目标轨迹数据。
3.根据权利要求2所述的一种多目标跟踪方法，其特征在于，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据包括：
计算所述目标检测框对应的特征向量与所述轨迹特征向量之间的余弦距离矩阵；
通过匈牙利算法以及所述余弦距离矩阵对所述目标检测框与所述第一目标轨迹进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。
4.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
获取匹配失败的所述目标检测框和目标轨迹；
对所述匹配失败的所述目标检测框和目标轨迹进行二次匹配。
5.根据权利要求4所述的一种多目标跟踪方法，其特征在于，所述对所述匹配失败的所述目标检测框和目标轨迹进行二次匹配包括：
计算匹配失败的所述目标检测框和目标轨迹的IOU距离矩阵；
通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行二次匹配，得到二次匹配成功的所述目标检测框和目标轨迹数据。
6.根据权利要求1所述的一种多目标跟踪方法，其特征在于，设置有第一置信度阈值；
所述根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合之前还包括：
以第一置信度阈值为筛选标准，筛选出置信度高于所述第一置信度阈值的所述目标检测框以及目标检测框对应的特征向量。
7.根据权利要求6所述的一种多目标跟踪方法，其特征在于，设置有第二置信度阈值；
所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
筛选出置信度低于所述第一置信度阈值且置信度高于所述第二置信度阈值的所述目标检测框以及目标检测框对应的特征向量；
计算挑选出的所述目标检测框和匹配失败的所述目标轨迹的IOU距离矩阵；
通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。
8.根据权利要求6所述的一种多目标跟踪方法，其特征在于，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
判断匹配失败的所述目标检测框的置信度是否度高于所述第一置信度阈值，若是，则为匹配失败的所述目标检测框初始化一条轨迹并分配唯一ID。
9.根据权利要求6所述的一种多目标跟踪方法，其特征在于，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：
将匹配失败的所述目标轨迹标记为丢失状态；
判断被标记为丢失状态的所述目标轨迹匹配失败的次数是否达到第一阈值，若是，则删除被标记为丢失状态的所述目标轨迹。
10.一种多目标跟踪终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述的一种多目标跟踪方法中的各个步骤。
CN202210191392.9A 2022-03-01 2022-03-01 一种多目标跟踪方法及装置 Pending CN114255434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210191392.9A CN114255434A (zh) 2022-03-01 2022-03-01 一种多目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210191392.9A CN114255434A (zh) 2022-03-01 2022-03-01 一种多目标跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN114255434A true CN114255434A (zh) 2022-03-29

Family

ID=80797137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210191392.9A Pending CN114255434A (zh) 2022-03-01 2022-03-01 一种多目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN114255434A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898458A (zh) * 2022-04-15 2022-08-12 中国兵器装备集团自动化研究所有限公司 基于图像处理的厂区人数监测方法、系统、终端及介质
CN114972417A (zh) * 2022-04-02 2022-08-30 江南大学 动态轨迹质量量化和特征重规划的多目标跟踪方法
CN114972418A (zh) * 2022-03-30 2022-08-30 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及系统
CN117367425A (zh) * 2023-09-18 2024-01-09 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114501A1 (en) * 2017-10-16 2019-04-18 Wistron Corporation Target tracking method and system adaptable to multi-target tracking
WO2021057315A1 (zh) * 2019-09-27 2021-04-01 深圳云天励飞技术股份有限公司 多目标跟踪方法及相关设备
CN113160274A (zh) * 2021-04-19 2021-07-23 桂林电子科技大学 一种基于YOLOv4的改进DeepSort目标检测跟踪方法
CN113628245A (zh) * 2021-07-12 2021-11-09 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质
CN113837977A (zh) * 2021-09-22 2021-12-24 马上消费金融股份有限公司 对象跟踪方法、多目标跟踪模型训练方法及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114501A1 (en) * 2017-10-16 2019-04-18 Wistron Corporation Target tracking method and system adaptable to multi-target tracking
WO2021057315A1 (zh) * 2019-09-27 2021-04-01 深圳云天励飞技术股份有限公司 多目标跟踪方法及相关设备
CN113160274A (zh) * 2021-04-19 2021-07-23 桂林电子科技大学 一种基于YOLOv4的改进DeepSort目标检测跟踪方法
CN113628245A (zh) * 2021-07-12 2021-11-09 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质
CN113837977A (zh) * 2021-09-22 2021-12-24 马上消费金融股份有限公司 对象跟踪方法、多目标跟踪模型训练方法及相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任珈民等: "基于YOLOv3与卡尔曼滤波的多目标跟踪算法", 《计算机应用与软件》 *
孙培泽: "ByteTrack：Multi-Object Tracking by Associating Every Detection Box", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/421264325》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972418A (zh) * 2022-03-30 2022-08-30 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN114972418B (zh) * 2022-03-30 2023-11-21 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN114972417A (zh) * 2022-04-02 2022-08-30 江南大学 动态轨迹质量量化和特征重规划的多目标跟踪方法
CN114972417B (zh) * 2022-04-02 2023-06-30 江南大学 动态轨迹质量量化和特征重规划的多目标跟踪方法
CN114898458A (zh) * 2022-04-15 2022-08-12 中国兵器装备集团自动化研究所有限公司 基于图像处理的厂区人数监测方法、系统、终端及介质
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及系统
CN116189116B (zh) * 2023-04-24 2024-02-23 江西方兴科技股份有限公司 一种交通状态感知方法及系统
CN117367425A (zh) * 2023-09-18 2024-01-09 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统
CN117367425B (zh) * 2023-09-18 2024-05-28 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统

Similar Documents

Publication Publication Date Title
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
CN114255434A (zh) 一种多目标跟踪方法及装置
US11393103B2 (en) Target tracking method, device, system and non-transitory computer readable medium
CN108062574B (zh) 一种基于特定类别空间约束的弱监督目标检测方法
US10445602B2 (en) Apparatus and method for recognizing traffic signs
US20230042187A1 (en) Behavior recognition method and system, electronic device and computer-readable storage medium
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR101917354B1 (ko) 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
CN113408492A (zh) 一种基于全局-局部特征动态对齐的行人重识别方法
Hara et al. Attentional network for visual object detection
CN110110755B (zh) 基于ptgan区域差距与多重分支的行人重识别检测方法及装置
Capellen et al. ConvPoseCNN: Dense convolutional 6D object pose estimation
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
CN112580657A (zh) 一种自学习字符识别方法
Karunakaran Deep learning based object detection using mask RCNN
Shah et al. Efficient detection of pixel-level adversarial attacks
CN115019241B (zh) 一种行人识别与追踪方法、装置、可读存储介质及设备
CN115601791A (zh) 基于Multiformer及离群样本重分配的无监督行人重识别方法
CN114022684B (zh) 人体姿态估计方法及装置
CN111311643B (zh) 使用动态搜索的视频目标跟踪方法
CN112766404A (zh) 一种基于深度学习的中华绒螯蟹的真伪识别方法及系统
CN113971684A (zh) 一种基于kcf和surf特征的实时鲁棒目标跟踪方法
CN112907553A (zh) 一种基于Yolov3的高清图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220329

RJ01 Rejection of invention patent application after publication