CN116128932A - 一种多目标跟踪方法 - Google Patents

一种多目标跟踪方法 Download PDF

Info

Publication number
CN116128932A
CN116128932A CN202310411457.0A CN202310411457A CN116128932A CN 116128932 A CN116128932 A CN 116128932A CN 202310411457 A CN202310411457 A CN 202310411457A CN 116128932 A CN116128932 A CN 116128932A
Authority
CN
China
Prior art keywords
target
tracking
target detection
frame
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310411457.0A
Other languages
English (en)
Other versions
CN116128932B (zh
Inventor
张丽娟
丁工程
李东明
姜雨彤
崔海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi University
Original Assignee
Wuxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi University filed Critical Wuxi University
Priority to CN202310411457.0A priority Critical patent/CN116128932B/zh
Publication of CN116128932A publication Critical patent/CN116128932A/zh
Application granted granted Critical
Publication of CN116128932B publication Critical patent/CN116128932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多目标跟踪方法，包括以下步骤：获取待检测视频，并对所述待检测视频进行目标检测，针对每个待处理的跟踪目标图像，将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取；目标跟踪时，使用最小二乘法和卡尔曼滤波器分别预测目标的运动轨迹，跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器预测目标的运动轨迹，得到预测跟踪框，目标遮挡结束后使用关联策略进行目标身份关联，实现跟踪目标的继续跟踪。通过本发明方法，有效减少了跟踪过程中的跟踪目标身份切换次数，跟踪准确度高。

Description

一种多目标跟踪方法
技术领域
本发明涉及跟踪算法技术领域，特别是涉及多目标跟踪算法。
背景技术
跟踪目标检测作为进一步进行图像分析与理解的基础，具有重要的研究意义，其中，Pedro Felzenszwalb等人提出的可变形部件模型(Deformable Parts Model，DPM)，现已在多个领域中使用。
随着人们的安全和效率需求不断提升，计算机视觉任务的复杂度不断提高，视觉追踪技术在各行业的有效应用也提出了多跟踪目标跟踪的需求，包含多个跟踪目标的活动轨迹，无论是对帧序列单帧运行检测还是对帧中所有跟踪目标使用单跟踪目标跟踪（Single Object Tracking, SOT）都无法实现任务需求。因为跟踪目标跟踪需要建立前一幅图像与后一幅图像之间跟踪目标的联系，在单一帧中使用检测算法只能实现识别而不能建立前后关联。在相邻图像之间使用单跟踪目标跟踪算法只能实现单一跟踪目标的关联而不能进行识别。新旧跟踪目标的更换与身份识别是MOT（Multiple Object Tracking）主要解决的一大难点，识别方法和关联策略影响MOT跟踪算法的性能。
多跟踪目标跟踪作为计算机视觉一个重要的研究领域，其研究的主要目的是为了估计在感兴趣区域内的跟踪目标数量以及每个跟踪目标的状态，然后对其感兴趣区域进行跟踪。多跟踪目标跟踪的研究具有非常实用的现实意义，在智能监控、动作与行为分析、自动驾驶、虚拟现实和娱乐互动等领域都有重要的应用。多跟踪目标跟踪在各个领域都有着广泛的用途，使其研究具有非常重要的现实意义。
然而，跟踪过程中存在跟踪目标由于部分遮挡或完全遮挡造成的跟踪目标身份切换问题。
发明内容
本发明提供一种多目标跟踪方法，用于解决跟踪目标在跟踪过程中由遮挡导致的跟踪目标身份切换问题。
为实现上述效果，本发明的技术方案如下：
一种多目标跟踪方法，包括以下步骤：
S1：获取待检测视频，并对所述待检测视频进行目标检测，获得所述待检测视频中各跟踪目标图像的目标检测框，对目标检测框进行筛选，所述跟踪目标图像包括多个所述目标检测框；
S2：针对每个待处理的跟踪目标图像，将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取；
S3：基于跟踪目标特征信息判断跟踪目标是否处于被遮挡状态，若跟踪目标正常，则保持当前状态继续跟踪，若跟踪目标被遮挡，则执行下一步，转入步骤S4；
S4：目标跟踪时，使用最小二乘法和卡尔曼滤波器分别预测目标的运动轨迹，跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器预测目标的运动轨迹，得到预测跟踪框，目标遮挡结束后使用关联策略进行目标身份关联，实现跟踪目标的继续跟踪；
所述目标遮挡结束后使用关联策略进行目标身份关联，具体为：
跟踪目标遮挡结束后，对于检测到遮挡后的跟踪目标，将视频前一帧中的目标检测框作为未匹配目标检测框，若未匹配目标检测框为不确定态，或者，未匹配目标检测框为确定态且超过最大寿命，则将未匹配目标检测框作为高价值目标检测框；
若视频前一帧中的目标检测框超过最大寿命，则将高价值目标检测框与预测跟踪框进行关联，作为关联目标检测框A，计算关联目标检测框A的余弦距离，得到第一余弦距离值集合；将未匹配目标检测框为确定态的目标检测框与预测跟踪框进行关联，作为关联目标检测框B，计算关联目标检测框B的余弦距离，得到第二余弦距离值集合；
所述第一余弦距离值集合、第二余弦距离值集合中最小的余弦距离值对应的关联目标检测框作为遮挡前最合适的关联目标检测框，并进行跟踪目标身份赋予，若所述遮挡前最合适的关联目标检测框属于高价值目标检测框，将高价值目标检测框集合中最合适的关联目标检测框移除，仅执行一次；
若最小的余弦距离值大于设定的余弦距离阈值，则跟踪目标关联失败；若最小的余弦距离值小于设定的余弦距离阈值，则跟踪目标关联成功，对跟踪目标继续跟踪。
其中，目标检测框包含较多的背景区域，密集多目标检测中存在较多小目标。
进一步的，步骤S1中所述目标检测使用DPM检测器对跟踪目标图像进行检测。
进一步的，步骤S1中对目标检测框进行筛选具体为，对跟踪目标使用NMS非极大值抑制，阈值设置为0.5进行目标检测框筛选。
进一步的，所述对跟踪目标使用NMS非极大值抑制具体为，
在跟踪目标图像上产生多个目标检测框，并将目标检测框输入至分类器对窗口中的跟踪目标进行判断，再由分类器对每个目标检测框给出得分，得分表示目标检测框中为被检测跟踪目标的可能性；
对目标检测框中的重合框使用NMS非极大值抑制进行删减，处理过程为迭代-遍历-消除的过程，即按照每个目标检测框的得分进行排序，并计算分数最高的目标检测框同其他目标检测框的重叠度IoU，若重叠度IoU大于设定阈值，则删除得分较小的目标检测框，依次处理其余的目标检测框；其中重叠度IoU的计算为目标检测框重叠部分的面积除以两个跟踪目标框相并的面积，如下式所示：
其中，A、B分别表示第一目标检测框的面积和第二目标检测框的面积。
进一步的，步骤S2中所述特征提取网络包括依次连接的双通道注意力机制网络、RestNet50残差网络、Reid模型。
进一步的，所述双通道注意力机制网络包括自注意力机制和循环注意力机制，分别用于提取跟踪目标的全局特征信息与特征循环矩阵的全局特征信息。
设计双路自注意力机制模块，可以更好的提取跟踪目标特征，鲁棒性强。
进一步的，步骤S2具体为：
S2.1：特征提取网络将跟踪目标尺寸进行尺寸归一化处理；
其中，尺寸归一化处理为将跟踪目标图像尺寸调整为128×64，Batch size设置为32。
S2.2：针对每个待处理的跟踪目标图像，将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取，获得所述特征提取网络输出的每个所述目标检测框的层级卷积图像特征；所述层级卷积图像特征包括多层卷积图像特征，所述图像对包括所述待处理的跟踪目标图像的当前帧和所述待处理的跟踪目标图像的前一帧；
S2.3：根据所述层级卷积图像特征，得到特征循环矩阵；
S2.4：分别将每个所述层级卷积图像特征的每层卷积图像特征的各个通道特征相加输入至双通道注意力机制网络，分别提取跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息，每层所述卷积图像特征包括多个所述通道特征；
S2.5：利用RestNet50残差网络融合跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息，并在通道维度上相加得到第二全局特征信息，第二全局特征信息与第一全局特征信息相加后使用1*1的卷积来进行通道降维，通道降维后使用Reid模型返回特征提取网络提取的特征信息。
进一步的，步骤S4跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器获取目标运动轨迹，具体为：
若视频前一帧目标检测框的消失帧数小于或等于设定的帧数阈值，则认为跟踪目标出现短期遮挡：
将跟踪目标的运动轨迹在短期间隔内视为线性运动，最小二乘法通过最小化误差的平方寻找跟踪目标轨迹数据的最佳函数匹配，即，
对跟踪目标构造最小二乘法误差函数，如下式所示：
（1）
式中： S为拟合误差； n为运动轨迹信息个数；为运动轨迹坐标信息， i表示待检测视频使用最小二乘法预测目标的运动轨迹所在的时刻，即待检测视频中的帧； a,b分别为轨迹的斜率与截距；
通过公式（2）与公式（3）对拟合误差的平方求偏导并使偏导值为0，得到极值点，通过极值点计算拟合误差的平方的最小值；
（2）
（3）
跟踪目标的轨迹信息已知，拟合误差的平方的极值点求解则转化为对轨迹的斜率 a与轨迹的截距 b的求解；
由导数加法公式对公式（3）拆解求得公式（4）；
（4）
由导数乘法公式对公式（4）求解可得公式（5）；
（5）
将轨迹的斜率 a视作常数，求轨迹的截距 b的偏导数可得公式（6），将公式（5）（6）应用于公式（3）可得公式（7）；
（6）
（7）
由公式（7）和公式（8）化简即求得公式（9）中轨迹的截距 b值，同理求得轨迹的斜率值如公式（10）所示；
（8）
（9）
（10）。
进一步的，步骤S4所述跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器预测目标的运动轨迹，具体为：
若视频前一帧目标检测框的消失帧数大于设定的帧数阈值，则认为跟踪目标出现长期遮挡，则对跟踪目标使用卡尔曼滤波器进行运动轨迹的预测；
假设目标跟踪时的动态系统存在多个随机变量，且随机变量符合高斯分布，每个随机变量存在均值 μ和方差，则通过协方差矩阵衡量随机变量之间的相关性；
定义 k时刻跟踪目标位置的估计值 k，如公式（11）所示； k时刻跟踪目标位置的估计值 k由 k时刻跟踪目标位置的测量值 z k和 k-1时刻跟踪目标位置的估计值 k-1进行转换，如公式（12）所示，
（11）
（12）
式中： k为时间单位；定义为卡尔曼增益，存在多个随机变量时，卡尔曼增益的求解使用数据融合来完成； k、 k-1分别为 k时刻、 k-1时刻跟踪目标位置的估计值； z k为 k时刻跟踪目标位置的测量值；
k时刻的各随机变量是相关的，通过假设的随机变量及对应的方差与协方差构成协方差矩阵 P，协方差矩阵 P中的值则表示随机变量之间的关联程度；
（13）
式中：为假设的随机变量；为随机变量的方差；均为随机变量间的协方差； P为协方差矩阵；
（14）
式中：为 k时刻随机变量的目标预测信息，为 k-1时刻随机变量的目标预测信息；为第 k-1时刻随机变量的过程噪音；为第 k-1时刻动态系统的控制量；为第 k时刻随机变量的测量噪音；为运动方程参数矩阵；
通过求解误差的协方差矩阵的最小迹，得到最优的卡尔曼增益。
与现有技术相比，本发明技术方案的有益效果是：
本发明所用特征提取网络更加有效且模型泛化能力强，鲁棒性高。引入最小二乘法拟合与卡尔曼滤波器来解决多跟踪目标跟踪过程中的遮挡干扰，有效减少了跟踪过程中的跟踪目标身份切换次数，跟踪准确度高，帧率稳定，能够对目标实时跟踪。
附图说明
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
图1为本发明实施例提供的多目标跟踪算法的流程示意图；
图2为本发明实施例提供的特征提取网络、循环注意力机制示意图
图3a-图3b分别为本发明实施例提供的最小二乘法、卡尔曼滤波器预测轨迹预测示意图；
图4为本发明实施例提供的目标遮挡结束后使用关联策略进行目标身份关联的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
在介绍本申请实施例之前首先对本申请实施例中涉及到的相关名词作如下释义：
IoU：Intersection over Union，重叠度。
动态系统：状态随时间而变化的系统。动态系统具有这样的特点：系统的状态变量随时间有明显的变化，是时间的函数;系统状况可以由其状态变量随时间变化的信息(数据)来描述。
实施例1
为了便于理解，请参阅图1，本发明提供的一种多目标跟踪方法的一个实施例，包括以下步骤：
S1：获取待检测视频，并对所述待检测视频进行目标检测，获得所述待检测视频中各跟踪目标图像的目标检测框，对目标检测框进行筛选，所述跟踪目标图像包括多个所述目标检测框；所述目标检测使用DPM检测器对跟踪目标图像进行检测；
具体的，筛选跟踪目标检测框具体为，对跟踪目标使用NMS非极大值抑制，阈值设置为0.5进行目标检测框筛选；
具体的，所述对跟踪目标使用NMS非极大值抑制具体为，
在跟踪目标图像上产生多个目标检测框，并将目标检测框输入至分类器对窗口中的跟踪目标进行判断，再由分类器对每个目标检测框给出得分，得分表示目标检测框中为被检测跟踪目标的可能性；
对目标检测框中的重合框使用NMS非极大值抑制进行删减，处理过程为迭代-遍历-消除的过程，即按照每个目标检测框的得分进行排序，并计算分数最高的目标检测框同其他目标检测框的重叠度IoU，若重叠度IoU大于设定阈值，则删除得分较小的目标检测框，依次处理其余的目标检测框；其中重叠度IoU的计算为目标检测框重叠部分的面积除以两个跟踪目标框相并的面积，如下式所示：
其中，A、B分别表示第一目标检测框的面积和第二目标检测框的面积。
本实施例中，跟踪目标以行人为例，将输入的行人使用Market数据集训练特征提取网络；目前多跟踪目标跟踪领域的重要基准是MOT Challenge，作为上传并公布多跟踪目标跟踪方法研究成果的公共平台，其拥有最大的公开行人跟踪数据集。其提供的数据集包括：MOT 15、MOT 16、MOT 17、MOT 20，这些数据集都提供了训练集的标注，训练集与测试集的检测，以及数据集的跟踪目标检测结果，主要侧重于密集场景下行人跟踪任务；使用MOT官方数据集提供的DMP检测文件，并采用NMS筛选目标检测框并标记，用于跟踪目标运动轨迹预测；NMS广泛应用于计算机视觉的检测任务中，是跟踪目标检测中常用的滑动窗口方法。
S2：针对每个待处理的跟踪目标图像，将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取；
具体的，如图2，所述特征提取网络包括依次连接的双通道注意力机制网络、RestNet50残差网络、Reid模型。所述双通道注意力机制网络包括自注意力机制和循环注意力机制，分别用于提取跟踪目标的全局特征信息与特征循环矩阵的全局特征信息。
所述自注意力机制处理过程为：
将待处理的跟踪目标图像划分为不同的像素位置信息；
对于每个不同的像素位置信息，通过一个卷积层将其转换为查询向量Q、键向量K和值向量V；这三个向量的维度相同；
使用矩阵乘法计算查询向量Q和所有位置的键向量K之间的相似度；将相似度值通过softmax函数进行归一化，得到每个向量位置对当前位置的权重分布；
使用权重分布对所有位置的值向量V进行加权求和，得到当前位置的注意力向量；
将所有位置的注意力向量连接成一个向量序列返回，得到跟踪目标的全局特征信息；
所述循环注意力机制处理过程为：
对将待处理的跟踪目标图像进行循环移位得到正样本、负样本，移位步骤分别为跟踪目标图像宽的二分之一、四分之一、八分之一和十六分之一；
正样本、负样本分别通过卷积层进行一次卷积操作，该卷积层的卷积核为3，步长为1；正样本、负样本卷积后进行归一化、ReLU激活和最大池化，即在通道维度上进行叠加获取特征信息，得到特征循环矩阵的全局特征信息。
具体的，步骤S2具体步骤为：
S2.1：特征提取网络将跟踪目标尺寸进行尺寸归一化处理；
其中，尺寸归一化处理为将跟踪目标图像尺寸调整为128×64，Batch size设置为32。
S2.2：针对每个待处理的跟踪目标图像，将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取，获得所述特征提取网络输出的每个所述目标检测框的层级卷积图像特征；所述层级卷积图像特征包括多层卷积图像特征，所述图像对包括所述待处理的跟踪目标图像的当前帧和所述待处理的跟踪目标图像的前一帧；
S2.3：根据所述层级卷积图像特征，得到特征循环矩阵；
S2.4：分别将每个所述层级卷积图像特征的每层卷积图像特征的各个通道特征相加输入至双通道注意力机制网络，分别提取跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息，每层所述卷积图像特征包括多个所述通道特征；
S2.5：利用RestNet50残差网络融合跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息，并在通道维度上相加得到第二全局特征信息，第二全局特征信息与第一全局特征信息相加后使用1*1的卷积来进行通道降维，通道降维后使用Reid模型返回特征提取网络提取的特征信息（128维度的目标特征矩阵）。
本发明在循环注意力机制对跟踪目标进行循环移位，构造大量的负样本用于训练，每个负样本在每个通道都拥有相同的上下界，任取跟踪目标图像一个像素，其各个色彩分量认为是独立同分布的，循环注意力机制用于从大量信息中筛选出少量重要信息，全局关联权重并做输入的加权和，减少对外部信息的依赖，专注于捕获数据或特征信息的内部相关性；在通道层面上与正样本的特征信息进行叠加后使用自注意力机制可以更快地收敛到最优解。
S3：基于跟踪目标特征信息判断跟踪目标是否处于被遮挡状态，若跟踪目标正常，则保持当前状态继续跟踪，若跟踪目标被遮挡，则执行下一步，转入步骤S4；
S4：目标跟踪时，使用最小二乘法和卡尔曼滤波器分别预测目标的运动轨迹，跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器预测目标的运动轨迹，得到预测跟踪框，目标遮挡结束后使用关联策略进行目标身份关联，实现跟踪目标的继续跟踪；
所述目标遮挡结束后使用关联策略进行目标身份关联，具体为：
跟踪目标遮挡结束后，对于检测到遮挡后的跟踪目标，将视频前一帧中的目标检测框作为未匹配目标检测框，若未匹配目标检测框为不确定态，或者，未匹配目标检测框为确定态且超过最大寿命，则将未匹配目标检测框作为高价值目标检测框；
若视频前一帧中的目标检测框超过最大寿命，则将高价值目标检测框与预测跟踪框进行关联，作为关联目标检测框A，计算关联目标检测框A的余弦距离，得到第一余弦距离值集合；将未匹配目标检测框为确定态的目标检测框与预测跟踪框进行关联，作为关联目标检测框B，计算关联目标检测框B的余弦距离，得到第二余弦距离值集合；
所述第一余弦距离值集合、第二余弦距离值集合中最小的余弦距离值对应的关联目标检测框作为遮挡前最合适的关联目标检测框，并进行跟踪目标身份赋予，若所述遮挡前最合适的关联目标检测框属于高价值目标检测框，将高价值目标检测框集合中最合适的关联目标检测框移除，仅执行一次；
若最小的余弦距离值大于设定的余弦距离阈值，则跟踪目标关联失败；若最小的余弦距离值小于设定的余弦距离阈值，则跟踪目标关联成功，对跟踪目标继续跟踪。
其中，所述特征信息包括：检测目标框的中心位置坐标、短边长度和长边长度；最小的余弦距离值应满足设定的余弦距离阈值，用于过滤掉一些误检的项目(检测器不精确导致的项)。预测跟踪框即为当前帧的目标检测框。当跟踪目标关联失败时，初始化为新的轨迹。
目标跟踪时，使用本发明中的关联策略，该关联策略有效减少了目标的身份切换次数且目标跟踪发生遮挡时的处理较好。
每一帧的目标检测框组在一起构成了一组轨迹，保存在轨迹列表中；所述轨迹列表中的轨迹分为不确定态和确定态，轨迹初始化时都标记为不确定态。
在目标检测框未进入确定态或目标检测框超过最大寿命而删除时，导致部分遮挡结束后的跟踪目标缺少合适的关联目标检测框而发生身份切换；其中，寿命为跟踪轨迹的属性。将关联目标检测框设为高价值目标检测框，在跟踪目标遮挡结束后，与高价值目标检测框进行关联，获取目标检测框之间余弦距离最小的目标检测框；高价值目标检测框一旦匹配成功，仅使用一次，防止多个被遮挡目标抢夺发生额外的身份切换。设置余弦距离阈值，防止与高价值目标检测框进行关联时，未确定态的目标检测框出现的误检情况。
现有的跟踪算法使用卡尔曼滤波器时，当真实值较少，卡尔曼修正次数较少，卡尔曼增益计算不准确，导致跟踪算法在遮挡时轨迹预测较差，因此本发明引入最小二乘法在卡尔曼修正次数较少时预测目标轨迹。
本发明解决了跟踪目标在跟踪过程中由遮挡导致的跟踪目标身份切换问题，设计了泛化能力与鲁棒性更强的双路自注意力特征提取模块，特征提取更加准确，跟踪准确度更高。实现跟踪过程中跟踪目标运动特征改变及不同尺度的跟踪目标所造成的特征提取效果好，跟踪准确率高。特征提取更加有效且模型泛化能力强，鲁棒性高；引入最小二乘法拟合与卡尔曼滤波器来解决多跟踪目标跟踪过程中的遮挡干扰，有效减少了跟踪过程中的跟踪目标身份切换次数，算法跟踪准确度高，帧率稳定，满足实时跟踪。
实施例2
具体地，在实施例1的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
步骤S4跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器获取目标运动轨迹，具体为：
若视频前一帧目标检测框的消失帧数小于或等于设定的帧数阈值，则认为跟踪目标出现短期遮挡：
如图3a，将跟踪目标的运动轨迹在短期间隔内视为线性运动，最小二乘法通过最小化误差的平方寻找跟踪目标轨迹数据的最佳函数匹配，即，
对跟踪目标构造最小二乘法误差函数，如下式所示：
（1）
式中： S为拟合误差； n为运动轨迹信息个数；为运动轨迹坐标信息， i表示待检测视频使用最小二乘法预测目标的运动轨迹所在的时刻，即待检测视频中的帧； a,b分别为轨迹的斜率与截距；
通过公式（2）与公式（3）对拟合误差的平方求偏导并使偏导值为0，得到极值点，通过极值点计算拟合误差的平方的最小值；
（2）
（3）
跟踪目标的轨迹信息已知，拟合误差的平方的极值点求解则转化为对轨迹的斜率 a与轨迹的截距 b的求解；
由导数加法公式对公式（3）拆解求得公式（4）；
（4）
由导数乘法公式对公式（4）求解可得公式（5）；
（5）
将轨迹的斜率 a视作常数，求轨迹的截距 b的偏导数可得公式（6），将公式（5）（6）应用于公式（3）可得公式（7）；
（6）
（7）
由公式（7）和公式（8）化简即求得公式（9）中轨迹的截距 b值，同理求得轨迹的斜率值如公式（10）所示；
（8）
（9）
（10）。
如图3b，若视频前一帧目标检测框的消失帧数大于设定的帧数阈值，则认为跟踪目标出现长期遮挡，则对跟踪目标使用卡尔曼滤波器进行运动轨迹的预测，
假设目标跟踪时的动态系统存在多个随机变量，且随机变量符合高斯分布，每个随机变量存在均值 μ和方差，则通过协方差矩阵衡量随机变量之间的相关性；随机变量表示跟踪目标的参数，即目标所在的位置和位置的变化量；
定义跟踪目标位置的估计值 k，公式（11）中k时刻的估计值可由k时刻的测量值和k-1时刻的估计值进行转换，如公式（12）所示，
（11）
（12）
式中： k为时间单位，即待检测视频使用卡尔曼滤波器预测目标的运动轨迹所在的时刻；定义为卡尔曼增益，存在多个随机变量时，卡尔曼增益的求解使用数据融合来完成； k、 k-1分别为 k时刻、 k-1时刻跟踪目标位置的估计值； z k为 k时刻跟踪目标位置的测量值；
k时刻的各随机变量是相关的，通过假设的随机变量及对应的方差与协方差构成协方差矩阵 P，协方差矩阵 P中的值则表示随机变量之间的关联程度；
（13）
式中：为假设的随机变量；为随机变量的方差；均为随机变量间的协方差； P为协方差矩阵；
（14）
式中：为 k时刻随机变量的目标预测信息，为 k-1时刻随机变量的目标预测信息；为第 k-1时刻随机变量的过程噪音；为第 k-1时刻动态系统的控制量；为第 k时刻随机变量的测量噪音；为运动方程参数矩阵；
通过求解误差的协方差矩阵的最小迹，得到最优的卡尔曼增益。
k是时间单位，也表示为帧数，当k变化时，1/k是在0-1之间变化，就是卡尔曼增益。
可以理解的是，该步骤中，从当前帧通过协方差矩阵推测出下一帧的位置参数预测值，即跟踪目标的轨迹位置；确定卡尔曼增益对位置参数的估计值和协方差矩阵进行修正，接着进入下一次迭代过程。每个时刻对于所有随机变量存在最佳估计值和协方差矩阵。动态系统存在不确定性，跟踪目标还可能存在噪音干扰，即存在过程噪音与测量噪音；预测目标的位置是不准确的，视频中每一帧的不确定性都是通过协方差矩阵 P来表示。本实施例通过协方差矩阵 P来表示预测过程中产生的误差。卡尔曼滤波器是在噪音影响的情况下寻找最优的卡尔曼增益。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种多目标跟踪方法，其特征在于，包括以下步骤：
S1：获取待检测视频，并对所述待检测视频进行目标检测，获得所述待检测视频中各跟踪目标图像的目标检测框，对目标检测框进行筛选，所述跟踪目标图像包括多个所述目标检测框；
S2：针对每个待处理的跟踪目标图像，将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取；
S3：基于跟踪目标特征信息判断跟踪目标是否处于被遮挡状态，若跟踪目标正常，则保持当前状态继续跟踪，若跟踪目标被遮挡，则执行下一步，转入步骤S4；
S4：目标跟踪时，使用最小二乘法和卡尔曼滤波器分别预测目标的运动轨迹，跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器预测目标的运动轨迹，得到预测跟踪框，目标遮挡结束后使用关联策略进行目标身份关联，实现跟踪目标的继续跟踪；
所述目标遮挡结束后使用关联策略进行目标身份关联，具体为：
跟踪目标遮挡结束后，对于检测到遮挡后的跟踪目标，将视频前一帧中的目标检测框作为未匹配目标检测框，若未匹配目标检测框为不确定态，或者，未匹配目标检测框为确定态且超过最大寿命，则将未匹配目标检测框作为高价值目标检测框；
若视频前一帧中的目标检测框超过最大寿命，则将高价值目标检测框与预测跟踪框进行关联，作为关联目标检测框A，计算关联目标检测框A的余弦距离，得到第一余弦距离值集合；将未匹配目标检测框为确定态的目标检测框与预测跟踪框进行关联，作为关联目标检测框B，计算关联目标检测框B的余弦距离，得到第二余弦距离值集合；
所述第一余弦距离值集合、第二余弦距离值集合中最小的余弦距离值对应的关联目标检测框作为遮挡前最合适的关联目标检测框，并进行跟踪目标身份赋予，若所述遮挡前最合适的关联目标检测框属于高价值目标检测框，将高价值目标检测框集合中最合适的关联目标检测框移除，仅执行一次；
若最小的余弦距离值大于设定的余弦距离阈值，则跟踪目标关联失败；若最小的余弦距离值小于设定的余弦距离阈值，则跟踪目标关联成功，对跟踪目标继续跟踪。
2.根据权利要求1所述一种多目标跟踪方法，其特征在于，步骤S1中所述目标检测使用DPM检测器对跟踪目标图像进行检测。
3.根据权利要求1所述一种多目标跟踪方法，其特征在于，步骤S1中对目标检测框进行筛选具体为，对跟踪目标使用NMS非极大值抑制，阈值设置为0.5进行目标检测框筛选。
4.根据权利要求3所述一种多目标跟踪方法，其特征在于，所述对跟踪目标使用NMS非极大值抑制具体为，
在跟踪目标图像上产生多个目标检测框，并将目标检测框输入至分类器对窗口中的跟踪目标进行判断，再由分类器对每个目标检测框给出得分，得分表示目标检测框中为被检测跟踪目标的可能性；
对目标检测框中的重合框使用NMS非极大值抑制进行删减，处理过程为迭代-遍历-消除的过程，即按照每个目标检测框的得分进行排序，并计算分数最高的目标检测框同其他目标检测框的重叠度IoU，若重叠度IoU大于设定阈值，则删除得分较小的目标检测框，依次处理其余的目标检测框；其中重叠度IoU的计算为目标检测框重叠部分的面积除以两个跟踪目标框相并的面积，如下式所示：
其中，A、B分别表示第一目标检测框的面积和第二目标检测框的面积。
5.根据权利要求1所述一种多目标跟踪方法，其特征在于，步骤S2中所述特征提取网络包括依次连接的双通道注意力机制网络、RestNet50残差网络、Reid模型。
6.根据权利要求5所述一种多目标跟踪方法，其特征在于，所述双通道注意力机制网络包括自注意力机制和循环注意力机制，分别用于提取跟踪目标的全局特征信息与特征循环矩阵的所有正负样本全局特征信息。
7.根据权利要求6所述一种多目标跟踪方法，其特征在于，步骤S2具体为：
S2.1：特征提取网络将跟踪目标尺寸进行尺寸归一化处理；
S2.2：针对每个待处理的跟踪目标图像，将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取，获得所述特征提取网络输出的每个所述目标检测框的层级卷积图像特征；所述层级卷积图像特征包括多层卷积图像特征，所述图像对包括所述待处理的跟踪目标图像的当前帧和所述待处理的跟踪目标图像的前一帧；
S2.3：根据所述层级卷积图像特征，得到特征循环矩阵；
S2.4：分别将每个所述层级卷积图像特征的每层卷积图像特征的各个通道特征相加输入至双通道注意力机制网络，分别提取跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息，每层所述卷积图像特征包括多个所述通道特征；
S2.5：利用RestNet50残差网络融合跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息，并在通道维度上相加得到第二全局特征信息，第二全局特征信息与第一全局特征信息相加后使用1*1的卷积来进行通道降维，通道降维后使用Reid模型返回特征提取网络提取的特征信息。
8.根据权利要求1所述一种多目标跟踪方法，其特征在于，步骤S4所述跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器预测目标的运动轨迹，具体为：
若视频前一帧目标检测框的消失帧数小于或等于设定的帧数阈值，则认为跟踪目标出现短期遮挡：
将跟踪目标的运动轨迹在短期间隔内视为线性运动，最小二乘法通过最小化误差的平方寻找跟踪目标轨迹数据的最佳函数匹配，即，
对跟踪目标构造最小二乘法误差函数，如下式所示：
（1）
式中：S为拟合误差；n为运动轨迹信息个数；为运动轨迹坐标信息，i表示待检测视频使用最小二乘法预测目标的运动轨迹所在的时刻，即待检测视频中的帧；a,b分别为轨迹的斜率与截距；
通过公式（2）与公式（3）对拟合误差的平方求偏导并使偏导值为0，得到极值点，通过极值点计算拟合误差的平方的最小值；
（2）
（3）
跟踪目标的轨迹信息已知，拟合误差的平方的极值点求解则转化为对轨迹的斜率a与轨迹的截距b的求解；
由导数加法公式对公式（3）拆解求得公式（4）；
（4）
由导数乘法公式对公式（4）求解可得公式（5）；
（5）
将轨迹的斜率a视作常数，求轨迹的截距b的偏导数可得公式（6），将公式（5）（6）应用于公式（3）可得公式（7）；
（6）
（7）
由公式（7）和公式（8）化简即求得公式（9）中轨迹的截距b值，同理求得轨迹的斜率值如公式（10）所示；
（8）
（9）
（10）。
9.根据权利要求8所述一种多目标跟踪方法，其特征在于，步骤S4所述跟踪目标被遮挡时，以视频前一帧目标检测框的消失帧数为阈值选择最小二乘法或卡尔曼滤波器预测目标的运动轨迹，具体为：
若视频前一帧目标检测框的消失帧数大于设定的帧数阈值，则认为跟踪目标出现长期遮挡，则对跟踪目标使用卡尔曼滤波器进行运动轨迹的预测；
假设目标跟踪时的动态系统存在多个随机变量，且随机变量符合高斯分布，每个随机变量存在均值μ和方差，则通过协方差矩阵衡量随机变量之间的相关性；
定义k时刻跟踪目标位置的估计值 k，如公式（11）所示；k时刻跟踪目标位置的估计值 k由k时刻跟踪目标位置的测量值z k和k-1时刻跟踪目标位置的估计值 k-1进行转换，如公式（12）所示，
（11）
（12）
式中：k为时间单位；定义为卡尔曼增益，存在多个随机变量时，卡尔曼增益的求解使用数据融合来完成； k、 k-1分别为k时刻、k-1时刻跟踪目标位置的估计值；z k为k时刻跟踪目标位置的测量值；
k时刻的各随机变量是相关的，通过假设的随机变量及对应的方差与协方差构成协方差矩阵P，协方差矩阵P中的值则表示随机变量之间的关联程度；
（13）
式中：为假设的随机变量；为随机变量的方差；均为随机变量间的协方差；P为协方差矩阵；
（14）
式中：为k时刻随机变量的目标预测信息，为k-1时刻随机变量的目标预测信息；为第k-1时刻随机变量的过程噪音；为第k-1时刻动态系统的控制量；为第k时刻随机变量的测量噪音；为运动方程参数矩阵；
通过求解误差的协方差矩阵的最小迹，得到最优的卡尔曼增益。
CN202310411457.0A 2023-04-18 2023-04-18 一种多目标跟踪方法 Active CN116128932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310411457.0A CN116128932B (zh) 2023-04-18 2023-04-18 一种多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310411457.0A CN116128932B (zh) 2023-04-18 2023-04-18 一种多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN116128932A true CN116128932A (zh) 2023-05-16
CN116128932B CN116128932B (zh) 2023-07-25

Family

ID=86294217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310411457.0A Active CN116128932B (zh) 2023-04-18 2023-04-18 一种多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN116128932B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681729A (zh) * 2023-06-14 2023-09-01 石家庄铁道大学 基于轨迹预测的抗遮挡多目标跟踪方法
CN117152258A (zh) * 2023-11-01 2023-12-01 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统
CN117173221A (zh) * 2023-09-19 2023-12-05 浙江大学 一种基于真实性分级与遮挡恢复的多目标跟踪方法
CN117252908A (zh) * 2023-07-17 2023-12-19 北京邮电大学 一种基于注意力的抗遮挡多目标跟踪方法
CN117351039A (zh) * 2023-12-06 2024-01-05 广州紫为云科技有限公司 一种基于特征查询的非线性多目标跟踪方法
CN117934549A (zh) * 2024-01-16 2024-04-26 重庆大学 一种基于概率分布指导数据关联的3d多目标跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288283A (zh) * 2018-01-22 2018-07-17 扬州大学 一种基于相关滤波的视频跟踪方法
CN110766726A (zh) * 2019-10-17 2020-02-07 重庆大学 复杂背景下的大钟料罐容器移动目标视觉定位与动态跟踪方法
WO2020150896A1 (zh) * 2019-01-22 2020-07-30 深圳大学 视频目标的数据关联方法、装置及存储介质
CN111488795A (zh) * 2020-03-09 2020-08-04 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN112818771A (zh) * 2021-01-19 2021-05-18 江苏大学 一种基于特征聚合的多目标跟踪算法
CN113674328A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种多目标车辆跟踪方法
CN115830075A (zh) * 2023-02-20 2023-03-21 武汉广银飞科技发展有限公司 一种面向行人多目标跟踪的分级关联匹配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288283A (zh) * 2018-01-22 2018-07-17 扬州大学 一种基于相关滤波的视频跟踪方法
WO2020150896A1 (zh) * 2019-01-22 2020-07-30 深圳大学 视频目标的数据关联方法、装置及存储介质
CN110766726A (zh) * 2019-10-17 2020-02-07 重庆大学 复杂背景下的大钟料罐容器移动目标视觉定位与动态跟踪方法
CN111488795A (zh) * 2020-03-09 2020-08-04 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN112818771A (zh) * 2021-01-19 2021-05-18 江苏大学 一种基于特征聚合的多目标跟踪算法
CN113674328A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种多目标车辆跟踪方法
CN115830075A (zh) * 2023-02-20 2023-03-21 武汉广银飞科技发展有限公司 一种面向行人多目标跟踪的分级关联匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘康: "复杂环境下运动目标检测和跟踪方法研究", 《中国硕士学位论文全文数据库（电子期刊）》, no. 8, pages 1 - 80 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681729A (zh) * 2023-06-14 2023-09-01 石家庄铁道大学 基于轨迹预测的抗遮挡多目标跟踪方法
CN116681729B (zh) * 2023-06-14 2024-01-26 石家庄铁道大学 基于轨迹预测的抗遮挡多目标跟踪方法
CN117252908A (zh) * 2023-07-17 2023-12-19 北京邮电大学 一种基于注意力的抗遮挡多目标跟踪方法
CN117173221A (zh) * 2023-09-19 2023-12-05 浙江大学 一种基于真实性分级与遮挡恢复的多目标跟踪方法
CN117173221B (zh) * 2023-09-19 2024-04-19 浙江大学 一种基于真实性分级与遮挡恢复的多目标跟踪方法
CN117152258A (zh) * 2023-11-01 2023-12-01 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统
CN117152258B (zh) * 2023-11-01 2024-01-30 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统
CN117351039A (zh) * 2023-12-06 2024-01-05 广州紫为云科技有限公司 一种基于特征查询的非线性多目标跟踪方法
CN117351039B (zh) * 2023-12-06 2024-02-02 广州紫为云科技有限公司 一种基于特征查询的非线性多目标跟踪方法
CN117934549A (zh) * 2024-01-16 2024-04-26 重庆大学 一种基于概率分布指导数据关联的3d多目标跟踪方法

Also Published As

Publication number Publication date
CN116128932B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN116128932B (zh) 一种多目标跟踪方法
CN102881024B (zh) 一种基于tld的视频目标跟踪方法
Chen et al. Tracking multiple moving objects using unscented Kalman filtering techniques
CN101324956A (zh) 基于均值漂移的抗遮挡运动目标跟踪方法
CN107622507B (zh) 一种基于深度学习的空中目标跟踪方法
Al-Shakarji et al. Robust multi-object tracking with semantic color correlation
WO2011015800A1 (en) Correlated probabilistic trajectories pedestrian motion detection using a decision forest
CN116883458B (zh) 基于Transformer并融合以观测为中心运动特征的多目标跟踪系统
CN111639570B (zh) 一种基于运动模型和单目标线索的在线多目标跟踪方法
CN117036397A (zh) 一种基于融合信息关联和相机运动补偿的多目标跟踪方法
Ma et al. Radiation intensity Gaussian mixture PHD filter for close target tracking
Mittal et al. Pedestrian detection and tracking using deformable part models and Kalman filtering
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法
CN113192110A (zh) 多目标跟踪方法、装置、设备及存储介质
Wojke et al. Joint operator detection and tracking for person following from mobile platforms
CN110969605A (zh) 一种基于空时显著图的运动小目标检测方法和系统
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法
Saif et al. Adaptive long term motion pattern analysis for moving object detection using UAV aerial images
Li et al. Review of multi-object tracking based on deep learning
CN110781803A (zh) 一种基于扩展卡尔曼滤波器的人体姿态识别方法
Ding et al. Who is partner: A new perspective on data association of multi-object tracking
CN115205327B (zh) 一种融合历史库信息的红外小目标跟踪方法
Liu et al. Moving target location method based on euclidean distance and Camshift algorithm
Chang et al. Performance evaluation of a multiple-hypothesis multi-target tracking algorithm
Wei et al. Video SAR Target Detection and Tracking Method Based on Yolov5+ Bytetrack

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant