CN115953431A - 面向无人机航拍视频的多目标跟踪方法与系统 - Google Patents

面向无人机航拍视频的多目标跟踪方法与系统 Download PDF

Info

Publication number
CN115953431A
CN115953431A CN202211668829.XA CN202211668829A CN115953431A CN 115953431 A CN115953431 A CN 115953431A CN 202211668829 A CN202211668829 A CN 202211668829A CN 115953431 A CN115953431 A CN 115953431A
Authority
CN
China
Prior art keywords
target
track
video
frame
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211668829.XA
Other languages
English (en)
Inventor
刘晓瑞
饶若楠
薛广涛
蒋丰亦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202211668829.XA priority Critical patent/CN115953431A/zh
Publication of CN115953431A publication Critical patent/CN115953431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

一种面向无人机航拍视频的多目标跟踪方法与系统，通过多尺度逐像素目标检测网络MSPNet从视频帧中提取出目标类别与边界框后，进一步通过多粒度融合特征提取网络MaskMGN提取目标的表观特征向量，通过基于时序与检测置信度的加权移动平均方法TCMWA计算轨迹的表观特征向量，通过表观特征向量与卡尔曼运动模型对轨迹与检测结果进行数据关联，得到多目标跟踪的结果。本发明对目标检测与表观特征提取部分进行改进，解决无人机航拍视频中存在的背景复杂、目标尺度小、目标遮挡、视角可变换等问题，能够有效提升无人机航拍视频的多目标跟踪精度。

Description

面向无人机航拍视频的多目标跟踪方法与系统
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种面向无人机航拍视频的多目标跟踪方法与系统。
背景技术
无人机航拍视频的多目标跟踪技术在区域监控、巡检和侦查等方面具有广泛应用。无人机航拍视频具有背景复杂、目标小且密集、目标遮挡、视角可变换等特点，虽然基于深度学习的视频多目标跟踪技术研究目前已经在MOT17之类的通用数据集上将MOTA提升到了81.0，但是在VisDrone-MOT之类的无人机航拍视频数据集上MOTA目前不到通用数据集的一半。如何针对无人机航拍场景设计与实现多目标跟踪系统具有重要的现实意义。
发明内容
本发明针对现有技术无法对不同尺度的目标分别进行检测，容易造成漏检且网络结构复杂的不足，提出一种面向无人机航拍视频的多目标跟踪方法与系统，重点对目标检测与表观特征提取部分进行改进，解决无人机航拍视频中存在的背景复杂、目标尺度小、目标遮挡、视角可变换等问题，能够有效提升无人机航拍视频的多目标跟踪精度。
本发明是通过以下技术方案实现的：
本发明涉及一种面向无人机航拍视频在线多目标跟踪方法，通过多尺度逐像素目标检测网络MSPNet从视频帧中提取出目标类别与边界框后，进一步通过多粒度融合特征提取网络MaskMGN提取目标的表观特征向量，通过基于时序与检测置信度的加权移动平均方法TCMWA计算轨迹的表观特征向量，通过表观特征向量与卡尔曼运动模型对轨迹与检测结果进行数据关联，得到多目标跟踪的结果。
本发明涉及一种实现上述方法的系统，包括：MSPNet单元、MaskMGN单元、TCMWA单元以及数据关联单元，其中：MSPNet单元根据当前视频帧进行目标检测处理，得到目标检测结果，MaskMGN单元根据目标检测结果裁剪出目标的图像，进行表观特征提取，得到表观特征向量，TCMWA单元根据轨迹跟踪的目标历史帧中的表观特征向量，进行加权计算，得到轨迹的表观特征向量，数据关联单元根据表观特征向量与基于卡尔曼滤波的运动特征进行轨迹与检测结果之间的匹配，得到多目标跟踪的结果。
技术效果
本发明基于改进的MSPNet、基于特征擦除的多粒度特征提取网络MaskMGN以及基于时间与检测置信度的加权移动平均方法TCMWA，显著提高了对小目标的检测能力，与基准模型FCOS相比，小目标检测的mAP由10.6提高到了14.9。MaskMGN与TCMWA提高了目标与轨迹的表观特征向量表示能力，提高了数据关联时的准确性，减少了多目标跟踪中ID切换的次数，与基准模型DeepSORT相比，ID切换次数由4377降低到了1755。
附图说明
图1为本发明流程图；
图2为MSPNet网络架构示意图；
图3为MaskMGN网络架构示意图；
图4为DeepSORT多目标跟踪算法流程图。
具体实施方式
如图1所示，为本实施例涉及一种面向无人机航拍视频的多目标跟踪方法，包括以下步骤：
步骤1：读取视频文件或者图像序列并进行预处理，包括补边、裁剪、缩放，得到若干尺寸相同的视频帧。
步骤2：如图2所示，采用多尺度逐像素目标检测网络MSPNet作为目标检测器对预处理后的视频帧进行目标检测，得到目标检测结果，具体包括：
步骤2.1：将视频帧输入目标检测器的骨干网络ResNet50中进行特征提取，得到特征图C3、C4、C5后输入特征金字塔。
步骤2.2：特征金字塔对特征图C3、C4、C5通过MSPNet的注意力模块CBAM进行自适应调整，突出目标信息，抑制背景信息，之后不同尺度的特征图通过横向连接与基于转置卷积与可变形卷积的上采样进行特征融合，并且继续卷积两个阶段，得到特征图P3-P7。
步骤2.3：MSPNet的检测头部分根据特征图P3-P7进行目标检测：通过不同尺度的特征图共用一个检测头并对不同尺度预测的结果通过非极大值抑制得到目标类别与边界框。
步骤3：如图3所示，通过多粒度融合特征提取网络MaskMGN对步骤2中检测到的目标进行表观特征向量的提取，通过TCMWA计算轨迹的表观特征向量，并计算相似度，具体包括：
步骤3.1：获取目标检测模型MSPNet对当前帧的检测结果，裁剪目标区域图像。
步骤3.2：基于MaskMGN对当前帧目标检测结果裁剪出来的目标图像进行特征提取，获取固定维度的表观特征向量。
步骤3.3：基于目标历史帧的特征向量，使用基于时序与检测置信度的移动加权平均法TCMWA预测跟踪的轨迹在当前帧的特征向量，向量维度与MaskMGN输出的特征向量维度一致。
所述的TCMWA方法中对历史帧t检测置信度为c的表观特征向量赋予的权重为c/t。
步骤3.4：计算当前帧检测到的目标与当前跟踪的轨迹之间的余弦相似度
Figure BDA0004015441580000031
并生成相似度矩阵，其中：x,y分别表示目标与轨迹的表观特征向量。
步骤4：提取目标与轨迹的运动特征并计算相似度，具体包括：
步骤4.1：获取当前帧检测到的目标的边界框坐标，并转化为[u,v,a,h]格式，其中：u,v为目标中心位置的坐标，a,h为目标框的纵横比与高度。
步骤4.2：基于卡尔曼滤波算法预测当前跟踪轨迹在当前帧的位置
Figure BDA0004015441580000032
其中：
Figure BDA0004015441580000033
为k-1时刻目标运动状态的估计值，
Figure BDA0004015441580000034
为观测向量的预测值，
Figure BDA0004015441580000035
为观测向量方差的预测值，F,Q为卡尔曼滤波器的参数。
步骤4.3：计算检测结果中的边界框与轨迹预测结果中的边界框两两之间的马氏距离
Figure BDA0004015441580000036
并生成相似度度量矩阵，其中：x,y分别表示目标与轨迹的运动特征向量，
Figure BDA0004015441580000037
表示轨迹在当前时刻观测空间的协方差矩阵。
步骤5：对检测结果与当前轨迹进行数据关联，具体包括：
步骤5.1：在视频的第一帧，即检测到的目标初始化轨迹时，默认轨迹类型为不可信，仅当连续三次及以上匹配成功后，设置轨迹类型为可信并在后续视频帧根据当前轨迹类型进行不同的匹配方式。
步骤5.2：当当前轨迹的轨迹类型为不可信时，则该轨迹通过IoU匹配算法进行匹配，具体为：在IoU匹配算法中，基于目标检测框与轨迹预测框的IoU值构建代价矩阵，将数据关联问题看作是二分图的匹配问题，通过匈牙利算法对代价矩阵求解得到匹配结果，并进一步判断：当检测到的目标没有匹配轨迹时，则为该目标初始化轨迹；当轨迹在当前帧的检测结果中没有目标与之相匹配，则标记该轨迹的轨迹类型为丢失，根据该轨迹当前的丢失次数是否超过预设的最大阈值决定是否删除该轨迹。
步骤5.3：当当前轨迹的轨迹类型为可信时，则该轨迹通过级联匹配算法进行匹配，具体为：在级联匹配算法中，利用步骤2和步骤3中得到的表观特征相似度度量矩阵与运动特征相似度度量矩阵构建代价矩阵C＝λCM+(1-λ)CF，然后使用匈牙利算法对代价矩阵求解得到匹配结果，并进一步判断：在跟踪时，会记录轨迹丢失的时间，当上一帧成功匹配，则丢失时间就会被置为0，在进行匹配时，优先将匹配丢失时间少的轨迹与检测结果进行匹配，这是因为当轨迹丢失后，卡尔曼滤波预测的不确定性会增加，优先匹配未丢失的轨迹使得关联结果更加可靠。在实现中，将代价矩阵按照丢失时间划分为多个子矩阵，优先使用匈牙利算法求解丢失时间少的代价矩阵。经过级联匹配未能成功匹配的轨迹与检测结果会再次进行IoU匹配。
经过具体实际实验，在GTX 3090的具体环境设置下，对MSPNet以学习率0.01训练80个epoch，对MaskMGN以学习率0.01训练30个epoch，本发明MSPNet的mAP指标能够取得28.31，MaskMGN的mAP指标能够取得97.17。本发明多目标跟踪算法MGTRT的实验结果表明，以MSPNet作为目标检测模块，以MaskMGN作为特征提取模块，以TCMWA计算轨迹表观特征向量的MGTRT在VisDrone-MOT数据集上MOTA达到了28.3％，比基准模型DeepSORT高了7.3％，比多目标跟踪的先进算法FairMOT高了1.4％，证明本发明提出的多目标跟踪算法MGTRT能够有效提高无人机航拍视频多目标跟踪性能。
与现有技术相比，本发明通过MSPNet目标检测模型，以FCOS作为baseline，通过在骨干网之后添加注意力模块CBAM、以基于可变形卷积与转置卷积的上采样模块DeDCN取代传统的双线性插值方法提高无人机航拍图像目标检测的性能，解决无人机航拍目标检测中面临的背景复杂、目标小且密集、目标遮挡、视角可变换等问题，提出了一种基于特征擦除的多粒度融合网络MaskMGN与基于时间和检测置信度的移动加权平均法分别提高目标与轨迹的特征向量的质量，解决无人机航拍视频多目标跟踪中由于目标尺度小导致的特征难以提取的问题以及目标遮挡、匹配不准引起的ID切换问题。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种面向无人机航拍视频的在线多目标跟踪方法，其特征在于，通过多尺度逐像素目标检测网络MSPNet从视频帧中提取出目标类别与边界框后，进一步通过多粒度融合特征提取网络MaskMGN提取目标的表观特征向量，通过基于时序与检测置信度的加权移动平均方法TCMWA计算轨迹的表观特征向量，通过表观特征向量与卡尔曼运动模型对轨迹与检测结果进行数据关联，得到多目标跟踪的结果。
2.根据权利要求1所述的面向无人机航拍视频的在线多目标跟踪方法，其特征是，具体包括：
步骤1：读取视频文件或者图像序列并进行预处理，包括补边、裁剪、缩放，得到若干尺寸相同的视频帧；
步骤2：采用多尺度逐像素目标检测网络MSPNet作为目标检测器对预处理后的视频帧进行目标检测，得到目标检测结果；
步骤3：通过多粒度融合特征提取网络MaskMGN对步骤2中检测到的目标进行表观特征向量的提取，通过TCMWA计算轨迹的表观特征向量，并计算相似度；
步骤4：提取目标与轨迹的运动特征并计算相似度；
步骤5：对检测结果与当前轨迹进行数据关联。
3.根据权利要求2所述的面向无人机航拍视频的在线多目标跟踪方法，其特征是，所述的步骤2，具体包括：
步骤2.1：将视频帧输入目标检测器的骨干网络ResNet50中进行特征提取，得到特征图C3、C4、C5后输入特征金字塔；
步骤2.2：特征金字塔对特征图C3、C4、C5通过MSPNet的注意力模块CBAM进行自适应调整，突出目标信息，抑制背景信息，之后不同尺度的特征图通过横向连接与基于转置卷积与可变形卷积的上采样进行特征融合，并且继续卷积两个阶段，得到特征图P3-P7；
步骤2.3：MSPNet的检测头部分根据特征图P3-P7进行目标检测：通过不同尺度的特征图共用一个检测头并对不同尺度预测的结果通过非极大值抑制得到目标类别与边界框。
4.根据权利要求2所述的面向无人机航拍视频的在线多目标跟踪方法，其特征是，所述的步骤3，具体包括：
步骤3.1：获取目标检测模型MSPNet对当前帧的检测结果，裁剪目标区域图像；
步骤3.2：基于MaskMGN对当前帧目标检测结果裁剪出来的目标图像进行特征提取，获取固定维度的表观特征向量；
步骤3.3：基于目标历史帧的特征向量，使用基于时序与检测置信度的移动加权平均法TCMWA预测跟踪的轨迹在当前帧的特征向量，向量维度与MaskMGN输出的特征向量维度一致；
所述的TCMWA方法中对历史帧t检测置信度为c的表观特征向量赋予的权重为c/t；
步骤3.4：计算当前帧检测到的目标与当前跟踪的轨迹之间的余弦相似度
Figure FDA0004015441570000021
并生成相似度矩阵，其中：x,y分别表示目标与轨迹的表观特征向量。
5.根据权利要求2所述的面向无人机航拍视频的在线多目标跟踪方法，其特征是，所述的步骤4，具体包括：
步骤4.1：获取当前帧检测到的目标的边界框坐标，并转化为[u,v,a,h]格式，其中：u,v为目标中心位置的坐标，a,h为目标框的纵横比与高度；
步骤4.2：基于卡尔曼滤波算法预测当前跟踪轨迹在当前帧的位置
Figure FDA0004015441570000022
其中：
Figure FDA0004015441570000023
为k-1时刻目标运动状态的估计值，
Figure FDA0004015441570000024
为观测向量的预测值，
Figure FDA0004015441570000025
为观测向量方差的预测值，F,Q为卡尔曼滤波器的参数；
步骤4.3：计算检测结果中的边界框与轨迹预测结果中的边界框两两之间的马氏距离
Figure FDA0004015441570000026
并生成相似度度量矩阵，其中：x,y分别表示目标与轨迹的运动特征向量，
Figure FDA0004015441570000027
表示轨迹在当前时刻观测空间的协方差矩阵。
6.根据权利要求2所述的面向无人机航拍视频的在线多目标跟踪方法，其特征是，所述的步骤5，具体包括：
步骤5.1：在视频的第一帧，即检测到的目标初始化轨迹时，默认轨迹类型为不可信，仅当连续三次及以上匹配成功后，设置轨迹类型为可信并在后续视频帧根据当前轨迹类型进行不同的匹配方式；
步骤5.2：当当前轨迹的轨迹类型为不可信时，则该轨迹通过IoU匹配算法进行匹配，具体为：在IoU匹配算法中，基于目标检测框与轨迹预测框的IoU值构建代价矩阵，将数据关联问题看作是二分图的匹配问题，通过匈牙利算法对代价矩阵求解得到匹配结果，并进一步判断：当检测到的目标没有匹配轨迹时，则为该目标初始化轨迹；当轨迹在当前帧的检测结果中没有目标与之相匹配，则标记该轨迹的轨迹类型为丢失，根据该轨迹当前的丢失次数是否超过预设的最大阈值决定是否删除该轨迹；
步骤5.3：当当前轨迹的轨迹类型为可信时，则该轨迹通过级联匹配算法进行匹配，具体为：在级联匹配算法中，利用步骤2和步骤3中得到的表观特征相似度度量矩阵与运动特征相似度度量矩阵构建代价矩阵C＝λCM+(1-λ)CF，然后使用匈牙利算法对代价矩阵求解得到匹配结果，并进一步判断：当上一帧成功匹配，则丢失时间就会被置为0，在进行匹配时，优先将匹配丢失时间少的轨迹与检测结果进行匹配，将代价矩阵按照丢失时间划分为多个子矩阵，优先使用匈牙利算法求解丢失时间少的代价矩阵；经过级联匹配未能成功匹配的轨迹与检测结果会再次进行IoU匹配。
7.一种实现权利要求1-6中任一所述面向无人机航拍视频的在线多目标跟踪方法的系统，其特征在于，包括：MSPNet单元、MaskMGN单元、TCMWA单元以及数据关联单元，其中：MSPNet单元根据当前视频帧进行目标检测处理，得到目标检测结果，MaskMGN单元根据目标检测结果裁剪出目标的图像，进行表观特征提取，得到表观特征向量，TCMWA单元根据轨迹跟踪的目标历史帧中的表观特征向量，进行加权计算，得到轨迹的表观特征向量，数据关联单元根据表观特征向量与基于卡尔曼滤波的运动特征进行轨迹与检测结果之间的匹配，得到多目标跟踪的结果。
CN202211668829.XA 2022-12-24 2022-12-24 面向无人机航拍视频的多目标跟踪方法与系统 Pending CN115953431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211668829.XA CN115953431A (zh) 2022-12-24 2022-12-24 面向无人机航拍视频的多目标跟踪方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211668829.XA CN115953431A (zh) 2022-12-24 2022-12-24 面向无人机航拍视频的多目标跟踪方法与系统

Publications (1)

Publication Number Publication Date
CN115953431A true CN115953431A (zh) 2023-04-11

Family

ID=87297649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211668829.XA Pending CN115953431A (zh) 2022-12-24 2022-12-24 面向无人机航拍视频的多目标跟踪方法与系统

Country Status (1)

Country Link
CN (1) CN115953431A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333512A (zh) * 2023-10-17 2024-01-02 大连理工大学 基于检测框跟踪的航拍小目标跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333512A (zh) * 2023-10-17 2024-01-02 大连理工大学 基于检测框跟踪的航拍小目标跟踪方法

Similar Documents

Publication Publication Date Title
CN110232350B (zh) 一种基于在线学习的实时水面多运动目标检测跟踪方法
Xuan et al. Object tracking in satellite videos by improved correlation filters with motion estimations
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
CN108346159B (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
US20230045519A1 (en) Target Detection Method and Apparatus
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
CN108765458B (zh) 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法
CN111508002B (zh) 一种小型低飞目标视觉检测跟踪系统及其方法
TWI676963B (zh) 目標獲取方法及設備
EP3686798B1 (en) Learning method and learning device for objet detector based on cnn
EP3686791B1 (en) Learning method and learning device for object detector based on cnn to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN112509003B (zh) 解决目标跟踪框漂移的方法及系统
WO2019007253A1 (zh) 图像识别方法、装置及设备、可读介质
CN113763427B (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN110991280A (zh) 基于模板匹配和surf的视频跟踪方法和装置
CN115953431A (zh) 面向无人机航拍视频的多目标跟踪方法与系统
CN110992393B (zh) 一种基于视觉的目标运动跟踪方法
CN114529583B (zh) 基于残差回归网络的电力设备跟踪方法及跟踪系统
CN116381672A (zh) 基于孪生网络雷达x波段多扩展目标自适应跟踪方法
CN111161323B (zh) 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN117576380A (zh) 一种目标自主检测跟踪方法及系统
CN113379789A (zh) 一种复杂环境下运动目标跟踪方法
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination