CN113379804A - 一种无人机目标跟踪方法、终端设备及存储介质 - Google Patents

一种无人机目标跟踪方法、终端设备及存储介质 Download PDF

Info

Publication number
CN113379804A
CN113379804A CN202110782180.3A CN202110782180A CN113379804A CN 113379804 A CN113379804 A CN 113379804A CN 202110782180 A CN202110782180 A CN 202110782180A CN 113379804 A CN113379804 A CN 113379804A
Authority
CN
China
Prior art keywords
frame image
target tracking
aerial vehicle
unmanned aerial
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110782180.3A
Other languages
English (en)
Other versions
CN113379804B (zh
Inventor
虞虹玲
陈颖频
蔡宇晴
张月轩
陈悦
邓肇俊
胡瑞松
刘桥瑞
杨博文
张夏杰
杨康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minnan Normal University
Original Assignee
Minnan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minnan Normal University filed Critical Minnan Normal University
Priority to CN202110782180.3A priority Critical patent/CN113379804B/zh
Publication of CN113379804A publication Critical patent/CN113379804A/zh
Application granted granted Critical
Publication of CN113379804B publication Critical patent/CN113379804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无人机目标跟踪方法、终端设备及存储介质，该方法中利用多通道联合组稀疏性和加权特征融合机制来增强无人机跟踪的鲁棒性；引入联合稀疏正则项作为加权向量来融合多特征；利用多通道的组稀疏性自适应构造空间正则项。首先，利用多特征的联合稀疏性作为不同通道的特征图对应的权值，消除噪声信息；其次，将通道和空间维度中的组稀疏性转化为组稀疏图，自动构建空间正则项；并将全局响应振荡和局部响应变化作为更新策略的判断准则。最后，引入交替方向乘子法求解滤波模型的最优解。本发明显著提高了无人机目标跟踪的精度。

Description

一种无人机目标跟踪方法、终端设备及存储介质
技术领域
本发明涉及目标跟踪领域，尤其涉及一种无人机目标跟踪方法、终端设备及存储介质。
背景技术
由于视觉目标跟踪的迅速发展，目标跟踪成为无人机应用的核心方向之一，比一般情况面临着更多挑战。随着硬件的升级和算法的优化，具有实时视觉跟踪能力的无人机具有广阔的应用前景，包括地理位置增强、野生动物保护、运动目标跟踪、路径规划和人机交互等。近年来，基于判别相关滤波器(Discriminative Correlation Filter，DCF)的跟踪器在有效降低算法计算复杂度，实现无人机目标实时跟踪方面显示出了比深度跟踪器更优异的性能。实时性意味着追踪速度在25帧每秒以上。此外，基于DCF的跟踪器几乎每一帧都在更新，以适应天气变化、机械振动和无人机有限的摄像机视野的情况。因此，基于DCF的跟踪器是无人机跟踪的主流方法。
虽然现有技术中已经解决了基于DCF的跟踪器的主要局限性，但并不容易解决无人机的特殊挑战。例如，无人机的采样目标比较小，无法提取足够的特征信息；视频包含了很多分散注意力的背景信息，因此很难区分出有用的信息；遮挡、光照变化和快速运动会影响目标的外观，需要跟踪器及时适应外观的变化。
发明内容
为了解决上述问题，本发明提出了一种无人机目标跟踪方法、终端设备及存储介质。
具体方案如下：
一种无人机目标跟踪方法，包括以下步骤：
S1：接收无人机数据中的第1帧图像，并对第1帧图像中目标跟踪窗口的中心位置P1和尺度s1进行标注，构建判别式相关滤波器作为第1帧图像的位置滤波器，初始化设定t＝2；
S2：根据t-1帧图像和其对应的目标跟踪窗口的中心位置Pt-1，对判别式相关滤波器进行训练，得到第t-1帧图像的位置滤波器ft-1；
S3：接收第t帧图像，以第t-1帧图像的目标跟踪窗口的中心位置Pt-1为中心裁剪搜索窗口，并根据裁剪的搜索窗口，从第t帧图像内提取不同特征并融合后，得到第t帧图像的加权特征图Xt；
S4：根据第t帧图像的加权特征图Xt和第t-1帧图像的位置滤波器ft-1，构建位置跟踪模型，设定位置跟踪模型的目标函数为：
Figure BDA0003157468900000021
其中，ft表示第t帧图像的位置滤波器，μt表示时间正则项参数，y表示高斯响应，
Figure BDA0003157468900000022
表示参考参数，Xt表示加权特征图，
Figure BDA0003157468900000023
表示循环卷积运算符，||·||2表示l2范数正则项，
Figure BDA0003157468900000024
表示空间正则项参数，
Figure BDA0003157468900000025
表示点乘运算符；
S5：通过更新策略判断是否需要更新时间正则项参考参数、当前帧是否被遮挡；若无遮挡情况，通过交替方向乘子法对目标函数进行迭代优化，并设置迭代次数，得到第t帧图像的位置滤波器ft的最优解
Figure BDA0003157468900000026
并根据下式对第t帧图像的位置滤波器进行更新：
Figure BDA00031574689000000313
其中，η表示学习率，
Figure BDA00031574689000000312
表示更新后的第t帧图像的位置滤波器；
S6：根据第t-1帧图像的位置滤波器和第t帧图像的加权特征图，计算第t帧图像的响应图
Figure BDA0003157468900000031
将第t帧图像的响应图
Figure BDA0003157468900000032
的峰值作为第t帧图像中目标跟踪窗口的中心位置Pt；
S7：根据第t帧图像中目标跟踪窗口的中心位置Pt和第t-1帧图像中目标跟踪窗口的尺度st-1，通过尺度滤波器估计第t帧图像中目标跟踪窗口的尺度st；
S8：令t＝t+1，返回S3。
进一步的，步骤S3中提取的不同特征包括fHOG、CN和灰度三个特征。
进一步的，步骤S3中不同特征的融合采用加权融合方法，具体计算公式为：
Figure BDA0003157468900000033
Figure BDA0003157468900000034
其中，
Figure BDA0003157468900000035
表示第t帧图像对应的全部D个通道中的第d个特征通道的值，D表示通道的总数，d表示通道的序号，
Figure BDA0003157468900000036
表示第t帧图像对应的第d个特征通道的权重值，
Figure BDA0003157468900000037
表示
Figure BDA0003157468900000038
中第i行的值，N表示行数。
进一步的，步骤S4中空间正则项参数
Figure BDA0003157468900000039
的计算公式为：
Figure BDA00031574689000000310
其中，w和h分别表示搜索窗口的宽度和高度；σ表示用来调整空间结构信息权重的常量；w表示用来缓解边界效应的参数；
Figure BDA00031574689000000311
表示位置滤波器的组稀疏映射图，Sw,h表示从
Figure BDA0003157468900000041
的w×h范围中选择的矩阵；
位置滤波器的组稀疏映射图
Figure BDA0003157468900000042
的计算公式为：
Figure BDA0003157468900000043
其中，fij:表示位置滤波器中所有通道的第i行的第j列，i表示行数，j表示列数，N表示滤波器的大小。
进一步的，步骤S5中通过交替方向乘子法对目标函数进行迭代优化的过程包括以下步骤：
S51：将目标函数转换为频域形式：
Figure BDA0003157468900000044
其中，
Figure BDA0003157468900000045
表示ft的辅助变量，
Figure BDA0003157468900000046
表示加权特征图Xt的傅里叶形式，T表示加权特征图Xt的总元素长度，F为标准正交矩阵；
S52：将频域形式的目标函数表示为增广拉格朗日形式：
Figure BDA0003157468900000047
其中，
Figure BDA0003157468900000048
表示拉格朗日乘子的傅里叶形式，α表示惩罚项；
S53：通过交替方向乘子法对上述目标函数进行迭代优化后，得到辅助变量
Figure BDA0003157468900000049
正则参数μt和第t帧图像的位置滤波器ft的最优解
Figure BDA00031574689000000410
和
Figure BDA00031574689000000411
进一步的，步骤S53的具体实现包括：
将步骤S52中公式转换为以下三个子问题，并通过交替方向乘子法进行交替求解：
Figure BDA0003157468900000051
子问题A：利用Sherman Morrison公式得到
Figure BDA0003157468900000052
的最优解
Figure BDA0003157468900000053
为：
Figure BDA0003157468900000054
Figure BDA0003157468900000055
其中，
Figure BDA0003157468900000056
表示
Figure BDA0003157468900000057
的转置形式，Γj(.)表示所有通道中第j个元素组成的向量，且j＝1,2,...,T；
子问题B：ft的最优解
Figure BDA00031574689000000518
为：
Figure BDA0003157468900000058
式中，
Figure BDA0003157468900000059
表示
Figure BDA00031574689000000510
的对角矩阵；I表示单位矩阵；
子问题C：μt的最优解
Figure BDA00031574689000000511
为：
Figure BDA00031574689000000512
进一步的，步骤S5中在每次迭代中拉格朗日乘子
Figure BDA00031574689000000513
和惩罚因子α的更新公式分别为：
Figure BDA00031574689000000514
α(i+1)＝min(αmax,ρα(i))
其中，αmax表示i次迭代内惩罚因子α的最大值；ρ表示尺度因子；上标i表示迭代索引。
进一步的，步骤S5中更新策略的条件为：当
Figure BDA00031574689000000515
且
Figure BDA00031574689000000516
则认为当前帧无遮挡；其中：
Figure BDA00031574689000000517
表示响应图中的第i个元素的局部响应，APCE表示响应图的平均峰值相关能量，
Figure BDA0003157468900000061
表示APCE的历史平均值，Φ1为预定义的比重参数，Φ2为预定义的阈值。
进一步的，步骤S6中第t帧图像的响应图
Figure BDA0003157468900000062
的计算公式为：
Figure BDA0003157468900000063
其中，D表示位置滤波器的通道总数，d表示通道序号，
Figure BDA0003157468900000064
表示加权特征图Xt的傅里叶形式，
Figure BDA0003157468900000065
表示ft-1对应的辅助变量。
一种无人机目标跟踪终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，利用组稀疏性和加权特征融合技术实现无人机目标跟踪。在计算资源有限的情况下，面对光照和快速运动对无人机高性能跟踪的挑战，主要考虑有效改进特征表示和聚焦局部响应，以避免不必要的计算。
附图说明
图1所示为本发明实施例一的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种无人机目标跟踪方法，如图1所示，所述方法包括以下步骤：
S1：接收无人机数据中的第1帧图像，并对第1帧图像中目标跟踪窗口的中心位置P1和尺度s1进行标注，构建判别式相关滤波器作为第1帧图像的位置滤波器，初始化设定t＝2。
判别式相关滤波器(Discriminative Correlation Filter，DCF)利用离散傅里叶变换将空间域的卷积转化为频域的乘法，有效地降低了计算复杂度。大多数基于DCF的跟踪器结构相似，其标准公式如下：
Figure BDA0003157468900000071
其中，
Figure BDA0003157468900000072
表示循环卷积运算符，||·||2表示l2范数正则项，fd表示判别式相关滤波器，α表示惩罚项，y表示预定义的高斯形输出，xd表示全部D个通道中的第d个特征通道的值。
DCF框架主要包括三个步骤：训练阶段、模型更新阶段和检测阶段。在训练阶段，在目标中心附近采样，并提取样本的特征。通过计算高斯响应回归方程，得到第t帧的滤波器。在模型更新阶段，更新滤波模型。在检测阶段，跟踪器提取新的样本及其特征，生成响应图，并根据其峰值预测下一帧目标的位置和尺度。
S2：根据t-1帧图像和其对应的目标跟踪窗口的中心位置Pt-1，对判别式相关滤波器进行训练，得到第t-1帧图像的位置滤波器ft-1。
S3：接收第t帧图像，以第t-1帧图像的目标跟踪窗口的中心位置Pt-1为中心裁剪搜索窗口，并根据裁剪的搜索窗口，从第t帧图像内提取不同特征并融合后，得到第t帧图像的加权特征图Xt。
多特征相比单一特征能够更好地利用目标的信息。灰度是第一个被引入相关滤波器的特征，fHOG是HOG特征的改进版本，可以提取图像的局部特征。多种特性的组合可以最大限度地发挥各自的优势，提高特定场景下的跟踪性能。
由于加权特征融合在目标跟踪中能够表现出良好的性能，因此该实施例中对特征融合采用加权融合机制。为了降低计算复杂度，引入了fHOG、CN和灰度特征作为特征表示，并利用线性加权融合多个特征后形成的特征作为目标特征。
加权融合机制利用每个特征图的联合稀疏性来选择有用的信息。首先，利用l2,1范数来收集图像的相似特征信息。然后，取稀疏值作为线性加权的向量。最后，随着目标和摄像机运动时外观的变化，相应地更新权值向量。
为了实现联合稀疏特征选择，第t帧图像的第d个特征通道的权重值的定义为：
Figure BDA0003157468900000081
其中，d＝1,2,...,D，
Figure BDA0003157468900000082
N是特征图的大小。
采用
Figure BDA0003157468900000083
表示加权特征图，则：
Figure BDA0003157468900000084
在特征选择过程中，通过联合稀疏性对不同通道进行加权，自适应统一输入。所提出的特征融合机制可以有效地提高跟踪精度。
S4：根据第t帧图像的加权特征图Xt和第t-1帧图像的位置滤波器ft-1，构建位置跟踪模型，设定位置跟踪模型的目标函数为：
Figure BDA0003157468900000091
其中，ft表示第t帧图像的位置滤波器，
Figure BDA0003157468900000092
表示时间正则项，μt表示时间正则项参数，y表示高斯响应，
Figure BDA0003157468900000093
表示参考参数，Xt表示加权特征图，
Figure BDA0003157468900000094
表示循环卷积运算符，
Figure BDA0003157468900000095
表示空间正则项，
Figure BDA0003157468900000096
表示空间正则项参数，||·||2表示l2范数正则项，
Figure BDA0003157468900000097
表示点乘运算符。
不同于现有的跟踪器忽略多通道之间的空间位置信息，空间正则项充分利用了多通道之间的结构稀疏性。结构稀疏指的是组稀疏，组稀疏共同表示具有空间一致性的特征。因此，该实施例中空间正则项参数
Figure BDA0003157468900000098
的计算公式为：
Figure BDA0003157468900000099
其中，w和h分别表示第t帧中搜索窗口的宽度和高度；σ表示用来调整空间结构信息权重的常量；w是从SRDCF算法继承来的，表示用来缓解边界效应的参数；
Figure BDA00031574689000000910
表示位置滤波器的组稀疏映射图，Sw,h表示从
Figure BDA00031574689000000911
的w×h范围中选择的矩阵。
位置滤波器的组稀疏映射图
Figure BDA00031574689000000912
的计算公式为：
Figure BDA00031574689000000913
其中，fij:表示位置滤波器中所有通道的第i行的第j列，i表示行数，j表示列数，N表示滤波器大小。
将多通道滤波器的张量信息按空间顺序串联起来，得到分组属性，反映了多通道在空间维度上的共同贡献。采用组稀疏的自动空间正则项方法可以提高跟踪器的鲁棒性。
S5：通过更新策略判断是否需要更新时间正则项参考参数、当前帧是否被遮挡；若无遮挡情况，通过交替方向乘子法对目标函数进行迭代优化，并设置迭代次数，得到第t帧图像的位置滤波器ft的最优解
Figure BDA0003157468900000108
并根据下式对第t帧图像的位置滤波器进行更新：
Figure BDA0003157468900000109
其中，η表示学习率，
Figure BDA00031574689000001010
表示更新后的第t帧图像的位置滤波器；
(1)通过交替方向乘子法对上述目标函数进行迭代优化的具体过程包括以下步骤：
S51：将目标函数转换为频域形式：
Figure BDA0003157468900000101
其中，
Figure BDA0003157468900000102
表示ft的辅助变量，
Figure BDA0003157468900000103
Figure BDA0003157468900000104
表示加权特征图Xt的傅里叶形式，T表示加权特征图Xt的总元素长度，F为标准正交矩阵。
S52：将频域形式的目标函数表示为增广拉格朗日形式：
Figure BDA0003157468900000105
其中，
Figure BDA0003157468900000106
Figure BDA0003157468900000107
表示拉格朗日乘子的傅里叶形式，α表示惩罚项。
S53：通过交替方向乘子法对上述目标函数进行迭代优化后，得到辅助变量
Figure BDA0003157468900000111
正则参数μt和第t帧图像的位置滤波器ft的最优解
Figure BDA0003157468900000112
和
Figure BDA00031574689000001117
该实施例中步骤S53的具体实现包括：
(1)将步骤S52中公式转换为以下三个子问题，并通过交替方向乘子法进行交替求解：
Figure BDA0003157468900000113
子问题A：利用Sherman Morrison公式得到
Figure BDA0003157468900000114
的最优解
Figure BDA0003157468900000115
为：
Figure BDA0003157468900000116
Figure BDA0003157468900000117
其中，
Figure BDA0003157468900000118
表示
Figure BDA0003157468900000119
的转置形式，Γj(.)表示所有通道中第j个元素组成的向量，且j＝1,2,...,T。
子问题B：ft的最优解
Figure BDA00031574689000001118
为：
Figure BDA00031574689000001110
式中，
Figure BDA00031574689000001111
表示
Figure BDA00031574689000001112
的对角矩阵；I表示点乘运算符。
子问题C：μt的最优解
Figure BDA00031574689000001113
为：
Figure BDA00031574689000001114
(2)在每次迭代中拉格朗日乘子
Figure BDA00031574689000001115
和惩罚因子α的更新公式分别为：
Figure BDA00031574689000001116
α(i+1)＝min(αmax,ρα(i))
其中，αmax表示i次迭代内惩罚因子α的最大值；ρ表示尺度因子；上标i表示迭代索引。
(3)更新策略的条件为：当
Figure BDA0003157468900000121
且
Figure BDA0003157468900000122
则认为当前帧无遮挡；其中：
Figure BDA0003157468900000123
表示响应图中的第i个元素的局部响应，APCE表示响应图的平均峰值相关能量，
Figure BDA0003157468900000124
表示APCE的历史平均值，Φ1为预定义的比重参数，Φ2为预定义的阈值。
LMCF目标跟踪算法给出了平均峰值相关能量APCE反映响应图的振荡程度，避免更新模型导致跟踪失败。更新策略与响应图关系密切，响应图反映了跟踪结果的可靠性。因此，该实施例中通过引入局部响应
Figure BDA00031574689000001211
和平均峰值相关能量APCE来更新模型。局部响应定义如下：
Figure BDA0003157468900000125
其中，Δp,q表示相邻两个峰的空间位置偏差。
平均峰值相关能量APCE反映了跟踪结果的置信度和响应图的波动程度。当目标的外观发生显著变化时，平均峰值相关能量APCE的自适应变化为：
Figure BDA0003157468900000126
其中，
Figure BDA0003157468900000127
分别表示响应图的峰值和最小值。
定义Φ1为历史平均值与当前的APCE的比率，Φ2是一个预定义的阈值，是用来避免模型偏差的。
当
Figure BDA0003157468900000128
且
Figure BDA0003157468900000129
条件不满足时，表示当前帧检测到异常，模型停止学习。否则，更新参考参数
Figure BDA00031574689000001210
来适应时间正则项变化以提高滤波器的学习速度：
Figure BDA0003157468900000131
其中，α和β均为超参数。
S6：根据第t-1帧图像的位置滤波器和第t帧图像的加权特征图，计算第t帧图像的响应图
Figure BDA0003157468900000132
将第t帧图像的响应图
Figure BDA0003157468900000133
的峰值作为第t帧图像中目标跟踪窗口的中心位置Pt。
第t帧图像的响应图
Figure BDA0003157468900000134
的计算公式为：
Figure BDA0003157468900000135
其中，D表示位置滤波器的通道总数，d表示通道序号，
Figure BDA0003157468900000136
表示加权特征图Xt的傅里叶形式，
Figure BDA0003157468900000137
表示ft-1对应的辅助变量。
S7：根据第t帧图像中目标跟踪窗口的中心位置Pt和第t-1帧图像中目标跟踪窗口的尺度st-1，通过尺度滤波器估计第t帧图像中目标跟踪窗口的尺度st；
DCF跟踪器作为无人机跟踪的主流方法，它最大优势就是速度快。目前已将相关滤波应用到目标跟踪领域。DSST尺度滤波模型简单，适用于大多数跟踪器。而fDSST是其更快的版本，速度为200-250FPS。该实施例中利用fDSST尺度滤波模型作为跟踪器的尺度滤波器。
S8：令t＝t+1，返回S3。
本发明实施例利用组稀疏性和加权特征融合技术实现无人机目标跟踪。在计算资源有限的情况下，面对光照和快速运动对无人机高性能跟踪的挑战，主要考虑有效改进特征表示和聚焦局部响应，以避免不必要的计算。
本实施例提出了一种新的加权特征融合机制，提高了特征表示的有效性。利用l2,1范数获得高维特征通道的联合稀疏性，有选择地从图像中提取关键信息，并相应地赋予不同的权重。
本实施例利用组稀疏图来获取空间信息，自适应调整空间正则项，显著提高了跟踪精度。
实施例二：
本发明还提供一种无人机目标跟踪终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述无人机目标跟踪终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述无人机目标跟踪终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述无人机目标跟踪终端设备的组成结构仅仅是无人机目标跟踪终端设备的示例，并不构成对无人机目标跟踪终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述无人机目标跟踪终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述无人机目标跟踪终端设备的控制中心，利用各种接口和线路连接整个无人机目标跟踪终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述无人机目标跟踪终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述无人机目标跟踪终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种无人机目标跟踪方法，其特征在于，包括以下步骤：
S1：接收无人机数据中的第1帧图像，并对第1帧图像中目标跟踪窗口的中心位置P1和尺度s1进行标注，构建判别式相关滤波器作为第1帧图像的位置滤波器，初始化设定t＝2；
S2：根据t-1帧图像和其对应的目标跟踪窗口的中心位置Pt-1，对判别式相关滤波器进行训练，得到第t-1帧图像的位置滤波器ft-1；
S3：接收第t帧图像，以第t-1帧图像的目标跟踪窗口的中心位置Pt-1为中心裁剪搜索窗口，并根据裁剪的搜索窗口，从第t帧图像内提取不同特征并融合后，得到第t帧图像的加权特征图Xt；
S4：根据第t帧图像的加权特征图Xt和第t-1帧图像的位置滤波器ft-1，构建位置跟踪模型，设定位置跟踪模型的目标函数为：
Figure FDA0003157468890000011
其中，ft表示第t帧图像的位置滤波器，μt表示时间正则项参数，y表示高斯响应，
Figure FDA0003157468890000012
表示参考参数，Xt表示加权特征图，
Figure FDA0003157468890000013
表示循环卷积运算符，||·||2表示l2范数正则项，
Figure FDA0003157468890000014
表示空间正则项参数，
Figure FDA0003157468890000018
表示点乘运算符；
S5：通过更新策略判断是否需要更新时间正则项参考参数、当前帧是否被遮挡；若无遮挡情况，通过交替方向乘子法对目标函数进行迭代优化，并设置迭代次数，得到第t帧图像的位置滤波器ft的最优解
Figure FDA0003157468890000015
并根据下式对第t帧图像的位置滤波器进行更新：
Figure FDA0003157468890000016
其中，η表示学习率，
Figure FDA0003157468890000017
表示更新后的第t帧图像的位置滤波器；
S6：根据第t-1帧图像的位置滤波器和第t帧图像的加权特征图，计算第t帧图像的响应图
Figure FDA0003157468890000021
将第t帧图像的响应图
Figure FDA0003157468890000022
的峰值作为第t帧图像中目标跟踪窗口的中心位置Pt；
S7：根据第t帧图像中目标跟踪窗口的中心位置Pt和第t-1帧图像中目标跟踪窗口的尺度st-1，通过尺度滤波器估计第t帧图像中目标跟踪窗口的尺度st；
S8：令t＝t+1，返回S3。
2.根据权利要求1所述的无人机目标跟踪方法，其特征在于：步骤S3中不同特征的融合采用加权融合方法，具体计算公式为：
Figure FDA0003157468890000023
Figure FDA0003157468890000024
其中，
Figure FDA0003157468890000025
表示第t帧图像对应的全部D个通道中的第d个特征通道的值，D表示通道的总数，d表示通道的序号，
Figure FDA0003157468890000026
表示第t帧图像对应的第d个特征通道的权重值，
Figure FDA0003157468890000027
表示
Figure FDA0003157468890000028
中第i行的值，N表示行数。
3.根据权利要求1所述的无人机目标跟踪方法，其特征在于：步骤S4中空间正则项参数
Figure FDA0003157468890000029
的计算公式为：
Figure FDA00031574688900000210
其中，w和h分别表示搜索窗口的宽度和高度；σ表示用来调整空间结构信息权重的常量；w表示用来缓解边界效应的参数；
Figure FDA00031574688900000211
表示位置滤波器的组稀疏映射图，Sw,h表示从
Figure FDA00031574688900000212
的w×h范围中选择的矩阵；
位置滤波器的组稀疏映射图
Figure FDA00031574688900000213
的计算公式为：
Figure FDA0003157468890000031
其中，fij:表示位置滤波器中所有通道的第i行的第j列，i表示行数，j表示列数，N表示滤波器大小。
4.根据权利要求1所述的无人机目标跟踪方法，其特征在于：步骤S5中通过交替方向乘子法对目标函数进行迭代优化的过程包括以下步骤：
S51：将目标函数转换为频域形式：
Figure FDA0003157468890000032
其中，
Figure FDA0003157468890000033
表示ft的辅助变量，
Figure FDA0003157468890000034
表示加权特征图Xt的傅里叶形式，T表示加权特征图Xt的总元素长度，F为标准正交矩阵；
S52：将频域形式的目标函数表示为增广拉格朗日形式：
Figure FDA0003157468890000035
其中，
Figure FDA0003157468890000036
Figure FDA0003157468890000037
表示拉格朗日乘子的傅里叶形式，α表示惩罚项；
S53：通过交替方向乘子法对上述目标函数进行迭代优化后，得到辅助变量
Figure FDA0003157468890000038
正则参数μt和第t帧图像的位置滤波器ft的最优解
Figure FDA0003157468890000039
和
Figure FDA00031574688900000310
5.根据权利要求4所述的无人机目标跟踪方法，其特征在于：步骤S53的具体实现包括：
将步骤S52中公式转换为以下三个子问题，并通过交替方向乘子法进行交替求解：
Figure FDA0003157468890000041
子问题A：利用Sherman Morrison公式得到
Figure FDA0003157468890000042
的最优解
Figure FDA0003157468890000043
为：
Figure FDA0003157468890000044
Figure FDA0003157468890000045
其中，
Figure FDA0003157468890000046
表示
Figure FDA0003157468890000047
的转置形式，Γj(.)表示所有通道中第j个元素组成的向量，且j＝1,2,...,T；
子问题B：ft的最优解ft *为：
Figure FDA0003157468890000048
式中，
Figure FDA0003157468890000049
表示
Figure FDA00031574688900000410
的对角矩阵；I表示单位矩阵；
子问题C：μt的最优解
Figure FDA00031574688900000411
为：
Figure FDA00031574688900000412
6.根据权利要求4所述的无人机目标跟踪方法，其特征在于：步骤S5中在每次迭代中拉格朗日乘子
Figure FDA00031574688900000413
和惩罚因子α的更新公式分别为：
Figure FDA00031574688900000414
α(i+1)＝min(αmax,ρα(i))
其中，αmax表示i次迭代内惩罚因子α的最大值；ρ表示尺度因子；上标i表示迭代索引。
7.根据权利要求1所述的无人机目标跟踪方法，其特征在于：步骤S5中更新策略的条件为：当
Figure FDA00031574688900000415
且
Figure FDA00031574688900000416
则认为当前帧无遮挡；其中：
Figure FDA0003157468890000051
表示响应图中的第i个元素的局部响应，APCE表示响应图的平均峰值相关能量，
Figure FDA0003157468890000052
表示APCE的历史平均值，Φ1为预定义的比重参数，Φ2为预定义的阈值。
8.根据权利要求1所述的无人机目标跟踪方法，其特征在于：步骤S6中第t帧图像的响应图
Figure FDA0003157468890000053
的计算公式为：
Figure FDA0003157468890000054
其中，D表示位置滤波器的通道总数，d表示通道序号，
Figure FDA0003157468890000055
表示加权特征图Xt的傅里叶形式，
Figure FDA0003157468890000056
表示ft-1对应的辅助变量。
9.一种无人机目标跟踪终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。
CN202110782180.3A 2021-07-12 2021-07-12 一种无人机目标跟踪方法、终端设备及存储介质 Active CN113379804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110782180.3A CN113379804B (zh) 2021-07-12 2021-07-12 一种无人机目标跟踪方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110782180.3A CN113379804B (zh) 2021-07-12 2021-07-12 一种无人机目标跟踪方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113379804A true CN113379804A (zh) 2021-09-10
CN113379804B CN113379804B (zh) 2023-05-09

Family

ID=77581690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110782180.3A Active CN113379804B (zh) 2021-07-12 2021-07-12 一种无人机目标跟踪方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113379804B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177947A1 (en) * 2015-12-18 2017-06-22 Canon Kabushiki Kaisha Methods, devices and computer programs for tracking targets using independent tracking modules associated with cameras
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN109685830A (zh) * 2018-12-20 2019-04-26 浙江大华技术股份有限公司 目标跟踪方法、装置和设备及计算机存储介质
CN110490907A (zh) * 2019-08-21 2019-11-22 上海无线电设备研究所 基于多目标特征和改进相关滤波器的运动目标跟踪方法
CN110766723A (zh) * 2019-10-22 2020-02-07 湖南大学 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法
CN111862167A (zh) * 2020-07-21 2020-10-30 厦门大学 一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法
CN112819856A (zh) * 2021-01-22 2021-05-18 同济大学 一种应用于无人机的目标跟踪方法及自定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177947A1 (en) * 2015-12-18 2017-06-22 Canon Kabushiki Kaisha Methods, devices and computer programs for tracking targets using independent tracking modules associated with cameras
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN109685830A (zh) * 2018-12-20 2019-04-26 浙江大华技术股份有限公司 目标跟踪方法、装置和设备及计算机存储介质
CN110490907A (zh) * 2019-08-21 2019-11-22 上海无线电设备研究所 基于多目标特征和改进相关滤波器的运动目标跟踪方法
CN110766723A (zh) * 2019-10-22 2020-02-07 湖南大学 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法
CN111862167A (zh) * 2020-07-21 2020-10-30 厦门大学 一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法
CN112819856A (zh) * 2021-01-22 2021-05-18 同济大学 一种应用于无人机的目标跟踪方法及自定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何冉;陈自力;刘建军;高喜俊;: "特征融合与尺度自适应的核相关滤波目标跟踪", 计算机工程与设计 *
胡正平;尹艳华;顾健新;: "位置-尺度异空间协调的多特征选择相关滤波目标跟踪算法", 信号处理 *
邵博;熊惠霖;郁文贤;: "基于核相关滤波器的无人机目标跟踪算法", 信息技术 *
黄宏图;毕笃彦;侯志强;胡长城;高山;查宇飞;库涛;: "基于稀疏表示的视频目标跟踪研究综述", 自动化学报 *

Also Published As

Publication number Publication date
CN113379804B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
US11188794B2 (en) Convolutional neural network framework using reverse connections and objectness priors for object detection
CN109325589B (zh) 卷积计算方法及装置
Krasheninnikov et al. Multidimensional image models and processing
CN108549839B (zh) 自适应特征融合的多尺度相关滤波视觉跟踪方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
US9704068B2 (en) System and method for labelling aerial images
CN109492674B (zh) 用于目标检测的ssd框架的生成方法及装置
EP3910532B1 (en) Learning method and learning device for training an object detection network by using attention maps and testing method and testing device using the same
CN110349190B (zh) 自适应学习的目标跟踪方法、装置、设备及可读存储介质
CN112163601B (zh) 图像分类方法、系统、计算机设备及存储介质
CN109741364B (zh) 目标跟踪方法及装置
CN111797970B (zh) 训练神经网络的方法和装置
CN111898703A (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN111160365A (zh) 基于检测器和跟踪器相结合的无人机目标跟踪方法
CN113449658A (zh) 基于空域、频域、时域的夜间视频序列显著性检测方法
CN115294539A (zh) 多任务检测方法及装置、存储介质、终端
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN112598062A (zh) 一种图像识别方法和装置
CN116152206A (zh) 一种光伏输出功率预测方法、终端设备及存储介质
Sharjeel et al. Real time drone detection by moving camera using COROLA and CNN algorithm
Battistone et al. Watch out: embedded video tracking with BST for unmanned aerial vehicles
CN116888605A (zh) 神经网络模型的运算方法、训练方法及装置
CN113379804B (zh) 一种无人机目标跟踪方法、终端设备及存储介质
Munir et al. Background subtraction in videos using LRMF and CWM algorithm
CN115426671A (zh) 图神经网络训练、无线小区故障预测方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant