CN115082519A - 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备 - Google Patents

一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备 Download PDF

Info

Publication number
CN115082519A
CN115082519A CN202210620883.0A CN202210620883A CN115082519A CN 115082519 A CN115082519 A CN 115082519A CN 202210620883 A CN202210620883 A CN 202210620883A CN 115082519 A CN115082519 A CN 115082519A
Authority
CN
China
Prior art keywords
matrix
correlation
background
tracking method
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210620883.0A
Other languages
English (en)
Inventor
高放
庞冉
张鹏
李相坤
王海旭
朱晓欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang Guang Satellite Technology Co Ltd
Original Assignee
Chang Guang Satellite Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Guang Satellite Technology Co Ltd filed Critical Chang Guang Satellite Technology Co Ltd
Priority to CN202210620883.0A priority Critical patent/CN115082519A/zh
Publication of CN115082519A publication Critical patent/CN115082519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Discrete Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备，涉及遥感视频跟踪技术领域，解决了云雾遮挡的问题。方法包括：对BACF相关滤波器进行初始化，确定对象函数，分别计算CN和HOG的特征图谱并融合得最终特征图谱；将BACF相关滤波器转换到频域，利用L2正则化对时间序列的更新进行约束，利用ADMM算法对约束后的问题求解；计算平均峰值相关能量并响应值最大的点作为最终结果暂存；判断上一步中的平均峰值相关能量满足高置信度则基于计算结果更新模型和目标位置；否则利用运动估计器对运动状态进行估计，并以运动估计器的结果和计算结果加权融合得到更新的结果；S5、重复S2、S3和S4直到视频播放结束。

Description

一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电 子设备
技术领域
本发明涉及遥感视频跟踪技术领域，具体涉及一种基于背景感知相关滤波的飞机跟踪技术。
背景技术
遥感视频卫星的发射使我们能够观测和测量地球表面上的运动物体，为监测地表变化事件提供了丰富的信息，其中对于目标的检测和跟踪是检测的关键步骤。飞机作为军事中的重要交通工具，具有非常高的研究价值，而目前遥感视频检测研究主要集中在对于车辆的检测跟踪，对于飞机等研究并不充足，主要因为遥感研究中云层遮挡问题，在噪声、云和光线变化干扰的情况下，无法在每一帧可靠地进行目标检测。并且检测算法应用在大尺寸图像时，检测速度非常缓慢，所以仅仅可以作为运动目标的初始值。
飞机跟踪技术需要满足如下需求：1.运算速度快。2.可以根据特定的输入来进行跟踪。3.可以抵抗云遮档并在一般情况下正常运行。在目前针对遥感视频的跟踪研究中，主要研究集中在如何对运动目标检测并跟踪，这类跟踪检测仅可做到对运动目标的检测和跟踪，如视频中存在其他运动物体，算法并不能做到对特定目标进行跟踪，而对不需要的目标进行处理。现存研究中也有一些基于深度学习的方法，但是经测试，其跟踪检测的速度难以满足实际要求。现存研究中基于相关滤波对遥感目标的跟踪的方法，应用场景比较单一，往往针对裁剪过后的小型视频，视频中并不包含复杂场景，如：烟，云雾，光照变换引起的光点等，并不能在实际应用中取得较稳定的结果。
综上，深度学习方法和前景建模方法都不能适配环境复杂的遥感视频。传统相关滤波方法方法在出现遮挡的情况下，更新将会从目标逐渐更新到完全为云层，以导致完全的偏移。针对云遮档的问题可以通过基于暗通道数据去雾的方法来解决，但是会带来其他问题，缺少良好的普适性。利用基于暗通道数据去云雾的方法，可以减少云雾干扰，但是对于同一数据中的正常样本会造成较大的损失，使其特征值发生变化导致无法正常跟踪。
发明内容
为了解决现有的飞机跟踪技术无法解决云雾遮挡的问题，本发明提出了一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备。
本发明的技术方案如下：
一种基于背景感知相关滤波的飞机跟踪方法，包括以下步骤：
S1、BACF相关滤波器初始化：通过第一帧的图像和目标区域对BACF相关滤波器进行初始化，确定对象函数，分别计算CN的特征图谱和HOG的特征图谱并融合得到最终的特征图谱；
S2、通过傅里叶变换将BACF相关滤波器转换到频域，并利用L2正则化对时间序列的更新进行约束，利用ADMM算法对约束后的问题求解；
S3、依赖于特征图谱和BACF相关滤波器，计算平均峰值相关能量，并将响应图中响应值最大的点作为最终结果暂时存储；
S4、更新模型和目标位置：判断上一步中的平均峰值相关能量与历史平均峰值相关能量比较，若满足高置信度则基于步骤S3的计算结果更新模型和目标位置；若不满足高置信度，则利用运动估计器对运动状态进行估计，并以运动估计器的结果和步骤S3的计算结果通过加权进行融合，最终得到更新的结果；
S5、重复步骤S2、S3和S4直到视频播放结束。
优选地，步骤S1中所述对象函数在频域中表示如下：
Figure BDA0003676677520000031
Figure BDA0003676677520000032
其中，P为D×T二进制矩阵，T为像素个数，x表示一个训练图像样本，y表示以目标对象的峰值为中心的对应输出，h表示相关滤波器，x∈RT，y∈RT和h∈RD，x[Δτi]表示x的循环位移，K为特征通道的数量，
Figure BDA0003676677520000033
为一个辅助变量，I是一个单位矩阵，
Figure BDA0003676677520000034
表示克罗内克积，^表示denotes离散傅里叶变换，F表示复基向量的正正交矩阵，以映射到任何L维向量信号的傅里叶域，算子T表示共轭转置，
Figure BDA0003676677520000035
Figure BDA0003676677520000036
优选地，所述利用L2正则化在频域中表示如下：
Figure BDA0003676677520000037
Figure BDA0003676677520000038
其中，λ和η是两个正则化参数，η≥0，用于调整前一帧目标对象在当前帧模型训练中的作用，T表示复数向量或矩阵上的转置算子，以计算共轭转置算子。
优选地，所述
Figure BDA0003676677520000039
的计算方法具体为：
(一)采用增广拉格朗日方法将
Figure BDA00036766775200000310
重写如下：
Figure BDA0003676677520000041
其中,ζ表示复数拉格朗日乘子，
Figure BDA0003676677520000042
μ表示惩罚因子，μ＞0；
(二)使用交替方向乘子法技术迭代求解方程，将重写后的公式划分出如下3个子问题：
Figure BDA0003676677520000043
(三)分别针对三个子问题进行求解：
(1)对h求解：
Figure BDA0003676677520000044
其中，g和ζ分别表示为
Figure BDA0003676677520000045
Figure BDA0003676677520000046
(2)
Figure BDA0003676677520000047
分解为独立的子问题求解：
Figure BDA0003676677520000051
其中，
Figure BDA0003676677520000052
Figure BDA0003676677520000053
(3)对
Figure BDA0003676677520000054
求解：
Figure BDA0003676677520000055
其中，
Figure BDA0003676677520000056
μ为惩罚因子，μ＝min(μmax,βμ)通过交替方向乘子算法不断更新，μmax代表μ的历史值中的最大值,β表示的缩放因子。
优选地，步骤S4中所述运动估计器为卡尔曼滤波器。
优选地，所述卡尔曼滤波器系统的状态方程和观测方程如下：
Xk＝φx,k-1Xk-1+Wk-1，
Yk＝HkXk+Vk，
其中，Xk和Xk-1分别是系统在时间k和k-1时的状态向量，φx,k-1是系统的状态转换矩阵，Hk是系统的观测矩阵，Wk和Vk是继高斯矩阵之后的噪声矩阵具有协方差矩阵Qk和Rk的分布；
选择状态向量为xk＝[xsk,ysk,xvk,yvk]，其中xsk和ysk分别是物体在时间k时的水平和垂直位置，xvk和yvk分别是物体在时间k时的水平和垂直速度；
状态转换矩阵表示如下：
Figure BDA0003676677520000061
观测向量为Yk＝[xwk,ywk]，表示在时间k时观察到的物体位置，Hk表示为：
Figure BDA0003676677520000062
运动状态估计值如下所示：
Figure BDA0003676677520000063
Figure BDA0003676677520000064
Figure BDA0003676677520000065
Figure BDA0003676677520000066
Pk+1＝(I-Kk+1Hk+1)Pk+1,k，
其中，
Figure BDA0003676677520000067
为最优状态估计，K为KF增益矩阵，Q和R为噪声的协方差矩阵；
利用假设运动状态模拟真实运动状态，以在卡尔曼滤波器收敛前估计物体的运动，通过前面一帧的平均位移来估计当前帧中对象的速度，对象在当前帧中的位置可以使用速度和对象在前一帧中的位置来估计，运动状态估计值通过如下方程描述：
Figure BDA0003676677520000068
Figure BDA0003676677520000069
Pt＝ASt-1n，
其中，St-1＝(xt-1,yt-1,Δxt-1,Δyt-1)是对象在t-1时的状态向量，Pt＝(xt,yt)是对象在时间t时的位置向量，A是一个传递矩阵，
Figure BDA0003676677520000071
n为用于估计的帧数，n≥30，通过考虑卫星视频的FPS确定。
优选地，所述平均峰值相关能量的计算方法为：
Figure BDA0003676677520000072
其中，Fmax、Fmin、Fw，h分别表示响应最大值、最小值和(w，h)位置上的响应。
优选地，所述满足高置信度的判断方法为：
在当前第t帧，只有当ymax和EAPCE的值都以一定比例α和β超过历史均值时，才判定目标中心位置具有高置信度，即需要同时满足以下2个条件：
Figure BDA0003676677520000073
计算完Fi，max和APCEj保存在相应集合Sy和SE中，作为下一次判断时的历史值之一。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如上所述的基于背景感知相关滤波的飞机跟踪方法。
本发明还提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如上所述的基于背景感知相关滤波的飞机跟踪方法。
与现有技术相比，本发明解决了现有飞机跟踪技术无法解决云雾遮挡的问题，具体有益效果为：
1.本发明提出了一种基于时间序列正则化约束的背景感知相关滤波算法来抵抗云带来的模型漂移，并利用运动信息进行校正，通过交替方向乘子算法对问题在频域中进行快速求解。本发明可以有效缓解云遮挡带来的模型漂移问题，使得之前难以利用的有云数据可以在一定条件下被使用。
2.本发明采用基于背景感知的相关滤波器，解决了背景变化复杂以及旋转形变的带来的问题，利用减小搜索范围来减少基本的计算量，避免了视频单帧数据尺寸过大；引入了计算效率高的卡尔曼滤波器来将运动状态加入到我们的方法中，进一步提高了跟踪的准确率和成功率。
附图说明
图1为本发明提供的方法流程示意图。
具体实施方式
为使本发明的技术方案更加清楚，下面将结合本发明的说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，需要说明的是，以下实施例仅用于更好地理解本发明的技术方案，而不应理解为对本发明的限制。
实施例1.
本实施例提供了一种基于背景感知相关滤波的飞机跟踪方法，如图1所示，包括以下步骤：
S1、BACF相关滤波器初始化：通过第一帧的图像和目标区域对BACF相关滤波器进行初始化，确定对象函数，分别计算CN的特征图谱和HOG的特征图谱并融合得到最终的特征图谱；
S2、通过傅里叶变换将BACF相关滤波器转换到频域，并利用L2正则化对时间序列的更新进行约束，利用ADMM算法对约束后的问题求解；
S3、依赖于特征图谱和BACF相关滤波器，计算平均峰值相关能量，并将响应图中响应值最大的点作为最终结果暂时存储；
S4、更新模型和目标位置：判断上一步中的平均峰值相关能量与历史平均峰值相关能量比较，若满足高置信度则基于步骤S3的计算结果更新模型和目标位置；若不满足高置信度，则利用运动估计器对运动状态进行估计，并以运动估计器的结果和步骤S3的计算结果通过加权进行融合，最终得到更新的结果；
S5、重复步骤S2、S3和S4直到视频播放结束。
实施例2.
本实施例为对实施例1的进一步举例说明，首先利用感知背景的BACF跟踪方法，通过对图像斑块进行密集采样来训练分类器。BACF跟踪器的对象函数可以写如下：
Figure BDA0003676677520000091
其中，P为D×T二进制矩阵，T为像素个数。x∈RT，y∈RT和h∈RD，以及x[Δτi]表示x的循环位移。在视觉对象跟踪任务中，x表示一个训练图像样本，y表示以目标对象的峰值为中心的对应输出，h表示相关滤波器。通过在训练示例上使用圆移位算符(Px[Δτi])，将返回所有可能的图像补丁，K是特征通道的数量，通过使用circle shift操作符，采样数将增加。为了提高计算效率，上述公式可以在频域中表示如下：
Figure BDA0003676677520000101
Figure BDA0003676677520000102
其中，
Figure BDA0003676677520000103
为一个辅助变量，I是一个单位矩阵，
Figure BDA0003676677520000104
表示克罗内克积，^表示denotes离散傅里叶变换，F表示复基向量的正正交矩阵，以映射到任何L维向量信号的傅里叶域，算子T表示共轭转置，，
Figure BDA0003676677520000105
Figure BDA0003676677520000106
实施例3.
本实施例为对实施例1的进一步举例说明，所述利用L2正则化在频域中表示如下：
Figure BDA0003676677520000107
Figure BDA0003676677520000108
其中，λ和η是两个正则化参数，η≥0，用于调整前一帧目标对象在当前帧模型训练中的作用，T表示复数向量或矩阵上的转置算子，以计算共轭转置算子。
目标对象的变形、遮挡或背景杂波会对跟踪性能产生重要影响。例如，如果存在遮挡，BACF跟踪器将丢失目标对象，即使遮挡在随后的视频帧中消失，跟踪器仍然无法定位目标对象。在目标对象的运动中，目标对象在连续帧之间存在潜在的关系。一般来说，当前帧与前一帧之间不可避免地存在移动目标对象的相似性信息。考虑到移动目标对象在时间序列中的关系，通过利用L2正则化项约束来学习改进的背景感知相关滤波算法，本实施例通过最小化以下对象函数：
Figure BDA0003676677520000111
s.t. h＝PTh，
其中λ、η是两个正则化参数(λ，η≥0)，η主要用于调整前一帧目标对象在当前帧模型训练中的作用,公式中的最后一项是指全局时间一致性约束。为了提高计算效率，通常通过傅里叶变换将相关滤波器转换到频域即得到本实施例所述的表示形式。
实施例4.
本实施例为对实施例3的进一步举例说明，所述
Figure BDA0003676677520000112
的计算方法具体为：
(一)采用增广拉格朗日方法将
Figure BDA0003676677520000113
重写如下：
Figure BDA0003676677520000114
其中,ζ表示复数拉格朗日乘子，
Figure BDA0003676677520000115
μ表示惩罚因子，μ＞0；
(二)使用交替方向乘子法技术迭代求解方程，将重写后的公式划分出如下3个子问题：
Figure BDA0003676677520000116
(三)分别针对三个子问题进行求解：
(1)对h求解：
Figure BDA0003676677520000121
其中，g和ζ分别表示为
Figure BDA0003676677520000122
Figure BDA0003676677520000123
(2)
Figure BDA0003676677520000124
分解为独立的子问题求解：
Figure BDA0003676677520000125
其中，
Figure BDA0003676677520000126
Figure BDA0003676677520000127
(3)对
Figure BDA0003676677520000128
求解：
Figure BDA0003676677520000129
其中，
Figure BDA00036766775200001210
μ为惩罚因子，μ＝min(μmax,βμ)通过交替方向乘子算法不断更新，μmax代表μ的历史值中的最大值,β表示的缩放因子。
实施例5.
本实施例为对实施例1的进一步举例说明，步骤4中所述运动估计器为卡尔曼滤波器。
实施例6.
本实施例为对实施例5的进一步举例说明，所述卡尔曼滤波器系统的状态方程和观测方程如下：
Xk＝φx,k-1Xk-1+Wk-1，
Yk＝HkXk+Vk，
其中，Xk和Xk-1分别是系统在时间k和k-1时的状态向量，φx,k-1是系统的状态转换矩阵，Hk是系统的观测矩阵，Wk和Vk是继高斯矩阵之后的噪声矩阵具有协方差矩阵Qk和Rk的分布；
选择状态向量为xk＝[xsk,ysk,xvk,yvk]，其中xsk和ysk分别是物体在时间k时的水平和垂直位置，xvk和yvk分别是物体在时间k时的水平和垂直速度；
状态转换矩阵表示如下：
Figure BDA0003676677520000131
观测向量为Yk＝[xwk,ywk]，表示在时间k时观察到的物体位置，Hk表示为：
Figure BDA0003676677520000132
运动状态估计值如下所示：
Figure BDA0003676677520000141
Figure BDA0003676677520000142
Figure BDA0003676677520000143
Figure BDA0003676677520000144
Pk+1＝(I-Kk+1Hk+1)Pk+1,k，
其中，
Figure BDA0003676677520000145
为最优状态估计，K为KF增益矩阵，Q和R为噪声的协方差矩阵，可根据实际情况进行调整。P0通常使用非0的随机数据进行初始化。我是单位矩阵。KF的计算只包含10次矩阵乘法，增加5次矩阵，和一个2×2矩阵的倒数。与BACF的计算复杂度相比，由于最大矩阵的大小为4×4，计算复杂度的增加非常小。
卡尔曼滤波器需要一定数量的数据来收敛。实验表明，在卫星视频中移动物体时，卡尔曼滤波器在20-40帧后可以收敛。卡尔曼滤波器在估计物体运动状态方面具有较高的精度，但卡尔曼滤波器很复杂，在使用某些帧更新滤波器之前，滤波器才能收敛。为了在卡尔曼滤波器收敛前估计物体的运动，我们提出了利用假设运动状态模拟真实运动状态的方法。卫星视频中典型的移动物体是机动车辆、飞机和船只。我们可以假设，在短时间内，物体以均匀的直线移动，即使物体处于转弯、紧急停止或加速的状态。基于此假设，可以通过前面一帧的平均位移来估计当前帧中对象的速度。对象在当前帧中的位置可以使用速度和对象在前一帧中的位置来估计。因此，运动状态估计值通过如下方程描述：
Figure BDA0003676677520000146
Figure BDA0003676677520000151
Pt＝ASt-1n，
其中，St-1＝(xt-1,yt-1,Δxt-1,Δyt-1)是对象在t-1时的状态向量，Pt＝(xt,yt)是对象在时间t时的位置向量，A是一个传递矩阵，
Figure BDA0003676677520000152
n为用于估计的帧数，n≥30，通过考虑卫星视频的FPS确定。如果n太小，则估计方法将对对象运动状态的变化过于敏感。如果n太大，则上述假设不成立。因此，需要仔细选择该值。若n<30则认为运动卡尔曼滤波估计结果不可以作为参考值。
实施例7.
本实施例为对实施例1的进一步举例说明，所述平均峰值相关能量的计算方法为：
Figure BDA0003676677520000153
其中，Fmax、Fmin、Fw，h分别表示响应最大值、最小值和(w，h)位置上的响应。
实施例8.
本实施例为对实施例1的进一步举例说明，所述满足高置信度的判断方法为：
在当前第t帧，只有当ymax和EAPCE的值都以一定比例α和β超过历史均值时，才判定目标中心位置具有高置信度，即需要同时满足以下2个条件：
Figure BDA0003676677520000161
计算完Fi，max和APCEj保存在相应集合Sy和SE中，作为下一次判断时的历史值之一。
当跟踪目标被遮挡、形变量大、模糊及丢失等情况发生时，APCE的当前值相对于历史均值就会明显降低，表示当前响应图发生振荡，存在多峰现象，此时认为目标中心位置的置信度较低；通常，当出现多峰振荡时，目标中心位置的响应值也会明显降低，即峰值Fmax一般都比正常无干扰情况时的峰值低.可以看出Fymax从响应图的局部反映目标中心位置的置信度，APCE从响应图的整体反映其置信度，两者结合可以得到更高的置信度。
为了减少算法的计算量，并不是对每一帧都进行位置修正，而是在当前第t帧出现多峰振荡，目标中心位置可能判断有误时，即当Fmax和APCE不满足高置信度检测中的任意一个条件时，我们将引入运动信息对位置进行矫正.此时，我们将运动信息与相关滤波信息通过加权进行融合，以融合之后的结果代替当前预测结果，并以当前结果更新滤波器模型。
实施例9.
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如实施例1-8任意一项所述的基于背景感知相关滤波的飞机跟踪方法。
实施例10.
本实施例提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如实施例1-8任意一项所述的基于背景感知相关滤波的飞机跟踪方法。
实施例11.
为了验证本申请的方法对抗云雾遮挡是否有效，本实施例进行了对比测试，传统的云雾去除方法虽然提高了目标的可见度，但是也往往会在纹理特征上有损失，经过云雾去除处理的正常数据可视化效果和精度损失十分严重，为了证明我们的方法在抵抗云雾遮挡有较大提升，我们分别在厚云遮挡、中等遮挡和薄云遮挡的数据中进行测试。另外，我们比较了现有高效的云雾去除方法处理数据后进行测试，发现去传统的去云方法对数据影像较大，一旦应用到其他数据会造成严重的数据损失，而我们的方法不仅仅在云雾遮挡的情况下可以良好跟踪，更是对一般目标的跟踪没有影响，对于旋转目标以及缓慢运动目标更是有所提升。
在我们的实验中，为了进行公平的比较，相同类型的最先进的跟踪器也在比较跟踪器的列表中，相同类型的最先进的跟踪器是指与AADT具有相似的功能的顶级跟踪器。因此，ECO-HC是从具有手工制作特征的跟踪器中选择的，也是目前性能表现很好的跟踪模型之一，CSK对于在MOSSE上引入了核技巧和岭回归方法，表现也很出色。CN是可以很好的获取到颜色特征，在颜色对比明显的影像中，有着很好的表现。CSR-DCF提出了空域可靠性和通道可靠性方法，其中图像分割方法更准确地选择有效的跟踪目标区域。MKCFup显着减轻了不同粒子的负面相互干扰，STRCF约束滤波模板的有效作用域解决边界效应。BACF则是我们改进的基础方法。我们将改进后的方法和以上先进方法进行比较。
我们的方法在保证了较高的准确率以及较好的鲁棒性的同时，也保持了较高的运行效率，我们的实验环境如下表所示：基于windows 10系统的主机上执行，这个主机工作环境如下：Intel(R)Core(TM)i7-9700 CPU处理器、RAM 16G，具体的性能以及编程语言如下：
表1-模型及其auc(成功率曲线的线下面积)
模型 开发语言 Auc_all Auc_covered FPS
AADT(本申请) Python 0.779 0.694 76.84
CSRDCF Python 0.772 0.665 31.65
BACF Python 0.769 0.421 90.00
CN Matlab 0.765 0.267 110.68
CSK Python 0.758 0.264 136.07
ECO c++ 0.751 0.561 18.71
MKCFup Python 0.724 0.365 13.66
KCF Matlab 0.648 0.601 187.86
STRCF Python 0.610 0.429 95.32
本申请的算法相较于改进之前的BACF方法，跟踪成功率在正常情况下可以更准确。并且在遮挡情况下有了较大提升，特别是在抵抗遮挡与一般情况的平衡中，大幅超过了现有方法。而这种遮挡在遥感影像中广泛存在，之前的做法中，因为现有方法并没有很好的处理云层遮挡问题的能力，虽然这些数据中的目标通过眼睛是可以分别的，但是在实际中，这种数据往往都被直接舍弃了。在现有的方法下，这些有云层遮挡的数据都没有被很好的使用，而这种数据的数据量是非常可观的，一旦利用起来，对研究和实际应用都具有非常重大的意义。
Figure BDA0003676677520000191
Figure BDA0003676677520000201
上表显示了本申请提出的跟踪器和其他方法在20个序列上获得的CLE结果(以像素为单位，center location error中心位置误差)。通过比较可以看出本申请的方法取得了令人满意的性能，平均中心位置误差很小，结果表明该算法对运动速度快、目标遮挡、变形大的视频序列具有较强的鲁棒性。
本申请使用相关滤波器进行位置估计，发生遮挡时，将根据运动状态更正其影响。其平均中心位置误差仅为4.363像素，大大优于其他基于相关滤波器的跟踪器的结果。
综上，遥感图像本身的特征变化较少，主要的模型漂移是由于云层遮挡引起的，而这种类型的漂移问题，我们通过学习一段时间序列并利用运行信息对目标模型进行矫正，成功解决了漂移问题，并且在一般的飞机飞行过程中，也可以有效的获取飞机的特征，从而实现了应对复杂场景下的飞机跟踪问题。

Claims (10)

1.一种基于背景感知相关滤波的飞机跟踪方法，其特征在于，包括以下步骤：
S1、BACF相关滤波器初始化：通过第一帧的图像和目标区域对BACF相关滤波器进行初始化，确定对象函数，分别计算CN的特征图谱和HOG的特征图谱并融合得到最终的特征图谱；
S2、通过傅里叶变换将BACF相关滤波器转换到频域，并利用L2正则化对时间序列的更新进行约束，利用ADMM算法对约束后的问题求解；
S3、依赖于特征图谱和BACF相关滤波器，计算平均峰值相关能量，并将响应图中响应值最大的点作为最终结果暂时存储；
S4、更新模型和目标位置：判断上一步中的平均峰值相关能量与历史平均峰值相关能量比较，若满足高置信度则基于步骤S3的计算结果更新模型和目标位置；若不满足高置信度，则利用运动估计器对运动状态进行估计，并以运动估计器的结果和步骤S3的计算结果通过加权进行融合，最终得到更新的结果；
S5、重复步骤S2、S3和S4直到视频播放结束。
2.根据权利要求1所述的基于背景感知相关滤波的飞机跟踪方法，其特征在于，步骤S1中所述对象函数在频域中表示如下：
Figure FDA0003676677510000011
Figure FDA0003676677510000012
其中，P为D×T二进制矩阵，T为像素个数，x表示一个训练图像样本，y表示以目标对象的峰值为中心的对应输出，h表示相关滤波器，x∈RT，y∈RT和h∈RD，x[Δτi]表示x的循环位移，K为特征通道的数量，
Figure FDA0003676677510000013
为一个辅助变量，I是一个单位矩阵，
Figure FDA0003676677510000014
表示克罗内克积，^表示denotes离散傅里叶变换，F表示复基向量的正正交矩阵，以映射到任何L维向量信号的傅里叶域，算子T表示共轭转置，
Figure FDA0003676677510000015
3.根据权利要求1所述的基于背景感知相关滤波的飞机跟踪方法，其特征在于，所述利用L2正则化在频域中表示如下：
Figure FDA0003676677510000021
Figure FDA0003676677510000022
其中，λ和η是两个正则化参数，η≥0，用于调整前一帧目标对象在当前帧模型训练中的作用，T表示复数向量或矩阵上的转置算子，以计算共轭转置算子。
4.根据权利要求3所述的基于背景感知相关滤波的飞机跟踪方法，其特征在于，所述
Figure FDA0003676677510000023
的计算方法具体为：
(一)采用增广拉格朗日方法将
Figure FDA0003676677510000024
重写如下：
Figure FDA0003676677510000025
其中,ζ表示复数拉格朗日乘子，
Figure FDA0003676677510000026
μ表示惩罚因子，μ＞0；
(二)使用交替方向乘子法技术迭代求解方程，将重写后的公式划分出如下3个子问题：
Figure FDA0003676677510000027
(三)分别针对三个子问题进行求解：
(1)对h求解：
Figure FDA0003676677510000031
其中，g和ζ分别表示为
Figure FDA0003676677510000032
Figure FDA0003676677510000033
(2)
Figure FDA0003676677510000034
分解为独立的子问题求解：
Figure FDA0003676677510000035
其中，
Figure FDA0003676677510000036
Figure FDA0003676677510000037
(3)对
Figure FDA0003676677510000038
求解：
Figure FDA0003676677510000039
其中，
Figure FDA00036766775100000310
μ为惩罚因子，μ＝min(μmax,βμ)通过交替方向乘子算法不断更新，μmax代表μ的历史值中的最大值,β表示的缩放因子。
5.根据权利要求1所述的基于背景感知相关滤波的飞机跟踪方法，其特征在于，步骤S4中所述运动估计器为卡尔曼滤波器。
6.根据权利要求5所述的基于背景感知相关滤波的飞机跟踪方法，其特征在于，所述卡尔曼滤波器系统的状态方程和观测方程如下：
Xk＝φx，k-1Xk-1+Wk-1，
Yk＝HkXk+Vk,
其中，Xk和Xk-1分别是系统在时间k和k-1时的状态向量，φx,k-1是系统的状态转换矩阵，Hk是系统的观测矩阵，Wk和Vk是继高斯矩阵之后的噪声矩阵具有协方差矩阵Qk和Rk的分布；
选择状态向量为xk＝[xsk,ysk,xvk,yvk]，其中xsk和ysk分别是物体在时间k时的水平和垂直位置，xvk和yvk分别是物体在时间k时的水平和垂直速度；
状态转换矩阵表示如下：
Figure FDA0003676677510000041
观测向量为Yk＝[xwk,ywk]，表示在时间k时观察到的物体位置，Hk表示为：
Figure FDA0003676677510000042
运动状态估计值如下所示：
Figure FDA0003676677510000043
Figure FDA0003676677510000044
Figure FDA0003676677510000045
Figure FDA0003676677510000046
Pk+1＝(I-Kk+1Hk+1)Pk+1,k，
其中，
Figure FDA0003676677510000047
为最优状态估计，K为KF增益矩阵，Q和R为噪声的协方差矩阵；
利用假设运动状态模拟真实运动状态，以在卡尔曼滤波器收敛前估计物体的运动，通过前面一帧的平均位移来估计当前帧中对象的速度，对象在当前帧中的位置可以使用速度和对象在前一帧中的位置来估计，运动状态估计值通过如下方程描述：
Figure FDA0003676677510000051
Figure FDA0003676677510000052
Pt＝ASt-1n，
其中，St-1＝(xt-1,yt-1,Δxt-1,Δyt-1)是对象在t-1时的状态向量，Pt＝(xt,yt)是对象在时间t时的位置向量，A是一个传递矩阵，
Figure FDA0003676677510000053
n为用于估计的帧数，n≥30，通过考虑卫星视频的FPS确定。
7.根据权利要求1所述的基于背景感知相关滤波的飞机跟踪方法，其特征在于，所述平均峰值相关能量的计算方法为：
Figure FDA0003676677510000054
其中，Fmax、Fmin、Fw，h分别表示响应最大值、最小值和(w，h)位置上的响应。
8.根据权利要求1所述的基于背景感知相关滤波的飞机跟踪方法，其特征在于，所述满足高置信度的判断方法为：
在当前第t帧，只有当ymax和EAPCE的值都以一定比例α和β超过历史均值时，才判定目标中心位置具有高置信度，即需要同时满足以下2个条件：
Figure FDA0003676677510000055
计算完Fi，max和APCEj保存在相应集合Sy和SE中，作为下一次判断时的历史值之一。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如权利要求1-8任意一项所述的基于背景感知相关滤波的飞机跟踪方法。
10.一种电子设备，其特征在于，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如权利要求1-8任意一项所述的基于背景感知相关滤波的飞机跟踪方法。
CN202210620883.0A 2022-06-02 2022-06-02 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备 Pending CN115082519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210620883.0A CN115082519A (zh) 2022-06-02 2022-06-02 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210620883.0A CN115082519A (zh) 2022-06-02 2022-06-02 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN115082519A true CN115082519A (zh) 2022-09-20

Family

ID=83250187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210620883.0A Pending CN115082519A (zh) 2022-06-02 2022-06-02 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN115082519A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117250606A (zh) * 2023-11-07 2023-12-19 浙江宇视科技有限公司 轨迹跟踪方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117250606A (zh) * 2023-11-07 2023-12-19 浙江宇视科技有限公司 轨迹跟踪方法、装置、设备及存储介质
CN117250606B (zh) * 2023-11-07 2024-04-05 浙江宇视科技有限公司 轨迹跟踪方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113012203B (zh) 一种复杂背景下高精度多目标跟踪方法
CN107491742B (zh) 一种长时稳定的无人机目标跟踪方法
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN111127518B (zh) 基于无人机的目标跟踪方法及装置
CN110458877B (zh) 基于仿生视觉的红外与可见光信息融合的导航方法
CN108520497B (zh) 基于距离加权稀疏表达先验的图像复原与匹配一体化方法
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN111326023A (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN113108771A (zh) 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
CN113610141B (zh) 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN113781562B (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN111354022B (zh) 基于核相关滤波的目标跟踪方法及系统
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
US11574480B2 (en) Computerized device for driving assistance
CN114549549B (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN115082519A (zh) 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备
CN113076988B (zh) 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN112465712B (zh) 一种运动模糊星图复原方法及系统
CN112132862B (zh) 一种基于无人机的自适应尺度估计目标跟踪算法
Le et al. Human detection and tracking for autonomous human-following quadcopter
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN113470074B (zh) 一种基于分块判别的自适应时空正则化目标跟踪方法
CN113379787B (zh) 基于3d卷积孪生神经网络和模板更新的目标跟踪方法
CN113112522A (zh) 基于可变形卷积和模板更新的孪生网络目标跟踪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination