CN113516713A - 一种基于伪孪生网络的无人机自适应目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于伪孪生网络的无人机自适应目标跟踪方法，其中，所述方法包括：在视频序列帧的第一帧图像中选取跟踪目标，建立跟踪目标的目标跟踪模型并存入模板库分支，并将模板库分支选出的模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪；读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型；对跟踪目标与候选目标模型的相似度进行判决，计算跟踪目标位置和尺度信息；修正跟踪目标尺度信息；在模板库分支中对当前帧图像的目标模型进行评估，根据评估结果选择是否更新模板库；判断当前帧图像是否为最后一帧图像，若是则结束，若否，则返回。在本发明实施例中，适用于无人机平台搭载，能自适应调整跟踪框的大小。

Description

一种基于伪孪生网络的无人机自适应目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种基于伪孪生网络的无人机自适应目标跟踪方法。

背景技术

无人机目标跟踪是指：基于无人机平台对运动目标进行在线跟踪。在智能交通系统、安防监控系统、农业生产监测等领域有很好的应用前景。一般在线视觉跟踪具有4个基本组成部分：运动模型、特征提取、观测模型、在线更新机制。运动模型描述帧与帧目标运动状态之间的关系，在视频帧中预测目标图像区域，并给出一组可能的候选区域；外观模型在当前帧判决候选图像区域是被跟踪目标的可能性；鉴别性的特征表示目标是目标跟踪的关键之一，在线视觉跟踪算法要求提取的视觉特征既能较好地描述跟踪目标又能快速计算；在线更新机制在跟踪过程中更新外观模型，保证跟踪的鲁棒性。

由于无人机在高空中飞行，无人机自身的运动以及跟踪目标的变化，导致跟踪过程中存在目标尺度变化、背景干扰、初始帧特征模型拟合能力逐渐减弱等问题，这给无人机目标跟踪带来挑战。目前有很多学者通过研究传统的相关滤波算法和孪生网络模型，提出一些端到端、无监督的先进跟踪算法、模型，可以有效缓解这些问题。但这些方法对计算资源要求较高，不适合用在无人机实时跟踪的过程中。

而基于颜色特征的核密度估计方法用于跟踪领域，实现简单，速度较快，对目标的非刚性变化、旋转等挑战都具有较好的鲁棒性。核密度估计方法在应用到目标跟踪上的时候，首先需要在初始帧图像上框选目标模板，框定的窗口大小作为核窗的宽度，然后在目标模板图像中对需要被跟踪的目标进行建模，一般在建模的时候使用颜色直方图作为目标特征，然后选择目标可能移动的区域建立候选模型，同样使用颜色直方图进行建模，得到一系列的候选模板，将目标模板与候选模板进行对比，通过使用某种相似性度量(Bhattacharyya系数)来比较二者之间的相似性，选择相似性最大的候选模板，得到此次迭代的均值漂移向量，并将目标的位置通过该向量转移到候选模板的位置，此为基础开始下一次迭代，直到符合某种收敛条件为止。文志强等人已经证明，基于颜色特征的核密度估计方法在特定的核函数模型下是具有收敛性的。因此，从初始帧开始，图像中心点通过不断地迭代，最终一定会收敛到目标的真实位置从而达到跟踪的目的。但这种方法在跟踪的过程中，模板的核宽一直保持不变，而当目标的大小发生改变或者与摄像机距离发生变化时，新目标的真实核宽可能会发生改变。而且在跟踪过程中始终以第一帧的目标作为目标模型，缺乏必要的模板更新。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于伪孪生网络的无人机自适应目标跟踪方法，适用于无人机平台搭载，能自适应调整跟踪框的大小，并解决跟踪过程中初始帧目标模型特征拟合能力逐渐减弱的问题，增强跟踪的准确性和鲁棒性。

为了解决上述技术问题，本发明实施例提供了一种基于伪孪生网络的无人机自适应目标跟踪方法，所述方法包括：

在视频序列帧的第一帧图像中选取跟踪目标，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型；

将第一帧图像的目标跟踪模型存入模板库分支，并将模板库分支选出的模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪；

读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型；

利用背景像素权重对跟踪目标与候选目标模型的相似度进行判决，并进行迭代计算当前帧图像的跟踪目标位置和尺度信息；

对当前帧图像的跟踪目标进行正则项修正和后向一致性估计，修正跟踪目标尺度信息；

将当前帧图像跟踪到的目标模型输入模板库分支中，在模板库分支中对当前帧图像的目标模型进行评估，根据评估结果选择是否更新模板库；

判断当前帧图像是否为最后一帧图像，若是则结束，若否，则根据评估结果选出下一帧图像的目标模型，返回读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型步骤。

可选的，所述在视频序列帧的第一帧图像中选取跟踪目标，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型，包括：

在所述视频序列帧的第一帧图像中选取跟踪目标，并确定所述跟踪目标的位置和尺度信息；

计算所述跟踪目标周围颜色分布的核密度估计函数，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型。

可选的，所述计算所述跟踪目标周围颜色分布的核密度估计函数，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型，包括：

假设跟踪过程中跟踪目标在每帧图像的尺寸都是变化的，跟踪目标在每帧图像中由椭圆区域进行表示，用ξ(x_i,y,h)表示跟踪目标区域的椭圆方程，即：

则第一帧图像的跟踪目标的目标跟踪模型

如下：

其中，C表示归一化常数；{x_i}_i＝1,...,N表示样本框内的像素位置；

用来统计跟踪目标区域中像素信息，若像素点x_i属于第u个颜色特征，则该部分值为1，否则为0；δ[.]用于判断处于位置x_i的像素值是否属于特征空间中的第u个bin；b(.)用于将x_i位置的像素点与该像素点在量化特征空间中所属的bin值对应起来；ξ(.)表示跟踪目标区域的椭圆方程；h表示尺度系数；y表示候选跟踪目标的中心位置；k表示所用核函数；a和b均为椭圆方程的轴长系数。

可选的，所述将第一帧图像的目标跟踪模型存入模板库分支中，定义第t帧时的模板库为

其中，

表示第t帧时模板库内的第i个模板，

表示对应第i个模板在第t帧前成功跟踪的次数；

表示模板库内存储第i个模板与最新加入的模板的相似度；ρ为衡量两个向量之间的Bhattacharyya系数的样本估计，即衡量两个模型的相似程度；每当有新模板加入时，该系数进行更新，新加入的模板该系数为1，N_t为第t帧时模板数量；

将模板库内的平均标注定义为

在未被标记的模板中选用评价得分最高的模板

输入跟踪分支作为跟踪目标模型

设置初始变量a←1。

可选的，所述读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型

如下：

其中，y＝(y¹,y²)^T表示当前帧跟踪目标候选的中心位置；h表示跟踪目标候选相对上一帧跟踪目标样本框大小的尺寸比例，对于给定的核函数以及可变的尺度系数h；C_h通过以下方式近似，令n₁表示目标跟踪模型区域中的像素数，n_h表示尺度系数为h的跟踪目标候选区域的像素数，且n_h＝h²n₁；根据黎曼积分的定义，即有：

因此，

且对于任意两个值h₀，h₁，有

a和b均为椭圆方程的轴长系数。

可选的，所述背景像素权重为利用跟踪目标与候选目标之间的背景比例权重；计算如下：

其中，

表示候选模型,

表示目标模型，

表示跟踪目标周围领域的背景直方图；ρ为衡量两个向量之间相似度的Bhattacharyya系数，用来衡量两个模型的相似程度，如果不符合收敛条件，则通过计算得到均值漂移向量，如下：

其中，w_i为权重函数，表示每个像素特征的权重，即：

其中，G表示所有选用的核函数；g(.)表示其轮廓函数；将候选目标位置漂移到新的位置，依次为基础开始下一次迭代，直至符合收敛条件位置，依次可以得到跟踪目标的位置，如下：

以及对应的尺度如下：

其中，y₀表示上一帧目标的中心位置，也是当前帧开始进行搜索的位置；

表示背景在颜色直方图u区间的概率值；w_i表示第i个像素特征的权重。

可选的，所述对当前帧图像的跟踪目标进行正则项修正和后向一致性估计，修正跟踪目标尺度信息如下：

加入正则项rs(y,h)进行反向变化，如下：

考虑跟踪目标图像尺寸较小，尺度变化也较小的情况，而自相似对象的尺度不确定通常会导致尺度的低估和跟踪识别，因此，强调搜索窗口包含一部分背景像素扩大样本框尺度，即通过加入正则项实现，如下：

其中，(y,h)表示位置和尺度因子；θ表示定义搜索窗口中应该包含的加权背景像素的百分比，b₁，b₂均为由实验得出的判决门限；其中θ＝0.5，b₁＝0.1，b₂＝0.05；函数相应均在设定区间内；加权背景像素的百分比为：

由于当前帧的位置y_t和估计尺度参数h_t进行反向跟踪得到前一帧估计位置y_back和估计尺度参数h_back；将h_back和h_t进行一致性验证，即Θ_c＝|log₂(h_t·h_back)|；若检测到前后尺度估计一致时，即有Θ_c<0.1；则跟踪目标尺度将是三个部分的加权组合：前一帧的尺寸s_t-1、新的估计尺寸s_t和第一帧时目标的尺度s₀；即有：

s_t ²＝(1-α-β)s_t-1+βhs_t-1+αs₀；

其中，

σ，β为实验得出的参数，其中σ＝0.1，β＝0.1。

可选的，所述根据评估结果选择是否更新模板库，包括：

在模板库内剩余的模板中选出模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪，直到

或a>N_t，

为跟踪到的第t帧目标特征模型

与模板库内选用模板

的相似度；N_t为第t帧时模板库内模板数；若

则说明此模板跟踪准确，不需要对模板库进行跟新；

更新

若

时，选择ρ_s最大的值

对应的跟踪目标特征模型

加入模板库：若N_t<N，N为模板库内模板数目上限；N_t←N_t+1，

更新

若N_t＝N时，将

输入模板库，更新

找到除作为目标模型的模板外

最大的

进行替换，

在本发明实施例中，通过实施本发明中的方法，可以适用于无人机平台搭载，能自适应调整跟踪框的大小，并解决跟踪过程中初始帧目标模型特征拟合能力逐渐减弱的问题，增强跟踪的准确性和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于伪孪生网络的无人机自适应目标跟踪方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

请参阅图1，图1是本发明实施例中的基于伪孪生网络的无人机自适应目标跟踪方法的流程示意图。

如图1所示，一种基于伪孪生网络的无人机自适应目标跟踪方法，所述方法包括：

S11：在视频序列帧的第一帧图像中选取跟踪目标，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型；

在本发明具体实施过程中，所述在视频序列帧的第一帧图像中选取跟踪目标，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型，包括：在所述视频序列帧的第一帧图像中选取跟踪目标，并确定所述跟踪目标的位置和尺度信息；计算所述跟踪目标周围颜色分布的核密度估计函数，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型。

进一步的，所述计算所述跟踪目标周围颜色分布的核密度估计函数，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型，包括：

假设跟踪过程中跟踪目标在每帧图像的尺寸都是变化的，跟踪目标在每帧图像中由椭圆区域进行表示，用ξ(x_i,y,h)表示跟踪目标区域的椭圆方程，即：

则第一帧图像的跟踪目标的目标跟踪模型

如下：

其中，C表示归一化常数；{x_i}_i＝1,...,N表示样本框内的像素位置；

用来统计跟踪目标区域中像素信息，若像素点x_i属于第u个颜色特征，则该部分值为1，否则为0；δ[.]用于判断处于位置x_i的像素值是否属于特征空间中的第u个bin；b(.)用于将x_i位置的像素点与该像素点在量化特征空间中所属的bin值对应起来；ξ(.)表示跟踪目标区域的椭圆方程；h表示尺度系数；y表示候选跟踪目标的中心位置；k表示所用核函数；a和b均为椭圆方程的轴长系数。

具体的，在本发明中，伪孪生网络不再使用两个具有相同参数的神经网络对进行特征提取，而是通过核密度估计对目标特征进行表述。其中，一个分支执行模板库更新及模板选用任务，另一分支执行目标跟踪任务。跟踪分支输出目标在每一帧的位置和尺寸信息，实现对目标的跟踪，并把跟踪得到的目标模型输入模板库分支进行处理。模板库分支完成目标特征模型在跟踪过程中选择性存储任务。并对模板库内的模板进行评分，选择恰当的模板输入跟踪分支作为后续跟踪的目标特征模型。

在跟踪过程中，通过颜色特征的核密度估计对目标进行跟踪。假设跟踪过程中跟踪目标在每帧图像的尺寸都是变化的。跟踪目标在图像中由椭圆形区域表示，用ξ(x_i,y,h₀)表示跟踪目标区域的椭圆方程，{x_i}_i＝1,...,N是当前帧的像素位置，y为目标候选者中心位置，h为尺度系数。即：

则第一帧图像的跟踪目标的目标跟踪模型

如下：

其中，C表示归一化常数；{x_i}_i＝1,...,N表示样本框内的像素位置；

用来统计跟踪目标区域中像素信息，若像素点x_i属于第u个颜色特征，则该部分值为1，否则为0；δ[.]用于判断处于位置x_i的像素值是否属于特征空间中的第u个bin；b(.)用于将x_i位置的像素点与该像素点在量化特征空间中所属的bin值对应起来；ξ(.)表示跟踪目标区域的椭圆方程；h表示尺度系数；y表示候选跟踪目标的中心位置；k表示所用核函数；a和b均为椭圆方程的轴长系数。

S12：将第一帧图像的目标跟踪模型存入模板库分支，并将模板库分支选出的模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪；

在本发明具体实施过程中，所述将第一帧图像的目标跟踪模型存入模板库分支中，定义第t帧时的模板库为

其中，

表示第t帧时模板库内的第i个模板，

表示对应第i个模板在第t帧前成功跟踪的次数；

表示模板库内第i个存储模板与最新加入的模板的相似度；ρ为衡量两个向量之间的Bhattacharyya系数的样本估计，即衡量两个模型的相似程度；每当有新模板加入时，该系数进行更新，新加入的模板该系数为1，N_t为第t帧时模板数量；

将模板库内的平均标注定义为

在未被标记的模板中选用评价得分最高的模板

输入跟踪分支作为跟踪目标模型

设置初始变量a←1。

即通过将第一帧图像的目标跟踪模型存入模板库分支，并将模板库分支选出的模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪。

S13：读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型；

在本发明具体实施过程中，所述读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型

如下：

其中，y＝(y¹,y²)^T表示当前帧跟踪目标候选的中心位置；h表示跟踪目标候选相对上一帧跟踪目标样本框大小的尺寸比例，对于给定的核函数以及可变的尺度系数h；C_h通过以下方式近似，令n₁表示目标跟踪模型区域中的像素数，n_h表示尺度系数为h的跟踪目标候选区域的像素数，且n_h＝h²n₁；根据黎曼积分的定义，即有：

因此，

且对于任意两个值h₀，h₁，有

a和b均为椭圆方程的轴长系数。

具体的，在读入下一帧图像，以上一帧图像的跟踪目标的中小位置建立后续目标模型时，当前帧的跟踪目标的候选模型可以表达为：

其中，y＝(y¹,y²)^T表示当前帧跟踪目标候选的中心位置；h表示跟踪目标候选相对上一帧跟踪目标样本框大小的尺寸比例，对于给定的核函数以及可变的h；C_h通过以下方式近似，令n₁表示目标跟踪模型区域中的像素数，n_h表示尺寸为h的跟踪目标候选区域的像素数，且n_h＝h²n₁；根据黎曼积分的定义，即有：

因此，

且对于任意两个值h₀，h₁，有

a和b均为椭圆方程的轴长系数。

S14：利用背景像素权重对跟踪目标与候选目标模型的相似度进行判决，并进行迭代计算当前帧图像的跟踪目标位置和尺度信息；

在本发明具体实施过程中，所述背景像素权重为利用跟踪目标与候选目标之间的背景比例权重；计算如下：

其中，

表示跟踪目标周围领域的背景直方图；ρ为衡量两个向量之间的Bhattacharyya系数，用来衡量两个模型的相似程度，如果不符合收敛条件，则通过计算得到均值漂移向量，如下：

其中，w_i表示第i个像素特征的权重，即：

其中，G表示所有选用的核函数；g(.)表示其轮廓函数；将候选目标位置漂移到新的位置，依次为基础开始下一次迭代，直至符合收敛条件位置，依次可以得到跟踪目标的位置，如下：

以及对应的尺度如下：

其中，y₀表示上一帧目标的中心位置，也是当前帧开始进行搜索的位置；

表示背景在颜色直方图u区间的概率值；w_i表示第i个像素特征的权重。

具体的，在此采用巴氏系数来衡量跟踪目标概率分布q＝{q_u}_u＝1...m，和候选目标的概率分布{p_u(h)}_u＝1..m的差异性，即：

当两个概率分布之间的巴氏系数最大时，两者相似度最高，因此应沿梯度上升方向得到ρ(y,h)函数的最大值。在上述过程中，候选目标区域经过多次迭代计算从当前位置y₀沿

方向迭代移动得到新位置y₁，并得到新的目标尺度参数h₁。

背景像素权重为利用跟踪目标与候选目标之间的背景比例权重；计算如下：

其中，

表示跟踪目标周围领域的背景直方图；ρ为衡量两个向量之间的Bhattacharyya系数，用来衡量两个模型的相似程度，如果不符合收敛条件，则通过计算得到均值漂移向量，如下：

其中，w_i表示第i个像素特征的权重，即：

其中，G表示所有选用的核函数；g(.)表示其轮廓函数；将候选目标位置漂移到新的位置，依次为基础开始下一次迭代，直至符合收敛条件位置，依次可以得到跟踪目标的位置，如下：

以及对应的尺度如下：

其中，y₀表示上一帧目标的中心位置，也是当前帧开始进行搜索的位置；

表示背景在颜色直方图u区间的概率值；w_i表示第i个像素特征的权重。

S15：对当前帧图像的跟踪目标进行正则项修正和后向一致性估计，修正跟踪目标尺度信息；

在本发明具体实施过程中，所述对当前帧图像的跟踪目标进行正则项修正和后向一致性估计，修正跟踪目标尺度信息如下：

加入正则项rs(y,h)进行反向变化，如下：

考虑跟踪目标图像尺寸较小，尺度变化也较小的情况，而自相似对象的尺度不确定通常会导致尺度的低估和跟踪识别，因此，强调搜索窗口包含一部分背景像素扩大样本框尺度，即通过加入正则项实现，如下：

其中，(y,h)表示位置和尺度因子；θ表示定义搜索窗口中应该包含的加权背景像素的百分比，b₁，b₂均为由实验得出的判决门限；其中θ＝0.5，b₁＝0.1，b₂＝0.05；函数相应均在设定区间内；加权背景像素的百分比为：

由于当前帧的位置y_t和估计尺度参数h_t进行反向跟踪得到前一帧估计位置y_back和估计尺度参数h_back；将h_back和h_t进行一致性验证，即Θ_c＝|log₂(h_t·h_back)|；若检测到前后尺度估计一致时，即有Θ_c<0.1；则跟踪目标尺度将是三个部分的加权组合：前一帧的尺寸s_t-1、新的估计尺寸s_t和第一帧时目标的尺度s₀；即有：

s_t ²＝(1-α-β)s_t-1+βhs_t-1+αs₀；

其中，

σ，β为实验得出的参数，其中σ＝0.1，β＝0.1。

具体的，将尺度估计引入后我们发现：在存在较复杂背景的情况下，尺度估计错误不具有“自我纠正”功能，因此需要引入修正和检测机制。在跟踪过程中，视频序列帧到帧之间目标图像的尺度随时间持续变化，由于相邻帧时间间隔较小，通常相邻两帧之间的目标图像尺度不会剧烈变化。考虑估计尺度逐渐变大的情况，加入一个正则项rs(y,h)进行反向变化；如下：

考虑跟踪目标图像尺寸较小，尺度变化也较小的情况，而自相似对象的尺度不确定通常会导致尺度的低估和跟踪识别，因此，强调搜索窗口包含一部分背景像素扩大样本框尺度，即通过加入正则项实现，如下：

其中，(y,h)表示位置和尺度因子；θ表示定义搜索窗口中应该包含的加权背景像素的百分比，b₁，b₂均为由实验得出的判决门限；其中θ＝0.5，b₁＝0.1，b₂＝0.05；函数相应均在设定区间内；加权背景像素的百分比为：

由于当前帧的位置y_t和估计尺度参数h_t进行反向跟踪得到前一帧估计位置y_back和估计尺度参数h_back；将h_back和h_t进行一致性验证，即Θ_c＝|log₂(h_t·h_back)|；若检测到前后尺度估计一致时，即有Θ_c<0.1；则跟踪目标尺度将是三个部分的加权组合：前一帧的尺寸s_t-1、新的估计尺寸s_t和第一帧时目标的尺度s₀；即有：

s_t ²＝(1-α-β)s_t-1+βhs_t-1+αs₀；

其中，

β，σ参数在在测试序列的子集上进行实验得出，以平衡算法的尺度适应性和稳定性，其中σ＝0.1，β＝0.1。

这种方法确保了在引入背景杂波的情况下，尺度估计不会“无限制地增长”，并能验证尺度估计是否合理，使跟踪器能够从错误估计中恢复。

S16：将当前帧图像跟踪到的目标模型输入模板库分支中，在模板库分支中对当前帧图像的目标模型进行评估，根据评估结果选择是否更新模板库；

在本发明具体实施过程中，所述根据评估结果选择是否更新模板库，包括：

在模板库内剩余的模板中选出模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪，直到

或a>N_t，

为跟踪到的第t帧目标特征模型

与模板库内选用模板

的相似度；N_t为第t帧时模板库内模板数；若

则说明此模板跟踪准确，不需要对模板库进行跟新；

更新

若

时，选择ρ_s最大的值

对应的跟踪目标特征模型

加入模板库：若N_t<N，N为模板库内模板数目上限；N_t←N_t+1，

更新

若N_t＝N时，将

输入模板库，更新

找到除作为目标模型的模板外

最大的

进行替换，

具体的，通过将当前帧图像跟踪到的目标模型输入模板库分支中，在模板库分支中对当前帧图像的目标模型进行评估，根据评估结果选择是否更新模板库，具体如下：

在模板库内剩余的模板中选出模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪，直到

或a>N_t，

为跟踪到的第t帧目标特征模型

与模板库内选用模板

的相似度；N_t为第t帧时模板库内模板数；若

则说明此模板跟踪准确，不需要对模板库进行跟新；

更新

若

时，选择ρ_s最大的值

对应的跟踪目标特征模型

加入模板库：若N_t<N，N为模板库内模板数目上限；N_t←N_t+1，

更新

若N_t＝N时，将

输入模板库，更新

找到除作为目标模型的模板外

最大的

进行替换，

S17：判断当前帧图像是否为最后一帧图像；

S18：若是则结束，若否，则根据评估结果选出下一帧图像的目标模型，返回读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型步骤。

在本发明实施例中，通过实施本发明中的方法，可以适用于无人机平台搭载，能自适应调整跟踪框的大小，并解决跟踪过程中初始帧目标模型特征拟合能力逐渐减弱的问题，增强跟踪的准确性和鲁棒性。

在本发明实施例中，通过实施本发明中的方法，可以适用于无人机平台搭载，能自适应调整跟踪框的大小，并解决跟踪过程中初始帧目标模型特征拟合能力逐渐减弱的问题，增强跟踪的准确性和鲁棒性。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于伪孪生网络的无人机自适应目标跟踪方法进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于伪孪生网络的无人机自适应目标跟踪方法，其特征在于，所述方法包括：

在视频序列帧的第一帧图像中选取跟踪目标，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型；

将第一帧图像的目标跟踪模型存入模板库分支，并将模板库分支选出的模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪；

读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型；

利用背景像素权重对跟踪目标与候选目标模型的相似度进行判决，并进行迭代计算当前帧图像的跟踪目标位置和尺度信息；

对当前帧图像的跟踪目标进行正则项修正和后向一致性估计，修正跟踪目标尺度信息；

将当前帧图像跟踪到的目标模型输入模板库分支中，在模板库分支中对当前帧图像的目标模型进行评估，根据评估结果选择是否更新模板库；

判断当前帧图像是否为最后一帧图像，若是则结束，若否，则根据评估结果选出下一帧图像的目标模型，返回读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型步骤。

2.根据权利要求1所述的无人机自适应目标跟踪方法，其特征在于，所述在视频序列帧的第一帧图像中选取跟踪目标，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型，包括：

在所述视频序列帧的第一帧图像中选取跟踪目标，并确定所述跟踪目标的位置和尺度信息；

计算所述跟踪目标周围颜色分布的核密度估计函数，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型。

3.根据权利要求2所述的无人机自适应目标跟踪方法，其特征在于，所述计算所述跟踪目标周围颜色分布的核密度估计函数，并基于伪孪生网络建立所述跟踪目标的目标跟踪模型，包括：

假设跟踪过程中跟踪目标在每帧图像的尺寸都是变化的，跟踪目标在每帧图像中由椭圆区域进行表示，用ξ(x_i，y，h)表示跟踪目标区域的椭圆方程，即：

则第一帧图像的跟踪目标的目标跟踪模型

如下：

其中，C表示归一化常数；{x_i}_{i＝1，...，N}表示样本框内的像素位置；

用来统计跟踪目标区域中像素信息，若像素点x_i属于第u个颜色特征，则该部分值为1，否则为0；δ[.]用于判断处于位置x_i的像素值是否属于特征空间中的第u个bin；b(.)用于将x_i位置的像素点与该像素点在量化特征空间中所属的bin值对应起来；ξ(.)表示跟踪目标区域的椭圆方程；h表示尺度系数；y表示候选跟踪目标的中心位置；k表示所用核函数；a和b均为椭圆方程的轴长系数。

4.根据权利要求1所述的无人机自适应目标跟踪方法，其特征在于，所述将第一帧图像的目标跟踪模型存入模板库分支中，定义第t帧时的模板库为

其中，

表示第t帧时模板库内的第i个模板，

表示对应第i个模板在第t帧前成功跟踪的次数；

表示模板库内存储第i个模板与最新加入的模板的相似度；ρ为衡量两个向量之间的Bhattacharyya系数的样本估计，即衡量两个模型的相似程度；每当有新模板加入时，该系数进行更新，新加入的模板该系数为1，N_t为第t帧时模板数量；

将模板库内的平均标注定义为

在未被标记的模板中选用评价得分最高的模板

输入跟踪分支作为跟踪目标模型

设置初始变量a←1。

5.根据权利要求1所述的无人机自适应目标跟踪方法，其特征在于，所述读入下一帧图像，以上一帧图像的跟踪目标的中心位置建立候选目标模型

如下：

其中，y＝(y¹，y²)^T表示当前帧跟踪目标候选的中心位置；h表示跟踪目标候选相对上一帧跟踪目标样本框大小的尺寸比例，对于给定的核函数以及可变的尺度系数h；C_h通过以下方式近似，令n₁表示目标跟踪模型区域中的像素数，n_h表示尺度系数为h的跟踪目标候选区域的像素数，且n_h＝h²n₁；根据黎曼积分的定义，即有：

因此，

且对于任意两个值h₀，h₁，有

a和b均为椭圆方程的轴长系数。

6.根据权利要求1所述的无人机自适应目标跟踪方法，其特征在于，所述背景像素权重为利用跟踪目标与候选目标之间的背景比例权重；计算如下：

其中，

表示候选模型，

表示目标模型，

表示跟踪目标周围领域的背景直方图；ρ为衡量两个向量之间相似度的Bhattacharyya系数，用来衡量两个模型的相似程度，如果不符合收敛条件，则通过计算得到均值漂移向量，如下：

其中，w_i为权重函数，表示第i个像素特征的权重，即：

其中，G表示所有选用的核函数；g(.)表示其轮廓函数；将候选目标位置漂移到新的位置，依次为基础开始下一次迭代，直至符合收敛条件位置，依次可以得到跟踪目标的位置，如下：

以及对应的尺度如下：

其中，y₀表示上一帧目标的中心位置，也是当前帧开始进行搜索的位置；

表示背景在颜色直方图u区间的概率值；w_i表示第i个像素特征的权重。

7.根据权利要求1所述的无人机自适应目标跟踪方法，其特征在于，所述对当前帧图像的跟踪目标进行正则项修正和后向一致性估计，修正跟踪目标尺度信息如下：

加入正则项rs(y，h)进行反向变化，如下：

考虑跟踪目标图像尺寸较小，尺度变化也较小的情况，而自相似对象的尺度不确定通常会导致尺度的低估和跟踪识别，因此，强调搜索窗口包含一部分背景像素扩大样本框尺度，即通过加入正则项实现，如下：

其中，(y，h)表示位置和尺度因子；θ表示定义搜索窗口中应该包含的加权背景像素的百分比，b₁，b₂均为由实验得出的判决门限；其中θ＝0.5，b₁＝0.1，b₂＝0.05；函数相应均在设定区间内；加权背景像素的百分比为：

由于当前帧的位置y_t和估计尺度参数h_t进行反向跟踪得到前一帧估计位置y_back和估计尺度参数h_back；将h_back和h_t进行一致性验证，即Θ_c＝|log₂(h_t·h_back)|；若检测到前后尺度估计一致时，即有Θ_c＜0.1；则跟踪目标尺度将是三个部分的加权组合：前一帧的尺寸s_t-1、新的估计尺寸s_t和第一帧时目标的尺度s₀；即有：

s_t ²＝(1-α-β)s_t-1+βhs_t-1+αs₀；

其中，

σ，β为实验得出的参数，其中σ＝0.1，β＝0.1。

8.根据权利要求1所述的无人机自适应目标跟踪方法，其特征在于，所述根据评估结果选择是否更新模板库，包括：

在模板库内剩余的模板中选出模板作为跟踪分支下一帧图像的目标跟踪模型进行目标跟踪，直到

或a＞N_t，

为跟踪到的第t帧目标特征模型

与模板库内选用模板

的相似度；N_t为第t帧时模板库内模板数；若

则说明此模板跟踪准确，不需要对模板库进行跟新；

更新

若

时，选择ρ_s最大的值

对应的跟踪目标特征模型

加入模板库：若N_t＜N，N为模板库内模板数目上限；N_t←N_t+1，

更新

若N_t＝N时，将

输入模板库，更新

找到除作为目标模型的模板外

最大的

进行替换，

Images