CN109740448A - 基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法 - Google Patents

Abstract

本发明涉及一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，通过使用基于相关滤波和图像分割的跟踪方法，结合方向梯度直方图特征和颜色属性特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标当发生遮挡或者旋转等情况而发生外观变化时，本发明利用图像分割操作周期性地调整目标的外观；另外，本发明利用基于SI的策略实现高置信度的模型更新策略，使相关滤波模型更加鲁棒，而且，本发明能有效地满足航拍视频跟踪对算法实时性的要求。

Description

基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法

技术领域

本发明涉及一种目标跟踪方法，属计算机视觉领域。

背景技术

目前，航拍视频跟踪技术已经在军事领域和民事领域得到广泛的应用。相对于固定平台或者手持设备拍摄的视频，航拍视频具有自身特有的性质。首先，摄像机随无人机一同做高速运动，航拍视频序列图像间存在平移、旋转等变换，且视频中场景复杂多变，目标极易受到遮挡、噪声等干扰；另外，无人机的飞行高度对目标的尺寸会造成很大影响，这些都对航拍视频处理带来了巨大的挑战。近年来，基于相关滤波的跟踪方法大量涌现，并展现了良好的跟踪性能，尤其在处理速度方面可以满足航拍视频目标跟踪问题对实时性的要求，但是，当目标发生旋转或者尺度变化时，大部分传统的基于相关滤波的跟踪算法无法改变跟踪结果的长宽比，以及无法自适应地调整目标的外观，且容易导致引入背景杂质，造成相关滤波模型不稳定。

发明内容

要解决的技术问题

针对航拍视频中由于运动目标发生旋转或者遮挡，而导致其外观(长宽比、尺度等)发生变化、模型不稳定的问题，本发明设计一种鲁棒、高效的航拍视频目标跟踪方法。

技术方案

一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w₁,h₁]，其中(x₁,y₁)表示第一帧目标中心P₁的横坐标和纵坐标，[w₁,h₁]表示目标初始的宽和高，将Flag置为0；其中，Flag为判断是否要更新目标外观的标志位，将目标的尺度记为scale，初始化为1；

步骤2：以目标初始位置中心点(x₁,y₁)为中心，M、N为边长，采样一个目标区域R，对R提取d维特征图x_target，其中，维度d的构成包括31维方向梯度直方图特征加11维颜色属性特征，根据x_target构造最优相关滤波器 在频域上的表示称为目标模型，计算方法如下：

其中，如果不加特殊说明，各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ₁分别为滤波器U_target ^l的分子和分母，与等价，λ₁为调整参数；在后续操作中，只需要更新A^l、B+λ₁即可更新目标模型l表示维度的索引，l∈{1,...,d}；

步骤3：以目标初始位置中心点x₁,y₁为中心提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,0.8,0.9,1.0,1.1,1.2,1.3,1.4]，然后通过上采样，即当s<1或降采样，即当s>1将图像块缩放到[M,N]的大小，并且按照步骤2的方法分别提取每个子块的特征图，然后将各个特征图矩阵连接之后成为一个S维的特征图，这里将其命名为尺度特征图，记为x_scale，再根据x_scale构建尺度模型U_scale，计算方法与步骤2中计算的过程类似，用尺度特征图替换掉x_target，具体如下：

其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数；

步骤4：读取第k帧图像，k≥2且起始值为2，若k可以整除20，则转步骤6，即每20帧实施一次更新外观模板的操作；否则，在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为[M,N]×scale的目标搜索区域，并缩放为[M,N]大小，然后通过步骤2中的方法提取特征图，命名为Z_target，再利用目标模型计算目标置信图rp_target，计算方法如下：

其中，为傅里叶逆变换，可以得到rp_target中的最大响应值val_target，其对应点：

计算最大响应值位置(x″,y″)与rp_target中心的距离，乘以scale，然后与(x_k-1,y_k-1)相加可以得到新的目标位置(x',y')；

步骤5：在第k帧图像中以(x',y')为中心，提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，并按照步骤3的方法分别提取这些图像子块的尺度特征图Z_scale，利用尺度模型U_scale ^l计算尺度置信图：

更新目标的尺度scale，计算方法如下：

scale'＝re_scale×scale

scale＝scale' (6)

至此，得到了第k帧图像的目标位置(x',y')，更新了目标的尺度scale，以及利用目标模型计算得到的目标置信图rp_target，并转步骤7；

步骤6：在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为(1.2×scale)×[M,N]的目标搜索区域Patch，利用基于Grow Cut的图像分割方法，对Patch进行图像分割处理，并使用3×3的大小的模板块对分割之后得到的二值图进行中值滤波处理得到最终的分割阈值图thre，其中，在Patch中，将以(x_k-1,y_k-1)为中心的3×3的邻域作为目标种子点，以Patch上、下、左、右最边界的像素作为背景种子点；

步骤7：分析thre中包围目标连通域的最小矩形rect，若rect的面积area大于w₁×h₁×(0.81×scale)且小于w₁×h₁×(1.44×scale)，将Flag置为1；否则，继续进行；

步骤8：若Flag为1，则将rect的中心在第k帧图像中的位置作为目标的位置，记为(x_k,y_k)，将rect的尺寸作为目标的大小，记为[w_k,h_k]，并将scale置为1；否则，我们将(x',y')作为第k帧的目标位置，记为(x_k,y_k)，并以[w₁,h₁]×scale作为新的目标大小，记为[w_k,h_k]；

步骤9：在第k帧中第以(x_k,y_k)为中心，w_k、h_k为宽和高标示出目标的位置，并提取大小为(2.5×w_k)×(2.5×h_k)的区域，并将其缩放为M×N大小，按照步骤2中的方法对该区域提取特征图，命名为zn_target，同样，也能够提取到最优目标尺度对应的尺度特征向量，命名为zn_scale；

若Flag为0，则首先按照如下方式计算rp_target的稳定性评价指数：

如果SI的值小于30，则不更新当前模型，否则按照如下的加权平均的方式更新和U_scale：

其中，η、β为每个模型的学习率；

若Flag为1，按照下式重新初始化：

步骤10：判断是否处理完所有图像，如果是则结束；否则转回步骤4。

步骤2中的M＝2.5×w₁,N＝2.5×h₁。

步骤2中的λ₁取0.010，步骤3中的λ₂设定为0.0001。

步骤3中的S设定为33。

步骤9中的η、β分别取0.025、0.04。

有益效果

本发明通过使用基于相关滤波和图像分割的跟踪方法，结合方向梯度直方图特征和颜色属性特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标当发生遮挡或者旋转等情况而发生外观变化时，本发明利用图像分割操作周期性地调整目标的外观；另外，本发明利用基于SI的策略实现高置信度的模型更新策略，使相关滤波模型更加鲁棒，而且，本发明能有效地满足航拍视频跟踪对算法实时性的要求。

附图说明

图1基于相关滤波和图像分割的航拍视频目标跟踪方法流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

相关滤波的原理是通过傅里叶变换将图像从空间域转换到频域，利用频域的逐像素相乘代替空间域的卷积操作，可以极大地提高运算速度。而图像分割是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的技术和过程。利用图像分割可以得到目标的轮廓，进而更新目标的外观。本发明采用了基于相关滤波的跟踪方法，并通过使用方向梯度直方图(Histogram of Oriented Gradient,HOG)特征与颜色属性(Color Name,CN)特征构建鲁棒的目标模型来预测目标的中心位置。针对目标因发生遮挡或者旋转外观发生变化的问题，本发明使用图像分割的方法周期性地更新目标的外观；另外，本发明采用稳定性评价指数指标来实现高置信度的模型更新策略，使相关滤波模型更加鲁棒。

具体步骤如下：

步骤1读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w₁,h₁]，其中(x₁,y₁)表示第一帧目标中心P₁的横坐标和纵坐标，[w₁,h₁]表示目标初始的宽和高，将Flag置为0；其中，Flag为判断是否要更新目标外观的标志位，将目标的尺度记为scale，初始化为1；

步骤2以目标初始位置中心点(x₁,y₁)为中心，M，N为边长，采样一个目标区域R，其中M＝2.5×w₁,N＝2.5×h₁。对R提取d维特征图x_target，其中，维度d的构成包括31维方向梯度直方图特征加11维颜色属性特征，因此，d取42，根据x_target构造最优相关滤波器 在频域上的表示称为目标模型，计算方法如下：

其中，如果不加特殊说明，各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ₁分别为滤波器U_target ^l的分子和分母，λ₁为调整参数，取0.010，与等价，在后续操作中，只需要更新A^l、B+λ₁即可更新目标模型l表示维度的索引，l∈{1,...,d}；

步骤3以目标初始位置中心点x₁,y₁为中心提取S个不同尺度的图像子块，S设定为33，每个子块的大小为scale×[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,0.8,0.9,1.0,1.1,1.2,1.3,1.4]，然后通过上采样(当s<1)或降采样(当s>1)将图像块缩放到[M,N]的大小，并且按照步骤二的方法分别提取每个子块的特征图，然后将各个特征图矩阵连接之后成为一个S维的特征图，这里将其命名为尺度特征图，记为x_scale，再根据x_scale构建尺度模型U_scale，计算方法与步骤2中计算的过程类似，用尺度特征图替换掉x_target，具体如下：

其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数，设定为0.0001；

步骤4读取第k帧图像(k≥2且起始值为2)，若k可以整除20，则转步骤6，即我们每20帧实施一次更新外观模板的操作；否则，在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为[M,N]×scale的目标搜索区域，并缩放为[M,N]大小，然后通过步骤2中的方法提取特征图，命名为Z_target，再利用目标模型计算目标置信图rp_target，计算方法如下：

其中，为傅里叶逆变换。可以得到rp_target中的最大响应值val_target，其对应点：

计算最大响应值位置(x″,y″)与rp_target中心的距离，乘以scale，然后与(x_k-1,y_k-1)相加可以得到新的目标位置(x',y')；

步骤5在第k帧图像中以(x',y')为中心，提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，并按照步骤3的方法分别提取这些图像子块的尺度特征图Z_scale，利用尺度模型U_scale ^l计算尺度置信图：

更新目标的尺度scale，计算方法如下：

至此，我们得到了第k帧图像的目标位置(x',y')，更新了目标的尺度scale，以及利用目标模型计算得到的目标置信图rp_target，并转步骤7；

步骤6在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为(1.2×scale)×[M,N]的目标搜索区域Patch，利用基于Grow Cut的图像分割方法，对Patch进行图像分割处理，并使用3×3的大小的模板块对分割之后得到的二值图进行中值滤波处理得到最终的分割阈值图thre，其中，在Patch中，我们将以(x_k-1,y_k-1)为中心的3×3的邻域作为目标种子点，以Patch上、下、左、右最边界的像素作为背景种子点；

步骤7分析thre中包围目标连通域的最小矩形rect，若rect的面积area大于w₁×h₁×(0.81×scale)且小于w₁×h₁×(1.44×scale)，将Flag置为1；否则，继续进行；

步骤8若Flag为1，则我们将rect的中心在第k帧图像中的位置作为目标的位置，记为(x_k,y_k)，将rect的尺寸作为目标的大小，记为[w_k,h_k]，并将scale置为1；否则，我们将(x',y')作为第k帧的目标位置，记为(x_k,y_k)，并以[w₁,h₁]×scale作为新的目标大小，记为[w_k,h_k]；

步骤9在第k帧中第以(x_k,y_k)为中心，w_k、h_k为宽和高标示出目标的位置，并提取大小为(2.5×w_k)×(2.5×h_k)的区域，并将其缩放为M×N大小，按照步骤2中的方法对该区域提取特征图，命名为zn_target，同样，也能够提取到最优目标尺度对应的尺度特征向量，命名为zn_scale；

若Flag为0，则首先按照如下方式计算rp_target的稳定性评价指数(StabilityIndictor,SI)：

如果SI的值小于30，则不更新当前模型，否则按照如下的加权平均的方式更新和U_scale：

其中，η、β为每个模型的学习率，分别取0.025、0.04；

若Flag为1，按照下式重新初始化：

步骤10判断是否处理完所有图像，如果是则结束；否则转回步骤4。

Claims (5)

1.一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w₁,h₁]，其中(x₁,y₁)表示第一帧目标中心P₁的横坐标和纵坐标，[w₁,h₁]表示目标初始的宽和高，将Flag置为0；其中，Flag为判断是否要更新目标外观的标志位，将目标的尺度记为scale，初始化为1；

步骤2：以目标初始位置中心点(x₁,y₁)为中心，M、N为边长，采样一个目标区域R，对R提取d维特征图x_target，其中，维度d的构成包括31维方向梯度直方图特征加11维颜色属性特征，根据x_target构造最优相关滤波器在频域上的表示称为目标模型，计算方法如下：

其中，如果不加特殊说明，各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ₁分别为滤波器U_target ^l的分子和分母，与等价，λ₁为调整参数；在后续操作中，只需要更新A^l、B+λ₁即可更新目标模型l表示维度的索引，l∈{1,...,d}；

步骤3：以目标初始位置中心点x₁,y₁为中心提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,0.8,0.9,1.0,1.1,1.2,1.3,1.4]，然后通过上采样，即当s<1或降采样，即当s>1将图像块缩放到[M,N]的大小，并且按照步骤2的方法分别提取每个子块的特征图，然后将各个特征图矩阵连接之后成为一个S维的特征图，这里将其命名为尺度特征图，记为x_scale，再根据x_scale构建尺度模型U_scale，计算方法与步骤2中计算的过程类似，用尺度特征图替换掉x_target，具体如下：

其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数；

步骤4：读取第k帧图像，k≥2且起始值为2，若k可以整除20，则转步骤6，即每20帧实施一次更新外观模板的操作；否则，在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为[M,N]×scale的目标搜索区域，并缩放为[M,N]大小，然后通过步骤2中的方法提取特征图，命名为Z_target，再利用目标模型计算目标置信图rp_target，计算方法如下：

其中，为傅里叶逆变换，可以得到rp_target中的最大响应值val_target，其对应点：

计算最大响应值位置(x”,y”)与rp_target中心的距离，乘以scale，然后与(x_k-1,y_k-1)相加可以得到新的目标位置(x',y')；

步骤5：在第k帧图像中以(x',y')为中心，提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，并按照步骤3的方法分别提取这些图像子块的尺度特征图Z_scale，利用尺度模型U_scale ^l计算尺度置信图：

更新目标的尺度scale，计算方法如下：

scale'＝re_scale×scale

scale＝scale' (6)

至此，得到了第k帧图像的目标位置(x',y')，更新了目标的尺度scale，以及利用目标模型计算得到的目标置信图rp_target，并转步骤7；

步骤6：在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为(1.2×scale)×[M,N]的目标搜索区域Patch，利用基于Grow Cut的图像分割方法，对Patch进行图像分割处理，并使用3×3的大小的模板块对分割之后得到的二值图进行中值滤波处理得到最终的分割阈值图thre，其中，在Patch中，将以(x_k-1,y_k-1)为中心的3×3的邻域作为目标种子点，以Patch上、下、左、右最边界的像素作为背景种子点；

步骤7：分析thre中包围目标连通域的最小矩形rect，若rect的面积area大于w₁×h₁×(0.81×scale)且小于w₁×h₁×(1.44×scale)，将Flag置为1；否则，继续进行；

步骤8：若Flag为1，则将rect的中心在第k帧图像中的位置作为目标的位置，记为(x_k,y_k)，将rect的尺寸作为目标的大小，记为[w_k,h_k]，并将scale置为1；否则，我们将(x',y')作为第k帧的目标位置，记为(x_k,y_k)，并以[w₁,h₁]×scale作为新的目标大小，记为[w_k,h_k]；

步骤9：在第k帧中第以(x_k,y_k)为中心，w_k、h_k为宽和高标示出目标的位置，并提取大小为(2.5×w_k)×(2.5×h_k)的区域，并将其缩放为M×N大小，按照步骤2中的方法对该区域提取特征图，命名为zn_target，同样，也能够提取到最优目标尺度对应的尺度特征向量，命名为zn_scale；

若Flag为0，则首先按照如下方式计算rp_target的稳定性评价指数：

如果SI的值小于30，则不更新当前模型，否则按照如下的加权平均的方式更新和U_scale：

其中，η、β为每个模型的学习率；

若Flag为1，按照下式重新初始化：

步骤10：判断是否处理完所有图像，如果是则结束；否则转回步骤4。

2.根据权利要求1所述的一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤2中的M＝2.5×w₁,N＝2.5×h₁。

3.根据权利要求1所述的一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤2中的λ₁取0.010，步骤3中的λ₂设定为0.0001。

4.根据权利要求1所述的一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤3中的S设定为33。

5.根据权利要求1所述的一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤9中的η、β分别取0.025、0.04。