CN107146240A - 基于相关滤波和显著性检测的航拍视频目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，通过使用基于相关滤波和显著性检测的跟踪方法，结合方向梯度直方图特征和灰度特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标被严重遮挡而导致跟踪失败时，本发明通过重检测机制，可以再次检测到目标，使得目标能够被长时间持续地跟踪；另外，基于剩余谱理论的显著性检测方法计算简便快捷，可以通过较小的计算代价实现对目标的重检测，能有效地满足航拍视频跟踪对算法实时性的要求。

Description

基于相关滤波和显著性检测的航拍视频目标跟踪方法

技术领域

本发明涉及一种基于相关滤波和显著性检测的航拍视频目标跟踪方法

背景技术

目前，航拍视频跟踪技术已经在军事领域和民事领域得到广泛的应用。相对于固定平台或者手持设备拍摄的视频，航拍视频具有自身特有的性质。首先，摄像机随无人机一同做高速运动，航拍视频序列图像间存在平移、旋转等变换，且视频中场景复杂多变，目标极易受到遮挡、噪声等干扰；另外，由于无人机有时在几千米甚至上万米的高空飞行，运动目标在图像中占的比例很小，这些都对航拍视频处理带来了巨大的挑战。近年来，基于相关滤波的跟踪方法大量涌现，并展现了良好的跟踪性能，尤其是该类方法所具有的实时性，可以在一定程度上满足航拍视频跟踪问题的要求。但是，当视频中的目标被严重遮挡时，基于相关滤波的现有方法会产生漂移，容易导致跟踪失败，因此无法对航拍视频进行长时跟踪。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，解决航拍视频中由于运动目标被严重遮挡而造成外观模型漂移，从而易导致跟踪失败的问题。

技术方案

一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据，得到目标所在的初始位置信息[x₁,y₁,w,h]，并赋予该图像数据一个是否要进行重检测的标志位Flag，置为0；其中：x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高；

步骤2：以目标初始位置中心点x₁,y₁确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；对R提取d维特征图，命名为x；

根据x构造最优相关滤波器u^l，u^l在频域上的表示U^l称为目标模板，计算方法如下：

其中：各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ分别为滤波器U^l的分子和分母，λ为调整参数；与U^l等价，在后续操作中，只需要更新A^l、B+λ即可更新目标模板U^l；另外，把第一帧目标模板的分子A^l记作init_A^l，分母中的B记作init_B；l表示维度的索引，l∈{1,...,d}；

因此，λ为调整参数，取0.010

进入下述循环处理步骤，直至跟踪结束：

步骤3：读取第k帧图像，k≥2且起始值为2；判断Flag值是否为1，若是，则转步骤7；否则，在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为M×N的目标搜索区域，若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；然后对目标搜索区域提取d维特征图，命名为z，再利用目标模板U^l计算目标置信图responce，计算下式，

由responce中得到最大响应值mvalue，以及最大响应值对应的坐标(x',y')；

其中，为傅里叶逆变换；

步骤4：当最大响应值mvalue是否大于阈值T₁，将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)，并将标志num_lost置为0，转步骤6；否则，num_lost的值加1；

所述num_lost表示各帧最大响应值连续小于T₁的帧数，且num_lost初始值为0；

步骤5：当num_lost大于5时，将Flag置为1，转步骤7；否则将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)；其中，T₁取值范围为0.15-0.25；

步骤6：在当前帧中以(x_k,y_k)为中心，w、h为宽和高标示出目标的位置，并提取大小为M×N的区域；若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；

对该区域提取d维特征图，命名为zn；若(x_k,y_k)来自步骤3中的(x',y')，则按照下式得到A_new^l、B_new：

否则，按照下式得到A_new^l、B_new：

将A_new^l、B_new的值分别赋给A^l、B，完成对A^l和B的更新；

其中：η为模板更新学习率，取0.025；若处理完所有图像则算法结束，否则，k的值加1，转步骤3；

步骤7：在当前帧图像中以loc_k为中心截取图像块Patch_k，其中，loc_k的坐标为(x_k-1,y_k-1)，Patch_k的宽和高分别为 符号表示向下取整；若Patch_k超出当前帧图像边界，则不对Patch_k进行扩展；

采用基于剩余谱理论的方法对Patch_k进行显著性检测，得到显著图Salience_k；然后使用最大类间方差法对Salience_k进行阈值分割，得到显著性阈值图Threshold_k，得到init个连通域；

将质心在Threshold_k边界15个像素以内的连通域排除，得到last个连通域以及它们的质心cen_i，cen_i在显著性阈值图中的坐标为(r_i,c_i)；其中，若last为0，则k的值加1，num_lost的值加1，令(x_k,y_k)＝(x_k-1,y_k-1)，转步骤3；否则继续进行，其中，1≤i≤last；

步骤8：通过下式得到每个质心cen_i在第k帧图像中的坐标cen_im_i：

cen_im_i＝(r_i,c_i)-(midx_i,midy_i)+(x_k-1,y_k-1)

其中：(midx_i,midy_i)为Patch_k的中心在Patch_k中的坐标；

无论Patch_k的边界是否与第k帧图像的边界重合，都将loc_k相对于Patch_k的位置作为Patch_k的中心；

步骤9：以cen_im_i为中心，在当前帧图像中截取M×N大小的图像块impatch_i，若坐标超出图像边界，则将不对impatc_ih进行扩展，将impatc_ih调整为M×N大小；对impatch_i提取d维特征图，命名为zpatch_i，然后与当前的目标模板做相关滤波，再经过傅里叶反变换，得到响应最大值mvaluepatch_i；在所有mvaluepatch_i中选取最大值mvalue'，若mvalue'大于阈值T₂，则以mvalue'对应的cen_im_i作为新的目标位置P_k，其坐标为(x_k,y_k)，并将num_lost和Flag置为0，转步骤6；否则，令(x_k,y_k)＝(x_k-1,y_k-1)，num_lost的值加1，k的值加1，Flag的值不变，然后转步骤3；其中，T₂取值范围为0.10-0.25；

所述提取d维特征图时，维度d的构成包括27维方向梯度直方图特征加1维原始灰度特征，d取28。

有益效果

本发明提出的一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，通过使用基于相关滤波和显著性检测的跟踪方法，结合方向梯度直方图特征和灰度特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标被严重遮挡而导致跟踪失败时，本发明通过重检测机制，可以再次检测到目标，使得目标能够被长时间持续地跟踪；另外，基于剩余谱理论的显著性检测方法计算简便快捷，可以通过较小的计算代价实现对目标的重检测，能有效地满足航拍视频跟踪对算法实时性的要求。

附图说明

图1：基于相关滤波和显著性检测的航拍视频目标跟踪方法流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

相关滤波的原理是通过傅里叶变换将图像从空间域转换到频域，利用频域的逐像素相乘代替空间域的卷积操作，可以极大地提高运算速度。而图像显著性检测的目的是获得高质量的显著图，显著图反映了图像中不同区域的显著程度。利用显著图，可以快速检测到图像中的显著区域。本发明采用了基于相关滤波的跟踪方法，并通过使用方向梯度直方图(Histogram of Oriented Gradient,HOG)特征加灰度特征构建鲁棒的目标模型来预测目标的中心位置。针对目标被严重遮挡的问题，本发明引入重检测机制来解决该问题：首先判断目标是否被严重遮挡，一旦目标被判定为严重遮挡，则采用基于剩余谱理论的方法来对特定的图像块进行显著性检测：首先计算图像的振幅和相位，然后通过振幅谱突出部分相减得到特征谱，再通过傅里叶逆变换得到显著图，并通过对显著图阈值化得到目标候选区域，最后结合相关滤波的方法对目标进行重新定位。

步骤1读取视频中第一帧图像数据以及目标所在的初始位置信息[x₁,y₁,w,h]，其中x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高，将Flag置为0。其中，Flag为判断是否要进行重检测的标志位。

步骤2根据目标初始位置中心点x₁,y₁确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h。对R提取d维特征图x，其中，维度d的构成包括27维方向梯度直方图特征加1维原始灰度特征，因此，d取28。根据x构造最优相关滤波器u^l，u^l在频域上的表示U^l称为目标模板，计算方法如下：

其中，如果不加特殊说明，，各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ分别为滤波器U^l的分子和分母，λ为调整参数，取0.010。与U^l等价，在后续操作中，只需要更新A^l、B+λ即可更新目标模板U^l。另外，把第一帧目标模板的分子A^l记作init_A^l，分母中的B记作init_B。l表示维度的索引，l∈{1,...,d}。

步骤3读取第k帧图像(k≥2且起始值为2)，判断Flag值是否为1，若是，则转步骤7；否则，在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为M×N的目标搜索区域。然后通过步骤2中的方法提取特征图，命名为z，再利用目标模板U^l计算目标置信图responce，计算方法如下：

其中，为傅里叶逆变换。可以得到responce中的最大响应值mvalue，即最大响应值对应的坐标(x',y')：

步骤4判断步骤3中的最大响应值mvalue是否大于阈值T₁，若是，则将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)，并将标志num_lost置为0，转步骤6；否则，num_lost的值加1，继续进行。其中，num_lost表示各帧最大响应值连续小于T₁的帧数，且num_lost初始值为0。

步骤5判断num_lost是否大于5，若是，则将Flag置为1，转步骤7；否则将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)，并继续进行。其中，T₁取值范围为0.15-0.25。

步骤6在第k帧中第以(x_k,y_k)为中心，w、h为宽和高标示出目标的位置，并提取大小为M×N的区域，按照步骤2中的方法对该区域提取特征图，命名为zn。判断(x_k,y_k)是否来自步骤3中的(x',y')，若是，则按照下式得到A_new^l、B_new：

否则，按照下式得到A_new^l、B_new：

将A_new^l、B_new的值分别赋给A^l、B，完成对A^l和B的更新。其中，η为模板更新学习率，取0.025。若处理完所有图像则算法结束，否则，k的值加1，转步骤3。

步骤7在第k帧图像中以loc_k为中心截取图像块Patch_k，其中，loc_k的坐标为(x_k-1,y_k-1)，Patch_k的宽和高分别为 符号表示向下取整，若Patch_k超出第k帧图像边界，则不对Patch_k进行扩展。然后采用基于剩余谱理论的方法对Patch_k进行显著性检测，得到显著图Salience_k，然后使用最大类间方差法对Salience_k进行阈值分割，得到显著性阈值图Threshold_k，得到init个连通域，将质心在Threshold_k边界15个像素以内的连通域排除，最终得到last个连通域以及它们的质心cen_i，cen_i在显著性阈值图中的坐标为(r_i,c_i)。其中，若last为0，则k的值加1，num_lost的值加1，令(x_k,y_k)＝(x_k-1,y_k-1)，转步骤3；否则继续进行，其中，1≤i≤last。

步骤8对于步骤7中的得到每个质心cen_i，通过下式可以得到cen_i在第k帧图像中的坐标cen_im_i：

cen_im_i＝(r_i,c_i)-(midx_i,midy_i)+(x_k-1,y_k-1) (6)

其中，(midx_i,midy_i)为Patch_k的中心在Patch_k中的坐标。其中，无论Patch_k的边界是否与第k帧图像的边界重合，都将loc_k相对于Patch_k的位置作为Patch_k的中心。

步骤9以cen_im_i为中心，在第k帧图像中截取M×N大小的图像块impatch_i，其中，若坐标超出图像边界，则不对impatch_i进行扩展。对impatch_i按步骤2提取特征图，命名为zpatch_i，然后与当前的目标模板做相关滤波，经过傅里叶反变换之后，得到响应最大值mvaluepatch_i，并从各个mvaluepatch_i中选取并得到最大值mvalue'。若mvalue'大于阈值T₂，则以mvalue'对应的cen_im_i作为新的目标位置P_k，其坐标为(x_k,y_k)，并将num_lost和Flag置为0，转步骤6；否则，令(x_k,y_k)＝(x_k-1,y_k-1)，num_lost的值加1，k的值加1，Flag的值不变，然后转步骤3。其中，T₂取值范围为0.10-0.25。

Claims (1)

1.一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据，得到目标所在的初始位置信息[x₁,y₁,w,h]，并赋予该图像数据一个是否要进行重检测的标志位Flag，置为0；其中：x₁,y₁表示第一帧目标中心P₁的横坐标和纵坐标，w,h表示目标的宽和高；

步骤2：以目标初始位置中心点x₁,y₁确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；对R提取d维特征图，命名为x；

根据x构造最优相关滤波器u^l，u^l在频域上的表示U^l称为目标模板，计算方法如下：

其中：各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，A^l、B+λ分别为滤波器U^l的分子和分母，λ为调整参数；与U^l等价，在后续操作中，只需要更新A^l、B+λ即可更新目标模板U^l；另外，把第一帧目标模板的分子A^l记作init_A^l，分母中的B记作init_B；l表示维度的索引，l∈{1,...,d}；

因此，λ为调整参数，取0.010

进入下述循环处理步骤，直至跟踪结束：

步骤3：读取第k帧图像，k≥2且起始值为2；判断Flag值是否为1，若是，则转步骤7；否则，在第k帧图像中以(x_k-1,y_k-1)为中心，提取大小为M×N的目标搜索区域，若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；然后对目标搜索区域提取d维特征图，命名为z，再利用目标模板U^l计算目标置信图responce，计算下式，

由responce中得到最大响应值mvalue，以及最大响应值对应的坐标(x',y')；

<mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> <mo>=</mo> <munder> <mi>argmax</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>p</mi> <mi>o</mi> <mi>n</mi> <mi>c</mi> <mi>e</mi> </mrow> </munder> <mo>(</mo> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>p</mi> <mi>o</mi> <mi>n</mi> <mi>c</mi> <mi>e</mi> <mo>(</mo> <mrow> <mi>a</mi> <mo>,</mo> <mi>b</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow>

其中，为傅里叶逆变换；

步骤4：当最大响应值mvalue是否大于阈值T₁，将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)，并将标志num_lost置为0，转步骤6；否则，num_lost的值加1；

所述num_lost表示各帧最大响应值连续小于T₁的帧数，且num_lost初始值为0；

步骤5：当num_lost大于5时，将Flag置为1，转步骤7；否则将(x',y')作为目标在第k帧图像中的位置P_k，其坐标为(x_k,y_k)；其中，T₁取值范围为0.15-0.25；

步骤6：在当前帧中以(x_k,y_k)为中心，w、h为宽和高标示出目标的位置，并提取大小为M×N的区域；若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；

对该区域提取d维特征图，命名为zn；若(x_k,y_k)来自步骤3中的(x',y')，则按照下式得到A_new^l、B_new：

否则，按照下式得到A_new^l、B_new：

将A_new^l、B_new的值分别赋给A^l、B，完成对A^l和B的更新；

其中：η为模板更新学习率，取0.025；若处理完所有图像则算法结束，否则，k的值加1，转步骤3；

步骤7：在当前帧图像中以loc_k为中心截取图像块Patch_k，其中，loc_k的坐标为(x_k-1,y_k-1)，Patch_k的宽和高分别为 符号表示向下取整；若Patch_k超出当前帧图像边界，则不对Patch_k进行扩展；

采用基于剩余谱理论的方法对Patch_k进行显著性检测，得到显著图Salience_k；然后使用最大类间方差法对Salience_k进行阈值分割，得到显著性阈值图Threshold_k，得到init个连通域；

将质心在Threshold_k边界15个像素以内的连通域排除，得到last个连通域以及它们的质心cen_i，cen_i在显著性阈值图中的坐标为(r_i,c_i)；其中，若last为0，则k的值加1，num_lost的值加1，令(x_k,y_k)＝(x_k-1,y_k-1)，转步骤3；否则继续进行，其中，1≤i≤last；

步骤8：通过下式得到每个质心cen_i在第k帧图像中的坐标cen_im_i：

cen_im_i＝(r_i,c_i)-(midx_i,midy_i)+(x_k-1,y_k-1)

其中：(midx_i,midy_i)为Patch_k的中心在Patch_k中的坐标；

无论Patch_k的边界是否与第k帧图像的边界重合，都将loc_k相对于Patch_k的位置作为Patch_k的中心；

步骤9：以cen_im_i为中心，在当前帧图像中截取M×N大小的图像块impatch_i，若坐标超出图像边界，则将不对impatch_i进行扩展，将impatch_i调整为M×N大小；对impatch_i提取d维特征图，命名为zpatch_i，然后与当前的目标模板做相关滤波，再经过傅里叶反变换，得到响应最大值mvaluepatch_i；在所有mvaluepatch_i中选取最大值mvalue'，若mvalue'大于阈值T₂，则以mvalue'对应的cen_im_i作为新的目标位置P_k，其坐标为(x_k,y_k)，并将num_lost和Flag置为0，转步骤6；否则，令(x_k,y_k)＝(x_k-1,y_k-1)，num_lost的值加1，k的值加1，Flag的值不变，然后转步骤3；其中，T₂取值范围为0.10-0.25；

所述提取d维特征图时，维度d的构成包括27维方向梯度直方图特征加1维原始灰度特征，d取28。