CN113297982A - 一种面向航拍改进kcf和dsst相结合的目标检测方法 - Google Patents

Abstract

本发明公开了一种面向航拍改进KCF和DSST相结合的目标检测方法，属于计算机视觉技术领域。所述方法在预计算阶段，初始化视频序列，对视频进行分帧处理，并且对目标进行标注；之后是目标定位阶段，提取目标位置候选框的特征，计算高斯核，根据目标位置计算新的目标模板、滤波器预测的位置以及其周围采样点位置的响应值，取最高响应值的位置为跟踪的目标所在位置，并对跟踪器进行更新；最终根据响应图的峰值确定目标运动的偏差，找到目标位置进行跟踪。本发明基于KCF算法，通过和DSST算法相结合，并进行多特征融合。解决了无人机航拍视角下由于距离变化造成目标尺度改变的问题，实现了一种多特征融合、多尺度的相关滤波器跟踪方法。

Description

一种面向航拍改进KCF和DSST相结合的目标检测方法

技术领域

本发明涉及一种面向航拍改进KCF和DSST相结合的目标检测方法，属于计算机视觉技术领域。

技术背景

无人机(Unmanned Aerial Vehicle，UAV)有着多种优点，比如，操作简单、耗能低、机动性强，因此，它广泛应用于生活中的各种方面：电路巡检、地图测绘、搜索救援、军事侦察、交通管制、民用航拍。在搜索救援方面，当发生一些天灾时，比如地震、森林火灾，救援十分困难，可以让无人机进入受灾区域，观察周围环境，寻找受灾人群，避免救援者不必要的受伤；在日常的交通中，也可以用无人机观察道路拥挤情况，为市民做出合理的道路规划；在战场上，可以采用无人机监察敌情、巡视战场，在敌人的到来之前提前预警，实际上，在近些年的美国和其他国家的战争中，无人机发挥的作用不可忽视。因其体积小、隐蔽性强、反应快速、对作战环境要求低和能迅速到达现场等优势，在智能交通、地质勘探、军事制导、航空视觉导航等民用和国防领域发挥着重要的作用。目标跟踪能够极大增强无人机的自主飞行和监控能力，使得无人机能够适应更复杂多变的环境，完成更多复杂任务，是无人机视觉领域的重要研究内容。随着科学技术的迅猛发展，无人机已经成为了当代航空领域不可或缺的一份子。而在无人机执行这些任务时，最重要的就是其视觉系统。

目前的目标跟踪算法可分为生成式算法和判别式算法，其中以相关滤波为代表的判别式算法备受学者青睐。Henriques等人提出了核相关滤波器跟踪算法(KCF)，其具有高鲁棒性、高精确度、速度快等特点。但是，核相关滤波器仅仅使用了单一的HOG(Histogramof Oriented Gradient梯度方向直方图)特征，并且不能应对尺度变化。Li Y等人将CN(Color Names颜色名称)和FHOG(Fast Histogram of Oriented Gradient快速定向梯度图)特征融合，提出了尺度自适应滤波器SAMF(Scale Adaptive Multiple Feature尺度自适应多重特征)，其尺度估计的准确性依赖于定位器的准确性。Bertinetto L等人提出了尺度滤波器，先用CN提取目标特征，再对CN特征降维处理，然后线性加权CN和FHOG特征。Martin等人提出了C-COT(Continuous Convolution Operators连续卷积运算符)算法，提出了一个通用框架来学习连续空间域中的区分卷积算子，但是，跟踪速度大大下降。之后，Martin Danell-jan等人在目标特征提取上做了简化，把目标特征通过插值转换到连续的空间域，提出了ECO(Efficient Convolution Operators高效的卷积运算符)算法，改进了C-COT速度上的不足，但是沿用了DSST(区别尺度空间跟踪器)中的尺度估计策略，仍然未对尺度变化进行深入研究。

发明内容

本发明提出了一种面向航拍改进KCF和DSST相结合的目标检测方法。该方法基于KCF跟踪算法，在原有HOG特征基础上增加CN、HSV(Hue,Saturation,Value，色度的缩写)特征，训练多个滤波器，提高算法在复杂背景下的适应能力。最后引入尺度估计策略，将核相关滤波器和尺度滤波器的估计值融合得到目标的尺度和位置。有效解决了面向无人机的算法中由于背景复杂以及目标与无人机距离变化导致的目标尺度变化的问题。

本发明为解决其技术问题采用如下技术方案：

一种面向航拍改进KCF和DSST相结合的目标检测方法，包括以下步骤：

第一步，读取视频进行分帧处理得到序列帧数和标注框真值；

第二步，在首帧中获取跟踪目标在图片帧中的实际位置，对HOG特征、CN特征、HSV特征信息进行提取，基于循环矩阵形式来构建训练样本，其中基样本为正样本，其他的都为负样本；

第三步，通过岭回归分类器分类，构建循环样本矩阵训练该分类器，在频域进行训练，并更新训练；

第四步，快速检测和跟踪器更新，使用已经训练好的跟踪器对padding窗口区域进行滤波计算，得到特征响应图，获取响应图峰值和峰值坐标；

第五步，根据历史目标位置和响应图预测目标中心坐标，通过构建了一个一维的尺度滤波器，建立金字塔模型来估算目标尺度，引入尺度变化；

第六步，获取最终目标区域，判断响应图是否满足需求，更新目标位置、目标尺度，实现目标检测跟踪。

所述第二步中提取HOG特征和CN特征，具体如下：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

θ(x,y)＝arctan(G_y(x,y)/G_x(x,y))

式中，G_x(x,y)、G_y(x,y)分别为x，y方向梯度值；θ(x,y)为梯度方向,I(x+1,y)为点(x,y)左侧水平方向梯度值，I(x-1,y)为点(x,y)右侧侧水平方向梯度值，I(x,y+1)为点(x,y)垂直方向上方的梯度值，I(x,y-1)为点(x,y)垂直方向下方的梯度值，G(x,y)表示梯度的幅度值。

每个特征的响应图对应的权重为：

M＝(M_hog,M_CN,M_hsv)

其中，γ_cn、γ_hog、γ_hsv为特征对应的权值系数，Q_cn、Q_hog、Q_hsv为每个特征滤波器响应图对应的置信度，M_hog，M_CN，M_hsv分别为HOG和CN、HSV特征，融合得到特征M。

第五步所述引入尺度变化，具体如下:

首先通过多维特征判别相关滤波器估计目标的位置,再增加尺度滤波器估计目标的尺度信息，其中位置滤波器和尺度滤波器相互独立，提取目标所在图像块的多维特征f,构造最优滤波器：

式中，ε为最小均方误差，d为特征的维度最大值，l表示特征的维度l∈{1,···,d}，g表示高斯函数，λ是正则项系数，f^l为卷积滤波提取的样本，h^l为最优的滤波器，*代表循环相关。

本发明的有益效果如下：

1.本发明对模型的线性回归函数用最小二乘法求解。使用循环矩阵傅立叶对角化方法优化上述运算，避免了求逆运算。在原算法使用HOG特征的基础上，分别使用HOG、CN、HSV特征训练获得多个滤波器,在检测环节对多个响应图的结果自适应加权预测出目标位置,提高视觉跟踪算法在复杂背景下的适应能力。

2.本发明在样本提取时采用多维特征，可以较好的估计下一帧中运动目标的位置加入一种尺度估计策略，将尺度滤波器的估计值与分块算法的估计值融合计算得出目标的尺度和位置，有效解决了目标尺度变化导致跟踪效果不佳的问题。

附图说明

图1为本发明方法的流程图。

图2(a)为本发明当中所提取的HSV特征空间模型图，图2(b)为利用HSV提取特征得到的图。

图3为本发明对目标的跟踪过程示意图。

图4为本发明方法在对目标跟踪过程中的跟踪响应图。

图5(a)和图5(b)为DSST算法对于目标检测跟踪实验结果图。

图6(a)和图6(b)为本发明方法对于目标检测跟踪的实验结果图。

图7(a)和图7(b)为KCF算法对于目标检测跟踪的实验结果图。

图8(a)和图8(b)为无人机视角下本发明方法对于目标检测跟踪的实验结果图。

具体实施方式

结合所附图表，对本发明的技术方案作具体说明。

本发明的一种面向无人机航拍的改进KCF和DSST相结合的目标检测跟踪方法如图1所示，具体包括以下步骤：

步骤1读取视频进行分帧处理得到序列帧数和标注框真值；

(1.1)读取数据集视频序列，进行分帧处理，根据视频序列标签对图片进行计数；

(1.2)读取视频序列的标注框文件，得到标注框真值信息；

步骤2在首帧中获取跟踪目标在图片帧中的实际位置，对特征信息进行提取，基于循环矩阵形式来构建训练样本，其中基样本为正样本，其他的都为负样本；

(2.1)改进KFC算法，对多特征(HOG、CN)进行提取，HOG特征提取没有选取主方向，也没有旋转梯度方向直方图，因而本身不具有旋转不变性(较大的方向变化)，其旋转变性，HOG本身不具有规模不变性，其规模不变性是通过改变检测图像的尺寸来实现的。

步骤为：灰度化、标准化gamma空间：

I(x,y)＝I(x,y)^gamma (1)

上式为Gamma压缩公式，可以取Gamma为0.5，其中：I(x,y)表示像素点的像素值；

计算图像每个像素的梯度(包括大小和方向)：

图像中像素点(x,y)的梯度为:

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (2)

式中G_x(x,y)G_y(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度，H(x+1,y)表示像素点(x,y)右边相邻的像素值，H(x-1,y)表示像素点左边相邻点的像素值，H(x,y+1)表示像素点(x,y)上方像素点的像素值，H(x,y-1)表示像素点(x,y)下方像素点的像素值，相素点处(x,y)处的梯度幅值和梯度方向为:

CN特征是对图像全局的描述,对于目标形变、运动模糊有很好的适应能力。

步骤3根据岭回归分类器，构建循环样本矩阵训练该分类器，在频域进行训练，并更新训练；

(3.1)围绕着当前位置进行的一系列位移采样，利用傅里叶变换快速完成许多线性运算；

其中，F是傅里叶函数，F^H是傅里叶函数的共轭转置，

是循环矩阵X的离散傅里叶变换；

(3.2)采用岭回归方式进行分类；

其中：y_i表示训练样本集，w表示列向量权重系数，λ表示控制系统的结构复杂性的系数，f(x_i)表示线性回归函数；

步骤4快速检测和跟踪器更新，使用已经训练好的跟踪器对padding(填充)窗口区域进行滤波计算，得到特征响应图，获取响应图峰值和峰值坐标；跟踪响应图如图4所示。

(4.1)进行快速检测时，待检测集由预测区域和其循环位移采集的样本构成

f(z)＝(K^z)^Tα＝C(K^x)^Tα (6)

其中，K^x、K^z表示所有训练集和待检测样本集在核空间下的核矩阵，α表示分类样本集(同下)，C为常系数，T为转置。

(4.2)采用高斯核，如下所示

其中，k^xx′为测试样本和训练样本间在核空间的核矩阵，σ是带宽，exp为径向基函数，

为两个特征向量之间的距离，x、x′为坐标值，

为输出响应。

步骤5，根据历史目标位置和响应图预测目标中心坐标，通过构建了一个一维的尺度滤波器，建立金字塔模型来估算目标尺度，引入尺度变化；

(5.1)改进KCF算法具体步骤

第一步KCF滤波器进行跟踪，得到目标的位置信息

第二步利用尺度相关滤波器以当前中心位置为中心点，

第三步获取S个不同尺度的候选目标在目标位置的基础上通过调整跟踪框的比例来找到响应值最大的尺度，从而实现尺度自适应作为最佳匹配，并用此时对应的尺度更新当前尺度：

aⁿP×aⁿR (8)

其中:P和R分别表示在前一帧的宽和高，S为不同尺度，a为待分类样本集。

步骤6，获取最终目标区域，判断响应图是否满足需求，更新目标位置、目标尺度，实现目标检测跟踪。

为了验证方法的可行性和有效性，下面结合实例对本发明做进一步详细的描述。

为了有效地评估本发明方法的性能，实验中的对比方法均来自相应作者的公开代码。所有实验都在Inter(R)Core(TM)i5-2450MCPU@2.50GHZ、4GB内存、NVIDIA GeForce GTX2080Ti台式机上进行，通过Matlab2019a、VisualStudio2017。

表1为本发明中一种面向无人机的改进KCF与DSST相结合的目标检测跟踪方法中算法的仿真相关初始化参数。

表1算法相关初始化参数设置

图2(a)(b)为本发明多特征提取中的HSV特征空间模型。对各个通道进行上下限滤波，再将通道合并提取出目标颜色的区域。将提取出来的目标颜色区域进行二值化处理后，存在很多噪点，通过先膨胀后腐蚀的闭运算方法，消除掉小型黑洞。膨胀就是将图像与核进行卷积，计算出核矩阵覆盖区域的像素最大值并赋值给参考点。

图3为本发明对目标的跟踪过程示意图，图中红色虚线框圈出了目标，进行初始化，虚线框扩大2.5倍变为padding窗口，之所以要进行padding操作，是为了避免循环采样导致目标被分解重组，扩大后的padding窗口包括了目标和背景。对padding窗口的采样进行循环移位，利用分类器对待检测的框计算相关性响应，右图中黄色框的响应最大，通过计算黄色框与红色框相对位移就可以推算出目标的位移，从而进行跟踪。

图4为本发明在对目标进行跟踪时的响应图，将响应效果可视化。

图5(a)和图5(b)为DSST算法在VOT2019基准数据集上的评测视频序列的结果。图6(a)和图6(b)为本发明方法对于目标的检测跟踪。

图6(a)和图6(b)为无人机视角下本发明方法对于目标的检测跟踪。本发明对于尺度发生变化的目标可以根据目标的尺度变化进行尺度适应。

图7(a)和图7(b)为无人机视角下KCF算法对于目标(汽车)的检测跟踪。

图8(a)和图8(b)为无人机视角下本发明方法对于目标的检测跟踪。本发明方法进行了多特征融合，跟踪效果较好。在图8(a)和图8(b)中，本发明对于尺度发生变化的目标可以根据目标的尺度变化进行尺度适应。可以准确定位目标并进行跟踪，满足无人机视角下的目标跟踪需要。综上，本发明算法满足了无人机视角下的目标跟踪的要求。

Claims (3)

1.一种面向航拍改进KCF和DSST相结合的目标检测方法，其特征在于，包括以下步骤：

第一步，读取视频进行分帧处理得到序列帧数和标注框真值；

第二步，在首帧中获取跟踪目标在图片帧中的实际位置，对HOG特征、CN特征、HSV特征信息进行提取，基于循环矩阵形式来构建训练样本，其中基样本为正样本，其他的都为负样本；

第三步，通过岭回归分类器分类，构建循环样本矩阵训练该分类器，在频域进行训练，并更新训练；

第四步，快速检测和跟踪器更新，使用已经训练好的跟踪器对padding窗口区域进行滤波计算，得到特征响应图，获取响应图峰值和峰值坐标；

第五步，根据历史目标位置和响应图预测目标中心坐标，通过构建了一个一维的尺度滤波器，建立金字塔模型来估算目标尺度，引入尺度变化；

第六步，获取最终目标区域，判断响应图是否满足需求，更新目标位置、目标尺度，实现目标检测跟踪。

2.根据权利要求1所述的一种面向航拍改进KCF和DSST相结合的目标检测方法，其特征在于，所述第二步中提取HOG特征和CN特征，具体如下：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

θ(x,y)＝arctan(G_y(x,y)/G_x(x,y))

式中，G_x(x,y)、G_y(x,y)分别为x，y方向梯度值；θ(x,y)为梯度方向,I(x+1,y)为点(x,y)左侧水平方向梯度值，I(x-1,y)为点(x,y)右侧侧水平方向梯度值，I(x,y+1)为点(x,y)垂直方向上方的梯度值，I(x,y-1)为点(x,y)垂直方向下方的梯度值，G(x,y)表示梯度的幅度值；

每个特征的响应图对应的权重为：

M＝(M_hog,M_CN,M_hsv)

其中，γ_cn、γ_hog、γ_hsv为特征对应的权值系数，Q_cn、Q_hog、Q_hsv为每个特征滤波器响应图对应的置信度，M_hog，M_CN，M_hsv分别为HOG和CN、HSV特征，融合得到特征M。

3.根据权利要求1所述的一种面向航拍改进KCF和DSST相结合的目标检测方法，其特征在于，第五步所述引入尺度变化，具体如下:

首先通过多维特征判别相关滤波器估计目标的位置,再增加尺度滤波器估计目标的尺度信息，其中位置滤波器和尺度滤波器相互独立，提取目标所在图像块的多维特征f,构造最优滤波器：

式中，ε为最小均方误差，d为特征的维度最大值，l表示特征的维度l∈{1,···,d}，g表示高斯函数，λ是正则项系数，f^l为卷积滤波提取的样本，h^l为最优的滤波器，*代表循环相关。

Images