CN110533690B - 特征融合与学习率优化的核相关滤波水下目标跟踪方法 - Google Patents

Abstract

本发明公开了一种特征融合与学习率优化的核相关滤波水下目标跟踪方法，针对水下环境中单一目标特征无法进行准确目标建模的特点，采用将FHOG特征与颜色直方图特征或LBSP特征进行串联融合，并利用核相关计算将融合特征进行多通道扩展，在保证算法运算速度的前提下提高水下目标模型的准确性；通过遮挡检测自适应调整学习率进行水下目标模型的更新，提高了水下目标跟踪结果的准确性。本发明改进方法与传统KCF目标跟踪方法相比，在保证算法良好运算速度的前提下提高了水下目标跟踪结果的准确性，算法的跟踪性能得到提高。

Description

特征融合与学习率优化的核相关滤波水下目标跟踪方法

技术领域

本发明属于目标跟踪技术领域，涉及一种核相关滤波水下目标跟踪方法，具 体涉及一种特征融合与学习率优化的核相关滤波水下目标跟踪方法。

背景技术

随着人类日益增长的物质需求，水下生物资源探测与开发已经成为各国经济 发展的重点战略规划，目标跟踪作为重要技术手段，得到国内外学者的广泛关注。 水下目标跟踪主要是指对水下视频图像中感兴趣的目标在连续视频序列中的位 置进行预测。水下环境特殊复杂，首先水下环境中光照分布不均匀，水下视频图 像通常分辨率较低，水下目标特征提取困难；其次水下目标运动自由度高，运动 速度较快且尺度变化明显，在运动过程中会面临着较为严重的遮挡问题，这些影 响因素严重影响到水下目标跟踪结果的准确性。在水下复杂环境下，找到一个具 有良好跟踪精度的目标跟踪方法是解决问题的关键。

核相关滤波(KCF)跟踪方法凭借着在复杂跟踪场景下优越的实时性和鲁棒 性表现，被国内外研究者广泛关注。KCF算法利用核化岭回归技巧提高目标检 测效率以提高跟踪速度，同时将FHOG特征从单个通道扩展到多个通道以提高 跟踪精度，但是KCF算法选取单一的FHOG特征进行水下目标建模，并且选用 固定学习率的线性加权进行目标模型更新，并不适用于复杂的水下目标跟踪场景。

发明内容

发明目的：本发明目的在于提出特征融合与学习率优化的核相关滤波水下目 标跟踪方法，以克服现有技术在水下环境中存在的缺陷，提高了水下目标的跟踪 结果的准确性。

技术方案：为了实现上述目的，本发明采用的技术方案是：

特征融合与学习率优化的核相关滤波水下目标跟踪方法，该方法包括如下步 骤：

(1)从水下图像中分别提取目标的FHOG特征以及颜色直方图特征或LBSP 特征，采用串联融合的方式融合FHOG特征与颜色直方图特征，或者FHOG特 征与LBSP特征，得到基于融合特征的水下目标模型；

(2)采用核相关运算将得到的基于融合特征的水下目标模型进行多通道扩 展，作为核相关滤波器的输入；

(3)在下一帧中采用遮挡检测判断水下目标是否发生遮挡，自适应调整学 习率进行水下目标模型的更新。

进一步地，所述步骤(1)中，两种不同类型的目标特征进行串联融合的过 程如下：

假设任意类型的m维特征向量a表示为a＝[a₁,a₂,…,a_m]，另一种类型n维特 征向量b表示为b＝[b₁,b₂,...,b_n]，则进行融合后的m+n维特征向量x表示为：

x＝[a₁,a₂,...,a_m,b₁,b₂,...,b_n]。

进一步地，所述步骤(2)中，将融合特征向量x进行多通道扩展的过程如 下：

首先选择一个高斯核函数表示为：

其中，x'表示x在高斯核函数映射下对应的向量，σ为高斯核函数带宽；

利用训练样本集的循环移位性质，则核相关矩阵的生成向量k^xx′表示为：

其中，

表示对基准样本x执行傅里叶变换，*表示复共轭，⊙表示元素的 点乘运算，F^-1表示傅里叶逆变换。

假设融合特征向量x有C个通道，x表示为x＝[x₁,x₂,...,x_C]，则多通道的核 相关生成向量k^xx'可以表示为：

其中，

表示核相关计算时对融合特征向量x的C个特征通道进行求和。

进一步地，所述步骤(3)中基于遮挡因子进行遮挡判断，具体为：

用maxresponse_i表示N帧中第i帧测试样本与训练样本之间的最大响应值， 用m表示N历史帧中的最大响应的均值，m的计算公式如下：

m＝(maxresponse₁+maxresponse₂+...+maxresponse_N)/N

设计遮挡因子ε₁用来判断N历史帧中是否发生连续性遮挡，ε₁表示为：

其中，s₁为阈值，通过比较m与阈值s₁的大小来判断此N帧中是否发生遮挡， 遮挡因子ε₁＝1表示发生遮挡，ε₁＝0则说明未发生遮挡；

设计遮挡因子ε₂用来判断当前帧是否发生遮挡，ε₂表示为：

其中，s₂为阈值，maxresponse-mean表示当前帧的最大响应值与当前帧所 有响应值均值之间的差值，通过比较s₂与maxresponse-mean的大小来判断当前 帧是否发生遮挡，遮挡因子ε₂＝1表示发生遮挡，ε₂＝0则说明未发生遮挡。

进一步地，所述步骤(3)中自适应模型更新的方法为：

设计权重w_t用来自适应调整学习率实现对水下目标模型的自适应更新，权 重值w_t表示为：

其中，maxresponse表示当前帧的最大响应值，mean表示当前帧所有响应值 均值；

基于遮挡检测结果的自适应目标模型更新在t+1帧时写成如下形式：

α_t+1＝(1-γw_t)α_t+γw_tα

h_t+1＝(1-γw_t)h_t+γw_th

其中，目标模型分为目标模型外观模板α和核相关滤波器模板h，α_t+1、α_t分别表示t+1、t帧时的目标模型外观模板，h_t+1、h_t分别表示t+1、t帧时的核 相关滤波器模板，γ为更新速率。

有益效果：本发明针对KCF目标跟踪方法在水下环境中存在的不足做了以 下改进，针对水下环境中单一目标特征无法进行准确目标建模的特点，利用特征 融合策略提高了水下目标模型的准确性；并利用核相关计算将融合特征进行多通 道扩展，在保证算法运算速度的前提下进一步提高水下目标模型的准确性；并利 用遮挡检测判断水下目标是否发生遮挡，自适应调整学习率进行水下目标模型的 更新，提高了水下目标跟踪结果的准确性。

附图说明

图1是本发明实施例的方法流程图。

图2是一副水下光学视频图像特征提取可视化示意图，其中图(a)为原图， 图(b)为FHOG特征提取可视化图，图(c)为颜色直方图特征提取可视化图，图(d) 为LBSP特征提取可视化图。

图3是低分率下本发明融合特征1、本发明融合特征2、单一FHOG特征方 法、单一颜色直方图特征方法、单一LBSP特征方法的跟踪结果示意图。

图4是高分辨且存在遮挡情况下本发明融合特征1、本发明融合特征2、单 一FHOG特征方法、单一颜色直方图特征方法、单一LBSP特征方法的跟踪结 果示意图。

具体实施方式

为了清楚的突出本发明的目的和优点，下面将结合本发明实例中的附图对本 发明作进一步的描述。本发明实施例公开的特征融合与学习率优化的核相关滤波 水下目标跟踪方法，实现过程主要包括如下步骤：

(1)读取第一帧水下视频图像，并进行初始化确定水下目标跟踪区域。目 标跟踪窗口的初始参数设置为[x,y,heigh,weith]，(x,y)指示跟踪目标的中心位置， (heigh,weith)表示水下目标窗口尺寸。与此同时在跟踪目标中心位置(x,y)处创 建一个包含高斯峰的理想回归标签；

(2)在第一帧水下目标图像块(在目标中心位置以padding＝3的扩展搜索 窗口截取的图像块)中分别提取水下目标的改进的梯度方向直方图(FHOG)特 征、颜色直方图特征和局部二值相似性模式(LBSP)特征；

(3)融合特征1：将提取的FHOG特征和颜色直方图特征进行串联融合的 同时进行多通道扩展，建立基于融合特征的水下目标模型，作为算法的输入；融 合特征2：将提取的FHOG特征和LBSP特征进行串联融合的同时进行多通道扩 展，建立基于融合特征的水下目标模型，作为算法的输入；

(4)利用核函数性质，得到融合特征的核矩阵表达形式，利用循环样本训 练得到跟踪算法中核相关滤波器模板，至此完成了初始化操作；

(5)在新的输入帧利判断水下目标是否发生遮挡，如果发生遮挡，通过遮 挡检测模块判断面临遮挡程度，自适应调整水下目标模型更新速率，如果没有发 生遮挡，则继续下一步；

(6)在新的输入帧中重复步骤(2)和(3)进行水下目标特征提取及融合 操作，继续进行水下目标建模，得到新的目标外观模型。经过训练的核相关滤波 器模板，得到一系列的响应值，选取最大响应值的位置作为预测水下目标的中心 位置；

(7)重复步骤(2)和(3)提取连续视频序列中水下目标预测位置相应目 标图像块的水下目标特征，创建新的水下目标模型，重复步骤(4)训练核相关 滤波器模板，进行目标模型的更新操作；

(8)在预测位置处重复步骤(5)和步骤(6)操作直至所有帧运行完毕， 完成整个视频序列中水下目标跟踪任务。

所述步骤(3)中将提取的两种特征进行串联融合的具体方式为：任意类型 的m维特征向量a表示为a＝[a₁,a₂,...,a_m]，另一种类型n维特征向量b表示为 b＝[b₁,b₂,...,b_n]，则进行融合后的m+n维特征向量x表示为：

x＝[a₁,a₂,...,a_m,b₁,b₂,...,b_n]

所述步骤(3)中将融合特征进行多通道扩展的过程如下：

KCF算法中的高效运算能力主要依赖于核相关的计算，首先选择一个高斯 核函数表示为：

其中，x'表示x在高斯核函数映射下对应的向量，σ为高斯核函数带宽；

利用训练样本集的循环移位性质，则核相关矩阵的生成向量k^xx′表示为：

其中，

表示对基准样本x执行傅里叶变换，*表示复共轭，⊙表示元素的 点乘运算，F^-1表示傅里叶逆变换。

假设融合特征向量x有C个通道，x表示为x＝[x₁,x₂,…,x_C]，则多通道的核 相关生成向量k^xx'可以表示为：

其中，

表示核相关计算时对融合特征向量x的C个特征通道进行求和。 利用DFT变换的线性性质可知，目标特征多通道扩展问题不会加大算法复杂度， 只需要在进行核相关计算时对多个特征通道进行求和即可。

所述步骤(5)中在新的输入帧利判断水下目标是否发生遮挡，如果发生遮 挡，通过遮挡检测模块判断面临遮挡程度，自适应调整水下目标模型更新速率， 如果没有发生遮挡，则继续下一步。具体过程如下所示：

(5.1)基于遮挡因子进行遮挡判断

遮挡因子ε₁用来判断N历史帧中是否发生连续性遮挡，ε₁可表示为：

其中，遮挡因子ε₁＝1表示发生遮挡，ε₁＝0则说明未发生遮挡。

遮挡因子ε₂用来判断当前帧是否发生遮挡，ε₂可表示为：

其中，maxresponse-mean表示当前帧的最大响应值与当前帧所有响应值均值， 遮挡因子ε₂＝1表示发生遮挡，ε₂＝0则说明未发生遮挡。

(5.2)自适应模型更新

设计权重w_t，用来自适应调整学习率实现对水下目标模型的自适应更新。 权重值w_t可以表示为：

其中，σ为一个常数，maxresponse表示当前帧的最大响应值，mean表示当 前帧所有响应值均值。

基于遮挡检测结果的自适应目标模型更新在t+1帧时写成如下形式：

α_t+1＝(1-γw_t)α_t+γw_tα

h_t+1＝(1-γw_t)h_t+γw_th

其中，γ为目标模型更新速率，α表示模型外观模板，h表示核相关滤波器 模板，α_t+1，α_t分别表示t+1，t帧时的目标模型外观模板，h_t+1，h_t分别表示t+1， t帧时的核相关滤波器模板。

为了验证本发明在水下复杂环境中进行目标跟踪的效果，在MATLAB平台 上进行了仿真实验。对低分辨率下海龟运动视频和高分辨率下黄色鱼运动视频对 应的两种场景下本发明方法、单一FHOG特征跟踪方法、单一颜色直方图特征 跟踪方法和单一LBSP特征跟踪方法的跟踪结果进行定性评价。为了更加明确跟 踪结果，利用跟踪成功率、跟踪精确率和fps对水下目标跟踪方法进行定量评价。 其中，跟踪成功率阈值设为50％，跟踪精确率阈值设为20像素值。

图3所示跟踪场景是一组低分辨率下海龟运动的视频，a列至e列分别是单 一FHOG特征、单一颜色直方图特征、单一LBSP特征、融合特征1、融合特征 2这五种不同特征的跟踪结果，从上到下分别是第39、140、207、388帧的跟踪 结果。从图3中可以可看出，目标跟踪框大小是固定的，在140帧和207帧中， 水下目标发生了较大程度的尺度变化，五种特征对应的红色目标矩形框均发生一 定的跟踪偏移，但是三种单一特征自适应效果明显不如两种融合特征，基于两种 融合特征建立的目标模型可以更加准确的进行水下目标表征。

从表1中可以看出，在低分辨率海龟运动跟踪场景中，本发明方法两种融合 特征的跟踪成功率和精确率均高于三种单一特征，其中融合特征2的跟踪成功率 和精确率最高，但是其跟踪速度上不如融合特征1和三种单一特征，融合特征1 的在跟踪速度和精度两个方面综合表现最佳。

表1五种水下目标特征在低分辨海龟运动视频下的跟踪结果

实验结果表明，在低分辨率跟踪场景下，本发明在保证了良好的跟踪速度的 前提下进一步提高了跟踪结果的准确性。

图4所示跟踪场景是高分辨率下黄色鱼运动的视频，a列至e列分别是单一 FHOG特征、单一颜色直方图特征、单一LBSP特征、融合特征1、融合特征2 这五种不同特征的跟踪结果，从上到下分别是第20、100、187、299帧的跟踪结 果。从图4中可以可看出，在第100帧和187帧，出现了一条黑色鱼，对水下目 标造成了一定的遮挡，虽然五种特征对应的跟踪方法均完成了对水下目标的跟踪， 但是FHOG特征和LBSP特征两种单一特征的自适应效果明显不如两种融合特 征和颜色直方图特征。

从表2中可以看出，在高分辨率黄色鱼运动场景中，融合特征1的跟踪成功 率、精确率高于三种单一特征和融合特征2，且跟踪速度也表现良好。

表2五种水下目标特征在高分辨率黄色鱼运动视频下的跟踪结果

实验结果表明，在高分辨率黄色鱼运动场景中，本发明保证了良好的跟踪速 度的前提下进一步提高了跟踪结果的准确性。

Claims (3)

1.特征融合与学习率优化的核相关滤波水下目标跟踪方法，其特征在于：包括如下步骤：

(1)从水下图像中分别提取目标的FHOG特征以及颜色直方图特征或LBSP特征，采用串联融合的方式融合FHOG特征与颜色直方图特征，或者FHOG特征与LBSP特征，得到基于融合特征的水下目标模型；

(2)采用核相关运算将得到的基于融合特征的水下目标模型进行多通道扩展，作为核相关滤波器的输入；

(3)在下一帧中采用遮挡检测判断水下目标是否发生遮挡，自适应调整学习率进行水下目标模型的更新；

所述步骤(3)中基于遮挡因子进行遮挡判断，具体为：

用max response_i表示N帧中第i帧测试样本与训练样本之间的最大响应值，用m表示N历史帧中的最大响应的均值，m的计算公式如下：

m＝(max response₁+max response₂+...+max response_N)/N

设计遮挡因子ε₁用来判断N历史帧中是否发生连续性遮挡，ε₁表示为：

其中，s₁为阈值，通过比较m与阈值s₁的大小来判断此N帧中是否发生遮挡，遮挡因子ε₁＝1表示发生遮挡，ε₁＝0则说明未发生遮挡；

设计遮挡因子ε₂用来判断当前帧是否发生遮挡，ε₂表示为：

其中，s₂为阈值，max response-mean表示当前帧的最大响应值与当前帧所有响应值均值之间的差值，通过比较s₂与max response-mean的大小来判断当前帧是否发生遮挡，遮挡因子ε₂＝1表示发生遮挡，ε₂＝0则说明未发生遮挡；

所述步骤(3)中自适应模型更新的方法为：

设计权重w_t用来自适应调整学习率实现对水下目标模型的自适应更新，权重值w_t表示为：

其中，max response表示当前帧的最大响应值，mean表示当前帧所有响应值均值；

基于遮挡检测结果的自适应目标模型更新在t+1帧时写成如下形式：

α_t+1＝(1-γw_t)α_t+γw_tα

h_t+1＝(1-γw_t)h_t+γw_th

其中，目标模型分为目标模型外观模板α和核相关滤波器模板h，α_t+1、α_t分别表示t+1、t帧时的目标模型外观模板，h_t+1、h_t分别表示t+1、t帧时的核相关滤波器模板，γ为更新速率。

2.根据权利要求l所述的特征融合与学习率优化的核相关滤波水下目标跟踪方法，其特征在于：所述步骤(1)中，两种不同类型的目标特征进行串联融合的过程如下：

假设任意类型的m维特征向量a表示为a＝[a₁，a₂，...，a_m]，另一种类型n维特征向量b表示为b＝[b₁，b₂，...，b_n]，则进行融合后的m+n维特征向量x表示为：

x＝[a₁，a₂，....，a_m，b₁，b₂，...，b_n]。

3.根据权利要求l所述的特征融合与学习率优化的核相关滤波水下目标跟踪方法，其特征在于：所述步骤(2)中，将融合特征向量x进行多通道扩展的过程如下：

首先选择一个高斯核函数表示为：

其中，x′表示x在高斯核函数映射下对应的向量，σ为高斯核函数带宽；

利用训练样本集的循环移位性质，则核相关矩阵的生成向量k^xx′表示为：

其中，

表示对基准样本x执行傅里叶变换，*表示复共轭，⊙表示元素的点乘运算，F^-1表示傅里叶逆变换；

假设融合特征向量x有C个通道，x表示为x＝[x₁，x₂，…，x_C]，则多通道的核相关生成向量k^xx′可以表示为：

其中，

表示核相关计算时对融合特征向量x的C个特征通道进行求和。

Images