CN112560695A

CN112560695A - 水下目标跟踪方法、系统、存储介质、设备、终端及应用

Info

Publication number: CN112560695A
Application number: CN202011500753.0A
Authority: CN
Inventors: 黄磊; 王秋倩; 李晓静; 魏志强
Original assignee: Ocean University of China
Current assignee: Ocean University of China
Priority date: 2020-12-17
Filing date: 2020-12-17
Publication date: 2021-03-26
Anticipated expiration: 2040-12-17
Also published as: CN112560695B

Abstract

本发明属于水下目标跟踪技术领域，公开了一种水下目标跟踪方法、系统、存储介质、设备、终端及应用，设计基于孪生网络结合注意力机制和尺度金字塔的结构，该算法由一个修改后的深度卷积神经网络VGG和注意力模块组成，将模板分支和搜索分支提取到的图像高维语义信息特征进行相关操作；得到下一帧的目标位置，再结合尺度自适应选择最优尺度。本发明提出了一种基于注意力机制和尺度自适应的水下目标跟踪方法，实现对水下目标的准确、鲁棒跟踪，为海洋生态保护、海洋渔业提供基础保障，促进海洋可持续发展。本发明提出基于注意力机制和尺度自适应的水下目标跟踪方法，进一步缓解水下跟踪过程中的问题。

Description

水下目标跟踪方法、系统、存储介质、设备、终端及应用

技术领域

本发明属于水下目标跟踪技术领域，尤其涉及一种水下目标跟踪方法、系统、存储介质、设备、终端及应用。

背景技术

目前：目标跟踪是计算机视觉领域的热点方向之一，它是指对视频中的目标进行监控，记录目标的活动过程，得到目标的运动轨迹，为视频分析与理解提供支撑。目标跟踪技术经过几十年的研究，已经取得一定的进展，比如相关滤波方法，可以在很多场景下取得较好的跟踪效果。但基于水下视觉的目标跟踪仍然是一个非常有挑战性的问题，其主要原因是水下场景有其特殊性，比如水下光照差，对比度低，水下鱼类目标、虾类目标等运动速度快且在运动时会发生非刚性形变等。下面，首先对当前主要的目标跟踪方法进行介绍。目标跟踪算法按照是否需要目标检测，可以将其分为两类，一类是生成式跟踪算法，另一类是判别式跟踪算法。生成式跟踪算法是通过学习目标的表观特征，处理当前帧与下一帧的关系，进行目标跟踪，主要包括稀疏编码(sparse coding)、在线密度估计(onlinedensity estimation)等方法。它的缺点是过于关注目标本身，忽略背景信息，容易产生漂移现象。

判别式跟踪算法通过区分目标和背景进行目标跟踪，跟踪效果比生成式跟踪算法更鲁棒，目前也是跟踪领域更为流行的研究方向。它包括目标的检测和跟踪，常被称为tracking by detection，目标检测指对于图像而言找出目标物体的位置，而目标跟踪对于视频而言在每时每刻都能够找出物体的位置，检测是跟踪的基础，目标检测是初始化目标，目标跟踪是连续估计目标状态。常见的判别式跟踪算法包括多示例学习方法(multiple instance learning)、结构SVM (structured SVM)等。此外，大多数深度学习的算法也属于判别式跟踪算法，比如大部分基于相关滤波和基于深度学习的跟踪方法都是判别式跟踪算法。

近几年，以相关滤波(Correlation Filter)和深度学习(Deep Learning)为代表的判别式跟踪方法逐渐占据了目标跟踪领域的主要地位，并取得了令人满意的跟踪效果。相关滤波跟踪算法的本质是利用循环位移寻找不同帧中最相似的区域，基于深度学习的跟踪算法本质则是基于统计学习，利用大规模分类数据集训练神经网络提取目标更加丰富准确的特征信息，使跟踪模型具有很好的泛化性能力和特征表达能力，并使得目标跟踪算法的性能和鲁棒性得到大幅提升。在水下复杂场景中进行目标跟踪，首先目标周围会出现外观相似的物体，以及由于目标快速运动导致外观特征快速变化的情况，会对跟踪造成干扰从而无法准确跟踪目标。其次，水下鱼类、虾类等会出现目标在运动过程中，目标由远及近或由近及远运动而产生目标尺度变化过快难以准确跟踪目标的问题，所以预测目标框的大小也是目标跟踪中的一项挑战，能否又快又准确的预测出目标的尺度大小直接影响了跟踪算法准确率，故本发明将在当前帧目标中心位置处进行多尺度采样，并在多个不同尺度目标上进行目标跟踪，产生多个预测结果，选择最优的跟踪框尺度大小作为下一帧预测的目标框。最后，基于孪生网络的跟踪算法很多都使用浅层AlexNet网络结构作为基准特征提取网络，但浅层网络提取的特征不够细致和突出，无法利用深层网络的高级语义信息而导致跟踪算法精度下降，因此在快速运动和尺度变化过快的情况下无法达到实时准确跟踪的目的。

过去几十年视觉目标跟踪技术取得长足的发展，特别是利用深度学习的目标跟踪算法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。根据目标跟踪任务的复杂性，需要在不同应用场景选择不同的跟踪方法。由于真实水下环境中光照条件复杂，海洋鱼类种类繁多，因此水下鱼类跟踪的挑战更多。传统的跟踪方法如相关滤波法、光流法等，仅通过在线学习目标外观模型进行目标跟踪，但这类方法只从跟踪视频本身进行学习，限制了可以学到的模型的丰富性，得到的跟踪模型相对简单，且这类算法需要用大量的训练样本才能很好地近似模型的后验概率密度，当面临的环境越复杂，描述后验概率分布所需要的样本数量就越多，算法的复杂度就越高，从而在复杂场景中实时跟踪不断变化的水下目标就成为一个极具挑战的任务。

通过上述分析，现有技术存在的问题及缺陷为：现有基于孪生网络的跟踪算法的浅层网络提取的特征不够细致和突出，无法利用深层网络的高级语义信息而导致跟踪算法精度下降，在快速运动和尺度变化过快的情况下无法达到实时准确跟踪的目的。

解决以上问题及缺陷的难度为：随着深度学习在目标跟踪领域的广泛应用，对目标跟踪算法的要求也越来越高，深度网络越复杂，训练速度也越慢，高层特征擅长区分不同类别的物体，对目标的形变和遮挡非常鲁棒，但是对类内物体的区分能力非常差。低层特征更关注目标的局部细节，可以用来区分背景中相似的distractor(非目标的干扰物体)，因此在使用深度网络提取深层特征的同时还要关注浅层特征。由于目标在运动过程中会出现尺度上的改变,通常会带来图像特征尤其是大小的不断变化,这种特点导致传统的固定尺度检测器难以适应目标大小的改变,无法获得最优的提取结果。

解决以上问题及缺陷的意义为：基于孪生网络的深层网络不摒弃在线更新过程，利用大量图像数据预训练网络模型获得显著特征表达能力，避免在线跟踪过程的时耗问题。在孪生网络的基础上引入注意力机制来构建适应性外观特征模型，根据空间注意力网络和通道注意力网络的结构差异，分别对不同网络层次特征进行注意力选择，即针对低层特征进行空间注意力选择，关注目标外观相似性结构特征；针对高层特征进行通道注意力选择，重点关注有助于分类任务的目标语义特征，该方法具有较高的准确性和鲁棒性，能够显著提高目标前景与语义背景间的判别能力，从而有效缓解目标漂移问题。此外，使用利用尺度金字塔结构，选择大小合适的目标跟踪框，以适应运动过程中目标大小的改变。本专利可以在目标尺度变化、遮挡等情况下对快速运动的目标能够取得较好的跟踪效果能够在精度和速度之间取得平衡，进而取得更好的跟踪效果。

发明内容

针对现有技术存在的问题，本发明提供了一种水下目标跟踪方法、系统、存储介质、设备、终端及应用。

本发明是这样实现的，一种水下目标跟踪方法，所述水下目标跟踪方法包括：

采用适用于目标跟踪任务的基于孪生神经网络和注意力机制模块的网络结构，其中注意力机制包括通道注意模块和空间注意模块；空间注意力模块通过计算不同特征图中相同位置之间的相似程度，并赋予不同的权重，相似程度越大则给予更大的权重，反之，给予更小的权重；空间注意力模块通过建立不同特征图之间的空间信息关系增强网络的特征表达能力；加入通道注意力模块优化目标维度特征，关注不同卷积核对应的特征类型，学习通道特征权值；

基于深度学习的目标跟踪算法，利用卷积神经网络搭建端到端的跟踪框架，对视频序列中的目标状态进行预测；通过使用孪生网络和注意力机制，学习到图像特征，构建鲁棒性的目标表观特征，再结合尺度金字塔网络和目标尺度自适应算法在当前帧的目标中心位置处进行多尺度采样，构建多分辨率特征金字塔，训练尺度滤波器，进行尺度特征降维，根据跟踪目标及视频图像大小选定的尺度来保障长时间准确跟踪目标，有效减少平均每帧扫描的窗口数量；

在全卷积孪生神经网络的基础上将特征提取网络更换为预训练的深度 VGG-16网络，学习图像的深度语义特征；并在孪生网络的基础上，除了最后一个卷积层，每一层卷积后都增加批归一化层和下采样，同时采用最大值池化的方式代替平均值池化，没有填充，在网络的第十层后加入注意力机制。

进一步，所述采用适用于目标跟踪任务的基于孪生神经网络和注意力机制模块的网络结构由一个修改后的深度卷积神经网络和一个双重注意模块组成，其中双重注意模块包括通道注意模块和空间注意模块，使用注意力机制选择性地强调目标有用的信息，最后将提取到的模板图像和搜索图像的高层语义信息特征进行互相关操作，得到响应值最大的位置即为预测目标新的位置。

进一步，由孪生网络在两个分支中加入注意力模块，当目标发生快速形变时，网络能够通过注意力机制关注图像中目标部分；构建空间注意力模块关注卷积特征图的空间特征，学习图像外观特征权值；空间注意力网络的增强目标前景和抑制语义背景，分配目标前景和背景图像内容不同的重要性权值；构建通道注意力网络优化维度特征，关注不同卷积核对应的特征类型，学习图像特征的通道权值；利用多种卷积核提取的外观特征存在冗余，通过通道注意力模块剔除冗余精简特征表达，同时激活与目标相关性高的通道特征构建显著外观特征模型；

(1)通道注意力机制是以特征图为操作单位，给出输入图像的特征通道集合记为B＝[b₁,b₂…,b_n],b_k∈R^W×H,k＝1,2…n，并把它定义为对每个通道都匹配一个权值，输入的特征图M∈R^w×h×d首先经过平均池化层得到一个特征向量m＝(m₁,m₂,…m_d)作为全连接层的输入，其中m_i∈R,i＝1,2…n，接着经过一个修正线性单元(ReLU)激活函数，然后经过第二个全连接层，最后经过一个Sigmoid函数，把经过变换的输入特征图给转换成权重分布，最后得到的权重就是通道注意力的参数记为β∈[β₁,β₂…,β_n]，其中β_i∈R.然后将激活向量β与输入特征M进行元素相乘，最终输出通道注意力特征图U∈R^w×h×d。卷积神经网络的最终输出，记为

就是把通道注意力机制作用于输入图像的特征通道集合中，从而实现特征通道的重新缩放，输出公式为：

(2)对于空间注意力模块，以特征图中的每个像素点为单位的，对特征图中的每个像素点都配一个权重，建立空间信息的结构依赖关系去增强模型的特征表达能力；空间注意模块给定一个输入特征图M∈R^d×W×H，首先经过三个变换函数h、f、g得到变换后的特征图[O、P、Q]∈R^d×W×H，变换函数包括1×1卷积层， BN层和ReLU层，把P、Q变换为R^d×W×H，用P的转置矩阵乘以Q，再经过一个sigmoid激活函数计算得到经过空间注意特征图，计算公式为：

(3)其中s_i,j表示第i个图像区域与第j个图像区域之间的权重，特征图O 也变换为R^d×W×H，再将特征图O与权重矩阵S的转置进行矩阵相乘并且将得到的结果重新变换为R^d ^×W×H，由下式计算经过空间注意力模块得到的最终特征输出：

其中λ是可学习的学习率，初始化为0，逐渐赋予更大的权重值；

双重注意力机制的输出是将通道注意特征和空间注意特征进行元素相加，见公式，以便获得更好的特征表征信息：

Y_i＝U_i+V_i。

进一步，所述基于深度学习的目标跟踪算法利用MatConvNet框架构建全卷积对称网络，使用训练好的网络得到实验图像与模板的多维特征图，两者通过互相关操作，选取置信分数最大的点为所追踪目标的中心位置；同时在对中心位置进行多尺度采样，建立目标模板和样本概率直方图，计算模板与样本间的海林洛距离，将小于概率方差阈值样本过滤掉，选取合适的尺度作为目标追踪窗口的尺度；

所述基于深度学习的目标跟踪算法利用Siamese网络能够度量样本间相似度的特性，设计了一种全连接对称网络完成目标中心定位；将Siamese Network 架构中用于表征样本的子网络更换成结构为5层卷积2层池化层的卷积神经网络CNN；通过最小化损失函数来获取两张图片相似度最高的位置，实现目标中心定位；同时结合目标尺度自适应算法采用多尺度图像构建样本集，训练多尺度核相关滤波分类器，通过分类器对目标的尺度估计实现目标的最佳尺度检测；在最佳尺度下采集样本在线学习更新分类器，实现尺度自适应的目标跟踪；

所述基于深度学习的目标跟踪算法结合多尺度采样方法和相似度匹配进行目标尺度估计，在目标中心位置进行多尺度采样，具体步骤如下：

(1)在孪生网络中，通过学习一个相似度匹配函数，计算搜索区域和目标模板之间的相似度，模板图像使用的是视频第一帧的真实框；x代表的是搜索区域，代表在后面的待跟踪帧中候选框的搜索区域；若相似度函数得分较大，则表明两个图像块表示的相同目标；若得到的函数值较小，则表明两个图像块是不同的目标；在视频下一帧图像中，通过在整张图片中寻找最大相似度的候选图像块，确定目标的中心位置；首先初始帧中目标在图像的位置记为 L₁(L₁＝w₁×h₁)，采样窗口大小s_dw₁×s_dh₁作为模板图像块大小，目标图像区域记为 z_d，其中s_d为尺度自适应算法中目标的尺度因子，s_d＞1，从视频下一帧中采样获得搜索区域图像块z_d，采样窗口的位置为L_t，大小为s_dw_t-1×s_dh_t-1；

在视频初始帧图像中，根据所给出的目标位置和目标窗口尺度信息，通过孪生网络提取目标深度特征，并构建多尺度样本集序列，训练分类器在构建多尺度样本数据集时，采用的训练方法是，首先根据第一帧图像给出的目标初始位置，以当前尺度为尺度初始值，对原图像进行不同比例的缩放，得到不同尺度的一系列基本图像序列；其次所有缩放比例组成一个向量s_i＝1+α*m，其中 m＝0,1,...,m；i＝1,2,...,2M+1，其中α∈(-1,1)是缩放比例的系数，表示放大或者缩小，α为正时s_i＞1，表示放大的尺度；α为负时s_i＜1，表示缩小的尺度，2M+1 表示缩放比例的总数量；

(2)在视频第t帧获得最大响应的目标位置L_d,t处进行多尺度采样，得到多尺度基样本序列x_i，目标图像块为z_p，其大小为s_ew_t-1×s_eh_t-1，其中e是指边缘检测算法中目标的尺度因子，尺度因子s_e小于s_d；通过边缘检测算法对当前帧进行处理，并得到目标的多个候选样本框，再将得分较高的候选框作为最优的候选目标，利用马氏距离计算上一帧和当前帧目标相似度并得到响应图，记录目标候选框中最大的响应值为f_max，f_max的取值如下式：

f_max＝max(f_max,1,f_max,2,…,f_max,n)；

(3)采用线性插值的方法更新尺度：

其中w_t-1、h_t-1分别为第t-1帧中目标的宽度和高度，w_p,t、h_p,t分别为第t帧中响应值最大的候选框宽度与高度，γ为学习率。

进一步，所述基于孪生网络的跟踪算法在SiameseFC算法框架的基础上使用VGG16Net作为主干网络提取特征，提高网络的特征表达能力，同时对网络进行修改，不使用填充并对池化层进行改进，每一层卷积之后加入批归一化层，再经过非线性激活函数层，没有填充，在网络的第10层后加入注意力机制；在孪生网络的基础上使用VGG网络结构，该算法有两个分支，分别是模板分支和搜索分支，模板分支类似于target分支，搜索分支类似于搜索区域分支；所述基于孪生网络的跟踪算法流程如下：

(1)从视频中随机选择一帧T1，RoI就是GT框标注的target，只需输入 T1和GT框的坐标输入到模板分支中；

(2)将conv4，conv5输出的特征图通过RoI Pooling固定RoI的shape；

(3)将conv5经过RoI Pooling后输出的特征图输入到全连接层中；

(4)将三个含有固定形状的RoI的特征图分别输入到L2 Normalization层；

(5)搜索分支同理，但是搜索分支的输入是从该视频中随机选择另外一帧 T2，然后通过半径采样策略在T2中生成很多的RoIs，计算这些RoIs与GT框的IoU。当IoU大于0.7记为正样本(1)；当IoU小于0.7记为负样本(0)；

(6)通过loss层计算两个分支汇集在一起的loss，进行训练使用训练完成后的匹配函数来执行跟踪任务。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

基于深度学习的目标跟踪算法，利用卷积神经网络搭建端到端的跟踪框架，对视频序列中的目标状态进行预测；通过使用孪生网络和尺度金字塔网络，学习图像特征，构建鲁棒性的目标表观特征，结合目标尺度自适应算法在当前帧的目标中心位置处进行多尺度采样，构建多分辨率特征金字塔，训练尺度滤波器及尺度特征降维；

在全卷积孪生神经网络的基础上将特征提取网络更换为预训练的深度 VGG-16网络，学习图像的深度语义特征；并在孪生网络的基础上，除了最后一个卷积层，每一层卷积后都增加批归一化层和下采样，同时最大值池化的方式代替平均值池化，没有填充，在网络的第十层后加入注意力机制。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的水下目标跟踪方法。

本发明的另一目的在于提供一种实施所述水下目标跟踪方法的水下目标跟踪系统，所述水下目标跟踪系统包括：

结构设计模块，用于设计基于孪生网络结合注意力机制的结构；

特征信息处理模块，用于将模板分支和搜索分支提取到的图像高维语义信息特征进行相关操作；

目标位置获取模块，用于得到下一帧的目标位置。

本发明的另一目的在于提供一种水下视觉的目标跟踪方法，所述水下视觉的目标跟踪方法使用所述的水下目标跟踪方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明将注意力机制模块和尺度金字塔模块相结合。首先设计基于孪生网络结合注意力机制的结构，该算法由一个修改后的深度卷积神经网络VGG和注意力模块组成，其中注意模块包括通道注意模块和空间注意模块，再将模板分支和搜索分支提取到的图像高维语义信息特征进行相关操作，最终得到下一帧的目标位置。在离线训练阶段将孪生卷积网络看作一个相似性学习器，针对目标与背景对比度差异较小的情况，使用空间注意力机制和通道注意力机制相结合的方法，能够很好地建立通道和空间的联系，充分利用目标的有用信息而抑制周围的干扰因素，当目标发生剧烈形变时，网络能够通过注意力机制关注目标的主要部分，从而提升模型的鲁棒性。其次，针对目标尺度大幅变化的问题，提出在孪生网络中加入尺度金字塔结构，对当前帧的目标中心位置处进行多尺度采样，并计算不同的跟踪框尺度与真实框的置信度，利用置信度阈值过滤错误样本，结合多尺度采样方法和相似度匹配原理估计目标尺度，建立目标和样本的概率直方图，从而选取最优的尺度作为目标跟踪窗口的尺度。

本发明设计一种适用于目标跟踪任务的基于孪生神经网络和注意力机制模块的网络结构，其中注意力机制包括通道注意模块和空间注意模块。空间注意力模块通过计算不同特征图中相同位置特征之间的相似程度，并赋予不同的权重，相似程度越大则给予更大的权重，反之，给予更小的权重。空间注意力模块通过建立不同特征图之间的空间信息关系来增强网络的特征表达能力。加入通道注意力模块可以优化目标维度特征，关注不同卷积核对应的特征类型，合理分配通道特征权值。通道注意力网络的主要思想是通过神经网络中多种卷积核提取的外观特征，利用通道注意力机制的特征选择策略来剔除冗余通道，精简特征表达，激活与目标相关性高的通道来构建显著外观特征模型。通过双重注意力模块对目标前景和背景图像内容分配不同的重要性权值，强调目标前景和抑制背景，增强神经网络对目标的判别能力。

本发明针对目标尺度变化过快问题，基于深度学习的目标跟踪算法，利用卷积神经网络搭建端到端的跟踪框架，对视频序列中的目标状态进行预测。并且进一步通过使用孪生网络和双重注意力机制，学习图像特征，构建鲁棒性的目标表观特征，利用尺度金字塔网络结合目标尺度自适应算法在当前帧的目标中心位置处进行多尺度采样，构建多分辨率特征金字塔，训练尺度滤波器及尺度特征降维，避免了在尺度空间内的穷举式搜索。该算法能够有效提升跟踪过程中的准确率和成功率，并适应目标被遮挡和快速形变等复杂场景下的目标跟踪，在处理尺度快速变化的待跟踪目标时该算法性能明显优于其他目标跟踪算法。

本发明基于孪生网络的跟踪算法很多都使用浅层AlexNet网络结构作为特征提取网络，但浅层网络提取的特征不够细致和突出，无法利用深层网络提取的高级语义特征，使得跟踪算法精度的下降。因此本发明对卷积神经结构进行改进，针对浅层全卷积孪生网络结构应用于目标跟踪中导致快速运动时目标容易跟丢的问题，本发明在全卷积孪生神经网络的基础上将特征提取网络更换为预训练的深度VGG-16网络，学习图像的深度语义特征。并在孪生网络的基础上，除了最后一个卷积层，每一层卷积后都增加批归一化层(Batch Normalization) 和下采样，同时最大值池化的方式代替平均值池化，没有填充，在网络的第十层后加入注意力机制。由于深度卷积网络中高语义信息对于目标的外观变化具有很强的鲁棒性，但是当出现相似性目标时，由于高级语义信息缺少判别性，就容易导致模型出现漂移。所以为了增强网络的判别能力，在网络的中间层加入一个动态的特征调节机制，这个机制由双重注意力机制实现，包括通道注意机制和空间注意机制，所有的网络参数在训练完成后都是固定的，不需要在线微调从而满足实时性的要求。该网络结构能够有效地增强网络的信息表征能力，提高目标跟踪的鲁棒性和准确性。

本发明给定需跟踪的目标在视频当前帧的位置，自动预测估计目标在后续帧的位置。水下环境中的目标包括鱼类、虾类等，此类目标运动具有特殊性，水下目标存在非刚性形变和快速运动导致的短时间内尺度发生剧烈变化等问题，对跟踪带来极大挑战。针对该问题，本发明提出了一种基于注意力机制和尺度自适应的水下目标跟踪方法，实现对水下目标的准确、鲁棒跟踪，为海洋生态保护、海洋渔业提供基础保障，促进海洋可持续发展。本发明提出基于注意力机制和尺度自适应的水下目标跟踪方法，进一步缓解水下跟踪过程中的问题。

本发明通过改进目标跟踪算法，提高水下目标跟踪准确率和鲁棒性，实现对水下目标更加精准的跟踪，有助于分析水下目标比如鱼类的行为习性，进而推动海洋渔业及养殖业的可持续发展。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的水下目标跟踪方法流程图。

图2是本发明实施例提供的水下目标跟踪系统的结构示意图；

图2中：1、结构设计模块；2、特征信息处理模块；3、目标位置获取模块。

图3是本发明实施例提供的适用于目标跟踪任务的双重注意力机制算法流程图。

图4是本发明实施例提供的基于全卷积对称网络的目标尺度自适应追踪算法流程图。

图5是本发明实施例提供的水下目标跟踪方法实现流程图。

图6是本发明实施例提供的使用注意力机制和尺度自适应的简单网络结构图。

图7是本发明实施例提供的使用注意力机制模块的特征热度图。

图8是本发明实施例提供的对比示意图；

图8中：(a)本发明在成功率图Success plot和精度图Precision plot上的图；(b)其他跟踪算法在成功率图Success plot和精度图Precision plot上的图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种水下目标跟踪方法、系统、存储介质、设备、终端及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的水下目标跟踪方法包括以下步骤：

S101：设计基于孪生网络结合注意力机制的结构，该算法由一个修改后的深度卷积神经网络VGG和注意力模块组成，其中注意模块包括通道注意模块和空间注意模块；

S102：将模板分支和搜索分支提取到的图像高维语义信息特征进行相关操作；

S103：得到下一帧的目标位置。

本发明提供的水下目标跟踪方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的水下目标跟踪方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的水下目标跟踪系统包括：

结构设计模块1，用于设计基于孪生网络结合注意力机制的结构；

特征信息处理模块2，用于将模板分支和搜索分支提取到的图像高维语义信息特征进行相关操作；

目标位置获取模块3，用于得到下一帧的目标位置。

下面结合附图对本发明的技术方案作进一步的描述。

如图3所示，本发明提供的水下目标跟踪方法具体包括以下步骤：

1.卷积神经网络在处理图像时，每次网络关注的内容可能只是图像中的某一小部分，因此如果在网络模型关注图像某个时都能够强调这个部分的话，这样对于模型的特征表达能力会有所提升。因此，在孪生网络中加入通道注意力机制和空间注意力机制来构建适应性外观特征模型。本发明设计了一种适用于目标跟踪任务的双重注意力机制算法，网络由一个修改后的深度卷积神经网络和一个双重注意模块组成，其中双重注意模块包括通道注意模块和空间注意模块，使用注意力机制选择性地强调目标有用的信息，最后将提取到的模板图像和搜索图像的高层语义信息特征进行互相关操作，得到响应值最大的位置即为目标新的位置。该算法是由孪生网络在两个分支中加入注意力模块，当目标发生快速形变时，网络能够通过注意力机制关注前景中目标部分，从而提高跟踪的鲁棒性。一方面，构建空间注意力模块关注卷积特征图的空间特征，学习图像外观特征权值。空间注意力网络的主要思想是增强目标前景和抑制语义背景，分配目标前景和背景图像内容不同的重要性权值。另一方面，构建通道注意力网络优化维度特征，关注不同卷积核对应的特征类型，学习图像特征的通道权值。通道注意力网络的主要思想是利用多种卷积核提取的外观特征存在冗余，采用通道特征选择策略剔除冗余来精简特征表达，同时激活与目标相关性高的通道特征来构建显著外观特征模型。如图3所示。

具体步骤如下：

(1)通道注意力机制是以特征图为操作单位，给出输入图像的特征通道集合记为B＝[b₁,b₂…,b_n],b_k∈R^W×H,k＝1,2…n，并把它定义为对每个通道都匹配一个权值，如图4中通道注意力模块所示，输入的特征图M∈R^w×h×d首先经过平均池化层得到一个特征向量m＝(m₁,m₂,…m_d)作为全连接层的输入，其中m_i∈R,i＝1,2…n，接着经过一个修正线性单元(ReLU)激活函数，然后经过第二个全连接层，最后经过一个Sigmoid函数，把经过变换的输入特征图给转换成权重分布，最后得到的权重就是通道注意力的参数记为β∈[β₁,β₂…,β_n]，其中β_i∈R.然后将激活向量β 与输入特征M进行元素相乘，最终输出通道注意力特征图U∈R^w×h×d。卷积神经网络的最终输出(记为

)就是把通道注意力机制作用于输入图像的特征通道集合中，从而实现特征通道的重新缩放，输出公式为：

(2)对于空间注意力模块来说，它是以特征图中的每个像素点为单位的，对特征图中的每个像素点都配一个权重，以便建立空间信息的结构依赖关系去增强模型的特征表达能力。空间注意模块如图4所示，给定一个输入特征图 M∈R^d×W×H，首先经过三个变换函数h、f、g得到变换后的特征图 [O、P、Q]∈R^d×W×H，变换函数包括1×1卷积层，BN层和ReLU层，然后把P、Q 变换为R^d×W×H，用P的转置矩阵乘以Q，再经过一个sigmoid激活函数计算得到经过空间注意特征图，计算公式为：

(3)其中s_i,j表示第i个图像区域与第j个图像区域之间的权重，与此同时，特征图O也变换为R^d×W×H，然后再将特征图O与权重矩阵S的转置进行矩阵相乘并且将得到的结果重新变换为R^d×W×H，由下公式(3)计算经过空间注意力模块得到的最终特征输出：

其中λ是可学习的学习率，初始化为0，然后逐渐赋予更大的权重值，这样可以使得网络先学习简单的任务再慢慢增加学习任务的复杂度。

双重注意力机制的输出是将通道注意特征和空间注意特征进行元素相加，见公式(4)，以便获得更好的特征表征信息：

Y_i＝U_i+V_i(4)

2.针对目标追踪过程中由于目标快速运动及尺度变化导致追踪失败的问题，提出了一种基于全卷积对称网络的目标尺度自适应追踪算法。首先利用 MatConvNet框架构建全卷积对称网络，使用训练好的网络得到实验图像与模板的多维特征图，两者通过互相关操作，选取置信分数最大的点为所追踪目标的中心位置；同时在对中心位置进行多尺度采样，建立目标模板和样本概率直方图，计算模板与样本间的海林洛距离，将小于概率方差阈值样本过滤掉，选取合适的尺度作为目标追踪窗口的尺度。具体来说，本发明算法利用了Siamese 网络能够度量样本间相似度的特性，设计了一种全连接对称网络完成目标中心定位；将Siamese Network架构中用于表征样本的子网络更换成结构为5层卷积 2层池化层的卷积神经网络(CNN)。通过最小化损失函数来获取两张图片相似度最高的位置，实现目标中心定位；同时结合目标尺度自适应算法采用多尺度图像构建样本集，训练多尺度核相关滤波分类器，通过分类器对目标的尺度估计实现目标的最佳尺度检测；然后，在最佳尺度下采集样本在线学习更新分类器，实现尺度自适应的目标跟踪，算法框架如图4所示。

本发明结合多尺度采样方法和相似度匹配进行目标尺度估计，在目标中心位置进行多尺度采样，具体步骤如下：

(1)在孪生网络中，主要通过学习一个相似度匹配函数，计算搜索区域和目标模板之间的相似度，模板图像使用的是视频第一帧的真实框；x代表的是搜索区域，代表在后面的待跟踪帧中候选框的搜索区域。若相似度函数得分较大，则表明两个图像块表示的相同目标；若得到的函数值较小，则表明两个图像块是不同的目标。在视频下一帧图像中，通过在整张图片中寻找最大相似度的候选图像块，确定目标的中心位置。首先初始帧中目标在图像的位置记为 L₁(L₁＝w₁×h)₁，采样窗口大小s_dw₁×s_dh₁作为模板图像块大小，目标图像区域记为 z_d，其中s_d为尺度自适应算法中目标的尺度因子，s_d＞1。从视频下一帧中采样获得搜索区域图像块z_d，采样窗口的位置为L_t，大小为s_dw_t-1×s_dh_t-1。

在视频初始帧图像中，根据所给出的目标位置和目标窗口尺度信息，通过孪生网络提取目标深度特征，并构建多尺度样本集序列，训练分类器在构建多尺度样本数据集时，训练分类器的方法是，首先根据第一帧图像给出的目标初始位置，以当前尺度为尺度初始值，对原图像进行不同比例的缩放，从而得到不同尺度的一系列基本图像序列；其次所有缩放比例组成一个向量s_i＝1+α*m，其中m＝0,1,...,m；i＝1,2,...,2M+1，其中α∈(-1,1)是缩放比例的系数，表示放大或者缩小，α为正时s_i＞1，表示放大的尺度；α为负时s_i＜1，表示缩小的尺度，2M+1 表示缩放比例的总数量。

(2)在视频第t帧获得最大响应的目标位置L_d,t处进行多尺度采样，得到多尺度基样本序列x_i，目标图像块为z_p，其大小为s_ew_t-1×s_eh_t-1(其中e是指边缘检测算法中目标的尺度因子)，尺度因子s_e小于s_d。本发明通过边缘检测算法对当前帧进行处理，并得到目标的多个候选样本框，再将得分较高的候选框作为最优的候选目标，利用马氏距离计算上一帧和当前帧目标相似度并得到响应图，记录目标候选框中最大的响应值为f_max，f_max的取值如下式：

f_max＝max(f_max,1,f_max,2,…,f_max,n) (5)

(3)为保证目标跟踪在跟踪过程中尺度变化稳健性，采用线性插值的方法更新尺度，即：

3.基于孪生网络的跟踪算法很多都使用浅层的类AlexNet作为基准特征提取网络，浅层网络提取的特征不够细致和突出，无法利用深层网络的特征而导致跟踪算法精度的下降。因此我们通过设置合适的填充和步长，使用深层预训练好的VGG网络，利用深层语义特征来提高跟踪精度。本发明在SiameseFC算法框架的基础上使用VGG16Net作为主干网络提取特征，提高网络的特征表达能力，同时对网络进行修改，不使用填充并对池化层进行改进，减少原本网络结构中池化层的数量，每一层卷积之后立即加入批归一化层，再经过非线性激活函数层，没有填充，在网络的第10层后加入注意力机制，以保证图像较高的分辨率和算法的跟踪速度，具体网络参数见表1所示。本发明在孪生网络的基础上使用VGG网络结构，该算法有两个分支，分别是模板分支和搜索分支，模板分支类似于target分支，搜索分支类似于搜索区域分支。算法流程如下：

(1)从视频中随机选择一帧T1，RoI就是GT框标注的target，将它们(实际上只需输入T1和GT框的坐标)输入到模板分支中。

(2)将conv4，conv5输出的特征图通过RoI Pooling固定RoI的shape。

(3)将conv5经过RoI Pooling后输出的特征图输入到全连接层中。

(4)将三个含有固定形状的RoI的特征图分别输入到L2 Normalization层。

(5)搜索分支同理，但是搜索分支的输入是从该视频中随机选择另外一帧 T2，然后通过半径采样策略在T2中生成很多的RoIs(含不同scale)，计算这些 RoIs与GT框的IoU。当IoU大于0.7记为正样本(1)；当IoU小于0.7记为负样本(0)。

表1基于注意力机制的孪生网络部分参数

如图5所示，本发明的跟踪算法流程图。

图6和图7分别是使用注意力机制和尺度自适应的简单网络结构图和使用注意力机制模块的特征热度图。

本发明针对全卷积孪生网络在目标快速运动时目标外观发生显著变化而导致跟踪失败问题，提出一种基于注意力机制的孪生网络跟踪算法，不同的注意力模块能够捕获不同类型的注意力来指导特征学习，加入空间注意力模块和通道注意力模块在线学习目标形变并强调目标前景和抑制目标背景。空间注意力机制是将空间变换网络(spatialtransformer network)中最重要的空间变换模块作为新的层，直接加入到孪生网络结构中，空间注意力模块加进去最大的好处是能将图片中的空间域信息做对应的空间变换，从而把视频帧中目标的关键信息提取出来。通道注意力机制是给每个通道上的信号都增加一个权重，代表该通道与目标的相关度，该权重越大，则表示相关度越高，并使模型学习权重更大的特征，从而忽略目标无关信息而关注重要信息。本发明通过融合空间注意力和通道注意力模块，提高跟踪器的判别能力，进一步提高目标跟踪的准确率。

本发明针对目标尺度变化过快问题，结合孪生网络结构与尺度金字塔结构，在通过注意力机制充分利用目标前景和目标背景信息的基础上，在孪生网络的基础上使用一维尺度搜索和二维目标位置估计的方法，两个模块相互独立的，分别实现目标的跟踪和尺度变换。在当前帧中，先利用二维的位置匹配来确定目标的新候选位置，再利用一维的尺度搜索以当前帧目标的中心位置为中心点，获取不同尺度的候选图像块，从而找到最匹配的跟踪框尺度。当跟踪目标成功时，选取当前帧的目标尺度及几个相邻的尺度作为下一帧检测目标时滑动窗口尺度的选取范围；而当跟踪失败时，则在算法初始化阶段选取时，根据跟踪目标及视频图像大小选定的尺度来保障长时间跟踪目标，从而有效减少了平均每帧扫描的窗口数量。通过估计得到新的一帧的目标位置和尺度，再次更新目标位置和尺度模型。实验结果表明，该方法不仅有效地降低了检测模块的检测时间，显著提高了整体算法速度，而且通过动态选取尺度，在一定程度使得孪生网络跟踪器的各个模块更加协调，跟踪精确度得到提升。

本发明提出了基于深度孪生网络的目标跟踪框架。针对基于孪生网络的跟踪算法很多都使用浅层的类AlexNet作为基准特征提取网络，但浅层网络提取的特征不够细致和突出，无法利用深层网络的特征而导致跟踪算法精度的下降。因此我们通过设置合适的填充和步长，使用修改后的VGG网络作为特征提取模型，充分利用网络的深层语义特征，并在网络中加入特征下采样，和使用最大值池化方式代替平均值池化等改进，进一步提高网络鲁棒性。在孪生网络结构的模板分支和搜索分支上分别加入注意力模块，使网络具备了对不同目标特征选择相应的特征通道的能力，同时在目标空间中使用交叉熵损失函数衡量模板和搜索区域的相似度从而得到目标的准确位置，有效增强了网络模型的泛化能力，提高了跟踪速度和鲁棒性。

本发明在OTB50数据集上对进行实验，得到在注意力机制后的跟踪效果优于其他先进的跟踪算法，以下是本发明(图8的(a))和其他跟踪算法(图8 的(b))在成功率图Success plot和精度图Precision plot上的对比图。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语 “上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、 “第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims

1.一种水下目标跟踪方法，其特征在于，所述水下目标跟踪方法包括：

在全卷积孪生神经网络的基础上将特征提取网络更换为预训练的深度VGG-16网络，学习图像的深度语义特征；并在孪生网络的基础上，除了最后一个卷积层，每一层卷积后都增加批归一化层和下采样，同时最大值池化的方式代替平均值池化，没有填充，在网络的第十层后加入注意力机制。

2.如权利要求1所述的水下目标跟踪方法，其特征在于，所述采用适用于目标跟踪任务的基于孪生神经网络和注意力机制模块的网络结构由一个修改后的深度卷积神经网络和一个双重注意模块组成，其中双重注意模块包括通道注意模块和空间注意模块，使用注意力机制选择性地强调目标有用的信息，最后将提取到的模板图像和搜索图像的高层语义信息特征进行互相关操作，得到响应值最大的位置即为目标新的位置。

3.如权利要求2所述的水下目标跟踪方法，其特征在于，由孪生网络在两个分支中加入注意力模块，当目标发生快速形变时，网络能够通过注意力机制关注前景中目标部分；构建空间注意力模块关注卷积特征图的空间特征，学习图像外观特征权值；空间注意力网络的增强目标前景和抑制语义背景，分配目标前景和背景图像内容不同的重要性权值；构建通道注意力网络优化维度特征，关注不同卷积核对应的特征类型，学习图像特征的通道权值；通道注意力网络利用多种卷积核提取的外观特征存在冗余，采用通道特征选择策略剔除冗余精简特征表达，同时激活与目标相关性高的通道特征构建显著外观特征模型；

(1)通道注意力机制是以特征图为操作单位，给出输入图像的特征通道集合记为B＝[b₁,b₂…,b_n],b_k∈R^W×H,k＝1,2…n，并把它定义为对每个通道都匹配一个权值，输入的特征图M∈R^w×h×d首先经过平均池化层得到一个特征向量m＝(m₁,m₂,…m_d)作为全连接层的输入，其中m_i∈R,i＝1,2…n，接着经过一个修正线性单元(ReLU)激活函数，然后经过第二个全连接层，最后经过一个Sigmoid函数，把经过变换的输入特征图给转换成权重分布，最后得到的权重就是通道注意力的参数记为β∈[β₁,β₂…,β_n]，其中β_i∈R.然后将激活向量β与输入特征M进行元素相乘，最终输出通道注意力特征图U∈R^w×h×d，卷积神经网络的最终输出，记为

(2)对于空间注意力模块，以特征图中的每个像素点为单位的，对特征图中的每个像素点都配一个权重，建立空间信息的结构依赖关系去增强模型的特征表达能力；空间注意模块给定一个输入特征图M∈R^d×W×H，首先经过三个变换函数h、f、g得到变换后的特征图[O、P、Q]∈R^d×W×H，变换函数包括1×1卷积层，BN层和ReLU层，把P、Q变换为R^d×W×H，用P的转置矩阵乘以Q，再经过一个sigmoid激活函数计算得到经过空间注意特征图，计算公式为：

(3)其中s_i,j表示第i个图像区域与第j个图像区域之间的权重，特征图O也变换为R^d ^×W×H，再将特征图O与权重矩阵S的转置进行矩阵相乘并且将得到的结果重新变换为R^d×W×H，由下式计算经过空间注意力模块得到的最终特征输出：

Y_i＝U_i+V_i。

4.如权利要求1所述的水下目标跟踪方法，其特征在于，所述基于深度学习的目标跟踪算法利用MatConvNet框架构建全卷积对称网络，使用训练好的网络得到实验图像与模板的多维特征图，两者通过互相关操作，选取置信分数最大的点为所追踪目标的中心位置；同时在对中心位置进行多尺度采样，建立目标模板和样本概率直方图，计算模板与样本间的海林洛距离，将小于概率方差阈值样本过滤掉，选取合适的尺度作为目标追踪窗口的尺度；

所述基于深度学习的目标跟踪算法利用Siamese网络能够度量样本间相似度的特性，设计了一种全连接对称网络完成目标中心定位；将Siamese Network架构中用于表征样本的子网络更换成结构为5层卷积2层池化层的卷积神经网络CNN；通过最小化损失函数来获取两张图片相似度最高的位置，实现目标中心定位；同时结合目标尺度自适应算法采用多尺度图像构建样本集，训练多尺度核相关滤波分类器，通过分类器对目标的尺度估计实现目标的最佳尺度检测；在最佳尺度下采集样本在线学习更新分类器，实现尺度自适应的目标跟踪；

(1)在孪生网络中，通过学习一个相似度匹配函数，计算搜索区域和目标模板之间的相似度，模板图像使用的是视频第一帧的真实框；x代表的是搜索区域，代表在后面的待跟踪帧中候选框的搜索区域；若相似度函数得分较大，则表明两个图像块表示的相同目标；若得到的函数值较小，则表明两个图像块是不同的目标；在视频下一帧图像中，通过在整张图片中寻找最大相似度的候选图像块，确定目标的中心位置；首先初始帧中目标在图像的位置记为L₁(L₁＝w₁×h₁)，采样窗口大小s_dw₁×s_dh₁作为模板图像块大小，目标图像区域记为z_d，其中s_d为尺度自适应算法中目标的尺度因子，s_d＞1，从视频下一帧中采样获得搜索区域图像块z_d，采样窗口的位置为L_t，大小为s_dw_t-1×s_dh_t-1；

在视频初始帧图像中，根据所给出的目标位置和目标窗口尺度信息，通过孪生网络提取目标深度特征，并构建多尺度样本集序列，训练分类器在构建多尺度样本数据集时，训练分类器的方法是，首先根据第一帧图像给出的目标初始位置，以当前尺度为尺度初始值，对原图像进行不同比例的缩放，得到不同尺度的一系列基本图像序列；其次所有缩放比例组成一个向量s_i＝1+α*m，其中m＝0,1,...,m；i＝1,2,...,2M+1，其中α∈(-1,1)是缩放比例的系数，表示放大或者缩小，α为正时s_i＞1，表示放大的尺度；α为负时s_i＜1，表示缩小的尺度，2M+1表示缩放比例的总数量；

f_max＝max(f_max,1,f_max,2,…,f_max,n)；

(3)采用线性插值的方法更新尺度：

5.如权利要求1所述的水下目标跟踪方法，其特征在于，所述基于孪生网络的跟踪算法在SiameseFC算法框架的基础上使用VGG16Net作为主干网络提取特征，提高网络的特征表达能力，同时对网络进行修改，不使用填充并对池化层进行改进，每一层卷积之后加入批归一化层，再经过非线性激活函数层，没有填充，在网络的第10层后加入注意力机制；在孪生网络的基础上使用VGG网络结构，该算法有两个分支，分别是模板分支和搜索分支，模板分支类似于target分支，搜索分支类似于搜索区域分支；所述基于孪生网络的跟踪算法流程如下：

(1)从视频中随机选择一帧T1，RoI就是GT框标注的target，只需输入T1和GT框的坐标输入到模板分支中；

(2)将conv4，conv5输出的特征图通过RoI Pooling固定RoI的shape；

(3)将conv5经过RoI Pooling后输出的特征图输入到全连接层中；

(5)搜索分支同理，但是搜索分支的输入是从该视频中随机选择另外一帧T2，然后通过半径采样策略在T2中生成很多的RoIs，计算这些RoIs与GT框的IoU，当IoU大于0.7记为正样本(1)；当IoU小于0.7记为负样本(0)；

6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～6任意一项所述的水下目标跟踪方法。

9.一种实施权利要求1～6任意一项所述水下目标跟踪方法的水下目标跟踪系统，其特征在于，所述水下目标跟踪系统包括：

目标位置获取模块，用于得到下一帧的目标位置。

10.一种水下视觉的目标跟踪方法，其特征在于，所述水下视觉的目标跟踪方法使用权利要求1～6任意一项所述的水下目标跟踪方法。