CN106651917A - 基于神经网络的图像目标跟踪算法 - Google Patents

Abstract

本发明公开一种基于神经网络的图像目标跟踪算法，主要包括：步骤一，使用收集的图像训练自编码器，得到神经网络；步骤二，预处理需要跟踪的图像序列，使用自编码器进行特征提取；步骤三，使用滤波的方法对目标进行跟踪；步骤四，根据每一帧的跟踪结果对跟踪器进行更新；步骤五，根据跟踪效果动态调整更新参数。本发明有效克服亮度变化以及被跟踪的目标外形变化对跟踪效果的不利影响，同时对跟踪过程进行动态调整，使得目标外形变化较快或较慢时都能得到较好的跟踪效果。

Description

基于神经网络的图像目标跟踪算法

技术领域

本发明属于人工神经网络和计算机视觉领域，涉及自编码器神经网络和目标追踪技术，尤其涉及一种基于神经网络的图像目标跟踪算法。

背景技术

图像序列目标跟踪具有非常广泛的应用，是计算机视觉中最经典的问题之一。图像序列目标跟踪解决如下问题：在图像序列的某一帧中使用一个矩形框来界定需要被跟踪的目标对象，目标跟踪算法在后续的图像序列中给出被跟踪的目标对象在当前图像中的位置。图像目标跟踪算法在机器人技术、航天、安全监控、军事等诸多领域有着广泛的应用前景。

基于区域的目标跟踪算法把目标一开始所在的区域的矩形框作为目标对象的模板，在后序的图像序列中，使用目标对象的模板与图像中所有可能的位置进行相关度的匹配，匹配度越高说明相关性越强。基于区域的跟踪使用了目标对象的全局信息，因此可信度较高，但目标发生严重形变时容易造成跟踪失败的发生。

基于特征的目标跟踪算法使用目标的显著的特征来表示目标，比较常用的目标特征有颜色特征、灰度特征、纹理特征等，然后在新的图像上进行特征的匹配，然后根据原特征和新图像上的特征的相似性来确定目标对象的位置。

基于运动的目标跟踪算法会利用一系列图像序列中的目标的运动信息来对目标对象进行跟踪。由于二维的图像无法完整地表示三维空间中物体的运动状态，在目标对象发生复杂的运动时，这种方法通常会不稳定。

在实际的目标跟踪过程中，目标对象的外形变化和运动状态都非常复杂，当目标对象的外形和运动状态发生变化时，上述跟踪方法难以快速适应这些变化，容易造成跟踪效果差甚至跟踪失败的情况。

发明内容

本发明的目的在于克服上述现有技术的不足，采用神经网络对原图像进行编码，有效克服亮度变化以及被跟踪的目标外形变化对跟踪效果的不利影响，同时对跟踪过程进行动态调整，使得目标外形变化较快或较慢时都能得到较好的跟踪效果。

本发明的技术方案是提供一种基于神经网络的图像目标跟踪算法，包括如下：

步骤一：使用收集的图像训练自编码器，得到神经网络；

训练的目标最小化下式(1)：

其中：x表示神经网络的输入，W表示网络权值，h表示隐藏层的向量；

步骤二：预处理需要跟踪的图像序列，使用自编码器进行特征提取；

步骤三：使用滤波的方法对目标进行跟踪；

步骤四：根据每一帧的跟踪结果对跟踪器进行更新；

步骤五：根据跟踪效果动态调整更新参数。

所述步骤一具体如下:

(1)、收集一系列具有明显特征的图像；

(2)、切割每个图像成多个小的图像块；

(3)、使用切割后的图像块训练自编码器；

(4)、训练出来的神经网络用于提取图像的特征向量。

所述步骤二具体如下:将输入图像分割成M×N个图像块，使用训练得到的神经网络对每个图像块进行编码，得到一组特征向量。

所述步骤三具体如下：使用窗函数过滤提取出特征，首先将经过窗函数过滤的特征向量映射到傅立叶域，使用第一帧图像的特征向量建立一个线性相关模型；对之后的每一帧图像，使用该模型预测目标对象在当前图像的位置。

所述步骤四具体如下：根据目标对象新的位置对跟踪模型的参数进行调整，以适应目标对象的外形变化。

所述步骤五具体如下：在跟踪过程中，如检测到目标对象外形变化速率较快，则提高上述步骤四中模型更新的速率，反之则降低该速率。

本发明的有益效果：

本发明有效克服亮度变化对目标对象特征的影响；实时调整跟踪模型，以适应目标对象的外形变化，得到更精确的跟踪效果；同时能够在跟踪过程中根据实际情况动态调整学习参数，使目标外形变化快慢均能取得好的跟踪效果。

本发明的算法保证了目标跟踪的准确性和鲁棒性。

附图说明

图1为本发明的算法流程图。

图2为测试序列跟踪窗口偏移图。

具体实施方式

下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，并不对本发明作任何的限制。

本发明基于神经网络的图像目标跟踪算法，如图1所示，算法包括如下步骤：步骤一、使用收集的图像训练自编码器，得到神经网络，具体：

收集一系列具有明显特征的图像，将每个图像切割成多个小的图像块，使用这些图像块对自编码器进行训练，训练的目标是最小化下式(1)：

其中：x表示神经网络的输入，W表示网络权值，h表示隐藏层的向量；

训练出来的神经网络用于提取图像的特征向量，并减少目标旋转和光照变化的影响。

步骤二、预处理需要跟踪的图像序列，使用自编码器进行特征提取，具体如下：

将输入图像分割成M×N个图像块，使用训练得到的神经网络对每个图像块进行编码，特征提取得到一组特征向量，即M×N个特征向量。

步骤三、使用滤波的方法对目标进行跟踪；由于目标对象的位于中心的特征更能代表目标对象，而位于边缘的部分更多的是背景的特征，因此使用窗函数过滤提取出特征，将经过窗函数过滤的特征向量映射到傅立叶域，使用第一帧图像的特征向量建立一个线性相关模型；对随后的每一帧图像，使用该模型预测目标对象在当前图像的位置，具体为：

(1)、为了使跟踪有更好的效率，相关的计算将在傅立叶域进行，因此需要将特征向量映射到傅立叶域；

(2)、根据M×N个特征向量建立基于相关滤波跟踪模型，根据第一帧图像建立跟踪模型，模型的训练输入就是目标对象的特征，记作x，模型的训练输出记作y，为了表示相关性与相关响应输出的关系，使y为在图像中心的具有方差为2.0的二维高斯形状的峰。

为了得到将训练输入映射到目标输出的相关滤波器，并使得相关的实际输出与期望的相关输出之间的误差最小，这个最小化问题的数学表示形式，如下式(2)所示，其中w表示所求的相关滤波器，γ是正则化参数。

式(2)表示的是一个线性岭回归模型，这个目标函数的解如下式(3)所示

w＝∑_m，nr_m，n·x_m，n (3)

其中参数r的定义如上式(3)、(4)所示，F表示快速傅立叶变换(FFT)算子，y表示二维的高斯形状。

(3)、将第一帧中的跟踪窗口的特征向量带入上式(4)中，得到回归模型R，在其余的图像序列中使用模型R来进行目标对象的跟踪。

假设在新的图像中跟踪窗口的特征表示为z，原来的图像中跟踪窗口的特征表示为x，新图像中跟踪窗口与原图像中跟踪窗口的相关响应由下式(5)表示。

响应映射结果与跟踪窗口裁剪成的图像块有相同的大小，即M×N，响应映射越大，则表示图像的相关性越大。

步骤四、根据每一帧的跟踪结果对跟踪器进行更新，以适应目标的变化；由于发生了运动，目标对象的特征必定会有所变化，根据目标对象新的位置对跟踪模型的参数进行调整，以适应目标对象的外形变化。假设在第i帧中，跟踪窗口的特征向量表示为x_i，线性回归模型表示为R_i，可以通过下式(6)来更新跟踪窗口的特征向量：

其中，t表示模型的学习速率。

步骤五、根据跟踪效果动态调整更新参数，在跟踪过程中，如检测到目标对象外形变化速率较快，则提高步骤四中模型更新的速率，反之则降低该速率。学习速率应当在一定范围内随目标对象的变化速度来进行调整。首先应当将每次跟踪的响应映射结果的最大值记录下来，当这个最大值变小时，可以确定被跟踪的目标正在发生外形变化，这时应当将学习速率稍稍提高，以适应目标对象的外形变化；当这个最大值回到正常水平时，可以确定被跟踪的目标对象外形变化较慢，这时应当将学习速率慢慢减小，以防止过度学习引起模型对新的目标对象特征的过度依赖。

实验对多组有挑战性的图像序列进行测试，并通过调整模型的初始更新速率因子来提高跟踪的效果。

同时，本发明通过对比跟踪模型预测的目标对象位置和目标对象的真实位置来评估跟踪效果，平均像素误差D可以使用公式(7)表示：

其中：N表示图像序列包含的图像数，x和y表示目标的真实位置，x’和y’表示跟踪器预测的目标位置，结果D越小表示跟踪效果越好。

由于不同的图像序列跟踪的目标变化情况不同，有的目标外形变化较大，而其他的目标外形变化较小。实验结果表明，当跟踪模型的初始更新速率调整为0.01时，跟踪结果有较好的效果。

如图2所示，随着时序的变化，预测的目标位置也在不断变化。当误差变化较大时，认为目标外形发生了较大的变化，应当调高更新速率；反之，当误差变化较小时，应当调低更新速率，以防止环境变化对跟踪过程产生不良的影响。

应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.基于神经网络的图像目标跟踪算法，其特征在于，包括如下：

步骤一：使用收集的图像训练自编码器，得到神经网络；

训练的目标最小化下式(1)：

$W=\arg \underset{W}{min}\mathrm{\Σ}\left|\right|x-W^{T}Wx|{|}_2^2+\mathrm{\λ}\mathrm{\Σ}|\left|h\right|{|}_1---\left(1\right)$

其中：x表示神经网络的输入，W表示网络权值，h表示隐藏层的向量；

步骤二：预处理需要跟踪的图像序列，使用自编码器进行特征提取；

步骤三：使用滤波的方法对目标进行跟踪；

步骤四：根据每一帧的跟踪结果对跟踪器进行更新；

步骤五：根据跟踪效果动态调整更新参数。

2.根据权利要求1所述的算法，其特征在于，所述步骤一具体如下：

(1)、收集一系列具有明显特征的图像；

(2)、切割每个图像成多个小的图像块；

(3)、使用切割后的图像块训练自编码器；

(4)、训练出来的神经网络用于提取图像的特征向量。

3.根据权利要求1所述的算法，其特征在于，所述步骤二具体如下：将输入图像分割成M×N个图像块，使用训练得到的神经网络对每个图像块进行编码，得到一组特征向量。

4.根据权利要求1所述的算法，其特征在于，所述步骤三具体如下：使用窗函数过滤提取出特征向量，将特征向量映射到傅立叶域，使用第一帧图像的特征向量建立一个线性相关模型；对随后的每一帧图像，使用该模型预测目标对象在当前图像的位置。

5.根据权利要求1所述的算法，其特征在于，所述步骤四具体如下：根据目标对象新的位置对跟踪模型的参数进行调整，以适应目标对象的外形变化。

6.根据权利要求1所述的算法，其特征在于，所述步骤五具体如下：在跟踪过程中，如检测到目标对象外形变化速率较快，则提高上述步骤四中模型更新的速率，反之则降低该速率。