CN113538518B - 一种基于记忆增强的目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于记忆增强的目标跟踪方法及系统，方法包括：S1、在孪生网络类方法中提取模板并以该模板生成初始塑性网络并初始化参数；S2、采用现有的数据集，使用孪生网络类方法的检测分支提取出目标跟踪的视频序列的模板作为塑性网络的训练数据集；S3、采用离线训练方式更新塑性网络；S4、使用步骤S3中训练好的超参数初始化塑性网络的参数，再采用在线训练方式在实时跟踪过程中对模板更新；S5、依据塑性网络输出的模板特征作为模板，与下一帧的候选框进行相似度匹配，选择相似度达到预设阈值的候选框作为预测目标。本发明在保证实时性的基础上，能提升目标跟踪的准确性。

Description

一种基于记忆增强的目标跟踪方法及系统

技术领域

本发明涉及计算机视觉领域中的单目标跟踪技术领域，更具体地说，特别涉及一种基于记忆增强的目标跟踪方法及系统。

背景技术

近年来，随着深度学习在目标检测领域上的卓越成果，为视觉目标跟踪提供了强有力的发展基础。移动机器人的发展和摄像头的广泛应用，促进了视觉目标跟踪的应用需求。其中，视觉目标跟踪要解决的主要问题是，如何快速从一段视频序列中准确的跟踪在第一帧图像中选中的目标；但由于摄像机场景千差万别，环境复杂多变，光线和视角变化复杂，以及由物体运动产生的形变、遮挡、模糊和快速移动等情况，使得目标跟踪十分困难。

与此同时，现代元学习近年来也逐渐磅礴发展，现代元学习被定义为学会学习，指的是在多个学习阶段改进算法的过程，它能够解决深度学习的许多传统挑战，包括数据和计算瓶颈，以及泛化的基本问题，不再依赖于海量训练数据。它可以从少量样本中学习，通过简单的尝试获得经验，从经验中学习。

现有的基于深度学习的目标跟踪算法，依赖于大量标注数据，难以从少量数据中学习到合适的特征，而单目标视觉跟踪在跟踪过程中可以依赖的数据只有第一帧中标注好的可靠数据，缺少大量关于特定目标的样本。元学习能够减少深度学习中对标注数据的依赖性，

因此，元学习类算法或许能帮助目标跟踪学习到能适应目标形态变化的特征。

发明内容

本发明的目的在于提供一种基于记忆增强的目标跟踪方法及系统，以克服现有技术所存在的缺陷。

为了达到上述目的，本发明采用的技术方案如下：

一种基于记忆增强的目标跟踪方法，包括以下步骤：

S1、在孪生网络类方法中提取模板并以该模板的大小和尺寸确定塑性网络的神经元数量，以生成初始塑性网络并初始化参数；

S2、采用现有的数据集，使用孪生网络类方法的检测分支提取出目标跟踪的视频序列的模板作为塑性网络的训练数据集；

S3、采用离线训练方式更新塑性网络，且在离线训练时固定权重和塑性权重在反向传播中进行更新，离线训练过程包括激活阶段和回忆阶段，所述激活阶段用于激活塑性网络中各个相关神经元之间的连接，所述回忆阶段利用不完全的目标特征唤醒各个神经元之间的连接，以使输出新的模板特征作为预测模板，再使用预测模板和真实的模板进行比较，将其损失作为优化目标对网络参数进行更新，训练完成后得到了该塑性网络的超参数；

S4、使用步骤S3中训练好的超参数初始化塑性网络的参数，再采用在线训练方式在实时跟踪过程中对模板更新，在线训练时用于对塑性权重进行更新，且在线更新包括激活阶段和回忆阶段，所述激活阶段使用跟踪过程中不断生成的模板更新塑性权重，在所述回忆阶段中保持塑性权重不变，再使用不完全的特征唤醒各个神经元之间的连接；

S5、依据塑性网络输出的模板特征作为模板，与下一帧的候选框进行相似度匹配，选择相似度达到预设阈值的候选框作为预测目标。

进一步地，所述塑性网络的网络结构与循环神经网络的网络结构一致，且在塑性网络中增加塑性权重，在所述塑性网络中，在每个时间步t，输入为x_i(t)，隐藏层激活为h(t)，输出为x_j(t)，目标为y(t),损失为L(t)，将固定权重W_i,j、塑性权重Hebb_i,j、x_j(t-1)放入隐藏层，将隐藏层参数传播到未来，随着隐藏层参数的向后传递，在神经网络权重中的目标外观特征和神经元之间的连接强度且被传递到当前时刻，塑性网络经过每一时刻的权重更新，计算输出的预测值x_j(t)和预期输出目标y(t)之间的差别L(t)，将该差别作为优化目标进行反向传播，使用梯度下降优化神经网络参数，获得更新后的网络权重，通过隐藏层参数预测出的输出结果间接的连接到当前时刻，用于预测下一时刻的预测结果。

进一步地，所述塑性网络从第1个时刻到第t个时刻，使用以下更新方程更新网络：

h_i,j(t)＝W_i,jx_i(t-1)+α_i,jHebb_i,jx_i(t-1)

x_j(t)＝σ(h(t))

其中，x_i表示输入层的第i个神经元，x_j表示输出层的第j个神经元，t表示第t时刻，α_i,j表示固定权重w_i,j和塑性权重Hebb_i,j之间的相对系数，h_i,j表示第i个输入神经元和第j个输出神经元之间的神经连接参数，h_i,j(t)表示t时刻第i个输入神经元到第j个输出神经元的计算图，h(t)表示第t个时刻所有输入神经元到输出神经元的计算图之和，x_j(t)作为t时刻塑性网络的输出。

进一步地，所述塑性网络的输出x_j(t)的更新函数可表示为：

塑性权重Hebb_i,j的更新方式如下：

Hebb_i,j(t+1)＝ηx_i(t-1)x_j(t)+(1-η)Hebb_i,j(t)

其中η表示Hebb_i,j的学习率。

进一步地，所述步骤S3中离线训练过程的激活阶段包括：首先、从一段视频序列中生成输入模式，然后、将每个输入模式进行扩充以复制到自身的k倍，最后、将扩充后的输入依次送入塑性网络并更新网络权重。

进一步地，所述步骤S3中离线训练过程的回忆阶段包括：首先、从输入模式组中选择一个输入单元，然后、将选中的输入单元随机衰减一半，产生新的模式作为测试模式，该测试模式用于唤醒激活阶段与输入模式相关的被激活后的神经元，将测试模式输入到塑性网络中，且固定权重W_i,j和塑性权重Hebb_i,j保持不变，塑性网络生成了新的输出x_j，计算塑性网络对当前帧的预测结果x_j和

之间的损失,其中

是当前帧标注矩阵的矩形框的特征；最后、通过梯度下降法更新固定权重W_i,j和塑性权重Hebb_i,j。

进一步地，在目标跟踪过程中，若目标出现异常状态时，则使用上一次的预测结果更新塑性网络，若目标为正常状态时，则使用当前帧的预测结果更新塑性网络。

进一步地，所述目标异常状态的检测方法为，利用二次函数放大目标的特征变化率波动，再根据规律进行状态判断。

本发明还提供一种实现上述的基于记忆增强的目标跟踪方法的系统，包括：

特征提取模块，用于在孪生网络类方法中提取模板并以该模板的大小和尺寸确定塑性网络的神经元数量，以生成初始塑性网络并初始化参数；以及用于采用现有的数据集，使用孪生网络类方法的检测分支提取出目标跟踪的视频序列的模板作为塑性网络的训练数据集；

离线更新模块，用于采用离线训练方式更新塑性网络，且在离线训练时固定权重和塑性权重在反向传播中进行更新，离线训练过程包括激活阶段和回忆阶段，所述激活阶段用于激活塑性网络中各个相关神经元之间的连接，所述回忆阶段利用不完全的目标特征唤醒各个神经元之间的连接，以使输出新的模板特征作为预测模板，再使用预测模板和真实的模板进行比较，将其损失作为优化目标对网络参数进行更新，训练完成后得到了该塑性网络的超参数；

在线更新模块，用于使用离线训练模块中训练好的超参数初始化塑性网络的参数，再采用在线训练方式在实时跟踪过程中对模板更新，在线训练时用于对塑性权重进行更新，且在线更新包括激活阶段和回忆阶段，所述激活阶段使用跟踪过程中不断生成的模板更新塑性权重，在所述回忆阶段中保持塑性权重不变，再使用不完全的特征唤醒各个神经元之间的连接；

相似度匹配模块，用于依据塑性网络输出的模板特征作为模板，与下一帧的候选框进行相似度匹配，选择相似度达到预设阈值的候选框作为预测目标；

所述特征提取模块、离线更新模块、在线更新模块和相似度匹配模块依次连接。

与现有技术相比，本发明的优点在于：

1、本发明对孪生网络类目标跟踪方法进行了改进，设计了包含特征提取、模板更新、相似度匹配的目标跟踪方法框架。

2、本发明使用塑性网络来记忆模板特征，基于塑性网络实现了模板更新，提取出能适应目标外观变化的模板特征，使得孪生网络提取的模板能够适应目标的形态变化，并且能在跟踪过程中在线更新，从而提高了基于孪生网络框架的目标跟踪方法的准确性。

3、本发明针对遮挡、消失等复杂情况下的目标跟踪问题设计了跟踪失败状态检测方法和相应的模板更新策略。及时发现目标丢失，使用可靠的预测结果更新塑性网络，进而提高了模板特征提取器在处理遮挡、消失等情况下的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于记忆增强的目标跟踪方法的框架。

图2是本发明塑性组件的设计图。

图3是本发明塑性网络的网络结构。

图4是本发明塑性网络的离线训练流程图。

图5是本发明塑性网络的在线更新流程图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参阅图1-图5所示，本实施例公开了一种基于记忆增强的目标跟踪方法，包括以下步骤：

步骤：S1、在孪生网络类方法中提取模板并以该模板的大小和尺寸确定塑性网络的神经元数量，以生成初始塑性网络并初始化参数。

本实施例中，塑性网络的网络结构如下：塑性网络是一个循环神经网络，其网络结构和循环神经网络结构一致，不同的：除了固定权重W_i,j以外，新增了塑性权重Hebb_i,j，图3展示了塑性网络的网络结构图。在每个时间步t，输入为x_i(t)，隐藏层激活为h(t)，输出为x_j(t)，目标为y(t),损失为L(t)。图3的左边是塑性网络循环回路原理图，右边是展开的计算图。图3中的循环神经网络将固定权重W_i,j、塑性权重Hebb_i,j、x_j(t-1)放入隐藏层，并且将隐藏层参数传播到未来，随着隐藏层参数的向后传递，承载在神经网络权重中的目标外观特征和神经元之间的连接强度，也被传递到当前时刻。塑性神经网络结合了这些输入，经过每一时刻的权重更新，计算输出的预测值x_j(t)和预期输出目标y(t)之间的差别L(t)，然后将该差别作为优化目标，反向传播，使用梯度下降优化神经网络参数，获得更新后的网络权重，通过隐藏层参数预测出的输出结果间接的连接到当前时刻，用于预测下一时刻的预测结果。

塑性网络的循环神经网络从第1个时刻到第t个时刻，使用以下更新方程更新网络，该更新方程可依据最新的研究成果进行改进或更新：

h_i,j(t)＝W_i,jx_i(t-1)+α_i,jHebb_i,jx_i(t-1)

x_j(t)＝σ(h(t))

其中，x_i表示输入层的第i个神经元，x_j表示输出层的第j个神经元，t表示第t时刻，参数α_i,j表示固定权重w_i,j和塑性权重Hebb_i,j之间的相对系数，取值范围在(0,1)之间，h_i,j表示第i个输入神经元和第j个输出神经元之间的神经连接参数，w_i,j表示第i个神经元和第j个神经元之间的固定连接权重，Hebb_i,j代表了第i个神经元和第j个神经元之间的连接权重。h_i,j(t)表示t时刻第i个输入神经元到第j个输出神经元的计算图，h(t)表示第t个时刻所有输入神经元到输出神经元的计算图之和。x_j(t)为经过σ激活h(t)之后得到t时刻第j个神经元的输出，σ是一个非线性函数tanh，在此处x_j(t)作为t时刻塑性网络的输出。

简而言之，塑性网络的输出x_j(t)的更新函数可表示为：

塑性权重Hebb_i,j的更新方式如下：

Hebb_i,j(t+1)＝ηx_i(t-1)x_j(t)+(1-η)Hebb_i,j(t)

其中η表示Hebb_i，j的学习率，η也是塑性网络的优化目标之一。Hebb_i，j在每个生命周期开始被初始化为0，W_i，j和α_i，j是塑性网络的结构参数，这两个结构参数在网络的整个生命周期内都是有效的。并通过生命周期之间的梯度下降，以最大化整个生命周期的预期性能。η以权重衰减项的形式出现，以防止Hebb_i，j出现失控的正反馈，由于权重衰减，Hebb_i，j在没有输入的情况下会衰减为0，其他更复杂的赫布规则可以在没有刺激的情况下无限期地保持稳定的权值，从而允许稳定的长期记忆，同时仍然防止失控的发散，Hebb_i，j的更新方式可以使用其他的更新规则替换。

步骤S2、采用现有的数据集，使用孪生网络类方法的检测分支提取出目标跟踪的视频序列的模板作为塑性网络的训练数据集。

塑性网络需要训练并更新两组参数，固定权重W_i，j和塑性权重Hebb_i，j，面对不同的训练序列，这两个权重在训练时和跟踪时具有不同的更新方式。固定权重代表了网络的固定参数，塑性权重代表了神经元之间的连接强度，面对不同的序列，固定权重W_i，j是通用的，不需要重新归零，而塑性权Hebb_i，j重则在不同的序列中，各神经元具有不同的神经连接强度，因此在每次迭代更新前都需要初始化为零。因此，塑性网络的训练分为两个过程，离线训练与在线训练。

步骤S3、采用离线训练方式更新塑性网络(塑性组件)，且在离线训练时固定权重和塑性权重在反向传播中进行更新，离线训练过程包括激活阶段(Activate Stage)和回忆阶段(Recall Stage)，激活阶段用于激活塑性网络中各个相关神经元之间的连接，回忆阶段利用不完全的目标特征唤醒各个神经元之间的连接，以使输出新的模板特征作为预测模板，再使用预测模板和真实的模板进行比较，将其损失作为优化目标对网络参数进行更新，训练完成后得到了该塑性网络的超参数。

如图4所示，其中的网络结构是塑性网络的折叠结构，其左边部分是激活阶段，右边部分是回忆阶段，x_i代表了图1中的神经元数量的折叠表示，x_i的数量与每个输入单元的大小有关，比如图4中Inputs的每个输入单元的尺寸为4608，加上一个偏置神经元，则x_i的神经元数量为4609个。

在激活阶段，有三个子步骤；首先，从一段视频序列中生成输入模式，图4中的

T_i均是孪生网络的模板分支提取的卷积特征，

则是塑性网络在上一时刻的预测结果，这三个输入特征被合成为一组输入模式(Input Patterns)；然后，为了提高塑性网络对特征的记忆强度，将每个输入模式进行扩充，复制到自身的k倍，相当于增加了塑性网络对同一样本的学习次数；最后，将扩展后的输入依次送入塑性网络并更新网络权重。本实施例在离线训练时，Hebb_i，j和W_i，j都会在反向传播时更新网络权重。经过了输入模式对塑性网络的更新，Hebb_i,j权重已经发生了变化，接着就进入了回忆阶段。

在回忆阶段，也有三个子步骤；首先，从输入模式组中选择一个输入单元，当目标跟踪正常，状态判定为正常，此时选择T_i作为选中的输入单元，当目标丢失时，状态判定为不正常，选择

作为选中的输入单元，如何进行状态判定，这将在步骤S5中展开介绍；然后，将选中的输入单元随机衰减一半，产生新的模式作为测试模式(Test Pattern)，测试模式将用于唤醒激活阶段与输入模式相关的被激活后的神经元，Hebb_i,j在激活阶段已经被更新，其值被传递到了回忆阶段，Hebb_i,j的值包含了输入模式组中各个神经连接之间的连接强度。接下来，测试模式被输入到塑性网络中，此时Hebb_i,j和W_i,j保持不变，通过一次前向传播，塑性网络生成了新的输出x_j，随后计算塑性网络对当前帧的预测结果x_j和

之间的损失,其中

是当前帧标注矩阵的ground-truth矩形框的特征；最后、通过相应的梯度下降法更新W_i,j和Hebb_i,j。

本实施例的离线训练依赖于大量已标注的样本，在离线训练过程中，每执行一次激活阶段和回忆阶段就完成了一个生命周期，在每个生命周期开始时，塑性权重Hebb_i,j都会被初始化为0，直到当前生命周期反向传播后，网络更新结束。此外，在离线训练时，固定权重在每个生命周期都会被优化更新，而在跟踪过程中，固定权重保持不变，这也就是本发明提到的在线更新过程。

步骤S4、使用步骤S3中训练好的超参数初始化塑性网络的参数，再采用在线训练方式(图5所示)在实时跟踪过程中对模板更新，在线训练时用于对塑性权重进行更新，且在线更新包括激活阶段和回忆阶段，所述激活阶段使用跟踪过程中不断生成的模板更新塑性权重，在所述回忆阶段中保持塑性权重不变，再使用不完全的特征唤醒各个神经元之间的连接。

塑性网络的在线更新发生在跟踪过程中，经过离线训练好的塑性网络，被嵌入到孪生网络框架中开始执行跟踪任务。本实施例从模板分支获得了第0帧的模板

第i帧的模板，和塑性组件上一时刻的预测模板

和离线训练过程类似，三者结合生成输入模式组(Input Patterns)，随后塑性网络通过在线更新过程预测得到模板

接着使用预测模板和检测分支生成的搜索区域特征图进行相似度比对，得到得分图，并预测出目标所在位置的矩形框。

塑性组件的在线更新过程同样分为两个阶段：激活阶段和回忆阶段。其中，激活阶段的执行过程与离线训练的激活阶段类似，输入模式组在跟踪过程中产生，每个输入单元被扩展到原来的k倍后，依次作为塑性神经网络的输入，直到所有输入单元都输入完成后，塑性神经网络激活完成。与离线训练不同的是，在线更新下的激活阶段，固定权重W_i,j保持不变，每次输入仅更新塑性权重Hebb_i,j；在线更新过程的回忆阶段同样需要从输入模式组中选择一个输入单元，执行衰减处理后作为测试模式，测试模式被输入到经过激活后的塑性网络中，塑性网络的输出作为预测模式。和离线训练不同的是，此时不再需要计算损失，而是直接使用塑性网络最后一层的输出作为预测模式。预测模式经过上采样后，恢复到与模板特征相同的尺寸，随即使用新的预测模板

进行相似度比对。

步骤S5、依据塑性网络输出的模板特征作为模板，与下一帧的候选框进行相似度匹配，选择相似度达到预设阈值的候选框作为预测目标。

在目标跟踪过程中，目标会处于一些复杂的状态如遮挡、消失、相似干扰目标等异常状态，在这些异常状态下，外观在视觉范围内会发生剧烈变化；本实施例对这些不同状态采取了不同的更新策略来更新塑性网络；当状态异常时，则使用上一次的预测结果更新塑性组件；当判定状态正常时，则使用当前帧的预测结果更新网络。因此，本实施例将复杂情景下的模板更新策略分为两个核心步骤，跟踪失败状态检测和模板更新策略，下面分别详细介绍。

跟踪失败状态检测，如何在不依赖于标注信息的情况下判定是否跟踪失败是复杂而困难的工作；假设在目标未发生遮挡、丢失等情况下，跟踪器每次的预测结果都是准确的，目标的特征变化率是呈现一定的规律的。而当目标发生丢失、或者预测结果出错时，目标的特征变化率会出现波动，但这些异常是微弱的，本实施例利用二次函数放大这些微弱的异常表现，然后依据这些微弱的异常呈现出的规律，对跟踪失败的情况进行状态判断，然后在不同的状态下采用不同的策略来更新塑性网络。

现有技术方法是依据标注信息和预测结果的最大重叠率来判断是否跟踪失败的，如果没有带标注的样本信息，很难判断发生了跟踪失败。假设跟踪器的预测结果每次都是准确的，当目标丢失时，

的变化率会发生波动。

表示T_i和

之间的差异性,

表示T_i和

之间的差异性,

表示

和

之间的差异性；T_i,

和

之间的差异性使用公式表达如下：

其中，缩写cp是指当前模板T_i和上一时刻的预测目标

之间的差异，ic是指T_i和原始模板

之间的差异，pi是指

和

之间的差异。当目标丢失或重新出现时，这些变化率之间会有剧烈的变化，但这些变化很微弱，本实施例用β扩大了变化率微弱的变化。β的值由遮挡程度决定。本实施例将

的放大变化率表示为：

在跟踪过程中,

的变化率超过了

与

在目标发生丢失时，

和

呈现出了悬崖式的衰减，当目标重新出现时,

的变化率恢复了。此外，这三个变化率呈现了比较明显的差异性规律:

在部分背景简单的序列中，当目标发生丢失时，本实施例发现存在以下规律：

本实施例使用S描述目标跟踪是否丢失的状态state。

S≤0意味着目标发生了丢失,此时state＝′abnormal′。S＞0意味着目标跟踪正常,此时state＝′normal′，而跟踪状态state被用于指导跟踪失败时的模板更新策略。

模板更新策略，模板更新的核心是提取不变特征。在跟踪过程中，假设每次跟踪的预测模板是正确的，利用这些历史模板对目标进行预测，结果会越来越准确；然而，若在训练阶段包含错误的预测模板，将会带来毁灭性的漂移，为防止出现这种情况，本实施例选择了合格的样本，在不同的状态下采用不同的策略来更新塑性网络；一方面，在当前模板T_i确定丢失时，即state＝′abnormal′,本实施例将使用上一个预测的模板

更新塑性网络；另一方面，在判断T_i正常时，如state＝′normal′,本实施例将使用当前模板T_i更新塑性网络,塑性网络的更新策略可以使用以下公式表示:

其中，

是塑性网络预测的模板特征，φ代表了塑性网络的复杂更新过程。

本发明还提供一种实现上述的基于记忆增强的目标跟踪方法的系统，包括：特征提取模块，用于在孪生网络类方法中提取模板并以该模板的大小和尺寸确定塑性网络的神经元数量，以生成初始塑性网络并初始化参数；以及用于采用现有的数据集，使用孪生网络类方法的检测分支提取出目标跟踪的视频序列的模板作为塑性网络的训练数据集；离线更新模块，用于采用离线训练方式更新塑性网络，且在离线训练时固定权重和塑性权重在反向传播中进行更新，离线训练过程包括激活阶段和回忆阶段，所述激活阶段用于激活塑性网络中各个相关神经元之间的连接，所述回忆阶段利用不完全的目标特征唤醒各个神经元之间的连接，以使输出新的模板特征作为预测模板，再使用预测模板和真实的模板进行比较，将其损失作为优化目标对网络参数进行更新，训练完成后得到了该塑性网络的超参数；在线更新模块，用于使用离线训练模块中训练好的超参数初始化塑性网络的参数，再采用在线训练方式在实时跟踪过程中对模板更新，在线训练时用于对塑性权重进行更新，且在线更新包括激活阶段和回忆阶段，所述激活阶段使用跟踪过程中不断生成的模板更新塑性权重，在所述回忆阶段中保持塑性权重不变，再使用不完全的特征唤醒各个神经元之间的连接；相似度匹配模块，用于依据塑性网络输出的模板特征作为模板，与下一帧的候选框进行相似度匹配，选择相似度达到预设阈值的候选框作为预测目标；特征提取模块、离线更新模块、在线更新模块和相似度匹配模块依次连接。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (8)

1.一种基于记忆增强的目标跟踪方法，其特征在于，包括以下步骤：

S1、在孪生网络类方法中提取模板并以该模板的大小和尺寸确定塑性网络的神经元数量，以生成初始塑性网络并初始化参数；

S2、采用现有的数据集，使用孪生网络类方法的检测分支提取出目标跟踪的视频序列的模板作为塑性网络的训练数据集；

S3、采用离线训练方式更新塑性网络，且在离线训练时固定权重和塑性权重在反向传播中进行更新，离线训练过程包括激活阶段和回忆阶段，所述激活阶段用于激活塑性网络中各个相关神经元之间的连接，所述回忆阶段利用不完全的目标特征唤醒各个神经元之间的连接，以使输出新的模板特征作为预测模板，再使用预测模板和真实的模板进行比较，将其损失作为优化目标对网络参数进行更新，训练完成后得到了该塑性网络的超参数；

S4、使用步骤S3中训练好的超参数初始化塑性网络的参数，再采用在线训练方式在实时跟踪过程中对模板更新，在线训练时用于对塑性权重进行更新，且在线更新包括激活阶段和回忆阶段，所述激活阶段使用跟踪过程中不断生成的模板更新塑性权重，在所述回忆阶段中保持塑性权重不变，再使用不完全的特征唤醒各个神经元之间的连接；

S5、依据塑性网络输出的模板特征作为模板，与下一帧的候选框进行相似度匹配，选择相似度达到预设阈值的候选框作为预测目标；

所述塑性网络的网络结构与循环神经网络的网络结构一致，且在塑性网络中增加塑性权重，在所述塑性网络中，在每个时间步t，输入为x_i(t)，隐藏层激活函数为h(t)，输出为x_j(t)，目标为y(t),损失为L(t)，将固定权重W_i,j、塑性权重Hebb_i,j、x_j(t-1)放入隐藏层，将隐藏层参数传播到未来，随着隐藏层参数的向后传递，在神经网络权重中的目标外观特征和神经元之间的连接强度且被传递到当前时刻，塑性网络经过每一时刻的权重更新，计算输出的预测值x_j(t)和预期输出目标y(t)之间的差别L(t)，将该差别作为优化目标进行反向传播，使用梯度下降优化神经网络参数，获得更新后的网络权重，通过h(t)预测出的输出结果间接的连接到当前时刻，用于预测下一时刻的预测结果。

2.根据权利要求1所述的基于记忆增强的目标跟踪方法，其特征在于，所述塑性网络从第1个时刻到第t个时刻，使用以下更新方程更新网络：

h_i,j(t)＝W_i,jx_i(t-1)+α_i,jHebb_i,jx_i(t-1)

x_j(t)＝σ(h(t))

其中，x_i表示输入层的第i个神经元，x_j表示输出层的第j个神经元，t表示第t时刻，α_i,j表示固定权重w_i,j和塑性权重Hebb_i,j之间的相对系数，h_i,j表示第i个输入神经元和第j个输出神经元之间的神经连接参数，h_i,j(t)表示t时刻第i个输入神经元到第j个输出神经元的计算图，h(t)表示隐藏层激活函数，也就是第t个时刻所有输入神经元到输出神经元的计算图之和，x_j(t)作为t时刻塑性网络的输出。

3.根据权利要求2所述的基于记忆增强的目标跟踪方法，其特征在于，所述塑性网络的输出x_j(t)的更新函数可表示为：

塑性权重Hebb_i,j的更新方式如下：

Hebb_i,j(t+1)＝ηx_i(t-1)x_j(t)+(1-η)Hebb_i,j(t)

其中η表示Hebb_i,j的学习率。

4.根据权利要求1所述的基于记忆增强的目标跟踪方法，其特征在于，所述步骤S3中离线训练过程的激活阶段包括：首先、从一段视频序列中生成输入模式，T₀ ^GT、T_i均是孪生网络的模板分支提取的卷积特征，

则是塑性网络在上一时刻的预测结果，这三个输入特征被合成为一组输入模式，然后、将每个输入模式进行扩充，复制到自身的k倍，形成输入模式组，最后、将扩充后的输入模式组依次送入塑性网络并更新网络权重。

5.根据权利要求1所述的基于记忆增强的目标跟踪方法，其特征在于，所述步骤S3中离线训练过程的回忆阶段包括：首先、从输入模式组中选择一个输入单元，然后、将选中的输入单元随机衰减一半，产生新的模式作为测试模式，该测试模式用于唤醒激活阶段与输入模式相关的被激活后的神经元，将测试模式输入到塑性网络中，且固定权重W_i,j和塑性权重Hebb_i,j保持不变，塑性网络生成了新的输出x_j，计算塑性网络对当前帧的预测结果x_j和

之间的损失,其中

是当前帧标注矩阵的矩形框的特征；最后、通过梯度下降法更新固定权重W_i,j和塑性权重Hebb_i,j。

6.根据权利要求1所述的基于记忆增强的目标跟踪方法，其特征在于，在目标跟踪过程中，若目标出现异常状态时，则使用上一次的预测结果更新塑性网络，若目标为正常状态时，则使用当前帧的预测结果更新塑性网络。

7.根据权利要求6所述的基于记忆增强的目标跟踪方法，其特征在于，所述目标异常状态的检测方法为，利用二次函数放大目标的特征变化率波动，再根据规律进行状态判断。

8.一种用于实现权利要求1-7任意一项所述的基于记忆增强的目标跟踪方法的系统，其特征在于，包括：

特征提取模块，用于在孪生网络类方法中提取模板并以该模板的大小和尺寸确定塑性网络的神经元数量，以生成初始塑性网络并初始化参数；以及用于采用现有的数据集，使用孪生网络类方法的检测分支提取出目标跟踪的视频序列的模板作为塑性网络的训练数据集；

离线更新模块，用于采用离线训练方式更新塑性网络，且在离线训练时固定权重和塑性权重在反向传播中进行更新，离线训练过程包括激活阶段和回忆阶段，所述激活阶段用于激活塑性网络中各个相关神经元之间的连接，所述回忆阶段利用不完全的目标特征唤醒各个神经元之间的连接，以使输出新的模板特征作为预测模板，再使用预测模板和真实的模板进行比较，将其损失作为优化目标对网络参数进行更新，训练完成后得到了该塑性网络的超参数；

在线更新模块，用于使用离线训练模块中训练好的超参数初始化塑性网络的参数，再采用在线训练方式在实时跟踪过程中对模板更新，在线训练时用于对塑性权重进行更新，且在线更新包括激活阶段和回忆阶段，所述激活阶段使用跟踪过程中不断生成的模板更新塑性权重，在所述回忆阶段中保持塑性权重不变，再使用不完全的特征唤醒各个神经元之间的连接；

相似度匹配模块，用于依据塑性网络输出的模板特征作为模板，与下一帧的候选框进行相似度匹配，选择相似度达到预设阈值的候选框作为预测目标；

所述特征提取模块、离线更新模块、在线更新模块和相似度匹配模块依次连接。

Images