CN109740416B - 目标跟踪方法及相关产品 - Google Patents

Abstract

本申请提供了一种目标跟踪方法及相关产品，方法包括：获取目标图像和待跟踪图像；将目标图像输入到预设神经网络模型，得到第一特征信息，预设神经网络模型包括第一分支网络和第二分支网络；将待跟踪图像的搜索区域输入到预设神经网络模型，得到第二特征信息；将第一特征信息与第二特征信息进行融合，得到搜索区域的权重值和roi回归值；依据权重值和roi回归值确定搜索区域对应的目标区域，以及跟踪模板是否进行更新。采用本申请可提升目标跟踪准确率。

Description

目标跟踪方法及相关产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种目标跟踪方法及相关产品。

背景技术

目标跟踪是指通过计算机图像处理技术在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置，在安防监控、交通管理、电子监控等系统中有着很重要的实际应用。

目标跟踪的主要难点在于特征提取，模型是否在线更新通常也是跟踪问题的矛盾问题，在线实时更新策略在目标存在遮挡或者形变较大时，丢失后便很难调整回来，在线不更新策略则随着目标的移动，形变的累积误差会导致特征的匹配度不够，因此，如何提升目标跟踪准确率的问题亟待解决。

发明内容

本申请实施例提供了一种目标跟踪方法及相关产品，能够提高目标跟踪准确率。

本申请实施例第一方面提供了一种目标跟踪方法，包括：

获取目标图像和待跟踪图像，所述目标图像与所述待跟踪图像为待处理视频中的前后两帧图像；

将所述目标图像输入到预设神经网络模型，得到第一特征信息，所述预设神经网络模型包括第一分支网络和第二分支网络，所述第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，所述第一分支网络还包括attention模型，所述attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，所述第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新；

将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息；

将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值；

依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新；

在所述跟踪模板不更新时，则直接进行下一帧图像跟踪，在所述跟踪模板更新时，更新所述跟踪模板，并基于更新后的所述跟踪模板进行下一帧图像跟踪。

本申请实施例第二方面提供了一种目标跟踪装置，包括:

获取单元，用于获取目标图像和待跟踪图像，所述目标图像与所述待跟踪图像为待处理视频中的前后两帧图像；

特征提取单元，用于将所述目标图像输入到预设神经网络模型，得到第一特征信息，所述预设神经网络模型包括第一分支网络和第二分支网络，所述第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，所述第一分支网络还包括attention模型，所述attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，所述第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新；以及将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息；

融合单元，用于将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值；

确定单元，用于依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新；

更新单元，用于在所述跟踪模板不更新时，则直接进行下一帧图像跟踪，在所述跟踪模板更新时，更新所述跟踪模板，并基于更新后的所述跟踪模板进行下一帧图像跟踪。

第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。

第五方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具有如下有益效果：

采用上述本申请提出的目标跟踪方法及相关产品，获取目标图像和待跟踪图像，目标图像与待跟踪图像为待处理视频中的前后两帧图像，将目标图像输入到预设神经网络模型，得到第一特征信息，预设神经网络模型包括第一分支网络和第二分支网络，第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，第一分支网络还包括attention模型，attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新，将待跟踪图像的搜索区域输入到预设神经网络模型，得到第二特征信息，将第一特征信息与第二特征信息进行融合，得到搜索区域的权重值和roi回归值，依据权重值和roi回归值确定搜索区域对应的目标区域，以及跟踪模板是否进行更新，在跟踪模板不更新时，则直接进行下一帧图像跟踪，在跟踪模板更新时，更新跟踪模板，并基于更新后的跟踪模板进行下一帧图像跟踪，能够提升目标跟踪准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种目标跟踪方法的实施例流程示意图；

图1B是本申请实施例提供的一种目标跟踪方法的特征提取的演示示意图；

图1C是本申请实施例提供的一种目标跟踪方法的另一特征提取的演示示意图；

图1D是本申请实施例提供的一种目标跟踪方法的第一类区域、第二类区域的演示示意图；

图2是本申请实施例提供的一种目标跟踪装置的实施例结构示意图；

图3是本申请实施例提供的一种电子设备的实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所描述行电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、视频矩阵、监控平台、车载设备、卫星、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述电子设备还可以为服务器。

请参阅图1A，为本申请实施例提供的一种目标跟踪方法的实施例流程示意图。本实施例中所描述的目标跟踪方法，包括以下步骤：

101、获取目标图像和待跟踪图像，所述目标图像与所述待跟踪图像为待处理视频中的前后两帧图像。

其中，待处理视频可以由用户自行设置或者系统默认。该待处理视频可以包括多帧图像，目标图像与待跟踪图像可以为待处理视频中的前后两帧图像。

102、将所述目标图像输入到预设神经网络模型，得到第一特征信息，所述预设神经网络模型包括第一分支网络和第二分支网络，所述第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，所述第一分支网络还包括attention模型，所述attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，所述第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新。

其中，预设神经网络模型可以在执行步骤101之前，预先训练好。网络包括第一分支网络和第二分支网络，第一分支网络也称之为B分支网络，第二分支网络也称之为O分支网络，其中，B分支截取已经训练好的分类网络，包括三个卷积层，三个batchNorm层，三个pooling层，训练时固定该分支参数不变，attention结构内部将每个通道特征划分为3×3个网格，对每个网格进行maxpooling个avgpooling，然后通过多层感知机(MLP)和sigmoid产生最后的输出系数，和crop特征相乘后得到带有周围背景特征信息的目标特征，如图1C所示；O分支包括5个卷积层，5个batchNorm层，5个pooling层，训练时参数迭代更新，通过训练该分支能区分不同物体的深度特征信息。convOweight和convOweight的channel值为1，convROi的channel值为4，ConvWeight的loss计算函数采取contrastive loss损失函数，convROi的loss通过计算欧氏距离得到。

可选地，上述步骤102，将所述目标图像输入到预设神经网络模型，得到第一特征信息，可包括如下步骤：

21、在所述目标图像经过所述第一分支网络的卷积层之后，得到第一分支特征；

22、将所述第一分支特征输入到所述attention模型，得到第一有效特征；

23、将所述第一分支特征与所述第一有效特征相乘，并将相乘结果输入卷积层，得到第一卷积特征，再将所述第一卷积特征送入所述第二分支网络，得到所述第一特征信息。

其中，目标图片进入到网络第一分支网络，经过卷积层得到第一分支特征，该部分特征对目标外观具有鲁棒性，但是判决性不强，然后将第一分支特征经过Attention模型区分有效特征和背景，得到第一有效特征，将第一分支特征与第一有效特征相乘后可以加深有效特征的输出权重，降低背景信息的输出权重，再将相乘结果经过卷积层得到第一卷积特征C_b1，再将第一卷积特征经过网络O分支与卷积层后，得到具有判决能力的深度特征信息C_o1，即第一特征信息，如此，提升了特征的判断性，得到具备鲁棒性，以及强判决性的特征。

103、将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息。

其中，搜索区域可以由系统默认或者用户自行设置。电子设备可以进行待跟踪图像进行初步目标检测，以标记出搜索区域。

可选地，上述步骤103，将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息，可包括如下步骤：

31、将所述搜索区域输入到所述第二分支网络，得到第二分支特征；

32、将所述第二分支特征输入到所述第一分支网络，得到区域块的有效特征；

33、计算所述第二分支特征与所述有效特征之间的差分灰度图；

34、将所述差分灰度图输入到所述第二分支网络，得到所述第二特征信息。

其中，待跟踪图像的搜索区域的深度特征提取：该搜索区域进入到第二分支网络，得到第二分支特征R_o1；该搜索区域进入到第一分支网络，得到区域块的有效特征，计算第二分支特征与区域块之间的有效特征之间的差分灰度图，并将差分灰度图通过网络B和Attention模型，得到代表每个通道重要程度的权值系数，两者相乘得到第二特征信息R_b1。

104、将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值。

其中，上述预设神经网络模型的具体结构可以参照图1B，Onet表示第一分类网络，convO表示第一分支网络中的卷积函数，Bnet表示第二分支网络，ConvB表示第二分支网络中的卷积函数，crop表示crop函数。

可选地，上述步骤104，将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值，可包括如下步骤：

41、以所述第一卷积特征为卷积模板，对所述第二特征信息进行卷积运算，再将其结果输入到ConvBweight卷积层，得到第一权重值；

42、以所述第一特征信息为卷积模板，对所述第二分支特征进行卷积运算再将其结果输入到所述ConvBweight卷积层，得到第二权重值；

43、基于所述第一权重值、所述第二权重值，得到所述搜索区域的权重值；

44、对所述第二分支特征进行卷积运算，再将其结果输入ConvROI卷积层，得到所述搜索区域所有位置块的roi回归值，所述roi回归值包括以下至少一项：横坐标、纵坐标、宽度偏移量和高度偏移量。

其中，预设神经网络模型还可以包括ConvBweight卷积层和ConvROI卷积层，电子设备可以以第一卷积特征C_b1为卷积模板，对第二特征信息R_b1进行卷积计算，通过ConvBweight卷积层得到特征R_b1的输出权重值W_b，同样以C_o1为卷积模板，对R_o1进行卷积计算，通过ConvOweight卷积层得到特征R_o1的输出权重值W_o，对W_b和W_o进行加权融合得到最终的权值输出W。即

W＝λW_o+(1-λ)W_b

其中，λ值取0.7，W代表搜索区域所有位置块的预测值，数值代表与目标的相似程度。

对R_o1进行卷积计算，通过ConvROI卷积层得到搜索区域所有位置块ROI的偏移，包括横坐标，纵坐标，宽，高的偏移量。

105、依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新。

其中，电子设备可以依据权重值和roi回归值得到搜索区域对应的目标区域，以及可依据权重值和roi回归值确定跟踪模板是否更新。

可选地，上述步骤105，依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新，可包括如下步骤：

51、按照如下公式对所述权重值进行更新：

其中，updata(w_r)表示更新后的权重值，λ的值为0.7，β的值为0.2，w_r代表待加权权值，w_pn代表第n个第一类区域的权值，k_p代表待更新权值周围第一类区域个数，w_yn代表第n个第二类区域的权值，k_y代表待更新权值周围第二类区域个数；

52、从更新后的权重值中选取最大权重值，并将其对应的区域作为目标区域；

53、根据所述roi回归值调整所述目标区域的尺寸；

54、根据如下公式计算是否对模板进行在线更新：

f(W,t)＝(g(W)-threshold)×h(t)

g(W)＝max[updata(w_0,0),...,updata(w_i,j)]i<k,j<k

其中，thershold为预设阈值，用于控制模板更新的最低权重值，ω控制模板更新频率，若f(W,t)的值大于0，则更新跟踪模板；若f(W,t)小于0，，则不更新跟踪模板，且继续使用上一帧跟踪模板；若f(W,t)的值为0，则该时刻跳过跟踪模板更新的步骤。

具体实现中，可以按照如下公式对权重值进行更新：

其中，上述W是一个k×k的矩阵，k值的大小与搜索区域的大小有关。每个值对应搜索区域的目标大小的位置块的输出权重，对权值进行重新加权更新，其中w_r代表待加权权值，w_pn代表第n个第一类区域的权值，k_p代表待更新权值周围粉红区域个数，w_yn代表第n个第二类区域的权值，k_y代表待更新权值周围区域个数，如图1D所示，图1D中I表示第一类区域，II表示第二类权值。具体地，λ的值为0.7，β的值为0.2，updata(w_r)表示更新后的权重值。

进而，可以对矩阵W所有权值w进行排序，找出最大值w_max，w_max所对应区域即为该帧目标所在区域，根据ROI的输出将目标框调整为合适尺度。

对于第t时刻的，根据下列公式计算出是否对模板进行在线更新。

f(W,t)＝(g(W)-threshold)×h(t)

g(W)＝max[updata(w_0,0),...,updata(w_i,j)]i<k,j<k

通过设置阈值thershold控制模板更新的最低权重值，ω控制模板更新频率，若f(W,t)的值大于0，表明该区域特征与上一帧区域特征匹配度高，则更新特征匹配模板；若f(W,t)小于0，表明该区域特征与上一帧区域特征匹配度低，则模板不更新，继续使用上一帧模板；若f(W,t)的值为0，则该时刻跳过模板更新步骤。

106、在所述跟踪模板不更新时，则直接进行下一帧图像跟踪，在所述跟踪模板更新时，更新所述跟踪模板，并基于更新后的所述跟踪模板进行下一帧图像跟踪。

其中，具体实现中，在跟踪模板不更新时，则可以直接进行下一帧图像跟踪，在跟踪模板更新时，则可以以更新后的跟踪模板进行下一帧图像跟踪。

基于上述本申请实施例，输入为初始目标图像、待跟踪帧的目标区域部分及其差分灰度图，该区域范围由上一帧目标roi区域扩边得到，差分灰度图由该区域范围图片和上一帧图片的同区域灰度图差分得到。本方法输出为待跟踪帧的目标区域所对应位置块的权值以及相应的roi回归值。本方法包括训练和测试两个部分。本方法主要创新点体现在三个部分，深度特征提取，引入roi回归适应尺度变化，通过权值加权自适应更新匹配模板。

上述本申请实施例，主要包括如下四个方面:目标模板的深度特征提取、搜索区域的深度特征提取、特征融合，得到搜索区域的输出权重和roi回归值以及模板的自适应更新，具体实现过程中，实现整个网络结构，并引入Attention结构，在目标特征中保留了背景信息，加强了特征的有效性，以及引入帧间差分图，通过引入帧间目标的运动信息，通过加强了目标特征的表达，抑制了无效特征的表达，最后自适应加权机制，引入了领域信息，增加目标区域在检索区域中的权值。

采用上述本申请提出的目标跟踪方法及相关产品，获取目标图像和待跟踪图像，目标图像与待跟踪图像为待处理视频中的前后两帧图像，将目标图像输入到预设神经网络模型，得到第一特征信息，预设神经网络模型包括第一分支网络和第二分支网络，第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，第一分支网络还包括attention模型，attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新，将待跟踪图像的搜索区域输入到预设神经网络模型，得到第二特征信息，将第一特征信息与第二特征信息进行融合，得到搜索区域的权重值和roi回归值，依据权重值和roi回归值确定搜索区域对应的目标区域，以及跟踪模板是否进行更新，在跟踪模板不更新时，则直接进行下一帧图像跟踪，在跟踪模板更新时，更新跟踪模板，并基于更新后的跟踪模板进行下一帧图像跟踪，能够提升目标跟踪准确率。

与上述一致地，以下为实施上述目标跟踪方法的装置，具体如下：

请参阅图2，为本申请实施例提供的一种目标跟踪装置的实施例结构示意图。本实施例中所描述的目标跟踪装置，包括：获取单元201、特征提取单元202、融合单元203、确定单元204和更新单元205，具体如下：

获取单元201，用于获取目标图像和待跟踪图像，所述目标图像与所述待跟踪图像为待处理视频中的前后两帧图像；

特征提取单元202，用于将所述目标图像输入到预设神经网络模型，得到第一特征信息，所述预设神经网络模型包括第一分支网络和第二分支网络，所述第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，所述第一分支网络还包括attention模型，所述attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，所述第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新；以及将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息；

融合单元203，用于将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值；

确定单元204，用于依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新；

更新单元205，用于在所述跟踪模板不更新时，则直接进行下一帧图像跟踪，在所述跟踪模板更新时，更新所述跟踪模板，并基于更新后的所述跟踪模板进行下一帧图像跟踪。

可选地，在所述将所述目标图像输入到预设神经网络模型，得到第一特征信息方面，所述特征提取单元202具体用于：

在所述目标图像经过所述第一分支网络的卷积层之后，得到第一分支特征；

将所述第一分支特征输入到所述attention模型，得到第一有效特征；

将所述第一分支特征与所述第一有效特征相乘，并将相乘结果输入卷积层，得到第一卷积特征，再将所述第一卷积特征送入所述第二分支网络，得到所述第一特征信息。

可选地，在所述将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息方面，所述特征提取单元202具体用于：

将所述搜索区域输入到所述第二分支网络，得到第二分支特征；

将所述第二分支特征输入到所述第一分支网络，得到区域块的有效特征；

计算所述第二分支特征与所述有效特征之间的差分灰度图；

将所述差分灰度图输入到所述第二分支网络，得到所述第二特征信息。

可选地，在所述将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值方面，所述融合单元203具体用于：

以所述第一卷积特征为卷积模板，对所述第二特征信息进行卷积运算，再将其结果输入到ConvBweight卷积层，得到第一权重值；

以所述第一特征信息为卷积模板，对所述第二分支特征进行卷积运算再将其结果输入到所述ConvBweight卷积层，得到第二权重值；

基于所述第一权重值、所述第二权重值，得到所述搜索区域的权重值；

对所述第二分支特征进行卷积运算，再将其结果输入ConvROI卷积层，得到所述搜索区域所有位置块的roi回归值，所述roi回归值包括以下至少一项：横坐标、纵坐标、宽度偏移量和高度偏移量。

可选地，在所述依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新方面，所述确定单元204具体用于：

按照如下公式对所述权重值进行更新：

其中，updata(w_r)表示更新后的权重值，λ的值为0.7，β的值为0.2，w_r代表待加权权值，w_pn代表第n个第一类区域的权值，k_p代表待更新权值周围第一类区域个数，w_yn代表第n个第二类区域的权值，k_y代表待更新权值周围第二类区域个数；

从更新后的权重值中选取最大权重值，并将其对应的区域作为目标区域；

根据所述roi回归值调整所述目标区域的尺寸；

根据如下公式计算是否对模板进行在线更新：

f(W,t)＝(g(W)-threshold)×h(t)

g(W)＝max[updata(w_0,0),...,updata(w_i,j)]i<k,j<k

其中，thershold为预设阈值，用于控制模板更新的最低权重值，ω控制模板更新频率，若f(W,t)的值大于0，则更新跟踪模板；若f(W,t)小于0，，则不更新跟踪模板，且继续使用上一帧跟踪模板；若f(W,t)的值为0，则该时刻跳过跟踪模板更新的步骤。

采用上述本申请提出的目标跟踪装置，获取目标图像和待跟踪图像，目标图像与待跟踪图像为待处理视频中的前后两帧图像，将目标图像输入到预设神经网络模型，得到第一特征信息，预设神经网络模型包括第一分支网络和第二分支网络，第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，第一分支网络还包括attention模型，attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新，将待跟踪图像的搜索区域输入到预设神经网络模型，得到第二特征信息，将第一特征信息与第二特征信息进行融合，得到搜索区域的权重值和roi回归值，依据权重值和roi回归值确定搜索区域对应的目标区域，以及跟踪模板是否进行更新，在跟踪模板不更新时，则直接进行下一帧图像跟踪，在跟踪模板更新时，更新跟踪模板，并基于更新后的跟踪模板进行下一帧图像跟踪，能够提升目标跟踪准确率。

与上述一致地，请参阅图3，为本申请实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。

其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。

上述输出设备2000具体可为显示屏。

上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：

上述处理器3000，用于：

获取目标图像和待跟踪图像，所述目标图像与所述待跟踪图像为待处理视频中的前后两帧图像；

将所述目标图像输入到预设神经网络模型，得到第一特征信息，所述预设神经网络模型包括第一分支网络和第二分支网络，所述第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该分支参数不变，所述第一分支网络还包括attention模型，所述attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，所述第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新；

将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息；

将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值；

依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新；

在所述跟踪模板不更新时，则直接进行下一帧图像跟踪，在所述跟踪模板更新时，更新所述跟踪模板，并基于更新后的所述跟踪模板进行下一帧图像跟踪。

可选地，在所述将所述目标图像输入到预设神经网络模型，得到第一特征信息方面，上述处理器3000具体用于：

在所述目标图像经过所述第一分支网络的卷积层之后，得到第一分支特征；

将所述第一分支特征输入到所述attention模型，得到第一有效特征；

将所述第一分支特征与所述第一有效特征相乘，并将相乘结果输入卷积层，得到第一卷积特征，再将所述第一卷积特征送入所述第二分支网络，得到所述第一特征信息。

可选地，在所述将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息方面，上述处理器3000具体用于：

将所述搜索区域输入到所述第二分支网络，得到第二分支特征；

将所述第二分支特征输入到所述第一分支网络，得到区域块的有效特征；

计算所述第二分支特征与所述有效特征之间的差分灰度图；

将所述差分灰度图输入到所述第二分支网络，得到所述第二特征信息。

可选地，在所述将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值方面，上述处理器3000具体用于：

以所述第一卷积特征为卷积模板，对所述第二特征信息进行卷积运算，再将其结果输入到ConvBweight卷积层，得到第一权重值；

以所述第一特征信息为卷积模板，对所述第二分支特征进行卷积运算再将其结果输入到所述ConvBweight卷积层，得到第二权重值；

基于所述第一权重值、所述第二权重值，得到所述搜索区域的权重值；

对所述第二分支特征进行卷积运算，再将其结果输入ConvROI卷积层，得到所述搜索区域所有位置块的roi回归值，所述roi回归值包括以下至少一项：横坐标、纵坐标、宽度偏移量和高度偏移量。

可选地，在所述依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新方面，上述处理器3000具体用于：

按照如下公式对所述权重值进行更新：

其中，updata(w_r)表示更新后的权重值，λ的值为0.7，β的值为0.2，w_r代表待加权权值，w_pn代表第n个第一类区域的权值，k_p代表待更新权值周围第一类区域个数，w_yn代表第n个第二类区域的权值，k_y代表待更新权值周围第二类区域个数；

从更新后的权重值中选取最大权重值，并将其对应的区域作为目标区域；

根据所述roi回归值调整所述目标区域的尺寸；

根据如下公式计算是否对模板进行在线更新：

f(W,t)＝(g(W)-threshold)×h(t)

g(W)＝max[updata(w_0,0),...,updata(w_i,j)]i<k,j<k

其中，thershold为预设阈值，用于控制模板更新的最低权重值，ω控制模板更新频率，若f(W,t)的值大于0，则更新跟踪模板；若f(W,t)小于0，，则不更新跟踪模板，且继续使用上一帧跟踪模板；若f(W,t)的值为0，则该时刻跳过跟踪模板更新的步骤。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种目标跟踪方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种目标跟踪方法的部分或全部步骤。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程车牌定位设备的处理器以产生一个机器，使得通过计算机或其他可编程车牌定位设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程车牌定位设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程车牌定位设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：

获取目标图像和待跟踪图像，所述目标图像与所述待跟踪图像为待处理视频中的前后两帧图像；

将所述目标图像输入到预设神经网络模型，得到第一特征信息，所述预设神经网络模型包括第一分支网络和第二分支网络，所述第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该第一分支参数不变，所述第一分支网络还包括attention模型，所述attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，所述第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新；

将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息；

将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值；

依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新；

在所述跟踪模板不更新时，则直接进行下一帧图像跟踪，在所述跟踪模板更新时，更新所述跟踪模板，并基于更新后的所述跟踪模板进行下一帧图像跟踪。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入到预设神经网络模型，得到第一特征信息，包括：

在所述目标图像经过所述第一分支网络的卷积层之后，得到第一分支特征；

将所述第一分支特征输入到所述attention模型，得到第一有效特征；

将所述第一分支特征与所述第一有效特征相乘，并将相乘结果输入卷积层，得到第一卷积特征，再将所述第一卷积特征送入所述第二分支网络，得到所述第一特征信息。

3.根据权利要求2所述的方法，其特征在于，所述将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息，包括：

将所述搜索区域输入到所述第二分支网络，得到第二分支特征；

将所述第二分支特征输入到所述第一分支网络，得到所述搜索区域的有效特征；

计算所述第二分支特征与所述搜索区域的有效特征之间的差分灰度图；

将所述差分灰度图输入到所述第二分支网络，得到所述第二特征信息。

4.根据权利要求3所述的方法，其特征在于，所述将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值，包括：

以所述第一卷积特征为卷积模板，对所述第二特征信息进行卷积运算，再将其结果输入到ConvBweight卷积层，得到第一权重值；

以所述第一特征信息为卷积模板，对所述第二分支特征进行卷积运算再将其结果输入到所述ConvBweight卷积层，得到第二权重值；

基于所述第一权重值、所述第二权重值，得到所述搜索区域的权重值；

对所述第二分支特征进行卷积运算，再将其结果输入ConvROI卷积层，得到所述搜索区域所有位置块的roi回归值，所述预设神经网络模型包括所述ConvBweight卷积层和所述ConvROI卷积层，所述roi回归值包括以下至少一项：横坐标、纵坐标、宽度偏移量和高度偏移量。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新，包括：

按照如下公式对所述权重值进行更新：

其中，updata(w_r)表示更新后的权重值，λ的值为0.7，β的值为0.2，w_r代表待加权权值，w_pn代表第n个第一类区域的权值，k_p代表待更新权值周围第一类区域个数，w_yn代表第n个第二类区域的权值，k_y代表待更新权值周围第二类区域个数；

从更新后的权重值中选取最大权重值，并将其对应的区域作为目标区域；

根据所述roi回归值调整所述目标区域的尺寸；

根据如下公式计算是否对模板进行在线更新：

f(W,t)＝(g(W)-threshold)×h(t)

g(W)＝max[updata(w_0,0),...,updata(w_i,j)],其中，i<k,j<k

其中，thershold为预设阈值，用于控制模板更新的最低权重值，ω控制模板更新频率，W为矩阵，t为第t时刻，updata(w_0,0),...,updata(w_i,j)均为更新后的权重值，若f(W,t)的值大于0，则更新跟踪模板；若f(W,t)小于0，则不更新跟踪模板，且继续使用上一帧跟踪模板；若f(W,t)的值为0，则该时刻跳过跟踪模板更新的步骤。

6.一种目标跟踪装置，其特征在于，包括:

获取单元，用于获取目标图像和待跟踪图像，所述目标图像与所述待跟踪图像为待处理视频中的前后两帧图像；

特征提取单元，用于将所述目标图像输入到预设神经网络模型，得到第一特征信息，所述预设神经网络模型包括第一分支网络和第二分支网络，所述第一分支网络包括3个卷积层，3个batchNorm层，3个pooling层，且在训练时固定该第一分支参数不变，所述第一分支网络还包括attention模型，所述attention模型的每个通道特征被划分为3x3个网格，对每个网格进行maxpooling个avgpooling，并通过多层感知机MLP和sigmoid产生输出系数，所述第二分支网络包括5个卷积层，5个batchNorm层，5个pooling层，且在训练时参数迭代更新；以及将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息；

融合单元，用于将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值；

确定单元，用于依据所述权重值和所述roi回归值确定所述搜索区域对应的目标区域，以及跟踪模板是否进行更新；

更新单元，用于在所述跟踪模板不更新时，则直接进行下一帧图像跟踪，在所述跟踪模板更新时，更新所述跟踪模板，并基于更新后的所述跟踪模板进行下一帧图像跟踪。

7.根据权利要求6所述的装置，其特征在于，在所述将所述目标图像输入到预设神经网络模型，得到第一特征信息方面，所述特征提取单元具体用于：

在所述目标图像经过所述第一分支网络的卷积层之后，得到第一分支特征；

将所述第一分支特征输入到所述attention模型，得到第一有效特征；

将所述第一分支特征与所述第一有效特征相乘，并将相乘结果输入卷积层，得到第一卷积特征，再将所述第一卷积特征送入所述第二分支网络，得到所述第一特征信息。

8.根据权利要求7所述的装置，其特征在于，在所述将所述待跟踪图像的搜索区域输入到所述预设神经网络模型，得到第二特征信息方面，所述特征提取单元具体用于：

将所述搜索区域输入到所述第二分支网络，得到第二分支特征；

将所述第二分支特征输入到所述第一分支网络，得到所述搜索区域的有效特征；

计算所述第二分支特征与所述搜索区域的有效特征之间的差分灰度图；

将所述差分灰度图输入到所述第二分支网络，得到所述第二特征信息。

9.根据权利要求8所述的装置，其特征在于，在所述将所述第一特征信息与所述第二特征信息进行融合，得到所述搜索区域的权重值和roi回归值方面，所述融合单元具体用于：

以所述第一卷积特征为卷积模板，对所述第二特征信息进行卷积运算，再将其结果输入到ConvBweight卷积层，得到第一权重值；

以所述第一特征信息为卷积模板，对所述第二分支特征进行卷积运算再将其结果输入到所述ConvBweight卷积层，得到第二权重值；

基于所述第一权重值、所述第二权重值，得到所述搜索区域的权重值；

对所述第二分支特征进行卷积运算，再将其结果输入ConvROI卷积层，得到所述搜索区域所有位置块的roi回归值，所述预设神经网络模型包括所述ConvBweight卷积层和所述ConvROI卷积层，所述roi回归值包括以下至少一项：横坐标、纵坐标、宽度偏移量和高度偏移量。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。

Images