CN110533688A - 改进型的目标跟踪方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种改进型的目标跟踪方法、装置及计算机可读存储介质，该方法包括：获取待跟踪视频的每一帧图像中每一待跟踪目标的位置；根据所述待跟踪目标的位置和预先训练的特征跟踪模型，通过神经网络提取每一待跟踪目标的源特征；通过特征融合网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；根据所述待跟踪目标的融合特征确定待跟踪目标的最终特征。本发明中的神经网络可以当作一种任意函数逼近器，采用所述神经网络来替代传统的自定义的融合函数，通过数据驱动的方式，让所述神经网络自己去学习真实的融合函数，从而提高了目标跟踪算法的精度。

Description

改进型的目标跟踪方法、装置及计算机可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种改进型的目标跟踪方法、装置及计算机可读存储介质。

背景技术

目标跟踪，也叫视觉目标跟踪，是计算机视觉中的一个重要研究方向，有着广泛的应用，例如：视频监控领域，人机交互领域，无人驾驶领域等。过去二三十年，视觉目标跟踪技术取得了较大的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。

目标跟踪问题本质上是一个数据关联问题，即从前后两帧图片中找出是同一个目标的两个行人，将他们进行关联。在数据关联中，需要用到很多数据线索(例如外观特征，运动特征等)，以计算各自的相似度，然后再将他们通过一个方法(通常是自定义的函数)，将他们结合在一起。然而，现有技术中使用的这种结合方法通常没有太多的理论依据，通过这种结合方法产生的融合数据并不能反应出真实情况。

发明内容

本发明提供一种改进型的目标跟踪方法、装置及计算机可读存储介质，其主要目的在于可以提供目标跟踪算法的精度。

为实现上述目的，本发明提供一种改进型的目标跟踪方法，该方法包括：

步骤A：获取待跟踪视频的每一帧图像中每一待跟踪目标的位置；

步骤B：根据所述待跟踪目标的位置和预先训练的特征跟踪模型，通过神经网络提取每一待跟踪目标的源特征；

步骤C：通过特征融合网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；及

步骤D：根据所述待跟踪目标的融合特征确定待跟踪目标的最终特征。

可选地，所述步骤C包括：

通过神经网络训练融合模型；

通过所述融合模型对所述待跟踪目标的源特征进行融合；

生成所述待跟踪目标的融合特征。

可选地，在执行所述步骤A之前，所述改进型的目标跟踪方法还包括：

采集待跟踪视频数据；及

对视频数据进行背景滤除，得到背景滤除的帧图像。

可选地，在执行所述步骤B之前，所述改进型的目标跟踪方法还包括：预先训练特征跟踪模型。

可选地，所述“预先训练特征跟踪模型”步骤包括：

通过视频采集设备采集不同的视频图像，以获得不同的训练样本；及

将所述不同的训练样本输入到待训练的特征跟踪模型中进行训练，从而获得预先训练特征跟踪模型。

可选地，所述特征融合网络为循环神经网络。

可选地，训练神经网络的步骤包括：

步骤E1：确定输入数据类型和结构；

步骤E2：设计神经网络的结构；

步骤E3：设计loss函数；其中，所述loss函数为KS散度；

步骤E4：一批一批地输入数据，利用随机梯度下降算法更新神经网络的参数；及

步骤E5：判断神经网络模型是否收敛，如果是，则结束；否则重复执行步骤E4，直到神经网络模型收敛。

可选地，所述待跟踪目标是行人时，所述待跟踪目标的源特征包括对应行人的运动光流特征和外观特征；其中，所述外观特征用于表示行人的外表信息，所述外观特征包括全局外观特征和前景外观特征，所述运动光流特征用于通过向量表示的图像亮度模式的表观运动(apparent motion)信息、用于表达图像中行人的变化情况。

为实现上述目的，本发明还提供一种改进型的目标跟踪装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的改进型的目标跟踪程序，所述改进型的目标跟踪程序被所述处理器执行时实现如上所述的改进型的目标跟踪方法。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有改进型的目标跟踪程序，所述改进型的目标跟踪程序可被一个或者多个处理器执行，以实现如上所述的改进型的目标跟踪方法的步骤。

本发明提出的改进型的目标跟踪方法装置及计算机可读存储介质中。

附图说明

图1为本发明一实施例提供的改进型的目标跟踪方法的流程示意图；

图2为本发明一实施例提供的神经网络的训练原理的流程示意图；

图3为本发明一实施例提供的改进型的目标跟踪装置的内部结构图；

图4为本发明一实施例提供的改进型的目标跟踪装置中改进型的目标跟踪程序的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种改进型的目标跟踪方法。参照图1所示，为本发明一实施例提供的改进型的目标跟踪方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，所述改进型的目标跟踪方法包括：

步骤A：获取待跟踪视频的每一帧图像中每一待跟踪目标的位置；

步骤B：根据每一待跟踪目标的位置和预先训练的特征跟踪模型，通过神经网络提取每一待跟踪目标的源特征；

步骤C：通过特征融合网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；

步骤D：根据所述待跟踪目标的融合特征确定待跟踪目标的最终特征。

在执行所述步骤A之前，所述改进型的目标跟踪方法还包括：

采集待跟踪视频数据；及

对视频数据进行背景滤除，得到背景滤除的帧图像。

其中，所述视频数据可以是通过不同视频采集设备采集的视频图像，所述视频图像中包括待跟踪目标的帧图像。

其中，所述待跟踪目标可以是人物、动物、植物、物体等。所述人物可以是，但不限于是行人、工作状态的人、乘车的人、开车的人或者在预设交通工具上的人等。所述动物可以是，但不限于猫、狗、猪、鸟、鱼等动物。所述植物可以是，但不限于是花、草、树木等对象。所述物体可以是，但不限于是计算机、扫码设备、气球等具有一定形态的物体。

在本实施例中，以行人为例进行说明。

为了提取每一待跟踪目标的源特征，在执行所述步骤B之前，所述改进型的目标跟踪方法还包括：预先训练特征跟踪模型。具体地，在一实施例中，通过视频采集设备采集不同的视频图像，以获得不同的训练样本，再将所述不同的训练样本输入到待训练的特征跟踪模型中进行训练，从而获得预先训练特征跟踪模型。

进一步地，在所述步骤B中，所述待跟踪目标的源特征是指可以从视频图像中单独提取的目标的特征，所述待跟踪目标的源特征可以包括但不限于包括目标的大小特征、距离特征、形状特征及外观特征、运动特征。

在本实施例中，以行人为例进行说明，即当所述待跟踪目标是行人时，所述待跟踪目标的源特征包括对应行人的运动光流特征和外观特征；其中，所述外观特征包括全局外观特征和前景外观特征。所述运动光流特征可以是指通过向量表示的图像亮度模式的表观运动(apparent motion)信息。所述运动光流特征可以表达图像中行人的变化情况，因此，所述运动光流特征可被用来确定行人的运动情况。所述运动光流特征可以突出行人的局部运动特点。

所述外观特征可以用于表示行人的外表信息，其中，所述外表信息以包括但不限于包括身材比例、衣服颜色、及是否佩戴可穿戴品等；其中，所述可穿戴品可以是，但不限于是手表、包、眼镜、帽子等装饰品。

在本实施例中，由于所述待跟踪目标的源特征包括运动光流特征及外观特征，适用于待跟踪目标是行人的应用中，能够提高通过融合特征确定待跟踪目标的最终特征的准确率。

可选地，所述步骤C中的特征融合网络可以是，但不限于是卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep Neural Network，DNN)。

为了获得更好的融合效果，在一个较佳实施例中，所述特征融合网络为循环神经网络。

进一步地，在所述步骤C包括：

通过神经网络训练融合模型；

通过所述融合模型对所述待跟踪目标的源特征进行融合；

生成所述待跟踪目标的融合特征。

在所述步骤C中，通过采用所述神经网络来替代传统的自定义的融合函数，通过数据驱动的方式，让所述神经网络自己去学习真实的融合函数，从而提高了目标跟踪算法的精度。

本发明中用到的一些名词解释如下：

卷积神经网络(Convolutional Neural Networks，CNN)，是一种多层的可用于图像分类、分割等任务的神经网络，采用局部感受野、权值共享及亚采样思想，一般由卷积层、采样层和全连接层等构成，并通过反向传播算法调整网络的参数以优化学习网络。

特征融合：是指在所述特征融合网络(例如卷积神经网络)的特征提取层中将低分辨率、强语义信息的高层特征与高分辨率、弱语义信息的低层特征相互连接融合，以获取即包含精确的位置信息又有很强的语义特征的融合体。

在本发明中，所述神经网络本质上是一个又一个的函数的层层组合，所述神经网络本质上仍是函数。在具体的实施例中，所述神经网络可以当作任意函数的逼近器，在一实施例中，将所述神经网络当作任意函数的逼近器的原理为：假设所述神经网络的函数为F＝f(x；θ)，其中θ为参数，不同的参数θ会得到不同的神经网络函数，从而会得到不同的映射(函数)。在一较佳的实施方式中，训练融合模型的神经网络是深度神经网络，因深度神经网络表达能力更强，使得逼近效果更好。换一种说法，所述神经网络可以模拟融合函数。

请参阅图2，在一具体的实施例中，所述改进型的目标跟踪方法中的神经网络的训练原理包括：

步骤E1：确定输入数据类型和结构。例如，外观相似度A和空间位置相似度M都为一个50x50的矩阵，每个位置的元素都代表两个跟踪目标的相似性，其相似性用一个大于0的值表示，如果某个位置不存在目标，则这个位置上的值为-1。然后再将外观相似度A和空间位置相似度M堆叠在一起变成I，则I的最终形状为100x50。

步骤E2：设计神经网络的结构。例如，采用四层神经网络来作为网络结构。其中，第一层神经网络为fc->relu->dropout，第二层神经网络为fc->relu->dropout，第三层神经网络为fc->relu->dropout，第四层神经网络为fc->relu。

步骤E3：设计loss函数；其中，所述loss函数为KS(Kullback–Leiblerdivergence)散度，KS散度表示如下：

其中，当P(x)和Q(x)的相似度越高，KS散度越小。

KS散度具有不对称性，即D(P||Q)！＝D(Q||P)；

KS散度还具有非负性，即D(P||Q)>0。

步骤E4：一批一批地输入数据，利用随机梯度下降算法更新神经网络的参数。

步骤E5：判断神经网络模型是否收敛，如果是，则结束；否则重复执行步骤E4，直到神经网络模型收敛；神经网络模型收敛后的参数就是最终的神经网络参数。

上述步骤E1-步骤E5的整个执行过程，在外部看来就是将数据输入到模型，经过一段时间的执行，模型就训练完成了，所以看起来就是数据驱动的方式下，模型自己在学习。

在一实施例中，可以将所述待跟踪目标的融合特征直接确定为待跟踪目标的最终特征。

在其他的实施例中，为了得到更加精确的目标特征，所述步骤D包括：

将所述神经网络训练融合模型进行微调；

将所述待跟踪目标的融合特征输入到已经微调的神经网络训练融合模型中；

获得最终的待跟踪目标的最终特征。

其中，将所述神经网络训练融合模型进行微调是指对所述特征融合网络的所有网络层进行微调。具体地，固定所述特征融合网络的基础卷积层，通过预设的数据集仅对所述特征融合网络的所有网络层进行微调。

本发明提供的改进型的目标跟踪方法中，通过神经网络提取每一待跟踪目标的源特征、通过神经网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；通过融合特征确定待跟踪目标的最终特征；其中，所述神经网络可以当作一种任意函数逼近器，采用所述神经网络来替代传统的自定义的融合函数，通过数据驱动的方式，让所述神经网络自己去学习真实的融合函数，从而提高了目标跟踪算法的精度。

本发明还提供一种改进型的目标跟踪装置。参照图3所示，为本发明一实施例提供的改进型的目标跟踪装置的内部结构图。所述改进型的目标跟踪装置可以是PC(PersonalComputer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该代码库管理装置至少包括存储器11、处理器12、网络接口13以及通信总线14。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是改进型的目标跟踪装置的内部存储单元，例如该改进型的目标跟踪装置的硬盘。所述存储器11在另一些实施例中也可以是改进型的目标跟踪装置的外部存储设备，例如改进型的目标跟踪装置上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括改进型的目标跟踪装置的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于改进型的目标跟踪装置的应用软件及各类数据，例如改进型的目标跟踪程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行所述存储器11中存储的程序代码或处理数据，例如执行改进型的目标跟踪程序等。

所述网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该基于阅读理解的营销线索提取装置与其他电子设备之间建立通信连接。

所述通信总线14用于实现这些组件之间的连接通信。

图3仅示出了具有组件11至14以及基于改进型的目标跟踪程序的改进型的目标跟踪装置，本领域技术人员可以理解的是，图3示出的结构并不构成对改进型的目标跟踪装置的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图3所示的改进型的目标跟踪装置实施例中，所述存储器11中存储有改进型的目标跟踪程序；所述处理器12执行所述存储器11中存储的改进型的目标跟踪程序时实现如下步骤：

步骤A：获取待跟踪视频的每一帧图像中每一待跟踪目标的位置；

步骤B：根据每一待跟踪目标的位置和预先训练的特征跟踪模型，通过神经网络提取每一待跟踪目标的源特征；

步骤C：通过特征融合网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；

步骤D：根据所述待跟踪目标的融合特征确定待跟踪目标的最终特征。

所述改进型的目标跟踪程序根据其不同的功能，可以划分为一个或多个功能模块。一个或者多个模块被存储于所述存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述改进型的目标跟踪程序在改进型的目标跟踪装置中的执行过程。

例如，参照图4所示，为本发明改进型的目标跟踪装置一实施例中的改进型的目标跟踪程序的程序模块示意图，该实施例中，改进型的目标跟踪程序可以被分割为目标获取模块31、源特征提取模块32、融合模块33、及特征确定模块34，示例性地：

目标获取模块31用于获取待跟踪视频的每一帧图像中每一待跟踪目标的位置；

源特征提取模块32用于根据每一待跟踪目标的位置和预先训练的特征跟踪模型，通过神经网络提取每一待跟踪目标的源特征；

融合模块33用于通过特征融合网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；

特征确定模块34用于根据所述待跟踪目标的融合特征确定待跟踪目标的最终特征；

所述目标获取模块31还用于：

采集待跟踪视频数据；及

对视频数据进行背景滤除，得到背景滤除的帧图像。

其中，所述视频数据可以是通过不同视频采集设备采集的视频图像，所述视频图像中包括待跟踪目标的帧图像。

在一实施例中，为了提取每一待跟踪目标的源特征，所述改进型的目标跟踪程序还可以被分割为训练模块35，所述训练模块35用于预先训练特征跟踪模型。具体地，在一实施例中，通过视频采集设备采集不同的视频图像，以获得不同的训练样本，再将所述不同的训练样本输入到待训练的特征跟踪模型中进行训练，从而获得预先训练特征跟踪模型。

上述目标获取模块31、源特征提取模块32、融合模块33、特征确定模块34、及训练模块35等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

图4仅示出了具有模块31-35以及改进型的目标跟踪程序的改进型的目标跟踪装置，本领域技术人员可以理解的是，图4示出的结构并不构成对所述改进型的目标跟踪装置的限定，可以包括比图示更少或者更多的模块，或者组合某些模块，或者不同的模块布置。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有改进型的目标跟踪程序，所述改进型的目标跟踪程序可被一个或多个处理器执行，以实现如下操作：

步骤A：获取待跟踪视频的每一帧图像中每一待跟踪目标的位置；

步骤B：根据每一待跟踪目标的位置和预先训练的特征跟踪模型，通过神经网络提取每一待跟踪目标的源特征；

步骤C：通过特征融合网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；

步骤D：根据所述待跟踪目标的融合特征确定待跟踪目标的最终特征。

本发明计算机可读存储介质具体实施方式与上述改进型的目标跟踪装置和方法各实施例基本相同，在此不作累述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种改进型的目标跟踪方法，其特征在于，所述方法包括：

步骤A：获取待跟踪视频的每一帧图像中每一待跟踪目标的位置；

步骤B：根据所述待跟踪目标的位置和预先训练的特征跟踪模型，通过神经网络提取每一待跟踪目标的源特征；

步骤C：通过特征融合网络对所述待跟踪目标的源特征进行融合，以获得所述待跟踪目标的融合特征；及

步骤D：根据所述待跟踪目标的融合特征确定待跟踪目标的最终特征。

2.如权利要求1所述的改进型的目标跟踪方法，其特征在于，所述步骤C包括：

通过神经网络训练融合模型；

通过所述融合模型对所述待跟踪目标的源特征进行融合；

生成所述待跟踪目标的融合特征。

3.如权利要求1或2所述的改进型的目标跟踪方法，其特征在于，在执行所述步骤A之前，所述改进型的目标跟踪方法还包括：

采集待跟踪视频数据；及

对视频数据进行背景滤除，得到背景滤除的帧图像。

4.如权利要求1或2所述的改进型的目标跟踪方法，其特征在于，在执行所述步骤B之前，所述改进型的目标跟踪方法还包括：预先训练特征跟踪模型。

5.如权利要求4所述的改进型的目标跟踪方法，其特征在于，所述“预先训练特征跟踪模型”步骤包括：

通过视频采集设备采集不同的视频图像，以获得不同的训练样本；及

将所述不同的训练样本输入到待训练的特征跟踪模型中进行训练，从而获得预先训练特征跟踪模型。

6.如权利要求1所述的改进型的目标跟踪方法，其特征在于，所述特征融合网络为循环神经网络。

7.如权利要求1所述的改进型的目标跟踪方法，其特征在于，训练神经网络的步骤包括：

步骤E1：确定输入数据类型和结构；

步骤E2：设计神经网络的结构；

步骤E3：设计loss函数；其中，所述loss函数为KS散度；

步骤E4：一批一批地输入数据，利用随机梯度下降算法更新神经网络的参数；及

步骤E5：判断神经网络模型是否收敛，如果是，则结束；否则重复执行步骤E4，直到神经网络模型收敛。

8.如权利要求1所述的改进型的目标跟踪方法，其特征在于，所述待跟踪目标是行人时，所述待跟踪目标的源特征包括对应行人的运动光流特征和外观特征；其中，所述外观特征用于表示行人的外表信息，所述外观特征包括全局外观特征和前景外观特征，所述运动光流特征用于通过向量表示的图像亮度模式的表观运动(apparent motion)信息、用于表达图像中行人的变化情况。

9.一种改进型的目标跟踪装置，其特征在于，所述改进型的目标跟踪装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的改进型的目标跟踪程序，所述改进型的目标跟踪程序被所述处理器执行时实现如权利要求1-8任一所述的改进型的目标跟踪方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有改进型的目标跟踪程序，所述改进型的目标跟踪程序可被一个或者多个处理器执行，以实现如权利要求1至8任一项所述的改进型的目标跟踪方法的步骤。