CN115994929A - 一种融合空间运动和表观特征学习的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种融合空间运动和表观特征学习的多目标跟踪方法，首先将视频转换成帧序列，然后使用卷积神经网络对全部帧图像进行特征提取，根据运动目标特征使用目标检测器得到全部目标的目标检测轨迹；再然后对全部目标的目标检测轨迹进行校验以及目标检测轨迹，得到预测位置；利用预测位置和目标检测轨迹进行检测边框大小进行位置重合计算，判断是否发生遮挡，若发生遮挡，将预测目标检测边框的位置替换目标检测轨迹的目标检测边框位置，并输出该运动目标的最终检测轨迹，最终得到全部目标的最终检测轨迹。本发明令检测结果更加精确，实现多目标的准确识别和追踪。

Description

一种融合空间运动和表观特征学习的多目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，更具体的说是涉及一种融合空间运动和表观特征学习的多目标跟踪方法。

背景技术

多目标跟踪是利用计算机视觉技术对视频中的目标进行持续跟踪，通过对输入的视频图像进行处理，得到多个目标，并对目标的外观特征、位置、运动状态等信息进行计算分析，最终得到连续的运动轨迹。在深度学习技术成熟之前，传统的多目标跟踪方法，建立高斯混合模型或隐马尔可夫随机场模型以构建生成外观模型，然后使用基于贝叶斯理论的模型或基于局部/全局数据关联的模型进行持续的目标跟踪。

现有方法通过先检测出目标；再预测出目标；计算检测目标与预测目标的交并集；匹配检测目标与预测目标。虽然现有方法整体来说能产生很好的跟踪效果，但是没有考虑长期遮挡使目标丢失的情况，也没有考虑身份标识管理的策略，导致产生过多的身份ID的情况，因此现有的多目标追踪方法存在识别效果差，追踪效果差的问题，

因此，如何提高多目标追踪的识别效果和追踪效果是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种融合空间运动和表观特征学习的多目标跟踪方法，通过使用基于卷积神经网络的深度学习算法解决多目标跟踪效果差的问题，实现轨迹输出更加精确。

为了实现上述目的，本发明采用如下技术方案：

一种融合空间运动和表观特征学习的多目标跟踪方法，包括以下步骤：

S1：获取待处理的视频，并将视频转换成帧序列，得到若干连续的帧图像；

S2：使用卷积神经网络对全部帧图像进行特征提取，得到每一帧图像的运动目标特征，将全部运动目标特征进行相似对比，对相同的运动目标特征赋一个相同的身份ID，得到所有携带身份ID的运动目标特征；

S3：使用目标检测器对每一个身份ID的运动目标对应的所有帧图像进行检测得到目标检测边框，利用运动目标的身份ID与目标检测边框进行目标边框的关联与追踪，得到每一个运动目标在其对应的连续帧图像中的目标检测轨迹，获得全部运动目标的目标检测轨迹；

S4：遍历每一个运动目标对应的所有帧图像，对全部运动目标的目标检测轨迹进行校验和调整，获得每个运动目标的最终检测轨迹。

优选地S2中，卷积神经网络包括若干多层神经网络，每层神经网络包括若干二维平面，每个平面由若干独立神经元构成；进行特征提取的过程为：

S21：输入每一帧图像，通过三个可训练的滤波器和可加偏置进行卷积，卷积后在第一卷积层C1产生三个特征映射图；

S22：将特征映射图中每组的四个像素依次进行求和、加权值和加偏置，通过一个S型生长曲线函数得到三个第一采样层S2的特征映射图；

S23：三个第一采样层S2层的特征映射图通过滤波到第二卷积层C3，经过卷积产生三个特征映射图；

S24：第二卷积层C3的特征映射图中每组的四个像素依次进行求和、加权值和加偏置，通过一个S型生长曲线函数得到三个第二采样层S4的特征映射图；

S25：光栅化第二采样层S4的特征映射图的像素值，并连接成一个向量输入到传统的神经网络，输出运动目标特征。

其中，C1层是是一个卷积层，由6个特征图构成，特征图中每个神经元与5*5的邻域滤波器相连，C1有156个可训练参数，（每个滤波器包括5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数)；S2层是一个下采样层，有6个14*14的特征图，特征图中的每个单元与C1层中相对应特征图的2*2邻域相连接，S2层有12个(6*(1+1)=12)可训练参数；C3层是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征图就只有10x10个神经元，但是它有16种不同的卷积核，所以就存在16个特征图；S4层是一个下采样层，由16个5*5大小的特征图构成，特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。

上述技术方案的技术效果为，特征映射结构采用影响函数核小的S型生长曲线函数作为卷积网络的激活函数，使得特征映射具有位移不变性，此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，降低了网络参数选择的复杂度。

下采样层S2的作用是，当在一帧图像中出现两个运动的物体，两个运动的物体结构颜色以及位置不同，在该帧图像后的若干帧中均出现该两个物体，则该同一运动物体的运动目标特征相同，只是该运动目标特征在该帧图像后的若干帧中位置发生变化，则对两个运动的物体的运动目标特征赋身份ID，给定一个身份编号。

优选地，卷积层C1和卷积层C3为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，该局部特征被提取后，同时获得局部特征与其他特征间的位置关系；采样层S2和采样层S4是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。

优选地，卷积神经网络中的特征提取层都连接一个计算层，通过计算层求局部平均，并进行二次提取。卷积神经网络中的每一个作为特征提取层的卷积层都紧跟着一个用来求局部平均与二次提取的计算层。

上述技术方案的技术效果为，通过使用卷积神经网络能够精确提取出每一帧图像的运动目标特征，同时提取速率快，提取精度高。

优选地，S3中的目标检测器使用DPM目标检测器，先计算梯度方向直方图，然后用SVM训练得到运动目标的梯度模型，使用梯度模型完成目标分类，实现模型和目标匹配，得到目标检测边框。

上述技术方案的技术效果为，DPM目标检测器在特征层面对经典的HOG目标检测器特征进行了扩展，也使用了滑动窗口方法，基于SVM进行分类，其核心思想是将待检测目标拆分成一系列部件，把检测一个复杂目标的问题转换成检测多个简单部件的问题。例如，将检测汽车转换成分别检测窗子、车体和车轮这几个部件，使得输出的目标检测边框更加贴合运动目标。

优选地，S4的具体过程为：

S41：选取当前帧图像，根据上一帧图像和当前帧图像中同一目标检测边框的中心点距离和方向计算运动矢量，从而得到该运动目标在下一帧中的预测目标检测边框；

S42：将上一帧图像中同一运动目标的目标检测边框用细线框标出，将当前帧图像中的同一运动目标的目标检测边框用粗线框标出，结合这两帧图像中同一运动目标的目标检测边框信息，预测下一帧图像中同一运动目标的目标检测边框的位置，得到预测目标检测边框；

S43：利用预测目标检测边框和同一运动目标的目标检测轨迹中下一帧图像中的目标检测边框大小进行位置重合计算，判断是否发生遮挡；若目标检测边框的大小和位置均相同则不发生遮挡，否则判断发生遮挡；若发生遮挡，用预测的下一帧图像中同一运动目标的预测目标检测边框的位置替换目标检测轨迹中下一帧图像中同一运动目标的目标检测边框的位置；如果未发生遮挡，则下一帧中的目标检测边框不进行调整；

S44：如果存在下一帧图像，则将下一帧图像作为当前图像，并返回S41，否则遍历结束，输出全部运动目标的最终检测轨迹。

上述技术方案的技术效果为，在实际检测过程中，运动目标可能出现遮挡，被遮挡的运动目标只有部分运动目标特征出现在帧图像上，进而被遮挡的运动目标特征被检测到的目标检测边框小于实际运动目标特征在实际场景中的位置，若直接使用目标检测边框作为最终检测结果，造成检测结果不精确，使用预测的下一帧图像中同一运动目标的目标检测边框的位置替换目标检测轨迹中下一帧图像中同一运动目标的目标检测边框位置，最终输出更加精确的运动目标的最终检测轨迹。

优选地，S4中根据上一帧图像和当前帧图像中同一运动目标的目标检测边框的位置变化，使用微分的方法，以匀速直线运动方式预测下一帧图像的目标检测边框的目标位置，形成目标运动向量和目标预测位置处的目标检测边框，得到下一帧图像中同一运动目标的预测目标检测边框的位置。

上述技术方案的技术效果为，通过使用微分的方法，以匀速直线运动方式预测目标位置，提高运动目标特征的预测位置的精度。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种融合空间运动和表观特征学习的多目标跟踪方法，视频帧序列与独立图像最大的差异即视频帧是连续的，通过应用视频帧序列的连续性，将前一帧特征作为后一帧的特征参考，即第t-1帧中该目标检测框用细线框标出，第t帧中的检测框则用粗线框表示，结合这两帧中该目标的检测框信息，预测第t+1帧中该目标位置，针对目标未出现的情况有目标物离开画面、目标物被遮挡等情况，因此进行目标遮挡判断，通过预测目标的运动轨迹，提前判断是否会出现遮挡，并在遮挡前保存相对完整的目标特征和运动矢量，为遮挡结束后的身份分配提供更可靠的依据，实现输出多个目标的运动轨迹。另外也有新出现在画面中的目标物，这部分可以作为检测特征部分进行提取，可以大大减少检测特征提取对检测器性能的需求，提高追踪效率。本发明中采用卷积神经网络模型检测当前帧中的行人，通过目标检测器进行初步追踪，结合特征向量对初步追踪的结果进行校验，对没有通过校验的轨迹进行再处理，寻找更适合的检测结果，最后得到相对较优的匹配结果，对于目标间遮挡的问题，本发明提出的算法通过预测目标的运动轨迹，提前判断是否会出现遮挡，并在遮挡前保存相对完整的目标特征和运动矢量，为遮挡结束后的身份分配提供更可靠的依据，实现输出多个目标的运动轨迹。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的融合空间运动和表观特征学习的多目标跟踪方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种融合空间运动和表观特征学习的多目标跟踪方法，流程如图1所示，包括以下步骤：

S1：获取待处理的视频，并将视频转换成帧序列，得到若干连续的帧图像；

S2：使用卷积神经网络对全部帧图像进行特征提取，得到每一帧图像的运动目标特征，将全部运动目标特征进行相似对比，对相同的运动目标特征赋一个相同的身份ID，得到所有携带身份ID的运动目标特征；

卷积神经网络包括若干多层神经网络，每层神经网络包括若干二维平面，每个平面由若干独立神经元构成；进行特征提取的过程为：

S21：输入每一帧图像，通过三个可训练的滤波器和可加偏置进行卷积，卷积后在卷积层C1产生三个特征映射图；

S22：将特征映射图中每组的四个像素依次进行求和、加权值和加偏置，通过一个S型生长曲线函数得到三个采样层S2的特征映射图；

S23：三个采样层S2的特征映射图通过滤波到卷积层C3，经过卷积产生三个特征映射图；

S24：卷积层C3结构再和采样层S2一样产生采样层S4的特征映射图；

S25：光栅化特征映射图的像素值，并连接成一个向量输入到传统的神经网络，输出运动目标特征；

卷积层C1和卷积层C3为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，该局部特征被提取后，同时获得局部特征与其他特征间的位置关系；采样层S2和采样层S4是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等；

卷积神经网络中的每一个作为特征提取层的卷积层都紧跟着一个用来求局部平均与二次提取的计算层；

S3：使用目标检测器对每一个身份ID的运动目标对应的所有帧图像进行检测得到目标检测边框，利用运动目标的身份ID与目标检测边框进行目标边框的关联与追踪，得到每一个运动目标在其对应的连续帧图像中的目标检测轨迹，获得全部运动目标的目标检测轨迹；

每一帧图像中若出现该身份ID的运动目标，则在该帧图像上画一个边框，将边框命名为目标检测边框，这个边框刚好将该身份ID的运动目标框选，在视频的若干连续帧图像上，目标检测边框也是连续的，只当某一帧图像中检测不到该运动目标，认为该运动目标运动至视频所能拍摄的范围以外，回到上述的连续的目标检测边框，使用连续的目标检测边框完成关联和追踪；关联是将若干连续的目标检测边框连在一起，完成关联；追踪是通过关联的连续的目标检测边框追踪得到目标检测轨迹；

目标检测器使用DPM目标检测器，先计算梯度方向直方图，然后用SVM训练得到运动目标的梯度模型，使用梯度模型完成目标分类，实现模型和目标匹配，得到目标检测边框；

S4：遍历每一个运动目标对应的所有帧图像，对全部运动目标的目标检测轨迹进行校验和调整，获得每个运动目标的最终检测轨迹；

S41：选取当前帧图像，根据第t-1帧图像和第t帧图像中同一目标检测边框的中心点距离和方向计算运动矢量，从而得到该运动目标在第t+1帧图像中的预测目标检测边框；

S42：将第t-1帧图像中同一运动目标的目标检测边框用细线框标出，将第t帧图像中的同一运动目标的目标检测边框用粗线框标出，结合这两帧图像中同一运动目标的目标检测边框信息，预测第t+1帧图像中同一运动目标的目标检测边框的位置，得到预测目标检测边框；

S43：利用预测目标检测边框和同一运动目标的目标检测轨迹中第t+1帧图像中的目标检测边框大小进行位置重合计算，判断是否发生遮挡；若目标检测边框的大小和位置均相同则不发生遮挡，否则判断发生遮挡；若发生遮挡，用预测的第t+1帧图像中同一运动目标的预测目标检测边框的位置替换目标检测轨迹中t+1帧图像中同一运动目标的目标检测边框的位置，选取t+1图像；如果未发生遮挡，则下一帧中的目标检测边框不进行调整，选取t+1图像；

根据第t-1帧图像和第t帧图像中同一运动目标的目标检测边框的位置变化，使用微分的方法，以匀速直线运动方式预测下一帧图像的目标检测边框的目标位置，形成目标运动向量和目标预测位置处的目标检测边框，得到t+1帧图像中同一运动目标的预测目标检测边框的位置；

S44：遍历结束，输出全部运动目标的最终检测轨迹。

实施例

在一个具体实施例中，多目标跟踪的具体过程为：

S1：将视频转换成帧序列，得到若干连续的帧图像；

S2：使用卷积神经网络对全部帧图像进行特征提取，得到每一帧图像的运动目标特征，将全部运动目标特征进行相似对比，对相同的运动目标特征赋一个相同的身份ID，得到所有携带身份ID的运动目标；出现两个运动目标则标记为运动目标01以及运动目标02；

S3：使用目标检测器对每一个身份ID的运动目标对应的所有帧图像进行检测得到目标检测边框，利用运动目标身份ID与目标检测边框进行目标边框的关联与追踪，得到每一个运动目标在其对应的连续帧图像中的目标检测轨迹，获得全部运动目标的目标检测轨迹；

就是每一帧图像中若出现该身份ID的运动目标，则在该帧图像上画一个边框，将边框命名为目标检测边框，这个边框刚好将该身份ID的运动目标框选，在视频的若干连续帧图像上，目标检测边框也是连续当，只当某一帧图像中检测不到该运动目标，认为该运动目标运动至视频所能拍摄的范围以外，回到上述的连续的目标检测边框，使用连续的目标检测边框完成关联和追踪；关联是将若干连续的目标检测边框连在一起，完成关联；追踪是通过关联的连续的目标检测边框追踪得到目标检测轨迹；

S4：遍历每一个运动目标对应的所有帧图像，得到全部运动目标的目标检测轨迹，就是得到运动目标01以及运动目标02的目标检测轨迹，对全部运动目标的目标检测轨迹进行校验和调整；

校验过程是，首先选取当前帧图像，根据第t-1帧图像和第t帧图像中同一目标检测边框的中心点距离和方向计算运动矢量，从而得到该运动目标在第t+1帧图像中的预测目标检测边框；然后将第t-1帧图像中同一运动目标的目标检测边框用细线框标出，将第t帧图像中的同一运动目标的目标检测边框用粗线框标出，结合这两帧图像中同一运动目标的目标检测边框信息，预测第t+1帧图像中同一运动目标的目标检测边框的位置，得到预测目标检测边框；再然后，利用预测目标检测边框和同一运动目标的目标检测轨迹中第t+1帧图像中的目标检测边框大小进行位置重合计算，判断是否发生遮挡；若目标检测边框的大小和位置均相同则不发生遮挡，否则判断发生遮挡；若发生遮挡，用预测的第t+1帧图像中同一运动目标的预测目标检测边框的位置替换目标检测轨迹中t+1帧图像中同一运动目标的目标检测边框的位置，选取t+1图像；如果未发生遮挡，则下一帧中的目标检测边框不进行调整，选取t+1图像；接着根据第t-1帧图像和第t帧图像中同一运动目标的目标检测边框的位置变化，使用微分的方法，以匀速直线运动方式预测下一帧图像的目标检测边框的目标位置，形成目标运动向量和目标预测位置处的目标检测边框，得到t+1帧图像中同一运动目标的预测目标检测边框的位置，最后遍历结束，输出全部运动目标的最终检测轨迹；最终获得每个运动目标的最终检测轨迹。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，包括以下步骤：

S1：获取待处理的视频，并将视频转换成帧序列，得到若干连续的帧图像；

S2：使用卷积神经网络对全部帧图像进行特征提取，得到每一帧图像的运动目标特征，将全部运动目标特征进行相似对比，对相同的运动目标特征赋一个相同的身份ID，得到所有携带身份ID的运动目标；

S3：使用目标检测器对每一个身份ID的运动目标对应的所有帧图像进行检测得到目标检测边框，利用运动目标的身份ID与目标检测边框进行目标边框的关联与追踪，得到每一个运动目标在其对应的连续帧图像中的目标检测轨迹，获得全部运动目标的目标检测轨迹；

S4：遍历每一个运动目标对应的所有帧图像，对全部运动目标的目标检测轨迹进行校验和调整，获得每个运动目标的最终检测轨迹。

2.根据权利要求1所述的一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，S2中，卷积神经网络包括若干多层神经网络，每层神经网络包括若干二维平面，每个平面由若干独立神经元构成；进行特征提取的过程为：

S21：输入每一帧图像，通过三个滤波器和可加偏置进行卷积，卷积后在第一卷积层产生三个特征映射图；

S22：将特征映射图中每组的四个像素依次进行求和、加权值和加偏置，通过一个S型生长曲线函数得到三个第一采样层的特征映射图；

S23：三个第一采样层的特征映射图通过滤波到第二卷积层，经过卷积产生三个特征映射图；

S24：第二卷积层的特征映射图中每组的四个像素依次进行求和、加权值和加偏置，通过一个S型生长曲线函数得到三个第二采样层的特征映射图；

S25：光栅化S24中第二采样层的特征映射图的像素值，并连接成一个向量输入到神经网络，输出运动目标特征。

3.根据权利要求2所述的一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，卷积层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，该局部特征被提取后，同时获得局部特征与其他特征间的位置关系；采样层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。

4.根据权利要求3所述的一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，卷积神经网络中的特征提取层都连接一个计算层，通过计算层求局部平均，并进行二次提取。

5.根据权利要求1所述的一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，S3中的目标检测器使用DPM目标检测器，先计算梯度方向直方图，然后用SVM训练得到运动目标的梯度模型，使用梯度模型完成目标分类，实现模型和目标匹配，得到目标检测边框。

6.根据权利要求1所述的一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，S4的具体过程为：

S41：选取当前帧图像，根据上一帧图像和当前帧图像中同一目标检测边框的中心点距离和方向计算运动矢量，得到该运动目标在下一帧中的预测目标检测边框；

S42：将上一帧图像中同一运动目标的目标检测边框用细线框标出，将当前帧图像中的同一运动目标的目标检测边框用粗线框标出，结合这两帧图像中同一运动目标的目标检测边框信息，预测下一帧图像中同一运动目标的目标检测边框的位置，得到预测目标检测边框；

S43：利用预测目标检测边框和同一运动目标的目标检测轨迹中下一帧图像中的目标检测边框大小进行位置重合计算，判断是否发生遮挡，若发生遮挡，用预测的下一帧图像中同一运动目标的预测目标检测边框的位置替换目标检测轨迹中下一帧图像中同一运动目标的目标检测边框的位置；如果未发生遮挡，则下一帧中的目标检测边框不进行调整；

S44：如果存在下一帧图像，则将下一帧图像作为当前图像，并返回S41，否则遍历结束，输出全部运动目标的最终检测轨迹。

7.根据权利要求6所述的一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，S4中根据上一帧图像和当前帧图像中同一运动目标的目标检测边框的位置变化，使用微分的方法，以匀速直线运动方式预测下一帧图像的目标检测边框的目标位置，形成目标运动向量和目标预测位置处的目标检测边框，得到下一帧图像中同一运动目标的预测目标检测边框的位置。

Images