CN111986225A - 一种基于角点检测和孪生网络的多目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种基于角点检测和孪生网络的多目标跟踪方法及装置。其是采用了一种优秀的跟踪框架，包括三部分，其一是该方法先利用角点检测对全局的目标进行检测，该方法是利用交火模块大大减小了主干网络的参数量；其二是在得到检测结果后裁取需要跟踪的目标，利用孪生神经网络算法继续跟踪，并利用孪生神经网络速度快的优势并行进行多目标的跟踪；最后是跟踪过程利用卡尔曼滤波去除跟踪噪音。本发明将基于角点与卡尔曼滤波的跟踪算法应用到多目标跟踪上，结合孪生神经网络算法的优势，很好的完成了多目标跟踪的目标任务，比起传统方法跟踪精度与准确度都得到了不少的提升。

Description

一种基于角点检测和孪生网络的多目标跟踪方法及装置

技术领域

本发明涉及视觉跟踪领域，尤指一种基于角点检测和孪生网络的多目标跟踪方法及装置。

背景技术

几十年来视觉跟踪一直是计算机视觉领域研究的热点。视觉跟踪任务的目标是在一系列时序图像中检测连续运动的物体，获得物体的运动数据，进一步提取物体运动轨迹，并对物体运动进行运动分析，从而实现对物体运动行为的理解。在航天领域，火箭发射需要追踪火箭的运动轨迹，进而处理分析火箭运动状态；在医学领域，追踪技术可以用在定位病变，分析病变运动变化从而辅助完成治疗；在商业领域，利用追踪统计客流量与分析客流运动状态具有极高的商业价值。目标追踪技术应用场景广泛并且复杂，设计一个精确、鲁棒的跟踪器至关重要。由于商业、工业、军事、医学等应用场景的需求，目标跟踪技术研究极具价值。

近年来，深度学习技术成为人们研究重点，其深刻改变了计算机视觉传统思维。在视觉的各个领域，深度学习一项项刷新了传统方法的精度，同时使得运算效率大幅提升。目标检测、图像分割、图像语义理解、目标跟踪等等都是深度学习成功应用方向。视觉跟踪涌现了一大批基于深度学习的算法，这些方法很好的解决了视觉跟踪领域特有的问题，如目标尺度、光照变化、运动模糊。虽然基于深度学习的目标跟踪算法带来了良好的精确度和性能，但是由于目标跟踪问题的复杂性，算法研究还要解决很多问题，以满足实际生产生活需求。

对于基于孪生神经网络的目标跟踪算法，大多数都是提取目标的深度特征再对模版进行匹配，不能识别物体本身的语义信息，一旦跟踪失败不能恢复跟踪。例如发明名称为《一种基于深度学习的视觉多目标跟踪方法及装置》，申请号：CN201911252433.5的中国发明申请。

为此本发明公开了一种基于角点检测和孪生网络的多目标跟踪方法。

发明内容

为解决上述问题，本发明主要目的在于，提供一种基于角点检测和孪生网络的多目标跟踪方法，是一种可对全局目标进行检测的多目标跟踪方法，该方法通过角点检测对全局的目标进行检测，并利用孪生神经网络速度优势进行逐个目标的跟踪，最后结合卡尔曼滤波对跟踪效果优化，能减少运动噪音对跟踪的影响。

本发明的一种基于角点检测和孪生网络的多目标跟踪方法采用一种优秀的跟踪框架，包括三部分，其一是该方法先利用角点检测对全局的目标进行检测，该方法是利用交火模块大大减小了主干网络的参数量；其二是在得到检测结果后裁取需要跟踪的目标，利用孪生神经网络算法继续跟踪，并利用孪生神经网络速度快的优势并行进行多目标的跟踪；最后是跟踪过程利用卡尔曼滤波去除跟踪噪音。

虽然孪生神经网络速度快，但是会出现跟踪失败不能恢复的问题。此问题出现的原因是SiameseFC跟踪基于裁取得图像相似度匹配而不是整个图像进行目标搜索。跟踪过程中的输入图像是上一帧图像按照跟踪目标中心裁取的相同大小的图像，如果跟踪目标快速移动出裁取范围或者发生遮挡，SiameseFC会丢失跟踪的目标。此外相似度匹配的目标跟踪算法只能进行单目标的跟踪，不能直接对多个目标进行跟踪。

基于角点目标检测算法是基于全局图像的检测，可以检测输出多个目标物体，并且稳定性较高，即使跟踪失败也能在后续检测过程中恢复跟踪。但是基于角点目标检测方法存在的问题是跟踪速度相对较慢，如果用于多目标跟踪方法将不能实现实时跟踪，因此需要优化角点检测算法的速度。为了结合两个网络的优势，本发明提出了基于孪生网络和角点检测的多目标跟踪方法。算法首先利用角点检测对全局的目标进行检测，在得到检测结果后裁取需要跟踪的目标，利用孪生神经网络算法继续跟踪，一旦跟踪失败则保留目标信息，在后续目标检测中进行匹配，跟踪目标再次出现时继续跟踪。多目标的孪生网络跟踪过程中并行执行，跟踪成功则继续跟踪。跟踪成功与否通过当前帧特征与初始帧特征进行相似度匹配，当两者差值大于阈值时判断为目标丢失。目标目标丢失后，需要保存目标的特征信息，即SiameseFC输出的用于跟踪的匹配特征。

本发明采用CornerNet-Squeeze网络作为全局目标检测网络，该网络利用SqueezeNet中的优化方法将残差模块替换为交火模块(Fire module)，该方法大大提升了目标检测方法的速度。

本发明还提供了一种基于角点检测和孪生网络的多目标跟踪装置,其包含：图像捕捉模块，用以获取跟踪用图像；全局目标检测网络模块，采用角点检测网络对输入的图像进行全局的目标进行检测，并在得到检测结果后裁取需要跟踪的目标；多目标的跟踪模块，接收全局目标检测网络模块需要跟踪的目标，并利用孪生神经网络算法对所述目标进行继续追踪。

进一步的，还可包含一个卡尔曼滤波模块，以在跟踪过程利用卡尔曼滤波去除跟踪噪音。作为一种优选，所述全局目标检测网络模块是采用CornerNet-Squeeze网络作为全局目标检测网络。

本发明有益效果在于，借助上述技术方案，相对于现有技术具有如下优点：

1.本方法利用角点检测获取目标的大小位置信息，相比与传统的矩形框的检测大大提高了检测精度。

2.本方法采用SqueezeNet优化角点检测，利用CornerNet-Squeeze作为目标检测网络，对全局目标进行检测。相比与CornerNet大大减少了参数量，提高了检测速度。

3.方法采用孪生神经网络对目标逐个跟踪，提高了跟踪速度。

4.本方法采用卡尔曼滤波的思想，跟踪过程利用卡尔曼滤波去除跟踪噪音。

附图说明

图1为CornerNet目标检测算法框架；

图2交火模块示意图；

图3深度可分离卷积示意图；

图4 SiameseFC网络结构示意图；

图5基于孪生网络和角点检测的多目标跟踪算法示意图；

图6典型的MOT2015视频序列示例；

图7卡尔曼滤波对基于角点的目标跟踪算法改进。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。

1、角点检测网络

该方法把目标检测问题进行了转化，把通过将目标框的预测转化为了目标框的两个角点，左上角和右下角。对于一个目标来说，一对左上角和右下角足以可以确定目标大小和位置信息。目标框这个概念是一种人类的抽象，是不存在于自然界的，深度学习本身并不能习得目标框的概念。通过问题转化，目标在图像中是存在边界信息的，而边界信息是在图像中真实存在的，如何利用好目标边界信息是一个非常值得研究的问题。CornerNet给出了一个解决方案，算法通过特殊的池化层可以将边界信息归一化到一个中心位置，通过两个角点位置进行目标的检测与分类，再在大量标注数据上学习就可以完成目标检测任务。

如图1所示，为CornerNet目标检测框架算法框架，其是由沙漏网络(HourglassNetwork)作为主干网络，沙漏网络最初应用在医学目标检测当中。由于医学上病变目标大小不一的特点，沙漏网络结构由多层级的残差网络加上跳跃连接构成，利用多层级的自顶向下和自底向上的结构可以使网络感受野范围更广。沙漏网络在医学目标检测上取得了很好的性能，继而推广到通用的目标检测上来，目前沙漏网络广泛用于多尺度目标检测当中。沙漏网络的输出分为两个部分，分别是左上角和右下角两个特征图。特征图经过CornerPooling输出网络的预测，预测包含角点的位置信息(Heatmaps)、角点对匹配(Embedings)和偏差修正(Offsets)三部分。Heatmaps直接与目标角点位置标注进行学习，用于减小位置误差。Embedings是为了区分不同目标的角点对的特征向量，同一目标的角点对差值最小，不同目标的角点对差值最大。由于最后特征输出特征太小，对应到原图尺寸会有偏差，因此需要Offsets来消除因尺寸映射导致的微小偏差。

2、SqueezeNet网络

参见图2所示，为交火模块示意图，图3为深度可分离卷积示意图。

SqueezeNet是将残差模块替换为交火模块(Fire module)。在交火模块中，两个3×3的标准卷积被1×1的卷积和3×3的可分离卷积代替，如图2。深度可分离卷积最开始由MobileNet提出，其卷积结构如图3所示。标准卷积的卷积核尺寸为D_k×D_k×M×N，深度可分离卷积将卷积核分为M个通道，尺寸为D_k×D_k×1。一个卷积核负责一个通道的卷积操作，且一个通道只被一个卷积核卷积。经过此改进，交火模块比原有的残差模块参数量减少了7倍，虽然精度略有下降，但是以少量精度损失换取速度上的提升是值得的。本章提出的基于孪生网络和角点检测的多目标跟踪算法目标检测部分采用预训练的CornerNet-Squeeze模型。

3、SiameseFC网络

如图4所示，为SiameseFC网络结构示意图。SiameseFC主干网络采用Alexnet，去掉了其中的全连接层，由5个卷积与2个池化层组成，如图4所示。图中x是跟踪目标，围绕跟踪目标剪裁成127×127大小的图像，z是目标搜索区域，区域围绕跟踪目标中心剪裁成256×256大小的图像。分别将x与z输入网络后得到特征图，以搜索目标输出的响应图作为滤波器，对另一个特征图进行卷积操作，卷积对结果是对跟踪目标与搜索区域的相似性度量。如果卷积的区域越相似，那么其响应的值更大。在网络输出中的Feature map中响应最大值就是目标中心所在的位置。

网络优化目标函数如式1，其中y是网络预测输出，

是样本标签。距离跟踪目标中心16个像素以内设标签为1，为正样本，反之设为-1。l_logis是对数损失函数，如式2。计算出损失函数后，利用梯度反向传播迭代训练。训练完成后，跟踪过程首先计算跟踪目标的特征并保存到内存中，跟踪时根据上一帧目标位置确定搜索区域。为了适应目标尺寸的变化，增加了多尺度的搜索区域输入到网络当中，根据衰减权重确定最终的目标尺寸。SiameseFC模型最终学习到的网络结构同时包含特征表达与相似性度量，端到端的完成了跟踪任务，由于压缩了跟踪过程，计算效率大大提升达到100Fps。

4、卡尔曼滤波

卡尔曼滤波对物体线性运动过程建模，并利用模型对观测噪音进行滤波。卡尔曼滤波自提出以来，成为控制系统的基本理论，其广泛应用于运动系统状态估计当中。在测量过程当中，不可避免的会造成观测误差，而物体运动状态可以去建模估计。观测值与预测值都是物体位置的反映，物体位置状态是真实准确存在的，而观测值与预测值都是包含噪音的，卡尔曼滤波的作用就是对两个值进行滤波，对物体真实的位置进行修正。卡尔曼滤波在数学上是寻找方差最小的估计值，是一种最优估计滤波。

在目标跟踪当中，物体是一个线性运动物体。而检测模型会有一定误差。当物体在t₁时刻检测到位置x₁，此刻噪声误差为u，物体经过运动后在t₂时刻再次接收到检测位置x₂......，物体经过运动后在t_n时刻接收到检测位置x_n。由于噪声的存在，物体检测的位置是不准确的，根据物体运行的时间和速度也可以得到一个物体的位置x_t。x_n与x_t都是对物体位置的一种估计，且两种位置具有统计意义上的均值、方差。

卡尔曼滤波的作用就是根据x_n与x_t的均值与方差去分配位置权重，并估计物体真实的位置，这个权重就是卡尔曼滤波的增益K_t，如式5。物体的状态预测方程为式3，其中F是状态转换矩阵，是由上一位置预测下一位置，汽物体运动模型的状态转换矩阵由速度加速度构成，B是控制输入矩阵，系统控制量对物体运动进行作用。式5中P_t是对预测状态对协方差矩阵进行计算，Q是预测模型的协方差矩阵。卡尔曼滤波对观测过程可以定义为式6，其中H是本身状态与观测状态转换矩阵，v是观测噪音。卡尔曼过程中的状态更新和预测状态的协方差矩阵更新如式7和式8所示。

状态预测方程：

协方差传递方程：

P_t＝FP_t-1F^T+Q (4)

卡尔曼增益：

观测矩阵：

z_t＝Hx_t+v (6)

状态更新：

预测状态协方差更新：

通过这六个公式，就可以完成卡尔曼滤波。观测值即为目标检测器检测到的物体位置，物体运动可以用运动方程建模，这样就可以利用目标检测方法来进行目标跟踪。

以下实施例用于说明本发明，但不是用来限制本发明的范围。本发明的一种基于角点检测和孪生网络的多目标跟踪方法的具体实施例：

本具体实施例的网络环境使用Pytorch1.0，环境依赖为cuda9.0、cudnn7.5，编程语言python3.5。

1.跟踪方法实现细节：

基于角点目标检测算法是基于全局图像的检测，可以检测输出多个目标物体，并且稳定性较高，即使跟踪失败也能在后续检测过程中恢复跟踪。基于角点目标检测算法存在的问题是跟踪速度相对较慢，如果用于多目标跟踪算法将不能实现实时跟踪，因此需要优化角点检测算法的速度。结合两个算法的优势，本发明提出了基于孪生网络和角点检测的多目标跟踪算法，其算法框架如图5。算法首先利用角点检测对全局的目标进行检测，在得到检测结果后裁取需要跟踪的目标，利用孪生神经网络算法继续跟踪，一旦跟踪失败则保留目标信息，在后续目标检测中进行匹配，跟踪目标再次出现时继续跟踪。多目标的孪生网络跟踪过程中并行执行，跟踪成功则继续跟踪。跟踪成功与否通过当前帧特征与初始帧特征进行相似度匹配，当两者差值大于阈值时判断为目标丢失。目标丢失后，需要保存目标的特征信息，即SiameseFC输出的用于跟踪的匹配特征。

跟踪过程中，基于角点的检测算法是定时执行的。每次执行后产生的新的跟踪目标与当前SiameseFC跟踪的目标进行匹配，相同目标则合并执行跟踪，如果不同则去保存的特征信息里匹配，匹配成功按照原有的目标标签跟踪，如果保存的特征信息里没有匹配，则按照新的跟踪目标进行跟踪。孪生神经网络跟踪过程采用卡尔曼滤波来对目标进行运动建模，减少跟踪噪音。建模方法与前文用到的卡尔曼滤波算法相同，对跟踪目标中心位置、长宽分别进行滤波，提高跟踪精度。

如图5所示，为基于孪生网络和角点检测的多目标跟踪算法示意图。

基于角点检测和孪生网络的多目标跟踪方法如后面的程序代码表所示，输入(input)为初始目标框S₀和视频流，首先利用角点检测网络对第t帧图像进行目标检测得到S_t，然后对S₀与S_t进行匈牙利指派算法进行数据关联。匈牙利指派算法对两个集合IOU操作后进行划分，IOU大的优先指派为跟踪目标。然后利用SiameseFC网络对跟踪目标持续跟踪得到观测矩阵z_t，n，继而更新卡尔曼滤波器参数。最后输出预测目标状态X_t，n，根据深度特征对目标进行跟踪匹配判断，如果成功继续SiameseFC跟踪并更新卡尔曼滤波器参数，如果失败则停止SiameseFC跟踪并等待目标再次出现。

实现基于孪生网络和角点检测的多目标跟踪算法示例如下程序代码表：

为了验证本发明技术方案的效果，做了如下验证：

1、MOT多目标跟踪数据集验证

多目标检测常用的验证数据集是MOT2015。MOT2015当中包含22个视频序列和11286帧的标注。典型的数据如图6所示，其为典型的MOT2015视频序列。MOT2015中定义了多种评价指标包括多目标跟踪准确度(Multiple Object Tracking Accuracy MOTA)、多目标跟踪精度(Multiple Object Tracking Precision，MOTP)等。式9与式10分别给出了MOTA与MOTP的表达式。

式9中t是帧索引，GT是标签的数量，IDSW是匹配失败的数量，FN为假负样本数量，FP是假正样本数量。式10中，c_t是匹配帧的数量，d_t，i是目标框与标签框的交叠比。MOTA要首先计算出跟踪错误率，跟踪错误判断包括判断错误与匹配失败的样本，1减去跟踪错误率就是多目标跟踪准确度。MOTP计算的是平均交叠比，反映的是所有目标的跟踪精度。

分别选取了两个在线和两个离线的多目标跟踪算法与本发明公开的算法进行对比实验。DP_NMS利用动态规划求得多目标轨迹最优解，并利用非极大值抑制来简化计算提高算法效率。DP_NMS算法是一种离线跟踪方法，算法复杂度与跟踪数量成线性关系。SMOT将物体动力学模型引入到跟踪当中以更好区分相似目标，算法利用广义线性分配(Generalized linear assignment，GLA)离线计算运动轨迹相似度。RMOT提出一种结构性约束事件聚合的方法用于数据关联和恢复跟踪，TC_ODAL采用全局关联来消除较长时间的物体遮挡导致的跟踪失败问题，两个算法都是在线跟踪算法的典型代表。

经试验，验证了本发明将基于角点与卡尔曼滤波的跟踪算法应用到多目标跟踪上，结合孪生神经网络算法的优势，进而提出了本发明的基于孪生网络和角点检测的多目标跟踪算法，并将该算法命名为SiamFC_Corner_Kalman。

实验结果如表1所示，SiamFC_Corner_Kalman在相关算法中取得了最好的性能，MOTA与MOTP分别达到了22.3％、72.8％，MOTA比相关算法高出约5％，MOTP比相关算法高出约2％。这证明了本发明提出的方法很好的完成了多目标跟踪的目标任务，比起传统方法跟踪精度与准确度都得到了不少的提升。

表1算法在MOT2015上的实验结果

2、卡尔曼滤波跟踪效果验证

为了验证卡尔曼滤波在目标跟踪中发挥的作用，选取了一个目标变化比较明显的视频，记录目标框中心位置的预测值与卡尔曼滤波滤波后的估计值，得到图7。图中纵轴为中心位置，横轴为视频帧。蓝色实线为卡尔曼滤波输出的位置估计，绿色虚线为基于角点检测的检测算法观测值。可以看到绿色虚线有非常多的毛刺，说明目标检测输出的结果不稳定，噪音干扰比较大，很容易跟踪丢失目标。而蓝色实线相对平滑一些，而且反映了物体真实的变化规律。实验表明卡尔曼滤波在基于目标检测框架的跟踪算法发挥了重要的作用，可以提升算法稳定性与精准度。

综上所述，与现有的孪生神经网络相比，本发明的一种基于角点检测和孪生网络的多目标跟踪方法采用针对角点检测和孪生神经网络的目标跟踪的方法有以下几点优点：

(1)使用角点检测模型可以全局对图像目标进行检测，一旦跟踪失败还可以恢复跟踪；

(2)利用孪生神经网络对目标逐个追踪速度快；

(3)卡尔曼滤波提升了跟踪的鲁棒性；

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于，包含：

步骤一、利用角点检测对全局的目标进行检测，以检测输出多个目标物体，

在该步骤中，首先利用角点检测对全局的目标进行检测，在得到检测结果后裁取需要跟踪的目标；

步骤二、在步骤一得到检测结果后裁取需要跟踪的目标，利用孪生神经网络算法继续跟踪，并利用孪生神经网络速度快的优势并行进行多目标的跟踪，一旦跟踪失败则保留目标信息，在后续目标检测中进行匹配，跟踪目标再次出现时继续跟踪。

2.根据权利要求1所述的一种基于角点检测和孪生网络的多目标跟踪方法，其特征在于，在跟踪过程中，利用卡尔曼滤波去除跟踪噪音。

3.根据权利要求1或2所述的一种基于角点检测和孪生网络的多目标跟踪方法，其特征在于，在步骤一种是采用利用SqueezeNet中的优化方法将残差模块替换为交火模块的CornerNet-Squeeze网络作为全局目标检测网络。

4.根据权利要求1或2所述的一种基于角点检测和孪生网络的多目标跟踪方法，其特征在于：在步骤二中，跟踪成功与否通过当前帧特征与初始帧特征进行相似度匹配，当两者差值大于阈值时判断为目标丢失，目标丢失后，需要保存目标的特征信息，即孪生神经网络算法输出的用于跟踪的匹配特征。

5.根据权利要求4所述的一种基于角点检测和孪生网络的多目标跟踪方法，其特征在于，跟踪过程中，基于角点的检测算法是定时执行的，每次执行后产生的新的跟踪目标与当前Siames eFC跟踪的目标进行匹配，相同目标则合并执行跟踪，如果不同则去保存的特征信息里匹配，匹配成功按照原有的目标标签跟踪，如果保存的特征信息里没有匹配，则按照新的跟踪目标进行跟踪。

6.根据权利要求5所述的一种基于角点检测和孪生网络的多目标跟踪方法，其特征在于，所述孪生神经网络跟踪过程采用卡尔曼滤波来对目标进行运动建模，以减少跟踪噪音，对跟踪目标中心位置、长宽分别进行滤波，以提高跟踪精度。

7.根据权利要求6所述的一种基于角点检测和孪生网络的多目标跟踪方法，其特征在于，所述方法实现步骤为：输入为初始目标框S_0和视频流，首先利用角点检测网络对第t帧图像进行目标检测得到S_t，然后对S_(0)与〖S〗_t进行匈牙利指派算法进行数据关联；匈牙利指派算法对两个集合IOU操作后进行划分，IOU大的优先指派为跟踪目标；然后利用SiameseFC网络对跟踪目标持续跟踪得到观测矩阵z_(t,n)，继而更新卡尔曼滤波器参数；最后输出预测目标状态X_(t,n)，根据深度特征对目标进行跟踪匹配判断，如果成功继续SiameseFC跟踪并更新卡尔曼滤波器参数，如果失败则停止SiameseFC跟踪并等待目标再次出现。

8.一种基于角点检测和孪生网络的多目标跟踪装置,其特征在于，包含：

图像捕捉模块，用以获取跟踪用图像；

全局目标检测网络模块，采用角点检测网络对输入的图像进行全局的目标进行检测，并在得到检测结果后裁取需要跟踪的目标；

多目标的跟踪模块，接收全局目标检测网络模块需要跟踪的目标，并利用孪生神经网络算法对所述目标进行继续追踪。

9.根据权利要求8所述的一种基于角点检测和孪生网络的多目标跟踪装置，其特征在于，还包含一个卡尔曼滤波模块，以在跟踪过程利用卡尔曼滤波去除跟踪噪音。

10.根据权利要求8或9所述的一种基于角点检测和孪生网络的多目标跟踪装置，其特征在于，所述全局目标检测网络模块是采用CornerNet-Squeeze网络作为全局目标检测网络。

Images