CN111815682B - 一种基于多轨迹融合的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多轨迹融合的多目标跟踪方法，通过对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联的观测结果和预测结果进行轨迹管理，轨迹管理包括对旧轨迹和新轨迹进行轨迹关联、对被关联的旧轨迹和新轨迹进行轨迹融合以及删除符合预设条件的未被关联的旧轨迹。本发明的多目标跟踪方法能有效减少视频目标跟错、跟丢、漏报等情况。

Description

一种基于多轨迹融合的多目标跟踪方法

技术领域

本发明涉及视频监控技技术领域，特别地，涉及一种基于多轨迹融合的多目标跟踪方法。

背景技术

在多目标跟踪(Multiple object tracking,MOT)问题中，算法需要根据每一帧图像中目标的检测结果，匹配已有的目标轨迹；对于新出现的目标，需要生成新的目标；对于已经离开摄像机视野的目标，需要终止轨迹的跟踪。这一过程中，目标与检测的匹配可以看作为目标的重识别，例如，当跟踪多个行人时，把已有的轨迹的行人图像集合看作为图像库(gallery)，而检测图像看作为查询图像(query)，检测与轨迹的匹配关联过程可以看作由查询图像检索图像库的过程。

多目标跟踪它有许多实际应用，如视频监控、人机交互和虚拟现实。这些实际需求引起了人们对这一话题的极大兴趣。与之相对的，单目标跟踪(Single Object Tracking,SOT)主要集中在设计复杂的外观模型和/或运动模式，解决具有挑战性的问题如尺度变化，出平面旋转和光照变化，而多目标跟踪还有额外的两个任务需要解决：确定目标的数量(通常随时间变化)，和维持各自的ID。除了SOT和MOT的共同问题外，MOT还需要处理更复杂的关键问题包括：1)频繁遮挡；2)轨道初始化和终止；3)相似的外观；4)多目标间的相互影响。

由于真实环境中存在目标频繁遮挡、背景变化、虚假观测以及目标数目可变等复杂情况，多目标跟踪实现过程中非常容易出现目标误报、漏报或目标间身份切换等问题。因此，基于视频的多目标跟踪技术也是一个极具挑战性的课题，具有很强的实际应用和理论研究价值。

发明内容

本发明的目的在于提供一种基于多轨迹融合的多目标跟踪方法，通过对视频中的物体、人物等目标持续跟踪，以解决现有跟踪方法中出现目标误报、漏报或目标间身份切换的问题。

为实现上述目的，本发明提供了一种基于多轨迹融合的多目标跟踪方法，其包括以下步骤：

步骤1、输入当前视频帧，对该帧图像进行预处理操作；

步骤2、采用目标对象检测器，获取目标对象的边界框；

步骤3、对于每个检测到的物体计算其特征；

步骤4、计算当前帧检测到的候选目标与已有的跟踪目标的特征相似性，并采用匈牙利匹配算法进行匹配；

步骤5、将新产生的轨迹片段与旧的轨迹片段进行匹配，判断二者是否属于同一个身份；具体做法如下：

1)、检测独立未关联的轨迹片段是否发生了“溢出”边界情况；具体为判断目标边界框四个顶点的位置是否在边界邻域范围，若有一个顶点在边界邻域范围，则认为该目标正在发生“溢出”边界情况；边界即包括视频帧的上下左右边界，也包括监控视频场景内可以离开拍摄场景的区域；边界邻域范围是指以边界为中心的一定宽度的多边形区域；

2)、判断出该轨迹片段是否处于正在溢出边界区域或者处于稳定的边界区域内后，通过线性运动模型计算其预测位置；如果该目标正处于溢出边界区域，在计算其预测位置和运动方向时，按照其序列中边界点中最大值进行计算，即考虑其边界框的四个顶点，取四个顶点中位置发生最大变化的顶点作为运动估计的参考点；如果该目标正处于稳定的边界区域内，在计算其运动方向和预测位置时，按照其序列中边界点中最小值进行计算，即考虑其边界框的四个顶点，取四个顶点中位置发生最小变化的顶点作为运动估计的参考点；

3)、根据预设的距离阈值，判断不同独立未关联上的轨迹片段是否属于同一个身份，如果属于同一身份，则将其关联起来；具体计算方法是计算旧轨迹的未来出现位置是否与现有的新轨迹存在大于阈值的相似性；

步骤6、删除符合预设条件的未被关联的旧轨迹。

进一步的，所述步骤1中采用运动模糊补偿法对视频帧图像进行预处理。

进一步的，所述步骤4中当在检测结果中特征相似性最近且符合距离小于预设的距离阈值时，则认定该候选目标满足强关联条件并将其加入对应跟踪目标的轨迹当中；所有跟踪目标匹配结束后，将没有匹配到任何跟踪目标的候选目标加入轨迹管理序列中。

进一步的，所述步骤5中：新产生的轨迹是指新产生的，一定时间内(例如设置为5s)跟踪得到的轨迹；相应的，旧的轨迹是指已经存在的，产生超过一定时间(5s)的跟踪轨迹。

进一步的，采用线性插值方法在被关联的旧轨迹和新轨迹之间插入目标位置，以使得被关联的旧轨迹和新轨迹融合为同一轨迹；同时，可以将新轨迹的轨迹标识设置为关联的旧轨迹的轨迹ID，从而使得该旧轨迹恢复为可正常预测关联的已存在的有效轨迹，继续进行目标跟踪。

进一步的，所述步骤6的具体做法为将连续未更新帧数超过N帧的旧轨迹设置为无效轨迹，即该旧轨迹连续N+1帧未被关联时，该旧轨迹为无效轨迹，予以删除。

相比于现有技术，本发明具有以下有益效果：

本发明的一种基于多轨迹融合的多目标跟踪方法，通过对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联的观测结果和预测结果进行轨迹管理，轨迹管理包括对旧轨迹和新轨迹进行轨迹关联、对被关联的旧轨迹和新轨迹进行轨迹融合、删除符合预设条件的未被关联的旧轨迹。本发明的多目标跟踪方法能有效减少视频目标跟错、跟丢、漏报等情况。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一种基于多轨迹融合的多目标跟踪方法的流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。

参见图1，本实施例提供一种基于多轨迹融合的多目标跟踪方法，包括以下步骤：

步骤1、输入当前视频帧，对该帧图像进行预处理操作。具体地，由于视频帧容易出现运动模糊或者曝光过度等情况，可以采用运动模糊补偿等方法对视频帧图像进行处理，提高其清晰度，用于下一步的目标对象检测。

步骤2、采用目标对象检测器，获取目标对象的边界框；即该图像块的X坐标、y坐标、高度和宽度等状态信息。具体可以使用基于深度学习的目标检测算法，例如，目标检测模型中的two-stage类，将物体识别和物体定位分为两个步骤分别完成，这一类的典型代表是R-CNN、fast R-CNN以及faster-RCNN家族，他们识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测场景。而另一类算法是one-stage家族，典型代表是Yolo、SSD以及YoloV4等，他们识别速度很快，可以达到实时性要求，而且准确率也基本能达到faster R-CNN的水平。以上可根据实际需求进行选用。

步骤3、对于每个检测到的物体计算其特征，通常是视觉和运动特征等。例如，空间维度上的特征(下文简称空间特征)通常在单张图片中提取得到，比如颜色直方图、梯度直方图(Histogram of Oriented Gradient，HOG)、尺度不变特征(Speeded Up RobustFeatures，SURF)、局部二值模式(Local Binary Patterns，LBP)和卷积神经网络(convolutional Neural Networks，CNN)等特征，这些特征反映了图像中的颜色、边缘、关键点和纹理等空间结构信息，能够描述目标的静态表观。

步骤4、计算当前视频帧图像检测到的候选目标与已有的跟踪目标的特征相似性，特征相似性的计算方法是计算候选目标特征与已有的跟踪目标特征之间的欧式距离，并采用匈牙利匹配算法进行匹配；当在检测结果中特征相似性最近且符合距离小于预设距离阈值时，则认定该候选目标满足强关联条件并将其加入对应跟踪目标的轨迹当中，所有跟踪目标匹配结束后，将没有匹配到任何跟踪目标的候选目标加入轨迹管理序列中。为了避免检测目标出现跟错、目标身份交叉等情况，本发明优选实施例中的特征相似性预设阈值较高，在匈牙利匹配算法中只将特征相似性较高的目标之间才能有边相连，这样才能得到较好的结果，减少目标之间的跟错情况，并依据下一步骤5提供更加鲁棒的匹配结果。

步骤5、将新产生的轨迹片段与旧的轨迹片段进行匹配，判断二者是否属于同一个身份；其中：新产生的轨迹是指新产生的，一定时间内(例如设置为5s)跟踪得到的轨迹；相应的，旧的轨迹是指已经存在的，产生超过一定时间(5s)的跟踪轨迹。由于在匈牙利匹配算法中采用了较严格的特征相似度预设阈值，很容易造成本属于同一目标的跟踪序列被分成多段独立未关联的轨迹，从而分配了不同的身份。为了解决该问题，本发明实施例中提出了多轨迹融合算法，即将多个独立未关联轨迹片段进行匹配，分配同一身份。具体做法如下：

(1)、由于视频目标很可能出现在图像的边缘区域，从而导致其观测到的边界信息(如边界框)发生剧烈变化，例如检测目标的一部分区域离开了观测区域，导致了其检测出来的边界框的长宽比发生较大变化。为了区分该情况，本发明实施例中首先检测独立未关联的轨迹片段是否发生了“溢出”边界情况；具体为判断目标边界框四个顶点的位置是否在边界邻域范围，若有一个顶点在边界邻域范围，则认为该目标正在发生“溢出”边界情况；边界即包括视频帧的上下左右边界，也包括监控视频场景内可以离开拍摄场景的区域，例如门、遮挡物；边界邻域范围是指以边界为中心的一定宽度的多边形区域。其中，宽度可以是5～8个像素大小。

(2)、判断出该轨迹片段是否处于正在溢出边界区域或者处于稳定的边界区域内后，通过线性运动模型计算其预测位置。如果该目标正处于溢出边界区域，在计算其预测位置和运动方向时，按照其序列中边界点中最大值进行计算，即考虑其边界框的四个顶点，取四个顶点中位置发生最大变化的顶点作为运动估计的参考点；如果该目标正处于稳定的边界区域内，在计算其运动方向和预测位置时，按照其序列中边界点中最小值进行计算，即考虑其边界框的四个顶点，取四个顶点中位置发生最小变化的顶点作为运动估计的参考点。

(3)、根据预设的阈值，判断不同独立未关联上的轨迹片段是否属于同一个身份，如果属于同一身份，则将其关联起来。具体计算方法是计算旧轨迹的未来出现位置是否与现有的新轨迹所在位置小于设置的距离阈值。采用线性插值方法在被关联的旧轨迹和新轨迹之间插入目标位置，以使得被关联的旧轨迹和新轨迹融合为同一轨迹，同时，可以将新轨迹的轨迹标识(轨迹ID)设置为关联的旧轨迹的轨迹ID，从而使得该旧轨迹恢复为可正常预测关联的已存在的有效轨迹，继续进行目标跟踪。

步骤6、删除符合预设条件的未被关联的旧轨迹。具体地，将连续未更新帧数超过N帧的旧轨迹设置为无效轨迹，即该旧轨迹连续N+1帧未被关联时，该旧轨迹为无效轨迹，予以删除，从而节省存储空间，控制计算量。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多轨迹融合的多目标跟踪方法，其特征在于，包括以下步骤：

步骤1、输入当前视频帧，对该帧图像进行预处理操作；

步骤2、采用目标对象检测器，获取目标对象的边界框；

步骤3、对于每个检测到的物体计算其特征；

步骤4、计算当前帧检测到的候选目标与已有的跟踪目标的特征相似性，并采用匈牙利匹配算法进行匹配；

步骤5、将新产生的轨迹片段与旧的轨迹片段进行匹配，判断二者是否属于同一个身份；具体做法如下：

1)、检测独立未关联的轨迹片段是否发生了“溢出”边界情况；具体为判断目标边界框四个顶点的位置是否在边界邻域范围，若有一个顶点在边界邻域范围，则认为该目标正在发生“溢出”边界情况；边界即包括视频帧的上下左右边界，也包括监控视频场景内可以离开拍摄场景的区域；边界邻域范围是指以边界为中心的一定宽度的多边形区域；

2)、判断出该轨迹片段是否处于正在溢出边界区域或者处于稳定的边界区域内后，通过线性运动模型计算其预测位置；如果该目标正处于溢出边界区域，在计算其预测位置和运动方向时，按照其序列中边界点中最大值进行计算，即考虑其边界框的四个顶点，取四个顶点中位置发生最大变化的顶点作为运动估计的参考点；如果该目标正处于稳定的边界区域内，在计算其运动方向和预测位置时，按照其序列中边界点中最小值进行计算，即考虑其边界框的四个顶点，取四个顶点中位置发生最小变化的顶点作为运动估计的参考点；

3)、根据预设的距离阈值，判断不同独立未关联上的轨迹片段是否属于同一个身份，如果属于同一身份，则将其关联起来；具体计算方法是计算旧轨迹的未来出现位置是否与现有的新轨迹存在大于阈值的相似性；

步骤6、删除符合预设条件的未被关联的旧轨迹。

2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤1中采用运动模糊补偿法对视频帧图像进行预处理。

3.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤4中：当在检测结果中特征相似性最近且符合距离小于预设的距离阈值时，则认定该候选目标满足强关联条件并将其加入对应跟踪目标的轨迹当中；所有跟踪目标匹配结束后，将没有匹配到任何跟踪目标的候选目标加入轨迹管理序列中。

4.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤5中新产生的轨迹是指新产生的，一定时间内跟踪得到的轨迹；旧的轨迹是指已经存在的，产生超过一定时间的跟踪轨迹。

5.根据权利要求1所述的多目标跟踪方法，其特征在于，采用线性插值方法在被关联的旧轨迹和新轨迹之间插入目标位置，以使得被关联的旧轨迹和新轨迹融合为同一轨迹；同时，将新轨迹的轨迹标识设置为关联的旧轨迹的轨迹ID，从而使得该旧轨迹恢复为可正常预测关联的已存在的有效轨迹，继续进行目标跟踪。

6.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤6的具体做法为将连续未更新帧数超过N帧的旧轨迹设置为无效轨迹，即该旧轨迹连续N+1帧未被关联时，该旧轨迹为无效轨迹，予以删除。

Images