CN112581503B - 一种多视角下的多目标检测与跟踪方法 - Google Patents

Abstract

本发明提出一种多视角下的多目标检测与跟踪方法，属于计算机视觉领域。本发明实现多摄像机同步对公共区域内的多目标进行检测与跟踪，一方面对目标在单个摄像机下的监控进行逐帧在线跟踪，生成置信度很高的跟踪轨迹片段；另一方面对不同视角下的同一目标进行无监督方式的聚类，根据聚类结果以及每个相机下的跟踪轨迹片段来生成更加准确的跟踪轨迹。本发明在给定多摄像机公共监控的一片区域，能够对公共区域内的目标进行联合检测与跟踪，方法简便，跟踪效果好，有很高的应用价值。

Description

一种多视角下的多目标检测与跟踪方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种多视角下的多目标检测与跟踪方法。

背景技术

作为计算机视觉研究领域的热点之一，目标跟踪在实际场景中应用十分广泛。无论是无人驾驶还是机器人领域等都需要用到目标跟踪技术，在一些特定的场合，我们甚至需要特定的人体跟踪，比如无人机的跟拍技术和人脸的识别跟踪技术，或者可用于范围检测报警：例如翻墙，闯红灯等现象。目标跟踪对异常行为检测也至关重要，对目标的行为发生剧烈变化(如打架斗殴等行为)的场合具有重要的防范意识。另外随着场景的复杂和跟踪要求的提高，我们往往需要同时对多目标进行跟踪。由于多个目标的产生时刻和终止时刻未知，对目标的先验分布未知，因此只有目标检测算法和单目标跟踪算法是无法做到多目标跟踪的。

随着深度学习理论的发展，基于深度学习的算法在人工智能领域得到了广泛的应用，从图像分类问题到多目标跟踪问题，深度学习方法相比传统方法表现出极大的优势。目前，深度学习相比传统算法在多目标跟踪中的应用更为广泛。在基于检测的多目标跟踪方法中，算法需要根据每一帧图像中对目标的检测结果，匹配已有的目标轨迹；对于新出现的目标，需要生成新的目标；对于已经离开摄像机视野的目标，需要终止轨迹的跟踪；对于在计算机视野中的目标，需要持续进行跟踪，这一过程中，轨迹与检测的匹配可以看作为检测的重识别。多目标跟踪和行人重识别有着密切的联系，行人重识别需要把已有的历史行人作为图像库，而检测图像看作为查询图像，检测与轨迹的匹配关联过程可以看作由查询图像检索图像库的过程。但是目标跟踪与行人再识别又有不同，多目标跟踪过程中的轨迹与检测的匹配问题显得更加复杂。现有的跟踪策略对多目标的跟踪一般有以下局限性和不足：

A)由于单视角所观测的视野有限，对于发生严重遮挡场景下的目标往往造成跟踪错误。当发生目标的丢失时，跟踪策略很难对其进行召回。

B)基于检测的跟踪方法严重依赖于检测结果的准确性，如果检测结果中存在假阳性的目标，将造成错误的跟踪对象。

C)多个视角下的跟踪往往根据特定的摄像机系统结构而设计的，模型依赖于数据集与摄像机的设置，无法进行很好的迁移。

不同角度的摄像机共同拍摄一片区域，可以从不同角度观察区域中的运动物体，因此将多视角的多目标进行联合检测与跟踪，可以对复杂场景下相似度很高的物体提升跟踪效果。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种多视角下的多目标检测与跟踪方法。本发明在给定多摄像机公共监控的一片区域，能够对公共区域内的目标进行联合检测与跟踪，方法简便，跟踪效果好，有很高的应用价值。

本发明提出一种多视角下的多目标检测与跟踪方法，其特征在于，包括以下步骤：

(1)单视角下生成跟踪轨迹片段；具体步骤如下：

(1-1)训练阶段；

构建一个深度学习网络用于对单个视角下拍摄的视频图像进行多目标跟踪生成对应的跟踪轨迹片段，该深度学习网络模型训练公式如下：

其中f表示网络模型，I表示输入的图像对，W表示模型的参数；G表示类别的取值，取值为1时表示检测框与跟踪轨迹为同一类，取值为-1时表示检测框与跟踪轨迹属于不同的类别；具体训练方法如下：

(1-1-1)获取具有多目标跟踪轨迹标注的数据集，对于该数据集中每一帧图像中的每个目标，根据该目标标注的被遮挡的程度o进行筛选，若0.8＜o＜1，则从此帧图像中滤除该目标，对该数据集的每帧图像滤除完毕后，得到训练集；

(1-1-2)对于从步骤(1-1-1)获取的训练集，从该训练集中得到每一帧的多目标检测框，同一目标的连续帧检测框组成的轨迹作为正样本，不同目标的连续帧检测框组成的轨迹作为负样本，将正样本和负样本用于训练深度神经网络，得到训练完毕的深度神经网络；

(1-2)使用阶段；

(1-2-1)获取测试集；将测试集的检测框与跟踪轨迹片段作为深度神经网络的输入，输出是检测框与跟踪轨迹片段匹配的概率；如果新出现的行人位置连续3帧的检测框的重合程度大于0.7，则将对该检测行人生成一个新的跟踪轨迹片段；对于连续30帧未更新的跟踪轨迹片段，则删除该跟踪轨迹片段；

(1-2-2)对于存在的跟踪轨迹片段，进行两次检测与跟踪轨迹的匹配；通过预保留未被遮挡前目标的历史特征信息，包括表观特征向量和几何特征向量，然后基于此特征信息进行检测与跟踪轨迹的再匹配，得到的当前帧的所有检测框与跟踪轨迹片段的匹配得分，最后根据的匹配的结果更新跟踪轨迹片段的特征信息；

对于最终的分类结果设计如下：

S_n＝∑_sW^s(n)P₁ ^s(n)

其中P₁ ^s(n)表示第n帧检测框与跟踪轨迹匹配为一类的概率，

表示匹配结果为不同类别的概率；s为不同的匹配方式，取值1时表示检测与逐帧更新的跟踪轨迹的匹配，取值为2时表示检测与预保留历史特征的轨迹的匹配，S_n表示最终的匹配得分；

(1-2-3)对步骤(1-2-2)得到的当前帧的所有检测框与跟踪轨迹片段的匹配得分，采用匈牙利算法完成最优的多目标匹配结果，得到每个单视角下的多目标的跟踪轨迹片段；

(2)多视角下跟踪片段的聚类：

(2-1)利用步骤(1)得到的每个单视角下的跟踪轨迹片段，对跟踪轨迹片段进行无监督的聚类分析；根据各单视角对应的摄像机参数得到各目标的三维位置(X,Y,0)，其中Z＝0表示地平面；

坐标间的投影公式如下：

λ(u,v,1)^T＝R*(X,Y,1)^T

其中u、v表示目标的检测框底部中心的像素坐标，X、Y表示在三维坐标下目标的底部中心坐标，λ表示尺度因子，R表示相机的参数；

(2-2)根据步骤(2-1)得到的各目标的三维位置对当前时刻所有视角的检测框进行无监督方式的层级聚类；

(2-3)将步骤(2-2)得到的聚类结果中各视角下的的检测框与跟踪轨迹片段进行匹配：

(2-3-1)若当前时刻检测框的聚类结果与轨迹跟踪片段保留的前两次聚类结果不一致，则该检测框与跟踪轨迹片段发生匹配错误，从而中止该检测框的匹配结果；

(2-3-2)若当前时刻所有检测框中存在未与跟踪轨迹片段匹配的检测框，以其他视角下与该检测框聚类的跟踪轨迹片段为该检测框的目标分配身份，同时该身份不与现有的跟踪轨迹发生冲突；

(2-3-3)若存在任一目标检测框在超过设定阈值的帧数内存在于跟踪过程且未与其他视角下的跟踪轨迹片段进行聚类，将该检测框作为假阳性的检测，放弃该检测框的轨迹跟踪。

本发明的特点及有益效果在于：

本发明通过不同角度的摄像机共同拍摄一片区域，可以从不同角度观察区域中的运动物体，某个视角下被遮挡的物体在其他视角下往往未被遮挡，对未被遮挡物体的跟踪准确度远远高于遮挡情况下物体的跟踪。多个视角下对物体提取的特征更加丰富，继而匹配精度也会得到很大的提升。因此将多视角下多目标进行联合检测与跟踪，可以对复杂场景下相似度很高的物体提升跟踪效果。

附图说明

图1为本发明方法的一种多视角下的多目标检测与跟踪方法整体流程图。

图2为本发明实施例中单视角下的跟踪网络结构示意图。

图3为本发明实施例中多视角的聚类示意图。

图4为本发明实施例中多视角下多目标跟踪的部分结果示意图。

具体实施方式：

本发明提出的一种多视角下的多目标检测与跟踪方法，下面结合附图和具体实施例进一步详细说明如下。

本发明提出的一种多视角下的多目标检测与跟踪方法，本发明实施例实现多摄像机同步对公共区域内的多目标进行检测与跟踪，一方面，对目标在单个摄像机下的监控进行逐帧在线跟踪，生成置信度很高的跟踪轨迹片段；另一方面，对不同视角下的同一目标进行无监督方式的聚类，根据聚类结果以及每个相机下的跟踪轨迹片段来生成更加准确的跟踪轨迹。该方法整体流程如图1所示，包括以下步骤：

(1)单视角下生成跟踪轨迹片段；具体步骤如下：

(1-1)训练阶段；

对于单个视角下的多目标跟踪，需要利用深度学习网络生成置信度很高的跟踪轨迹片段，该深度学习网络模型训练公式如下：

其中f表示网络模型，I表示输入的图像对，W表示模型的参数，G表示类别的取值(取值为1时表示检测框与跟踪轨迹为同一类，取值为-1时表示检测框与跟踪轨迹属于不同的类别)。训练阶段具体包括以下步骤：

(1-1-1)获取具有多目标跟踪轨迹标注的数据集(本发明实施例采用MOT17数据集进行模型的训练)，然后对于该数据集中每一帧中的多个目标，根据该目标标注的被遮挡的程度o进行筛选，若0.8＜o＜1，则滤除此帧中的该目标，本实施例最终获得包含1425帧的数据集，对该数据集的每帧图像处理完毕后，得到训练集。

(1-1-2)对于从步骤(1-1-1)获取的训练集，从该训练集中得到每一帧的多目标检测框，同一目标的连续帧检测框组成的轨迹作为正样本，不同目标的连续帧检测框组成的轨迹作为负样本，连续帧的数量由目标在视频中存在的时间决定，将正样本和负样本用于训练深度神经网络。图2展示了本发明实施例跟踪网络的框架，本实施例中利用BFE-net从每个检测框中提取出1536维的表观特征向量连接检测框的几何特征向量(所述几何特征向量为检测框底部中心的坐标，以及检测框的宽和高)，然后将该特征向量送入已有的双向循环神经网络，最后将网络的输出后接全连接层和Softmax分类函数，最后输出类别的取值。当训练集上的误差率小于0.02时中止训练过程，得到训练完毕的深度神经网络。

(1-2)使用阶段；

(1-2-1)获取测试集，本实施例首先用Yolo-V3对测试集(本实施例采用EPFL数据集中的Terrace视频作为测试集)进行不同视角下的行人检测，将检测框与跟踪轨迹片段作为深度神经网络的输入，输出是检测框与跟踪轨迹片段匹配的概率。如果新出现的行人位置连续3帧的检测框重合程度大于0.7，则将对该检测行人生成一个新的轨迹跟踪片段。对于连续30帧未更新的跟踪轨迹片段，则删除该跟踪轨迹片段。

(1-2-2)检测器(Yolo-V3)能够有效的检测出发生互遮挡的多目标，但是对多目标的提取特征可能含有不同目标的混合特征信息或者单目标的部分特征信息，进一步导致检测与跟踪轨迹的错误匹配，对于存在的跟踪轨迹片段，本发明进行两次检测与跟踪轨迹的匹配过程。本发明预保留未被遮挡前目标的历史特征信息(表观特征向量和几何特征向量)，然后基于此特征进行检测与跟踪轨迹的再匹配，得到的当前帧的所有检测框与跟踪轨迹片段的匹配得分，最后根据的匹配的结果及时更新跟踪轨迹的特征信息。对于最终的分类结果设计如下：

S_n＝∑_sW^s(n)P₁ ^s(n)

其中P₁ ^s(n)表示第n帧检测框与跟踪轨迹匹配为一类的概率，

表示匹配结果为不同类别的概率，这里s为不同的匹配方式(取值1时表示检测框与逐帧更新的跟踪轨迹的匹配，取值为2时表示检测框与预保留历史特征的轨迹的匹配)，S_n表示最终的匹配得分。

(1-2-3)对步骤(1-2-2)得到的当前帧的所有检测框与跟踪轨迹片段的匹配得分，采用匈牙利算法完成最优的多目标匹配结果，得到每个单视角下的多目标的跟踪轨迹片段。

(2)多视角下跟踪片段的聚类：

(2-1)利用步骤(1)得到的每个单视角下的跟踪轨迹片段后，需要对跟踪轨迹片段进行无监督的聚类分析。根据各单视角对应的摄像机参数可以得到三维坐标下的各目标的准确位置(X,Y,0)，Z＝0表示地平面，图3展示了Terrace数据集3个视角上多目标聚类的示意图，坐标间的投影公式如下：

λ(u,v,1)^T＝R*(X,Y,1)^T

其中u、v表示目标的检测框底部中心的像素坐标，X、Y表示在三维坐标下目标的底部中心坐标，λ表示尺度因子，R表示相机的参数。

(2-2)根据(2-1)得到的目标的三维位置进行无监督方式的层级聚类。对于同一时刻所有视角的检测框进行的聚类，应保证同一摄像机的多目标聚成不同的类别，同时保证单个目标应属于单一类别。

(2-3)由聚类的结果中各视角下的检测框与跟踪轨迹片段进行匹配，主要分为三种情况，第一种情况是检测框与轨迹跟踪片段匹配错误，若当前帧检测框的聚类结果与轨迹跟踪片段保留的前两次聚类结果不一致，则该检测框与跟踪轨迹片段发生匹配错误，从而中止该检测框的匹配结果。第二种情况是对未与跟踪轨迹片段匹配的检测框，通过对该检测框进行聚类分析，以其他视角下与其聚类的跟踪轨迹片段为其分配身份，同时应保证与现有的跟踪轨迹不发生身份冲突。第三种情况是由于检测中存在假阳性的结果，仅仅利用单视角的检测与跟踪模型很难进行克服，若目标长期(大于300帧)存在于跟踪过程且未与其他视角下的轨迹片段进行聚类，系统将自动视为假阳性的检测，放弃该检测框的轨迹跟踪，从而减少错误跟踪对象情况的发生。

本实施例采用EPFL数据集中的Terrace视频来测试，图4为本实施例中2号摄像机下部分检测与跟踪结果示意图，图像上#后面的数字表示视频的帧数，图像上长方体表示目标的三维检测框，不同框中的数字代表着不同的目标。

Claims (1)

1.一种多视角下的多目标检测与跟踪方法，其特征在于，包括以下步骤：

(1)单视角下生成跟踪轨迹片段；具体步骤如下：

(1-1)训练阶段；

构建一个深度学习网络用于对单个视角下拍摄的视频图像进行多目标跟踪生成对应的跟踪轨迹片段，该深度学习网络模型训练公式如下：

其中f表示网络模型，I表示输入的图像对，W表示模型的参数；G表示类别的取值，取值为1时表示检测框与跟踪轨迹为同一类，取值为-1时表示检测框与跟踪轨迹属于不同的类别；具体训练方法如下：

(1-1-1)获取具有多目标跟踪轨迹标注的数据集，对于该数据集中每一帧图像中的每个目标，根据该目标标注的被遮挡的程度o进行筛选，若0.8＜o＜1，则从此帧图像中滤除该目标，对该数据集的每帧图像滤除完毕后，得到训练集；

(1-1-2)对于从步骤(1-1-1)获取的训练集，从该训练集中得到每一帧的多目标检测框，同一目标的连续帧检测框组成的轨迹作为正样本，不同目标的连续帧检测框组成的轨迹作为负样本，将正样本和负样本用于训练深度神经网络，得到训练完毕的深度神经网络；

(1-2)使用阶段；

(1-2-1)获取测试集；将测试集的检测框与跟踪轨迹片段作为深度神经网络的输入，输出是检测框与跟踪轨迹片段匹配的概率；如果新出现的行人位置连续3帧的检测框的重合程度大于0.7，则将对该检测行人生成一个新的跟踪轨迹片段；对于连续30帧未更新的跟踪轨迹片段，则删除该跟踪轨迹片段；

(1-2-2)对于存在的跟踪轨迹片段，进行两次检测与跟踪轨迹的匹配；通过预保留未被遮挡前目标的历史特征信息，包括表观特征向量和几何特征向量，然后基于此特征信息进行检测与跟踪轨迹的再匹配，得到的当前帧的所有检测框与跟踪轨迹片段的匹配得分，最后根据的匹配的结果更新跟踪轨迹片段的特征信息；

对于最终的分类结果设计如下：

S_n＝∑_sW^s(n)P₁ ^s(n)

其中P₁ ^s(n)表示第n帧检测框与跟踪轨迹匹配为一类的概率，

表示匹配结果为不同类别的概率；s为不同的匹配方式，取值1时表示检测与逐帧更新的跟踪轨迹的匹配，取值为2时表示检测与预保留历史特征的轨迹的匹配，S_n表示最终的匹配得分；

(1-2-3)对步骤(1-2-2)得到的当前帧的所有检测框与跟踪轨迹片段的匹配得分，采用匈牙利算法完成最优的多目标匹配结果，得到每个单视角下的多目标的跟踪轨迹片段；

(2)多视角下跟踪片段的聚类：

(2-1)利用步骤(1)得到的每个单视角下的跟踪轨迹片段，对跟踪轨迹片段进行无监督的聚类分析；根据各单视角对应的摄像机参数得到各目标的三维位置(X,Y,0)，其中Z＝0表示地平面；

坐标间的投影公式如下：

λ(u,v,1)^T＝R*(X,Y,1)^T

其中u、v表示目标的检测框底部中心的像素坐标，X、Y表示在三维坐标下目标的底部中心坐标，λ表示尺度因子，R表示相机的参数；

(2-2)根据步骤(2-1)得到的各目标的三维位置对当前时刻所有视角的检测框进行无监督方式的层级聚类；

(2-3)将步骤(2-2)得到的聚类结果中各视角下的检测框与跟踪轨迹片段进行匹配：

(2-3-1)若当前时刻检测框的聚类结果与轨迹跟踪片段保留的前两次聚类结果不一致，则该检测框与跟踪轨迹片段发生匹配错误，从而中止该检测框的匹配结果；

(2-3-2)若当前时刻所有检测框中存在未与跟踪轨迹片段匹配的检测框，以其他视角下与该检测框聚类的跟踪轨迹片段为该检测框的目标分配身份，同时该身份不与现有的跟踪轨迹发生冲突；

(2-3-3)若存在任一目标检测框在超过设定阈值的帧数内存在于跟踪过程且未与其他视角下的跟踪轨迹片段进行聚类，将该检测框作为假阳性的检测，放弃该检测框的轨迹跟踪。

Images