CN110378195B - 基于直方图缓存法的多目标跟踪方法 - Google Patents

Abstract

基于直方图缓存法的多目标跟踪方法，本发明将视频输出为图像序列进行处理，先利用Mask‑RCNN算法对每帧图像中的目标进行识别，得到每帧中各目标的几何特征参数；将第一帧中的所有目标标定为不同的ID，计算每帧所有目标的RGB直方图；再计算上下帧的直方图特征向量的余弦相似度，当最大相似度超过一定阈值时，判定两个目标为同一ID，否则将目标暂定为新目标。当出现目标遮挡情况时，即一个或多个目标丢失时，将消失的目标标记为暂时丢失状态，在暂时丢失数据库中保存目标消失前在上一帧的状态；将匹配过程中出现的暂定新目标与暂时丢失数据库中目标进行相同匹配，匹配成功则复制相同ID，并删除暂时丢失数据库中的匹配目标；否则定义为新目标，赋予新的ID。

Description

基于直方图缓存法的多目标跟踪方法

技术领域

本发明涉及基于计算机视觉的多运动目标的识别及跟踪技术，具体涉及为通过Mask-RCNN算法实现单帧图像的目标识别，再运用直方图缓存方法实现对连续图像中的多运动目标的跟踪。

背景技术

随着计算机视觉技术的发展，多目标跟踪技术在医学，交通，天文，安防等领域都有着非常重要的实用价值和广阔的发展前景，也使得它成为了计算机视觉技术的重要课题。多目标跟踪技术主要指通过计算机视觉从复杂多变的图像信息中准确识别出其中的各个运动目标，并通过特征提取，目标匹配进行多目标的跟踪。

多目标跟踪技术的关键是目标识别与匹配，首先在复杂多变的环境中完成多目标的识别，然后根据目标的特征进行目标匹配，使得同一目标在图像序列中的运动被完整跟踪。在论文运动图像序列中多目标跟踪的研究与实现(张嫣,姚耀文,唐华松.运动图像序列中多目标跟踪的研究与实现[J].计算机应用研究,2002,19(1).)中，张嫣等提出了一种代价函数，采用窗口质心跟踪方法实现多目标的跟踪。该方法将对应运动目标在相邻帧上的质心间距离和包围窗口目标连通域面积变化作为目标匹配的特征，组成代价函数。但是，该方法在多个目标重叠，部分目标被遮挡时，易出现跟踪失误。专利(鞠怡明,贡超.一种基于目标跟踪技术的机场乘客识别定位系统[P].中国专利：CN201110261060.5，2011-09-06.)中，鞠怡明等提出一种先采集乘客信息再进行的跟踪的目标跟踪系统，存在较大的误差且适用范围小，对目标的变化跟踪度低。在论文一种多运动目标检测、跟踪方法研究与实现(万琴,王耀南.一种多运动目标检测、跟踪方法研究与实现[J].计算机应用研究,2007,24(1):199-202.)中，万琴等提出了一种利用像素梯度及色度均值建立实时更新背景的目标检测方法，通过检测相邻帧来识别运动目标，但是在目标停止运动时容易失去目标。在论文Simple Online and Realtime Tracking(Bewley A,Ge Z,Ott L,et al.Simple Onlineand Realtime Tracking[J].2016.)中，Alex Bewley等提出了利用目标中心和目标边界框信息来构建目标模型，进行数据关联的方法，但该方法只利用了位置信息，未涉及图像信息。

发明内容

本发明克服现有技术的上述缺点，提出一种基于直方图缓存法的多目标跟踪方法。

本发明将视频输出为图像序列进行处理，先利用Mask-RCNN算法对每帧图像中的目标进行识别，得到每帧中各目标的几何特征参数，包括目标标定框的左上角像素点、矩形框长度和宽度；将第一帧中的所有目标标定为不同ID的目标，计算每帧所有目标的RGB直方图，得到每一帧中每一目标的直方图特征向量；计算上下帧的直方图特征向量的余弦相似度，当最大相似度超过一定阈值时，判定两个目标为同一ID，小于阈值时，将目标暂定为新目标。多目标跟踪中必然存在目标遮挡问题，即一个或多个目标丢失，出现该情况时，将消失的目标标记为暂时丢失状态，以目标消失前在上一帧的状态为模板，保存在暂时丢失数据库中；将匹配过程中出现的暂定新目标与暂时丢失数据库中目标进行相同匹配，匹配成功则复制相同ID，并删除暂时丢失数据库中的匹配目标；否则定义为新目标，赋予新的ID。本发明在目标识别上，采用Mask-RCNN算法，精确识别复杂环境中的多种目标，减少了后续目标匹配的计算量；在目标匹配中，利用直方图缓存法解决了目标遮挡问题，避免了跟踪过程中目标丢失或错位的发生，实现了高效率的跟踪。

基于直方图缓存法的多目标跟踪方法，具体步骤如下：

步骤1：将第k帧图像输入，利用Mask R-CNN算法进行多目标识别，得到第k帧图像中各目标的几何特征参数，记目标矩形框左上角像素点(x,y)，矩形框的长度和宽度分别为L和W。

步骤2：判断k是否等于1。若k＝1，生成初始目标ID序列，如1,2,3...；若k≠1，则执行步骤3。

步骤3：依次计算k帧中所有目标i的直方图特征向量H_i，与k-1帧中所有目标的直方图特征向量H_i-1，然后将H_i与H_i-1中各行向量进行余弦相似度计算。由于彩色图片由R、G、B三色通道，且每一个通道以1×256维向量表示。因此，可用1×768维向量来描述任意像素点的颜色。按照行列搜索代表目标的矩形框，用n表示矩形框内任意一个像素点出现的次数，则任意目标点矩形框的直方图特征向量以矩形的长L与宽W归一化后的特征向量H_i可表示为：

H_i与H_i-1余弦相似度计算公式为：

步骤4：将k帧中的每一个目标分别与k-1帧中的所有目标进行余弦相似度计算，选取计算结果中的最大值，记MAX_O

MAX_O＞T_O (1.3)

若式(1.3)成立，则将此k-1帧中该目标的ID赋予k帧中的对应目标，执行步骤6；若式(1.3)不成立，执行步骤5。

步骤5：判定当前目标i为区别于前一帧的新目标，记住目标j，并将新目标j与缓存区(用于记录一段时间内已丢失目标直方图信息与几何特征的数组)的各目标进行余弦相似度计算，选取计算结果中的最大值，记MAX_C

MAX_C＞T_C (1.4)

若式(1.4)成立，则将缓存区中的目标ID赋予新目标j，并在缓存区中删去该目标。若式(1.4)不成立，则赋予新目标j新的ID。

步骤6：判定当前k帧目标是否已全部标记完毕。若是，则利用已知的目标特征参数，在该帧图像中，在所有目标周围以不同的ID对应不同的颜色画矩形框；若k帧目标未全部标记完毕，迭代步骤3。

步骤7：比较k帧与k-1帧中的ID个数。若k帧中的ID个数小于k-1帧，则将未被匹配来自k-1帧的目标点放入缓存区中。

步骤8：判断当前是否为最后一帧，若是，结束跟踪；若否，跳转至步骤2。

本发明的优点：相对传统的背景差分和模型匹配方法，本发明采用Mask-RCNN算法，对各帧图像中的运动物体实现了高精度的识别；同时传统方法在一个范围内匹配下一帧目标，本发明在已识别的目标上进行匹配，匹配速度和精度均得到优化；同时相对于位置信息，本发明从图像信息出发，通过图像特征参数来完成目标匹配；直方图缓存法又可有效解决目标遮挡问题，避免跟踪过程中目标错位和丢失情况的发生。

附图说明

图1是本发明的方法流程图。

图2a～图2c是本发明的多目标跟踪效果仿真图，其中，图2a是目标遮挡开始前的仿真图，图2b是目标被遮挡时的仿真图，图2c是目标遮挡结束后的仿真图。

图3是本发明具体实施中的单帧目标识别结果。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

本发明是一种基于直方图缓存法的多目标跟踪方法，具体过程如下：

步骤1：将目标视频输出为图像序列，对第一帧图像，利用Mask R-CNN算法进行多目标识别，得到第一帧图像中3个目标的几何特征参数，如图3。分别生成初始目标ID(1,2,3)，目标矩形框左上角像素点M1(75,399)，M2(1046,369)，M3(963,387)以及矩形框的长度集L＝{185,158,16}和宽度集W＝{556,563,66}。

步骤2：依次计算第一帧中所有目标I＝{1,2,3}在目标矩形框内的直方图特征向量，由于彩色图片由R、G、B三色通道，且每一个通道以1×256维向量表示。因此，可用1×768维向量来描述任意像素点的颜色。按照行列搜索代表目标的矩形框，用n表示矩形框内任意一个像素点出现的次数，则任意目标点矩形框的直方图特征向量以矩形的长L与宽W归一化后的特征向量H_i可表示为：

第一帧计算结果得特征向量集H(1)_i，i＝1,2,3；令当前帧数k＝2；

步骤3：将第k帧图像输入，利用Mask R-CNN算法进行多目标识别，得到第k帧图像中各目标的几何特征参数，记各目标矩形框左上角像素点(x,y)，矩形框的长度和宽度分别为L和W。

步骤4：计算k帧中目标j的直方图特征向量H(k)_j；将H(k)_j与H(k-1)_i，i＝1,2,3...中各向量进行余弦相似度计算。

H(k)_j与H(k-1)_i余弦相似度计算公式为：

步骤5：选取计算结果中的最大值，记MAX_O

MAX_O＞0.87 (2.3)

若(2.3)成立，则将此k-1帧中该目标的ID赋予k帧中的对应目标，执行Step 7；若(2.3)不成立，执行步骤6。

步骤6：判定当前目标j为区别于前一帧的新目标，并将新目标j与用于记录一段时间内已丢失目标直方图信息与几何特征的数组缓存区D中的各目标进行余弦相似度计算，选取计算结果中的最大值，记MAX_C

MAX_C＞0.76 (2.4)

若(2.4)成立，则将缓存区中的目标ID赋予新目标j，并在缓存区中删去该目标。若(2.4)不成立，则赋予新目标j新的ID。

步骤7：判定当前k帧目标是否已全部标记完毕。若是，则利用已知的目标特征参数，在该帧图像中，在所有目标周围以不同的ID对应不同的颜色画矩形框；若k帧目标未全部标记完毕，j＝j+1，迭代步骤4。

步骤8：比较k帧与k-1帧中的ID个数。若k帧中的ID个数小于k-1帧，则将未被匹配来自k-1帧的目标点放入缓存区D中。

步骤9：判断当前是否为最后一帧，若是，结束跟踪；若否，k＝k+1，迭代步骤3。

本发明通过不停的迭代，最终形成各ID的目标链，从而达到多目标跟踪的效果。其仿真的跟踪效果如图2a～图2c所示。

从仿真的跟踪效果中可以看出，在目标出现重叠遮挡时，本发明方法可以在目标遮挡后实现多目标的跟踪。本发明采用Mask R-CNN算法来进行目标识别，相对先建立目标模型再全局搜素的方法，在目标匹配中既减少了计算量，又提高了目标跟踪的精度。同时在直方图匹配中，采用缓存的方法，使得目标在被遮挡，既消失后又出现的情况下，仍然能够实现多目标的跟踪。

本说明书实施例所述的内容仅仅是对发明构思实现形式的例举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于直方图缓存法的多目标跟踪方法，具体步骤如下：

步骤1：将第k帧图像输入，利用Mask R-CNN算法进行多目标识别，得到第k帧图像中各目标的几何特征参数，记目标矩形框左上角像素点(x,y)，矩形框的长度和宽度分别为L和W；

步骤2：判断k是否等于1；若k＝1，生成初始目标ID序列；若k≠1，则执行步骤3；

步骤3：依次计算k帧中所有目标i的直方图特征向量H_i，与k-1帧中所有目标的直方图特征向量H_i-1，然后将H_i与H_i-1中各行向量进行余弦相似度计算；由于彩色图片由R、G、B三色通道，且每一个通道以1×256维向量表示；因此，用1×768维向量来描述任意像素点的颜色；按照行列搜索代表目标的矩形框，用n表示矩形框内任意一个像素点出现的次数，则任意目标点矩形框的直方图特征向量以矩形的长L与宽W归一化后的特征向量H_i表示为：

H_i与H_i-1余弦相似度计算公式为：

步骤4：将k帧中的每一个目标分别与k-1帧中的所有目标进行余弦相似度计算，选取计算结果中的最大值，记MAX_O；

MAX_O>T_O (1.3)

若式(1.3)成立，则将此k-1帧中该目标的ID赋予k帧中的对应目标，执行步骤6；若式(1.3)不成立，执行步骤5；

步骤5：判定当前目标i为区别于前一帧的新目标，记住目标j，并将新目标j与缓存区的各目标进行余弦相似度计算，选取计算结果中的最大值，记MAX_C；其中，缓存区表示用于记录一段时间内已丢失目标直方图信息与几何特征的数组；

MAX_C>T_C (1.4)

若式(1.4)成立，则将缓存区中的目标ID赋予新目标j，并在缓存区中删去该目标；若式(1.4)不成立，则赋予新目标j新的ID；

步骤6：判定当前k帧目标是否已全部标记完毕；若是，则利用已知的目标特征参数，在该帧图像中，在所有目标周围以不同的ID对应不同的颜色画矩形框；若k帧目标未全部标记完毕，迭代步骤3；

步骤7：比较k帧与k-1帧中的ID个数；若k帧中的ID个数小于k-1帧，则将未被匹配来自k-1帧的目标点放入缓存区中；

步骤8：判断当前是否为最后一帧，若是，结束跟踪；若否，跳转至步骤2。

Images