CN113793365A - 目标跟踪方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本发明提供的目标跟踪方法、装置、计算机设备及可读存储介质，首先对多张视频帧进行目标检测与目标跟踪，获得检测框集合和预测框集合，进而基于检测框集合和预测框集合识别场景中的遮挡区域，进而基于遮挡区域对跟踪失败的目标重新进行目标跟踪，区别于现有技术中的跟踪算法，本发明能够在场景中存在遮挡区域的情况下，对跟踪失败的目标基于遮挡区域再次进行跟踪，从而可以提高目标跟踪成功率，提高追踪目标穿过遮挡区域之后的再追踪效率。

Description

目标跟踪方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及目标跟踪技术领域，具体而言，涉及一种目标跟踪方法、装置、计算机设备及可读存储介质。

背景技术

目标跟踪在视频监控系统中具有举足轻重的作用。随着近些年目标检测技术的提升，基于检测结果的目标跟踪逐渐成为多目标追踪的主要手段。“准确”、“快速”已经成为当前目标跟踪的核心诉求。

目前，工业界关注度最高的多目标跟踪算法，非SORT、DeepSORT莫属了。这两类算法通过检匹配过程和卡尔曼预测加更新的方式，实现多目标追踪，但对正在跟踪的目标，当目标穿过遮挡区域时，上述算法很难实现对目标的稳定追踪，通常会跟踪失败。

发明内容

本发明的目的之一在于提供一种目标跟踪方法、装置、计算机设备及可读存储介质，用于解决上述技术问题。

第一方面，本发明提供一种目标跟踪方法，所述方法包括：对多张视频帧分别进行目标检测与目标跟踪，分别获得每张视频帧对应的检测框集合和预测框集合；其中，所述多张视频帧是来自同一个目标摄像设备的时序连续的多帧；基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域；针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪。

第二方面，本发明提供一种目标跟踪装置，包括：检测与跟踪模块，用于对多张视频帧分别进行目标检测与目标跟踪，分别获得每张视频帧对应的检测框集合和预测框集合；其中，所述多张视频帧是来自同一个目标摄像设备的时序连续的多帧；识别模块，用于基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域；检测与跟踪模块，用于针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪。

第三方面，本发明提供一种计算机设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的目标跟踪方法。

第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的目标跟踪方法。

本发明提供的目标跟踪方法、装置、计算机设备及可读存储介质，所述方法包括：对多张视频帧分别进行目标检测与目标跟踪，分别获得每张视频帧对应的检测框集合和预测框集合；其中，所述多张视频帧是来自同一个目标摄像设备的时序连续的多帧；基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域；针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪；本发明首先对多张视频帧进行目标检测与目标跟踪，获得检测框集合和预测框集合，进而基于检测框集合和预测框集合识别场景中的遮挡区域，进而基于遮挡区域对跟踪失败的目标重新进行目标跟踪，区别于现有技术中的跟踪算法，本发明能够在场景中存在遮挡区域的情况下，对跟踪失败的目标基于遮挡区域再次进行跟踪，从而可以提高目标跟踪成功率，提高追踪目标穿过遮挡区域之后的再追踪效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为一种目标跟踪的应用环境。

图2为本发明实施例提供的目标跟踪方法的示意性流程图之一。

图3为本发明实施例提供的步骤S202的实现方式的示意性流程图。

图4A为本发明实施例提供的一种置信度矩阵的示意图。

图4B1为一种更新置信度之前的示意图。

图4B2为一种更新置信度之后的示意图。

图4C为本发明实施例提供的一种更新后的置信度矩阵的示意图之一。

图4D为本发明实施例提供的一种更新后的置信度矩阵的示意图之二。

图5为本发明实施例提供的另一种目标跟踪方法的示意性流程图之二。

图6为本发明实施例提供的步骤S206的实施方式的示意性流程图。

图7为本发明实施例提供的一种场景示意图。

图8为本发明实施例提供的另一种目标跟踪方法的示意性流程图之三。

图9为本发明实施例提供的目标跟踪装置的功能模块图。

图10为本发明实施例提供的一种计算机设备的方框示意图。

图注：10-网络；20-计算机设备；30-摄像设备；300-目标跟踪装置；310-检测与跟踪模块；320-识别模块；201-通信接口；202-处理器；203-存储器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

目标跟踪主要任务是在给定视频中同时对多个感兴趣的目标进行检测与定位，并且维持他们的ID、记录他们的轨迹。这些目标可以是开放区域的行人、动物、无人驾驶设备、甚至是一个单目标中的不同部分。

请参见图1，图1为一种目标跟踪的应用环境，该应用环境可以包括：可以包括网络10、计算机设备20和至少一种摄像设备30。

其中：网络10可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

计算机设备20，可以用于实时获得视频流进行目标跟踪，还可以从数据库中获得视频流进行目标跟踪。计算机设备20，可以但不限于是一台具有视频分析能力的服务器、或若干台具有视频分析能力的服务器组成的服务器集群，本发明实施例提供的目标跟踪方法可以应用在计算机设备20上。

摄像设备30，可以但不限于是设置在银行、超市、公司、机场等开放区域中，用于将采集这些开放区域的视频流，并将视频流通过网络10传输给计算机设备20。摄像设备30可以但不限于是普通音视频摄像机、网络摄像机IPC（IPCamera）。

目前，工业界关注度最高的多目标跟踪算法包括SORT算法和DeepSORT算法。这两类算法通过检匹配过程和卡尔曼预测加更新的方式，实现多目标追踪，因此，示例性的，计算机设备20中可与存储有SORT算法或者DeepSORT算法对应的计算机程序，进而可以对获得的视频流进行目标跟踪。

请继续参见图1，可知，现有技术通常采用Sort算法来进行目标跟踪，但是，一方面，Sort算法在检测过程常常表现的很不稳定，一旦出现误检时，会增加新的跟踪器并增加计数，导致计算机设备20在处理过程中产生了较大的中间数据，计算开销较大；另一方面。对正在跟踪的目标，当目标穿过遮挡区域时，上述算法很难实现对目标的稳定追踪，通常会跟踪失败。

为了解决上述技术问题，本发明实施例提供了一种目标跟踪方法，可以在利用较小的计算开销先识别出场景内的遮挡区域，然后基于遮挡区域再次对跟踪失败的目标进行跟踪，在几乎不影响算法速度的情况下提高了行人穿过遮挡区域的跟踪成功率。

为了详细介绍本发明实施例提供的目标跟踪方法，请参见图2，图2为本发明实施例提供的目标跟踪方法的示意性流程图之一，其中，该目标跟踪方法可以应用于图1所示的计算机设备20上，包括以下步骤：

S201，对多张视频帧分别进行目标检测与目标跟踪，分别获得每张视频帧对应的检测框集合和预测框集合。

其中，多张视频帧是来自同一个目标摄像设备的时序连续的多帧。

可以理解的是，本实施例为了先识别场景中（也就是目标摄像设备的拍摄视野中）的遮挡区域，进而可以基于遮挡区域重新对跟踪失败的目标进行跟踪，考虑到目标摄像设备的拍摄视野的遮挡区域在一定时间内是固定不变的，因此，本实施获得同一个目标摄像设备的时序连续的多帧来达到识别遮挡区域的效果。

在一种可能的实施方式中，获得上述多张视频的帧的方式可以是：实时获取从目标摄像设备传输的视频流，对视频流进行实时解析，每获得一张视频帧后，帧计数加1，直到帧计数与预设数量一致。

在另一种可能的实施方式中，获得上述视频帧的方式还可以是：从预先获得的视频对应的全部视频帧中，获得该多张视频帧。

其中，预设数量可以根据目标摄像设备采集的视频流的大小来具体确定，例如，假设视频流存在几万个视频帧，那么可以在获得1000帧图像后开始进行遮挡区域判断。

本实施例中的目标可以根据实际需求进行确定，可以设置为全部视频帧中的行人、动物、车辆等中的一种或者多种。

本实施例中，可以但不限于采用YOLOV3检测算法来对每张视频帧进行目标检测，获得该视频帧中全部目标对应的检测框，组成检测框集合；目标跟踪则可以但不限于采用SORT算法、DeepSORT算法。获得全部目标对应的预测框，组成预测框集合。

S202，基于全部检测框集合和全部预测框集合，识别位于目标摄像设备的拍摄视野中的遮挡区域。

可以理解的是，检测框对应区域存在目标，预测框为针对目标预测的位置，因此在获得检测框集合和预测框集合后，可以基于检测框对应区域和预测框对应区域存在目标的实际情况，来识别当前场景中的遮挡区域，本实施例将在后续对该部分内容作详细介绍。

S206，针对每张视频帧，若确定存在跟踪失败的目标，则基于遮挡区域，重新进行目标跟踪。

可以理解的是，在获得每张视频帧后，若确定该视频帧存在跟踪失败的目标，则可以基于确定的遮挡区域重新进行目标跟踪，从而提高目标跟踪成功概率。

本实施例中，考虑到实际的场景，当目标正在穿越遮挡区域，此时无法检测到目标对应的检测框，但是针对该目标依然存在预测框，而且预测框可能会出现在遮挡区域，因此，预测框数量大于或者等于检测框数量，这就导致在进行目标跟踪时，可能存在无法匹配的预测框或者检测框，因此，跟踪失败表征存在无法匹配的检测框或者预测框，所以可以利用遮挡区域来重新进行目标跟踪。

本发明提供的目标跟踪方法，首先对多张视频帧进行目标检测与目标跟踪，获得检测框集合和预测框集合，进而基于检测框集合和预测框集合识别场景中的遮挡区域，进而基于遮挡区域对跟踪失败的目标重新进行目标跟踪，区别于现有技术中的跟踪算法，本发明能够在场景中存在遮挡区域的情况下，对跟踪失败的目标基于遮挡区域再次进行跟踪，从而可以提高目标跟踪成功率，提高目标跟踪的准确度。

在一些可能的实施方式中，针对步骤S201中的目标检测，当采用YOLOV3检测算法来进行目标检测，以一张视频帧为例，目标检测的流程可以是：对视频帧进行预处理，将预处理后的视频帧输入特征提取网络中进行特征提取，这里的特征提取网络可以是去掉全连接层的DarkNet网络；进而将提取到的不同检测框经FPN结构输入分类器进行分类，输出所有分类后的检测框对应的置信度；然后将低于设定阈值的置信度对应的检测框删除，并通过非极大值抑制算法，去除重复的检测框，将最终剩下的检测框组成检测框集合。

可选地，针对步骤S202中识别遮挡区域的实现方式，本实施例还给出一种可能的实施方式，请参见图3，图3为本发明实施例提供的步骤S202的实现方式的示意性流程图，其中步骤S202可以包括：

S202-1，根据每张视频帧的尺寸，创建初始的置信度矩阵。

本实施例中，每张视频的尺寸相同，置信度矩阵的尺寸与视频帧的尺寸相同，目的是将检测框区域以及预测框区域对应到置信度矩阵中，从而可以在置信度矩阵中对存在有目标的区域的统计，进而基于统计结果确定遮挡区域。

可以理解的是，创建置信度矩阵的目的是：将检测框和预测框对应从场景区域映射到置信度矩阵中，进而可以在置信度矩阵中通过置信度变化来反映实际的场景情况，也就是说，在置信度矩阵中，每个置信度的含义可以理解为该置信度对应的区域是遮挡区域的置信度，一个是遮挡区域内像素点对应的置信度显然高于一个不是遮挡区域内的像素点对应的置信度，基于此，本发明实施例通过创建置信度矩阵的方式来识别出遮挡区域，具有一定的可靠性和准确性。

S202-2，基于预设的第一置信度衰减值、第二置信度衰减值和置信度增长值，在置信度矩阵中，更新全部检测框集合中每个检测框对应区域的置信度以及全部预测框集合中每个预测框对应区域的置信度。

本实施例，第一置信度衰减值用于对检测框区域的置信度做衰减，置信度增长值用于对预测框区域的置信度做增长。第二置信度衰减值用于对置信度矩阵中目标不可能抵达的区域进行处理，以便后续确定出可靠性较高的遮挡区域。每个检测框和每个预测框所包含的区域可以对应到置信度矩阵中。

通过上述第一置信度衰减值、第二置信度衰减值和置信度增长值，可以将置信度矩阵中划分多个不同含义的区域，其中可以包括三类区域：第一类区域,目标无法抵达的区域；第二类区域，目标可以抵达但不存在遮挡的区域；第三类区域，目标可以抵达且存在遮挡的区域。

其中，第三类区域即为本实施中要识别的遮挡区域，由于第二类区域和第三类区域在置信度上均是置信度增长的区域，因此最终可能无法区分出真正的遮挡区域，因此后续通过设置阈值，从而确定出符合实际情况的遮挡区域。

需要说明的是，本实施例中的第一置信度衰减值和置信度增长值可以根据实际需求自定义，但是需满足第一置信度衰减值的绝对值大于置信度增长值的条件，目的是使置信度衰减程度大于置信增长程度，尽可能的将上述第二类区域和第三类区域进行区分，从而获得可信度较高的遮挡区域。

为了方便理解上述更新过程，下面给出一个具体的例子进行解释：

假设将置信度矩阵表示为S，用i,j作为行列编号，则第i行第j列的置信度可以表示为F(i,j),本实施例中，S中的置信度初始值为0，还可以为其他值，此处不作限定。

针对每个检测框，用Det表示检测框区域内的像素点的集合，则针对S进行如下操作：F(i,j)=F(i,j)-x,其中(i,j)是集合Det中的像素点，x表征第一置信度衰减值，这里所示的x是正值，当前x还可以设置为负值，则上述操作可以表示为F(i,j)=F(i,j)+x具体采用哪种表示形式，本实施例不作限定。

类似地，针对每个预测框，用Pre表示预测框区域内的像素点的集合，则针对S进行如下操作：F(i,j)=F(i,j)+y,其中(i,j)是集合Pre中的像素点，其中，y表征置信度增长值，这里所示的y是正值，y还可以设置为负值，则上述操作可以表示为F(i,j)=F(i,j)-y，具体采用哪种表示形式，本实施例不作限定。

遍历全部预测帧和检测帧后，再利用第二置信度衰减值对置信度矩阵进行一次整体衰减，具体地，F(i,j)=F(i,j)-r,其中(i,j)是S中的像素点，r为第二置信度衰减值，这样可以确定在识别遮挡区域时的准确度和可靠性。

S202-3，在更新后的置信度矩阵中，基于置信度大于或等于预设阈值的区域，确定遮挡区域。

本实施例中，结合前述内容可知：由于上述第二类区域和第三类区域不易区分，其可能都大于或等于置信度初始值，因此，为了识别出可靠性较强的遮挡区域，可以基于预设阈值再次进行筛选确定遮挡区域。

例如，以置信度初始值为0为例，第一类区域理论上是置信度不变的区域，当在第二置信度衰减值的作用下，第一类区域对应的置信度为负数，而依据本发明实施例设置的第一置信度衰减值和置信度增长值，第二类区域对应置信度应该为负数，第三类区域对应的置信度区域应该为正值，因此，为了获得可靠性较高的遮挡区域，可以将预设阈值设置为α，那么根据以下判断规则即可确定出遮挡区域：若F(i,j)大于或者等于α，则像素点（i，j）对应遮挡区域；若F(i,j)小于α，则像素点（i，j）对应非遮挡区域。

为了理解上述实现流程，下面以一个具体的实施例作解释。

假设每张视频帧大小均为10乘10的像素矩阵，那么创建一个矩阵大小为10乘10、置信度初始值为0的置信度矩阵如图4A所示,图4A为本发明实施例提供的一种置信度矩阵的示意图，其中假设黑色区域为实际场景中的遮挡区域，下面给出识别出该黑色区域的实施方式。

针对某一个检测框和某一个预测框，它们在置信度矩阵对应的区域如图4B1和图4B2所示，图4B1为一种更新置信度之前的示意图, 图4B2为一种更新置信度之后的示意图。根据上述设置规则，设置第一置信度衰减值为5，第二置信度衰减值为5，置信度增长值为2。更新置信度之前，检测框对应区域和预测框对应区域的置信度均为0，更新置信度后，检测框对应区域的置信度变为-5，预测框对应区域的置信度变为5。

针对全部检测框和预测框，进行上述更新过程，最终获得的更新后的置信度矩阵可以如图4C所示，图4C为本发明实施例提供的一种更新后的置信度矩阵的示意图之一。

在图4C所示的置信度矩阵中，第一类区域表征置信度为0的区域，即目标无法抵达的区域；第二类区域表征置信度为负数的区域，即目标可以抵达但不存在遮挡的区域；第三类区域表征置信度为正数的区域，即目标可以抵达但存在遮挡的区域。

为了获得可靠性较高的遮挡区域，再利用第二置信度衰减值对图4C所示的置信度矩阵做整体衰减，整体衰减之后的置信度矩阵如图4D所示，图4D为本发明实施例提供的一种更新后的置信度矩阵的示意图之二，其中，置信度矩阵中仅仅存在置信度为负数的区域和置信度为正数的区域，接下来，假设预设阈值为10，那么最终确定的遮挡区域即为图4D中的黑色区域，与图4A中的遮挡区域相比，最终筛选出来的遮挡区域与实际情况相符合，可靠性更强。

可选地，在识别出遮挡区域之后，为了确定每张视频帧是否存在跟踪失败的目标，本实施例还给出一种可能的实施方式，即在步骤S202之后且在步骤S206之前，本实施还可以执行以下流程，请参见图5，图5为本发明实施例提供的另一种目标跟踪方法的示意性流程图之二，该方法还可以包括：

S203，针对每张视频帧，将每张视频帧对应的检测框集合中的检测框和预测框集合中的预测框进行交叉比匹配。

本实施例中，交叉比（Intersection-over-Union,IoU）可以理解为检测框和预测框之间的重叠度，交叉比越大，检测框与预测框之间的重叠度越大，两者就越匹配。具体地，针对每张视频帧，将该视频帧对应的全部检测框和全部预测框进行交叉比匹配。

在可能的实施方式中，交叉比匹配的实施方式可以是：遍历该视频帧全部检测框和全部预测框，得到IOU矩阵，其中IOU矩阵中包含每个检测框与每个预测框之间的交叉比；基于获得的IOU矩阵，利用匈牙利匹配算法将检测框和预测框进行匹配。

S204，若存在已匹配的检测框和预测框，则确定存在跟踪成功的目标。

S205，若存在未匹配的检测框和/或预测框，则确定存在跟踪失败的目标。

可以理解的是，在理论情况下，检测框个数与预测框一致，那么可能存在同时存在不匹配的检测框和预测框，但由前述内容已经知道，在实际场景中，当目标穿越遮挡区域时，由于目标被遮挡，因此不存在检测框，但是针对目标的预测框可能存在于遮挡区域，因此，预测框数量可能会大于检测框数量，所以可能仅仅存在未匹配的检测框或者预测框，也可能同时存在不匹配的检测框和预测框，这些情况均说明当前存在跟踪失败的目标。

可选地，在确定存在跟踪失败的目标以及知晓遮挡区域的情况下，本实施还给出一种重新对跟踪失败的目标进行目标跟踪的实施方式，请参见图6，图6为本发明实施例提供的步骤S206的实施方式的示意性流程图，其中步骤S206可以包括：

S206-1，若存在跟踪失败的目标，则基于遮挡区域，从每张视频帧对应的检测框集合中确定目标检测框以及从预测框集合中确定目标预测框。

其中，目标检测框和目标预测框均处于未匹配状态。

在一种可能的实施方式中，上述步骤S206-1可以这样实现：

首先，对遮挡区域进行扩大至预设尺寸，在实际实施过程中，可以将遮挡区域扩大至包含非遮挡区域的大小，例如，请参见图7，图7为本发明实施例提供的一种场景示意图。

其中灰色区域为通过上述步骤S202识别的遮挡区域，可以看出，在遮挡区域左边，目标A正在从该遮挡区域的后方穿越，一旦目标A到达遮挡区域后方，那么检测器检测不到目标，但是跟踪器仍然会预测到目标，且预测位置位于该遮挡区域，由此可能造成跟踪失败，所以本实施例中，先将遮挡区域进行处理，确定一个候选区域，如图7中的白色区域，可以看出，处理后的遮挡区域正好将目标A包含在内。

接着，分别从检测框集合和预测框集合中，选择位于该处理后的遮挡区域内的目标检测框和目标预测框，从图7可以看出，目标A在穿越遮挡区域之前或者穿越遮挡区域之后，均可以出现在拍摄视野内，可以被检测器检测到，因此，一定存在有目标A对应的检测框以及预测框，那么通过选择选择位于该处理后的遮挡区域内的目标检测框和目标预测框来进行后续的匹配，能够在一定程度上提高跟踪成功的概率。

S206-2，将目标检测框和目标预测框进行距离匹配。

S206-3，若存在匹配成功的目标预测框与目标检测框，则确定目标检测框对应的目标跟踪成功。

可以理解的是，在步骤S206-2中，目标检测框和目标预测框实际上已经进行过交叉比匹配，在发现不匹配的情况下，本实施例在上述步骤S206-1至步骤S206-2的基础上，本又再次对目标检测框和目标预测框进行二次匹配，从而可以提高追踪目标穿过遮挡区域之后的再追踪效率。

可选地，本实施例中，针对每张视频帧，在确定目标跟踪失败或者成功之后，为了确保后续跟踪过程的准确度，本发明实施例还提供的一种实施方式，即在上述步骤S205之后，本发明实施例还可以包括以下实现流程：

若存在已匹配的检测框和预测框，则根据检测框，更新与检测框匹配的预测框对应的跟踪器；

若存在未匹配的检测框和/或预测框，则根据未匹配的检测框，生成新的跟踪器，并基于未匹配的预测框，更新该新的跟踪器的参数信息。

需要说明的是，上述实现流程可以在步骤S205之后执行，也可以在执行步骤S203至步骤S205的过程中执行，例如，在执行完步骤S204之后，即可执行若存在已匹配的检测框和预测框，则根据检测框，更新与检测框匹配的预测框对应的跟踪器；进而执行步骤S205，在执行完步骤S205之后，即可执行若存在未匹配的检测框和/或预测框，则根据未匹配的检测框，生成新的跟踪器，并基于未匹配的预测框，更新该新的跟踪器的参数信息。

可以理解的是，在预测框的数量要大于检测框的情况下，可能存在无法匹配成功的预测框，也可能存在无法匹配成功的预测框，还可能同时存在无法匹配成功的检测框和预测框，通过上述实现流程，可以校正跟踪器的参数信息，以确保后续跟踪结果的准确度。

可选地，本发明还发现，现有的跟踪算法在存在遮挡区域的场景中，一旦出现跟踪失败后，则在重新出现目标之后立即为其分配一个新的ID，但在实际情况下，重新出现的目标可能是之前已经跟踪成功的且已经有ID同一个目标，这就导致ID数量较大，占用较大的内存，为了解决这个问题，本发明实施例提供了一种解决的方法，请参见图8，图8为本发明实施例提供的另一种目标跟踪方法的示意性流程图之三，在步骤S206之后，该方法还可以包括：

S207，针对跟踪失败的目标，为该跟踪失败的目标分配标识。

S208，当该跟踪失败的目标连续跟踪成功的次数大于预设次数，则将该标识与该跟踪失败的目标绑定。

可以理解的是，在低速目标检测的应用中，目标一秒钟可以被追踪数十帧乃至上百帧，通过设置一个预设次数k，只有连续追踪次数大于k的目标才正式分配ID，该方法可有效减少ID的错误增加。

可选地，考虑到实际场景中，针对同一个目标摄像设备，其拍摄视野内遮挡区可能一直固定不变，但在某些特殊的情况下，例如，目标摄像设备的由于位置或者姿态等发生改变导致视野内的遮挡区域发生改变，那么在这种情况下，若一直使用之前识别到的遮挡区域进行目标再跟踪，势必会影响结果的可靠性与准确度，因此，本发明实施例还给出一种可能的实施方式，即在上述步骤S206之后，所述方法还包括：

按照预设时间间隔对遮挡区域进行更新；或者，每获得预设数量的视频帧后，对遮挡区域进行更新。

例如，针对某个目标摄像设备，可以每隔一天，根据获得的视频帧的统计结果，识别遮挡区域，或者，每获得1000张视频帧后，对历史遮挡区域进行更新，例如，在视频流实时传输的场景中，计算机设备从第1帧开始直到获得第1000帧，才开始识别遮挡区域，然后，从第1001帧开始直到第2000帧，再次进行遮挡区域识别，以此类推，实现更新遮挡区域的效果，保证后续处理结果的准确性和可靠性。

在一些可能的实施方式中，若当前识别到的遮挡区域与历史遮挡区域一致，则将历史遮挡区域仍然确定为该目标摄像设备视野内的遮挡区域，若当前识别到的遮挡区域与历史遮挡区域不一致，则将当前识别到的遮挡区域确定为该目标摄像设备视野内的遮挡区域。

可以理解的是，更新遮挡区域的过程与上述步骤S202的实施过程类似，此处不再赘述。为了实现上述实施例中的各个步骤以实现相应的技术效果，本发明实施例提供的目标跟踪方法可以在硬件设备或者以软件模块的形式实现中执行，当目标跟踪方法以软件模块的形式实现时，本发明实施例还提供一种目标跟踪装置，请参见图9，图9为本发明实施例提供的目标跟踪装置的功能模块图，该目标跟踪装置300可以包括：

检测与跟踪模块310，用于对多张视频帧分别进行目标检测与目标跟踪，分别获得每张视频帧对应的检测框集合和预测框集合；其中，所述多张视频帧是来自同一个目标摄像设备的时序连续的多帧；

识别模块320，用于基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域；

检测与跟踪模块310，用于针对每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪。

可以理解的是，检测与跟踪模块310和识别模块320可以协同的执行图2中的各个步骤以实现相应地技术效果。

在一些可能的实施方式中，识别模块320，具体用于：根据所述每张视频帧的尺寸，创建初始的置信度矩阵；基于预设的第一置信度衰减值、第二置信度衰减值和置信度增长值，在所述初始的置信度矩阵中，更新全部所述检测框集合中每个检测框对应区域的置信度以及全部所述预测框集合中每个预测框对应区域的置信度；在更新后的置信度矩阵中，基于置信度大于或等于预设阈值的区域，确定所述遮挡区域。

在一些可能的实施方式中，检测与跟踪模块310，具体用于：若存在跟踪失败的目标，则基于所述遮挡区域，从所述视频帧对应的所述检测框集合中确定目标检测框以及从所述预测框集合中确定目标预测框；其中，所述目标检测框和所述目标预测框均处于未匹配状态；将所述目标检测框和所述目标预测框进行距离匹配；若存在匹配成功的所述目标预测框与所述目标检测框，则确定所述目标检测框对应的目标跟踪成功。

在一些可能的实施方式中，检测与跟踪模块310，还用于：针对所述每张视频帧，将所述每张视频帧对应的所述检测框集合中的所述检测框和所述预测框集合中的预测框进行交叉比匹配；若存在已匹配的所述检测框和所述预测框，则确定存在跟踪成功的目标；若存在未匹配的所述检测框和/或所述预测框，则确定存在跟踪失败的目标。

在一些可能的实施方式中，该目标跟踪装置300还包括更新模块，用于：若存在已匹配的所述检测框和所述预测框，则根据所述检测框，更新与所述检测框匹配的预测框对应的跟踪器；若存在未匹配的所述检测框和/或所述预测框，则根据所述未匹配的检测框，生成新的跟踪器，并基于所述未匹配的所述预测框，更新所述新的跟踪器的参数信息。

在一些可能的实施方式中，该目标跟踪装置300还包括分配模块，用于：针对跟踪失败的目标，为所述跟踪失败的目标分配标识；当所述跟踪失败的目标连续跟踪成功的次数大于预设次数，则将所述标识与所述跟踪失败的目标绑定。

在一些可能的实施方式中，该目标跟踪装置300还包括更新模块，用于按照预设时间间隔对所述遮挡区域进行更新；或者，每获得预设数量的视频帧后，对所述遮挡区域进行更新。

需要说明的是，当上述目标跟踪装方法以软件模块的形式实现时，本发明实施例还的目标跟踪装置300中的各个功能模块可以软件或固件（Firmware）的形式存储于存储器中或固化于计算机设备20的操作系统（OperatingSystem，OS）中，并可由计算机设备中的处理器执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器中。

因此，本发明实施例还提供了一种计算机设备，该计算机设备可以如图1所示的计算机设备20或者其他具有视频分析能力的终端，本发明不做限定。

如图10，图10为本发明实施例提供的一种计算机设备的方框示意图。该计算机设备20包括通信接口201、处理器202和存储器203。该处理器202、存储器203和通信接口201相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器203可用于存储软件程序及模块，如本发明实施例所提供的目标跟踪方法对应的程序指令/模块，处理器202通过执行存储在存储器203内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口201可用于与其他节点设备进行信令或数据的通信。在本发明中该计算机设备20可以具有多个通信接口201。

其中，存储器203可以是但不限于，随机存取存储器（RandomAccessMemory，RAM），只读存储器（ReadOnlyMemory，ROM），可编程只读存储器（ProgrammableRead-OnlyMemory，PROM），可擦除只读存储器（ErasableProgrammableRead-OnlyMemory，EPROM），电可擦除只读存储器（ElectricErasableProgrammableRead-OnlyMemory，EEPROM）等。

处理器202可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器（CentralProcessingUnit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（DigitalSignalProcessing，DSP）、专用集成电路（ApplicationSpecificIntegratedCircuit，ASIC）、现场可编程门阵列（Field－ProgrammableGateArray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

本发明实施例还提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的目标跟踪方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种目标跟踪方法，其特征在于，所述方法包括：

对多张视频帧分别进行目标检测与目标跟踪，分别获得每张视频帧对应的检测框集合和预测框集合；其中，所述多张视频帧是来自同一个目标摄像设备的时序连续的多帧；

基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域；

针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪。

2.根据权利要求1所述的目标跟踪方法，其特征在于，基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域，包括：

根据所述每张视频帧的尺寸，创建初始的置信度矩阵；

基于预设的第一置信度衰减值、第二置信度衰减值和置信度增长值，在所述初始的置信度矩阵中，更新全部所述检测框集合中每个检测框对应区域的置信度以及全部所述预测框集合中每个预测框对应区域的置信度；

在更新后的置信度矩阵中，基于置信度大于或等于预设阈值的区域，确定所述遮挡区域。

3.根据权利要求2所述的目标跟踪方法，其特征在于，针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪,包括：

若存在所述跟踪失败的目标，则基于所述遮挡区域，从所述每张视频帧对应的所述检测框集合中确定目标检测框以及从所述预测框集合中确定目标预测框；

其中，所述目标检测框和所述目标预测框均处于未匹配状态；

将所述目标检测框和所述目标预测框进行距离匹配；

若存在匹配成功的所述目标预测框与所述目标检测框，则确定所述目标检测框对应的目标跟踪成功。

4.根据权利要求1所述的目标跟踪方法，其特征在于，在基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域的步骤之后，在针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪的步骤之前，所述方法还包括：

针对所述每张视频帧，将所述每张视频帧对应的所述检测框集合中的检测框与所述预测框集合中的预测框进行交叉比匹配；

若存在已匹配的所述检测框和所述预测框，则确定存在跟踪成功的目标；

若存在未匹配的所述检测框和/或所述预测框，则确定存在跟踪失败的目标。

5.根据权利要求4所述的目标跟踪方法，其特征在于，在若存在未匹配的所述检测框和/或所述预测框，则确定存在跟踪失败的目标的步骤之后，所述方法还包括：

若存在已匹配的所述检测框和所述预测框，则根据所述检测框，更新与所述检测框匹配的预测框对应的跟踪器；

若存在未匹配的所述检测框和/或所述预测框，则根据所述未匹配的检测框，生成新的跟踪器，并基于所述未匹配的所述预测框，更新所述新的跟踪器的参数信息。

6.根据权利要求1所述的目标跟踪方法，其特征在于，其特征在于，在针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪的步骤之后，所述方法还包括：

针对所述跟踪失败的目标，为所述跟踪失败的目标分配标识；

当所述跟踪失败的目标连续跟踪成功的次数大于预设次数，则将所述标识与所述跟踪失败的目标绑定。

7.根据权利要求1所述的目标跟踪方法，其特征在于，在针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪的步骤之后，所述方法还包括：

按照预设时间间隔对所述遮挡区域进行更新；或者，每获得预设数量的视频帧后，对所述遮挡区域进行更新。

8.一种目标跟踪装置，其特征在于，包括：

检测与跟踪模块，用于对多张视频帧分别进行目标检测与目标跟踪，分别获得每张视频帧对应的检测框集合和预测框集合；其中，所述多张视频帧是来自同一个目标摄像设备的时序连续的多帧；

识别模块，用于基于全部所述检测框集合和全部所述预测框集合，识别位于所述目标摄像设备的拍摄视野中的遮挡区域；

检测与跟踪模块，用于针对所述每张视频帧，若确定存在跟踪失败的目标，则基于所述遮挡区域，重新进行目标跟踪。

9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1-7任一项所述的目标跟踪方法。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的目标跟踪方法。

Images