CN114359332A - 基于深度图像的目标跟踪方法、装置、设备和介质 - Google Patents

Abstract

本发明涉及目标跟踪技术领域，具体提供一种基于深度图像的目标跟踪方法，旨在解决目标密集场景下无法准确地实现目标跟踪的问题。为此目的，本发明包括：获取待处理的两张深度图像；使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；使用深度图像目标分割模型对每一张所述深度图像进行分割，得到所述深度图像中的目标掩膜图像；基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。通过本发明可实现密集场景下更准确的目标跟踪。

Description

基于深度图像的目标跟踪方法、装置、设备和介质

技术领域

本发明涉及目标检测技术领域，具体提供一种基于深度图像的目标跟踪方法、装置、设备和介质。

背景技术

随着人们隐私保护意识逐渐增强，深度相机由于只记录深度信息、不采集纹理信息的特性，使其取代RGB相机来实现某些场景的智能监控成为大势所趋。基于深度信息的算法研发是行业刚需，对于隐私敏感的应用场景有十分重要的意义。传统的基于彩色图像的目标检测与跟踪算法鲁棒性不高的主要原因是在对图像进行分析处理时，受到光照变化、复杂背景、物体遮挡等因素的影响。深度图像不仅具有空间颜色无关性，还包括了人体的深度信息。在深度图像序列的目标跟踪研究领域中，一类方法通过背景减除法获取深度序列数据中的人体轮廓，进而进行目标跟踪。基于采集到的多帧深度图像进行背景建模，基于建立的背景，寻找前景，对前景进行目标分割。这里分割采用连通域的增长方法，即将相邻像素点的深度值变化符合规则的所有像素点归为同一区域，这里的规则指两个像素的深度差值小于一定阈值则认为是同一区域，反之，则不属于同一区域。重复这一过程直到该像素点的所有邻域都判断完成。所有的前景像素点重复完上述过程后，得到了多个独立的区域，即前景的分割掩膜。但在密集行人场景下，该方式的实用性非常差。例如，对于一前一后相互遮挡的两个行人目标或并排紧挨的行人目标，目标分割的规则阈值难以设定，此时两个人提取的人体轮廓无法区分，难以进行下一步视频分析，例如行人行为分析(跌倒报警、越线检测、逗留徘徊等)。

另外一类方法采用深度学习模型直接提取前后帧人体框的特征，直接根据此特征的相似度大小进行匹配。具体为，多个目标生成多个特征图，当前帧的每个特征图与前一帧图像的目标特征图进行对比，取相似度最大人体框的作为匹配结果。这种方法采用的特征包含了背景信息，在背景复杂时难以跟踪，且深度图像不包含颜色和纹理信息，深度相同的人体特征区分度不大。

相应地，本领域需要一种基于深度图像的目标跟踪方法、装置、设备和介质来解决上述问题。

发明内容

本发明旨在解决上述技术问题，即，解决现有目标密集场景下无法准确地实现目标跟踪的问题。

在第一方面，本发明提供一种基于深度图像的目标跟踪方法，包括以下步骤：

获取待处理的两张深度图像；

使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；

使用深度图像目标分割模型对每一张所述深度图像进行分割，得到所述深度图像中的目标掩膜图像；

基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；

根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。

可选地，“基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度”包括：

获取每一张所述深度图像中每个目标框对应的目标深度信息；

从所述两张深度图像中分别选取任一所述目标框进行两两配对得到目标框对；

基于所述目标框的目标位置信息和所述目标深度信息确定每个配对的所述目标框对的关联损失度；

“根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果”包括：

根据所述图像关联损失度利用匈牙利算法获得所述两张深度图像中的目标关联结果。

可选地，其中“获取每一张所述深度图像中每个目标框的目标深度信息”包括：

通过所述目标掩膜从所述深度图像中得到目标深度图像；

通过所述目标框从所述目标深度图像中得到所述目标框对应的目标平均深度。

可选地，“基于所述目标框的目标位置信息和所述目标深度信息确定每个配对的所述目标框对的关联损失度”包括：

基于配对的所述目标框对得到所述目标框对的交并比IOU；

基于配对的所述目标框对应的目标平均深度和交并比IOU得到配对的所述目标框的图像关联损失度。

可选地，所述目标框的目标位置信息包括所述目标框的坐标信息、所述目标框的宽度w和高度h，

“获取每一张所述深度图像中每个目标框对应的目标深度信息”之前还包括：

基于所述目标框优化每张所述深度图像中的所述目标掩膜，去除所述深度图像中与所述目标框的所述位置信息不对应的所述目标掩膜，以获得优化后的所述深度图像。

可选地，获取待处理的两张深度图像包括：

从视频流中获取帧数间隔为N的任意两张深度图像，其中N>＝1；

对所述两张深度图像分别进行直方图均衡化预处理，得到预处理后的深度图像。

可选地，所述方法还包括：

获取深度图像样本数据；

对所述深度图像样本数据进行目标框和目标掩膜标注，以得到标注了目标框和目标掩膜的深度图像样本；

对标注后的多张深度图像样本进行局部区域拼接，以拼接后的深度图像样本作为算法模型的输入图像对所述目标检测模型和目标分割模型进行训练，得到训练好的所述目标检测模型和目标分割模型。

在第二方面，本发明提供一种基于深度图像的目标跟踪装置，包括：

深度图像获取模块，其配置为获取待处理的两张深度图像；

目标检测模块，其配置为使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；

目标分割模块，其配置为使用目标分割模型对每一张所述深度图像进行分割，得到每一张所述深度图像中的目标掩膜图像；

图像关联损失度获取模块，其配置为基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；

目标关联模块，其配置为根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。

在第三方面，本发明提供一种基于深度图像的目标跟踪设备，包括存储器和处理器,其特征在于，所述存储器中存储有机器可执行指令，当所述机器可执行指令被所述处理器执行时，使得所述设备能实现上述第一方面中任一项所述的基于深度图像的目标跟踪方法。

在第四方面，本发明提供一种计算机存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行后能实现上述第一方面中任一项所述的基于深度图像的目标跟踪方法。

有益技术效果：

本发明使用目标检测模型对深度图像进行检测，得到深度图像中包含目标位置信息的的目标框；使用目标分割模型对深度图像进行分割，得到深度图像中的目标掩膜图像；基于得到的目标框和目标掩膜图像计算两张深度图像的图像关联损失度，并根据计算得到的图像关联损失度并利用全局最优算法获得该两张深度图像中的目标关联结果。本发明的上述技术方案中目标深度信息由目标框和目标掩膜图像共同计算，基于目标位置信息与目标深度信息进行目标关联，消除了环境背景的干扰，提高了目标分割的的准确率，能够实现多样化密集场景下(遮挡人数、遮挡程度等)更准确可靠的多目标跟踪。而且本发明方案中目标框和深度信息分别来自基于深度学习的目标检测模型和目标分割模型，上述模型具有数据驱动、迭代优化的特性，可以随着上述模型算法性能的提升而进一步提升本发明目标跟踪的准确性和可靠性。

附图说明

下面结合附图来描述本发明的优选实施方式，附图中：

图1是本发明基于深度图像的目标跟踪方法实施例的主要步骤流程图；

图2是本发明基于深度图像的目标跟踪方法实施例一的详细步骤流程图；

图3是本发明基于深度图像的目标跟踪方法实施例二的详细步骤流程图；

图4是本发明基于深度图像的目标跟踪方法实施例的行人位置信息示意图；

图5是本发明基于深度图像的目标跟踪方法实施例的人体深度图提取示意图；

图6是本发明基于深度图像的目标跟踪方法实施例的单人体深度图提取示意图；

图7是本发明基于深度图像的目标跟踪方法实施例的单人体深度图优化示意图；

图8是本发明基于深度图像的目标跟踪方法实施例的目标关联结果示意图；

图9是本发明基于深度图像的目标跟踪方法实施例的数据增强示意图；

图10是本发明基于深度图像的目标跟踪方法实施例的深度图像预处理示意图；

图11是本发明基于深度图像的目标跟踪设备的结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“装置”、“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个装置或模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

这里对本发明中涉及的技术术语作如下说明：

深度图像：是将深度相机传感器与目标的每个像素点的距离作为像素值的图像；

交并比：两个目标框交集与并集的比值；

人体平均深度：单个人体框内人体的灰度平均值；

匈牙利算法：根据所有目标框对的关联相似度情况进行一对一关联，实现二分图关联损失度总和最小。例如：前一帧包括人体框a、b、c，后一帧包括人体框a1、b1、c1。初始时，任意配对：aa1、ab1、ac1、ba1、bb1、bc1、ca1、cb1、cc1。计算这九个配对的关联损失度，例如关联损失度分别为0.1、0.3、0.8、0.4、0.2、0.9、0.7、0.6、0.5。输入匈牙利算法进行全局优化匹配处理。二分图的第一部分为a、b、c，第二部分为a1、b1、c1。第一部分只能与第二部分匹配。按照上述的损失度，如果aa1、bb1、cc1这样一对一关联就不会再有ab1、ac1、ba1、bc1、ca1、cb1的配对情况。aa1、bb1、cc1关联损失度总和为0.1+0.2+0.5＝0.8；如果aa1、bc1、cb1这样的关联，关联损失度总和为0.1+0.9+0.6＝1.6；以此类推，关联损失度最小的组合就是aa1、bb1、cc1。由此确定这几个配对正确，即可输出。如果两部分目标个数不匹配，即上一帧存在的人体在下一帧走出画面，或下一帧有新的人体进入画面，按照上述的二分图关联损失度总和最小的原则，没匹配上的人体放弃匹配，并在无匹配的人体上新增一个轨迹ID。

数据增强：也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。

在第一方面，本发明实施例提供一种基于深度图像的目标跟踪方法，如图1所示，该方法主要包括以下步骤:

S1.获取待处理的两张深度图像；

S2.使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；

S3.使用深度图像目标分割模型对每一张所述深度图像进行分割，得到所述深度图像中的目标掩膜图像；

S4.基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；

S5.根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。

通过本发明实施例提供的如图1所示的基于深度图像的目标跟踪方法，能够实现密集场景下更准确的目标跟踪。

为了清楚地阐述本发明实施例的技术方案，下面分步骤阐述本发明实施例提供的如图1所示的基于深度图像的目标跟踪方法。

具体来说，如图2本发明基于深度图像的目标跟踪方法实施例一的详细步骤流程图所示，

所述步骤S1具体为，获取待处理的两张深度图像；

在对基于深度图像的目标跟踪时，首先，从视频流中获取帧数间隔为N的任意两张深度图像，其中N>＝1；具体来说，通过现有的视频监控系统的深度摄像机获取视频流；从视频流中按帧数间隔N获取多张依次排列的深度图像，从获取的依次排列的深度图像中任意选取两张相邻的深度图像，从而获得待处理的两张深度图像。

所述步骤S2具体为，使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；

其中，所述目标框的目标位置信息包括所述目标框的坐标信息(x,y)、所述目标框的宽度w和高度h。

具体来说，通过目标检测模型检测出每张深度图像中所包含的所有目标。为了对目标进行追踪，需要提取出每张图像中每个目标在该图像中的区域，以便在该区域的基础上提取对应目标的信息，进而进行后续的跟踪过程。该图像中每个目标区域，即为该图像中每个目标的目标框。目标框可以使用公知的提取算法，例如YOLO算法、基于区域的快速卷积神经网络(Faster Region-Convolutional Neural Networks，简称Faster R-CNN)算法等，也可以基于预先训练好的目标检测模型进行提取。输入深度图像到目标检测模型，所述模型处理后输出一个或多个目标框，每个目标框包含目标的位置信息，所述目标位置信息包括目标坐标信息(x,y)和目标框的宽度w和高度h信息，其中x是目标框的左上角顶点的横坐标，y是目标框的左上角顶点的纵坐标，w是目标框的宽度，h是目标框的高度。在某一具体实例中，所述目标可以为行人。如图4所示，行人的位置信息由行人的坐标信息和所述行人人体框的宽度和高度信息组成。

所述步骤S3具体为，使用目标分割模型对每一张所述深度图像进行分割，得到所述深度图像中的目标掩膜图像；

具体来说，将从视频流中按一定的帧数间隔获得的深度图像输入到目标分割模型获取目标掩膜。目标分割模型将图像分割为属于目标和不属于目标的像素。目标掩膜可以基于预先训练好的目标分割模型进行提取，也可以使用公知方法例如SegNet等提取。之后进一步可得到输入图像中所有目标的掩膜图像。

作为一优选方案，可以基于上述步骤S2中所获得的目标框优化每张所述深度图像中的所述目标掩膜，去除所述深度图像中与所述目标框的所述位置信息不对应的所述目标掩膜，以获得优化后的所述深度图像。

在某一具体实例中，所述目标可以为行人。如图5所示，将获取的深度图像输入到目标分割模型后，可得到所述深度图像中的人体掩膜。人体掩膜是一个二值图像，其中，包含了人体的像素值为255，即图中白色表示的部分，不包含人体的像素值为0，即图中黑色表示的部分。保留所有人体框，将人体框外的人体掩膜设置为0。经过人体框优化，可以去除人体框外的部分分割错误。从而获得优化后的人体掩膜。基于优化后的人体掩膜可获得优化后的人体深度图。

所述步骤S4具体为，基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；

其中，“基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度”具体包括：

获取每一张所述深度图像中每个目标框对应的目标深度信息；

从所述两张深度图像中分别选取任一所述目标框进行两两配对得到目标框对；

基于所述目标框的目标位置信息和所述目标深度信息确定每个配对的所述目标框对的关联损失度；

具体来说，所述“获取每一张所述深度图像中每个目标框的目标深度信息”包括：

通过所述目标掩膜从所述深度图像中得到目标深度图像；

通过所述目标框从所述目标深度图像中得到所述目标框对应的目标平均深度。

根据所述步骤S4中的描述可知，掩膜是一个二值图像，包含了目标的像素值为255，不包含目标的像素值为0，将深度图像与该掩膜相乘，那么包含目标的部分其像素值变为了深度图像的像素值，不包含目标的像素值变为0。通过对所述目标掩膜与所述深度图像的处理可以从所述深度图像中得到目标深度图像。

在某一具体实例中，如图6所示，以人体深度图为例详细说明“通过所述目标框从所述目标深度图像中得到所述目标框对应的目标平均深度。”具体来说，利用上述步骤S2所获得的目标框，即图6中所示的人体框从目标深度图，即图6中所示的人体深度图中提取单个人体框中的人体深度图像，得到单人体深度图。

作为一优化方案，如图7所示，单人体深度图可以再进行一次人体分割，去除重叠人体框中的不完全人体。取得更准确的单人体深度图。

基于所述单人体深度图来计算人体深度的平均值。具体计算方法如下：

其中，h和w是人体框的高度和宽度，p是人体框内的每一个像素值，n是人体框内包含非零像素的个数。

至此即获得了每一张所述深度图像中每个目标框对应的目标深度信息；

然后，从所述两张深度图像中分别选取任一所述目标框进行两两配对得到目标框对；例如，前一张深度图像中有两个目标框分别为a和b，后一张深度图像中有两个目标框分别为a1和b1，则通过目标框配对可以得到aa1、ab1、ba1、bb1。

最后，基于所述目标框的目标位置信息和所述目标深度信息确定每个配对的所述目标框对的关联损失度；

其中，“基于所述目标框的目标位置信息和所述目标深度信息确定每个配对的所述目标框对的关联损失度”包括：

基于配对的所述目标框对得到所述目标框对的交并比IOU；

基于配对的所述目标框对应的目标平均深度和交并比IOU得到配对的所述目标框的图像关联损失度。

具体来说，

首先，计算上述目标框对的交并比IOU。

然后，基于每个深度图像计算目标平均深度，通过两个目标深度图像的目标平均深度计算两个目标深度图像中目标框对的归一化目标深度差。即归一化人体深度差

其中，d₁为后一张深度图像中的目标平均深度，d₀为前一张深度图像中的目标平均深度。

最后，基于获得的交并比IOU、归一化人体深度差d，可得到每个配对的所述目标框对的关联损失度loss。具体来说，

其中，α表示深度信息的系数，在目标重叠较多的场景下，增大系数可以增大前后重叠位置目标的关联损失。

至此，基于所述目标框的目标位置信息和所述目标深度信息确定了每个配对的所述目标框对的关联损失度。

其中，上述基于目标位置信息的关联损失度除了通过交并比IOU获得以外，还可以通过计算两张深度图像中目标框的长宽比、中心点距离、目标掩膜的IOU等方法获得。

所述步骤S5具体为，根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。

其中，“根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果”包括：根据所述图像关联损失度利用匈牙利算法获得所述两张深度图像中的目标关联结果。

在某一具体实例中，如图8所示，图中t为处理视频帧的间隔，第n帧和第n+t帧即代表处理时的前后帧。从图中可以看出，前后两张深度图像中匹配成功的人体，则保留与前一张深度图像中所用ID相同的数值。对于前一张深度图像中存在，但后一张深度图像中消失的人体，则其在前一张深度图像中使用的ID在后一张深度图像中则消失。对于前一张深度图像中不存在，但后一张深度图像中出现的人体，则在后一张深度图像中使用新增的ID来表示新出现的人体。

至此，即获得了所述两张深度图像中的目标关联结果。

对于全局最优匹配算法，除了上述的匈牙利算法以外，还可以使用其他全局最优匹配算法。也可以使用深度学习模型直接替换匈牙利算法。

需要说明的是，在本实施例实施前，通过训练的方式得到训练好的所述目标检测模型和目标分割模型。主要包括以下步骤，

获取深度图像样本数据；

对所述深度图像样本数据进行目标框和目标掩膜标注，以得到标注了目标框和目标掩膜的深度图像样本；

对标注后的多张深度图像样本进行局部区域拼接，以拼接后的深度图像样本作为算法模型的输入图像对所述目标检测模型和目标分割模型进行训练，得到训练好的所述目标检测模型和目标分割模型。

具体来说，

首先，进行数据采集，即针对相应的场景采集目标深度图像；

其次，对采集到的所述深度图像进行数据标注，标注采集数据中目标框和目标掩膜；

然后，对数据标注后的数据进行数据增强处理。即对深度图像的局部区域进行拼接，生成算法模型输入图像。如图9所示，在检测器模型中，将4张带有人体框的图像进行随机剪切、缩放后填入一张输入图像。

再然后，利用深度学习技术，采用检测和分割算法，可以是公知的检测和分割模型，如YOLO、segnet，训练模型。该步骤包括两个模型，目标检测模型和目标分割模型。

最后，模型保存。保存训练好的模型。

利用保存的训练好的目标检测模型和目标分割模型，对获取的深度图像进行目标跟踪，即为本发明所述基于深度图像的目标跟踪方法。

如图3本发明基于深度图像的目标跟踪方法实施例二的详细步骤流程图所示，本实施例与图2所示实施例一的区别为，在获取到深度图像后，先对所述深度图像进行预处理，预处理可以采用直方图均衡化的处理方法得到预处理后的深度图像。例如，在办公场景中，室内的最大深度一般较小，导致深度分布不均匀，其深度分布集中在较窄的范围内，使图像细节不够清晰，如图10中的左图。因此本实施例首先对输入图像进行直方图均衡化变换，使得处理后的深度图像中的目标清晰，如图2右图。具体说明如下：

首先，计算原图灰度直方图的概率

其中n为像素总个数，n_k为灰度级S_k的像素个数。

例如，在深度图像的原图中，像素灰度值为0的像素个数有10个，图像的总像素个数为500个，那么像素级0的概率就是10/500＝0.02。

其次，计算所述原图的累计分布函数

所得结果即为上述直方图概率的累加值。

最后，基于所述原图的累计分布函数计算目的图像的像素值Dj，Dj可用以下公式表示，

D_j＝L·CDF(S_j)；

其中，L是图像的最大灰度级L＝255。

至此，即采用直方图均衡化的处理方法得到预处理后的深度图像。

通过对深度图像原图进行直方图均衡化处理后，得到直方图均衡化预处理后的深度图像，将所述预处理后的深度图像替代原始的深度图像，并采用本发明基于深度图像的目标跟踪方法进行处理，将获得更佳的技术效果。

本实施例其余步骤与图2所示的本发明实施例一中相应处理过程相同，此处不再赘述。

在第二方面，本发明提供一种基于深度图像的目标跟踪装置，包括：

深度图像获取模块，其配置为获取待处理的两张深度图像；

目标检测模块，其配置为使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；

目标分割模块，其配置为使用目标分割模型对每一张所述深度图像进行分割，得到每一张所述深度图像中的目标掩膜图像；

图像关联损失度获取模块，其配置为基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；

目标关联模块，其配置为根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。

本实施例提供的控制装置，可用于执行上述第一方面所提供的基于深度图像的目标跟踪方法。具体实现方法和技术效果与第一方面所述类似，这里不再赘述。进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

在第三方面，本发明提供一种基于深度图像的目标跟踪设备，如图11所示，所述设备包括设备本体300、存储器32和处理器31,所述存储器32中存储有机器可执行指令，当所述机器可执行指令被所述处理器31执行时，使得所述洗衣机能实现上述第一方面中任一项所述的基于深度图像的目标跟踪方法。

在第四方面，本发明提供一种计算机存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行后能实现上述第一方面中任一项所述的基于深度图像的目标跟踪方法。

本领域技术人员能够理解的是，本发明实现上述任一实施例的方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于深度图像的目标跟踪方法，其特征在于，包括以下步骤：

获取待处理的两张深度图像；

使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；

使用目标分割模型对每一张所述深度图像进行分割，得到每一张所述深度图像中的目标掩膜图像；

基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；

根据所述图像关联损失度并利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。

2.根据权利要求1所述的基于深度图像的目标跟踪方法，其特征在于，“基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度”包括：

获取每一张所述深度图像中每个目标框对应的目标深度信息；

从所述两张深度图像中分别选取任一所述目标框进行两两配对得到目标框对；

基于所述目标框的目标位置信息和所述目标深度信息确定每个配对的所述目标框对的关联损失度；

“根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果”包括：

根据所述图像关联损失度利用匈牙利算法获得所述两张深度图像中的目标关联结果。

3.根据权利要求2所述的基于深度图像的目标跟踪方法，其特征在于，其中“获取每一张所述深度图像中每个目标框的目标深度信息”包括：

通过所述目标掩膜从所述深度图像中得到目标深度图像；

通过所述目标框从所述目标深度图像中得到所述目标框对应的目标平均深度。

4.根据权利要求3所述的基于深度图像的目标跟踪方法，其特征在于，“基于所述目标框的目标位置信息和所述目标深度信息确定每个配对的所述目标框对的关联损失度”包括：

基于配对的所述目标框对得到所述目标框对的交并比IOU；

基于配对的所述目标框对应的目标平均深度和交并比IOU得到配对的所述目标框的图像关联损失度。

5.根据权利要求2所述的基于深度图像的目标跟踪方法，其特征在于，所述目标框的目标位置信息包括所述目标框的坐标信息、所述目标框的宽度w和高度h，

“获取每一张所述深度图像中每个目标框对应的目标深度信息”之前还包括：

基于所述目标框优化每张所述深度图像中的所述目标掩膜，去除所述深度图像中与所述目标框的所述位置信息不对应的所述目标掩膜，以获得优化后的所述深度图像。

6.根据权利要求1所述的基于深度图像的目标跟踪方法，其特征在于，获取待处理的两张深度图像包括：

从视频流中获取帧数间隔为N的任意两张深度图像，其中N>＝1；

对所述两张深度图像分别进行直方图均衡化预处理，得到预处理后的深度图像。

7.根据权利要求1所述的基于深度图像的目标跟踪方法，其特征在于，所述方法还包括：

获取深度图像样本数据；

对所述深度图像样本数据进行目标框和目标掩膜标注，以得到标注了目标框和目标掩膜的深度图像样本；

对标注后的多张深度图像样本进行局部区域拼接，以拼接后的深度图像样本作为算法模型的输入图像对所述目标检测模型和目标分割模型进行训练，得到训练好的所述目标检测模型和目标分割模型。

8.一种基于深度图像的目标跟踪装置，其特征在于，包括：

深度图像获取模块，其配置为获取待处理的两张深度图像；

目标检测模块，其配置为使用目标检测模型对每一张所述深度图像进行检测，得到每一张所述深度图像中的目标框，所述目标框数量为至少一个，所述目标框包含目标位置信息；

目标分割模块，其配置为使用目标分割模型对每一张所述深度图像进行分割，得到每一张所述深度图像中的目标掩膜图像；

图像关联损失度获取模块，其配置为基于所述目标框、目标掩膜图像得到所述两张深度图像的图像关联损失度；

目标关联模块，其配置为根据所述图像关联损失度利用全局最优匹配算法获得所述两张深度图像中的目标关联结果。

9.一种基于深度图像的目标跟踪设备，包括存储器和处理器,其特征在于，所述存储器中存储有机器可执行指令，当所述机器可执行指令被所述处理器执行时，使得所述设备能实现权利要求1至7中任一项所述的基于深度图像的目标跟踪方法。

10.一种计算机存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被执行后能实现权利要求1至7中任一项所述的基于深度图像的目标跟踪方法。

Images