CN110619254B - 一种基于视差图的目标跟踪方法、装置及终端 - Google Patents

Abstract

本申请提供一种基于视差图的目标跟踪方法、装置及终端。该方法包括：获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算待跟踪目标与已跟踪目标的关联损失量；根据关联损失量确定所述待跟踪目标关联的已跟踪目标；再将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。因此可以确保跟踪的准确率，优化跟踪效果。

Description

一种基于视差图的目标跟踪方法、装置及终端

技术领域

本申请涉及辅助驾驶、自动驾驶、图像处理技术领域，尤其涉及一种基于视差图的目标跟踪方法、装置及终端。

背景技术

随着汽车智能化的发展趋势，辅助驾驶系统、自动驾驶系统等正成为学术界和工业界的研究热点。其中，对障碍物的有效跟踪是辅助驾驶系统和自动驾驶系统中重要的组成部分，也是目前研究的热点方向。对障碍物目标的有效跟踪可以使车辆在行驶过程中准确的获取周围障碍物的数量、位置等信息，进而实现辅助驾驶中的预警功能和自动驾驶中的避让前方障碍物的功能。

现有的基于视差图的目标跟踪算法采用预测目标位置和当前帧的目标位置的变化量来决定目标是否关联，例如通过障碍物之间的质心位置、目标框的宽度、高度和视差等信息将障碍物进行关联。

由于上述方法过多的依赖于图像中目标框的位置信息来决定目标是否关联如果前后帧的框选位置变化较大时，例如障碍物部分遮挡、障碍物位于有效检测区域边界等情况，则会导致跟踪准确率较低，从而无法实现有效跟踪。

发明内容

有鉴于此，为了解决现有技术中障碍物目标遮挡时的跟踪问题，本申请提供一种基于视差图的目标跟踪方法、装置及终端，以实现在跟踪目标被部分遮挡的情况下也能确保跟踪准确率。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种基于视差图的目标跟踪方法，所述方法包括：

获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算所述待跟踪目标与所述已跟踪目标的关联损失量；

根据关联损失量确定所述待跟踪目标关联的已跟踪目标；

将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。

作为一个实施例，关联损失量的计算具体为：

Loss＝C₁·Δ_Distance+C_2··(Δ_W+Δ_H)+C₃·Δ_3DW+C₄·Δ_3DH+…C_n·Δ_else

其中，C₁、、C₃、C₄和C_n为各项的权值，Δ_Distance为相邻两帧距离的变化量，Δ_W和Δ_H为预测帧位置和当前帧的水平和垂直方向的变化量，Δ_3DW和Δ_3DH为相机坐标系中的目标宽度和高度的变化量，Δ_else为其他项变量。

作为一个实施例，关联损失量的计算还包括：

对Δ_Distance、Δ_W和Δ_H以及Δ_3DW和Δ_3DH进行均衡化计算，得到均衡化的关联损失量，所述均衡化的关联损失量具体为：

Loss＝C₁·Δ′_Distance+C_2··(Δ′_W+Δ＇_H)+C₃·Δ′_3DW+C₄·Δ′_3DH+…C_n·Δ_else

其中：Δ′_Distance是、Δ′_W和Δ′_H、Δ′_3DW和Δ′_3DH分别是Δ_Distance、Δ_W和Δ_H、Δ_3DW和Δ_3DH的均衡化后的结果。

作为一个实施例，若当前帧视差图中包括多个待跟踪目标，或者所述前一帧视差图中包括多个已跟踪目标时，所述根据关联损失量确定所述待跟踪目标关联的已跟踪目标，包括：

遍历所述多个待跟踪目标中第一目标与所述多个已跟踪目标中每个已跟踪目标的关联损失量；

将所述多个已跟踪目标中的满足预设条件且与所述第一目标的关联损失量最小的第二目标作为所述第一目标的关联目标。

作为一个实施例，所述预设条件包括：所述已跟踪目标与待跟踪目标的位置差值和距离差值小于预设阈值。

作为一个实施例，所述方法还包括：

当所述待跟踪目标不存在关联目标时，则为所述待跟踪目标创建ID信息，并将所述待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。

作为一个实施例，所述方法还包括：

当所述已跟踪目标不存在关联目标时，则增加所述已跟踪目标的失联次数；

判断所述已跟踪目标的连续失联次数是否大于预设数量；

若是，则删除所述已跟踪目标的ID信息；

若否，则根据所述已跟踪目标的预测位置信息在当前帧视差图中显示所述已跟踪目标。

作为一个实施例，所述方法还包括：

根据已跟踪目标在前若干帧视差图中的的目标框位置，预测所述已跟踪目标在当前帧视差图中的预测目标框位置；

将所述预测目标框位置与当前帧视差图中与所述已跟踪目标关联的待跟踪目标的目标框位置进行加权计算得到综合位置，并将所述综合位置与前一帧视差图中的已跟踪目标的目标框位置比较得到位置差，判断该位置差是否大于预设阈值；

若是，则在当前帧视差图中显示所述待跟踪目标的目标框位置；

若否，则将所述综合位置作为当前帧视差图中所述待跟踪目标的目标框位置。

根据本申请实施例的第二方面，提供一种基于视差图的目标跟踪装置，其特征在于，所述装置包括：

关联计算单元，用于获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算所述待跟踪目标与所述已跟踪目标的关联损失量；

关联确定单元，用于根据关联损失量确定所述待跟踪目标关联的已跟踪目标；

信息更新单元，用于将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。

根据本申请实施例的第三方面，提供一种车载相机终端，包括存储器和处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现任一所述基于视差图的目标跟踪方法的步骤。

由上述实施例可见，本申请可以通过获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算待跟踪目标与已跟踪目标的关联损失量；根据关联损失量确定所述待跟踪目标关联的已跟踪目标；再将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。本申请可以基于视差图的特点，采用障碍物目标的二维像素信息和三维信息进行目标的关联性判断，可以削弱了传统算法对目标框位置信息的依赖，因此在目标被部分遮挡的情况下也可以结合目标的三维信息进行有效的跟踪，因此可以确保跟踪的准确率，优化跟踪效果。

附图说明

图1为本申请基于视差图的目标跟踪方法的一个实施例流程图；

图2-1为现有技术中目标被遮挡状态下的跟踪效果图；

图2-2为本申请目标被遮挡状态下的跟踪效果图；

图3-1为现有技术中检测边界的跟踪效果图；

图3-2为本申请检测边界的跟踪效果图；

图4为车载相机的坐标系；

图5为位置预测原理图；

图6-1为确定关联目标原理图；

图6-2为稳定目标框原理图；

图7为本申请视差图的目标跟踪装置的一个实施例框图；

图8为本申请视差图的目标跟踪装置所在车载相机终端的一种硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在辅助驾驶、自动驾驶系统中，对行人、车辆以及路面的其他障碍物的跟踪是系统功能的重要组成部分。传统的基于视差图的目标跟踪算法采用预测目标位置和当前帧的目标位置的变化量来决定目标是否关联，此类方法过多的依赖于图像中目标框的位置信息来决定目标是否关联，当前后帧的目标框位置变化比较大时，如部分遮挡、障碍物位于有效检测区域边界等情况，传统算法无法实现有效跟踪。

基于此，本申请提供一种基于视差图的目标跟踪方法，通过采用障碍物目标的二维像素信息和三维信息进行目标的关联性判断，削弱传统算法对目标框位置信息的依赖，即使在目标被部分遮挡的情况下也可以结合目标的三维信息进行有效的跟踪，因此可以确保跟踪的准确率，优化跟踪效果。

如下，示出下述实施例对本申请提供的基于视差图的目标跟踪方法进行说明。

实施例一：

请参见图1，为本申请基于视差图的目标跟踪方法的一个实施例流程图，该方法包括以下步骤：

步骤101、获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算所述待跟踪目标与所述已跟踪目标的关联损失量；

在本实施例中，车载相机可以获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，上述待跟踪目标的ID信息和已跟踪目标的ID信息中均携带的二维信息和三维信息，车载相机可以根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息计算待跟踪目标与已跟踪目标的关联损失量。

传统的目标关联算法主要借助二维信息中目标位置的质心偏移量、目标框的长宽变化量和视差的变化量来进行目标关联性判断。但是此类算法存在诸多问题，例如当目标出现部分遮挡、转向、旋转、位于检测边界区域时，目标的框的位置和框的大小都会发生较大的变化，如果仅基于质心偏移量、目标框的长宽变化量和视差的变化量来对目标进行跟踪，容易出现丢帧、跟踪延迟、跟踪不稳定等问题。出现该类问题的主要原因是该类算法过多的依赖于目标框信息(质心偏移量、目标框长宽变化量)来决定是否关联，没有评估目标框信息的变化对关联结果的影响，当前后帧的目标位置或目标框位置发生较大变化时，该算法无法实现稳定且有效的跟踪。现有技术在目标被部分遮挡的情形下，跟踪效果如图2-1所示，其中跟踪目标包括图2-1中的目标框标记的车辆和骑行者；在目标位于检测区域边界的情况下，跟踪效果如图3-1所示，其中边界为车道线，车道线旁边的车辆为边界的跟踪目标。

本申请基于驾驶场景，通过分析障碍物目标运动特点可以得到以下结论：驾驶场景中障碍物在三维空间中的高度信息和宽度信息相对于视差和目标框信息是比较稳定的障碍物信息，并且基于视差图可以获取准确的障碍物空间信息，通过利用这种较稳定的障碍物空间信息可以减弱像素级信息的不稳定因素对跟踪效果的影响。基于以上的分析，本申请提出了通过利用目标的像素级信息和空间三维信息来对障碍物目标进行关联损失量的计算，从而解决传统关联算法对目标框信息的过度依赖和跟踪不稳定等问题，有效提高驾驶场景下对障碍物跟踪的准确率。

作为一个实施例，上述待跟踪目标与已跟踪目标的关联损失量Loss的计算方法具体如公式(一)所示：

Loss＝C₁·Δ_Distance+C_2··(Δ_W+Δ_H)+C₃·Δ_3DW+C₄·Δ_3DH+…C_n·Δ_else

                                                 公式(一)

其中，C₁、、C₃、C₄和C_n为各项的权值，Δ_Distance为相邻两帧距离的变化量，Δ_W和Δ_H为预测帧位置和当前帧的水平和垂直方向的变化量，Δ_W和Δ_H为二维信息，Δ_3DW和Δ_3DH为相机坐标系中的目标宽度和高度的变化量，Δ_3DW和Δ_3DH为三维信息，Δ_else为其他项变量。

作为一个实施例，在计算关联损失量中，各项的变化量的值存在很大差异，在目标关联中不能有效的发挥各项的作用，因此还可以对各项变化量进行均衡化处理。

Δ_Distance的均衡化计算方法如公式(二)所示，用前一帧的框选目标的距离f_Distance(k-1)减去当前帧框选的目标的距离f_Distance(k)再取绝对值。距离变化量的均衡化如公式(三)所示，将变化量Δ_Distance与前一帧距离f_Distance(k-1)的比值作为关联损失量Δ′_Distance的一部分。

Δ_Distance＝|f_Distance(k-1)-f_Distance(k)|   公式(二)

Δ′_Distance＝Δ_Distance/f_Distance(k-1)   公式(三)

Δ_W＝(Δ_Lx+Δ_Rx)   公式(四)

Δ_H＝(Δ_Ty+Δ_Dy)   公式(五)

Δ_W和Δ_H的计算方法如公式(四)和公式(五)所示，其中Δ_Lx和Δ_Rx为预测目标框和当前目标框的左侧边的变化量和右侧边的变化量，Wid_k′和Wid_k为预测目标框和当前目标框的宽度。同理，Δ_Ty和Δ_Dy为预测目标框和当前目标框的上边的变化量和下边的变化量，Hig_k′和Hig_k为预测目标框和当前目标框的高度。其中k表示基于前k-1帧的信息预测当前帧，k表示当前帧。具体预测方法如图4所示，其中帧1、帧2、帧3、帧4为跟踪前几帧，帧5为跟踪当前帧，d12为帧1和帧2之间的距离，d23为帧2和帧3之间的距离，d34为帧3和帧4之间的距离，若预测帧4和帧5之间的距离，则预测值d具体计算方法如公式(六)所示：

d＝0.5*(0.5*d12+0.5*d23)+0.5*d34   公式(六)

Δ_W和Δ_H损失量的均衡化方法如公式(七)和公式(八)所示，利用当前的预测帧与当前帧左右两边的变化量之和Δ_W与预测帧宽度和当前帧宽度之和的比值作为二维信息的宽度的损失项Δ′_W，同理，利用当前的预测帧与当前帧上下两边的变化量之和Δ_H与预测帧高度和当前帧高度之和的比值作为二维信息的高度的损失项Δ′_H。在障碍物目标未被遮挡的情况下，该项损失量在目标关联判断中起着重要作用。

Δ′_W＝Δ_w/(Wid_k′+Wid_k)   公式(七)

Δ′_H＝Δ_H/(Hig_k′+Hig_k)   公式(八)

Δ_3DW和Δ_3DH代表目标实际三维信息的变化量，计算方法如公式(九)和公式(十)所示，由于驾驶场景中障碍物在三维空间中的高度信息和宽度信息相对于框选信息(Δ_W和Δ_H)是比较稳定的障碍物信息，并且基于视差图可以获取较准确的障碍物空间信息，因此通过有效的利用这种较稳定的空间信息可以减弱像素级信息的不稳定因素对跟踪效果的影响。

Δ_3DW＝|S_3DW(k-1)-S_3DW(k)|   公式(九)

Δ_3DH＝|S_3DH(k-1)-S_3DH(k)|   公式(十)

S_3DW(k-1)和S_3DW(k)表示前一帧目标的实际三维宽度和当前帧的目标实际三维宽度。同理，S_3DH(k-1)和S_3DH(k)表示前一帧目标的实际三维高度和当前帧目标的实际三维高度。同一目标在世界坐标系中的宽度和高度是比较稳定的，在计算关联损失量的过程中加入该项变化量可有效的解决传统关联算法对目标框信息的依赖，能够解决在遮挡和检测边界情况下的跟踪问题。

实际三维信息的均衡化方法如公式(十一)和公式(十二)所示，采用实际宽度的变化量Δ_3DW与前一帧实际三维宽度S_3DW(k-1)的比值作为计算损失量的一部分，该项关联损失量的主要作用是削弱跟踪过程中对障碍物框信息的过度依赖，使得障碍物在部分遮挡的情况下，也能进行有效的跟踪。

Δ′_3DW＝Δ_3DW/S_3DW(k-1)   公式(十一)

Δ′_3DH＝Δ_3DH/S_3DH(k-1)   公式(十二)

在本实施例中，实际三维空间的位置信息的获取是基于目标的视差信息来得到目标在相机坐标系(如图5所示)中的位置信息。视差图像或基准图像中某点的空间坐标的计算公式分别如公式(十三)、公式(十四)、公式(十五)所示：

其中，W表示图像的宽，本实施例中为1280像素，H表示图像的高，本实施例中为960像素。U表示图像坐标系中被测点的横向坐标，V表示图像坐标系中被测点的纵向坐标，B表示基线长度，单位为m(CPH-108模组：B＝0.117668)。Bf表示修正后的Bf值(CPH-108模组：Bf＝172.5272)，Δd表示修正值(CPH-108模组：Δd＝1.9908)。

公式(一)中的C₃、C₄的取值可根据障碍物检测算法的不同进行调整，具体来讲，可以基于U视差图的障碍物检测算法对纵向的梯度变化比较敏感，此时，可将C₃取零值或变小，将C₄增大；基于模版匹配的障碍物检测算法对横向的梯度变化比较敏感，此时，可将C₄取零值或变小，将C₃增大；基于面的视差图来检测障碍物，此时C₃、C₄取值可调，不全为零即可。

综上所述，均衡化后的关联损失量的计算方法如公式(十六)所示：

Loss＝C₁·Δ′_Distance+C_2··(Δ′_W+Δ′_H)+C₃·Δ′_3DW+C₄·Δ′_3DH+…C_n·Δ_else

                                            公式(十六)

在损失量计算公式中除了Δ′_Distance、Δ′_W和Δ′_H、Δ′_3DW和Δ′_3DH以上三项为必须选项外，可以根据实际情况添加其他损失项，如目标框质心的变化量、连续两帧目标框的宽高的变化量等等。本申请在目标被部分遮挡的情形下，跟踪效果如图2-2所示；在目标位于检测区域边界的情况下，跟踪效果如图3-2所示。因此通过使用三维信息计算关联损失量并且经过均衡化处理后，对目标的跟踪准确率更高，

步骤102、根据关联损失量确定所述待跟踪目标关联的已跟踪目标；

在本实施例中，当待跟踪目标与已跟踪目标的关联损失量计算完成后，可以进一步根据关联损失量确定与待跟踪目标关联的已跟踪目标。

下面通过实施例二对关联目标的确定方法进行具体说明。

实施例二：

当车载相机获取的每帧图像中包括多个跟踪目标时，则当前帧视差图中可以包括多个待跟踪目标，或者所述前一帧视差图中包括多个已跟踪目标，那么车载相机根据关联损失量确定所述待跟踪目标关联的已跟踪目标时，首先要遍历所述多个待跟踪目标中第一目标与所述多个已跟踪目标中每个已跟踪目标的关联损失量，将所述多个已跟踪目标中的满足预设条件且与所述第一目标的关联损失量最小的第二目标作为所述第一目标的关联目标。其中该预设条件可以为：已跟踪目标与待跟踪目标的位置差值和距离差值小于预设阈值，通过该预设条件可以确保关联目标之间的目标差异较小，从而可以在进行关联目标确定时，可以通过该预设条件的筛选减少关联损失量的比较次数，提高计算效率。

举例来讲，请参考图6-1是确定关联目标的示意图；其中车载相机计算每个当前帧视差图中的待跟踪目标和前一帧视差图中的已跟踪目标的关联损失量，假设loss1、loss2、loss3和loss4为当前帧视差图中的1号目标与前一帧视差图中的各已跟踪目标得到的关联损失量，可以查找符合预设条件的已跟踪目标，假设图6-1中的已跟踪目标均符合条件，则对这些目标进行关联的方法为：先判断当前帧视差图中的1号目标与前一帧视差图中的各已跟踪目标得到的关联损失量中的最小损失量对应的目标，假设loss2最小，则在进一步判断loss2是否是前一帧视差图中的2号目标与当前帧视差图中的未关联目标的关联损失量是否为最小，如果是，则认为该前一帧视差图中的2号目标与当前帧视差图中的1号目标的目标关联。然后再依据上述方法依次对当前帧视差图中的每一个目标进行判断，确定关联目标。

如果后面关联目标与前面关联目标重叠，如图6-1中的当前帧视差图中的2号目标也与前一帧视差图中的2号目标关联，则基于前一帧视差图中的2号位置信息，查看当前帧视差图中的1号目标和2号目标知否满足合并条件(基于前一帧视差图中合并当前帧视差图中)，若满足，则合并，那么前一帧视差图中的2号目标与当前帧视差图中的合并后的目标关联；如果不满足，则比较两者的loss值，较小者认为是真正的关联目标，那么当前帧视差图中的2号目标与前一帧视差图中的2号目标真正关联，当前帧视差图中的1号目标再寻找次关联目标。

至此，完成实施例二的全部描述。

通过计算的关联损失量结合上述关联判断方法进行目标关联的判断，可以提升目标关联判断的准确率，优化跟踪效果。

步骤103、将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。

在本实施例中，将已跟踪目标的ID信息更新到与已跟踪目标关联的待跟踪目标的ID信息中，可将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息进行输出。

作为一个实施例，若当前帧的待跟踪目标不存在关联目标时，例如图6-1中的当前帧的3号目标，如果没有关联目标，则认为当前帧的3号目标为新目标，因此可以为该3号目标创建ID信息，并将该3号目标的ID信息作为后一帧视差图中的已跟踪的ID信息输出。

作为一个实施例，当所述已跟踪目标不存在关联目标时，则增加所述已跟踪目标的失联次数；判断所述已跟踪目标的连续失联次数是否大于预设数量；若是，则认为该目标已丢失，因此可以删除所述已跟踪目标的ID信息；若否，则认为该目标只是暂时丢失，因此可以根据所述已跟踪目标的预测位置信息在当前帧视差图中显示所述已跟踪目标。

举例来讲，如图6-2所示，其中，可知当前帧视差图中的1号、2号、3号目标分别与前一帧视差图中的2号、1号、3号目标相关联，则前一帧视差图中的4号目标为丢失目标，记录未关联的次数gapNum。该目标连续未关联次数gapNum大于3次以上，则删除该目标的ID信息；若小于等于3次，则根据4号目标的前几帧的跟踪信息预测其当前帧的位置信息，采用预测位置信息继续跟踪；若针对开始跟踪的三帧以内，存在两帧以上的未关联上的情况，则可以直接删除目标的ID信息。

作为一个实施例，目标关联上后，如果直接使用当前帧视差图中的目标框信息进行显示障碍物操作，视觉上目标框的跳动比较大，为稳定目标框，对关联上的目标框进行更新，具体更新方法为：确定关联目标后，可以根据已跟踪目标在前若干帧视差图中的的目标框位置，预测所述已跟踪目标在当前帧视差图中的预测目标框位置；然后将所述预测目标框位置与当前帧视差图中中与所述已跟踪目标关联的待跟踪目标的目标框位置进行加权计算得到综合位置，并将所述综合位置与前一帧视差图中的已跟踪目标的目标框位置比较得到位置差，判断该位置差是否大于预设阈值；若是，则在当前帧视差图中显示所述待跟踪目标的目标框位置；若否，则将所述综合位置作为当前帧视差图中所述待跟踪目标的目标框位置。经过上述方法更新目标框，可以避免因为目标移动位置后的目标框的跳动幅度较大，因此可以使目标框过渡平滑，提升用户的视觉体验。

由上述实施例可见，本申请可以通过获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算待跟踪目标与已跟踪目标的关联损失量；根据关联损失量确定所述待跟踪目标关联的已跟踪目标；再将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。本申请可以基于视差图的特点，采用障碍物目标的二维像素信息和三维信息进行目标的关联性判断，可以削弱了传统算法对目标框位置信息的依赖，因此在目标被部分遮挡的情况下也可以结合目标的三维信息进行有效的跟踪，因此可以确保跟踪的准确率，优化跟踪效果。

至此，完成实施例一的相关描述。

与前述视差图的目标跟踪方法的实施例相对应，本申请还提供了视差图的目标跟踪装置的实施例。

请参见图7，为本申请基于视差图的目标跟踪装置的一个实施例框图，该装置可以包括：

关联计算单元71，用于获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算所述待跟踪目标与所述已跟踪目标的关联损失量；

关联确定单元72，用于根据关联损失量确定所述待跟踪目标关联的已跟踪目标；

信息更新单元73，用于将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。

作为一个实施例，关联损失量的计算具体为：

Loss＝C₁·Δ_Distance+C_2··(Δ_W+Δ_H)+C₃·Δ_3DW+C₄·Δ_3DH+…C_n·Δ_else

其中，C₁、、C₃、C₄和C_n为各项的权值，Δ_Distance为相邻两帧距离的变化量，Δ_W和Δ_H为预测帧位置和当前帧的水平和垂直方向的变化量，Δ_3DW和Δ_3DH为相机坐标系中的目标宽度和高度的变化量，Δ_else为其他项变量。

作为一个实施例，关联损失量的计算还包括：

对Δ_Distance、Δ_W和Δ_H以及Δ_3DW和Δ_3DH进行均衡化计算，得到均衡化的关联损失量，所述均衡化的关联损失量具体为：

Loss＝C₁·Δ′_Distance+C_2··(Δ′_W+Δ′_H)+C₃·Δ′_3DW+C₄·Δ′_3DH+…C_n·Δ_else

其中：Δ′_Distance是、Δ′_W和Δ′_H、Δ′_3DW和Δ′_3DH分别是Δ_Distance、Δ_W和Δ_H、Δ_3DW和Δ_3DH的均衡化后的结果。

作为一个实施例，所述关联确定单元72，具体用于若当前帧视差图中包括多个待跟踪目标，或者所述前一帧视差图中包括多个已跟踪目标时，遍历所述多个待跟踪目标中第一目标与所述多个已跟踪目标中每个已跟踪目标的关联损失量；将所述多个已跟踪目标中的满足预设条件且与所述第一目标的关联损失量最小的第二目标作为所述第一目标的关联目标。

作为一个实施例，所述预设条件包括：所述已跟踪目标与待跟踪目标的位置差值和距离差值小于预设阈值。

作为一个实施例，所述装置还包括：

信息创建单元74，用于当所述待跟踪目标不存在关联目标时，则为所述待跟踪目标创建ID信息，并将所述待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。

作为一个实施例，所述装置还包括：

信息删除单元75，用于当所述已跟踪目标不存在关联目标时，则增加所述已跟踪目标的失联次数；判断所述已跟踪目标的连续失联次数是否大于预设数量；若是，则删除所述已跟踪目标的ID信息；若否，则根据所述已跟踪目标的预测位置信息在当前帧视差图中显示所述已跟踪目标。

作为一个实施例，所述装置还包括：

目标框显示单元76，用于根据已跟踪目标在前若干帧视差图中的的目标框位置，预测所述已跟踪目标在当前帧视差图中的预测目标框位置；将所述预测目标框位置与当前帧视差图中与所述已跟踪目标关联的待跟踪目标的目标框位置进行加权计算得到综合位置，并将所述综合位置与前一帧视差图中的已跟踪目标的目标框位置比较得到位置差，判断该位置差是否大于预设阈值；若是，则在当前帧视差图中显示所述待跟踪目标的目标框位置；若否，则将所述综合位置作为当前帧视差图中所述待跟踪目标的目标框位置。

由上述实施例可见，本申请可以通过获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算待跟踪目标与已跟踪目标的关联损失量；根据关联损失量确定所述待跟踪目标关联的已跟踪目标；再将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。本申请可以基于视差图的特点，采用障碍物目标的二维像素信息和三维信息进行目标的关联性判断，可以削弱了传统算法对目标框位置信息的依赖，因此在目标被部分遮挡的情况下也可以结合目标的三维信息进行有效的跟踪，因此可以确保跟踪的准确率，优化跟踪效果。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本申请基于视差图的目标跟踪装置的实施例可以应用在车载相机终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在车载相机终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本申请基于视差图的目标跟踪装置所在车载相机终端的一种硬件结构图，其中，处理器801是该车载相机终端800的控制中心，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行基于视差图的目标跟踪装置800的各种功能和处理数据，从而对该基于视差图的目标跟踪装置进行整体监控。

可选的，处理器801可包括(图8中未示出)一个或多个处理核心；可选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。

存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802主要包括(图8中未示出)存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据车载双目相机的标定装置800的使用所创建的数据(比如采集到的图像、计算得到的UV视差图像或者计算数据)等。

此外，存储器802可以包括(图8中未示出)高速随机存取存储器，还可以包括(图8中未示出)非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括(图8中未示出)存储器控制器，以提供处理器801对存储器802的访问。

在一些实施例中，装置800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通信总线或信号线(图8中未示出)相连。各个外围设备可以通信总线或信号线与外围设备接口803相连。具体地，外围设备可以包括：射频组件804、触摸显示屏805、摄像头组件806、音频组件807、定位组件808和电源组件809中的至少一种。

除了图8所示例的各个硬件之外，实施例中装置所在的车载相机终端通常根据该车载相机的实际功能，还可以包括其他硬件，对此不再赘述。

本领域技术人员可以理解的是，图8所示例的车载相机终端可以应用在汽车上，也可以应用在电脑、智能手机等其他设备上，本申请对此并不作限制。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一基于视差图的目标跟踪方法的步骤。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种基于视差图的目标跟踪方法，其特征在于，所述方法包括：

获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算所述待跟踪目标与所述已跟踪目标的关联损失量，所述关联损失量用于确定待跟踪目标关联的已跟踪目标；

若当前帧视差图中包括多个待跟踪目标，或者所述前一帧视差图中包括多个已跟踪目标时，遍历所述多个待跟踪目标中第一目标与所述多个已跟踪目标中每个已跟踪目标的关联损失量；

将所述多个已跟踪目标中的满足预设条件且与所述第一目标的关联损失量最小的第二目标作为所述第一目标关联的已跟踪目标；

将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息；

其中，关联损失量的计算具体为：

Loss＝C₁·Δ_Distance+C_2.·(Δ_W+Δ_H)+C₃·Δ_3DW+C₄·Δ_3DH+…C_n·Δ_else

其中，C₁、C₂、C₃、C₄和C_n为各项的权值，Δ_Distance为相邻两帧距离的变化量，Δ_W和Δ_H为预测帧位置和当前帧的水平和垂直方向的变化量，Δ_3DW和Δ_3DH为相机坐标系中的目标宽度和高度的变化量，Δ_else为其他项变量。

2.根据权利要求1所述的方法，其特征在于，关联损失量的计算还包括：

对Δ_Distance、Δ_W和Δ_H以及Δ_3DW和Δ_3DH进行均衡化计算，得到均衡化的关联损失量，所述均衡化的关联损失量具体为：

Loss＝C₁·Δ′_Distance+C₂.·(Δ′_W+Δ′_H)+C₃·Δ′_3DW+C₄·Δ′_3DH+…C_n·Δ_else

其中：Δ′_Distance、Δ′_W和Δ′_H、Δ′_3DW和Δ′_3DH分别是Δ_Distance、Δ_W和Δ_H、Δ_3DW和Δ_3DH的均衡化后的结果。

3.根据权利要求1所述的方法，其特征在于，所述预设条件包括：所述已跟踪目标与待跟踪目标的位置差值和距离差值小于预设阈值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述待跟踪目标不存在关联目标时，则为所述待跟踪目标创建ID信息，并将所述待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述已跟踪目标不存在关联目标时，则增加所述已跟踪目标的失联次数；

判断所述已跟踪目标的连续失联次数是否大于预设数量；

若是，则删除所述已跟踪目标的ID信息；

若否，则根据所述已跟踪目标的预测位置信息在当前帧视差图中显示所述已跟踪目标。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据已跟踪目标在前若干帧视差图中的目标框位置，预测所述已跟踪目标在当前帧视差图中的预测目标框位置；

将所述预测目标框位置与当前帧视差图中与所述已跟踪目标关联的待跟踪目标的目标框位置进行加权计算得到综合位置，并将所述综合位置与前一帧视差图中的已跟踪目标的目标框位置比较得到位置差，判断该位置差是否大于预设阈值；

若是，则在当前帧视差图中显示所述待跟踪目标的目标框位置；

若否，则将所述综合位置作为当前帧视差图中所述待跟踪目标的目标框位置。

7.一种基于视差图的目标跟踪装置，其特征在于，所述装置包括：

关联计算单元，用于获取当前帧视差图中的待跟踪目标的ID信息和前一帧视差图中的已跟踪目标的ID信息，根据所述待跟踪目标的ID信息和所述已跟踪目标的ID信息中携带的二维信息和三维信息，计算所述待跟踪目标与所述已跟踪目标的关联损失量，所述关联损失量用于确定待跟踪目标关联的已跟踪目标；

关联确定单元，用于若当前帧视差图中包括多个待跟踪目标，或者所述前一帧视差图中包括多个已跟踪目标时，遍历所述多个待跟踪目标中第一目标与所述多个已跟踪目标中每个已跟踪目标的关联损失量；将所述多个已跟踪目标中的满足预设条件且与所述第一目标的关联损失量最小的第二目标作为所述第一目标关联的已跟踪目标；

信息更新单元，用于将已跟踪目标的ID信息更新到与所述已跟踪目标关联的待跟踪目标的ID信息中，将更新后的待跟踪目标的ID信息作为后一帧视差图中的已跟踪目标的ID信息；

其中，关联损失量的计算具体为：

Loss＝C₁·Δ_Distance+C_2.·(Δ_W+Δ_H)+C₃·Δ_3DW+C₄·Δ_3DH+…C_n·Δ_else

其中，C₁、C₂、C₃、C₄和C_n为各项的权值，Δ_Distance为相邻两帧距离的变化量，Δ_W和Δ_H为预测帧位置和当前帧的水平和垂直方向的变化量，Δ_3DW和Δ_3DH为相机坐标系中的目标宽度和高度的变化量，Δ_else为其他项变量。

8.一种车载相机终端，其特征在于，包括存储器和处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6任一所述方法的步骤。

Images