CN113763431B - 一种目标跟踪方法、系统、电子装置及存储介质 - Google Patents

Abstract

本发明公开了一种目标跟踪方法、系统、电子装置及存储介质，方法包括：获取需要检测的摄像数据；对所述摄像数据进行轻量级的目标检测，得到所述摄像数据中目标的边框信息；根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；判断相邻两帧的所述摄像数据中的目标是否关联成功；若关联成功，则更新目标状态；若关联不成功，则将前一帧中关联未成功目标视为丢失目标，在之后帧中对目标进行重跟踪；本发明能够降低跟踪目标丢失的几率，提升目标跟踪的鲁棒性。

Description

一种目标跟踪方法、系统、电子装置及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种目标跟踪方法、系统、电子装置及存储介质。

背景技术

随着深度学习和卷积神经网络在特征提取、图像处理等领域取得的巨大发展，越来越多新颖神经网络被用于目标检测、目标跟踪、智能交通领域，且效果优于传统方法。但是深度学习网络模型的参数量和计算量都是巨大的，需要大型服务器提供算力支持，而嵌入式设备等移动终端只能提供低算力以及低内存，难以满足实时性能要求。

在基于检测结果的跟踪算法中，针对实时性问题，Alex提出SORT，首先使用卡尔曼滤波器来预测未来的对象位置，计算它们与未来帧中检测到对象的重叠程度，最后采用匈牙利算法进行跟踪。但是跟踪目标易丢失。针对丢失目标的重跟踪问题，Wojke将RE-ID(重识别)思想融入跟踪算法中，使用一个深度残差网络提取目标的特征，使用余弦距离度量特征间相似度形成联合关联损失，此外该特征还用于丢失目标重跟踪，但该算法的鲁棒性不强。

发明内容

本发明的主要目的在于提供一种目标跟踪方法、系统、电子装置及存储介质，旨在解决现有技术中的跟踪算法跟踪目标容易丢失，且鲁棒性不强的问题。

为实现上述目的，本发明第一方面提供一种目标跟踪方法，包括：获取需要检测的摄像数据；对所述摄像数据进行轻量级的目标检测，得到所述摄像数据中目标的边框信息；根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；判断相邻两帧的所述摄像数据中的目标是否关联成功；若关联成功，则更新目标状态；若关联不成功，则将上一帧中未关联成功的目标视为丢失目标，在之后的帧中对目标进行重跟踪。

其中，所述对所述摄像数据进行轻量级的目标检测时，还得到所述摄像数据中目标的类别、置信度；所述对目标进行重跟踪之前，所述方法还包括：对相邻两帧的前帧摄像数据中未关联成功的目标，判断是否从相邻两帧的后帧摄像数据中消失；若消失，则将该未关联成功的目标作为丢失目标，并保存目标信息，所述目标信息包括目标的类别和置信度；根据所述丢失目标的目标信息对丢失目标进行重跟踪。

其中，所述对目标进行重跟踪之前，所述方法还包括：判断在相邻两帧的前帧摄像数据之前，是否有丢失目标；若有丢失目标，则根据丢失目标的目标信息对丢失目标进行重跟踪；若无丢失目标，则将未关联的目标作为新出现的目标，赋值新的ID。

其中，所述边框信息包括边框大小和边框位置；所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联之前，目标跟踪方法还包括：根据边框大小，计算已经获取的所有帧的摄像数据中，已检测到的所有目标的边框大小的平均值；判断相邻两帧的摄像数据的目标的边框大小是否小于所述平均值；若小于，则对所述小于所述平均值的目标进行增益，并执行所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；若大于或等于，则执行所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联。

其中，所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联，包括：根据所述边框位置，计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的卡尔曼滤波后的边框的重叠度，得到重叠度匹配矩阵；计算目标的边框大小与所述平均值的比值的倒数，得到增益系数；计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的边框的增益系数，得到增益矩阵；使用所述重叠度匹配矩阵与所述增益矩阵相乘，得到数据关联矩阵；对所述关联矩阵进行阈值处理，并使用匈牙利算法对所述关联矩阵中目标的分配的问题进行最优化的求解，得到关联结果。

其中，所述对目标进行重跟踪包括：对相邻两帧数据的前帧摄像数据中关联不成功的目标、后帧摄像数据中的所有数据关联中视为新检测到的目标使用多尺度特征提取方法，得到多尺度的特征向量；对同一目标提取到的不同尺度的特征进行融合横向拼接，得到目标的特征向量；计算关联不成功目标的目标特征向量，与后帧摄像数据中数据关联中视为新检测到的目标的目标特征向量的相似度；将大于或等于预设的门限阈值的相似度保存至数组；使用每一丢失目标与所有新检测目标相似度的所述数组，生成所有丢失目标与所有新检测到目标的相似度矩阵；使用匈牙利匹配算法对所述相似度矩阵进行匹配，得到重跟踪结果。

其中，所述多尺度特征提取的方法包括：对目标提取多尺度的HSV特征和多尺度HOG特征两种特征，并将特征横向融合拼接。

本发明第二方面提供一种目标跟踪系统，包括：数据获取模块，用于获取需要检测的摄像数据；数据检测模块，用于对所述摄像数据进行轻量级的目标检测，得到所述摄像数据中目标的边框信息；目标关联模块，用于根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；关联判断模块，用于判断相邻两帧的所述摄像数据中的目标是否关联成功；关联输出模块，用于若关联成功，则更新目标状态，若关联不成功，则将上一帧中未关联成功的目标视为丢失目标，在之后的帧中对目标进行重跟踪。

本发明第三方面提供一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述中的任意一项所述目标跟踪方法。

本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述中的任意一项所述目标跟踪方法。

本发明提供一种目标跟踪方法、系统、电子装置及存储介质，有益效果在于：能够对关联不成功的目标进行重跟踪，从而降低了跟踪目标丢失的几率；另外，能够对关联成功的目标，更新状态，降低了原有状态对目标的干扰，从而提升了鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例目标跟踪方法的流程示意图；

图2为本发明实施例目标跟踪方法的相同目标在不同目标框中的交集图；

图3为本发明实施例目标跟踪方法的使用余弦距离度量相似性的向量图；

图4为本发明实施例目标跟踪系统的框架图；

图5为本发明实施例电子装置的结构示意框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为一种目标跟踪方法，包括：

S101、获取需要检测的摄像数据；

S102、对摄像数据进行轻量级的目标检测，得到摄像数据中目标的边框信息；

S103、根据相邻两帧的摄像数据中的目标边框信息对目标进行关联；

S104、判断相邻两帧的摄像数据中的目标是否关联成功；

S105、若关联成功，则更新目标状态；

S106、若关联不成功，则将上一帧中未关联成功的目标视为丢失目标，在之后的帧中对目标进行重跟踪。

在步骤S101中，摄像数据是摄像设备实时获取的数据，可以是照片，也可以是视频，其中包含的目标，可以是人、车辆等，在本实施例中，以摄像数据是视频数据、目标为车辆为例进行说明。

在步骤S102中，轻量级的目标检测网络使用Tiny-Yolov4网络，能够检测到目标的边框信息、类别信息和物体类别，边框信息包括边框位置信息和边框尺寸信息。

在步骤S103之前，还需要将视频数据进行分帧处理，得到每一帧的图像数据，随后执行步骤S103，将相邻两帧中的目标进行关联，逐帧的目标跟踪可认为车辆在相邻帧中发生了微小的移动。

在步骤S105中，能够对关联成功的目标，更新状态，降低了原有状态对目标的干扰，从而提升了鲁棒性。

在步骤S106中，能够对关联不成功的目标进行重跟踪，从而降低了跟踪目标丢失的几率。

因此，本实施例的目标跟踪方法，能够降低跟踪目标丢失的几率；并提升目标跟踪的鲁棒性。

在一个实施例中，在步骤S103，根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联之前，目标跟踪方法还包括：

S112、根据边框大小，计算已经获取的所有帧的摄像数据中，已检测到的所有目标的边框大小的平均值；

S122、判断相邻两帧的摄像数据的目标的边框大小是否小于平均值；

S132、若小于，则对小于平均值的目标进行增益，并执行根据相邻两帧的摄像数据中的目标边框信息对目标进行关联；

S142、若大于或等于，则执行根据相邻两帧的摄像数据中的目标边框信息对目标进行关联。

在本实施例中，使用IoU(Intersection over Union，重叠度)距离来度量车辆的相似性，根据目标检测输出的目标位置信息，计算当前帧中每个被检测到的车辆的目标框与前一帧中完成跟踪的所有车辆的卡尔曼滤波后的预测目标框的IoU。假设当前帧中有m个车辆，前一帧中检测结果有n个车辆，计算当前帧中每辆车与n辆车的IoU，结果为一个M×N的矩阵，并称该D_M×N矩阵为IoU匹配矩阵。

计算方法如下：

计算相邻两帧摄像数据A、B的目标边框的交集部分，如公式1：

A∩B＝[min(x₂，x′₂)-max(x₁，x′₁)]×[min(y₂，y′₂)-max(y₁，y′₁)] (1)

计算相邻两帧摄像数据A、B的目标边框的并集部分，如公式2：

A∪B＝(x₂-x₁)×(y₂-y₁)+(x′₂-x′₁)×(y′₂-y′₁)-A∩B (2)

计算重叠度IoU，如公式3：

IoU距离度量是基于车辆目标框在图像中的位置信息与大小信息，但计算IoU时并未考虑目标框大小对结果的影响。如图2所示，B1和B是当前帧中的被检测到的两个车辆目标框位置，A1和A是前一帧中两个目标所处的位置，两个大小不同车辆在发生相同的移动下，(a)图中的IoU值要大于(b)中IoU的值，在相同的阈值下，远距离小目标数据关联精度要低于大目标。

为提升小目标数据关联的准确率，同时不能降低大目标的关联精度。在基于IoU数据关联的基础上提出增益IoU数据关联方法。除计算IoU匹配矩阵外，需再求得当前帧的IoU增益矩阵，本专利提出的方法是计算截止当前帧中已检测到的所有目标框大小的平均值，比较当前帧中每个目标框与平均值大小，对于小于平均值的目标进行增益，大于等于平均值的目标则直接进行数据关联。如式(4)所示，对第T帧进行跟踪前，计算第一帧至当前第T帧中所有目标框的平均宽度平均高度/>其中T为当前帧数，N_t第t帧中含有的目标个数，x_{i_2}为第t帧中第i个目标框右下角x坐标，x_{i_1}为第t帧中第i个目标框左上角x坐标，y_{i_2}为第t帧中第i个目标框右下角y坐标，y_{i_1}为第t帧中第i个目标框左上角y坐标。

则平均宽度平均高度/>的计算方式分别如公式4、公式5：

增益系数设计为目标框大小与平均目标框大小比值的倒数，且最大增益值不超过2，大于平均值的目标框则不进行增益，即增益系数为1。第T-1帧中第i个目标在第T帧进行数据关联的IoU增益系数为：

第T帧的数据关联的IoU增益矩阵G_M×N为：

随着视频处理的帧数的增加，检测到的总目标个数增加，平均值和会适应数据集中目标框的大小从而趋向一个稳定值，使得不同大小的目标框增益系数趋于稳定。最后数据关联矩阵C_M×N为：

C_M×N＝D_M×N*G_M×N (8)

对上述CM×N进行阈值处理，本专利使用的阈值为为0.3，将进行增益后大于1的值进行向下取整得到矩阵。最后使用匈牙利算法对目标分配的问题进行最优化的求解，阈值处理如式9所示。

C'_M×N＝{c_ij|c_ij≥d_th,c_ij∈C_M×N} (9)

在一个实施例中，步骤S103，所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联，包括：

S1031、根据边框位置，计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的卡尔曼滤波后的边框的重叠度，得到重叠度匹配矩阵；

S1032、计算目标的边框大小与平均值的比值的倒数，得到增益系数；

S1033、计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的边框的增益系数，得到增益矩阵；

S1034、使用重叠度匹配矩阵与增益矩阵相乘，得到数据关联矩阵；

S1035、对关联矩阵进行阈值处理，并使用匈牙利算法对关联矩阵中目标的分配的问题进行最优化的求解，得到关联结果。

最后使用匈牙利算法对目标分配的问题进行最优化的求解，数据关联会产生以下三部分关联结果。

第一部分：上一帧中部分车辆与当前帧中的目标车辆关联。

第二部分：上一帧的部分车辆与当前帧中的目标车辆未关联，判断目标是否从视频中消失。

第三部分：当前帧中的部分车辆未与上一车辆关联上，则进行重跟踪过程。在重跟踪过程中判断是否为之前帧中跟踪丢失车辆。

在一个实施例中，步骤S106，对目标进行重跟踪之前，目标跟踪方法还包括：

S115、对相邻两帧的前帧摄像数据中未关联成功的目标，判断是否从相邻两帧的后帧摄像数据中消失；

S125、若未消失，则将该未关联成功的目标作为丢失目标，并保存目标信息，目标信息包括目标的类别和置信度；

S135、根据丢失目标的目标信息对丢失目标进行重跟踪。

在本实施例中，对上述实施例三部分关联结果中的第二部分进行目标数据的处理，从而进一步提升了目标跟踪的鲁棒性。

在一个实施例中，对目标进行重跟踪之前，目标跟踪方法还包括：

S145、判断在相邻两帧的前帧摄像数据之前，是否有丢失目标；

S155、若有丢失目标，则根据丢失目标的目标信息对丢失目标进行重跟踪；

S165、若无丢失目标，则将未关联的目标作为新出现的目标，赋值新的ID。

在本实施例中，对上述实施例三部分关联结果中的第三部分进行目标数据的处理，从而进一步提升了目标跟踪的鲁棒性。

在一个实施例中，且在步骤S106中，对目标进行重跟踪包括：

S1061、对相邻两帧数据的前帧摄像数据中关联不成功的目标、后帧摄像数据中的数据关联结果视为新检测到的所有目标使用多尺度特征提取方法，得到多尺度的特征向量；

S1062、对同一目标提取到的不同尺度的特征进行融合横向拼接，得到目标特征向量；

S1063、计算关联不成功目标的目标特征向量，与后帧摄像数据中数据关联视为新检测到的目标的目标特征向量的相似度；

S1064、将大于或等于预设的门限阈值的相似度保存至数组；

S1065、使用每一丢失目标与所有新检测目标相似度数组，生成所有丢失目标与所有新检测到目标的相似度矩阵；

S1066、使用匈牙利匹配算法对相似度矩阵进行匹配，得到重跟踪结果。

在步骤S1061中，多尺度特征提取的方法包括：对目标提取多尺度的HSV特征和多尺度HOG特征两种特征，并将特征横向融合拼接。在本实施例中，提取目标的多尺度HSV特征和HOG特征。

在本实施例中，进行HOG特征提取时，根据输出边框位置在原图像中提取丢失车辆图像的特征，将图像大小通过双线性插值的方法分别变成128×128、64×64、32×32三个尺度，进行多尺度的特征提取，均提取HOG特征后进行拼接生成最后的特征向量。对提取到目标车辆的进行gamma变换以消除光照带来的影响。本专利中的gamma值设定为1/2。

本实施例中分块大小为16×16,角度划分为9个区间。分块内的cell大小为8×8，采用线性加权的方法，在梯度方向相邻的两个区间内投影，4个cell可得到一个1×36维度的分块HOG特征。将分块以步长stride＝8向x和y方向移动共可得到225个分块，其分块个数计算方式如式(10)所示，其中s_x为图像的x方向的尺寸，b_x为分块中x方向的尺寸，d_x为分块沿x方向的步长,s_y为图像的y方向的尺寸，b_y为分块中y方向的尺寸，d_y为分块沿y方向的步长。尺寸为128×128的图片共得到一个1×8100的HOG特征向量。在多尺度下共得到10188维的HOG特征向量。

随后使用L2Normalization对该向量进行归一化处理：

其中，

而颜色特征也是描述目标非常重要的特征，此外还是人眼辨别物体最为直观的特征。为提高算法的鲁棒性，借助HOG特征中分块的思想，在进行HSV特征提取时，将整幅图分块，并提取每个分块的HSV颜色特征，最后将各块的特征向量拼接。算法的鲁棒性与提取特征时分块大小、步长的设定有着较大的关系，分块、步长越小，提取到的特征相似性区分度越高，相应的其时间计算复杂度也就越大。综合所有因素之后，在本专利中，分块大小为64×64，步长为32。在实际应用中，将整张图片中以尺寸64×64为分块，H、S、V三个维度0-255的灰度级的bins均设定为8，提取每个分块的HSV直方图即一个512(8×8×8)维的向量，根据公式(8)可得一个尺寸为128×128的目标图像共有9个分块，得到4608维的特征向量。该HSV特征对图像本身的方向、尺寸和视角依赖性较小，经过实验，证明该方法提取的特征对车辆的重识别具有较高区分度，提升了算法的鲁棒性。同样提取到最后的特征向量后，使用L2Normalization对向量进行归一化。

在步骤S1063中，余弦距离的计算方法如下：

余弦距离也称为余弦相似度，用两个高维空间中两个向量夹角的余弦值来衡量两个向量之间的相似度。本实施例中提取的特征向量均具有方向一致性，所以当特征向量的夹角余弦值接近于1时，表示二者越相近，夹角余弦值接近于0时，表示二者不属于同一类。此外cosθ∈[0,1]，余弦距离能够直观的表示二者的相似度。如图3所示为使用余弦距离度量相似性的向量图。

其中特征向量与特征向量/>均为归一化之后的特征向量，二者的相似度计算公式为：

在实际的计算中，计算两个特征特征向量的欧式距离来间接导出余弦距离。特征向量的欧式距离为：

特征使用L2Normalization进行归一化处理，由式(13)可得：

再由公式(13)可得：

即：

通过计算特征向量的欧式距离从而直接计算向量的余弦距离，带来的好处是在相似度计算杂度上，计算欧氏距离的时间复杂度仅为余弦距离的50％。以这种方法分别计算HSV特征的相似度记为sim_hsv，HOG特征的相似度记为sim_hog。

在本实施例中，由于道路上车辆的颜色与类型相似的较多，在同一个阈值下，部分车辆的重跟踪会造成错误。视频车辆目标跟踪中，目标车辆的位置是具有一定的连续性的。车辆在图像中的大致位置由车辆当前的速度以及摄像机的采样频率所决定的。在此基础上提出了一种基于空间位置自适应阈值的方法，通过丢失目标最后一帧的车辆位置与待匹配的新检测到的车辆位置来确定相似度的门限阈值。

因此步骤S104可具体如下：

提取丢失目标和当前帧中数据关联第三部分中的目标的特征并计算相似度sim。以式(18)定义最终HOG特征的相似度，其中sim_hog为通过特征加余弦度量计算的HOG特征相似度，sim_{hog_last}为最终的HOG特征相似度。之所以需要将HOG特征的相似度重新再次定义是因为车辆的纹理特征过于相似。

融合HSV和HOG的特征总相似度sim为

sim＝λ₁sim_hsv+λ₂sim_{hog_last} (19)

其中λ₁＝0.7,λ₂＝0.3。在此参数下算法对于车辆重识别的区分度最好，此外是因为HSV特征的鲁棒性比HOG特征更好。

计算丢失目标和当前帧中数据关联为新检测的目标的中心距离d_c、新检测目标的对角线长度d_d，能够消除目标检测框的大小的影响，则空间距离为：

通过式(21)规则确定门限阈值sim_th：

比较相似度与门限阈值，如果相似度大于门限阈值将该相似度保留到一个数组s＝[x₁,x₂,x₃,......,x_i]，其中x_i表示第i个数据关联中被视为新检测到的目标与该丢失目标的相似度，小于则相应位置的值为0。

N个丢失目标，M个新检测车辆，经过上述步骤生成一个N×M的矩阵。

通过匈牙利匹配算法进行匹配，得出三部分结果，以下是对三部分结果进行的数据操作：

未被重新识别的丢失目标继续标记为丢失车辆；对重识别成功的车辆将丢失目标ID赋予该车辆；未匹配的新检测车辆赋值新的ID。

对于未被重新识别的丢失车辆目标，保留其计算过的特征信息，在之后的重跟踪过程中不再需要提取其特征，减少计算时间。

对于超过120帧还未重识别的目标，认为其为目标检测阶段误检或是丢失前车辆检测框偏差过大，难以匹配目标，在之后不再对其进行重跟踪。

在本实施例中，还对目标跟踪方法进行了实验，使用的嵌入式设备为英伟达Jetson TX2开发板。其配置参数为CPU:HMP Dual Denver2/2MBL2+Quad ARM@A58/2MB L2、GPU：NVIDIA PascalTM、256CUDA核心、内存：8G。数据集来源为课题组采集的2017年中国陕西省某高速公路道路监控实时视频数据,视频数据的采样率为20HZ，时间长为60S共1203帧，分辨率为1920×1080，共含有各钟颜色、大小、车型的真实车辆目标共计9208个。如表1所示，在10HZ和15HZ采样率下的视频进行帧抽取，生成新的视频数据。不同的采样率下使用的检测模型均为Tiny-YoLov4。只统计相邻两帧中车辆的数据关联正确率，对于由于检测的不连续性造成的未关联不做统计。降低抽样频率近似等于增大了目标在相邻两帧中的移动距离，从实验结果可得本专利中的增益IoU数据关联方法，能够很好提升目标数据关联的正确率。在输入图像尺寸为640时，目标检测mAP(mean Average Precision)升高，更多的远距离小目标被检测到，IoU数据关联正确率仅为91.4％，而本专利中的方法在数据关联的正确率上提升了6.4％。

表1 数据关联正确率比较

表2所示为同其他算法的实验对比结果。其中Tiny-YOLOv4模型输入图像尺寸为640×640，YOLOV4输入图像尺寸为608×608。首先在使用YoLov4作为基础检测模型时，本专利提出的算法相对于DeepSort，ID交换从136减少到24，减少了约82％，且与FariMOT算法接近，而这些发生ID交换的目标主要为远距离的小目标。然后，MOTA(跟踪准确度)、MOTP(跟踪精度)、MT(命中的目标占总目标的比例)、ML(丢失的目标占总目标的比例)等指标受目标检测精度影响较大，在基于相同的检测模型下，差距较小，其中FN为未命中目标的总数，IDS为ID变化的总次数，FM为跟踪过程中的中断总次数，RUNTIME为运行时间。在使用高性能目标检测框架(YoLov4、FairMOT)时具有较高的得分但在使用轻量级的目标检测网络Tiny-Yolov4时，算法依然保持较高的精度，在ID交换方面与FairMOT持平。最后，跟踪算法在Jetson TX2上平均每帧仅耗时7.66ms而DeepSort算法实测为116ms。因为FairMOT属于联合检测与跟踪一体的算法，表中FairMOT统计的时间数据为包含了检测和跟踪的时间。本专利的提出的算法能很好地跟踪远距离小目标，尤其是针对丢失目标的重跟踪效果较好以及其速度优势。

表2 同其他算法对比结果

请参阅图4，本申请实施例还提供一种目标跟踪系统，包括：

数据获取模块1、数据检测模块2、目标关联模块3、关联判断模块4及关联输出模块5；数据获取模块1用于获取需要检测的摄像数据；数据检测模块2用于对所述摄像数据进行轻量级的目标检测，得到所述摄像数据中目标的边框信息；目标关联模块3用于根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；关联判断模块4用于判断相邻两帧的所述摄像数据中的目标是否关联成功；关联输出模块5用于若关联成功，则更新目标状态，若关联不成功，则将上一帧中未关联成功的目标视为丢失目标，在之后的帧中对目标进行重跟踪。

在一个实施例中，所述对所述摄像数据进行轻量级的目标检测检测时，还得到所述摄像数据中目标的类别、置信度。

目标跟踪系统还包括：目标消失判断模块，用于对相邻两帧的前帧摄像数据中未关联成功的目标，判断是否从相邻两帧的后帧摄像数据中消失；目标信息保存模块，用于若消失，则将该未关联成功的目标作为丢失目标，并保存目标信息，所述目标信息包括目标的类别和置信度；第一调用模块，根据所述丢失目标的目标信息调用所述关联输出模块5对丢失目标进行重跟踪。

在一个实施例中，目标跟踪系统还包括：目标丢失判断模块，用于判断在相邻两帧的前帧摄像数据之前，是否有丢失目标；第二调用模块，用于若有丢失目标，则根据丢失目标的目标信息调用关联输出模块5，对丢失目标进行重跟踪；赋值模块，用于若无丢失目标，则将未关联的目标作为新出现的目标，赋值新的ID。

在一个实施例中，所述边框信息包括边框大小和边框位置；

目标跟踪系统还包括：平均值计算模块，用于根据边框大小，计算已经获取的所有帧的摄像数据中，已检测到的所有目标的边框大小的平均值；平均值判断模块，用于判断相邻两帧的摄像数据的目标的边框大小是否小于所述平均值；增益模块，用于若小于，则对所述小于所述平均值的目标进行增益，并执行所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；第三调用模块，用于若大于或等于，则调用目标关联模块3，根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联。

在一个实施例中，目标关联模块3包括：重叠度计算单元，用于根据所述边框位置，计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的卡尔曼滤波后的边框的重叠度，得到重叠度匹配矩阵；增益系数计算单元，用于计算目标的边框大小与所述平均值的比值的倒数，得到增益系数；增益矩阵生成单元，用于计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的边框的增益系数，得到增益矩阵；关联矩阵生成单元，用于使用所述重叠度匹配矩阵与所述增益矩阵相乘，得到数据关联矩阵；关联结果生成单元，用于对所述关联矩阵进行阈值处理，并使用匈牙利算法对所述关联矩阵中目标的分配的问题进行最优化的求解，得到关联结果。

在一个实施例中，关联输出模块5包括：多特征提取单元，用于对相邻两帧数据的前帧摄像数据中关联不成功的目标、后帧摄像数据中数据关联中视为新检测到的目标使用多尺度特征提取方法，得到多尺度的特征向量；特征融合单元，对同一目标的提取的多尺度特征进行融合横向拼接，得到目标的特征向量，在本实施例中，特征融合单元还用于对后序计算的HSV相似度与HOG特征相似度进行融合；相似度计算单元，用于计算关联不成功目标的目标特征向量，与后帧摄像数据中数据关联中视为新检测到目标特征向量的相似度；数组保存单元，用于将大于或等于预设的门限阈值的相似度保存至数组；相似度矩阵生成单元，用于使用所述数组，生成相似度矩阵；跟踪结果生成单元，用于使用匈牙利匹配算法对所述相似度矩阵进行匹配，得到重跟踪结果。

本申请实施例提供一种电子装置，请参阅图5，该电子装置包括：存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序，处理器502执行该计算机程序时，实现前述中描述的目标跟踪方法。

进一步的，该电子装置还包括：至少一个输入设备503以及至少一个输出设备504。

上述存储器501、处理器502、输入设备503以及输出设备504，通过总线505连接。

其中，输入设备503具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备504具体可为显示屏。

存储器501可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器501用于存储一组可执行程序代码，处理器502与存储器501耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述中的存储器501。该计算机可读存储介质上存储有计算机程序，该程序被处理器502执行时实现前述实施例中描述的目标跟踪方法。

进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器501(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种目标跟踪方法、系统、电子装置及存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种目标跟踪方法，其特征在于，包括：

获取需要检测的摄像数据；

使用Tiny-Yolov4网络，对所述摄像数据进行轻量级的目标检测，得到所述摄像数据中目标的边框信息；所述边框信息包括边框大小和边框位置；

根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；

判断相邻两帧的所述摄像数据中的目标是否关联成功；

若关联成功，则更新目标状态；

若关联不成功，则将上一帧中未关联成功的目标视为丢失目标，在之后的帧中对目标进行重跟踪；

所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联之前，目标跟踪方法还包括：

根据边框大小，计算已经获取的所有帧的摄像数据中，已检测到的所有目标的边框大小的平均值；

判断相邻两帧的摄像数据的目标的边框大小是否小于所述平均值；

若小于，则对所述小于所述平均值的目标进行增益，并执行所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；

若大于或等于，则执行所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；

所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联，包括：

根据所述边框位置，计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的卡尔曼滤波后的边框的重叠度，得到重叠度匹配矩阵；

计算目标的边框大小与所述平均值的比值的倒数，得到增益系数；

计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的边框的增益系数，得到增益矩阵；

使用所述重叠度匹配矩阵与所述增益矩阵相乘，得到数据关联矩阵；

对所述关联矩阵进行阈值处理，并使用匈牙利算法对所述关联矩阵中目标的分配的问题进行最优化的求解，得到关联结果；

所述对目标进行重跟踪包括：

对相邻两帧数据的前帧摄像数据中关联不成功的目标、后帧摄像数据中的数据关联结果视为新检测到的所有目标使用多尺度特征提取方法，得到多尺度的特征向量；

对同一目标提取到的不同尺度的特征进行融合横向拼接，得到目标的特征向量；

计算关联不成功目标的目标特征向量，与后帧摄像数据中数据关联结果视为新检测到的目标的目标特征向量的相似度；

将大于或等于预设的门限阈值的相似度保存至数组；

使用每一丢失目标与所有新检测目标相似度的所述数组，生成所有丢失目标与所有新检测到目标的相似度矩阵；

使用匈牙利匹配算法对所述相似度矩阵进行匹配，得到重跟踪结果。

2.根据权利要求1所述的目标跟踪方法，其特征在于，

所述对所述摄像数据进行轻量级的目标检测时，还得到所述摄像数据中目标的类别、置信度；

所述对目标进行重跟踪之前，所述方法还包括：

对相邻两帧的前帧摄像数据中未关联成功的目标，判断是否从相邻两帧的后帧摄像数据中消失；

若消失，则将该未关联成功的目标作为丢失目标，并保存目标信息，所述目标信息包括目标的类别和置信度；

根据所述丢失目标的目标信息对丢失目标进行重跟踪。

3.根据权利要求2所述的目标跟踪方法，其特征在于，

所述对目标进行重跟踪之前，所述方法还包括：

判断在相邻两帧的前帧摄像数据之前，是否有丢失目标；

若有丢失目标，则根据丢失目标的目标信息对丢失目标进行重跟踪；

若无丢失目标，则将未关联的目标作为新出现的目标，赋值新的ID。

4.根据权利要求1所述的目标跟踪方法，其特征在于，

所述多尺度特征提取的方法包括：

对目标提取多尺度的HSV特征和多尺度HOG特征两种特征，并将特征横向融合拼接。

5.一种目标跟踪系统，其特征在于，包括：

数据获取模块，用于获取需要检测的摄像数据；

数据检测模块，用于使用Tiny-Yolov4网络，对所述摄像数据进行轻量级的目标检测，得到所述摄像数据中目标的边框信息；所述边框信息包括边框大小和边框位置；

目标关联模块，用于根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；

关联判断模块，用于判断相邻两帧的所述摄像数据中的目标是否关联成功；

关联输出模块，用于若关联成功，则更新目标状态，若关联不成功，则将上一帧中未关联成功的目标视为丢失目标，在之后的帧中对目标进行重跟踪；

平均值计算模块，用于根据边框大小，计算已经获取的所有帧的摄像数据中，已检测到的所有目标的边框大小的平均值；

平均值判断模块，用于判断相邻两帧的摄像数据的目标的边框大小是否小于所述平均值；

增益模块，用于若小于，则对所述小于所述平均值的目标进行增益，并执行所述根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；

第三调用模块，用于若大于或等于，则调用目标关联模块，根据相邻两帧的所述摄像数据中的目标边框信息对目标进行关联；

目标关联模块包括：重叠度计算单元，用于根据所述边框位置，计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的卡尔曼滤波后的边框的重叠度，得到重叠度匹配矩阵；增益系数计算单元，用于计算目标的边框大小与所述平均值的比值的倒数，得到增益系数；增益矩阵生成单元，用于计算相邻两帧的后帧摄像数据中每个目标的边框与前帧摄像数据中完成跟踪的所有目标的边框的增益系数，得到增益矩阵；关联矩阵生成单元，用于使用所述重叠度匹配矩阵与所述增益矩阵相乘，得到数据关联矩阵；关联结果生成单元，用于对所述关联矩阵进行阈值处理，并使用匈牙利算法对所述关联矩阵中目标的分配的问题进行最优化的求解，得到关联结果；

关联输出模块包括：多特征提取单元，用于对相邻两帧数据的前帧摄像数据中关联不成功的目标、后帧摄像数据中的数据关联结果视为新检测到的所有目标使用多尺度特征提取方法，得到多尺度的特征向量；特征融合单元，用于对同一目标提取到的不同尺度的特征进行融合横向拼接，得到目标的特征向量；相似度计算单元，用于计算关联不成功目标的目标特征向量，与后帧摄像数据中数据关联结果视为新检测到的目标的目标特征向量的相似度；数组保存单元，用于将大于或等于预设的门限阈值的相似度保存至数组；相似度矩阵生成单元，用于使用每一丢失目标与所有新检测目标相似度的所述数组，生成所有丢失目标与所有新检测到目标的相似度矩阵；跟踪结果生成单元，用于使用匈牙利匹配算法对所述相似度矩阵进行匹配，得到重跟踪结果。

6.一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至4中的任意一项所述目标跟踪方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至4中的任意一项所述目标跟踪方法。