CN110533693B

CN110533693B - 一种目标跟踪方法及目标跟踪装置

Info

Publication number: CN110533693B
Application number: CN201910810037.3A
Authority: CN
Inventors: 孙巍巍; 师小凯; 邓一星
Original assignee: Beijing Elite Road Technology Co ltd
Current assignee: Beijing Elite Road Technology Co ltd
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2023-02-07
Anticipated expiration: 2039-08-29
Also published as: CN110533693A

Abstract

本申请提供一种目标跟踪方法及目标跟踪装置，用于降低目标跟踪过程中的目标跟丢的概率。该目标跟踪方法包括：针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域；其中，所述至少一个待跟踪目标是从所述当前帧图像的上一帧图像中确定出来的；从所述至少两个候选区域中确定出第一候选目标集合；从所述第一候选目标集合中确定出与每个待跟踪目标匹配的候选目标。

Description

一种目标跟踪方法及目标跟踪装置

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种目标跟踪方法及目标跟踪装置。

背景技术

目标跟踪是计算机视觉研究领域的热点之一，目标跟踪在视频监控、导航、军事、人机交互、虚拟现实、自动驾驶等多个领域都有着广泛的应用。简单来说，目标跟踪就是对视频中给定的目标进行分析跟踪，以确定视频中目标的确切位置。

目前的目标跟踪方法多是根据前一帧图像中的待跟踪目标所在的区域来确定待跟踪目标在当前帧图像中的候选区域。而由于现有的目标跟踪方法多因考虑到耗时问题，无法将确定出的候选区域无限扩大，且由于待跟踪目标的不可控性，容易导致目标跟踪过程中目标跟丢。

发明内容

本申请实施例提供一种目标跟踪方法及目标跟踪装置，用于降低目标跟踪过程中的目标跟丢的概率。

第一方面，本申请提供了一种目标跟踪方法，包括：

针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域；其中，所述至少一个待跟踪目标是从所述当前帧图像的上一帧图像中确定出来的；

从共获得的至少两个候选区域中确定出第一候选目标集合；

从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标。

在本申请实施例中，针对至少一个待跟踪目标中的每个待跟踪目标，可以分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，相较于现有技术扩大了待跟踪目标的跟踪范围，能够降低因待跟踪目标的移动速度过快而造成目标跟丢的概率。

在一个可能的设计中，针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域，包括：

根据所述每个待跟踪目标的运动参数，确定所述每个待跟踪目标在所述当前帧图像中的第一候选区域；

根据所述每个待跟踪目标在所述上一帧图像中的区域，确定所述每个待跟踪目标在所述当前帧图像中的至少一个第二候选区域。

在本申请实施例中，除了根据待跟踪目标在上一帧图像中的区域来确定每个待跟踪目标在当前帧图像中的候选区域外，还根据待跟踪目标的运动参数来确定每个待跟踪目标在当前帧图像中的候选区域，不仅扩大了候选区域的范围，还能保证候选区域的精准性，从而能够降低跟丢目标的概率。

在一个可能的设计中，根据所述每个待跟踪目标的运动参数，确定所述每个待跟踪目标在所述当前帧图像中的第一候选区域，包括：

根据所述每个待跟踪目标的移动速度及所述当前帧图像与所述上一帧图像之间的时间差，确定所述每个待跟踪目标的移动方向及移动距离；

根据所述每个待跟踪目标的移动方向及移动距离，确定所述每个待跟踪目标在所述当前帧图像中的第一候选区域。

在一个可能的设计中，从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标，包括：

确定所述每个待跟踪目标与对应的候选目标之间的尺寸比例；其中，所述对应的候选目标为与所述每个待跟踪目标对应的至少两个候选区域中的目标；

根据所述每个待跟踪目标与对应的候选目标之间的尺寸比例，从所述第一候选目标集合中删除尺寸比例小于第一预设尺寸比例或大于第二预设尺寸比例的候选目标，获得第二候选目标集合；

从所述第二候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标。

在本申请实施例中，由于每个待跟踪目标在相邻两帧图像中的变化差异不会太大，因此可以从第一候选目标集合中删除尺寸比例小于第一预设比例或大于第二预设比例的候选目标，也就是能够从第一候选目标集合中排除干扰，以提高目标跟踪过程中目标跟踪的效率。

在一个可能的设计中，所述方法还包括：

确定所述每个待跟踪目标所在区域的颜色质心、所述每个待跟踪目标所在区域的颜色主成分，以及所述第二候选目标集合中每个候选目标所在区域的颜色质心、所述每个候选目标所在区域的颜色主成分；

根据所述每个待跟踪目标所在区域的颜色质心及所述每个待跟踪目标所在区域的颜色主成分，计算所述每个待跟踪目标所在区域的每个像素点的权重，以及根据所述每个候选目标所在区域的颜色质心及所述每个候选目标所在区域的颜色主成分，计算所述每个候选目标所在区域的每个像素点的权重；

根据所述每个待跟踪目标所在区域的每个像素点的权重，确定所述每个待跟踪目标所在区域的颜色直方图，及根据所述每个候选目标所在区域的每个像素点的权重，确定所述每个候选目标所在区域的颜色直方图；

根据所述每个待跟踪目标所在区域的颜色直方图，及所述每个候选目标所在区域的颜色直方图，计算所述每个待跟踪目标与对应的候选目标之间的相似度。

由于每个待跟踪目标可能被遮挡或受背景的影响而相对不可靠，因此需要为每个待跟踪目标所在区域的像素点和每个候选目标所在区域的像素点设置权重。而在本申请实施例中，在设置权重时，涉及了区域的颜色质心和颜色主成分，考虑因素更为全面，从而能够保证确定出的每个待跟踪目标的目标特征和每个候选目标的目标特征更为精准，进而能够降低目标跟踪过程中的目标误匹配的概率。

在一个可能的设计中，任一待跟踪目标所在区域的第i个像素点的权重为：

其中，C为归一化系数，K为核函数，|| ||表示取模，X_i表示所述任一待跟踪目标所在区域的第i个像素点，X^C用于表征所述任一待跟踪目标所在区域的质心，X^S用于表征所述任一待跟踪目标所在区域的颜色主成分，

用于表征所述任一待跟踪目标所在区域的颜色主成分空间的第i个元素，

用于表征所述任一待跟踪目标所在区域的颜色质心空间的第i个元素。

在一个可能的设计中，从所述第二候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标，包括：

根据所述每个待跟踪目标与对应的候选目标之间的相似度，建立相似度矩阵；其中，所述相似度矩阵中的横轴方向用于表征所述至少一个待跟踪目标，纵轴方向用于表征所述第二候选目标集合中的候选目标；

将所述相似度矩阵一行中元素的值均小于第一阈值的元素设置为零，将一列中元素的值均小于第二阈值的元素设置为零，将剩余元素中元素的值大于或等于第三阈值的元素设置为1，将小于所述第三阈值的元素设置为0，获得处理后的相似度矩阵；

根据所述处理后的相似矩阵，确定与所述每个待跟踪目标匹配的候选目标。

在本申请实施例中，可以根据相似度矩阵，确定出丢失跟踪目标和新增跟踪目标，从而能够有效的提高目标跟踪的效率。

第二方面，本申请实施例还提供一种目标跟踪装置，包括：

获得模块，用于针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域；其中，所述至少一个待跟踪目标是从所述当前帧图像的上一帧图像中确定出来的；

第一确定模块，用于从共获得的至少两个候选区域中确定出第一候选目标集合；

第二确定模块，用于从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标。

在一个可能的设计中，在所述获得模块针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域时，具体用于：

在一个可能的设计中，在所述获得模块根据所述每个待跟踪目标的运动参数，确定所述每个待跟踪目标在所述当前帧图像中的第一候选区域时，具体用于：

在一个可能的设计中，在所述第二确定模块从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标时，具体用于：

在一个可能的设计中，所述目标跟踪装置还包括：

第三确定模块，用于确定所述每个待跟踪目标所在区域的颜色质心、所述每个待跟踪目标所在区域的颜色主成分，以及所述第二候选目标集合中每个候选目标所在区域的颜色质心、所述每个候选目标所在区域的颜色主成分；

第一计算模块，用于根据所述每个待跟踪目标所在区域的颜色质心及所述每个待跟踪目标所在区域的颜色主成分，计算所述每个待跟踪目标所在区域的每个像素点的权重，以及根据所述每个候选目标所在区域的颜色质心及所述每个候选目标所在区域的颜色主成分，计算所述每个候选目标所在区域的每个像素点的权重；

第四确定模块，用于根据所述每个待跟踪目标所在区域的每个像素点的权重，确定所述每个待跟踪目标所在区域的颜色直方图，及根据所述每个候选目标所在区域的每个像素点的权重，确定所述每个候选目标所在区域的颜色直方图；

第二计算模块，用于根据所述每个待跟踪目标所在区域的颜色直方图，及所述每个候选目标所在区域的颜色直方图，计算所述每个待跟踪目标与对应的候选目标之间的相似度。

其中，C为归一化系数，K为核函数，|| ||表示取模，X_i表示所述任一待跟踪目标所在区域的第i个像素点，X^C用于表征所述任一待跟踪目标所在区域的颜色质心，X^S用于表征所述任一待跟踪目标所在区域的颜色主成分，

在一个可能的设计中，在所述第二确定模块从所述第二候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标时，具体用于：

第三方面，本申请还提供一种目标跟踪装置，包括：

存储器，存储有指令；

处理器，用于读取所述存储器中存储的指令，执行如第一方面及第一方面的任意一种设计的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

第五方面，本申请提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

在本申请实施例中，针对至少一个待跟踪目标中的每个待跟踪目标，可以分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，相较于现有技术扩大了待跟踪目标的跟踪范围，能够有效地防止发生因跟踪目标移动速度过快而跟丢目标的情况，从而能够降低目标跟丢的概率，提高目标跟踪的准确性。

附图说明

图1为本申请一实施例提供的一种应用场景的示意图；

图2为本申请提供的一种目标跟踪方法的流程示意图；

图3为本申请提供的一种目标跟踪装置的结构示意图；

图4为本申请提供的另一种目标跟踪装置的结构示意图；

图5为本申请提供的目标跟踪装置是服务器的结构示意图；

图6为本申请提供的目标跟踪装置是终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)颜色直方图，是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。

在具体实现过程中，对于颜色直方图来说，横坐标是颜色空间，纵坐标是是该颜色的像素点的数量。对于常用的RGB坐标一共有256×256×256＝16777216种，这样横坐标过多，而且很多横坐标对应的像素点数量很少，整个直方图会很稀疏。因此将颜色空间划分为若干个小的颜色区间，对于每个颜色通道(R，G，B)，每16个划分到一个bin里面，这样每个颜色通道就有16bins，也就是每个颜色通道取16个值，那么由排列组合可知，取法一共有16^3＝4096种。

作为示例，假设一个像素的R、G、B，3个通道的取值分别为2、5、4，那么在bins下的坐标就应该为(1,1,1)，因为2相对于R通道来说属于第一个bins，后面的同理。

(2)均值漂移算法(meanshift)，在介绍均值漂移算法之前，首先介绍下运动跟踪，运动跟踪就是在程序中输入一个跟踪目标，即想要跟踪什么，然后程序就在接下来的视频帧中去寻找这个目标了，给定跟踪目标很简单，直接在图像给一个ROI给程序就可以了，那么程序接下来要做的就是在下一帧图像中去找这个ROI，但这个ROI是移动了的，已经不在之前的位置了，那么在这个时候程序要怎么来找到这个感兴趣区域(Region Of Interest，ROI)，那么在计算机视觉中通常是，首先对跟踪目标进行描述，也就是是将跟踪目标区域转换为色调、饱和度、明度(Hue Saturation Value，HSV)空间，然后得到H通道的分布直方图。有了这个描述之后，就是要在下一帧图像中找到和这个描述的一样的区域，但是要找个完全一样的区域很难，所以通常会用一个相似函数来衡量找到的区域和目标区域的相似度，通过这个相似函数，相似函数值越大说明找到的区域和目标区域越相似，所以目标就是要找到这个对应最大相似度的区域，那怎么来找到，就用均值漂移算法，通过不断迭代得到有最大相似值的区域。

均值漂移算法，一般是指一个迭代的步骤，即先计算出当前点的偏移均值，移动该点到其偏移值均值，然后以此为新的起点，继续移动，知道满足一定的条件结束。例如，首先在d维空间中，任选一个点，然后以这个点为圆心，h为半径做一个高维球，因为有d维，d可能大于2，所以是高维球。落在这个球内的所有点和圆心都会产生一个向量，向量是以圆心为起点落在球内的点为终点。然后把这些向量都相加，相加的结果就是Meanshift向量；然后再以meanshift向量的终点为圆心，再做一个高维的球，重复以上步骤，就可以得到一个meanshift向量。如此重复下去，meanshift算法可以收敛到概率密度最大的地方。

(3)主成分分析(Principal Components Analysis，PCA)，是最常用的降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量组，以此使用较少的数据维度，同时保留住较多的原数据点的特性。

PCA的数据算法可以包括如下步骤：去除平均值；计算协方差矩阵；计算协方差矩阵的特征值和特征向量；将特征值排序；保留前P个最大的特征值对应的特征向量；将原始特征转换到上面得到的N个特征向量构建的新空间中

(4)巴氏距离(Bhattacharyya)，在统计学中，巴氏距离也称巴塔恰里雅距离，用于测量两离散概率分布。它常在分类中测量类之间的可分离性。在同一定义域X中，概率分布p和q的巴氏距离定义如下：

对于在X数域上的两个离散概率分布p和q，巴氏距离定义为：

DB(p，q)＝-ln(BC(p，q))

其中，BC(p，q)被称作巴氏系数，

(5)匈牙利算法，是基于Hall定理中充分性证明的思想，它是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。

作为示例，假设有四位同学1、2、3、4，有四个座位A、B、C、D，每个同学都有自己喜欢的座位，首先是1号同学，直接坐在了A座位上，然后到2号同学，直接坐在了B座位上，到3号同学后，发现自己喜欢的座位B被2号同学占了，这时则给2号同学重新找一个位置，2号同学发现C座位没人则坐在C座位上，3号同学则坐在B座位上，到4号同学后，D座位是空着的，则坐在D座位上。

(6)本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。且在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

应理解，本申请实施例提供的目标跟踪方法可以应用于具有图像处理功能的设备，如终端设备、服务器等。其中，终端设备可以是计算机、智能手机、个人数字助理(Personal Digital Assitant，PAD)、平板电脑等；服务器可以是应用服务器，也可以是Web服务器，在实际应用部署时，该服务器可以为独立的服务器，也可以是由多个服务器组成的集群服务器。

请参见图1，为本申请提供的一种应用场景，包括服务器、与服务器通过网络相连的至少一个图像采集单元。其中，图像采集单元用于将自身录制的视频数据发送至服务器，服务器用于执行本申请实施例提供的目标跟踪方法，以在图像采集单元发送的视频数据包括的各视频帧中进行目标跟踪。在具体实现过程中，本申请提供的应用场景中还可以包括与服务器通过网络相连的至少一个监控终端。

监控终端为监控人员对目标进行跟踪处理所采用的终端。任一监控终端可以通过无线网络，例如无线保真(Wireless Fidelity，WIFI)、第三代移动通信技术(the 3thGenernation，3G)、第四代移动通信技术(the 4^th Genernation，4G)、第五代移动通信技术(the 5^th Genernation，5G)，或者通过有线网络与服务器进行通信。图像采集单元可以是摄像头终端，用于采集视频数据的终端，任一摄像头终端可以通过WIFI、3G、4G、5G等无线网络或有限网络与服务器进行通信。监控终端可以包括但不限于个人计算机、笔记本电脑、智能手机、平板电脑和具备无线通讯功能的可穿戴设备(如智能手表或智能眼镜等)等。摄像头终端可以包括一个摄像头，也可以包括多个摄像头。

下面则结合附图介绍本申请实施例提供的技术方案，在下面的介绍过程中，以将本申请实施例提供的技术方案应用在图1所示的应用场景中为例。

请参见图2，为本申请一实施例提供的一种目标跟踪方法的流程示意图。为了便于描述，本申请实施例以服务器作为执行主体进行描述，应理解，该目标跟踪方法的执行主体并不仅限于服务器，还可以应用于终端设备等具备图像处理功能的设备，该方法的流程描述如下：

步骤S201：针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域；其中，所述至少一个待跟踪目标是从所述当前帧图像的上一帧图像中确定出来的。

在本申请实施例中，摄像头终端产生实时视频数据，服务器从视频数据中获取实时视频帧数据，然后对实时视频帧进行分析。在具体实现过程中，在服务器获取上一帧图像之后，则从上一帧图像中确定出至少一个待跟踪目标。此处可以通过目标检测从基准图像中确定出至少一个待跟踪目标，也就是说可以通过目标检测从基准图像中确定出一个待跟踪目标或多个待跟踪目标。目标检测是对帧图像进行识别，检测出图像中的特定目标(例如车辆、行人或动物)。常用的目标检测算法有统一实时目标检测(You Only Look Once，YOLO)算法、单个深层神经网络检测(Single Shot Multibox Detector，SSD)算法、基于卷积神经网络检测(Regions with CNN features，R-CNN)基于卷积神经网络快速检测(FastRegions with CNN features，Fast R-CNN)算法等，或者为其它目标检测算法，此处对目标检测算法不作限制。

在具体实现过程中，为便于区分出确定出的待跟踪目标，可以为至少一个待跟踪目标中的每个待跟踪目标分配一个标识，该标识可以是数字、字符或者是数字和字符的组合，作为示例，将确定出的至少一个待跟踪目标标识为T1、T2、T3。

在服务器确定出至少一个待跟踪目标后，则将分配有标识的至少一个待跟踪目标保存在服务器的内存中。然后从摄像头终端实时获取的原始视频流中获取当前帧图像。当前帧图像是指目标跟踪过程中，用于检测目标并跟踪待跟踪目标的当前位置的图像。

在确定出至少一个待跟踪目标后，则针对至少一个待跟踪目标中的每个待跟踪目标，根据至少两种算法从当前帧图像中确定出至少两个候选区域。也就是说对于每个待跟踪目标，都是根据本申请提供的至少两种算法，从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域。在此需要说明的是，在待跟踪目标的个数是一个时，共获得至少两个候选区域就是前述的至少两个候选区域，在待跟踪目标的个数是多个时，获得候选区域的个数是多于至少两个的。

在本申请实施例中，确定每个待跟踪目标的至少两个候选区域的实现过程，包括如下步骤：

在具体实现过程中，至少两种算法可以分为两大类，一类是基于每个待跟踪目标在上一帧图像中的区域，来确定每个待跟踪目标在当前帧图像中的至少一个第二候选区域，该类算法可以是上述介绍的均值漂移算法，k均值聚类算法(k-means clusteringalgorithm)，或者为其它的聚类算法。此处需要说明的是在具体实现过程中，为考虑到待跟踪目标的运动不可控性，通常会将确定出的候选区域的放大至2倍。当然，在实际操作过程中，也可以根据待跟踪目标的移动速度，适当调整候选区域的放大倍数，例如待跟踪目标的移动速度比较快，可以增大候选区域的放大倍数，或者待跟踪目标的移动速度比较慢，可以降低候选区域的放大倍数，都可以根据实际需要进行调整，在此就不再一一举例了。

在说完至少两种算法中的一类算法之后，则接着介绍至少两种算法中的另一类算法，也就是根据待跟踪目标的运动参数，来确定待跟踪目标在当前帧图像中的第一候选区域，该算法在具体实现过程中，包括如下步骤：

在本申请实施例中，在确定每个待跟踪目标的移动速度时，需要获取与在前帧图像相距较近的多个连续的跟踪到跟踪目标的帧图像，根据这些帧图像中跟踪到的待跟踪目标所处的位置确定每个待跟踪目标的移动速度。例如上一帧图像是视频数据中的第10帧图像，在第10帧图像之前，距离该第10帧图像最近且包含跟踪到的待跟踪目标的帧图像为第9帧图像，即在前帧图像为第9帧图像。服务器则根据第7帧图像至第9帧图像中跟踪到的待跟踪目标的物理位置，确定第9帧图像中跟踪到的待跟踪目标的移动速度。此处需要说明的是，待跟踪目标的移动速度是矢量。

在确定出每个待跟踪目标的运动速度后，则可以进一步利用视频数据中相邻两帧之间的时间差，计算出每个待跟踪目标的运动方向和运动距离，进一步便可确定出每个待跟踪目标在当前帧图像中的第一候选区域。例如将每个待跟踪目标在上一帧图像的位置，按照对应的移动方向和移动距离平移便可以确定出每个待跟踪目标在当前帧图像中的第一候选区域。

在本申请实施例中，相较于现有技术，根据至少两种不同的算法确定出至少两个候选区域，扩大了目标跟踪的范围，能够有效地防止发生因跟踪目标移动速度过快而跟丢目标的情况，从而能够降低目标跟丢的概率，提高目标跟踪的准确性。

因此在确定每个待跟踪目标后，共得到至少两个候选区域。

在执行完步骤S201之后，则执行步骤S202：从共获得的至少两个候选区域中确定出第一候选目标集合。

此处应说明的是，由于每个待跟踪目标都对应至少两个候选区域，因此应从每个待跟踪目标对应的至少两个候选区域中确定出与每个待跟踪目标对应的候选目标，得到第一候选目标集合。此处从至少两个候选区域中确定候选目标的方法同上述从上一帧图像中确定至少一个待跟踪目标，在此不再赘述。

继续沿用上述举例，至少一个待跟踪目标为T1、T2、T3，则从T1对应的至少两个候选区域中确定出候选目标是D1、D2、D3；从T2对应的至少两个候选区域中确定出的候选目标是D4、D5；从T3对应的至少两个候选区域中确定出的候选目标是D6。这样，第一候选目标集合可以表示为{D1、D2、D3、D4、D5、D6}。

在执行完步骤S202之后，则执行步骤S203：从所述第一候选目标集合中确定出与每个待跟踪目标匹配的候选目标。

由于候选目标在两帧时间内的尺寸不会变化的很剧烈，因此可以通过如下技术方案，过滤掉第一候选目标集合中的干扰目标，减少误跟踪。因此步骤S203在具体实现过程中，包括如下步骤：

此处需要说明的是，每个待跟踪目标对应的候选目标是从与每个待跟踪目标对应的至少两个候选区域中确定出来的目标。继续沿用上述举例，计算每个待跟踪目标与对应的候选目标之间的尺寸比例，然后从第一候选目标集合中删除尺寸比例小于第一预设尺寸比例或大于第二预设尺寸比例的候选目标，得到第二候选目标集合。其中，第一预设尺寸比例和第二预设尺寸比例可以根据实际需要进行设置，作为示例，第一预设尺寸比例为0.3、0.4或0.5，第二预设尺寸比例为1.5、2、2.5等。

下面则结合具体示例描述，以第一预设尺寸比例是0.5，第二预设尺寸比例是2为例。分别计算D1与T1的尺寸比例、D2与T1的尺寸比例、D3与T1的尺寸比例，得到1、1.5、2.5，其中，由于D3与T1的尺寸比例大于第二预设尺寸比例2，则从第一候选目标集合中删除候选目标D3；然后计算D4与T2的尺寸比例，D5与T2的尺寸比例，得到1、0.3，由于D5与T2的尺寸比例小于第一预设尺寸比例0.5，则从第一候选目标集合中删除候选目标D5。计算D6与T3的尺寸比例，得到1.5，既不小于第一预设尺寸比例，也不大于第二预设尺寸比例，则在第一候选目标集合中保留候选目标D6。通过上述技术方案，得到的第二候选目标集合可以表示为{D1、D2、D4、D6}。

在得到第二候选目标集合后，则从第二候选目标集合中确定出与每个待跟踪目标匹配的候选目标。在本申请实施例中，在从第二候选目标集合中确定出与每个待跟踪目标匹配的候选目标之前，所述方法还包括：

确定每个待跟踪目标所在区域的颜色直方图和第二候选目标集合中的每个候选目标所在区域的颜色直方图；

根据每个待跟踪目标所在区域的颜色直方图和每个候选目标所在区域的颜色直方图，计算每个待跟踪目标与对应的候选目标之间的相似度。

此处的每个待跟踪目标所在区域的颜色直方图和第二候选目标集合中的每个候选目标所在区域的颜色直方图的计算方法在之前已经介绍，在这就不再赘述。

在本申请实施例中，为降低目标跟踪过程中的目标误匹配的概率，对还包括方法进行进一步改进，包括如下步骤：

确定所述每个待跟踪目标所在区域的颜色质心、所述每个待跟踪目标所在的区域的颜色主成分，以及所述第二候选目标集合中的每个候选目标所在区域的颜色质心、所述每个候选目标所在区域的颜色主成分；

在本申请实施例中，由于上一帧图像中的至少一个待跟踪目标可能被遮挡或受背景的影响而相对不可靠，因此需要为每个待跟踪目标所在区域的各像素点及第二候选目标集合中每个候选目标所在区域的各像素点设置权重。

进一步，在本申请实施例中，在设置权重时，涉及了区域的颜色质心和颜色主成分，考虑因素更为全面，从而能够保证确定出的每个待跟踪目标的目标特征和每个候选目标的目标特征更为精准，进而能够降低目标跟踪过程中的目标误匹配的概率。

其中，颜色质心就是通过计算一区域RGB三通道的平均值，颜色主成分可以是先采用颜色特征(Color Name，CN)算法将一区域颜色信息转达11维颜色(黄、蓝、红、黑、白、绿、灰、橙、棕、粉红、紫)空间，然后对转换获得的颜色空间做PCA降维，可以是降到1维，以求取一区域的颜色主成分。此处将一个区域的颜色质心表示为X^S，将一个区域的颜色主成分表示为X^C，那么在计算出每个待跟踪目标所在区域的颜色质心、颜色主成分，第二候选目标集合中每个候选目标所在区域的颜色质心，每个候选目标所在区域的颜色主成分，则可以计算每个待跟踪目标所在区域的各像素点的权重及第二候选目标集合中每个候选目标所在区域的各像素点的权重，由于各区域的像素点的权重的计算方式相同，下面仅以至少一个待跟踪目标中的任一待跟踪目标的第i个像素点为例，该第i个像素点的权重可以表示为下式(1)：

其中，C表示归一化系数，可以表示为式(2)：

上式(2)中n表示任意待跟踪目标所在区域的像素点个数。

K为核函数，指径向基函数，就是某种沿径向对称的标量函数，通常定义为空间中任一点到某一中心之间的距离的单调函数，其作用往往是局部的，即当任一点远离该中心时函数的取值很小。此处的核函数可以是伊番科尼科夫(Epanechnikov)核函数，也可以是高斯核函数，或者为其它核函数，在此不再一一举例。

式(1)中的上标S表示颜色质心空间、C表示颜色主成分空间，

表示颜色主成分空间中的第i个元素，

表示颜色质心空间中的第i元素。

在计算出每个待跟踪目标所在区域的各像素点的权重，及每个候选目标所在区域的各像素点的权重之后，则计算每个待跟踪目标所在区域的颜色直方图，及每个候选目标的颜色直方图。进而根据每个待跟踪目标所在区域的颜色直方图及每个候选目标的颜色直方图计算每个待跟踪目标与对应的候选目标之间的相似度。在此需要说明的是，在计算出每个待跟踪目标的颜色直方图后就能够得到每个待跟踪目标的特征向量及颜色分布概率，在计算出每个候选目标的颜色直方图后就能够得到每个候选目标的特征向量及颜色分布概率。

在本申请实施例中，计算相似度可以通过计算每个待跟踪目标与对应的至少两个候选区域中的候选目标之间的距离得到。常见的距离算法有巴氏距离算法、欧式距离算法、曼哈顿距离算法或者余弦距离算法等，或者采用其它相似度计算方法，在本申请中不对用于计算相似度的算法做具体限定。其中，计算巴氏距离则是利用颜色分布概率，计算欧式距离等则是利用目标的特征向量。

继续沿用上述举例，则是分别计算T1与D1和D2之间的相似度，T2与D4之间的相似度，T3与D6之间的相似度。在计算出每个待跟踪目标与对应的候选目标之间的相似度之后，则从第二候选目标集合中确定出与每个待跟踪目标匹配的候选目标，在具体实现过程中，包括如下步骤：

根据待跟踪目标与对应的候选目标之间的相似度，建立相似度矩阵；其中，所述相似度矩阵中的横轴方向用于表征所述至少一个待跟踪目标，纵轴方向用于表征所述第二候选目标集合中的候选目标；

在本申请实施例中，在计算出每个待跟踪目标与对应的候选目标之间的相似度之后，则构建相似度矩阵，如式(3)所示。其中，相似度矩阵的横轴方向用于表示至少一个待跟踪目标，纵轴方向用于表示第二候选目标集合中的候选目标，继续沿用上述举例，相似度矩阵的横轴方向为T1、T2、T3，纵轴方向为D1、D2、D4、D6。在此需要说明的是，可以将每个待跟踪目标与非候选区域中的候选目标之间的相似度置为零，也就是，T1与D4和D6的相似度置为0，T2与D1、D2、D6的相似度置为0，T3与D1、D2、D4的相似度置为0。

在建立相似度矩阵之后，为进一步提高目标跟踪过程中的跟踪准确性，需要对建立好的相似度矩阵进行进一步处理。

例如将相似度矩阵一行中元素的值均小于第一阈值的元素设置为零，也就是说一个候选目标与每个待跟踪目标之间的相似度均小于第一阈值，则表明该候选目标在当前帧图像中为新增跟踪目标，则将该新增跟踪目标所在行的元素设置为零。其中，第一阈值可以根据实际需要进行设置，例如0.2、0.3、0.4，此处以第一阈值是0.3为例，则该新增跟踪目标为D1，则将D1所在行的元素的值均设置为零。在此需要说明的是，新增跟踪目标可以是新出现在当前帧图像中的特定目标，例如人或动物，也可以是之前已经出现但被遮挡的待跟踪目标。

将相似度矩阵一列中元素的值均小于第二阈值的元素设置为零，也就是说一个待跟踪目标与对应的候选目标之间的相似度均小于第二阈值，则表明待跟踪目标在当前帧图像中为丢失跟踪目标，将该丢失跟踪目标所在列的元素设置为零。其中，第二阈值可以根据实际需要进行设置，例如0.6、0.7、0.8，此处以第二阈值是0.7为例，那么丢失跟踪目标则为T2，则将T2所在列的元素设置为零。此处需要说明的时，在确定出丢失跟踪目标时，为避免该丢失跟踪目标被遮挡，在具体实现过程中，则是在当前帧图像之后的连续几帧图像中均为丢失跟踪目标时，才将跟踪丢失目标所在列的元素均设置为零。

接着将相似度矩阵中的剩余元素中元素的值大于或等于第三阈值的元素设置为1，将小于所述第三阈值的元素设置为0，从而获得处理后的相似度矩阵，由于处理后的相似度矩阵中仅包括0和1，因此也可以将处理后的相似度矩阵称为0-1矩阵。其中，第三阈值是可以根据实际需要进行设置的，例如0.4、0.5、0.6，此处以第三阈值是0.5为例。那么在经过上述处理后，得到的处理后的相似度矩阵可以表示为式(4)。

在得到0-1矩阵之后，根据0-1矩阵确定每个待跟踪目标匹配的候选目标。此处根据0-1矩阵确定与每个待跟踪目标匹配的候选目标的算法可以是匈牙利算法，也可以是KM(Kuhn-Munkres)算法。

在此需要说明的是，为更好的标注确定出的与每个待跟踪目标匹配的候选目标，则为与每个待跟踪目标匹配的候选目标标注与每个待跟踪目标相同的标识。

请参见图3，基于同一发明构思，本申请实施例提供一种目标跟踪装置300，包括：

获得模块301，用于针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域；其中，所述至少一个待跟踪目标是从所述当前帧图像的上一帧图像中确定出来的；

第一确定模块302，用于从共获得的至少两个候选区域中确定出第一候选目标集合；

第二确定模块303，用于从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标。

在一个可能的设计中，在所述获得模块301针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域时，具体用于：

在一个可能的设计中，在所述获得模块301根据所述每个待跟踪目标的运动参数，确定所述每个待跟踪目标在所述当前帧图像中的第一候选区域时，具体用于：

在一个可能的设计中，在所述第二确定模块303从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标时，具体用于：

在一个可能的设计中，所述目标跟踪装置还包括：

在一个可能的设计中，在所述第二确定模块303从所述第二候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标时，具体用于：

请参见图4，本申请实施例还提供一种目标跟踪装置400，包括：

存储器401，用于存储指令；

处理器402，用于读取所述存储器中存储的指令，实现如图2所示的目标跟踪方法。

其中，存储器401的数量可以是一个或多个，存储器401可以是只读存储器(Read-only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或磁盘存储器等等。

处理器402可以是中央处理器(Central Prcessing Unit，CPU)、通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。所述处理器402也可以是实现计算功能的组合，例如包括一个或多个微处理器组合，DSP和微处理器的组合等等。

在介绍本申请提供的目标跟踪方法之前就提到，本申请的执行主体可以是服务，也可以是终端设备，因此此处的目标跟踪装置400可以服务器，也可以是终端设备。

请参见图5，在目标跟踪装置400是服务器时，目标跟踪装置400还可以包括至少一个电源，至少一个有线或无线网络接口，至少一个输入输出接口，和/或至少一个操作系统。

请参见图6，在目标跟踪装置400是终端设备时，且以终端设备是手机为例。终端设备还可以包括射频(Radio Frequence，RF)电路、输入单元、显示单元、传感器、音频电路及电源等部件。本领域普通技术人员应理解，上述给出的手机结构并不构成对手机的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面对手机的各个构成部件进行具体的介绍：

RF电路可以用于收发信息或通话过程中，信号的接收和发送。例如将基站下行信息接收后，发送给处理器处理，另外，将涉及的上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路还可以通过无线通信与网络和其它设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通信系统(Global System ofMobile Communicaition，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband CodeDivision Multiple Accsee，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Servive，SMS)等。

输入单元用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体的，输入单元可以包括触控面板以及其它输入设备。触控面板也称触摸屏，可以手机用户在其上或附近的触摸操作，并根据预先设定的程式驱动相应的连接装置。

显示单元可以用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元可以包括显示面板，例如液晶显示器(Liauid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。此处需要说明的触控面板与显示面板可以是作为两个独立的部件来实现手机的输入和输出功能，但在某些实施例中，也可以将触控面板与显示面板集成而实现手机的输入和输出功能。

手机还可以包括至少一种传感器，例如光传感器、加速度传感器、重力传感器。

音频电路、扬声器、传声器可以提供用户与手机之间的音频接口。音频电路可以将接收到的音频数据转换后的电信号传输到扬声器，由扬声器转换为声音信号输出，另一方面，传声器将收集的声音信号转换为电信号，由音频电路接收后转换为音频数据，再将音频数据输入处理器处理后，经RF电路以发送给另一手机，或者将音频数据输出至存储器以便进一步处理。

手机还可以包括给各个部件供电的电源，其中，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

本申请实施例还提供一种计算机存储介质，该存储介质可以包括存储器，该存储器可存储有程序，该程序执行时包括如前的图2所示的方法实施例中记载的服务器所执行的全部步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种目标跟踪方法，其特征在于，包括：

针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域，其中，所述至少一个待跟踪目标是从所述当前帧图像的上一帧图像中确定出来的；

从共获得的至少两个候选区域中确定出第一候选目标集合；

从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标；

其中，所述方法还包括：

确定所述每个待跟踪目标所在区域的颜色质心、所述每个待跟踪目标所在区域的颜色主成分，以及每个候选目标所在区域的颜色质心、所述每个候选目标所在区域的颜色主成分；

根据所述每个待跟踪目标所在区域的颜色质心及所述每个待跟踪目标所在区域的沿着主成分，计算所述每个待跟踪目标所在区域的每个像素点的权重，以及根据所述每个候选目标所在区域的颜色质心及所述每个候选目标所在区域的颜色主成分，计算所述每个候选目标所在区域的每个像素点的权重；

根据所述每个待跟踪目标所在区域的每个像素点的权重，确定所述每个待跟踪目标所在区域的颜色直方图，及根据所述每个候选目标所在区域的每个像素点的权重，确定所述每个候选目标所在区域的颜色直方图；以及

根据所述每个待跟踪目标所在区域的颜色直方图，及所述每个候选目标所在区域的颜色直方图，计算所述每个待跟踪目标与对应的候选目标之间的相似度，

其中，所述相似度用于作为确定出与所述每个待跟踪目标匹配的候选目标的依据。

2.根据权利要求1所述的方法，其特征在于，针对至少一个待跟踪目标中的每个待跟踪目标，分别根据至少两种算法从当前帧图像中确定出至少两个候选区域，共获得至少两个候选区域，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述每个待跟踪目标的运动参数，确定所述每个待跟踪目标在所述当前帧图像中的第一候选区域，包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标，包括：

5.根据权利要求4所述的方法，其特征在于，任一待跟踪目标所在区域的第i个像素点的权重为：

其中，C为归一化系数，K为核函数，||||表示取模，X_i表示所述任一待跟踪目标所在区域的第i个像素点，X^C用于表征所述任一待跟踪目标所在区域的颜色质心，X^S用于表征所述任一待跟踪目标所在区域的颜色主成分，

6.根据权利要求5所述的方法，其特征在于，从所述第二候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标，包括：

根据所述每个待跟踪目标与对应的候选目标之间的相似度，建立相似度矩阵；其中，所述相似度矩阵中的横轴方向用于表征所述至少一个待跟踪目标，纵轴方向用于表征所述候选目标；

根据所述处理后的相似度矩阵，确定与所述每个待跟踪目标匹配的候选目标。

7.一种目标跟踪装置，其特征在于，包括：

第二确定模块，用于从所述第一候选目标集合中确定出与所述每个待跟踪目标匹配的候选目标；

其中，所述装置还包括：

第三确定模块，用于确定所述每个待跟踪目标所在区域的颜色质心、所述每个待跟踪目标所在区域的颜色主成分，以及每个候选目标所在区域的颜色质心、所述每个候选目标所在区域的颜色主成分；

第一计算模块，用于根据所述每个待跟踪目标所在区域的颜色质心及所述每个待跟踪目标所在区域的沿着主成分，计算所述每个待跟踪目标所在区域的每个像素点的权重，以及根据所述每个候选目标所在区域的颜色质心及所述每个候选目标所在区域的颜色主成分，计算所述每个候选目标所在区域的每个像素点的权重；

第四确定模块，用于根据所述每个待跟踪目标所在区域的每个像素点的权重，确定所述每个待跟踪目标所在区域的颜色直方图，及根据所述每个候选目标所在区域的每个像素点的权重，确定所述每个候选目标所在区域的颜色直方图；以及

第二计算模块，用于根据所述每个待跟踪目标所在区域的颜色直方图，及所述每个候选目标所在区域的颜色直方图，计算所述每个待跟踪目标与对应的候选目标之间的相似度，

8.一种目标跟踪装置，其特征在于，包括：

存储器，用于存储有指令；

处理器，用于读取所述存储器中存储的指令，执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-6任一项所述的方法。