CN105913453A - 一种目标跟踪方法和装置 - Google Patents

Abstract

本发明公开一种目标跟踪方法和装置，涉及视觉跟踪技术领域，为解决目标跟踪的准确性低的问题。所述目标跟踪的方法包括：根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框；将各个尺寸的跟踪框中的图像缩放至同一预设尺寸；分别提取各个已缩放至预设尺寸的图像的图像特征；将图像特征代入上一帧视频图像的相关滤波器，得到图像特征的综合响应值；获取综合响应值中的最大值，并将最大的综合响应值对应的图像的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。本发明提供的目标跟踪方法和装置用于对视频影像中的跟踪目标进行跟踪。

Description

一种目标跟踪方法和装置

技术领域

本发明涉及视觉跟踪技术领域，尤其涉及一种目标跟踪方法和装置。

背景技术

目标跟踪是一项融合图像处理、模式识别、人工智能及自动控制等多种不同技术的综合性应用技术，广泛应用于各种领域中。目标跟踪是指对图像序列中的运动目标或是特征单一的物体进行检测、识别和跟踪，通过获取目标的位置、速度等参数或是目标的形状和颜色等特征，对其进一步处理，从而实现对运动目标物的准确跟踪。

在目标跟踪的研究领域中，众多学者提出了大量的跟踪方法，在这些跟踪方法中，往往采用跟踪框来对跟踪目标进行跟踪，但在跟踪框对跟踪目标进行跟踪的过程中，由于跟踪目标是运动的，跟踪目标在视频图像中的大小和位置会随着时间而发生变化，当跟踪目标在视频图像中的大小较小或较大时，现有技术中的跟踪框容易丢失正在跟踪的跟踪目标，从而降低了目标跟踪的准确性。

发明内容

本发明的目的在于提供一种目标跟踪方法和装置，用于提高目标跟踪的准确度。

为了实现上述目的，本发明提供如下技术方案：

一方面，本发明提供了一种目标跟踪方法，包括：

根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框；

将所述各个尺寸的跟踪框中的图像缩放至同一预设尺寸；

分别提取各个已缩放至所述预设尺寸的图像的图像特征；

将所述图像特征代入上一帧视频图像的相关滤波器，得到所述图像特征的综合响应值；

获取所述综合响应值中的最大值，并将最大的所述综合响应值对应的图像的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。

另一方面，本发明提供了一种目标跟踪装置，包括：

获取模块，用于根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框；

缩放模块，用于将所述各个尺寸的跟踪框中的图像缩放至同一预设尺寸；

特征提取模块，用于分别提取各个已缩放至同一预设尺寸的图像的图像特征；

相关滤波器，用于接收所述图像特征，得到所述图像特征的综合响应值；

跟踪框确定模块，用于获取所述综合响应值中的最大值，并将最大的所述综合响应值对应的图像的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。

本发明提供的目标跟踪方法和装置中，根据上一帧视频图像的跟踪框尺寸和预设的跟踪框系数，得到多个不同尺寸的跟踪框，将各个尺寸的跟踪框中的图像缩放至同一预设尺寸，提取各个已缩放至预设尺寸的图像的图像特征，得到各个已缩放至预设尺寸的图像的的图像特征的综合响应值，将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。当跟踪目标运动时，跟踪目标的尺度变化因子等特性发生改变，从而使跟踪目标在视频图像中的大小发生改变，与利用固定大小的跟踪框跟踪目标，不能适应跟踪目标的尺度变化的现有技术相比，本发明能够设定与上一帧视频图像的跟踪框尺寸相关的多个不同尺寸的跟踪框，利用不同尺寸的跟踪框中缩放至同一预设尺寸的图像的图像特征计算综合响应值，并选取综合响应值最大的跟踪框尺寸作为当前视频图像帧的跟踪框尺寸，从而使得跟踪目标的跟踪框尺寸能够适应大小发生变化的跟踪目标，也就是说在视频图像中进行的目标跟踪能够适应跟踪目标的尺度变化，准确地跟踪到大小和位置发生变化的跟踪目标，提高了目标跟踪的准确性。

同时，本发明实施例提供的目标跟踪方法，将各个尺寸的跟踪框中的图像缩放至同一预设尺寸，进而提取各个已缩放至同一预设尺寸的图像的图像特征，计算各个已缩放至同一预设尺寸的图像的的图像特征的综合响应值，因此，在本发明实施例的目标跟踪过程中，由于提取的是缩放至同一预设尺寸的图像的图像特征，所以，每一帧视频图像对应的滤波器和相关滤波器的尺寸均相同，能够进一步减少目标跟踪过程中的运算量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中一种目标跟踪方法的流程图一；

图2为本发明实施例中一种目标跟踪的方法流程图二；

图3为本发明实施例中一种目标跟踪的方法流程图三；

图4为本发明实施例中一种目标跟踪的方法流程图四；

图5为本发明实施例中一种目标跟踪的方法流程图五；

图6a为本发明实施例中第一帧视频图像及其中的跟踪框的示意图；

图6b为本发明实施例中第二帧视频图像及其中的跟踪框的示意图；

图6c为图6b中的跟踪框中图像缩放至预设尺寸的图像的示意图；

图6d为本发明实施例中第三帧视频图像及其中的跟踪框的示意图一；

图6e为本发明实施例中第三帧视频图像及其中的跟踪框的示意图二；

图7为本发明实施例中一种目标跟踪方法流程图六；

图8为本发明实施例中一种目标跟踪方法流程图七；

图9为本发明实施例中一种目标跟踪装置的结构示意图一；

图10为本发明实施例中一种目标跟踪装置的结构示意图二；

图11为本发明实施例中一种目标跟踪装置的结构示意图三；

图12为本发明实施例中一种目标跟踪装置的结构示意图四；

图13为本发明实施例中一种目标跟踪装置的结构示意图五；

图14为本发明实施例中一种目标跟踪装置的结构示意图六。

具体实施方式

为了进一步说明本发明实施例提供的目标跟踪方法和装置，下面结合说明书附图进行详细描述。

在本发明实施例提供的目标跟踪方法，应用于目标跟踪装置，示例的，应用于智能交通领域的目标车辆跟踪、社区内的目标人物跟踪或者视频录像中的目标跟踪等。本发明的执行主体包括但不限于，设置在智能手机、台式电脑、智能电视、笔记本电脑、平板电脑等终端设备中的目标跟踪模块或其他独立的目标跟踪装置。

请参阅图1，本发明实施例提供的目标跟踪方法包括：

步骤101，获取一帧视频图像，示例的，获取正在执行拍摄工作的摄像头拍摄的一帧视频图像，或者，获取待处理的一段视频中某一帧视频图像等等。需要说明的是，一帧视频图像的跟踪框尺寸是一帧视频图像中跟踪目标的跟踪框尺寸。需要说明的是，如果该帧视频图像为待处理视频图像的初始帧视频图像，则跳转步骤109执行，否则，跳转步骤102执行。

步骤102，根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框。其中，预设的跟踪框系数有多个，由于相邻的两帧视频图像中跟踪目标的大小和位置的变化均较小，因此利用上一帧视频图像的跟踪框尺寸和预设的跟踪框系数，为确定当前帧视频图像的跟踪框尺寸提供多个候选的不同尺寸的跟踪框。比如，预设的跟踪框系数分别为s1、s2和s3，则跟踪框系数s1对应的跟踪框尺寸为k1，跟踪框系数s2对应的跟踪框尺寸为k2，跟踪框系数s3对应的跟踪框尺寸为k3。

步骤103，将各个尺寸的跟踪框中的图像缩放至同一预设尺寸。当跟踪框的尺寸小于预设尺寸时，将跟踪框中的图像放大至预设尺寸；当跟踪框尺寸大于预设尺寸时，将跟踪框中的图形缩小至预设尺寸。比如，跟踪框尺寸为k1的跟踪框中的图像的尺寸也为k1，跟踪框尺寸为k2的跟踪框中的图像的尺寸也为k2，k1小于预设尺寸k’，k2大于预设尺寸k’，将跟踪框尺寸为k1的跟踪框中的图像放大至预设尺寸k’，将跟踪框尺寸为k2的跟踪框中的图像缩小至预设尺寸k’。需要说明的是，所有帧视频图像中不同尺寸的跟踪框中的图像均缩放至同一预设尺寸，比如，第一帧视频图像中的所有不同尺寸的跟踪框中的图像均缩放为预设尺寸k’，第二帧视频图像中的所有不同尺寸的跟踪框中的图像也均缩放为预设尺寸k’，以此类推，直至最后一帧视频图像中的所有不同尺寸的跟踪框中的图像也均缩放为预设尺寸k’。

由于不同的跟踪框的跟踪框尺寸不同，因此不同尺寸中的跟踪框中的图像的尺寸也不同，不同尺寸的图像的图像特征的形式也不同，比如，若利用矩阵来表示图像特征，则不同尺寸的图像的图像特征对应的矩阵的行列数目也不同。在步骤103中，将各个不同尺寸的跟踪框中的图像缩放至同一预设尺寸，使得提取的图像特征的形式相同，比如，若利用矩阵来表示图像特征，则缩放至同一预设尺寸的图像的图像特征对应的矩阵的行列数目相同。

步骤104，分别提取各个已缩放至所述预设尺寸的图像的图像特征。其中，可以利用不同的提取方法提取出已缩放至所述预设尺寸的图像的不同种类的图像特征，比如，可以利用HOG(Histogram of Oriented Gradient，方向梯度直方图)提取方法得到已缩放至预设尺寸的图像的HOG图像特征，和/或利用LBP(Local Binary Pattern，局部二值模式)提取方法得到已缩放至预设尺寸的图像的LBP图像特征，提取出的图像特征的种类包括但并不限于上述两种。

步骤105，将已缩放至所述预设尺寸的图像的图像特征代入上一帧视频图像的相关滤波器，得到图像特征的综合响应值。需要说明的是，若提取的已缩放至所述预设尺寸的图像的图像特征只有一种，则综合响应值为这一种图像特征代入上一帧视频图像的相关滤波器得到的响应值；若提取的已缩放至所述预设尺寸的图像的图像特征有多种，则综合响应值为多种图像特征代入上一帧视频图像的相关滤波器中得到的响应值的和，响应值具体可以为回归响应值。需要说明的是，在跟踪框中提取的图像特征的种类越多，在后续的目标跟踪过程中，对跟踪目标的跟踪就越精确，但同时提取的图像特征的种类越多，在目标跟踪过程中的计算量就越大，因此，需要根据具体的工作场景以及期望效果来决定提取的图像特征的种类的数目。

步骤106，获取综合响应值中的最大值，并将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。比如，预设的跟踪框系数分别为s1、s2和s3，则跟踪框系数s1对应的跟踪框尺寸为k1，跟踪框系数s2对应的跟踪框尺寸为k2，跟踪框系数s3对应的跟踪框尺寸为k3，若跟踪框尺寸为k3的跟踪框中缩放至预设尺寸的图像的图像特征对应的综合响应值最大，则将k3作为当前帧视频图像的跟踪框尺寸。

需要说明的是，为了使当前帧视频图形的跟踪框尺寸更为精确，可以在第一次得到最大的综合响应值后，利用最大的综合响应值对应的跟踪框尺寸和跟踪框系数，再一次得到多个不同尺寸的跟踪框，将新得到的跟踪框中的图像缩放至预设尺寸，提取新得到的跟踪框的已缩放至预设尺寸的图形的图像特征，并将图像特征带入相关滤波器，计算新得到的图像特征的综合响应值，第二次得到最大的综合响应值，并将第二次得到的最大的综合响应值对应的跟踪框尺寸作为当前帧视频图像的跟踪框尺寸。当然，针对同一帧视频图像还可以进行更多次求取最大的综合响应值的过程，但由于进行求取最大的综合响应值的次数越多，计算量越大，目标跟踪的实时性就越差，因此，可以依据目标跟踪方法的应用场景的要求，设置求取最大的综合响应值的次数。

本发明提供的目标跟踪方法和装置中，根据上一帧视频图像的跟踪框尺寸和预设的跟踪框系数，得到多个不同尺寸的跟踪框，将各个尺寸的跟踪框中的图像缩放至同一预设尺寸，提取各个已缩放至预设尺寸的图像的图像特征，得到各个已缩放至预设尺寸的图像的的图像特征的综合响应值，将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。当跟踪目标运动时，跟踪目标的尺度变化因子等特性发生改变，从而使跟踪目标在视频图像中的大小发生改变，与利用固定大小的跟踪框跟踪目标，不能适应跟踪目标的尺度变化的现有技术相比，本发明能够设定与上一帧视频图像的跟踪框尺寸相关的多个不同尺寸的跟踪框，利用不同尺寸的跟踪框中缩放至同一预设尺寸的图像的图像特征计算综合响应值，并选取综合响应值最大的跟踪框尺寸作为当前视频图像帧的跟踪框尺寸，从而使得跟踪目标的跟踪框尺寸能够适应大小发生变化的跟踪目标，也就是说在视频图像中进行的目标跟踪能够适应跟踪目标的尺度变化，准确地跟踪到大小和位置发生变化的跟踪目标，提高了目标跟踪的准确性。

同时，本发明实施例提供的目标跟踪方法，将各个尺寸的跟踪框中的图像缩放至同一预设尺寸，进而提取各个已缩放至同一预设尺寸的图像的图像特征，计算各个已缩放至同一预设尺寸的图像的的图像特征的综合响应值，因此，在本发明实施例的目标跟踪过程中，由于提取的是缩放至同一预设尺寸的图像的图像特征，所以，每一帧视频图像对应的滤波器和相关滤波器的尺寸均相同，能够进一步减少目标跟踪过程中的运算量。

请参阅图2，下面将具体介绍如何将不同尺寸的跟踪框中的图像缩放至同一预设尺寸，步骤103可以具体细化为步骤1031-步骤1033，具体内容如下：

步骤1031，获取各个尺寸的跟踪框的跟踪框尺寸和预设尺寸。

步骤1032，分别计算各个跟踪框尺寸与预设尺寸的尺寸比值。

步骤1033，根据所述尺寸比值，将各个不同尺寸的跟踪框中的图像缩放至预设尺寸。比如，根据跟踪框系数，得到了跟踪框尺寸为k1的跟踪框K1、跟踪框尺寸为k2的跟踪框K2和跟踪框尺寸为k3的跟踪框K3，预设尺寸为k’，则跟踪框K1、K2和K3与预设尺寸k’的尺寸比值分别为K1/k’、K2/k’和K3/k’，利用各个尺寸比值，将跟踪框K1、K2和K3中的图像分别缩放至预设尺寸k’。

具体的，对图像进行缩放可以利用最近邻差值算法、双线性插值算法或立方插值算法。下面举例介绍如何利用最近邻插值算法进行图像的缩放，以及如何利用双线性插值算法进行图像的缩放，由于立方插值算法在业内比较成熟，在此不详细叙述。

若利用最近邻插值算法，则将缩放至预设尺寸的图像中各点的像素值(即目标像素值)设为与缩放前的图像中与目标像素值最接近的点，设缩放前的图像的宽度和高度分别为w0和h0,缩放至预设尺寸的图像的宽度和高度分别为w1和h1,那么缩放前和缩放后的图像的宽度比例float fw＝float w0/w1，高度比例float fh＝float h0/h1，对于缩放至预设尺寸的图像中的(x，y)点坐标来说，对应的是缩放前的图像中的(x0,y0)点，x0＝int(x*fw)，y0＝int(y*fh)，其中，float为浮点数，int为取整函数。

若利用双线性插值算法，则缩放至预设尺寸的图像中的某个点(x，y)为缩放前的图像中最邻近的一个点(x0，y0)，缩放至预设尺寸的图像中的点(x，y)对应于缩放前的图像中的点(x0'，y0')，其中x0'和y0'很可能不是整数，而是小数，而最近邻插值算法是得到x0'和y0'各自的邻近整型值(int(x0'+0.5f)，int(y0'+0.5f))，即需要获取x0'和y0'所在位置旁边的四个点，根据这四个点与(x0'，y0')的距离的关系计算缩放至预设尺寸的图像中(x，y)一点的像素值。具体的：(1)计算缩放前的图像与缩放至预设尺寸的图像的宽与高的比例，w0表示缩放前的图像的宽度，h0表示缩放前的图像的高度，w1表示缩放至预设尺寸的图像的宽度，h1表示缩放至预设尺寸的图像的高度，其中，float fw＝float(w0-1)/(w1-1)，float fh＝float(h0-1)/(h1-1)；(2)针对缩放至预设尺寸的图像的一个点(x，y)，计算在缩放前的图像中的对应坐标，缩放前的图像中的对应坐标为浮点数，计算公式为float x0＝x*fw，float y0＝y*fh，int x1＝int(x0)，int x2＝x1+1，int y1＝int(y0)，int y2＝y1+1，得到缩放前的图像中的四个点坐标分别为(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)；(3)求x0'和y0'所在位置旁边四个点所占的权重比值，比如，fx1＝x0-x1，fx2＝1.0f-fx1，fy1＝y0-y1，fy2＝1.0f-fy1，float s1＝fx1*fy1，float s2＝fx2*fy1，float s3＝fx2*fy2，float s4＝fx1*fy2，这里用value(坐标)来代表缩放前的图像中最邻近的一个点(x0，y0)的坐标值，计算公式为value(x0，y0)＝value(x2，y2)*s1+value(x1，y2)*s2+value(x1，y1)*s3+value(x2，y1)*s4；(4)将求得的缩放前的图像中最邻近的一个点(x0，y0)的坐标值填充到缩放至预设尺寸的图像即可。

请参阅图3，在步骤102之前还可以包括步骤107，来选取合适的跟踪框系数，具体内容如下：

步骤107，选取跟踪框系数的数值范围，在数值范围中分散地选取多个跟踪框系数。其中，在选取的数值范围中可以均匀分散的选取多个跟踪框系数，也可以随机分散的选取多个跟踪框系数。比如，选取的数值范围为0.9～1.1，在0.9～1.1内可以均匀分散的选取5个跟踪框系数，分别为0.9、0.95、1、1.05和1.1；也可以在0.9～1.1内随机分散的选取5个跟踪框系数，分别为0.92、0.98、1、1.05、1.08。

请参阅图4，在步骤101之前还可以包括步骤108，来选取合适的跟踪框系数，具体内容如下：

步骤108，选取跟踪框系数的中心值，将中心值以及从中心值向两侧分别选取预设个数的数值作为跟踪框系数。其中，先设定一个中心值，使得选取的跟踪框系数围绕中心值来选取，具体的，在从中心值向两侧分别选取其他的跟踪框系数时，可以均匀的选取，也可以随机的选取。比如，设定中心值为1，从中心值向两侧各均匀选取两个跟踪框系数，分别为0.96、0.98、1.02和1.04，也就是说，选取的跟踪框系数为0.96、0.98、1、1.02和1.04；或者，从中心值向两侧各随机选取两个跟踪框系数，分别为0.907、0.952、1.05和1.103，也就是说，选取的跟踪框系数为0.907、0.952、1、1.05和1.103。

需要说明的是，上一帧视频图像的跟踪框尺寸与多个不同的跟踪框系数相乘，得到多个不同尺寸的跟踪框。比如，上述实施例中的步骤101具体可以为：将上一帧视频图像的跟踪框尺寸分别与中心值以及从中心值向两侧分别选取的预设个数的跟踪框系数相乘，得到多个不同尺寸的跟踪框。比如：选取的跟踪框系数分别为0.9、0.95、1、1.05和1.1，1为中心值，上一帧视频图像的跟踪框尺寸为k1，则得到的多个不同尺寸的跟踪框的尺寸分别为0.9k1、0.95k1、k1、1.05k1和1.1k1。上述实施例中的步骤101具体还可以为：将上一帧视频图像的跟踪框尺寸分别与在数值范围中选取的多个跟踪框系数相乘，得到多个不同尺寸的跟踪框。

请参阅图5，在步骤101之前，目标跟踪方法还可以包括步骤109，来选取第一帧视频图像中的跟踪目标，具体内容如下：

步骤109，接收用户对第一帧视频图像的目标选取指令，并根据目标选取指令，选定跟踪目标。其中，第一帧视频图像也就是初始帧视频图像，在第一帧视频图像中，需要用户选择在这一段视频中的跟踪目标，用户可以通过按钮、触屏等方式发出目标选取指令，目标跟踪装置接收用户的目标选取指令，选定跟踪目标，选定跟踪目标后，可以得到跟踪目标在第一帧视频图像中的跟踪框，跟踪框的尺寸略大于跟踪目标，能够将跟踪目标圈在跟踪框内。

下面结合具体的视频图像进行说明，请参阅图6a-图6d，图6a为一段视频的第一帧视频图像，图6a中的车辆为跟踪目标，跟踪框K1为第一帧视频图像中的跟踪框，且跟踪框K1的尺寸为k1；图6b为该段视频的第二帧视频图像，其中，预设的跟踪框系数分别为0.95、1和1.05，根据第一帧视频图像的跟踪框K1的跟踪框尺寸k1以及三个预设的跟踪框系数，可以得到三个跟踪框，分别为跟踪框K2、跟踪框K3和跟踪框K4，跟踪框K2的跟踪框尺寸为0.95k1，跟踪框K3的跟踪框尺寸为k1，跟踪框K4的跟踪框尺寸为1.05k1，如图6c所示，将跟踪框K2、K3和K4中的图像均缩放至预设尺寸k’，再将三个跟踪框K2、K3和K4中已缩放至预设尺寸k’的图像的图像特征代入第一帧视频图像中的相关滤波器，得到三个综合响应值，最大的综合响应值对应的是跟踪框K2，则将跟踪框尺寸0.95k1作为第二帧视频图像的跟踪框尺寸；图6d为该段视频的第三帧视频图像，其中，预设的跟踪框系数依然分别为0.95、1和1.05，根据第二帧视频图像的跟踪框尺寸0.95k1以及三个预设的跟踪框系数，可以得到三个跟踪框，分别为跟踪框K5、跟踪框K6和跟踪框K7，跟踪框K5的跟踪框尺寸为0.95×0.95k1＝0.9025k1，跟踪框K6的跟踪框尺寸为0.95k1，跟踪框K7的跟踪框尺寸为1.05×0.95k1＝0.9975k1，将跟踪框K5、K6和K7中的图像均缩放至预设尺寸k’(此处略去图示)，再将三个跟踪框K5、K6和K7中的缩放至预设尺寸k’的图像的图像特征代入第二帧视频图像中的相关滤波器，得到三个综合响应值，最大的综合响应值对应的是跟踪框K5，则将跟踪框尺寸0.9025k1作为第三帧视频图像的跟踪框尺寸。

这里需要说明的是，还可以根据前几帧视频图像中的跟踪框尺寸的变化趋势，调整预设的跟踪框系数，该跟踪框系数分别用于调整后续视频图像的跟踪框尺寸，比如，根据图6a和图6b所示的视频图像，可以判断跟踪目标在这一段视频中的尺寸逐渐变小，因此，可以判断跟踪框尺寸也在逐渐减小，则请参阅图6e，图6e为该段视频的第三帧视频图像，其中，预设的跟踪框系数分别设定为0.9、0.95和1，根据第二帧视频图像的跟踪框尺寸0.95k1以及三个预设的跟踪框系数，可以得到三个跟踪框，分别为跟踪框K8、跟踪框K9和跟踪框K10，跟踪框K8的跟踪框尺寸为0.9×0.95k1＝0.855k1，跟踪框K9的跟踪框尺寸为0.95×0.95k1＝0.9025k1，跟踪框K10的跟踪框尺寸为0.95k1，将跟踪框K8、K9和K10中的图像均缩放至预设尺寸k’(此处略去图示)，再将三个跟踪框K8、K9和K10中已缩放至预设尺寸k’的图像的图像特征代入第二帧视频图像中的相关滤波器，得到三个综合响应值，最大的综合响应值对应的是跟踪框K8，则将跟踪框尺寸0.855k1作为第三帧视频图像的跟踪框尺寸。

请参阅图7，上述实施例中的步骤105具体可以细化为步骤1051，具体内容如下：

步骤1051，将已缩放至所述预设尺寸的图像的图像特征代入上一帧视频图像的相关滤波器，利用公式计算得到综合响应值其中，为上一帧视频图像的相关滤波器，x为已缩放至所述预设尺寸的图像的图像特征，为x的傅里叶变换。当已缩放至所述预设尺寸的图像的图像特征只有一种的情况下，将该图像特征带入公式中得到的响应值即综合响应响应值。当提取的已缩放至所述预设尺寸的图像的图像特征的种类有多种时，每一种图像特征对应有一个相关滤波器，将某一个已缩放至所述预设尺寸的图像中不同种类的图像特征分别代入对应的相关滤波器，分别得到不同种类的图像特征对应的响应值，将这一个已缩放至所述预设尺寸的图像的不同种类的图像特征对应的响应值相加，得到这一个已缩放至所述预设尺寸的图像的图像特征的综合响应值。比如，提取出了跟踪框尺寸为k1的跟踪框中已缩放至预设尺寸的图像的HOG图像特征和LBP图像特征，则HOG图像特征代入上一帧视频图像的相关滤波器A中得到了响应值f1，LBP图像特征代入上一帧视频图像的相关滤波器B中得到了响应值f2，将跟踪框尺寸为k1的跟踪框中已缩放至预设尺寸的图像的HOG图像特征得到的响应值f1，与LBP图像特征得到的响应值f2相加，得到的响应值之和即为跟踪框尺寸为k1的跟踪框中已缩放至预设尺寸的图像的图像特征的综合响应值。

需要说明的是，可以利用公式获取最大的综合响应值，将最大的综合响应值对应的跟踪框尺寸作为当前帧视频图像的跟踪框尺寸，其中，max表示求最大值，F^-1表示傅里叶反变换，表示多个跟踪框系数中的第i个跟踪框系数对应的跟踪框中已缩放至预设尺寸的图像的图像特征。

请参阅图8，还可以对当前帧视频图像的相关滤波器进行更新，本发明实施例中还可以包括步骤110-步骤111，具体内容如下：

步骤110，利用最大的综合响应值对应的图像特征，训练当前帧视频图像的滤波器。当前帧视频图像的滤波器用于更新当前帧视频图形的相关滤波器。

步骤111，利用上一帧视频图像的相关滤波器和训练后的当前帧视频图像的滤波器，更新得到当前帧视频图像的相关滤波器。在下一帧图像帧中进行目标跟踪时重复上述目标跟踪的方法，但是相关滤波器为更新后当前帧视频图像的相关滤波器。具体的，根据公式更新得到当前帧视频图像的相关滤波器其中，为上一帧视频图像中使用的相关滤波器，为训练后的当前帧视频图像的滤波器，θ为第一权衡参量，0≤θ≤1，需要说明的是，一般1-θ＞θ，比如，θ可以取值为0.012。

需要说明的是，本发明实施例中的当前帧视频图像的滤波器为其中，为当前帧视频图像的滤波器，x为跟踪框中的图像特征，为x的傅里叶变换，为x的傅里叶变换后的共轭，为高斯形回归标签，λ为第二权衡参量，0≤λ≤1。需要说明的是，⊙为点乘符号，表示两个矩阵之中对应位置的元素相乘，从而简化本发明的跟踪目标方法中在傅里叶域中的计算。

下面将以一具体数据实例来说明上述计算过程：最大的综合响应值对应的图像特征λ＝0.0002，代入公式训练得到当前帧视频图像的滤波器利用当前帧视频图像的滤波器和上一帧视频图像的相关滤波器得到当前帧视频图像的相关滤波器在确定下一帧视频图像的跟踪框尺寸的过程中，预设的跟踪框系数分别为0.95、1和1.05，则得到的三个不同尺寸的跟踪框中已缩放至预设尺寸的图像的图像特征分别为 将上述三个不同尺寸的跟踪框中的图像特征代入更新得到的当前帧视频图像的滤波器中，并得到各个尺寸的跟踪框中已缩放至预设尺寸的图像的图像特征的综合响应值分别为可以得到最大的综合响应值为则将对应的跟踪框尺寸作为下一帧视频图像的跟踪框尺寸。当然，此处仅是举例说明，并不代表本发明实施例的具体数值局限于此。

请参阅图9，本发明实施例中还提供了一种目标跟踪装置20，包括：

获取模块21，用于根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框；

缩放模块22，用于将各个尺寸的跟踪框中的图像缩放至同一预设尺寸

特征提取模块23，用于分别提取各个已缩放至同一预设尺寸的图像的图像特征；

相关滤波器24，用于接收已缩放至同一预设尺寸的图像的图像特征，得到图像特征的综合响应值；

跟踪框确定模块25，用于获取综合响应值中的最大值，并将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。

本发明提供的目标跟踪装置20中，获取模块21根据上一帧视频图像的跟踪框尺寸和预设的跟踪框系数，得到多个不同尺寸的跟踪框，缩放模块22将各个不同尺寸的跟踪框中的图像缩放至同一预设尺寸，通过特征提取模块23和相关滤波器24得到各个已缩放至预设尺寸的图形的图像特征的综合响应值，跟踪框确定模块25将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。当跟踪目标运动时，跟踪目标的尺度变化因子等特性发生改变，从而使跟踪目标在视频图像中的大小发生改变，与利用固定大小的跟踪框跟踪目标，不能适应跟踪目标的尺度变化的现有技术相比，本发明能够设定与上一帧视频图像的跟踪框尺寸相关的多个不同尺寸的跟踪框，利用不同尺寸的跟踪框中缩放至同一预设尺寸的图像的图像特征计算综合响应值，并选取综合响应值最大的跟踪框尺寸作为当前视频图像帧的跟踪框尺寸，从而使得跟踪目标的跟踪框尺寸能够适应大小发生变化的跟踪目标，也就是说在视频图像中进行的目标跟踪能够适应跟踪目标的尺度变化，准确地跟踪到大小和位置发生变化的跟踪目标，提高了目标跟踪的准确性。

同时，本发明实施例提供的目标跟踪装置，缩放模块22将各个不同尺寸的跟踪框中的图像缩放至同一预设尺寸，通过特征提取模块23和相关滤波器24计算各个已缩放至预设尺寸的图形的图像特征的综合响应值，因此，在本发明实施例的目标跟踪过程中，由于提取的是缩放至同一预设尺寸的图像的图像特征，所以，每一帧视频图像对应的滤波器和相关滤波器的尺寸均相同，能够进一步减少目标跟踪过程中的运算量。

具体的，缩放模块22具体用于获取各个尺寸的跟踪框的跟踪框尺寸和预设尺寸；以及用于分别计算各个跟踪框尺寸与预设尺寸的尺寸比值；以及用于根据尺寸比值，将各个尺寸的跟踪框中的图像缩放至预设尺寸。

请参阅图10，当提取的跟踪框中的图像特征的种类等于或大于二时，提取的已缩放至预设尺寸的图像特征的种类与相关滤波器24的个数相等且一一对应。

请参阅图11，目标跟踪装置20还包括第一系数设定模块26，第一系数设定模块26用于选取跟踪框系数的数值范围，在数值范围中分散地选取多个跟踪框系数。

或者，请参阅图12，目标跟踪装置20还包括第二系数设定模块27，第二系数设定模块27用于选取中心值，将中心值以及从中心值向两侧分别选取预设个数的数值作为跟踪框系数。

进一步地，获取模块21具体用于将上一帧视频图像的跟踪框尺寸分别与中心值以及从中心值向两侧分别选取的预设个数的跟踪框系数相乘，得到多个不同尺寸的跟踪框，中心值为1。

请参阅图13，目标跟踪装置20还包括目标选定模块28，用于接收用户对第一帧图像的目标选取指令，并根据目标选取指令，选定跟踪目标。

具体的，相关滤波器24还用于接收已缩放至所述预设尺寸的图像的图像特征，利用公式计算得到综合响应值其中，为上一帧视频图像的相关滤波器，x为已缩放至所述预设尺寸的图像的图像特征，为x的傅里叶变换。

请参阅图14，所述目标跟踪装置20还包括训练模块29和更新模块30。

训练模块29，用于利用最大的综合响应值对应的图像特征，训练当前帧视频图像的滤波器。

更新模块30，用于根据公式更新得到当前帧视频图像的相关滤波器其中，为上一帧视频图像的相关滤波器，为训练后的当前帧视频图像的滤波器，θ为第一权衡参量，0≤θ≤1。当前帧视频图像的滤波器为其中，为当前帧视频图像的滤波器，x为已缩放至所述预设尺寸的图像的图像特征，为x的傅里叶变换，为x的傅里叶变换后的共轭，为高斯形回归标签，λ为第二权衡参量，0≤λ≤1。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。对于目标跟踪的装置的实施例而言，由于其基本相似于目标跟踪的方法的实施例，所以描述得比较简单，相关之处参见目标跟踪的方法的实施例的部分说明即可。

在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种目标跟踪方法，其特征在于，包括：

根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框；

将所述各个尺寸的跟踪框中的图像缩放至同一预设尺寸；

分别提取各个已缩放至所述预设尺寸的图像的图像特征；

将所述图像特征代入上一帧视频图像的相关滤波器，得到所述图像特征的综合响应值；

获取所述综合响应值中的最大值，并将最大的所述综合响应值对应的图像的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述将各个尺寸的跟踪框中的图像缩放至同一预设尺寸，包括：

获取各个尺寸的跟踪框的跟踪框尺寸和所述预设尺寸；

分别计算各个跟踪框尺寸与所述预设尺寸的尺寸比值；

根据所述尺寸比值，将各个不同尺寸的跟踪框中的图像缩放至同一预设尺寸。

3.根据权利要求1所述的目标跟踪方法，其特征在于，在根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框之前，还包括：

选取所述跟踪框系数的数值范围，在所述数值范围中分散地选取多个所述跟踪框系数。

4.根据权利要求1所述的目标跟踪方法，其特征在于，在根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框之前，还包括：

选取中心值，将所述中心值以及从所述中心值向两侧分别选取预设个数的数值作为所述跟踪框系数。

5.根据权利要求1所述的目标跟踪方法，其特征在于，还包括：

接收用户对第一帧视频图像的目标选取指令，并根据所述目标选取指令，选定所述跟踪目标。

6.根据权利要求1所述的目标跟踪方法，其特征在于，将已缩放至所述预设尺寸的图像的图像特征代入上一帧视频图像的相关滤波器，得到所述图像特征的综合响应值，包括：

将已缩放至所述预设尺寸的图像的图像特征代入上一帧视频图像的相关滤波器，利用公式计算得到综合响应值其中，为上一帧视频图像的相关滤波器，x为已缩放至所述预设尺寸的图像的图像特征，为x的傅里叶变换。

7.根据权利要求1所述的目标跟踪方法，其特征在于，在将最大的所述综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸之后，还包括：

利用最大的所述综合响应值对应的图像特征，训练当前帧视频图像的滤波器；

根据公式更新得到当前帧视频图像的相关滤波器其中，为上一帧视频图像的相关滤波器，为训练后的当前帧视频图像的滤波器，θ为第一权衡参量，0≤θ≤1。

8.一种目标跟踪装置，其特征在于，包括：

获取模块，用于根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数，得到多个不同尺寸的跟踪框；

缩放模块，用于将所述各个尺寸的跟踪框中的图像缩放至同一预设尺寸；

特征提取模块，用于分别提取各个已缩放至同一预设尺寸的图像的图像特征；

相关滤波器，用于接收所述图像特征，得到所述图像特征的综合响应值；

跟踪框确定模块，用于获取所述综合响应值中的最大值，并将最大的所述综合响应值对应的图像的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。

9.根据权利要求8所述装置，其特征在于，所述缩放模块具体用于获取各个尺寸的跟踪框的跟踪框尺寸和所述预设尺寸；以及用于分别计算各个跟踪框尺寸与所述预设尺寸的尺寸比值；以及用于根据所述尺寸比值，将各个尺寸的跟踪框中的图像缩放至预设尺寸。

10.根据权利要求8所述装置，其特征在于，所述目标跟踪的装置还包括第一系数设定模块，所述第一系数设定模块用于选取所述跟踪框系数的数值范围，在所述数值范围中分散地选取多个所述跟踪框系数。

11.根据权利要求8所述装置，其特征在于，所述目标跟踪的装置还包括第二系数设定模块，所述第二系数设定模块用于选取中心值，将所述中心值以及从所述中心值向两侧分别选取预设个数的数值作为所述跟踪框系数。

12.根据权利要求8所述装置，其特征在于，所述相关滤波器具体用于接收已缩放至所述预设尺寸的图像的图像特征，利用公式计算得到综合响应值其中，为上一帧视频图像的相关滤波器，x为已缩放至所述预设尺寸的图像的图像特征，为x的傅里叶变换。

13.根据权利要求8所述装置，其特征在于，所述目标跟踪装置还包括训练模块和更新模块；

所述训练模块，用于利用最大的所述综合响应值对应的图像特征，训练当前帧视频图像的滤波器；

所述更新模块，用于根据公式更新得到当前帧视频图像的相关滤波器其中，为上一帧视频图像的相关滤波器，为训练后的当前帧视频图像的滤波器，θ为第一权衡参量，0≤θ≤1。