CN103426184A - 一种光流跟踪方法和装置 - Google Patents

Abstract

本发明提供一种光流跟踪方法和装置，包括：根据图像上的待跟踪物体生成随机结构，所述随机结构包括相对位置固定的至少两个结构块，每个所述结构块中包含待跟踪物体的至少一个特征点；采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量；根据所述随机结构的位置偏移量，估计所述待跟踪物体的目标位置。本发明实施例提供的光流跟踪方法和装置，通过获取图像上待跟踪物体的特征点，并将各特征点生成随机结构，对每个随机结构进行跟踪获得随机结构的位置偏移，从而估计待跟踪物体的位置，减少了跟踪错误，有效提高了跟踪精度。

Description

一种光流跟踪方法和装置

技术领域

本发明涉及信息技术领域，尤其涉及一种光流跟踪方法和装置。

背景技术

在视频监控领域，一般通过目标检测与跟踪技术来检测和跟踪人脸、行人或车辆的运动，在视频压缩、机器人导航领域，也需要对目标的运动信息进行分析。因此运动分析的应用场景丰富且具有重要价值。运动分析是为了得到物体位置偏移，从而跟踪到物体。目前常使用光流法来进行运动分析，通过光流计算可以确定图像点上的运动方向和运动速率。它要求在相邻图像之间的时间间隔非常小，并且在两幅相邻图像之间不发生显著的变化。

现有技术中，使用光流法跟踪目标，首先要在图像上待跟踪的物体上确定特征点，然后使用金字塔光流算法逐个跟踪每个特征点，再使用一定的准则排除跟踪错误的特征点，统计剩余特征点的位置偏移量信息，并对位置偏移量进行计算得到待跟踪物体的目标位置。

然而，由于不同的跟踪点很容易具有多义性，从而出现跟踪错误，从而导致跟踪精度不够高。

发明内容

本发明提供一种光流跟踪方法和装置，用以在不增加运算复杂度的情况下，提高目标跟踪的精度和实时性。

第一方面，本发明实施例提供一种光流跟踪方法，包括：

根据图像上的待跟踪物体生成随机结构，所述随机结构包括相对位置固定的至少两个结构块，每个所述结构块中包含所述待跟踪物体的至少一个特征点；

采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量；

根据所述随机结构的位置偏移量，估计所述待跟踪物体的目标位置。

在第一方面的第一种可能的实现方式中，所述根据图像上的待跟踪物体生成随机结构，具体包括：

根据所述待跟踪物体在所述图像中的起始位置和大小，生成所述待跟踪物体所在的所述图像的梯度图像；

扫描所述梯度图像得到所述梯度图像的梯度直方图，根据所述梯度直方图，确定平均梯度大于第一设定值的特征点；

确定所述随机结构包括的所述结构块的数目，在平均梯度大于第一设定值的特征点中选择至少一个特征点；

根据所选择的特征点在所述图像中的位置，所述结构块的数目，设定结构块之间的距离范围，确定所述随机结构中所有结构块对应的特征点；

根据所述随机结构中所有结构块对应的特征点生成所述随机结构。

根据第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量，具体包括：

采用光流跟踪算法

为所述随机结构的位置偏移量；

其中：ε(d)为所述随机结构中所有结构块的位移残差之和，d为所述随机块的位移，d_x为所述随机块在x方向的位移，d_y为所述随机块在y方向的位移，dx为所述随机结构中包括的特征点在x方向的位移，dy为所述随机结构中包括的特征点在y方向的位移，x为所述随机结构中包括的特征点在所述图像中的起始位置的横坐标，y为所述随机结构中包括的特征点在所述图像中的起始位置的纵坐标，I_n(x,y)为所述随机结构中包括的特征点在所述图像中的起始位置；J_n(x+dx,y+dy)为所述随机结构中包括的特征点在所述图像中的目标位置，p_x为所述随机结构中所述随机块的中点的横坐标，p_y为所述随机结构中所述随机块的中点的纵坐标，w_x为所述随机块的横坐标中点距所述随机块边缘距离的点数，w_y为所述随机块的纵坐标中点距所述随机块边缘距离的点数，N为所述随机结构中所述随机块的数目。

根据第一方面、第一方面的第一种和第二种可能的实现方式的任意一种，在第三种可能的实现方式中，所述根据图像上的待跟踪物体生成随机结构之后，还包括：

滤除所述随机结构中所有结构块中包括的误差超过第二设定值的第一误差特征点，得到一次滤除误差后的随机结构；

所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，具体包括：

所述采用光流跟踪算法对一次滤除误差后的随机结构中所有结构块进行跟踪。

根据第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述确定所述随机结构中所有结构块中包括的误差超过第二设定值的第一误差特征点，得到一次滤除误差后的随机结构之后，还包括：

采用归一化相关系统NCC方法，在所述一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差特征点，得到二次滤除误差后的随机结构；

所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，具体包括：

所述采用光流跟踪算法对所述二次滤除误差后的随机结构中所有结构块进行跟踪。

根据第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述根据所述随机结构的位置偏移量，估计所述待跟踪物体的位置，具体包括：

将所述随机结构的位置偏移量的平均值或中间值，确定为所述待跟踪物体的位置偏移量；

将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加，得到所述待跟踪物体的目标位置。

第二方面，本发明实施例提供一种光流跟踪装置，包括：

随机结构生成模块，用于根据图像上的待跟踪物体生成随机结构，所述随机结构包括相对位置固定的至少两个结构块，每个所述结构块中包含所述待跟踪物体的至少一个特征点；

光流跟踪模块，用于采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量；

位置估计模块，用于根据所述随机结构的位置偏移量，估计所述待跟踪物体的目标位置。

在第二方面的第一种可能的实现方式中，所述随机结构生成模块具体用于：根据所述待跟踪物体在所述图像中的起始位置和大小，生成所述待跟踪物体所在的所述图像的梯度图像；扫描所述梯度图像得到所述梯度图像的梯度直方图，根据所述梯度直方图，确定平均梯度大于第一设定值的特征点；确定所述随机结构包括的所述结构块的数目，在平均梯度大于第一设定值的特征点中选择至少一个特征点；根据所选择的特征点在所述图像中的位置，所述结构块的数目，设定结构块之间的距离范围，确定所述随机结构中所有结构块对应的特征点；根据所述随机结构中所有结构块对应的特征点生成所述随机结构。

根据第二方面的第一种可能的实现方式，在第二种可能的实现方式中，

所述光流跟踪模块具体用于：采用光流跟踪算法

为所述随机结构的位置偏移量；

其中：ε(d)为所述随机结构中所有结构块的位移残差之和，d为所述随机块的位移，d_x为所述随机块在x方向的位移，d_y为所述随机块在y方向的位移，dx为所述随机结构中包括的特征点在x方向的位移，dy为所述随机结构中包括的特征点在y方向的位移，x为所述随机结构中包括的特征点在所述图像中的起始位置的横坐标，y为所述随机结构中包括的特征点在所述图像中的起始位置的纵坐标，I_n(x,y)为所述随机结构中包括的特征点在所述图像中的起始位置；J_n(x+dx,y+dy)为所述随机结构中包括的特征点在所述图像中的目标位置，p_x为所述随机结构中所述随机块的中点的横坐标，p_y为所述随机结构中所述随机块的中点的纵坐标，w_x为所述随机块的横坐标中点距所述随机块边缘距离的点数，w_y为所述随机块的纵坐标中点距所述随机块边缘距离的点数，N为所述随机结构中所述随机块的数目。

根据第二方面、第二方面的第一种和第二种可能的实现方式的任意一种，在第三种可能的实现方式中，所述装置还包括：误差滤除模块，用于滤除所述随机结构中所有结构块中包括的误差超过第三设定值的第一误差特征点，得到一次滤除误差后的随机结构；所述光流跟踪模块具体用于：采用光流跟踪算法对所述一次滤除误差后的随机结构中所有结构块进行跟踪。

根据第二方面的第三种可能的实现方式，在第四种可能的实现方式中，

所述误差滤除模块还用于：

采用归一化相关系统NCC方法，在所述一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差特征点，得到二次滤除误差后的随机结构；

所述光流跟踪模块具体用于：采用光流跟踪算法对二次滤除误差后的随机结构中所有结构块进行跟踪。

根据第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述位置估计模块具体用于：将所述随机结构的位置偏移量的平均值或中间值，确定为所述待跟踪物体的位置偏移量；将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加，得到所述待跟踪物体的目标位置。

本发明实施例提供的光流跟踪方法和装置，通过获取图像上待跟踪物体的特征点，并将各特征点生成随机结构，对每个随机结构进行跟踪获得随机结构的位置偏移，从而估计待跟踪物体的位置，相比于现有技术中逐个跟踪特征点的方式，本发明实施例的跟踪方法通过结构约束，减少了跟踪错误，有效提高了跟踪精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的光流跟踪方法的流程图；

图2为本发明实施例二提供的光流跟踪方法的流程图；

图3为本发明实施例二生成的可能的随机结构示意图；

图4为本发明实施例三提供的光流跟踪装置的结构示意图；

图5为本发明实施例四提供的光流跟踪装置的结构示意图；

图6为本发明实施例五提供的光流跟踪装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的光流跟踪方法的流程图。本实施例的方法适用于视频监控领域、机器人导航等各个涉及到图像中物体跟踪的领域。以下步骤的执行主体可以为具备图像处理功能的设备，例如：计算机，PAD，手机等。如图1所示，本实施例的方法可以包括如下步骤：

101：根据图像上的待跟踪物体生成随机结构，所述随机结构包括相对位置固定的至少两个结构块，每个所述结构块中包含待跟踪物体的至少一个特征点。

其中，每个图像都可以划分为多个局部区域像素块，特征点则是对图像的每个局部区域像素块的描述，具体包括局部区域像素块的位置描述与局部区域像素块的特定特征的描述。位置描述可以用局部区域中各特征点的坐标表示，局部区域像素块的特定特征的描述可以包括图像局部区域像素块的颜色特征、纹理特征、空间关系特征等特征中的一种或多种，本发明在此不作特别限制。每个随机结构中可以包括至少两个结构块，且每个结构块中包含至少一个待跟踪物体的特征点。其中，每个随机结构中的结构块的选择是随机的，可以在某一个具体的距离范围内，选择某几个结构块作为一个随机结构，随机结构的形状也是随意的，并无特定的要求。每个结构块所包含的特征点并不限于一个，也可以包括相距较近的某几个特征点。

102：采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量。

在本步骤中，对随机结构中所有结构块进行光流跟踪具体可以为，将每一个随机结构作为一个整体，利用光流跟踪法，对随机结构中的多个结构块同时进行跟踪，以此来获得每个随机结构的位置偏移量。多个随机块的同时跟踪，可有效避免单个特征点跟踪时出现的多义性，减少跟踪错误。

具体地，在进行光流跟踪时，可以使用金字塔光流跟踪算法，从图像最高层开始，对每一层进行迭代计算，获得最终的位置偏移量。其中，金字塔光流跟踪算法的基本思想如下：首先构造图像金字塔；然后，令位置偏移量的初始值为零，并从金字塔的最高层开始对位置偏移量进行估计，一致迭代到最底层，最终的迭代结果即为随机结构的位置偏移量。

具体的图像的金字塔构造过程如下：原图形作为金字塔的底层，可记为F=0，将原始图像减采样至原尺寸的1/2^2N获得F=1层图像，其中，N一般取值为1，若过大则会导致图像信息的严重丢失。由此，该F=1层相邻帧间的目标像素运动距离变为D/2^N，其中，D为原图中相邻帧间的目标像素运动的距离，亦即特征点的位移。按照此规则，当F达到一定的值，一般为3≤F≤5时，最高层相邻帧间的目标运动尺度变为亚像素级。由此可以满足光流跟踪算法在应用时需要的小运动的约束条件，进行精确的光流估计。

103：根据随机结构的位置偏移量，估计待跟踪物体的目标位置。

需要说明的是，本发明中涉及的待跟踪物体在图像中的起始位置是指，在进行图像跟踪之前，即待跟踪物体在图像中的位置未变化之前待跟踪物体在图像中所在的位置，目标位置是指图像跟踪之后，即待跟踪物体在图像中的位置之后待跟踪物体在图像中所在的位置。目标位置量和起始位置之间的差值即为位置偏移量，也就是说，待跟踪物体在图像跟踪过程中所产生的位移即为位置偏移量。一般来说，在图像跟踪可以以帧为单位，即可以对后一帧图像中待跟踪物体相对前一帧图像待跟踪物体的位置变化进行跟踪，在本发明实施例中，起始位置、目标位置均可以用坐标值表示，也可用向量、矢量等其它表示方式，本发明不做特别限定。

根据所获得的各个随机结构的位置偏移量，进行相关的计算，如求所有位置偏移量的平均值或取所有随机结构的位置偏移量的中值，得到跟踪目标物体的位置偏移量。然后，可以将该偏移位置量与所跟踪物体在原始图像中的位置量相加，得到所跟踪物体的目标位置。

本发明实施例提供的光流跟踪方法，通过获取图像上待跟踪物体的特征点，并将各特征点生成随机结构，对每个随机结构进行跟踪获得随机结构的位置偏移，从而估计待跟踪物体的位置，相比于现有技术中逐个跟踪特征点的方式，本发明实施例的跟踪方法通过结构约束，减少了跟踪错误，有效提高了跟踪精度。

图2为本发明实施例二提供的光流跟踪方法的流程图。本实施例的方法适用于视频监控领域、机器人导航等各个涉及到图像中物体跟踪的领域。结合图1和图2所示，在上述实施例一的基础上，在本发明实施例提供了光流跟踪方法的具体过程：

201：根据待跟踪物体在图像中的起始位置和大小，生成待跟踪物体所在图像的梯度图像。

具体地，在视频监控等领域，要对目标物体进行跟踪的时候，首先需要获得待跟踪物体在图像中的起始位置和大小，以使得在跟踪的时候能尽可能正确地跟踪到目标物体，减少错误跟踪。在获得待跟踪物体在图像中的起始位置和大小后，可以对图像进行一些计算，生成待跟踪物体所在图像的梯度图像。其中，梯度值是指图像灰度值的显著变化的地方，若把图像看成二维离散函数，则图像梯度就是对这个二维离散函数的求导。因此，梯度图像指的是就是对图像求梯度值后得到的图像。梯度图像能够很好地反映图像中物体的特征。具体在生成梯度图像的时候，可以直接对图像进行二维函数的求导，或者采用线性滤波方法中的几种经典的估计方法，如Sobel算子、Prewitt算子、Roberts算子等方法。以Sobel算子为例，它是提供了两组3*3矩阵，分别计算水平梯度图像和竖直梯度图像，并将得到的水平梯度图像和竖直梯度图像进行卷积，进而获得梯度图像的。

在生成的待跟踪物体所在图像的梯度图像后，可选择在梯度图像中待跟踪物体区域中梯度幅值大于一定设定值的点作为待跟踪物体的特征点，且这些特征点能够很好地体现待跟踪物体的特征。具体可以通过对图像生成梯度图像，并扫描获得目标区域梯度幅值大的点集，将这些点集作为特征点；或者也可以利用一些传统的特征提取算法，如Sobel算子、Roberts算子等来对图像进行边缘检测，将所检测到的边缘特征点作为待跟踪物体的特征点。其中，该设定值可以根据具体的梯度图像来设定，不同的梯度图像可能会有不同的设定值，而设定值大小设定的依据则是大于设定值的点能够较好地反映待跟踪图像的特征。具体的设定，可以的根据先验知识获得，或者也可以在梯度值的可能的范围内预估一个值，如可以选择所有梯度值的中间值来作为设定值。

202：扫描梯度图像得到梯度图像的梯度直方图，根据梯度直方图，确定平均梯度大于第一设定值的特征点。

具体地，对生成的梯度图像可以进行扫描，比如可以采用3*3模版等扫描梯度图像，得到该图像的梯度直方图，并确定记录该梯度直方图中平均梯度大于第一设定值的待跟踪物体的特征点。其中，3*3模板为一预处理模板，该模板可以用于计算图像中各个局部区域的最大梯度或者平均梯度，从而统计出梯度图像中每个像素的梯度直方图。平均梯度指图像的边界或影线两侧附近灰度差异的大小，即灰度变化率的大小，平均梯度又称为清晰度，它可以描述影像的清晰程度，反映图像中微小细节反差程度和纹理变化特征，一般平均梯度值越大，表明图像越清晰。例如，平均梯度可以指，某一个像素点与其相邻像素点之间梯度的平均值，如水平梯度中，某一像素与其左侧像素的梯度和该像素与其右侧像素的梯度的平均值。需要说明的是，第一设定值低于上述确定待跟踪物体特征点中涉及的设定值，即提取到的所有的待跟踪图像的特征点的位置都是确定被记录的，所有的梯度直方图中平均梯度大于第一设定值的位置会被记录，并保存在梯度数组中。

203：选择随机结构包括的结构块的数目，在平均梯度大于第一设定值的特征点中选择至少一个特征点。

可以在特征点中提取随机结构，使得后续的跟踪可以以随机结构为单位来进行跟踪，减小对单个特征点进行跟踪时出现的多义性。具体地，结构块的数目可以随机选择。随机块之间的距离，以及每个随机块的大小的范围可以根据具体需求预先设定，如可以限制随机结构中每个结构块的大小为范围[3*3,12*12]，结构块的数目范围为（1,4），结构块之间的距离范围为（1，targetsize）等，并在平均梯度大于第一设定值的特征点中选择任意至少一个特征点。一般情况下，可以在平均梯度大于第一设定值的特征点中选择一个特征点。

204：根据所选择的特征点在图像中的位置，结构块的数目，设定结构块之间的距离范围，确定随机结构中所有结构块对应的特征点。

具体地，根据所选择的结构块的数目、结构块之间的距离范围和相关位置等，确定随机结构中所有结构块对应的特征点，并到梯度数组中查找到这些特征点所对应的位置。

205：根据随机结构中所有结构块对应的特征点生成随机结构。

具体地，根据上述步骤中所获得的结构块对应的特征点生成随机结构，以各个随机结构为单元，可以实现对目标物体的跟踪。图3为本发明实施例二生成的可能的随机结构示意图。如图3可示，本实施例生成的随机结构，结构块的大小、结构块的数目以及各结构块之间的距离并没有一定的限制，只要符合预先设置的范围就可以。

进一步地，具体的：

206：采用光流跟踪算法

块的位移残差之和作为所述随机结构的位置偏移量。

其中：ε(d)为所述随机结构中所有结构块的位移残差之和，d为随机块的位移，d_x为随机块在x方向的位移，d_y为随机块在y方向的位移，dx为随机结构中包括的特征点在x方向的位移，dy为随机结构中包括的特征点在y方向的位移，x为所述随机结构中包括的特征点在所述图像中的起始位置的横坐标，y为所述随机结构中包括的特征点在所述图像中的起始位置的纵坐标，I_n(x,y)为所述随机结构中包括的特征点在所述图像中的起始位置；J_n(x+dx,y+dy)为所述随机结构中包括的特征点在所述图像中的目标位置，p_x为随机结构中随机块的中点的横坐标，p_y为随机结构中随机块的中点的纵坐标，w_x为随机块的横坐标中点距随机块边缘距离的点数，w_y为随机块的纵坐标中点距随机块边缘距离的点数，N为随机结构中随机块的数目。

具体地，在对步骤206中所获取到的随机结构进行跟踪，是以随机结构为单位，分别对每一个随机结构进行金字塔光流跟踪。具体地，使用金字塔光流跟踪算法对每一个随机结构进行跟踪时，可以依据公式（1），来对金字塔的每一层来从最高层向最底层来迭代，最终获得每个随机结构的位移。在具体在计算中，需要使得ε(d)最小，即就要求得最小的d。设然后，可以令公式（1）为零，即

$\mathrm{\ϵ}\left(d\right)=\mathrm{\ϵ}(d_x,d_y)=\underset{n=0}{\overset{N}{\mathrm{\Σ}}}\underset{x=p_x-w_x}{\overset{p_x+w_x}{\mathrm{\Σ}}}\underset{y=p_y-w_y}{\overset{p_y+w_y}{\mathrm{\Σ}}}{(I_n(x,y)-J_n(x+\mathrm{dx},y+\mathrm{dy}))}^2=0---\left(2\right)$

然后求使得该公式（2）成立的位移的值。具体地，对该公式（2）求导数，可得到：

$\frac{1}{2}{\left[\frac{\∂\mathrm{\ϵ}\left(\stackrel{\‾}{v}\right)}{\∂\stackrel{\‾}{v}}\right]}^T\≈G\stackrel{\‾}{v}-\stackrel{\‾}{b}---\left(3\right)$

其中，G和

分别为 $G\≈\underset{n=0}{\overset{N}{\mathrm{\Σ}}}\underset{x=p_x-w_x}{\overset{p_x+w_x}{\mathrm{\Σ}}}\underset{y=p_y-w_y}{\overset{p_y+w_y}{\mathrm{\Σ}}}\left[\begin{array}{cc}{I_{\mathrm{nx}}}^2& I_{\mathrm{nx}}{I}_{\mathrm{ny}}\\ I_{\mathrm{nx}}{I}_{\mathrm{ny}}& {I_{\mathrm{ny}}}^2\end{array}\right]$ 和 $\stackrel{\‾}{b}=\underset{n=0}{\overset{N}{\mathrm{\Σ}}}\underset{x=p_x-w_x}{\overset{p_x+w_x}{\mathrm{\Σ}}}\underset{y=p_y-w_y}{\overset{p_y+w_y}{\mathrm{\Σ}}}\left[\begin{array}{cc}\mathrm{\δ}{I}_n& I_{\mathrm{nx}}\\ \mathrm{\δ}{I}_n& I_{\mathrm{ny}}\end{array}\right];$

I_nx和I_ny分别为第n个结构块中某个特征点的x方向梯度和y方向梯度，δI_n代表结构块中的某个特征点在原始图像和待跟踪图像中的位移，p_x为随机结构中随机块的中点的横坐标，p_y为随机结构中随机块的中点的纵坐标，w_x为随机块的横坐标中点距随机块边缘距离的点数，w_y为随机块的纵坐标中点距随机块边缘距离的点数，N为随机结构中随机块的数目，且

δI_n=I_n(x,y)-J_n(x+dx,y+dy)。

进一步计算，得求得：

${\stackrel{\‾}{v}}_{\mathrm{opt}}=G^{-1}\stackrel{\‾}{b}---\left(4\right)$

上述的实施例中，通过根据待跟踪物体生成各种随机结构，利用金字塔光流跟踪算法，以每个随机结构为单位，对待跟踪物体进行跟踪，避免了跟踪过程中的多义性，有效提高了跟踪的精度。

需要说明的是，在上述实施例的基础上，S205之后还可以执行以下操作：

滤除随机结构中所有结构块中包括的误差超过第二设定值的第一误差特征点，得到一次滤除误差后的随机结构。相应的，S206中可以采用光流跟踪算法对一次滤除误差后的随机结构中所有结构块进行跟踪。

可选的，根据S206中的描述可以看出，由于在使用金字塔光流跟踪算法对随机结构进行跟踪涉及迭代过程，因此，可以在迭代过程中所出现的误差进行统计。当某一个随机结构块在跟踪过程中出现的误差大于第二设定值时，则认为该随机结构块出现了跟踪错误。此时，可以对这个随机结构中所包括的特征点进行标记，并不再对包括这些特征点的随机结构进行跟踪。在进行金字塔光流跟踪的过程中，不断对误差大于第二设定值的随机结构进行滤除，得到一次滤除误差后的随机结构。其中，第二设定值为针对随机结构跟踪过程中出现的跟踪错误所设定的误差值，可以为针对迭代中的收敛状况设定的值，如为当迭代到一定次数后，位移值收敛的数值大于某一个特定的值，则认为出现了跟踪错误。此时，该特定的值即为第二设定值。

进一步地，在得到一次滤除误差后的随机结构的基础上，还可以执行以下操作：采用归一化相关系数NCC方法，在一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差特征点，得到二次滤除误差后的随机结构。相应的，在S206中可以采用光流跟踪算法对二次滤除误差后的随机结构中所有结构块进行跟踪。

可选的，在金字塔光流跟踪算法计算结束后，可以采用归一化相关系数（Normalized Norrelation Noefficient，简称NCC）或其他的错误衡量方法，来对获取到的一次滤除误差后的随机结构中所有结构块中包括的特征点中存在的较大误差的特征点进行滤除，如可以根据特征点的颜色、亮度等特征来确定错误的跟踪点并进行滤除，也即滤除第二误差特征点，来得到二次滤除误差后的随机结构。其中，NCC方法具体可以是分别对每组结构块计算NCC相关系数，即面积归一化后的误差系数。计算得到所有的NCC相关系数后，基于统计分析，例如求平均值的方法，滤除误差大于平均值一个NCC系数对应的结构块。

207：将随机结构的位置偏移量的平均值或中间值，确定为所述待跟踪物体的位置偏移量。

208：将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加，得到所述待跟踪物体的目标位置。

具体地，可将随机结构的位置偏移量进行整合计算，例如可求取这些位置偏移量的平均值或中间值等，并将该平均值或中间值等作为待跟踪物体的位置偏移量。

进一步地，在获得该待跟踪物体的位移后，还可以将待跟踪物体的位置偏移量与待跟踪物体的的起始位置相加，确定为待跟踪物体的目标位置。需要说明的是，这里的偏移位置量与起始位置均可以用矢量或坐标表示，两者的加法运算并不是通常意义上的数字相加，而是矢量运算。

本发明实施例提供的光流跟踪方法，通过获取图像上待跟踪物体的特征点，并将各特征点生成随机结构，对每个随机结构进行跟踪获得随机结构的位置偏移，从而估计待跟踪物体的位置，将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加，得到所述待跟踪物体的目标位置。减少了跟踪错误，有效提高了跟踪精度。

图4为本发明实施例三提供的结光流跟踪装置的结构示意图。如图4所示，本发明实施例的光流跟踪装置包括：

随机结构生成模块401，用于根据图像上的待跟踪物体生成随机结构，随机结构包括相对位置固定的至少两个结构块，每个结构块中包含待跟踪物体的至少一个特征点；

光流跟踪模块402，用于采用光流跟踪算法对随机结构中所有结构块进行跟踪，以得到随机结构的位置偏移量；

位置估计模块403，用于根据随机结构的位置偏移量，估计待跟踪物体的目标位置。

可选的，随机结构生成模块401可以具体用于：根据待跟踪物体在图像中的起始位置和大小，生成待跟踪物体所在的图像的梯度图像；扫描梯度图像得到梯度图像的梯度直方图，根据梯度直方图，确定平均梯度大于第一设定值的特征点；确定随机结构包括的结构块的数目，在平均梯度大于第一设定值的特征点中选择至少一个特征点；根据所选择的特征点在图像中的位置，结构块的数目，设定结构块之间的距离范围，确定随机结构中所有结构块对应的特征点；根据随机结构中所有结构块对应的特征点生成随机结构。

可选的，光流跟踪模块402可以具体用于：采用光流跟踪算法

构的位置偏移量；

其中：ε(d)为随机结构中所有结构块的位移残差之和，d为随机块的位移，d_x为随机块在x方向的位移，d_y为随机块在y方向的位移，dx为随机结构中包括的特征点在x方向的位移，dy为随机结构中包括的特征点在y方向的位移，x为随机结构中包括的特征点在图像中的起始位置的横坐标，y为随机结构中包括的特征点在图像中的起始位置的纵坐标，I_n(x,y)为随机结构中包括的特征点在图像中的起始位置；J_n(x+dx,y+dy)为随机结构中包括的特征点在图像中的目标位置，p_x为随机结构中随机块的中点的横坐标，p_y为随机结构中随机块的中点的纵坐标，w_x为随机块的横坐标中点距随机块边缘距离的点数，w_y为随机块的纵坐标中点距随机块边缘距离的点数，N为随机结构中随机块的数目。

图5为本发明实施例四提供的光流跟踪装置的结构示意图，在图4所示实施例的基础上，可选的，该装置还可以包括：误差滤除模块404，用于滤除随机结构中所有结构块中包括的误差超过第三设定值的第一误差特征点，得到一次滤除误差后的随机结构；

相应的，光流跟踪模块402可以具体用于：采用光流跟踪算法对所述一次滤除误差后的随机结构中所有结构块进行跟踪。

可选的，误差滤除模块404还可以用于：采用归一化相关系统NCC方法，在一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差特征点，得到二次滤除误差后的随机结构；

相应的，光流跟踪模块402可以具体用于：采用光流跟踪算法对二次滤除误差后的随机结构中所有结构块进行跟踪。

可选的，位置估计模块403可以具体用于：将随机结构的位置偏移量的平均值或中间值，确定为待跟踪物体的位置偏移量；将待跟踪物体的位置偏移量与待跟踪物体的起始位置相加，得到待跟踪物体的目标位置。需要说明的是，这里的偏移位置量与起始位置均可以用矢量或坐标表示，两者的加法运算并不是通常意义上的数字相加，而是矢量运算。

本实施例的光流跟踪装置，可以用于执行上述任一方法实施例的技术方案，其包含的功能模块的具体实现原理可参照前述方法实施例，此处不再赘述。

本发明实施例提供的光流跟踪装置，通过获取图像上待跟踪物体的特征点，并将各特征点生成随机结构，对每个随机结构进行跟踪获得随机结构的位置偏移，从而估计待跟踪物体的位置，相比于现有技术中逐个跟踪特征点的方式，本发明实施例的跟踪方法通过结构约束，减少了跟踪错误，有效提高了跟踪精度。

图6为本发明实施例五提供的光流跟踪装置的结构示意图，如图6所示，该光流跟踪装置可以包括：存储器601以及与存储器601通信的处理器602，其中，存储器601中存储一组程序代码，且处理器602用于调用存储器中存储的程序代码，执行如下方法：根据图像上的待跟踪物体生成随机结构，随机结构包括相对位置固定的至少两个结构块，每个结构块中包含待跟踪物体的至少一个特征点；采用光流跟踪算法对随机结构中所有结构块进行跟踪，以得到随机结构的位置偏移量；根据随机结构的位置偏移量，估计待跟踪物体的目标位置。

可选的，处理器602执行根据图像上的待跟踪物体生成随机结构，可以具体为：根据待跟踪物体在图像中的起始位置和大小，生成待跟踪物体所在的图像的梯度图像；扫描梯度图像得到梯度图像的梯度直方图，确定梯度直方图，确定平均梯度大于第一设定值的特征点；确定随机结构包括的结构块的数目，在平均梯度大于第一设定值的特征点中选择至少一个特征点；根据所选择的特征点在图像中的位置，所选择的结构块的数目，设定结构块之间的距离范围，确定随机结构中所有结构块对应的特征点；根据随机结构中所有结构块对应的特征点生成随机结构。

可选的，处理器602执行采用光流跟踪算法对随机结构中所有结构块进行跟踪，以得到随机结构的位置偏移量，可以具体为：

采用光流跟踪算法

构的位置偏移量；

其中：ε(d)为随机结构中所有结构块的位移残差之和，d为随机块的位移，d_x为随机块在x方向的位移，d_y为随机块在y方向的位移，dx为随机结构中包括的特征点在x方向的位移，dy为随机结构中包括的特征点在y方向的位移，x为随机结构中包括的特征点在图像中的起始位置的横坐标，y为随机结构中包括的特征点在图像中的起始位置的纵坐标，I_n(x,y)为随机结构中包括的特征点在图像中的起始位置；J_n(x+dx,y+dy)为随机结构中包括的特征点在图像中的目标位置，p_x为随机结构中随机块的中点的横坐标，p_y为随机结构中随机块的中点的纵坐标，w_x为随机块的横坐标中点距随机块边缘距离的点数，w_y为随机块的纵坐标中点距随机块边缘距离的点数，N为随机结构中随机块的数目。

可选的，处理器602执行根据图像上的待跟踪物体生成随机结构之后，还可以进一步执行：滤除随机结构中所有结构块中包括的误差超过第二设定值的第一误差特征点，得到一次滤除误差后的随机结构。

相应的，处理器602执行的采用光流跟踪算法对随机结构中所有结构块进行跟踪，具体包括：采用光流跟踪算法对一次滤除误差后的随机结构中所有结构块进行跟踪。

可选的，处理器602执行确定随机结构中所有结构块中包括的误差超过第二设定值的第一误差特征点，得到一次滤除误差后的随机结构之后，还可以进一步执行：采用归一化相关系统NCC方法，在一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差特征点，得到二次滤除误差后的随机结构。

相应的，处理器602执行的采用光流跟踪算法对随机结构中所有结构块进行跟踪，具体包括：采用光流跟踪算法对二次滤除误差后的随机结构中所有结构块进行跟踪。可选的，处理器602执行根据随机结构的位置偏移量，估计待跟踪物体的位置，具体为：将随机结构的位置偏移量的平均值或中间值，确定为待跟踪物体的位置偏移量；将待跟踪物体的位置偏移量与待跟踪物体的起始位置相加，得到待跟踪物体的目标位置。

需要说明的是，本实施例提供的光流跟踪装置，其具体可以是各种类型的终端设备，例如PC机，PAD，手机等。其中的处理器具体可以是中央处理单元（Central Processing Unit，CPU），图形处理器（Graphic Processing Unit，GPU）或数字信号处理器（Digital Signal Processor，DSP）等具有数据处理功能的器件。

本实施例的光流跟踪装置，可以用于执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种光流跟踪方法，其特征在于，包括：

根据图像上的待跟踪物体生成随机结构，所述随机结构包括相对位置固定的至少两个结构块，每个所述结构块中包含所述待跟踪物体的至少一个特征点；

采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量；

根据所述随机结构的位置偏移量，估计所述待跟踪物体的目标位置。

2.根据权利要求1所述的方法，其特征在于，所述根据图像上的待跟踪物体生成随机结构，具体包括：

根据所述待跟踪物体在所述图像中的起始位置和大小，生成所述待跟踪物体所在的所述图像的梯度图像；

扫描所述梯度图像得到所述梯度图像的梯度直方图，根据所述梯度直方图，确定平均梯度大于第一设定值的特征点；

确定所述随机结构包括的所述结构块的数目，在平均梯度大于第一设定值的特征点中选择至少一个特征点；

根据所选择的特征点在所述图像中的位置，所述结构块的数目，设定结构块之间的距离范围，确定所述随机结构中所有结构块对应的特征点；

根据所述随机结构中所有结构块对应的特征点生成所述随机结构。

3.根据权利要求1或2所述的方法，其特征在于，所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量，具体包括：

采用光流跟踪算法

为所述随机结构的位置偏移量；

其中：ε(d)为所述随机结构中所有结构块的位移残差之和，d为所述随机块的位移，d_x为所述随机块在x方向的位移，d_y为所述随机块在y方向的位移，dx为所述随机结构中包括的特征点在x方向的位移，dy为所述随机结构中包括的特征点在y方向的位移，x为所述随机结构中包括的特征点在所述图像中的起始位置的横坐标，y为所述随机结构中包括的特征点在所述图像中的起始位置的纵坐标，I_n(x,y)为所述随机结构中包括的特征点在所述图像中的起始位置；J_n(x+dx,y+dy)为所述随机结构中包括的特征点在所述图像中的目标位置，p_x为所述随机结构中所述随机块的中点的横坐标，p_y为所述随机结构中所述随机块的中点的纵坐标，w_x为所述随机块的横坐标中点距所述随机块边缘距离的点数，w_y为所述随机块的纵坐标中点距所述随机块边缘距离的点数，N为所述随机结构中所述随机块的数目。

4.根据权利要求3所述的方法，其特征在于，所述根据图像上的待跟踪物体生成随机结构之后，还包括：

滤除所述随机结构中所有结构块中包括的误差超过第二设定值的第一误差特征点；

所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，具体包括：

所述采用光流跟踪算法对所述一次滤除误差后的随机结构中所有结构块进行跟踪。

5.根据权利要求4所述的方法，其特征在于，在滤除所述随机结构中所有结构块中包括的误差超过第二设定值的第一误差特征点，得到一次滤除误差后的随机结构之后，还包括：

采用归一化相关系统NCC方法，在所述一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差特征点，得到二次滤除误差后的随机结构；

所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，具体包括：

所述采用光流跟踪算法对所述二次滤除误差后的随机结构中所有结构块进行跟踪。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述随机结构的位置偏移量，估计所述待跟踪物体的位置，包括：

将所述随机结构的位置偏移量的平均值或中间值，确定为所述待跟踪物体的位置偏移量；

将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加，得到所述待跟踪物体的目标位置。

7.一种光流跟踪装置，其特征在于，包括：

随机结构生成模块，用于根据图像上的待跟踪物体生成随机结构，所述随机结构包括相对位置固定的至少两个结构块，每个所述结构块中包含所述待跟踪物体的至少一个特征点；

光流跟踪模块，用于采用光流跟踪算法对所述随机结构中所有结构块进行跟踪，以得到所述随机结构的位置偏移量；

位置估计模块，用于根据所述随机结构的位置偏移量，估计所述待跟踪物体的目标位置。

8.根据权利要求7所述的装置，其特征在于，所述随机结构生成模块具体用于：根据所述待跟踪物体在所述图像中的起始位置和大小，生成所述待跟踪物体所在的所述图像的梯度图像；扫描所述梯度图像得到所述梯度图像的梯度直方图，根据所述梯度直方图，确定平均梯度大于第一设定值的特征点；确定所述随机结构包括的所述结构块的数目，在平均梯度大于第一设定值的特征点中选择至少一个特征点；根据所选择的特征点在所述图像中的位置，所述结构块的数目，设定结构块之间的距离范围，确定所述随机结构中所有结构块对应的特征点；根据所述随机结构中所有结构块对应的特征点生成所述随机结构。

9.根据权利要求7或8所述的装置，其特征在于，所述光流跟踪模块具体用于：采用光流跟踪算法

为所述随机结构的位置偏移量；

其中：ε(d)为所述随机结构中所有结构块的位移残差之和，d为所述随机块的位移，d_x为所述随机块在x方向的位移，d_y为所述随机块在y方向的位移，dx为所述随机结构中包括的特征点在x方向的位移，dy为所述随机结构中包括的特征点在y方向的位移，x为所述随机结构中包括的特征点在所述图像中的起始位置的横坐标，y为所述随机结构中包括的特征点在所述图像中的起始位置的纵坐标，I_n(x,y)为所述随机结构中包括的特征点在所述图像中的起始位置；J_n(x+dx,y+dy)为所述随机结构中包括的特征点在所述图像中的目标位置，p_x为所述随机结构中所述随机块的中点的横坐标，p_y为所述随机结构中所述随机块的中点的纵坐标，w_x为所述随机块的横坐标中点距所述随机块边缘距离的点数，w_y为所述随机块的纵坐标中点距所述随机块边缘距离的点数，N为所述随机结构中所述随机块的数目。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：误差滤除模块，用于滤除所述随机结构中所有结构块中包括的误差超过第三设定值的第一误差特征点，得到一次滤除误差后的随机结构；

所述光流跟踪模块具体用于：采用光流跟踪算法对所述一次滤除误差后的随机结构中所有结构块进行跟踪。

11.根据权利要求10所述的装置，其特征在于，所述误差滤除模块还用于：采用归一化相关系统NCC方法，在所述一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差特征点，得到二次滤除误差后的随机结构；

所述光流跟踪模块具体用于：采用光流跟踪算法对二次滤除误差后的随机结构中所有结构块进行跟踪。

12.根据权利要求7-9任一项所述的装置，其特征在于，所述位置估计模块具体用于：将所述随机结构的位置偏移量的平均值或中间值，确定为所述待跟踪物体的位置偏移量；将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加，得到所述待跟踪物体的目标位置。

Images