CN106558065A - 基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法 - Google Patents

Abstract

本发明涉及无人机技术领域，具体公开了一种基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法，包括下述步骤：图像特征的提取与分析：根据图像的纹理和色彩提取适当的视觉特征，分析提取目标在场景中比较显著的特征，为跟踪算法设计提供参考；目标跟踪算法设计：根据视觉特征分析结果设计合理的目标跟踪算法，所述目标跟踪算法采用色彩跟踪算法或纹理跟踪算法，并提出跟踪算法的适用条件；目标的匹配与找回：利用适当的目标特征进行视觉匹配，判断跟踪结果的正确性。当发生目标遮挡或图像丢失时，通过全图搜索找回目标。针对特定的应用场合设计视觉跟踪方法，从而实现对目标的高可靠性跟踪。

Description

基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法

技术领域

本发明涉及视觉跟踪技术领域，特别是指一种基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法。

背景技术

近年来，无人机技术快速发展，正逐步应用于各行各业，并成为大众消费类电子设备。计算机视觉技术已经发展多年，已经广泛应用于工业领域。随着计算机计算能力的提升及体积成本的不断降低，计算机视觉技术正广泛的应用于生产生活。为了使无人机能够更加智能，执行更复杂的任务，计算机视觉技术正逐步成为无人机的关键技术，其中视觉跟踪技术也得到广泛研究。

目前国际上对视觉跟踪间题正处于研究高潮中。许多重要国际期刊(IEEE Transactions on Pattern Analysis and MachineIntelligence；IEEE Transactions on Image Processing；IEEE Transactionson Medical Imaging；IEEE Transactions on Circuits and Systems forVideo Technology；IEEE Transactions on Vehicular Technology；International Journal of Computer Vision；Computer Vision and ImageUnderstanding；Image and Vision Computing；Pattern Recognition；Pattern Recognition Letters；Machine Vision and Application；Real-timeImaging；etc.)以及重要国际会议(ICCV；CVPR；ECCV；ICIP；ICPR；IWVS；etc.)发表了大量有关视觉跟踪方面的论文，视觉跟踪问题引起广泛关注是由于它能够应用于民用和军事的许多领域。例如公路巡航Sivakumar Rathinam,ZuWhan Kim,RajaSengupta.Vision based following of structures using an unmanned aerialvehicle 2006.自主着降Hubbard D,Morsel B.Performance evaluation ofvision-based navigation and landing on a rotor craft unmanned aerialvehicle，2007，目标跟踪Ariyur K，Fregene K.Autonomous trackingof a ground vehicle，2008。

视觉跟踪主要有以下问题：(1)被跟踪对象从不同的角度看，或在不同的光照条件下，或者被跟踪目标不是刚体，那么其图像都会不一样；(2)如果被跟踪目标与背景在颜色或者纹理上如果与背景相似，容易发生混淆；(3)跟跟踪目标因被遮挡或者图像丢帧而丢失；(4)被跟踪目标运动状态发生突变。目前计算机视觉技术尚不完善，这些问题都会导致跟踪失败，因此目前没有通用的视觉跟踪方法。

发明内容

本发明的目的是提供一种基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法，针对特定的应用场合设计视觉跟踪方法，从而实现对目标的高可靠性跟踪。

为了实现上述目的，本发明采用了以下的技术方案：基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法，包括下述步骤：

S1：图像特征的提取与分析

根据图像的纹理和色彩提取适当的视觉特征，分析提取目标在场景中比较显著的特征，为跟踪算法设计提供参考；

S2：目标跟踪算法设计

根据视觉特征分析结果设计合理的目标跟踪算法，所述目标跟踪算法采用色彩跟踪算法或纹理跟踪算法，并提出跟踪算法的适用条件；

S3：目标的匹配与找回

利用适当的目标特征进行视觉匹配，判断跟踪结果的正确性。当发生目标遮挡或图像丢失时，通过全图搜索找回目标。

本发明的有益效果在于：采用上述方法后，利用计算机视觉技术实现目标跟踪，通过对图像及目标的纹理、色彩、尺度等信息的分析，设计了视觉实时目标跟踪与匹配算法，能够实现对目标的实时跟踪与跟踪失败后的重新获取，实现了目标跟踪在一定条件下的实际应用。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对-实施例或现有技术描述中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1～2为色度空间转换示意图；

图3为某个色度通道上图像的统计直方图；

图4为平滑区域图像检测示意图；

图5为边缘区域图像检测示意图；

图6为角点区域图像检测示意图；

图7为角点特征在各个方向上的特征值；

图8为FAST特征示意图；

图9为BRISK描述子示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法，包括以下步骤：图像特征的提取与分析、目标跟踪算法设计、目标的匹配与找回。基于视觉特征的目标跟踪，首先提取目标及整幅图像的视觉特征，并根据特征的稳定性、特异性、丰富性等条件，选择合适的特征，然后根据特征描述设计目标跟踪及匹配算法，并给出相应的适用条件，最后将匹配结果反馈给运动控制系统，实现整个视觉跟踪系统的闭环控制。

S1：图像特征的提取与分析

将图像从RGB空间变换到HSI色度空间，RGB色度空间是传感器直接获取的数据，HSI色度空间将图像转换到色调、饱和度、亮度上，是计算机视觉最常用的色度空间，便于后端处理。色度空间转换示意图如图1～2所示：

色调：

其中

饱和度：

亮度：

(4)

然后在色度空间的色调，饱和度，亮度通道上分别对目标区域和全图做统计直方图，如图3所示。找出目标区域色调直方图的最大值，计算在最大值左右各1％范围内像素数量，如果大于目标区域像素数的一半，则将其定义为目标区域的主色调。如果满足如下条件：(1)主色调的饱和度大于50％；(2)整幅图像中(目标区域除外)与目标主色调相同的区域面积不超过目标主色调区域面积的80％；(3)图像亮度大于100。则在色彩空间对目标进行跟踪匹配。否则，提取目标表面纹理结构特征，设计基于纹理的跟踪匹配方法。

S2：目标跟踪算法设计

a)色彩跟踪算法

根据前面的分析，如果目标符合色彩跟踪，则采用色彩跟踪的方法。具体算法包括如下步骤：(1)在以目标区域中心为中心，长宽各扩大50％的区域，以前一节分析得到的阈值对该区域做色度、饱和度、亮度分割；(2)计算分割出来的区域的面积，并计算其质心；(3)如果面积与原始目标面积差异不超过20％，则认为跟踪成功，返回步骤(1)，否则，对全图进行区域分割；(4)对全图分割结果采用区域生长算法，计算分割出来的区域的面积，如果找到与原始目标面积差异不超过20％的区域，则认为成功匹配，返回步骤(1)，否则，继续执行该步骤。

其中区域生长算法描述如下：

(1)遍历全图，记录每一行中值连续为1的片段的起始位置sa和结束位置ea，以及当前行数；(2)遍历各片段，将不同行中首尾临近的片段标注为同一类；其中临近是指如果一个点在以另一个点为中心的3x3的区域内，则这两个点临近。标注为不同类的片段则为不同的区域。

b)纹理跟踪算法

如果不符合色彩跟踪条件，则采用提取表面纹理的方法。本发明采用基于特征点的视觉跟踪算法。具体步骤如下：(1)提取适于跟踪的角点特征，如果特征数量大于5个，则进行下一步，否则在下一帧重复步骤(1)；(2)对这些特征点进行多尺度跟踪匹配，计算跟踪上的点的几何中心，将其作为跟踪结果的中心。

其中特征提取算法具体描述如下：

当一个窗口在图像上移动，在平滑区域如图4，窗口在各个方向上没有变化。在边缘上如图5，窗口在边缘的方向上没有变化。在角点处如图6，窗口在各个方向上具有变化。Harris角点检测正是利用了这个直观的物理现象，通过窗口在各个方向上的变化程度，决定是否为角点。

将图像窗口平移[u,v]产生灰度变化E(u,v)

由

I(x+u,y+v)＝I(x,y)+I_xu+I_yv+O(u²,v²) (6)

得到：

对于局部微小的移动量[u,v]，近似表达为：

其中M是2*2矩阵，可由图像的导数求得：

E(u,v)的椭圆形式如图7所示，(λ₁,λ₂)为特征值，定义角点响应函数R为：

R＝λ₁λ₂-k(λ₁+λ₂)² (10)

Harris角点检测算法就是对角点响应函数R进行阈值处理：R>threshold，即提取R的局部极大值。

Harris算法最原始的定义是将矩阵M的行列式值与M的迹相减，再将差值同预先给定的阈值进行比较。后来Shi和Tomasi提出改进的方法，若两个特征值中较小的一个大于最小阈值，则会得到强角点。

如图7所示，表示角点特征在各个方向上的特征值。特征值越大表示变化越剧烈，因此可以用于检点检测的快速判定。对自相关矩阵M进行特征值分析，产生两个特征值(λ₁,λ₂)和两个特征方向向量。因为较大的不确定度取决于较小的特征值，所以通过寻找最小特征值的最大值就可以寻找好的特征点。

跟踪算法包括在多尺度空间(金字塔)下利用偏导方法求解位移。

金子塔算法针对较大的运动图像序列。如果用一个大的窗口来捕获大的运动，往往会违背运动连贯的假设。也就是，这个大窗口内的子图像和原先的子图像发生了较大的变化。图像金子塔可以解决这个问题，最初在较大的空间尺度上进行跟踪，在通过对图像金字塔向下直到图像像素的处理来修正初始运动速度(位移)的假设。通俗的将，就是通过下采样使得大窗口变为小窗口，以此来满足运动连贯的假设。

偏导方法求解位移把特征点的速度和方向等价为特征的位移及其方向。

E为误差大小，w_x，w_y为x方向和y方向的窗口大小，I(x,y)为前一帧图像，J(x,y)为当前帧图像。一般的，假设如果是刚性运动，只要用以合理的搜索路径找位移d使得E最小，是块匹配的一种方法。

在金字塔跟踪算法，对E(d)求d的偏导，使得偏导数为0，从

而求得相应的d。令I_t＝I(x,y)-J(x,y)，将J(x+d_x,y+d_y)在d＝0出泰勒张开，则上式可以化为

d_opt＝G^-1b (14)

d_opt是d的最优解，上式即为Lucas-Kandade的光流方程，在实际求解过程中需要进行迭代求解。先从最底层金字塔算起，对应图像I中的取样点，利用上述公式在图像J中以图像I中的取样点为中心查找最匹配点的移动距离，再到上一层，对应图像I中的取样点，在以刚才求得的下一层图像J中最匹配点为中心继续查找该层最匹配点移动的距离。一次类推到图像的最上层(无缩放图像)，找到最匹配的点。

S3：目标的匹配与找回

在上述基于纹理跟踪的算法中一方面特征点跟踪可能会发生错误匹配，另一方面如果发生遮挡，目标就会丢失。因此需要对目标跟踪是否成功进行判断，并在目标丢失后进行找回。本发明采用特征点投票的方法对目标进行匹配。具体过程如下：

(1)在目标初始化阶段对目标提取Brisk特征；(2)获取新图像，在跟踪区域提取Brisk特征；(3)将这些特征与初始化时目标特征进行匹配；(4)如果匹配成功，返回步骤(2)，否则在全图提取Brisk特征并进行匹配；(5)如果全图匹配成功，则返回步骤(2)，否则获取新图像并直接执行步骤(5)。

其中具体算法如下：

BRISK采用AGAST角点检测算法来提取角点特征，AGAST算法是FAST算法的扩展。该算法检测的角点定义为在像素点的周围邻域内有足够多的像素点与该点处于不同的区域。应用到灰度图像中，即有足够多的像素点的灰度值大于该点的灰度值或者小于该点的灰度值。考虑图8中p点附近半径为3的圆环上的16个点，一个思路是若其中有连续的11个点的灰度值与p点的灰度值差别超过某一阈值，则可以认为p点为角点。

式中，x取离散化圆周上的像素点，p为圆心即候选角点，I(x)为该点像素灰度值，I(p)为原型像素点灰度，ε_d为给定阈值。

如图8所示的FAST特征示意图，其中有连续11个点的灰度超过中心点一定阈值，则认为中心点为FAST特征点。

如图9所示的BRISK特征描述子，BRISK描述子采用了临域采样模式，即在一特征点为中心的每个离散化Breaenham同心圆上，取均匀分布的N个点。

为了具有尺度不变形，采用了多尺度AGAST算法，在多尺度空间上以FAST值作为显著性指标，寻找最值；为适应旋转不变性，在描述子建立过程中，利用长距离点对的梯度累加估计角点主方向，并旋转角度。

尺度空间金字塔由n层以及n-1个中间层构成，中间层位于相邻两层之间。关键点检测主要通过以下两步实现。首先，具有相同阈值的FAST算子应用于每一层及每一中间层，用于识别潜在的感兴趣区域。第二步，对这些潜在区域中的点在尺度空间进行非极大值抑制：(1)在同一层待检测点FAST值必须大于与他相邻的其他八个点；(2)上一层和下一层的其他所有点的FAST值都必须要低于该点的FAST值。满足这两个条件的点成为关键点。

BRISK使用二进制串来描述每个特征点，用汉明距离计算匹配程度，即将特征先按位异或，然后统计其中1的个数，如果较小则匹配程度较高。BRISK描述子采用了临域采样模式，即在一特征点为中心的每个离散化Breaenham同心圆上，取均匀分布的N个点。为了减少噪声的影响，利用标准差的高斯函数进行平滑滤波，标准差σ正比于每个同心圆上点之间的距离。考虑所有的采样点对构成的几何，记为A，如式(16)。所有采样点构成的点对中的一对，记为(p_i,p_j)，平滑后的灰度值分别为I(p_i,σ_i)和I(p_j,σ_j)。定义短距离采样点对构成的集合S以及长距离采样点对构成的集合L如I(p_j,σ_j)下

A＝{(P_i,P_j)∈R²×R²|i＜N∧j＜i∧i,j∈N} (16)

S＝{(P_i,P_j)∈A|||P_j-P_i||＜δ_max} (17)

L＝{(P_i,P_j)∈A|||P_j-P_i||＞δ_min} (18)

由于长距离采样点对包含更多的特征点角度信息，BRISK利用两点之间的梯度g(p_i,p_j)公式(19)，通过计算其总体模式方向为(20)，旋转角度θ＝arctan2(g_y,g_x)然后再次采样。设 为旋转并高斯平滑后的采样点灰度值，通过短距采样点对按照式(21)就生成了二进制描述子。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法，其特征在于，包括下述步骤：

S1：图像特征的提取与分析

根据图像的纹理和色彩提取适当的视觉特征，分析提取目标在场景中比较显著的特征，为跟踪算法设计提供参考；

S2：目标跟踪算法设计

根据视觉特征分析结果设计合理的目标跟踪算法，所述目标跟踪算法采用色彩跟踪算法或纹理跟踪算法，并提出跟踪算法的适用条件；

S3：目标的匹配与找回

利用适当的目标特征进行视觉匹配，判断跟踪结果的正确性，当发生目标遮挡或图像丢失时，通过全图搜索找回目标。