CN109887005B - 基于视觉注意机制的tld目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于视觉注意机制的TLD目标跟踪方法，属于人工智能技术领域。本发明以原TLD目标跟踪方法为基础，对TLD的检测模块进行视觉注意机制的显著区域提取能够排除非显著区域的干扰，通过视觉显著性可有效筛选显著信息，形成视觉显著图，再对显著图进行分类，再对TLD算法的检测模块进一步优化，集成分类器建立目标模型和背景模型，再将集成分类器的输出作为最近邻分类器的输入，筛选出相似样本。本发明在外界环境干扰下稳定性较好，在目标发生遮挡和快速转转时，视觉注意机制对目标特征实时更新，表现出良好性能。

Description

基于视觉注意机制的TLD目标跟踪方法

技术领域

本发明涉及了一种基于视觉注意机制的TLD目标跟踪方法，属于人工智能技术领域。

技术背景

随着机器视觉技术的发展，目标跟踪已经慢慢成为很有前景的发展方向逐渐成为研究的热点。运动目标的跟踪已经成熟的运用到当下社会中的交通辅助、机器人的研发、人体行为分析和视频监控中，目标的跟踪已经慢慢的变成很有前景的发展方向，而此项技术的日趋成熟，是依靠计算机技术的飞速发展，计算和存储的成本也已经大幅度降低。我国的对目标跟踪技术的钻研，开始于上世纪60年代末，到现在已经经过了五十多年的成长，目前我国的目标跟踪技术已经有了很大的发展。国内的清华大学、国防科技大学、北京理工大学和中国科学院等高校研究院对目标跟踪技术开展理论加实践的钻研，已经取得很大成果，目前很多目标跟踪的方法已经得到了产品的检验，并已经被运用到了实际的工程跟踪系统。

TLD目标跟踪方法作为一种半监督在线学习的跟踪方法，其与传统目标跟踪方法的一个显著区别就是，没有单纯的局限于跟踪或者检测，而是将跟踪与检测相结合，引入在线学习机制，成功解决了传统跟踪方法目标丢失后无法获取，无法实现长时跟踪的问题；有效地解决了跟踪过程中目标形变、光照变化和部分遮挡等问题。算法主要分为三个部分：跟踪模块、检测模块和学习模块。跟踪器模块估计目标在帧与帧之间的运动，给出目标的轨迹；检测器进行全局检测，发现定位所有目标可能存在的区域；学习器对检测结果进行评估，根据跟踪结果对检测器进行训练，且计算简单、运算速度快，对目标跟踪过程中出现的光照改变，尺度改变有很好的性能。TLD算法在目标跟踪方面得到广泛应用。

相关的专利如申请号CN108320306 A的发明专利公开了一种融合TLD和KCF的视频目标跟踪方法特征是确定初始目标帧中目标区域位置和大小,同时将初始帧输入到TLD算法模块和KCF算法模块中；TLD算法模块和KCF算法模块并行运行,如果对当前帧的处理TLD算法模块和KCF算法模块只有一个模块有跟踪目标输出,则把该输出作为当前帧的跟踪结果；如果两个跟踪模块都有跟踪目标输出,则分别计算跟踪目标输出与目标模型M之间的相似度St和Sk,选择St和Sk中最大者作为目标跟踪结果。申请公布号CN104574439 A的发明专利公开了一种融合卡尔曼滤波与TLD算法的目标跟踪方法,其特征在于分析和利用卡尔曼滤波器的原理,并对其加以改进，再利用改进的卡尔曼滤波器增强TLD算法；通过改进的卡尔曼滤波来增强TLD算法,即根据目标位置的时间步长,获得同步更新的参数传递矩阵；缩小TLD算法的检测区域。但是，以上专利目标跟踪在复杂环境中容易导致漂移现象，跟踪结果的稳定性不高，目标出现遮挡和尺度变化时跟踪的稳定性方面取得的结果尚不尽如人意。

发明内容：

针对目标跟踪在复杂环境中容易导致漂移现象，跟踪结果的稳定不高这一问题，本发明以原TLD目标跟踪方法为基础，提出一种基于视觉注意机制的TLD目标跟踪方法，在外界环境干扰下稳定性较好，在目标发生遮挡和快速转转时，视觉注意机制对目标特征实时更新，表现出良好性能，为完成对目标跟踪的特征提取和特征更新包括如下步骤：

步骤1：对TLD的检测模块进行视觉注意机制的显著区域提取能够排除非显著区域的干扰，通过视觉显著性可有效筛选显著信息，形成视觉显著图，再对显著图进行分类；

步骤2：再对TLD算法的检测模块进一步优化，集成分类器建立目标模型和背景模型，再将集成分类器的输出作为最近邻分类器的输入，筛选出相似样本。

采用上述技术方案的本发明，与现有技术相比，其突出的特点是：

在原始TLD算法的基础上，是一种特征提取更准确，跟踪效果更稳定的STLD算法。

作为优选，本发明更进一步的技术方案是：

给予视觉注意机制的显著区域提取是先对每个特征的不同尺度的特征图进行归一化处理，形成一幅该特征的综合显著图，然后再将不同特征的显著图进行归一化处理获得最好的视觉显著图。

步骤二中计算图像中每个像素颜色的概率分布如公式：

其中ω_c表示像素x标记为C类的权值，μ_c为标记C类颜色的均值，∑_c为协方差矩阵，I_x为x的像素值。

步骤二中，对集成分类器建立目标模型和背景模型，并对模型进行更新，避免因遮挡和尺度变化导致跟踪漂移，提高目标跟踪的稳定性。

附图说明

图1是本发明实施例Itti模型图；

图2是本发明实施例K均值聚类过程图；

图3是本发明实施例集成分类器示意图；

图4是本发明实施例最近邻分类器示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，目的仅在于更好地理解本发明内容，因此，所举之例并不限制本发明的保护范围。

一种基于视觉注意机制的TLD目标跟踪方法，包括如下步骤：

步骤一：基于对比度的方法利用图像中每一个区域的像素与背景像素的各个区域对比来计算显著区域，Itti算法为了模拟感受野的中心—外周拮抗的结构，对各种特征分别在特征金字塔的不同尺度间作差，先把输入图像表示成9层的高斯金字塔，如图1所示，然后对金字塔每一层分别提取各种特征。算子的数学描述如公式(1)：

其中P为中心像素，Q为周边像素，先对每个特征的不同尺度的特征图进行归一化处理，形成一幅该特征的综合显著图，然后再将不同特征的显著图进行归一化处理获得最好的视觉显著图；

利用k均值聚类的方法，如图2所示，将视觉显著图的颜色分布进行简单分类将颜色差不多的像素点归于一类，自然图像中颜色呈正态性分布，即p(x|ω_i,θ_i)～N(μ_i,∑_i)，因此用多元正态分布来构建图中像素颜色的直方图，根据高斯混合模式(GaussianMixture Models)计算图像中每个像素颜色的概率分布如公式(2)：

其中ω_c表示像素x标记为C类的权值，μ_c为标记C类颜色的均值，∑_c为协方差矩阵，I_x为x的像素值，设ω_c＝1/c，再通过期望值最大算法，可求得个参数的实际值，再代入公式(3)：

其中x_h,x_v分别为像素x的横纵坐标，G_h,G_v分别为像素颜色分布的中心位置，M_c为中间变量。

步骤二：中集成分类器赋予每个窗口一个后验概率，当后验概率大于百分之50时，表明扫描窗口与目标有相似特征，找到相似候选区域，经过筛选进入最近邻分类器，通过后验概率的大小判断当前扫描窗口是否需要进入下一级分类器，如果概率小于百分之50，则舍弃，集成分类器原理如图3所示，利用颜色直方图构建的模型能有效缓解快速旋转下的背景干扰问题，接着建立目标颜色图像的概率模型，根据颜色直方图提取的显著区域，利用集成分类器对目标像素和背景像素进行建模，如公式(4)：

其中O，B分别表示目标像素区域和背景像素区域，P(b_c|c∈O)表示O中像素c属于区间b_c的直方图概率，P(b_c|c∈Ω)表示像素空间Ω中属于区间b_c的直方图概率，P(c∈O|O,B,b_c)为集成分类器模型。

将集成分类器的输出作为集成分类器的输入，如图4所示，选择其中一个分类结构，从结构中计算待分类样本与已分类样本的距离关系，从中找到K个距离相同的样本类别，出现频率较高的类别样本为筛选出的相似样本，最近邻分类器是检测模块的最后一级分类器，通过计算待分类样本与样本库中正、负样本模型的相关相似度进行分类，相关相似度的计算方法如公式(5)：

其中S^r为样本相似度，S⁺为正样本近邻相似度，S^-为负样本近邻相似度。

本发明以原始TLD目标跟踪方法为基础，改进为SGLD算法，将TLD算法与视觉注意机制相结合。即首先基于视觉注意机制显著区域检测的思想对TLD的检测模块进行改进，通过视觉显著区域提取，提高样本选取质量，再通过集成分类器建立目标模型和候选模型，提高跟踪方法的稳定性能。实验结果表明改进后的算法在光照变化，部分遮挡和尺度变化等复杂环境下具有较好的稳定性，实时性也有较大提高，是一种特征提取更准确，跟踪效果更稳定的STLD算法。

Claims (3)

1.一种基于视觉注意机制的TLD目标跟踪方法，其特征在于，以原始TLD算法为原型，融入视觉注意机制显著提取，再对TLD算法的集成分类器进行建模，算法结合设计包括如下步骤：

步骤一：对TLD的检测模块进行视觉注意机制的显著区域提取能够排除非显著区域的干扰，通过视觉显著性可有效筛选显著信息，形成视觉显著图，再对显著图进行分类；利用k均值聚类的方法，将视觉显著图的颜色分布进行简单分类将颜色差不多的像素点归于一类，自然图像中颜色呈正态性分布，即p(x|ω_i,θ_i)～N(μ_i,Σ_i)，因此用多元正态分布来构建图中像素颜色的直方图，根据高斯混合模式(Gaussian Mixture Models)计算图像中每个像素颜色的概率分布如公式(2)：

其中ω_c表示像素x标记为C类的权值，μ_c为标记C类颜色的均值，Σ_c为协方差矩阵，I_x为x的像素值，设ω_c＝1/c，再通过期望值最大算法，可求得个参数的实际值，再代入公式(3)：

其中x_h,x_v分别为像素x的横纵坐标，G_h,G_v分别为像素颜色分布的中心位置，M_c为中间变量；

步骤二：再对TLD算法的检测模块进一步优化，集成分类器建立目标模型和背景模型，再将集成分类器的输出作为最近邻分类器的输入，筛选出相似样本；中集成分类器赋予每个窗口一个后验概率，当后验概率大于百分之50时，表明扫描窗口与目标有相似特征，找到相似候选区域，经过筛选进入最近邻分类器，通过后验概率的大小判断当前扫描窗口是否需要进入下一级分类器，如果概率小于百分之50，则舍弃，集成分类器原理，利用颜色直方图构建的模型能有效缓解快速旋转下的背景干扰问题，接着建立目标颜色图像的概率模型，根据颜色直方图提取的显著区域，利用集成分类器对目标像素和背景像素进行建模，如公式(4)：

其中O，B分别表示目标像素区域和背景像素区域，P(b_c|c∈O)表示O中像素c属于区间b_c的直方图概率，P(b_c|c∈Ω)表示像素空间Ω中属于区间b_c的直方图概率，P(c∈O|O,B,b_c)为集成分类器模型；

将集成分类器的输出作为集成分类器的输入，选择其中一个分类结构，从结构中计算待分类样本与已分类样本的距离关系，从中找到K个距离相同的样本类别，出现频率较高的类别样本为筛选出的相似样本，最近邻分类器是检测模块的最后一级分类器，通过计算待分类样本与样本库中正、负样本模型的相关相似度进行分类，相关相似度的计算方法如公式(5)：

其中S^r为样本相似度，S⁺为正样本近邻相似度，S^-为负样本近邻相似度。

2.根据权利要求1所述的基于视觉注意机制的TLD目标跟踪方法，其特征在于：给予视觉注意机制的显著区域提取是先对每个特征的不同尺度的特征图进行归一化处理，形成一幅该特征的综合显著图，然后再将不同特征的显著图进行归一化处理获得最好的视觉显著图。

3.根据权利要求1所述的基于视觉注意机制的TLD目标跟踪方法，其特征在于：步骤二中，对集成分类器建立目标模型和背景模型，并对模型进行更新，避免因遮挡和尺度变化导致跟踪漂移，提高目标跟踪的稳定性。

Images