CN108986135A - 一种基于llc与频域残差显著度的目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种基于LLC与频域残差显著度的目标跟踪方法及装置，涉及图像处理领域，具有良好的鲁棒性，实现运动目标在复杂条件下的持久鲁棒性跟踪。本发明包括：获取起始帧图像中对应跟踪目标的目标图像以及该目标图像对应的位置点，获取匹配模板的LLC特征向量；获取第t帧图像中的多个粒子；获取第t‑1帧图像中目标对象的显著度；根据第t帧图像中每个粒子的位置确定每个粒子对应的采样粒子区域并计算每个粒子区域的显著度，根据粒子选择机制选取部分粒子；计算每个所选粒子区域的LLC特征向量；获取目标在第t帧图像对应时刻的最优位置以实现运动目标在复杂条件下的持久鲁棒性跟踪。

Description

一种基于LLC与频域残差显著度的目标跟踪方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种基于LLC与频域残差显著度的目标跟踪方法及装置。

背景技术

目标跟踪技术近年来在智能监控、视觉制导、人机交互等领域得到了广泛研究。目前，目标跟踪技术主要着重于通过改善目标模型表示、目标跟踪及检测方法，这两个方面来改善跟踪算法的鲁棒性。

目标模型表示的实质就是对目标图像进行特征提取，将目标从图像空间转换到特征空间中，在降低目标表示维度的同时，提高目标的可区分性。目前常用的特征提取方法主要包括颜色特征、纹理特征、边缘特征、光流特征等。但是，所有这些特征在用于目标跟踪时都存在着鲁棒性不强的问题。

综上，现有技术中缺乏一种鲁棒性强的特征提取方法，用于目标跟踪。

发明内容

本发明提供一种基于LLC与频域残差显著度的目标跟踪方法及装置，具有良好的鲁棒性，实现运动目标在复杂条件下的持久鲁棒性跟踪。

为达到上述目的，本发明采用如下技术方案：

一种基于LLC与频域残差显著度的目标跟踪方法，包括：

S1、采集起始帧图像中对应跟踪目标的图像作为目标图像，采集目标图像的位置点，将起始帧图像中的目标图像标记为匹配模板；

S2、根据空间金字塔匹配技术的局部约束线性编码算法，计算得到匹配模板的LLC特征向量；

S3、采集第t-1帧图像中目标图像对应的位置点，对目标图像采用融入运动估计的粒子滤波算法进行计算，得到第t帧图像中的多个粒子，其中，t为大于1的正整数；

S4、根据基于频域残差的显著度检测算法获取第t-1帧图像中目标图像的显著度；

S5、根据粒子的位置，确定粒子对应的采样粒子区域，计算采样粒子区域的显著度；

S6、根据第t帧图像中目标图像的显著度和采样粒子区域的显著度,利用粒子选择机制,从粒子中选取部分作为所选粒子；

S7、依据所选粒子的采样粒子区域，计算所选粒子的采样粒子区域LLC特征向量；

S8、根据所选粒子的采样粒子区域LLC特征向量，以及匹配模板的LLC特征向量，获取目标在第t帧图像对应时刻的最优位置。

在起始帧中，根据所述S1获得目标图像、目标位置，根据所述S2获得目标图像的LLC特征向量，作为匹配模板；在第2帧中，根据所述S3根据前一帧获得的目标图像对应的位置点获得多个粒子，根据S4-S8，获取目标在第2帧图像对应时刻的最优位置；判断是否更新匹配模板和重新获取粒子；在第3帧中，根据前一帧得到的最优位置获得目标图像、目标位置，继续S3-S8，获取目标在当前帧图像对应时刻的最优位置；以此类推直至最后一帧图像序列，跟踪结束。

进一步的，空间金字塔匹配技术的局部约束线性编码算法，包括：

S21、将目标图像划分成多个子图像，分别对每个子图像提取局部特征描述子向量；

S22、根据局部特征描述子向量和局部约束线性编码算法，获取每一个局部特征描述子向量的稀疏向量；

S23、对稀疏向量进行空间金字塔匹配，得到匹配模板的LLC特征向量。

进一步的，S4包括：

S41、对第t-1帧图像实施下采样并转化为灰度图像；

S42、根据基于残差的显著度检测算法获取灰度图像的显著图，并进行阈值分割，获得二值显著图；

S43、计算二值显著图中像素范围内灰度值的平均值，依据灰度值和显著度的映射关系，得到平均值对应的显著度，标记为目标图像的显著度。

进一步的，在S6中，粒子选择机制包括：

S61、获取第t-1帧中目标图像的显著度与第t-1帧中每个采样粒子区域的显著度差值的平均值，作为目标显著度与每个采样粒子区域显著度的平均误差，并设置显著度阈值为平均误差的两倍；

S62、根据相邻帧图像之间所述目标图像显著度的相关性。相关性是指相邻两帧目标图像的显著度的差异很小。判断第t帧中每个采样粒子区域显著度与第t-1帧中目标图像显著度的差值，若待判断粒子的差值大于显著度阈值，则认为待判断粒子的显著度与目标图像的显著度之间的误差超过可接受的范围，将待判断粒子的权重设为零。

本发明还公开了一种基于LLC与频域残差显著度的目标跟踪装置，包括：

图像获取模块，用于获取起始帧图像中目标图像以及目标图像对应的位置点，以所述起始帧图像中的目标图像作为匹配模板；

第一特征向量获取模块，用于运行空间金字塔匹配技术的局部约束线性编码算法，计算匹配模板的LLC特征向量；

粒子获取模块，用于对目标图像进行融入运动估计的粒子滤波算法，获取第t帧图像中的多个粒子，其中，t为大于1的正整数；

显著度获取模块，用于根据基于残差的显著度检测算法计算第t-1帧图像中目标对象的显著度；

粒子选择模块，用于根据第t帧图像中每个粒子的位置，确定粒子对应的采样粒子区域，计算采样粒子区域的显著度，并根据粒子选择机制选取部分粒子作为所选粒子；

第二特征向量获取模块，用于依据第t帧图像中所选粒子的采样粒子区域，计算所选粒子的采样粒子区域LLC特征向量；

最优位置获取模块，用于所选粒子的采样粒子区域LLC特征向量，以及匹配模板的LLC特征向量，获取目标在第t帧图像对应时刻的最优位置。

进一步的，第一特征向量获取模块包括：

局部特征描述子向量获取子模块，用于将目标图像划分成多个子图像，分别对每个子图像提取局部特征描述子向量；

子图像稀疏向量获取子模块，用于根据局部特征描述子向量和局部约束线性编码算法，获取每一个子图像的稀疏向量；

第一特征向量获取子模块，用于对子图像的稀疏向量进行空间金字塔匹配，获取匹配模板的LLC特征向量。

进一步的，显著度获取模块包括：

预处理子模块，用于对第t-1帧图像下采样并转化为灰度图像；

图像显著度检测子模块，用于根据基于残差的显著度检测算法获取灰度图像的显著图，并对显著图进行阈值分割，得到二值显著图；

目标对象显著度获取子模块，用于根据二值显著图中像素范围内的灰度值，计算其平均值，获取目标图像的显著度。

进一步的，粒子选择模块包括：

粒子显著度获取子模块，用于根据第t帧图像中粒子的位置确定粒子对应的采样粒子区域并计算每个粒子区域的显著度；

显著度阈值获取子模块，用于根据相邻帧图像之间粒子显著度的相关性，获取显著度阈值；

粒子选择子模块，用于根据粒子选择机制，从粒子中选取部分作为所选粒子。

本发明提出的目标跟踪的方法及装置首先获取起始帧图像中对应跟踪目标的目标图像以及该目标图像对应的位置点，以该起始帧图像中的目标图像作为匹配模板，根据基于空间金字塔匹配技术的局部约束线性编码算法，获取匹配模板的LLC特征向量；然后根据第t-1帧图像中目标图像对应的位置点和融入运动估计的粒子滤波算法，获取第t帧图像中的多个粒子，其中，t为大于1的正整数；根据基于残差的显著度检测算法获取第t-1帧图像中目标对象的显著度；根据第t帧图像中每个粒子的位置确定每个粒子对应的采样粒子区域并计算每个粒子区域的显著度，并根据粒子选择机制选取部分粒子；根据每个所选粒子对应的采样粒子区域计算每个所选粒子区域的LLC特征向量；最后根据多个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量获取目标在第t帧图像对应时刻的最优位置以实现运动目标在复杂条件下的持久鲁棒性跟踪。

本发明的有益效果是:

本发明提供的目标跟踪的方法首先在获取目标图像后采用局部约束线性编码构建目标模型，并对目标图像进行分块处理，以便获取目标的局部信息，对每一个子图像提取局部特征描述子向量，以便解决目标由于旋转、形变、缩放而导致跟踪性能下降甚至丢失的问题；将空间金字塔匹配引入局部约束线性编码，获得定长输出，同时保留了目标图像的全局和局部信息，以解决目标在跟踪过程中被遮挡而导致跟踪失败的问题；本发明还引入运动估计以解决目标快速运动的问题,同时引入显著度检测算法，减少了计算特征向量的次数；此外匹配模板的更新以解决目标姿态变化、光照变化等问题,综上，该发明能在复杂情况下仍能保持较好的跟踪鲁棒性,实现运动目标在复杂条件下的持久鲁棒性跟踪。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本发明实施例提供的电子设备的结构框图；

图2示出了本发明实施例中16个卷积核的示意图；

图3示出了本发明实施例中起始帧图像及对应跟踪目标的目标图像；

图4示出了本发明实施例中S2的流程图；

图5示出了本发明实施例中目标图像特征提取的示意图；

图6示出了本发明施例中目标跟踪的方法的流程图；

图7示出了本发明实施例中空间金字塔的匹配示意图；

图8示出了本发明实施例中S4的流程图；

图9示出了本发明实施例中S6的流程图；

图10示出了本发明实施例中S8的流程图；

图11示出了本发明实施例提供的目标跟踪的装置的结构框图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步详细描述。

为了实施一种基于LLC与频域残差显著度的目标跟踪方法,需要配合使用一直电子设备,如图1所示，包括：目标跟踪的装置、存储器、存储控制器、处理器、外设接口、输入输出单元、音频单元、显示单元。

存储器、存储控制器、处理器、外设接口、输入输出单元、音频单元以及显示单元相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些单元相互之间可通过一条或多条通讯总线或信号线实现电性连接。目标跟踪的装置包括至少一个可以软件或固件的形式存储于存储器中或固化在客户端设备的操作系统中的软件功能模块。处理器用于执行存储器中存储的可执行模块，例如目标跟踪的装置包括的软件功能模块或计算机程序。

其中，存储器可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除只读存储器，电可擦除只读存储器。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器中，或者由处理器实现。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器、网络处理器等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

外设接口将各种输入/输入装置耦合至处理器以及存储器。在一些实施例中，外设接口，处理器以及存储控制器可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元用于提供给用户输入数据实现用户与电子设备的交互。输入输出单元可以是，但不限于，鼠标和键盘等。

音频单元向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元在电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

可以理解的，图1所示的结构仅为示意，电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。在本实施例中，该电子设备可以是计算机、服务器或者其他具有图像处理能力的设备。

本发明实施例用于通过具有连续多帧图像的视频或者其他在时间上具有先后顺序的多帧图像进行目标跟踪，该视频或者其他在时间上具有先后顺序的多帧图像均为对被跟踪的目标拍摄获得。该拍摄可以是由照相机、摄像机等图像采集装置实现。下面通过实施例对该目标跟踪过程进行详细说明。

本发明实施例提供的一种基于LLC与频域残差显著度的目标跟踪方法，流程图如图6所示，包括：

S1、采集起始帧图像中对应跟踪目标的图像作为目标图像，采集目标图像的位置点，将起始帧图像中的目标图像标记为匹配模板。

起始帧图像可以从照相机、摄像机等图像采集装置获取，也可以是用户或者其他设备输入的起始帧图像的图像数据。可以理解的，该起始帧图像为用于目标跟踪的多帧图像中时间顺序上的起始帧。

确定该起始帧图像中对应跟踪目标的目标图像，目标图像为跟踪目标在图像上对应的成像区域，将该目标图像标记为匹配模板，如图3所示。图3中，P所示的区域在获取的图像中对应的区域为确定的目标图像。在起始帧图像中确定目标图像的具体方式可以是，根据用户在起始帧图像中的人工标定区域确定，或者通过目标检测器检测确定起始帧，在本实施例中并不作为限定。

再获取该目标图像对应的位置点，作为优选的一种方式，以描述单帧图像中目标图像位置参数的状态变量，t是帧索引，在起始帧中t＝0，表示目标图像的中心点位置，目标图像的大小为(h^x,h^y)。

目标图像的中心点位置作为该目标图像的位置点，即通过目标图像左上角坐标(x₁,y₁)及右下角坐标(x₂,y₂)和下式计算而得：

S2、根据空间金字塔匹配技术的局部约束线性编码算法，计算得到匹配模板的LLC特征向量。

经研究表明，人体初视觉细胞的感受信号是稀疏的，因此，采用稀疏编码在更能表征图像特征的基础上，可取得更小的重构误差。LLC相比于稀疏编码，采用LLC中的稀疏约束，计算速度更快，并且局部约束确保了相似的图像块有着相似的稀疏编码，提高了序列帧中特征的相似性。即在本实施例中，根据基于空间金字塔匹配技术的局部约束线性编码算法，获取匹配模板的LLC特征向量。

具体的，请参照图4，图4示出了本发明实施例提供的目标跟踪方法的流程图，包括：

S21、将目标图像划分成多个子图像，分别对每个子图像提取局部特征描述子向量。

针对目标运动过程中容易被遮挡的问题，本实施例将对应跟踪目标的目标图像划分成多个子图像，各个子图像提取局部特征描述子向量y_i，可以解决目标由于旋转、形变、缩放而导致跟踪性能下降甚至跟踪目标丢失的问题。

具体地，针对图5所示，首先对捕获的目标图像块I(h^x×h^y)进行高斯滤波，其中G(x,y)为二维高斯分布，符号*表示卷积操作：

从而得到该目标图像块的梯度幅值矩阵和梯度方向矩阵

计算得到一组共计S个的图像矩阵组s＝1,2,…,8，S＝8，⊙代表元素相乘：

其中T^s的计算如下：

然后，将每个划分为若干重叠的子图像其中i表示目标图像划分出的第i个子图像，a＝b＝16。使用图2所示的16个卷积核分别用于与每个子图像进行卷积。因为每个卷积核的大小等于各局部区域的大小，我们可以得到一个16-D向量其中此外，由于s＝1,2,…,8，每个子图像由一个局部特征描述子表示，这样获得的局部描述子维数是128维。

S22、根据局部特征描述子和局部约束线性编码算法，获取每一个子图像的稀疏向量。

对每一个局部特征描述子向量进行局部约束线性编码，获得每一个局部特征描述子y_i的稀疏向量x_i。

首先给定一个码本其中，每个列向量d_i是一个原子，M是原子数。将每个局部特征描述子y_i转换为一个编码LLC编码的约束方程如下所示：

其中，定义如下：

其中，σ用于确定局部约束范围，通常e_i需归一化处理。

码本数据从加州理工学院101、VOC 2007和红外图像数据库中学习得到。通过离线训练中获得的码本D在跟踪过程中是固定不变的的，在本实施例的一种实施方式中，M＝1024。约束方程可得到解析解为：

x_i＝F(l^TF^-1)

其中，F＝[(D^T-ly_i ^T)(D^T-ly_i ^T)^T+λE_i]^-1l。即可获得一个局部特征描述子y_i的稀疏向量x_i。

S23、对子图像的稀疏向量进行空间金字塔匹配，获取匹配模板的LLC特征向量。

具体的，首先将图像分为l层，第i层将图像分为2^i-1×2^i-1(i＝1,2…,l)个图像块，其中，l为金字塔层数，在本实施例中，l取值为3，该分为l层的图像为匹配模板。

分别对每层每个图像块内的稀疏向量进行最大池化，则第i层产生2^i-1×2^i-1即2^{2 (i-1)}(i＝1,2…,l)个池化量；

具体的，第i层将会产生如下所示的最大池化矩阵：

其中，M_pq∈Rⁿ(p,q＝1,2,…2^i-1)为M_i的第p行第q列的最大池化向量，即第i层第p行第q列图像块的最大池化向量，元素M_pq(j)(j＝1,2,…,n)由下式计算：

M_pq(j)＝max(P_u，v(j)，P_u，v+1(j)，P_u+1，v(j),P_u+1，v+1(j)，…，P_u，V(j)，…，p_U，v(j)，P_U，v+1(j)，…，P_U，V(j))

其中，u＝(p-1)·unit_line+1，v＝(q-1)·unit_row+1。当p,q≠2^i-1时，U＝p·unit_line，V＝q·unit_row；当p＝2^i-1,q≠2^i-1时，U＝a，V＝q·unit_row；当p≠2^i-1,q＝2^{i -1}时，U＝p·unit_line，V＝b；当p,q＝2^i-1时，U＝a，V＝b。

其中，

最后将上述池化向量收尾连接起来转化成一个维的列向量，即匹配模板的LLC特征向量，即：

如图7所示，图7示出了实施例供的3层金字塔匹配示意图。

S3、第t-1帧图像中目标图像对应的位置点和融入运动估计的粒子滤波算法，获取第t帧图像中的多个粒子，其中，t为大于1的正整数。

根据起始帧图像中目标图像的位置点，通过融入运动估计的粒子滤波算法，获取第二帧图像中的多个粒子，根据第二帧图像中每个粒子的位置确定每个粒子对应的采样粒子区域并计算每个采样粒子区域的LLC特征向量，再根据多个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量获取目标在第二帧图像对应时刻的最优位置，获取第二帧图像的位置点；根据第二帧图像中目标图像的位置点，通过融入运动估计的粒子滤波算法，获取第三帧图像中的多个粒子，根据第三帧图像中每个粒子的位置确定每个粒子对应的采样粒子区域并计算每个采样粒子区域的LLC特征向量，再根据多个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量获取目标在第三帧图像对应时刻的最优位置，获取第三帧图像中目标图像的位置点；重复上述步骤，直到获取第t-1帧图像中目标图像的位置点，然后根据第t-1帧目标图像的位置点，通过融入运动估计的粒子滤波算法确定第t帧图像中的多个粒子，其中，t为大于1的正整数；

具体的，根据四个因素来确定第t帧中粒子的预测位置前一帧中的目标位置、前s帧中目标的平均速度、前s帧中目标的平均加速度和干扰噪声。因此，可以表述如下：

其中，和分别是第j帧中跟踪目标的速度和加速度，i表示粒子的索引，s用来计算速度和加速度的预设帧数。s是一个预设置值，当t<s时，s＝t-1。N(0,Δ)是标准差为Δ的高斯分布的白噪声。

S4、基于残差的显著度检测算法获取第t-1帧图像中目标对象的显著度。

显著度分析可以使某些图像区域从其邻域中脱颖而出，作为一种重要的预处理方法，可以减少计算机视觉任务的复杂性。在本实施例的一种实施方式中，根据基于残差的显著度检测算法获取图像的显著度。

图8示出了本发明实施例提供的目标跟踪方法的流程图，包括：

S41、对第t-1帧图像实施下采样并转化为灰度图像。

首先确定对下采样尺度δ，对输入图像而言，不同的下采样尺度δ会获得不同的显著图，可通过如下自适应方法计算：

其中，其中m×n是一张输入图像的大小。

下采样后获得的图像大小为δm×δn，然后将其转化为灰度图像。

S42、根据基于残差的显著度检测算法获取灰度图像的显著图，并进行阈值分割，获得二值显著图。

首先，利用基于频域残差的显著度检测算法获得输入图像的显著度图

然后，通过设置阈值T分割显著图S_t-1获得二值显著图如下式：

S43、计算二值显著图中目标对象像素范围内灰度值的平均值，依据灰度值和显著度的映射关系，得到平均值对应的显著度，标记为目标图像的显著度。

根据目标图像的位置参数定义位置z_t-1的显著度τ_t-1，表示如下：

其中，是一个复合图像，表示如下：

S5、根据粒子的位置，确定粒子对应的采样粒子区域，计算采样粒子区域的显著度。

根据第t帧图像中每个粒子的位置，确定每个粒子对应的采样粒子区域，其中，粒子采样区域是指以粒子为中心向外扩展直至获得大小等于目标图像的区域，该区域成为粒子采样区域。

计算每个采样粒子区域的显著度其中N为粒子的总数。计算方法与所述S4相似，首先对第t帧图像实施下采样并转化为灰度图像；然后根据基于残差的显著度检测算法获取灰度图像的显著图，并进行阈值分割，获得二值显著图；最后计算二值显著图中每个粒子采样区域像素范围内灰度值的平均值，依据灰度值和显著度的映射关系，得到平均值对应的显著度，标记为每个粒子采样区域的显著度

S6、根据第t-1帧图像中目标图像的显著度和第t帧图像中采样粒子区域的显著度,利用粒子选择机制,从粒子中选取部分作为所选粒子。图9示出了本发明实施例S6的流程图，包括：

S61、获取第t-1帧中目标图像的显著度与第t-1帧中每个采样粒子区域的显著度差值的平均值，作为目标显著度与每个采样粒子区域显著度的平均误差，并设置显著度阈值为平均误差的两倍

S62、根据相邻帧图像之间所述目标图像显著度的相关性。相关性是指相邻两帧目标图像的显著度的差异很小。

具体的，考虑相邻帧之间粒子显著度的相关性，设置一个显著度阈值ξ_t-1，阈值如下式计算获得，其中N表示粒子总数，τ_t-1表示第t-1帧中目标对象的显著度，表示第t-1帧中第i个粒子的显著度：

判断第t帧中每个采样粒子区域显著度与第t-1帧中目标图像显著度的差值，若待判断粒子的差值大于显著度阈值，则认为待判断粒子的显著度与目标图像的显著度之间的误差超过可接受的范围，将待判断粒子的权重设为零，不再参与后续特征提取过程，从而减小计算量。

具体的，根据前述显著度阈值ξ_t-1，如果第t帧中第i个粒子采样区域的显著度与第t-1帧中目标图像的显著度的差值满足则该粒子的权重直接赋为0，即不再参与后续提取LLC特征的步骤，从而减小计算量。

S7、根据每个所选粒子对应的采样粒子区域计算每个所选粒子区域的LLC特征向量。

根据第t帧图像中每个粒子的位置，确定每个粒子对应的采样粒子区域，其中，粒子采样区域是指以粒子为中心向外扩展直至获得大小等于目标图像的区域，该区域成为粒子采样区域。

计算每个所选粒子对应的采样粒子区域的LLC特征向量。首先，将所述采样粒子区域对应的图像划分成多个子图像，分别对每个子图像提取局部特征描述子向量；然后，根据局部特征描述子和局部约束线性编码算法，获取每一个子图像的稀疏向量；最后，对子图像的稀疏向量进行空间金字塔匹配，获取所选粒子的采样粒子区域的LLC特征向量。

S8、根据所选粒子的采样粒子区域LLC特征向量，以及匹配模板的LLC特征向量，获取目标在第t帧图像对应时刻的最优位置。

计算多个采样粒子区域的LLC特征向量与匹配模板LLC特征向量之间的相似程度，用于确定目标在第T帧图像对应时刻的最优位置。

具体的，请参照图10，图10为S8的流程示意图，包括：

S81、计算每个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量的巴氏距离。

通过巴氏距离计算每个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量之间的相似程度。其中，每个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量的巴氏距离，由下式计算：

其中，为匹配模板的LLC特征向量，为第t帧第i个粒子区域的LLC特征向量，Γ为特征向量长度。

S82、根据每个采样粒子区域对应的巴氏距离计算每个采样粒子区域对应的似然函数。

其中，在获取每个采样粒子区域对应的巴氏距离后，根据该巴氏距离计算每个采样粒子区域对应的似然函数，似然函数由下式计算：

其中，σ是标准差。

S83、根据似然函数更新每个似然函数对应的粒子的权值，并对权值进行归一化处理。

在获取到每个采样粒子区域对应的似然函数后，根据似然函数更新粒子的权值，同时还要满足前述粒子显著性阈值条件，对第t帧粒子权值更新，由下式计算：

其中，η为粒子的总数，η的取值为50到150之间。在起始帧图像中，每个粒子的权值可以设定为1/η。

S84、计算第t帧图像中的多个粒子的位置与其权值的加权平均值，获取目标在第t帧图像对应时刻的最优位置。

具体的，获取目标在第t帧图像对应时刻的最优位置由下式计算：

其中，为第t帧跟踪目标所在位置，为第i个粒子的坐标。

S9、判断是否需要更新匹配模板。

在跟踪目标图像的过程中，目标容易发生尺度变换以及受光照、噪声和遮挡等因素的影响，使用固定不变的模板往往不能进行稳定有效的跟踪，所以需要判断匹配模板是否需要更新，通过以下机制进行更新：

对于第一帧，设置即匹配模板的初始值是第一帧中目标对象的观测向量；

对于后续帧，如果满足如下条件：

则目标模板更新为：

其中，k是一个预先设定的值，当t＜k,k＝t-1，λ表示预先设置的权值，k的取值可以在5到10之间，λ的取值可以在0.05到0.95之间。表示似然函数值占所有粒子前20％的粒子的似然函数值之和，μ表示粒子总数的20％。

对于需要重新获取粒子的情况，所有粒子都需要参与到匹配模板的更新中，匹配模板更新方式如下：

当判断出不需要更新匹配模板时，则保留当前模板，作为匹配模板使用。

S10、判断是否需要重新获取粒子。

随着跟踪过程的推进，粒子的权值会出现极端差异，即少数粒子的权值之和几乎为1，而绝大多数粒子的权值接近于0，即所谓的权值退化现象，作为一种方式，为了克服粒子权值退化的问题，需要判断粒子是否需要重新获取。

具体的，判断是否需要对粒子重新获取可以通过有效粒子数η_v来判断，其中，η_v由下式计算：

设置阈值为β，当η_v/η＜β时，则判断需要重新获取粒子，β的取值可以为1/2。

其中，当判断出要重新获取粒子时，淘汰权值过低的粒子，复制权值大的粒子，保证粒子总数保持不变，复制过后的各个粒子权重相等，均为1/η。

如果重新获取粒子，匹配模板也需要更新。

图11是本发明实施例提供的一种基于LLC与频域残差显著度的目标跟踪装置的结构框图，包括：图像获取模块、第一特征向量获取模块、显著度获取模块、粒子获取模块、粒子选择模块、第二特征向量获取模块、最优位置获取模块、匹配模板判断模块、粒子判断模块，其中：

图像获取模块，用于获取起始帧图像中对应跟踪目标的目标图像以及目标图像对应的位置点，以起始帧图像中的目标图像作为匹配模板。

第一特征向量获取模块，用于根据空间金字塔匹配技术的局部约束线性编码算法，获取匹配模板的LLC特征向量。其中，第一特征向量获取模块220还包括：局部特征描述子向量获取子模块，用于将目标图像划分成多个子图像，分别对每个子图像提取局部特征描述子向量；子图像稀疏向量获取子模块，用于根据局部特征描述子向量和局部约束线性编码算法，获取每一个子图像的稀疏向量；第一特征向量获取子模块，用于对子图像的稀疏向量进行空间金字塔匹配，获取匹配模板的LLC特征向量。

粒子获取模块，用于根据第t帧图像前的t-1帧图像中目标图像对应的位置点和融入运动估计的粒子滤波算法，获取第t帧图像中的多个粒子，其中，t为大于1的正整数。

显著度获取模块，用于根据基于残差的显著度检测算法获取第t-1帧图像中目标对象的显著度；其中，显著度获取模块还包括：预处理子模块，用于对第t-1帧图像下采样并转化为灰度图像；图像显著度检测子模块，用于根据基于残差的显著度检测算法获取灰度图像的显著图并进行阈值分割获取二值显著图；目标对象显著度获取子模块，用于根据目标图像所对应的二值显著图中像素范围内的灰度值，计算其平均值，获取目标图像的显著度。

粒子选择模块，用于根据第t帧图像中每个粒子的位置确定每个粒子对应的采样粒子区域并计算每个粒子区域的的显著度，并根据粒子选择机制选取部分粒子；其中，粒子选择模块还包括：粒子显著度获取子模块，用于根据第t帧图像中每个粒子的位置确定每个粒子对应的采样粒子区域并计算每个粒子区域的的显著度；显著度阈值获取子模块，用于根据相邻帧图像之间粒子显著度的相关性，获取显著度阈值；粒子选择子模块，用于根据第t帧图像中每个粒子的显著度与第t-1图像相应粒子显著度的差值，若差值大于显著度阈值，则将该粒子的权重赋零，即不在参与后续特征获取步骤。

第二特征向量获取模块，用于根据第t帧图像中每个所选粒子对应的采样粒子区域计算每个所选粒子区域的LLC特征向量。

最优位置获取模块，用于根据多个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量获取目标在第t帧图像对应时刻的最优位置。其中，最优位置获取模块还包括：巴氏距离计算子模块，用于计算每个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量的巴氏距离；似然函数计算子模块，用于根据每个采样粒子区域对应的巴氏距离计算每个采样粒子区域对应的似然函数；权值更新子模块，用于根据似然函数更新每个似然函数对应的粒子的权值，并对权值进行归一化处理；最优位置获取子模块278，用于计算第t帧图像中的多个粒子的位置与其权值的加权平均值，获取目标在第t帧图像对应时刻的最优位置。

匹配模板判断模块，用于判断是否需要更新匹配模板；当判断需要更新匹配模板时，将匹配模板更新为第t帧图像对应的匹配模板与第t-1帧图像对应的匹配模板的加权求和。

粒子判断模块，用于判断是否需要重新获取粒子；当判断需要重新获取粒子时，淘汰权值低的粒子，复制权值大的粒子，粒子总数不变。当判断需要重新获取粒子时，更新匹配模板。

综上，本发明实施例提出的目标跟踪的方法首先获取起始帧图像中对应跟踪目标的目标图像以及该目标图像对应的位置点，以该起始帧图像中的目标图像作为匹配模板，根据基于空间金字塔匹配技术的局部约束线性编码算法，获取匹配模板的LLC特征向量；然后根据第t-1帧图像中目标图像对应的位置点和融入运动估计的粒子滤波算法，获取第t帧图像中的多个粒子，其中，t为大于1的正整数；根据基于残差的显著度检测算法获取第t-1帧图像中目标对象的显著度；根据第t帧图像中每个粒子的位置确定每个粒子对应的采样粒子区域并计算每个粒子区域的显著度，根据粒子选择机制选取部分粒子；根据每个所选粒子对应的采样粒子区域计算每个所选粒子区域的LLC特征向量；最后根据多个采样粒子区域的LLC特征向量与匹配模板的LLC特征向量获取目标在第t帧图像对应时刻的最优位置以实现运动目标在复杂条件下的持久鲁棒性跟踪。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于LLC与频域残差显著度的目标跟踪方法，其特征在于，所述方法包括：

S1、采集起始帧图像中对应跟踪目标的图像作为目标图像，采集所述目标图像的位置点，将所述起始帧图像中的所述目标图像标记为匹配模板；

S2、根据空间金字塔匹配技术的局部约束线性编码算法，计算得到所述匹配模板的LLC特征向量；

S3、采集第t-1帧图像中所述目标图像对应的位置点，对所述目标图像采用融入运动估计的粒子滤波算法进行计算，得到第t帧图像中的多个粒子，其中，t为大于1的正整数；

S4、根据基于频域残差的显著度检测算法获取第t-1帧图像中所述目标图像的显著度；

S5、根据所述第t帧图像中所述粒子的位置，确定所述粒子对应的采样粒子区域，计算所述采样粒子区域的显著度，

S6、根据第t-1帧图像中所述目标图像的显著度和所述第t帧图像中所述采样粒子区域的显著度,利用粒子选择机制,从所述粒子中选取部分作为所选粒子；

S7、依据所述所选粒子的采样粒子区域，计算所述所选粒子的采样粒子区域LLC特征向量；

S8、根据所述所选粒子的采样粒子区域LLC特征向量，以及所述匹配模板的LLC特征向量，获取目标在第t帧图像对应时刻的最优位置。

2.根据权利要求1所述的方法，其特征在于，所述空间金字塔匹配技术的局部约束线性编码算法，包括：

S21、将所述目标图像划分成多个子图像，分别对每个所述子图像提取局部特征描述子向量；

S22、根据所述局部特征描述子向量和局部约束线性编码算法，获取每一个所述局部特征描述子向量的稀疏向量；

S23、对所述稀疏向量进行空间金字塔匹配，得到所述匹配模板的LLC特征向量。

3.根据权利要求1所述的方法，其特征在于，所述S4包括：

S41、对所述第t-1帧图像实施下采样并转化为灰度图像；

S42、根据基于残差的显著度检测算法获取所述灰度图像的显著图，并进行阈值分割，获得二值显著图；

S43、计算所述二值显著图中像素范围内灰度值的平均值，依据所述灰度值和显著度的映射关系，得到所述平均值对应的显著度，标记为所述目标图像的显著度。

4.根据权利要求1所述的方法，其特征在于，在S6中，所述粒子选择机制包括：

S61、获取所述第t-1帧中所述目标图像的显著度与所述第t-1帧中每个所述采样粒子区域的显著度差值的平均值，作为所述目标图像的显著度与每个所述采样粒子区域显著度的平均误差，并设置显著度阈值为所述平均误差的两倍；S62、根据相邻帧图像之间所述目标图像显著度的相关性，判断所述第t帧中每个所述采样粒子区域显著度与所述第t-1帧中目标图像显著度的差值，若待判断粒子的所述差值大于所述显著度阈值，则认为所述待判断粒子的显著度与所述目标图像的显著度之间的误差超过可接受的范围，将所述待判断粒子的权重设为零。

5.一种基于LLC与频域残差显著度的目标跟踪装置，其特征在于，包括：

图像获取模块，用于获取起始帧图像中目标图像以及所述目标图像对应的位置点；

第一特征向量获取模块，用于运行空间金字塔匹配技术的局部约束线性编码算法，计算匹配模板的LLC特征向量；

粒子获取模块，用于对所述目标图像进行融入运动估计的粒子滤波算法；

显著度获取模块，用于根据基于残差的显著度检测算法计算第t-1帧图像中所述目标对象的显著度；

粒子选择模块，用于根据第t帧图像中每个粒子的位置，确定所述粒子对应的采样粒子区域，计算所述采样粒子区域的的显著度，并根据粒子选择机制选取部分粒子作为所选粒子；

第二特征向量获取模块，用于依据所述所选粒子的采样粒子区域，计算所述所选粒子的采样粒子区域LLC特征向量；

最优位置获取模块，用于所述所选粒子的采样粒子区域LLC特征向量，以及所述匹配模板的LLC特征向量，获取目标在第t帧图像对应时刻的最优位置。

6.根据权利要求5所述的装置，其特征在于，所述第一特征向量获取

模块包括：

局部特征描述子向量获取子模块，用于将所述目标图像划分成多个子图像，分别对每个所述子图像提取局部特征描述子向量；

子图像稀疏向量获取子模块，用于根据所述局部特征描述子向量和局部约束线性编码算法，获取每一个所述子图像的稀疏向量；

第一特征向量获取子模块，用于对所述子图像的稀疏向量进行空间金字塔匹配，获取匹配模板的LLC特征向量。

7.根据权利要求5所述的装置，其特征在于，所述显著度获取模块包括：

预处理子模块，用于对所述第t-1帧图像下采样并转化为灰度图像；

图像显著度检测子模块，用于根据基于残差的显著度检测算法获取所述灰度图像的显著图，并对所述显著图进行阈值分割，得到二值显著图；

目标对象显著度获取子模块，用于根据所述二值显著图中像素范围内的灰度值，计算其平均值，获取目标图像的显著度。

8.根据权利要求5所述的装置，其特征在于，所述粒子选择模块包括：

粒子显著度获取子模块，用于根据第t帧图像中粒子的位置确定粒子对应的采样粒子区域并计算每个粒子区域的的显著度；

显著度阈值获取子模块，用于根据相邻帧图像之间粒子显著度的相关性，获取显著度阈值；

粒子选择子模块，用于根据粒子选择机制，从所述粒子中选取部分作为所选粒子。