CN104751466A - 一种基于视觉显著性的形变物体跟踪算法及其系统 - Google Patents

Abstract

本发明公开了一种基于视觉显著性的形变物体跟踪算法及其系统，方法包括以下步骤：S1：人工标定目标区域；S2：通过基于视觉显著性的图像分割算法，获取包含前景目标的局部显著性图谱；S3：对前景区域进行分割；S4：建立目标前景模型；S5：通过基于颜色特征的颜色直方图跟踪器对前景模型初始化；S6：基于点特征的光流跟踪器获取候选目标并对其进行判定；S7：获取目标最终位置；S8：目标学习与更新。本发明该进行显著性处理的同时，还考虑了算法的计算效率，并通过局部大小窗的方法自动分割前景信息，通过前景信息矩阵建立一个软化模型，并生成对应模型的颜色直方图，进行直方图匹配，增加跟踪器的判断能力，同时通过学习器不断的学习目标的新模型。

Description

一种基于视觉显著性的形变物体跟踪算法及其系统

技术领域

本发明涉及一种基于视觉显著性的形变物体跟踪算法及其系统。

背景技术

近年来，随着机器学习和模式识别相关领域的快速发展，极大的推动了计算机视觉技术的发展，大量的工程实践和算法论文如雨后春笋般涌现出来。CVPR,ECCV,ICC这些计算机视觉领域的核心期刊中不乏大量的极具创新，极具影响力的优秀论文。其中，在线学习作为一种机器学习方法，被越来越多的引入到计算机视觉领域中来，开辟出一系列能够在线的对目标进行学习，不断的更新模板模型，从而实现更加快速，鲁棒的跟踪的算法技术。

计算机视觉基于在线学习的计算机视觉的目标跟踪问题可以归纳为这样一个流程：目标的建模，目标的搜索以及目标的更新。其中：目标的建模可以理解为特征选择的问题，进一步说就是选择什么样的特征，用什么样的特点能够最优，最快速，最稳定的表示当前目标；而目标的搜索可以理解为在全局图像中，用什么样的方法去搜索与我们所建立模型对应的目标，从而在实时过程中不断的跟踪目标；而目标模型的更新，则是考虑到现实场景的实际跟踪过程中，目标的外观受到光照，遮挡，形变，旋转和摄像机运动等多方因素的影响，必然发生不变化，我们需要在实时过程中不断的学习并更新目标的模型。

基于自然场景下的形变目标的跟踪技术是计算机视觉领域的一个富有挑战性的工作，指定一个追踪的目标，在目标追踪的过程中，经常会出现追踪对象的丢失，追踪对象的外形发生改变等情况在目标追踪技术中，通常可以分为静态模型和自适应模型，其中，在静态模型，假设被追踪目标对象的外观特征改变较小，或者是改变的先验知识已知，由于在实际的视频追踪中，由于被追踪目标的外形会时刻随着目标的运动而时刻改变，同时先验知识也不是容易获得，因此造成了利用静态模型追踪目标的先天劣势；自适应模型能够快速地学习追踪目标的特征，通过改变模板库，结合记忆，能够较好地适应长时间的目标追踪，但是，自适应方法由于需要保持记忆库，同时不断更新记忆库，因此对于计算机的硬件要求较高。

对于自然场景下目标形变的跟踪，往往因为：1.目标外观的形变过于频繁2.目标外观的不规则，混入背景像素等问题，直接导致了跟踪失败。

究其原因，目前大量的跟踪算法都存在这样一些问题，比如它们大多采用刚性的模板对目标进行建模，这样对于经常发生形变的且外观不规则物体，套用一个形状不匹配的矩形框模板进行建模，必然导致背景像素的错误学习，使得在跟踪过程中，非常容易受到背景变化的干扰，如果同一时刻目标本身也在发生形变，则极易导致跟踪失败。

在自然场景下的长期目标形变跟踪问题中，往往存在一些不变特征，例如颜色分布，运动趋势，视觉显著性。如何有效的提取和利用这些不变特性，才是解决此问题的关键。本发明将通过目标显著性特征提取和软化模板建模两个方面，共同解决自然场景下表观变化跟踪难的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视觉显著性的形变物体跟踪算法及其系统，解决现有技术采用刚性的模板对目标进行建模，对于经常发生形变的且外观不规则物体，套用一个形状不匹配的矩形框模板进行建模，必然导致背景像素的错误学习，使得在跟踪过程中，非常容易受到背景变化的干扰，如果同一时刻目标本身也在发生形变，则极易导致跟踪失败的问题。

本发明的目的是通过以下技术方案来实现的：一种基于视觉显著性的形变物体跟踪算法，它包括以下步骤：

S1：人工标定目标区域：在视频/图像序列第一帧，在图像的某一个区域手动框定一个矩形框得到框定区域bb₁，来代表要跟踪的物体；所述的框定区域完全包含目标物体的所有部分；

S2：通过基于视觉显著性的图像分割算法，获取图像包含前景目标的局部显著性图谱D(x,y)；

S3：对前景区域进行分割；

S4：建立目标前景模型；

S5：通过基于颜色特征的颜色直方图跟踪器对前景模型初始化；

S6：基于点特征的光流跟踪器获取候选目标并对其进行判定；

S7：获取目标最终位置；

S8：目标学习与更新。

所述的步骤S2包括以下子步骤：

S21：得到原图像对应的灰度图，包括以下子步骤：

S2101：以框定矩形区域bb₁为中心，生成一个长宽比一致、面积4倍于原矩形区域的新矩形区域bb₂；

S2102：在bb₂区域内，计算灰度直方图，计算公式如下：

$c(k,i)=\left\{\begin{array}{c}1,i=k\\ 0,i\≠k\end{array}\right.,k\∈\left[\mathrm{0,255}\right],I_i\∈I;$

式中，k∈[0,255]代表灰度的256种像素值，I代表当前图像的所有像素点集合，I_i∈I，c(k,i)代表当对应图像的像素值i等于当前颜色k时，值为1，否则为0；

S2103：根据步骤S2102得到的公式，得到某个像素k在整幅图像中出现的频数h(k)：

$h\left(k\right)={\mathrm{\Σ}}_{{\∀I}_i\∈I}c(k,I_i),k\∈\left[\mathrm{0,255}\right];$

通过重复计算k的每一个取值，得到整个图像的灰度直方图H(k)；

S22：计算各个灰度图256个颜色对应的显著性值d(k)，即每个颜色的对比度，计算公式如下：

$d\left(k\right)={\mathrm{\Σ}}_{j=0}^{255}|k-j|*H\left(j\right);$

式中，H(j)代表某个颜色的出现频数；|k-j|为两个颜色本身的欧式距离，距离越大代表连个颜色的视觉差异越大；而颜色j出现的频数越高，则代表这个颜色本身出现的次数越多；d(k)代表颜色k在整幅图像中的显著性值；

S23：根据步骤S22得到的颜色显著性函数，与原始图像对应，得到显著图谱，计算公式如下：

D(x,y)＝d(I(x,y))；

式中，I(x,y)代表原图像点(x,y)处的像素值，函数d(k)对应该像素值对应的显著性值，D(x,y)为原图像点(x,y)处的显著性值。

所述的步骤S3包括以下子步骤：

S31：将颜色显著性函数d(k)和灰度直方图H(k)绘制在同一坐标系内，对H(k)进行平滑滤波，并计算H(k)出中所有的极值点；

S32：将每两个极小值点对应的显著性值d(k₁)和d(k₂)当作阈值，重复对显著性图谱进行阈值分割，并获得极小值间的极大值所对应的颜色显著性值d(k₁₂)，一共存在n个极小值对，公式如下：

Seg(x,y)＝d(k₁₂),D(x,y)∈[d(k₁),d(k₂)]；

其中，Seg(x,y)代表经过阈值分割后的图像，即显著性图谱D(x,y)中所有介于[d(k₁),d(k₂)]区域的值都等于该区域所对应的颜色显著性极大值d(k₁₂)；

经过对所有极小值对的遍历，即可得到完整的Seg(x,y)，其中每个区域标识即为该区域的显著性图谱值；

S33：将bb₁和bb₂之间的联通区域记为bb₁₂，遍历所有n个分割区域，将点出现在bb₁₂区域所对应的分割区域的所有值n_m置位0，则剩下的非零区域即为前景区域，计算公式如下：

${\mathrm{Seg}}_m(x,y)=d\left(k_{12}\right),(x,y)\∈{\mathrm{Seg}}_m,\mathrm{std}:\∃\∀(x,y)\∈\left({\mathrm{bb}}_{12}\right);$

式中，Seg_m代表分割图中的第m个区域；m∈[1,n]表示在m区域中，存在任意一个点同时也位于bb₁₂中，则Seg_m区域内所有值均为0；最终得到的新矩阵记为Segⁿ(x,y)。

所述的步骤S4包括以下子步骤：建立一个新的矩阵patch₁，令patch₁＝Segⁿ(x,y)，并作为模型库的第一个正样本；其中，patch₁的非零元素代表前景，零元素代表背景，则patch₁即为目标的最初模型。

所述的步骤S5包括以下子步骤：对patch₁计算其颜色直方图，计算公式如下：

$\mathrm{color}\left(i\right)={\mathrm{\Σ}}_{{\mathrm{patch}}_1}s(x,y),\mathrm{std}:\mathrm{if}{\mathrm{patch}}_1(x,y)=i,s(x,y)=1;$

式中，patch₁(x,y)为patch₁中(x,y)点的像素值，s(x,y)表示当patch₁(x,y)的值等于当前颜色i时，s(x,y)点的对应值为1，这样依次遍历整个patch区域即可获取颜色i的个数color(i)；通过上式重复计算不同颜色i可得到256色图像的颜色直方图，记为histGram₁。

所述的步骤S6包括以下子步骤：

S61：估计特征点的流动，在下一帧快速的跟踪到物体的部分特征点；

S62：在特征点中心生成一个大小与前一帧的bb₂相同的矩形区域；

S63：在此区域内使用步骤S5得到颜色直方图histGram₁，用滑动窗口的方式进行卡方匹配，计算公式如下：

$\mathrm{dist}(H_1,H_2)={\mathrm{\Σ}}_I\frac{{(H_1\left(i\right)-H_2\left(i\right))}^2}{H_1\left(i\right)+H_2\left(i\right)};$

式中，H₁,H₂分别为前后两帧图像的灰度直方图；i为灰度图的像素值，范围是0-255；dist(H₁,H₂)输出两幅直方图的匹配结果，越小则表面两幅图像颜色分布越相近；通过遍历bb₂内部的所有尺度下的矩形框，获得所有的匹配结果数组dist。

所述的步骤S7包括以下子步骤：

S71：在dist数组中，在dist数组中挑选数值最小的前十个值所对应的矩形框，记为cb_i，其中i的范围是0-9；

S72：根据显著性光溜跟踪器的跟踪点集获取最大可覆盖所有点集的一个矩形框tb，tb即为跟踪器获取到的目标位置；

S73：将所有cb_i与tb的坐标点进行加权，得到目标的真实位置，计算公式如下：

$\mathrm{width}={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.\mathrm{width}+10*\mathrm{tb}.\mathrm{width};$

$\mathrm{height}={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.\mathrm{height}+10*\mathrm{tb}.\mathrm{height};$

$x={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.x+10*\mathrm{tb}.x;$

$y={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.y+10*\mathrm{tb}.y;$

式中，width和height为目标区域的宽度与高度，x和y为目标区域的左上点坐标。

所述的步骤S8包括以下子步骤：

S81：将得到的目标进行步骤S3中所述的显著性前景分割算法，得到新的前景分割图Segⁿ(x,y)，同时将新的前景区域作为显著性光流跟踪器的特征点，同时记录下前景的颜色直方图，并存储到颜色直方图跟踪器的模版库中；以后每次使用颜色直方图跟踪器时，都将调用物体所有出现并学习到的颜色直方图模板；

S82：返回步骤S6，系统自动的跟踪到初始标定的目标，并在线的学习目标的外观模型。

一种基于视觉显著性的形变物体跟踪算法的系统，它包括显著性跟踪器和学习器，所述的学习器包括一个软化模型。

本发明的有益效果是：

1、本发明在跟踪过程中，针对自然场景中的物体跟踪时，因形变导致的跟踪点丢失问题，采用了一种基于视觉显著性的前景特征点补充方法，并且采用了一种基于前景颜色的不变特征，对跟踪器锁定的目标进行直方图匹配；

2、本发明通过一种基于视觉显著性的算法，对目标区域进行分割处理，从而生成一个消除背景的前景信息矩阵，用于提取不变特征，并实时的不断补充新的特征点，解决了形变跟踪中，特征点极易丢失的问题；

3、本发明使用一个大小窗方法对前景目标进行显著性分割，利用小窗始终包含全部前景信息(同时也包含部分背景信息)，而大小窗之间区域仅仅包含背景信息的性质，对目标的前景区域进行分割，从而有效的提取消除了背景的前景信息矩阵；

4、基于显著性的跟踪器，通过前景信息矩阵生成只包含前景的特征点集，并在下一帧中进行跟踪，当目标发生形变时，必然导致特征点部分消失，而通过显著性分割后得到的前景信息矩阵，则包含了该帧图像的新外观的部分，从而为下一帧跟踪提供了前景特征点，保证了跟踪器的稳定性；

5、对显著性分割得到的前景信息矩阵，进行颜色直方图的统计，生成该矩阵的前景颜色直方图，并在下一帧的目标判定过程中，进行颜色直方图匹配，从而增加了跟踪器的判定能力；

6、对显著性分割得到的前景信息矩阵，通过一个带约束的学习器进行学习；带约束的学习器保证了在线学习过程中，不会重复学习过多的冗余样本，即保证了模板库对目标各种外观的表征能力，提升跟踪器跟踪目标的能力，同时减少了匹配时的计算量。

附图说明

图1为本发明方法流程图；

图2为本发明系统结构图；

图3为本发明效果示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案：如图1所示，一种基于视觉显著性的形变物体跟踪算法，它包括以下步骤：

S1：人工标定目标区域：在视频/图像序列第一帧，在图像的某一个区域手动框定一个矩形框得到框定区域bb₁，来代表要跟踪的物体；所述的框定区域完全包含目标物体的所有部分；

S2：通过基于视觉显著性的图像分割算法，获取图像包含前景目标的局部显著性图谱D(x,y)；

S3：对前景区域进行分割；

S4：建立目标前景模型；

S5：通过基于颜色特征的颜色直方图跟踪器对前景模型初始化；

S6：基于点特征的光流跟踪器获取候选目标并对其进行判定；

S7：获取目标最终位置；

S8：目标学习与更新。

所述的步骤S2包括以下子步骤：

S21：得到原图像对应的灰度图，包括以下子步骤：

S2101：以框定矩形区域bb₁为中心，生成一个长宽比一致、面积4倍于原矩形区域的新矩形区域bb₂；

S2102：在bb₂区域内，计算灰度直方图，计算公式如下：

$c(k,i)=\left\{\begin{array}{c}1,i=k\\ 0,i\≠k\end{array}\right.,k\∈\left[\mathrm{0,255}\right],I_i\∈I;$

式中，k∈[0,255]代表灰度的256种像素值，I代表当前图像的所有像素点集合，I_i∈I，c(k,i)代表当对应图像的像素值i等于当前颜色k时，值为1，否则为0；

S2103：根据步骤S2102得到的公式，得到某个像素k在整幅图像中出现的频数h(k)：

$h\left(k\right)={\mathrm{\Σ}}_{{\∀I}_i\∈I}c(k,I_i),k\∈\left[\mathrm{0,255}\right];$

通过重复计算k的每一个取值，得到整个图像的灰度直方图H(k)；

S22：计算各个灰度图256个颜色对应的显著性值d(k)，即每个颜色的对比度，计算公式如下：

$d\left(k\right)={\mathrm{\Σ}}_{j=0}^{255}|k-j|*H\left(j\right);$

式中，H(j)代表某个颜色的出现频数；|k-j|为两个颜色本身的欧式距离，距离越大代表连个颜色的视觉差异越大；而颜色j出现的频数越高，则代表这个颜色本身出现的次数越多；d(k)代表颜色k在整幅图像中的显著性值；

S23：根据步骤S22得到的颜色显著性函数，与原始图像对应，得到显著图谱，计算公式如下：

D(x,y)＝d(I(x,y))；

式中，I(x,y)代表原图像点(x,y)处的像素值，函数d(k)对应该像素值对应的显著性值，D(x,y)为原图像点(x,y)处的显著性值。

所述的步骤S3包括以下子步骤：

S31：将颜色显著性函数d(k)和灰度直方图H(k)绘制在同一坐标系内，对H(k)进行平滑滤波，并计算H(k)出中所有的极值点；

S32：将每两个极小值点对应的显著性值d(k₁)和d(k₂)当作阈值，重复对显著性图谱进行阈值分割，并获得极小值间的极大值所对应的颜色显著性值d(k₁₂)，一共存在n个极小值对，公式如下：

Seg(x,y)＝d(k₁₂),D(x,y)∈[d(k₁),d(k₂)]；

其中，Seg(x,y)代表经过阈值分割后的图像，即显著性图谱D(x,y)中所有介于[d(k₁),d(k₂)]区域的值都等于该区域所对应的颜色显著性极大值d(k₁₂)；

经过对所有极小值对的遍历，即可得到完整的Seg(x,y)，其中每个区域标识即为该区域的显著性图谱值；

S33：将bb₁和bb₂之间的联通区域记为bb₁₂，遍历所有n个分割区域，将点出现在bb₁₂区域所对应的分割区域的所有值n_m置位0，则剩下的非零区域即为前景区域，计算公式如下：

${\mathrm{Seg}}_m(x,y)=d\left(k_{12}\right),(x,y)\∈{\mathrm{Seg}}_m,\mathrm{std}:\∃\∀(x,y)\∈\left({\mathrm{bb}}_{12}\right);$

式中，Seg_m代表分割图中的第m个区域；m∈[1,n]表示在m区域中，存在任意一个点同时也位于bb₁₂中，则Seg_m区域内所有值均为0；最终得到的新矩阵记为Segⁿ(x,y)，实现效果如图3所示。

所述的步骤S4包括以下子步骤：建立一个新的矩阵patch₁，令patch₁＝Segⁿ(x,y)，并作为模型库的第一个正样本；其中，patch₁的非零元素代表前景，零元素代表背景，则patch₁即为目标的最初模型。

所述的步骤S5包括以下子步骤：对patch₁计算其颜色直方图，计算公式如下：

$\mathrm{color}\left(i\right)={\mathrm{\Σ}}_{{\mathrm{patch}}_1}s(x,y),\mathrm{std}:\mathrm{if}{\mathrm{patch}}_1(x,y)=i,s(x,y)=1;$

式中，patch₁(x,y)为patch₁中(x,y)点的像素值，s(x,y)表示当patch₁(x,y)的值等于当前颜色i时，s(x,y)点的对应值为1，这样依次遍历整个patch区域即可获取颜色i的个数color(i)；通过上式重复计算不同颜色i可得到256色图像的颜色直方图，记为histGram₁。

自然场景中，连续视频帧中的物体在前后两帧间不会发生过于剧烈的表观变化和位置变化，在此基础下，光流跟踪作为跟踪算法第一级。

所述的步骤S6包括以下子步骤：

S61：估计特征点的流动，在下一帧快速的跟踪到物体的部分特征点；

S62：在特征点中心生成一个大小与前一帧的bb₂相同的矩形区域；

S63：在此区域内使用步骤S5得到颜色直方图histGram₁，用滑动窗口的方式进行卡方匹配，计算公式如下：

$\mathrm{dist}(H_1,H_2)={\mathrm{\Σ}}_I\frac{{(H_1\left(i\right)-H_2\left(i\right))}^2}{H_1\left(i\right)+H_2\left(i\right)};$

式中，H₁,H₂分别为前后两帧图像的灰度直方图；i为灰度图的像素值，范围是0-255；dist(H₁,H₂)输出两幅直方图的匹配结果，越小则表面两幅图像颜色分布越相近；通过遍历bb₂内部的所有尺度下的矩形框，获得所有的匹配结果数组dist。

所述的步骤S7包括以下子步骤：

S71：在dist数组中，在dist数组中挑选数值最小的前十个值所对应的矩形框，记为cb_i，其中i的范围是0-9；

S72：根据显著性光溜跟踪器的跟踪点集获取最大可覆盖所有点集的一个矩形框tb，tb即为跟踪器获取到的目标位置；

S73：将所有cb_i与tb的坐标点进行加权，得到目标的真实位置，计算公式如下：

$\mathrm{width}={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.\mathrm{width}+10*\mathrm{tb}.\mathrm{width};$

$\mathrm{height}={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.\mathrm{height}+10*\mathrm{tb}.\mathrm{height};$

$x={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.x+10*\mathrm{tb}.x;$

$y={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.y+10*\mathrm{tb}.y;$

式中，width和height为目标区域的宽度与高度，x和y为目标区域的左上点坐标。

所述的步骤S8包括以下子步骤：

S81：将得到的目标进行步骤S3中所述的显著性前景分割算法，得到新的前景分割图Segⁿ(x,y)，同时将新的前景区域作为显著性光流跟踪器的特征点，同时记录下前景的颜色直方图，并存储到颜色直方图跟踪器的模版库中；以后每次使用颜色直方图跟踪器时，都将调用物体所有出现并学习到的颜色直方图模板；

S82：返回步骤S6，系统自动的跟踪到初始标定的目标，并在线的学习目标的外观模型。

Claims (9)

1.一种基于视觉显著性的形变物体跟踪算法，其特征在于：它包括以下步骤：

S1：人工标定目标区域：在视频/图像序列第一帧，在图像的某一个区域手动框定一个矩形框得到框定区域bb₁，来代表要跟踪的物体；所述的框定区域完全包含目标物体的所有部分；

S2：通过基于视觉显著性的图像分割算法，获取图像包含前景目标的局部显著性图谱D(x,y)；

S3：对前景区域进行分割；

S4：建立目标前景模型；

S5：通过基于颜色特征的颜色直方图跟踪器对前景模型初始化；

S6：基于点特征的光流跟踪器获取候选目标并对其进行判定；

S7：获取目标最终位置；

S8：目标学习与更新。

2.根据权利要求1所述的一种基于视觉显著性的形变物体跟踪算法，其特征在于：所述的步骤S2包括以下子步骤：

S21：得到原图像对应的灰度图，包括以下子步骤：

S2101：以框定矩形区域bb₁为中心，生成一个长宽比一致、面积4倍于原矩形区域的新矩形区域bb₂；

S2102：在bb₂区域内，计算灰度直方图，计算公式如下：

$c(k,i)=\left\{\begin{array}{c}1,i=k\\ 0,i\≠k\end{array}\right.,k\∈\left[\mathrm{0,255}\right],I_i\∈I;$

式中，k∈[0,255]代表灰度的256种像素值，I代表当前图像的所有像素点集合，I_i∈I，c(k,i)代表当对应图像的像素值i等于当前颜色k时，值为1，否则为0；

S2103：根据步骤S2102得到的公式，得到某个像素k在整幅图像中出现的频数h(k)：

$h\left(k\right)={\mathrm{\Σ}}_{{\∀I}_i\∈I}c(k,I_i),k\∈\left[\mathrm{0,255}\right];$

通过重复计算k的每一个取值，得到整个图像的灰度直方图H(k)；

S22：计算各个灰度图256个颜色对应的显著性值d(k)，即每个颜色的对比度，计算公式如下：

$d\left(k\right)={\mathrm{\Σ}}_{j=0}^{255}|k-j|*H\left(j\right);$

式中，H(j)代表某个颜色的出现频数；|k-j|为两个颜色本身的欧式距离，距离越大代表连个颜色的视觉差异越大；而颜色j出现的频数越高，则代表这个颜色本身出现的次数越多；d(k)代表颜色k在整幅图像中的显著性值；

S23：根据步骤S22得到的颜色显著性函数，与原始图像对应，得到显著图谱，计算公式如下：

D(x,y)＝d(I(x,y))；

式中，I(x,y)代表原图像点(x,y)处的像素值，函数d(k)对应该像素值对应的显著性值，D(x,y)为原图像点(x,y)处的显著性值。

3.根据权利要求2所述的一种基于视觉显著性的形变物体跟踪算法，其特征在于：所述的步骤S3包括以下子步骤：

S31：将颜色显著性函数d(k)和灰度直方图H(k)绘制在同一坐标系内，对H(k)进行平滑滤波，并计算H(k)出中所有的极值点；

S32：将每两个极小值点对应的显著性值d(k₁)和d(k₂)当作阈值，重复对显著性图谱进行阈值分割，并获得极小值间的极大值所对应的颜色显著性值d(k₁₂)，一共存在n个极小值对，公式如下：

Seg(x,y)＝d(k₁₂),D(x,y)∈[d(k₁),d(k₂)]；

其中，Seg(x,y)代表经过阈值分割后的图像，即显著性图谱D(x,y)中所有介于[d(k₁),d(k₂)]区域的值都等于该区域所对应的颜色显著性极大值d(k₁₂)；

经过对所有极小值对的遍历，即可得到完整的Seg(x,y)，其中每个区域标识即为该区域的显著性图谱值；

S33：将bb₁和bb₂之间的联通区域记为bb₁₂，遍历所有n个分割区域，将点出现在bb₁₂区域所对应的分割区域的所有值n_m置位0，则剩下的非零区域即为前景区域，计算公式如下：

${\mathrm{Seg}}_m(x,y)=d\left(k_{12}\right),(x,y)\∈{\mathrm{Seg}}_m,\mathrm{std}:\∃\∀(x,y)\∈\left({\mathrm{bb}}_{12}\right);$

式中，Seg_m代表分割图中的第m个区域；m∈[1,n]表示在m区域中，存在任意一个点同时也位于bb₁₂中，则Seg_m区域内所有值均为0；最终得到的新矩阵记为Segⁿ(x,y)。

4.根据权利要求3所述的一种基于视觉显著性的形变物体跟踪算法，其特征在于：所述的步骤S4包括以下子步骤：建立一个新的矩阵patch₁，令patch₁＝Segⁿ(x,y)，并作为模型库的第一个正样本；其中，patch₁的非零元素代表前景，零元素代表背景，则patch₁即为目标的最初模型。

5.根据权利要求4所述的一种基于视觉显著性的形变物体跟踪算法，其特征在于：所述的步骤S5包括以下子步骤：对patch₁计算其颜色直方图，计算公式如下：

$\mathrm{color}\left(i\right)={\mathrm{\Σ}}_{{\mathrm{patch}}_1}s(x,y),\mathrm{std}:\mathrm{if}{\mathrm{patch}}_1(x,y)=i,s(x,y)=1;$

式中，patch₁(x,y)为patch₁中(x,y)点的像素值，s(x,y)表示当patch₁(x,y)的值等于当前颜色i时，s(x,y)点的对应值为1，这样依次遍历整个patch区域即可获取颜色i的个数color(i)；

通过上式重复计算不同颜色i可得到256色图像的颜色直方图，记为histGram₁。

6.根据权利要求5所述的一种基于视觉显著性的形变物体跟踪算法，其特征在于：所述的步骤S6包括以下子步骤：

S61：估计特征点的流动，在下一帧快速的跟踪到物体的部分特征点；

S62：在特征点中心生成一个大小与前一帧的bb₂相同的矩形区域；

S63：在此区域内使用步骤S5得到颜色直方图histGram₁，用滑动窗口的方式进行卡方匹配，计算公式如下：

$\mathrm{dist}(H_1,H_2)={\mathrm{\Σ}}_I\frac{{(H_1\left(i\right)-H_2\left(i\right))}^2}{H_1\left(i\right)+H_2\left(i\right)};$

式中，H₁,H₂分别为前后两帧图像的灰度直方图；i为灰度图的像素值，范围是0-255；

dist(H₁,H₂)输出两幅直方图的匹配结果，越小则表面两幅图像颜色分布越相近；通过遍历bb₂内部的所有尺度下的矩形框，获得所有的匹配结果数组dist。

7.根据权利要求6所述的一种基于视觉显著性的形变物体跟踪算法，其特征在于：所述的步骤S7包括以下子步骤：

S71：在dist数组中，在dist数组中挑选数值最小的前十个值所对应的矩形框，记为cb_i，其中i的范围是0-9；

S72：根据显著性光溜跟踪器的跟踪点集获取最大可覆盖所有点集的一个矩形框tb，tb即为跟踪器获取到的目标位置；

S73：将所有cb_i与tb的坐标点进行加权，得到目标的真实位置，计算公式如下：

$\mathrm{width}={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.\mathrm{width}+10*\mathrm{tb}.\mathrm{width};$

$\mathrm{height}={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.\mathrm{height}+10*\mathrm{tb}.\mathrm{height};$

$x={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.x+10*\mathrm{tb}.x;$

$y={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{cb}}_i.y+10*\mathrm{tb}.y;$

式中，width和height为目标区域的宽度与高度，x和y目标区域的左上点坐标。

8.根据权利要求7所述的一种基于视觉显著性的形变物体跟踪算法，其特征在于：所述的步骤S8包括以下子步骤：

S81：将得到的目标进行步骤S3中所述的显著性前景分割算法，得到新的前景分割图Segⁿ(x,y)，同时将新的前景区域作为显著性光流跟踪器的特征点，同时记录下前景的颜色直方图，并存储到颜色直方图跟踪器的模版库中；以后每次使用颜色直方图跟踪器时，都将调用物体所有出现并学习到的颜色直方图模板；

S82：返回步骤S6，系统自动的跟踪到初始标定的目标，并在线的学习目标的外观模型。

9.如权利要求1-8中任意一项所述的一种基于视觉显著性的形变物体跟踪算法的系统，其特征在于：它包括显著性跟踪模块和学习模块，所述的学习模块包括一个软化子模块；所述的显著性跟踪模块在目标外观稳定但特征点不断丢失的情况下，通过基于显著性的特征补充机制和基于颜色的不变特征，对目标进行鲁棒的跟踪；所述的学习模块是算法在实时运行过程中，为跟踪模块在线的持续提供通过前一阵跟踪到的并且已标记好的正负样本，从而不断的更新跟踪模块的模型，达到在线训练的目的；所述的软化子模块用于在显著性跟踪模块确定目标大致位置后，采用基于前景的软化模板所生成的颜色直方图进行进一步的匹配判断，增加整个跟踪器的判别能力。