CN101252677A - 一种基于多光谱图像传感器的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种多光谱图像传感器融合的目标跟踪方法，该方法采用具有一定通用性的四层数据融合计算框架。该四级数据融合计算框架由下至上分别是多特征融合级、多模式融合级、多模型融合级和多传感器融合级。多特征融合运用概率方法实现多个特征线索的综合，保证不同环境下有足够的特征信息来表示目标；多模式融合运用分阶段模式切换算法，以一定的加权系数联合两种相邻的跟踪模式，使模式之间平滑过渡，保证目标的连续跟踪；多模型融合运用交互多模型算法，解决了目标不同运动模型之间的平稳切换；多传感器融合运用分布式融合跟踪算法，取各传感器之优点，弥补相互之间的不足，使跟踪更为鲁棒和精确。

Description

一种基于多光谱图像传感器的目标跟踪方法

技术领域

本发明属于信息技术领域，可应用于智能视频监控、体育运动视频分析、国防等领域，涉及一种基于多光谱图像传感器的目标跟踪方法。

背景技术

近年来随着计算机视觉技术的发展，基于视频的自动目标跟踪技术在视频监控、体育视频分析、国防等方面得到了较为广泛的应用。然而，过去使用单传感器的跟踪系统受到传感器自身性能局限性的约束，往往只能应用于某些特定场合下已知目标的跟踪。由于光照条件的变化、复杂背景、遮挡等不确定因素的影响，长期稳定地跟踪复杂场景中感兴趣目标仍然是一个很具有挑战性的课题。因此，研究者开始探索生物体与环境进行交互的基本机理，而借鉴生物感知外界环境的机理，利用多光谱图像传感器信息融合技术来实现视频目标跟踪也已成为一个热门研究领域。

发明内容

本发明的目的是提供一种基于多光谱图像传感器的目标跟踪方法，该方法基于多光谱图像传感器四层数据融合框架的目标跟踪系统，利用多个不同波段的光谱图像传感器所提供的互补甚至重叠的信息提高视频目标跟踪精度、拓宽系统应用范围，使其能够在复杂背景下稳定地跟踪运动目标，而且具有较高的鲁棒性。

为了实现上述任务，本发明采用如下的解决方案：

一种多光谱图像传感器的目标跟踪方法，其特征在于，该方法采用具有一定通用性的四层数据融合的计算框架，由下往上依次是多特征融合级、多模式融合级、多模型融合级和多传感器融合级，各层之间协同工作，构成一个完整的、通用的目标跟踪系统；目标跟踪系统的图像预处理根据不同目标检测的需要，提取特征的方法为：基于灰度的特征提取、基于区域的特征提取和基于形状的特征提取；

多特征融合级采用朴素贝叶斯方法，用于对不同的特征以概率进行融合，来描述同一个目标，使其能够明显地区别于背景或噪声；

多模式融合级采用分阶段切换算法，用于实现三种跟踪模式在四个不同阶段的平稳切换；

多模型融合级采用Kalman滤波基础上的交互多模型IMM算法，用于解决目标匀速运动、匀加速运动和转角运动等模型的融合；

多传感器融合级采用分布式融合跟踪算法，用于对长波红外、短波红外、可见光传感器进行融合跟踪。

本发明针对目标跟踪中存在的问题，给出四层数据融合的框架。为了确保层与层之间的连贯性，每一层的输入输出均用状态分布来表示。

运动目标由于距离图像传感器的成像平面的距离及角度均会发生变化，从而导致成像图像中目标的大小发生变化。如果波门总是不变，跟踪的精度必然有限，甚至断锁，所以采用波门自适应调节算法来解决这个问题。

本发明的方法实现了对感兴趣目标的自动跟踪，实际应用证明多传感器四层数据融合框架的目标跟踪效果优于单传感器。

附图说明

图1是本发明的基于多光谱图像传感器的目标跟踪系统的四级数据融合框架结构图；

图2是贪婪蛇算法流程图；

图3是主动轮廓算法效果图示，其中图a是蛇点初始化，图b是用贪婪蛇算法迭代3次后的结果；

图4是单特征目标检测与多特征融合的目标检测结果对比图；

图5是根据波门大小来确定目标所处的跟踪阶段并选择相应的跟踪模式的过程；

图6是多模式融合算法流程图；

图7是多模式融合方法跟踪红外目标的结果；

图8是多模型融合算法流程图；

图9是多模型融合跟踪结果，其中图a是跟踪的示意图，图b是使用两个模型时的模型概率变化图；

图10是采用长波红外，短波红外和可见光等三类传感器示意图；

图11是多传感器融合算法流程图；

图12是系统跟踪的软件运行界面。

以下结合附图和实施例对本发明作进一步的详细说明。

具体实施方式

本发明的基于多光谱图像传感器的目标跟踪方法，按以下方式进行：

1.构建四级数据融合框架

本发明根据不同传感器各自的特点，首先构建视觉跟踪的四级数据融合框架(四级数据融合框架的结构如图1所示)，包括：由下往上依次是多特征融合级、多模式融合级、多模型融合级、多传感器融合级。多特征融合级用概率方法实现基于多视觉线索的融合；多模式融合级运用分阶段模式切换算法，以一定的加权系数联合两种相邻的跟踪模式使模式之间平滑过渡；多模型融合级运用交互多模型(IMM)算法实现；多传感器融合级运用分布式融合算法完成。前一级的融合结果是下一级融合的基础。不同图像传感器得到的图像只是提取的特征有所不同，前三级的数据融合方法是一致的。最后将每个传感器的跟踪结果进行融合得到整个系统的跟踪结果。

2.特征提取

特征提取是视频目标跟踪的首要阶段，视觉系统的性能严重依赖于所选择的特征空间对目标的描述能力和分辩能力以及用于提取特征的算法有效性和可靠性。然而红外图像与可见光图像的成像原理不尽相同，所以需要的特征也有所不同。根据不同目标检测的需要，本发明中提取特征的方法有：基于灰度的特征提取、基于区域的特征提取和基于形状的特征提取。

2.1基于灰度的特征提取

考虑本系统中远距离的微弱目标，颜色、形状等特征并不显著，而灰度特征在红外传感器中直接反映为目标成像，因此在这种情况下重点考察基于图像灰度值的亮度(目标区域中的最大灰度值)和对比度(目标最亮像素点灰度值与目标最暗像素灰度值之比值)作为主要特征来检测目标。

亮度特征的提取根据上一帧得到的目标点位置及灰度均值与方差，在其周围指定的范围内，通过逐个像素计算，得到对应点的灰度高斯分布似然函数值p₁(i，j)。

对比度特征的提取根据上一帧得到的目标点位置及对比度均值与方差，在其周围指定的范围内，通过逐个像素计算，得到对应点的对比度高斯分布似然函数值p₂(i，j)。

这里，对特征量均构造高斯分布似然函数：

$p\left(y_1\right|x)\∝N(m_1,{\mathrm{\σ}}_1^2),$ $p\left(y_2\right|x)\∝N(m_2,{\mathrm{\σ}}_2^2)$

其中m₁，σ₁ ²分别为目标亮度均值与方差，m₂，σ₂ ²分别为对比度的均值与方差。

2.2基于分割的特征提取

当目标成像为一个小亮斑，所形成的区域已经有相当数量的像素组成但是又不能用形状来描述的时候，采用基于分割的特征提取显得尤为有效。它首先对目标区域和背景进行有效的分割，并对其二值化：

$g(x,y)=\left\{\begin{array}{cc}1& g(x,y)>\mathrm{Th}\\ 0& \mathrm{other}\end{array}\right.---\left(1\right)$

其中g(x，y)为坐标(x，y)上的灰度值，Th为灰度阈值。

这时用质心来表示目标区域的位置：

$x_c=\frac{\underset{(x,y)\∈S}{\mathrm{\Σ}}x\·g(x,y)}{\underset{(x,y)\∈S}{\mathrm{\Σ}}g(x,y)},$ $y_c=\frac{\underset{(x,y)\∈S}{\mathrm{\Σ}}y\·g(x,y)}{\underset{(x,y)\∈S}{\mathrm{\Σ}}g(x,y)}---\left(2\right)$

其中S为目标所在的区域；g(x，y)为目标成像在(x，y)点的灰度，(x_c，y_c)是经过图像分割以后确定特征点所在区域并计算得到的质心。

2.3基于形状的特征提取

当目标成像比较清晰时，形状是常用的重要视觉特征，因为它基本上不受光照变化、目标旋转变换和平移变换等影响。对于面积较大、轮廓较清晰的面目标，使用一条在内部约束力和外部作用力共同作用下产生移动的可变曲线(主动轮廓)表示基于轮廓的形状特征。

首先构造一个合适的能量函数E{v}来定义这条曲线，其中v{x(s)，y(s)}表示轮廓，表示从单位参量域s∈[0，1]到图像表面的映射。通常E{v}由两部分组成，即内部变形能量E_int和外部势能E_ext：

E＝E_int+E_ext    (3)

内部变形能量E_int定义了一条具有伸缩及弯曲的曲线v(s)，即由变形而获得的能量： $E_{\mathrm{int}}={\∫}_0^1(\mathrm{\α}\left(s\right){\left|v_s\right|}^2+\mathrm{\β}\left(s\right){\left|v_{\mathrm{ss}}\right|}^2)\mathrm{ds},$ 其中v的下标表示对s的微分，式中两项分别控制主动轮廓的弹性和刚性。

外部势能E_ext解释了主动轮廓如何被吸引到显著的图像特征， $E_{\mathrm{ext}}=\mathrm{\γ}{\∫}_0^{1}p\left(v\left(s\right)\right)\mathrm{ds},$ 其中p(v)式定义为图像平面上的标量函数。

本模块对于该主动轮廓的理论模型使用的Williams贪婪算法，该算法是一种相对精度高而计算复杂度较低的算法。

贪婪算法把内部能量分为连续性能量、弯曲性能量，而外部能量分为图像能量和约束能量。则贪婪算法把主动轮廓模型重写为：

$E\left(v_{i,0}\right)=\underset{0\≤j\≤8}{\min }[\mathrm{\α}{E}_{\mathrm{cont}}\left(v_{i,j}\right)+\mathrm{\β}{E}_{\mathrm{curv}}\left(v_{i,j}\right)+\mathrm{\γ}{E}_{\mathrm{img}}\left(v_{i,j}\right)+\mathrm{\δ}{E}_{\mathrm{cons}}\left(v_{i,j}\right)]---\left(4\right)$

其中(i＝0，1，...N-1)表示蛇点标号，v_i，j表示蛇点及其8邻域点。α，β，γ，δ分别表示能量项的归一化权值，用以调节各能量项在总能量中的比重。

主动轮廓贪婪蛇算法流程如图2所示，某红外图像的基于形状的主动轮廓提取结果如图3所示。

3.多特征融合

单个特征对环境变化的适应能力较差，而多特征的融合能够弥补特征之间的不足，是增强目标对环境变化适应能力的有效办法，因此联合多个特征共同工作可以使目标跟踪在动态环境中具有较好的鲁棒性。特征融合算法通过使用和整合各种不同的视觉线索，建立具有唯一性的目标表示模型成为目标跟踪的必要手段。

3.1特征融合算法

特征级的目标检测效果可以从两种主要方式得到提高：强化每个独立的视觉线索，或者改进不同特征信息的整合方法。与此相对应，有两类主要方法用于融合多视觉线索：(1)民主整合，即所有的视觉线索同时作用，地位平等。也就是说，每个视觉线索独立决策，然后使用加权和得到最终决策。(2)用概率方法组合不同视觉线索。这种方法要求细心设计每个视觉线索的模型，以使整合模型按所希望的方式工作。这也是该方法的优势所在，因为它要求明确设计模型，指定要使用的参数和假设。适应性在辨别不同目标时非常重要，而且也使跟踪对由于光照、目标姿态的变化引起的目标形态变化更为鲁棒。

鉴于特征融合阶段并不能耗费过多的处理资源，本系统采用概率方法实现基于多视觉线索融合的跟踪算法，并用简单的方法融合：

先假设特征间独立，然后应用朴素贝叶斯规则求得联合分布函数，即

$p(y_1,...,y_n|x)=\underset{i=1}{\overset{n}{\mathrm{\Π}}}p\left(y_i\right|x)---\left(5\right)$

其中p(y₁，...，y_n|x)为特征y₁，..，y_n的联合似然分布，而p(y_i|x)为第i个特征的似然分布。

在融合前，必须取得各特征的似然分布函数。根据上面特征提取得到的p₁(i，j)和p₂(i，j)，通过比较找出使得 $p=p_1^m(i,j)*p_2^n(i,j)$ (一般取m＝n＝1)最大的点作为输出。

3.2特征融合结果

根据上述第一级多特征的融合方法，对于小目标可以得到更为鲁棒的跟踪，图4分别显示了单特征和多特征融合情况下目标的检测结果。

图(a)仅仅使用亮度作为特征，而图(b)使用亮度和对比度两个特征按(5)式融合得到的结果。从图中可以清楚地反映多特征融合具有一定的鲁棒性：在第15帧时，单特征检测结果已经不是原来的目标，而多特征融合结果始终是原来的目标。

4.多模式融合

动态场景中的运动目标在不同阶段有不同形态，峰值模式往往难以表示大目标，而主动轮廓模式难以表示小目标，所以需要根据不同阶段的目标选择不同的模式，即数据融合的第二级：多模式融合。本系统根据目标的成像尺寸把运动目标由远及近的过程分成四个阶段。根据每个阶段的不同成像特点，使用不同的跟踪模式以达到鲁棒跟踪的目的。

4.1各种跟踪模式

本系统中使用的跟踪模式包括峰值模式、形心模式、主动轮廓模式。这三种特征的提取前面已经讲过，所以相应的目标检测位置也可以得到。

当目标成像为一个光学系统衍射所形成的亮斑(点目标阶段)时，目标不存在形状和轮廓信息，但它的亮度和对比度分布可以用二维高斯分布来描述，所以使用峰值跟踪模式；当目标成像有一定尺寸的区域却不显著(准目标阶段)时，存在轮廓信息却并不明显，使用峰值和形心两种跟踪模式同时工作并融合；当目标成像能清楚反映出目标的形状轮廓(显著目标阶段)时，目标特征明晰，采用形心和主动轮廓两种跟踪模式的融合策略；当目成像尺寸可与视场尺寸相比拟(大目标阶段)时，形心跟踪在精度上无能为力，采用主动轮廓跟踪模式。

实现时依靠自适应波门技术，根据波门尺寸s来判断目标所处的阶段。各阶段的跟踪模式及判断依据如图5所示。

4.2多模式的融合算法

多模式的融合跟踪以Kalman滤波器为框架，以各种模式或者模式的组合作为测量，具体的融合流程如图6所示。

这里主要是模式的选取，各个跟踪阶段使用不同的跟踪模式，但是模式间直接切换将造成跟踪的不协调，容易导致跳动而断锁。本发明使用简单平滑的跟踪模式过渡，使用线性融合方式，即以一定的加权系数联合两种相邻的跟踪模式：

X_c(t)＝C(s)X₁(t)+[1-C(s)]X₂(t)    (6)

其中，X_c(t)为综合输出，X₁(t)是第一个跟踪模式，X₂(t)是第二个跟踪模式，而C(s)是关于波门尺寸s的加权系数函数，C(s)定义如下：

$C\left(s\right)=\frac{\mathrm{curSize}-\mathrm{thrDown}}{\mathrm{thrUp}-\mathrm{thrDown}}---\left(7\right)$

其中curSize为波门当前尺寸s，thrDown和thrUp分别为波门尺寸的下阈值和上阈值。

4.3多模式融合结果

多模式融合的部分结果如图7所示。图像中的绿色为主动轮廓跟踪模式的结果，蓝色为形心跟踪模式的结果，红色为融合结果。图中可以清楚看到，多模式融合的结果比单模式跟踪具有更强的鲁棒性。

5多模型融合

对于任何的滤波器，只有当所使用的系统模型与目标的运动模式比较接近时，才能得到较好的跟踪效果。模式级虽然解决了目标不同模式下的跟踪问题，但并不足以描述目标的复杂运动，这时需要用不同运动模型来描述。

5.1模型选择

对于复杂情况的运动目标，在二维图像坐标系中的可能运动有：静止，匀速运动，加速运动，转角运动等。选择适当数量的而且能全面描述目标运动的模型是多模型融合的关键。

如何设计好运动模型的关键是：选择合适的机动水平(加速度)，在最大加速度和最小加速度间折衷选取；选择合适的噪声方差，尽量照顾各种运动，且各方差间尽量间隔开(相差比较大)。

本系统中使用了匀速运动、匀加速运动和转角运动的模型。

5.2多模型融合算法

有效融合目标的多种模型能得到更精确的解，而交互多模型(IMM)是目前混合系统中性能比最好且非常简单的算法，它具有自调整、变带宽的特性，非常适合机动目标跟踪，因此本发明的多模型融合采用IMM算法。以三种模型的融合为例，IMM的工作基本原理如图8所示，可见，结合卡尔曼滤波后整个IMM算法包括5个步骤，具体如下：

1)使用前一时刻的模式概率计算当前混合概率：

${\mathrm{\μ}}_{t-1|t-1}(i,j)=\frac{\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}{{\mathrm{\Σ}}_{i=1}^N\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}$ (其中i，j＝1，...，N)

2)滤波器重新初始化：

${\hat{x}}_{t-1|t-1}^{\left(j\right),0}={\mathrm{\Σ}}_{i=1}^N{\hat{x}}_{t-1|t-1}^{\left(i\right)}{\mathrm{\μ}}_{t-1|t-1}$

$P_{t-1|t-1}^{\left(j\right),0}={\mathrm{\Σ}}_{i=1}^N{\mathrm{\μ}}_{t-1|t-1}(i,j)\{P_{t-1|t-1}^{\left(i\right)}+[{\hat{x}}_{t-1|t-1}^{\left(i\right)}-{\hat{x}}_{t-1|t-1}^{\left(j\right),0}]\·{[{\hat{x}}_{t-1|t-1}^{\left(i\right)}-{\hat{x}}_{t-1|t-1}^{\left(j\right),0}]}^T\}$

3)模型条件滤波计算： ${\mathrm{\Λ}}_t^{\left(j\right)}=N(y_t-h\left({\hat{x}}_{t|t-1}^{\left(j\right),0}\right);0,S_t^{\left(j\right)})$

4)模型更新概率计算： ${\mathrm{\μ}}_t^{\left(j\right)}=\frac{{\mathrm{\Λ}}_t^{\left(j\right)}{\mathrm{\Σ}}_{i=1}^N\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}{{\mathrm{\Σ}}_{j=1}^N{\mathrm{\Λ}}_t^{\left(j\right)}{\mathrm{\Σ}}_{i=1}^N\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}$

5)状态估计和协方差组合：

${\hat{x}}_{t|t}={\mathrm{\Σ}}_{i=1}^N{\hat{x}}_{t|t}^{\left(i\right)}{\mathrm{\μ}}_t^{\left(i\right)}$

$P_{t|t}={\mathrm{\Σ}}_{i=1}^N{\mathrm{\μ}}_t^{\left(i\right)}\{P_{t|t}^{\left(i\right)}+[{\hat{x}}_{t|t}^{\left(i\right)}-{\hat{x}}_{t|t}]\·{[{\hat{x}}_{t|t}^{\left(i\right)}-{\hat{x}}_{t|t}]}^T\}$

5.3多模型融合结果

多模型融合部分的实验跟踪结果和模型概率的变化分别如图9(a)和(b)所示。其中使用两个运动模型：匀速运动模型和匀加速运动模型。容易看出，无论是在目标变速运动还是在转弯运动中，系统都能稳定地跟踪目标。而没有进行模型融合的时候，在运动转变时会引起十字架的跳动，甚至导致跟踪丢失。

6多传感器融合

本系统采用长波红外，短波红外和可见光等三类传感器(如图10所示)，由于每个传感器在每个时刻并非同时具有最佳的探测和跟踪效果，如果等同看待不同传感器的检测结果，则总的结果并不能达到最佳，所以需要在不同时刻，根据不同传感器多模型融合估计的不同跟踪效果，进行综合考虑。图中，不同的传感器获取图像序列，传感器的信息处理过程由波门自适应模块、模式选择器、多特征融合级(特征提取与特征融合模块、图像分割及形心模块、主动轮廓模块组成)、多模式融合模块、多模型融合模块以及卡尔曼滤波模块负责完成。

6.1分布式融合算法

从计算复杂度和实现的难度综合考虑，本系统中的传感器融合方法采用分布式融合，每个传感器都拥有独立的跟踪器，该跟踪器就是前面的三个融合级，而传感器融合体现在各跟踪器估计状态的融合。分布式多传感器融合的基本思路是将单传感器多模型的融合估计，按照一定概率加权组合，计算方便而且数据量小。其原理如图11所示，具体的分布式融合跟踪算法如下：

1)取时刻k＝1的图像数据；初始化相应参数；

2)通过IMM得到每个滤波器输出

P_i ^-(k)及P_i(k)；

3)全局预测： $X^{-}\left(k\right)=A\hat{X}(k-1);$ P^-(k)＝AP(k-1)A^T+Q(k-1)；

4)融合跟踪结果：

$P\left(k\right)=P^{-}\left(k\right)-{\mathrm{\Σ}}_{i=1}^N[P_i\left(k\right)-P_i^{-}\left(k\right)],$ $P\left(k\right)\·{\mathrm{\Σ}}_{i=1}^N[P_i^{-1}\left(k\right){\hat{X}}_i\left(k\right)-P_i^{-1}\left(k\right)X_i^{-}\left(k\right)];$

5)反馈： ${\hat{X}}_i\left(k\right)=\hat{X}\left(k\right);$ P_i(k)＝P(k)

6)k＝k+1，转到步骤2)。

7.多传感器融合跟踪系统

最后，整个系统的跟踪界面及跟踪效果如图12所示，图中从左到右，从上到下分别表示长波红外传感器、短波红外传感器和可见光传感器以及融合结果，从跟踪效果和融合结果来看，多传感器融合跟踪比单传感器跟踪具有更高的鲁棒性。许多情况下，当目标被偶尔遮挡或者特征信息提取信息不充分的情况下，用单传感器就会导致跟踪丢失，而多传感器融合跟踪不会出现这种情况。

Claims (6)

1. 一种多光谱图像传感器的目标跟踪方法，其特征在于，该方法采用具有一定通用性的四层数据融合的计算框架，由下往上依次是多特征融合级、多模式融合级、多模型融合级和多传感器融合级，各层之间协同工作，构成一个完整的、通用的目标跟踪系统；目标跟踪系统的图像预处理根据不同目标检测的需要，提取特征的方法为：基于灰度的特征提取、基于区域的特征提取和基于形状的特征提取；

多特征融合级采用朴素贝叶斯方法，用于对不同的特征以概率进行融合，来描述同一个目标，使其能够明显地区别于背景或噪声；

多模式融合级采用分阶段切换算法，用于实现三种跟踪模式在四个不同阶段的平稳切换；

多模型融合级采用Kalman滤波基础上的交互多模型IMM算法，用于解决目标匀速运动、匀加速运动和转角运动等模型的融合；

多传感器融合级采用分布式融合跟踪算法，用于对长波红外、短波红外、可见光传感器进行融合跟踪。

2. 如权利要求1所述的方法，其特征在于，所述的基于灰度的特征提取包括亮度特征的提取和对比度特征的提取，即：

亮度特征的提取根据上一帧得到的目标点位置及灰度均值与方差，在其周围指定的范围内，通过逐个像素计算，得到对应点的灰度高斯分布似然函数值p₁(i，j)；

对比度特征的提取根据上一帧得到的目标点位置及对比度均值与方差，在其周围指定的范围内，通过逐个像素计算，得到对应点的对比度高斯分布似然函数值p₂(i，j)；

这里，对特征量均构造高斯分布似然函数：

$p\left(y_1\right|x)\∝N(m_1,{\mathrm{\σ}}_1^2),$ $p\left(y_2\right|x)\∝N(m_2,{\mathrm{\σ}}_2^2)$

其中m₁，σ₁ ²分别为目标亮度均值与方差，m₂σ₂ ²分别为对比度的均值与方差。

3. 如权利要求1所述的方法，其特征在于，所述的基于区域的特征提取采用基于分割的特征提取：

首先对目标区域和背景进行有效的分割，并对其二值化：

$g(x,y)=\left\{\begin{array}{cc}1& g(x,y)>\mathrm{Th}\\ 0& \mathrm{other}\end{array}\right.$

其中g(x，y)为坐标(x，y)上的灰度值，Th为灰度阈值；

这时用质心来表示目标区域的位置：

$x_c=\frac{\underset{(x,y)\∈S}{\mathrm{\Σ}}x\·g(x,y)}{\underset{(x,y)\∈S}{\mathrm{\Σ}}g(x,y)},$ $y_c=\frac{\underset{(x,y)\∈S}{\mathrm{\Σ}}y\·g(x,y)}{\underset{(x,y)\∈S}{\mathrm{\Σ}}g(x,y)}$

其中，S为目标所在的区域；g(x，y)为目标成像在(x，y)点的灰度，(x_c，y_c)是经过图像分割以后确定特征点所在区域并计算得到的质心。

4. 如权利要求1所述的方法，其特征在于，所述的基于形状的特征提取是：

首先构造一个合适的能量函数E{v}来定义这条曲线，其中v{x(s)，y(s)}表示轮廓，表示从单位参量域s∈[0，1]到图像表面的映射。通常E{v}由两部分组成，即内部变形能量E_int和外部势能E_ext：

E＝E_int+E_ext

内部变形能量E_int定义了一条具有伸缩及弯曲的曲线v(s)，即由变形而获得的能量： $E_{\mathrm{int}}={\∫}_0^1(\mathrm{\α}\left(s\right){\left|v_s\right|}^2+\mathrm{\β}\left(s\right){\left|v_{\mathrm{ss}}\right|}^2)\mathrm{ds},$ 其中v的下标表示对s的微分，式中两项分别控制主动轮廓的弹性和刚性；

外部势能E_ext解释了主动轮廓如何被吸引到显著的图像特征， $E_{\mathrm{ext}}=\mathrm{\γ}{\∫}_0^{1}p\left(v\left(s\right)\right)\mathrm{ds},$ 其中p(v)式定义为图像平面上的标量函数；

对于该主动轮廓的理论模型使用Williams贪婪算法，把内部能量分为连续性能量、弯曲性能量，而外部能量分为图像能量和约束能量；

贪婪算法把主动轮廓模型重写为：

$E\left(v_{i,0}\right)=\underset{0\≤j\≤8}{\min }[\mathrm{\α}{E}_{\mathrm{cont}}\left(v_{i,j}\right)+\mathrm{\β}{E}_{\mathrm{curv}}\left(v_{i,j}\right)+\mathrm{\γ}{E}_{\mathrm{img}}\left(v_{i,j}\right)+\mathrm{\δ}{E}_{\mathrm{cons}}\left(v_{i,j}\right)]$

其中(i＝0，1，...N-1)表示蛇点标号，v_i，j表示蛇点及其8邻域点，α，β，γ，δ分别表示能量项的归一化权值，用以调节各能量项在总能量中的比重。

5. 如权利要求1所述的方法，其特征在于，所述的交互多模型IMM算法包括如下步骤：

1)使用前一时刻的模式概率计算当前混合概率：

${\mathrm{\μ}}_{t-1|t-1}(i,j)=\frac{\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}{{\mathrm{\Σ}}_{i=1}^N\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}$ (其中i，j＝1，...，N)

2)滤波器重新初始化：

${\hat{x}}_{t-1|t-1}^{\left(j\right),0}={\mathrm{\Σ}}_{i=1}^N{\hat{x}}_{t-1|t-1}^{\left(i\right)}{\mathrm{\μ}}_{t-1|t-1}$

$P_{t-1|t-1}^{\left(j\right),0}={\mathrm{\Σ}}_{i=1}^N{\mathrm{\μ}}_{t-1|t-1}(i,j)\{P_{t-1|t-1}^{\left(i\right)}+[{\hat{x}}_{t-1|t-1}^{\left(i\right)}-{\hat{x}}_{t-1|t-1}^{\left(j\right),0}]\·{[{\hat{x}}_{t-1|t-1}^{\left(i\right)}-{\hat{x}}_{t-1|t-1}^{\left(j\right),0}]}^T\}$

3)模型条件滤波计算： ${\mathrm{\Λ}}_t^{\left(j\right)}=N(y_t-h\left({\hat{x}}_{t|t-1}^{\left(j\right),0}\right);0,S_t^{\left(j\right)})$

4)模型更新概率计算： ${\mathrm{\μ}}_t^{\left(j\right)}=\frac{{\mathrm{\Λ}}_t^{\left(j\right)}{\mathrm{\Σ}}_{i=1}^N\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}{{\mathrm{\Σ}}_{j=1}^N{\mathrm{\Λ}}_t^{\left(j\right)}{\mathrm{\Σ}}_{i=1}^N\mathrm{\π}(i,j)\·{\mathrm{\μ}}_{t-1}^{\left(i\right)}}$

5)状态估计和协方差组合：

${\hat{x}}_{t|t}={\mathrm{\Σ}}_{i=1}^N{\hat{x}}_{t|t}^{\left(i\right)}{\mathrm{\μ}}_t^{\left(i\right)}$

$P_{t|t}={\mathrm{\Σ}}_{i=1}^N{\mathrm{\μ}}_t^{\left(i\right)}\{P_{t|t}^{\left(i\right)}+[{\hat{x}}_{t|t}^{\left(i\right)}-{\hat{x}}_{t|t}]\·{[{\hat{x}}_{t|t}^{\left(i\right)}-{\hat{x}}_{t|t}]}^T\}.$

6. 如权利要求1所述的方法，其特征在于，所述的布式融合跟踪算法如下：

1)取时刻k＝1的图像数据；初始化相应参数；

2)通过IMM得到每个滤波器输出X_i ^-(k)及

P_i ^-(k)及P_i(k)；

3)全局预测： $X^{-}\left(k\right)=A\hat{X}(k-1);$ P^-(k)＝AP(k-1)A^T+Q(k-1)；

4)融合跟踪结果：

$P\left(k\right)=P^{-}\left(k\right)-{\mathrm{\Σ}}_{i=1}^N[P_i\left(k\right)-P_i^{-}\left(k\right)],P\left(k\right)\·{\mathrm{\Σ}}_{i=1}^N[P_i^{-1}\left(k\right){\hat{X}}_i\left(k\right)-P_i^{-1}\left(k\right)X_t^{-}\left(k\right)];$

5)反馈： ${\hat{X}}_i\left(k\right)=\hat{X}\left(k\right);$ P_i(k)＝P(k)；

6)k＝k+1，转到步骤2)。

Images