CN104036500A - 一种窄带背景探测的快速双循环水平集方法 - Google Patents

Abstract

本发明公开了一种窄带背景探测的快速双循环水平集方法，首先将视频各帧予以超像素分割，在首帧根据前景显著图初始化水平集核函数和前景轮廓像素，并建立基于超像素的前景特征池和窄带背景特征池；计算双链环像素上各点属于前景和窄带背景的颜色概率值和纹理概率值，加权作为该点的区域竞争项，由区域竞争项的符号可驱动水平集双循环过程，更新水平集核函数、前景轮廓像素和特征池；在前景轮廓精准化阶段，基于极大似然后验概率原理，将前景似然模型和窄带背景似然模型的比值，作为新的区域竞争项，驱动水平集双循环过程进一步精细化前景轮廓；本发明基于复杂室外环境的道路场景视频，有效实现运动前景的轮廓跟踪，跟踪速度快，方法简单有效。

Description

一种窄带背景探测的快速双循环水平集方法

技术领域：

本发明属于图像处理、计算机视觉及模式识别领域，具体涉及一种窄带背景探测的快速双循环水平集方法。

背景技术：

图像前景区域轮廓的检测与跟踪，在图像处理、计算机视觉及模式识别领域具有重要的应用，在一些实际应用，如基于运动场景视频图像序列的前景交通元素检测与跟踪问题中，需要快速准确地获取车辆等运动前景，以及交通标志牌等静止前景的轮廓曲线。经典的水平集方法能够很好地拟合图像中前景目标的轮廓变化，但是多数水平集方法在整体图像域中求解水平集函数，如Chan-Vese模型，这些方法容易陷入局部极值；许多研究者致力于加快水平集方法的曲线演变速度，基本思想是将水平集偏微分方程的求解局限于零水平集的临近区域，但求解偏微分方程仍很耗时间；Gibou方法(参考Gibou的方法：GibouF,Fedkiw R.A fast hybrid k-means level set algorithm for segmentation[C].4^th Hawaii International Conference on Statistics and Mathematics,2005.)将Chan-Vese模型分解为两个不同循环，并且将水平集算法和K均值非线性扩散预处理联系起来，借鉴该方法，Shi方法(参考Shi的方法：Shi Y,Karl WC.A real-time algorithm for the approximation of level set curveevolution[J].IEEE Transactions on Image Processing,2008,17(5),645-656)提出了快速双循环水平集算法，将曲线的演变设计为两个循环，第一个循环处理数据依赖项，第二个循环用于轮廓曲线的平滑，然而该方法主要适用于静态背景的灰度视频图像序列，前背景区域需要具有单一的易区分的颜色信息，对室外复杂噪声环境的鲁棒性不佳。

发明内容：

为了解决上述现有技术存在的问题，本发明的目的在于提供一种窄带背景探测的快速双循环水平集方法，该方法基于前景的超像素特征池定义区域竞争项，由区域竞争项的符号驱动基本双循环水平集过程，实现前景轮廓的跟踪。在前景轮廓的精准化阶段，依据辅助光流图(请在权利要求中补充)，区域竞争项基于相邻视频帧间的极大似然后验概率模型予以定义；本发明准确率高，简单有效。

为了达到上述目的，本发明采用如下技术方案：

一种窄带背景探测的快速双循环水平集方法，包括如下步骤：

步骤1：初始的轮廓像素L_out和L_in根据用户的输入笔画，由前景的超像素显著图予以提取,其中前景的超像素显著图由超像素直方图的巴氏距离予以衡量，生成初始的轮廓曲线，定义水平集核函数Φ(x)，Φ(x)定义如下：

其中模糊像素表示该像素处的颜色和纹理特征，与其临近的前景和背景区域都比较相近，难以区分；

步骤2：在前景轮廓演变的第一阶段，依据Mumford-Shah方程和其上定义的水平集方程，定义能量函数如下：

其中E_d代表当前场景的数据依赖项，E_s代表曲线平滑项，与曲线的长度成正比，μ,λ₁和λ₂代表权重系数，f(x)为x坐标处的特征向量，H为Heaviside分布，Ω_m为第m个前景区域，Ω_b为Ω_m区域周围宽度为ω_NB的窄带背景区域，Ω_b定义为：

${\mathrm{\Ω}}_b=\{x\∈\stackrel{\‾}{{\mathrm{\Ω}}_m}|{\min }_{y\∈{\mathrm{\Ω}}_m}\left|\right|x-y\left|\right|\≤{\mathrm{\ω}}_{\mathrm{NB}}\}---\left(3\right)$

轮廓曲线上各点的区域竞争项F_d是基于颜色概率和纹理概率的加权计算所得：

$F_d=\log \frac{p\left(f\left(x\right)\right|{\mathrm{\Ω}}_m)}{p\left(f\left(x\right)\right|{\mathrm{\Ω}}_b)}---\left(4\right)$

s.t.f(x)＝ω₁·f_C(x)+ω₂·f_T(x)

其中：f(x)为像素x坐标处的特征值，f_C(x)为像素x坐标处的颜色特征，f_T(x)为像素x坐标处的纹理特征，Ω_m代表前景区域，Ω_b代表背景区域，ω₁和ω₂为权重系数；

像素x坐标处的颜色概率计算如下：

$p\left(f_C\left(x\right)\right|{\mathrm{\Ω}}_m)=\underset{{\mathrm{SP}}_{\mathrm{fg}}\left\{i\right\}\∈{\mathrm{Color}}_{\mathrm{fg}}}{\sup }\{p\left(f_C\left(x\right)\right|{\mathrm{SP}}_{\mathrm{fg}}\left\{i\right\}\},p\left(f_C\left(x\right)\right|{\mathrm{\Ω}}_b)=\underset{{\mathrm{SP}}_{\mathrm{bg}}\left\{i\right\}\∈{\mathrm{Color}}_{\mathrm{bg}}}{\sup }\{p\left(f_C\left(x\right)\right|{\mathrm{SP}}_{\mathrm{bg}}\left\{i\right\}\}---\left(5\right)$

其中SP_fg{i}为前景区域内第i个超像素颜色分布，SP_bg{i}为窄带背景区域内第i个超像素颜色分布,color_fg和color_bg分别代表前景和窄带背景区域的基于超像素的颜色特征池；

像素x坐标处前景区域和背景区域的纹理概率计算分别如下：

$p\left(f_T\left(x\right)\right|{\mathrm{\Ω}}_m)=\underset{M_{\mathrm{fg}}\left\{i\right\}\∈{\mathrm{Texture}}_{\mathrm{fg}}}{\sup }\exp \left(r(f_T\left(x\right),M_{\mathrm{fg}}\{i\left\}\right)\right),---\left(6\right)$

$p\left(f_T\left(x\right)\right|{\mathrm{\Ω}}_b)=\underset{M_{\mathrm{bg}}\left\{i\right\}\∈{\mathrm{Texture}}_{\mathrm{bg}}}{\sup }\exp \left(r(f_T\left(x\right),M_{\mathrm{bg}}\{i\left\}\right)\right)$

其中：f_T(x)为像素x坐标处的N_T×N_T图像块的纹理直方图，M_fg{i}为前景纹理特征池Texture_fg中第i个聚类中心，M_bg{i}为背景纹理特征池Texture_bg中第i个聚类中心，r(f_T(x),M_fg{i})代表f_T(x)与M_fg{i}的互相关系数，r(f_T(x),M_bg{i})代表f_T(x)与M_bg{i}的互相关系数；

步骤3：由轮廓曲线上各点区域竞争项的符号驱动水平集双循环过程，将上一帧的双链环轮廓像素传播到下一帧，并更新水平集核函数、前景超像素特征池和窄带背景超像素特征池；

步骤4：在前景轮廓演变的第二阶段即精准化阶段，基于极大似然后验概率的前景似然模型及窄带背景似然模型，定义新的区域竞争项，并提出轮廓曲线精细化算法，具体步骤包括：

1)极大似然后验概率表达式如下：

$\begin{array}{c}{\mathrm{\Ω}}_m^{t*}=\underset{{\mathrm{\Ω}}_m^t}{\arg \max }p\left({\mathrm{\Ω}}_m^t\right|I_{t-1},I_t,{\mathrm{\Ω}}_m^{t-1})\\ =\underset{{\mathrm{\Ω}}_m^t}{\arg \max }\underset{x\∈D}{\mathrm{\Π}}p\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)p\left({\mathrm{\Ω}}_m^t\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1})\end{array}---\left(8\right)$

其中：和分别为I_t和I_t-1的第m个前景区域，*代表待求区域，D为图像域；

2)由极大似然后验概率表达式，推导出能量函数：

3)基于极大似然后验概率的表达式，新的区域竞争项定义如下：

$F_d=\log \frac{p_{\mathrm{FG}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)}{p_{\mathrm{NB}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)}---\left(10\right)$

认为从I_t时刻到I_t-1时刻的非刚性转换可由速度场v和附加的高斯白噪声b组成：

I_t(x+v(x))＝I_t-1(x)+b(x) (11)

其中：b是均值为0，方差为的高斯分布，v是均值为v_O(x)，方差为的高斯分布，v_O(x)是从I_t时刻到I_t-1时刻的光流图，在x坐标处的值；

那么：

$\begin{array}{c}{p}_{\mathrm{FG}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)\≈\underset{y\∈{\mathrm{\Ω}}_m^{t-1}}{\sup }\{\exp (-{\left|\right|I_t\left(x\right)-I_{t-1}\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_b^2\right)}^{-1})\\ \·\exp (-{\left|\right|(x-y)-v\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_v^2\right)}^{-1})\}\end{array}---\left(12\right)$

$\begin{array}{c}{p}_{\mathrm{NB}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)\≈\underset{y\∈{\mathrm{\Ω}}_m^{t-1}}{\sup }\{\exp (-{\left|\right|I_t\left(x\right)-I_{t-1}\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_b^2\right)}^{-1})\\ \·\exp (-{\left|\right|(x-y)-v\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_v^2\right)}^{-1})\}\end{array}$

4)由轮廓曲线上各点区域竞争项的符号驱动水平集双循环过程，将上一帧的双链环轮廓像素传播到下一帧，并更新水平集核函数、前景超像素特征池和窄带背景超像素特征池。

本发明和现有技术相比较，具体如下优点：

相比于已有的运动背景下的前景检测水平集方法，以及原始的快速双循环水平集方法，本算法跟踪准确率高，对环境噪声鲁棒，方法简单有效，跟踪速度快。

附图说明

图1为前景轮廓传播的示意图。

图2为水平集核函数的表达，其中图2(a)为边界轮廓的演变从t时刻到t+1时刻，图2(b)为水平集核函数Φ(x)在t时刻的三维显示。

图3为基于窄带背景探测的超像素表示，其中：图3(a)为图像分割为不同尺寸的超像素表示，图3(b)为根据输入笔画生成的前背景显著图，图3(c)为基于CIE-LAB颜色空间以及超像素的前景和窄带背景表示。

图4为基于窄带背景超像素的快速双循环水平集方法的轮廓跟踪结果。

具体实施方式

下面结合附图和具体实施方式，对本发明做详细描述。

如图1所示，如果已知当前帧的前景轮廓，可基于超像素的特征池，分别采取窄带背景快速双循环水平集方法，和极大似然后验概率优化，得到下一帧的前景轮廓。

本发明具体方法如下：

步骤1：定义轮廓像素L_out和L_in，用于表征前景轮廓曲线，我们称在前景轮廓曲线之内，但不在L_in中的像素为内部像素；称在前景轮廓曲线之外，但不在L_out中的像素为外部像素。Φ(x)函数如下定义：

图2(a)显示了轮廓曲线从t时刻演变到t+1时刻，Φ(x)函数的变化过程。其中：3和-3分别代表外部像素和内部像素，-1和1分别代表L_in和L_out，0代表模糊像素。图2(b)显示了水平集核函数Φ(x)在t时刻的三维显示。我们允许0在L_out和L_in之间存在，防止L_out和L_in中的像素在颜色和纹理信息上过于相近。这些像素被称为模糊像素。

步骤2：在前景轮廓演变的第一阶段，依据Mumford-Shah方程和其上定义的水平集方程，定义能量函数如下：

其中E_d代表当前场景的数据依赖项，E_s代表曲线平滑项，与曲线的长度成正比，μ,λ₁和λ₂代表权重系数，f(x)为x坐标处的特征向量，H为Heaviside分布，Ω_m为第m个前景区域，Ω_b为Ω_m区域周围宽度为ω_NB的窄带背景区域，Ω_b定义为：

${\mathrm{\Ω}}_b=\{x\∈\stackrel{\‾}{{\mathrm{\Ω}}_m}|{\min }_{y\∈{\mathrm{\Ω}}_m}\left|\right|x-y\left|\right|\≤{\mathrm{\ω}}_{\mathrm{NB}}\}---\left(3\right)$

根据数据依赖项，区域竞争项可定义为：

$F_d=\log \frac{p\left(f\left(x\right)\right|{\mathrm{\Ω}}_m)}{p\left(f\left(x\right)\right|{\mathrm{\Ω}}_b)}---\left(4\right)$

s.t.f(x)＝w₁·f_C(x)+w₂·f_T(x)

其中：f(x)为像素x坐标处的特征值，f_C(x)为像素x坐标处的颜色特征，f_T(x)为像素x坐标处的纹理特征，Ω_m代表前景区域，Ω_b代表背景区域，ω₁和ω₂为权重系数；

f_C(x)可通过CIE-LAB颜色空间的K均值聚类计算，也可通过超像素进行计算。本发明中使用了超像素，如图3(c)所示。图3(a)显示了图像分割为不同尺寸的超像素：32像素、64像素、256像素等。实际计算中选取了64像素尺寸的超像素，生成前景和窄带背景区域的颜色特征池：Color_fg和Color_bg。初始化的轮廓曲线根据输入笔画，从前背景显著图予以提取，其中显著图由超像素直方图的Bhattacharyya距离予以衡量，如图3(b)所示。

颜色概率的计算如式(5)所示。距离阈值R1被添加，用于保证超像素的选取在当前像素坐标x的邻近区域。

$p\left(f_C\left(x\right)\right|{\mathrm{\Ω}}_m)=\underset{{\mathrm{SP}}_{\mathrm{fg}}\left\{i\right\}\∈{\mathrm{Color}}_{\mathrm{fg}}}{\sup }\{p\left(f_C\left(x\right)\right|{\mathrm{SP}}_{\mathrm{fg}}\left\{i\right\}\},p\left(f_C\left(x\right)\right|{\mathrm{\Ω}}_b)=\underset{{\mathrm{SP}}_{\mathrm{bg}}\left\{i\right\}\∈{\mathrm{Color}}_{\mathrm{bg}}}{\sup }\{p\left(f_C\left(x\right)\right|{\mathrm{SP}}_{\mathrm{bg}}\left\{i\right\}\}---\left(5\right)$

邻近轮廓边界的超像素直方图的K均值聚类被用于生成纹理特征池Texture_fg和Texture_bg。纹理概率的计算如式(6)所示：

$p\left(f_T\left(x\right)\right|{\mathrm{\Ω}}_m)=\underset{M_{\mathrm{fg}}\left\{i\right\}\∈{\mathrm{Texture}}_{\mathrm{fg}}}{\sup }\exp \left(r(f_T\left(x\right),M_{\mathrm{fg}}\{i\left\}\right)\right),p\left(f_T\left(x\right)\right|{\mathrm{\Ω}}_b)=\underset{M_{\mathrm{bg}}\left\{i\right\}\∈{\mathrm{Texture}}_{\mathrm{bg}}}{\sup }\exp \left(r(f_T\left(x\right),M_{\mathrm{bg}}\{i\left\}\right)\right)---\left(6\right)$

其中：f_T(x)为像素x坐标处的N_T×N_T图像块的纹理直方图，M_fg{i}为前景纹理特征池Texture_fg中第i个聚类中心，M_bg{i}为背景纹理特征池Texture_bg中第i个聚类中心，r(f_T(x),M_fg{i})代表f_T(x)与M_fg{i}的互相关系数，r(f_T(x),M_bg{i})代表f_T(x)与M_bg{i}的互相关系数。其中互相关系数由(7)定义：

$r_{M\left\{i\right\}}=\frac{N\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_T\left(x\right)\left[j\right]\·M\left\{i\right\}\left[j\right]-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_T\left(x\right)\left[j\right]\·\underset{j=1}{\overset{N}{\mathrm{\Σ}}}M\left\{i\right\}\left[j\right]}{\sqrt{\left(N\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f_T}^2\left(x\right)\right[j\left]\right)-}{\left(\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_T\left(x\right)\right[j\left]\right)}^2)\·\left(N\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{M}^2\right\{i\left\}\right[j\left]\right)-{\left(\underset{j=1}{\overset{N}{\mathrm{\Σ}}}M\right\{i\left\}\right[j\left]\right)}^2)}---\left(7\right)$

步骤3：在快速双循环水平集方法中，轮廓曲线的演变方向由区域竞争项的符号决定，而不需要求解任何偏微分方程。基于区域竞争项，定义switchIn()和switchOut()函数。switchIn()被激发，当L_out中的像素具有更大的概率属于前景而非背景，将其从L_out中删除，添加到L_in，最近邻的外部像素被添加到L_out。switchOut()函数也有相似的激发过程。

循环结束条件为以下任之一：

a、满足F_d(x)≤0，并且满足F_d(x)≥0；

b、预先设定的最大循环次数被达到。

我们整理、简化并改进了双循环水平集过程，包括以下步骤：

1)对L_out和L_in中的每一像素，计算其速度值F_d；

2)对于任一x∈L_out(x∈L_in)，我们根据F_d(x)的符号进行switchIn(x)(switchOut(x))，Φ(x)也被更新。如果x∈L_in(x∈L_out)满足其所有邻域像素在Φ函数中为负(正)，将其从L_in(L_out)中删除；

3)检查循环停止条件，如满足，进行步骤4)；如不满足，回到1)；

4)对x∈L_out和x∈L_in的所有像素，使用各向异性的N_G×N_G的高斯滤波模板，进行曲线平滑；

5)检查循环停止条件，如不满足，回到4)。

步骤4：由于室外环境的复杂性，基于窄带背景超像素的水平集方法的跟踪结果有待于进一步精准化。进一步的优化应用了极大似然后验概率模型，其中使用了贝叶斯理论，并且假设图像像素之间具有条件独立性，如式(8)所示：

$\begin{array}{c}{\mathrm{\Ω}}_m^{t*}=\underset{{\mathrm{\Ω}}_m^t}{\arg \max }p\left({\mathrm{\Ω}}_m^t\right|I_{t-1},I_t,{\mathrm{\Ω}}_m^{t-1})\\ =\underset{{\mathrm{\Ω}}_m^t}{\arg \max }\underset{x\∈D}{\mathrm{\Π}}p\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)p\left({\mathrm{\Ω}}_m^t\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1})\end{array}---\left(8\right)$

其中和分别为I_t和I_t-1的第m个前景区域，D为图像域。

概率为在时空坐标(x,t)观测某一特定颜色的似然模型，先验概率对目标形状的有用先验知识予以建模。根据x所处的不同坐标位置，可将似然模型分为三部分。由极大似然后验概率模型，可推导出新的能量函数：

由于上一步已得到较为粗略的轮廓曲线，可认为先验概率和较远背景的似然模型为忽略不计，或者已得到优化。新的区域竞争项可定义为

$F_d=\log \frac{p_{\mathrm{FG}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)}{p_{\mathrm{NB}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)}---\left(10\right)$

由前景似然模型和窄带背景似然模型的比值的指数形式，表征新的区域竞争项。

从I_t时刻到I_t-1时刻的非刚性转换可由速度场v和附加的高斯白噪声b组成：

I_t(x+v(x))＝I_t-1(x)+b(x) (11)

$\begin{array}{ccc}s.t.& b~N(0:{\mathrm{\σ}}_b^2),& v~N(V_O\left(x\right);{\mathrm{\σ}}_v^2)\end{array}$

其中v_O(x)是从I_t时刻到I_t-1时刻的光流图，在x坐标处的值。

似然模型的表达式可如(12)所示：

$\begin{array}{c}{p}_{\mathrm{FG}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)\≈\underset{y\∈{\mathrm{\Ω}}_m^{t-1}}{\sup }\{\exp (-{\left|\right|I_t\left(x\right)-I_{t-1}\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_b^2\right)}^{-1})\\ \·\exp (-{\left|\right|(x-y)-v\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_v^2\right)}^{-1})\}\end{array}---\left(12\right)$

$\begin{array}{c}{p}_{\mathrm{NB}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)\≈\underset{y\∈{\mathrm{\Ω}}_m^{t-1}}{\sup }\{\exp (-{\left|\right|I_t\left(x\right)-I_{t-1}\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_b^2\right)}^{-1})\\ \·\exp (-{\left|\right|(x-y)-v\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_v^2\right)}^{-1})\}\end{array}$

本发明的有益效果是：

相比于已有的运动背景下的前景检测水平集方法，以及原始的快速双循环水平集方法，本算法跟踪准确率高，对环境噪声鲁棒，跟踪速度快，方法简单有效。

本算法在惠普工作站上基于MATLAB R14实现，工作债拥有2.0GHZ AMD处理器及4.0G内存。实验数据选取了四个不同的图像序列：“轿车”(512x512x100)，“卡车”(512x512x100)，“双轿车”(512x512x50)和“交通标志”(256x256x60)。由于本算法仅由区域竞争项的符号决定曲线上各点的演变方向，其时间复杂度与Shi等人的快速水平集算法相差无几，延续了其快速性。

图4所示为基于窄带背景超像素的快速双循环水平集算法的轮廓跟踪结果,可看到提出的算法能较好拟合前景轮廓的变化，即使前景分解为多个部分，也能得到较好结果。

表1所示将本发明的算法与Shi等人，以及Mansouri等人的水平集算法予以比较。比较的源数据为卡车和轿车序列，比较的基准轮廓曲线来自于手动标注。定量评估的标准为查准率、召回率和F度量。比较的结果说明了本发明算法的可靠性和鲁棒性。

表1.跟踪结果的定量评估

Claims (1)

1.一种窄带背景探测的快速双循环水平集方法，其特征在于：包括如下步骤：

步骤1：初始的轮廓像素L_out和L_in根据用户的输入笔画，由前景的超像素显著图予以提取,其中前景的超像素显著图由超像素直方图的巴氏距离予以衡量，生成初始的轮廓曲线，定义水平集核函数Φ(x)，Φ(x)定义如下：

其中模糊像素表示该像素处的颜色和纹理特征，与其临近的前景和背景区域都比较相近，难以区分；

步骤2：在前景轮廓演变的第一阶段，依据Mumford-Shah方程和其上定义的水平集方程，定义能量函数如下：

其中E_d代表当前场景的数据依赖项，E_s代表曲线平滑项，与曲线的长度成正比，μ，λ₁和λ₂代表权重系数，f(x)为x坐标处的特征向量，H为Heaviside分布，Ω_m为第m个前景区域，Ω_b为Ω_m区域周围宽度为ω_NB的窄带背景区域，Ω_b定义为：

${\mathrm{\Ω}}_b=\{x\∈\stackrel{\‾}{{\mathrm{\Ω}}_m}|{\min }_{y\∈{\mathrm{\Ω}}_m}\left|\right|x-y\left|\right|\≤{\mathrm{\ω}}_{\mathrm{NB}}\}---\left(3\right)$

轮廓曲线上各点的区域竞争项F_d是基于颜色概率和纹理概率的加权计算所得：

$F_d=\log \frac{p\left(f\left(x\right)\right|{\mathrm{\Ω}}_m)}{p\left(f\left(x\right)\right|{\mathrm{\Ω}}_b)}---\left(4\right)$

s.t.f(x)＝ω₁·f_C(x)+ω₂·f_T(x)

其中：f(x)为像素x坐标处的特征值，f_C(x)为像素x坐标处的颜色特征，f_T(x)为像素x坐标处的纹理特征，Ω_m代表前景区域，Ω_b代表背景区域，ω₁和ω₂为权重系数；

像素x坐标处的颜色概率计算如下：

$p\left(f_C\left(x\right)\right|{\mathrm{\Ω}}_m)=\underset{{\mathrm{SP}}_{\mathrm{fg}}\left\{i\right\}\∈{\mathrm{Color}}_{\mathrm{fg}}}{\sup }\{p\left(f_C\left(x\right)\right|{\mathrm{SP}}_{\mathrm{fg}}\left\{i\right\}\},p\left(f_C\left(x\right)\right|{\mathrm{\Ω}}_b)=\underset{{\mathrm{SP}}_{\mathrm{bg}}\left\{i\right\}\∈{\mathrm{Color}}_{\mathrm{bg}}}{\sup }\{p\left(f_C\left(x\right)\right|{\mathrm{SP}}_{\mathrm{bg}}\left\{i\right\}\}---\left(5\right)$

其中SP_fg{i}为前景区域内第i个超像素颜色分布，SP_bg{i}为窄带背景区域内第i个超像素颜色分布,color_fg和color_bg分别代表前景和窄带背景区域的基于超像素的颜色特征池；

像素x坐标处前景区域和背景区域的纹理概率计算分别如下：

$p\left(f_T\left(x\right)\right|{\mathrm{\Ω}}_m)=\underset{M_{\mathrm{fg}}\left\{i\right\}\∈{\mathrm{Texture}}_{\mathrm{fg}}}{\sup }\exp \left(r(f_T\left(x\right),M_{\mathrm{fg}}\{i\left\}\right)\right),---\left(6\right)$

$p\left(f_T\left(x\right)\right|{\mathrm{\Ω}}_b)=\underset{M_{\mathrm{bg}}\left\{i\right\}\∈{\mathrm{Texture}}_{\mathrm{bg}}}{\sup }\exp \left(r(f_T\left(x\right),M_{\mathrm{bg}}\{i\left\}\right)\right)$

其中：f_T(x)为像素x坐标处的N_T×N_T图像块的纹理直方图，M_fg{i}为前景纹理特征池Texture_fg中第i个聚类中心，M_bg{i}为背景纹理特征池Texture_bg中第i个聚类中心，r(f_T(x),M_fg{i})代表f_T(x)与M_fg{i}的互相关系数，r(f_T(x),M_bg{i})代表f_T(x)与M_bg{i}的互相关系数；

步骤3：由轮廓曲线上各点区域竞争项的符号驱动水平集双循环过程，将上一帧的双链环轮廓像素传播到下一帧，并更新水平集核函数、前景超像素特征池和窄带背景超像素特征池；

步骤4：在前景轮廓演变的第二阶段即精准化阶段，基于极大似然后验概率的前景似然模型及窄带背景似然模型，定义新的区域竞争项，并提出轮廓曲线精细化算法，具体步骤包括：

1)极大似然后验概率表达式如下：

$\begin{array}{c}{\mathrm{\Ω}}_m^{t*}=\underset{{\mathrm{\Ω}}_m^t}{\arg \max }p\left({\mathrm{\Ω}}_m^t\right|I_{t-1},I_t,{\mathrm{\Ω}}_m^{t-1})\\ =\underset{{\mathrm{\Ω}}_m^t}{\arg \max }\underset{x\∈D}{\mathrm{\Π}}p\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)p\left({\mathrm{\Ω}}_m^t\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1})\end{array}---\left(8\right)$

其中：和分别为I_t和I_t-1的第m个前景区域，*代表待求区域，D为图像域；

2)由极大似然后验概率表达式，推导出能量函数：

3)基于极大似然后验概率的表达式，新的区域竞争项定义如下：

$F_d=\log \frac{p_{\mathrm{FG}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)}{p_{\mathrm{NB}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)}---\left(10\right)$

认为从I_t时刻到I_t-1时刻的非刚性转换可由速度场v和附加的高斯白噪声b组成：

I_t(x+v(x))＝I_t-1(x)+b(x) (11)

其中：b是均值为0，方差为的高斯分布，v是均值为v_O(x)，方差为的高斯分布，v_O(x)是从I_t时刻到I_t-1时刻的光流图，在x坐标处的值；

那么：

$\begin{array}{c}{p}_{\mathrm{FG}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)\≈\underset{y\∈{\mathrm{\Ω}}_m^{t-1}}{\sup }\{\exp (-{\left|\right|I_t\left(x\right)-I_{t-1}\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_b^2\right)}^{-1})\\ \·\exp (-{\left|\right|(x-y)-v\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_v^2\right)}^{-1})\}\end{array}---\left(12\right)$

$\begin{array}{c}{p}_{\mathrm{NB}}\left(I_t\left(x\right)\right|I_{t-1},{\mathrm{\Ω}}_m^{t-1},{\mathrm{\Ω}}_m^t)\≈\underset{y\∈{\mathrm{\Ω}}_m^{t-1}}{\sup }\{\exp (-{\left|\right|I_t\left(x\right)-I_{t-1}\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_b^2\right)}^{-1})\\ \·\exp (-{\left|\right|(x-y)-v\left(y\right)\left|\right|}^2{\left({2\mathrm{\σ}}_v^2\right)}^{-1})\}\end{array}$

4)由轮廓曲线上各点区域竞争项的符号驱动水平集双循环过程，将上一帧的双链环轮廓像素传播到下一帧，并更新水平集核函数、前景超像素特征池和窄带背景超像素特征池。