CN102938153B - 基于约束谱聚类和马尔科夫随机场的视频图像分割方法 - Google Patents

Abstract

本发明涉及计算机视觉、图像处理及模式识别等技术领域，具体涉及一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法。本发明利用图像静态特征计算像素间的相似度矩阵，将运动特征作为约束加入谱聚类框架中，相比传统的简单加权的方法，本发明的处理方法更好的利用了这两种不同可靠度的信息；此外，由于将运动信息编码作为约束，只需要稀疏的点运动轨迹，因此可以利用可靠的长时运动信息，得到准确稠密的分割结果；进一步的，本发明通过构建一个马尔科夫随机场模型，将像素的空间平滑信息编码成相应的约束，使视频图像分割效果更加精准。

Description

基于约束谱聚类和马尔科夫随机场的视频图像分割方法

技术领域

本发明涉及计算机视觉、图像处理及模式识别等技术领域，具体涉及一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法。

背景技术

视频分割是指将视频序列按其特征划分成一些互不重叠的时空区域的一种技术。视频分割是计算机视觉的一种关键技术，是视频监控、人机交互以及视频编辑等多种应用的基础。

视频分割的基础是静止图像分割。大部分静止图像分割技术都以自底向上的方式进行，它们通过检测边界或者依据色彩、纹理等特征对像素聚类，从而达到分割的目的。但是由于图像底层特征和物体模型之间的巨大语义鸿沟，对静止图像进行分割很难得到用户希望的结果。

相比于静止图像，视频由于包含了运动信息，其能在很大程度上消除底层特征和物体模型之间的语义鸿沟，因此视频分割往往能得到更为准确的结果。进行视频分割的关键是如何利用运动信息。早期的研究大多假设背景是静止的，从而可以利用像素颜色随时间的变化来检测运动前景目标；稍后的研究尝试将帧间光流（即图像像素的运动矢量场）作为特征对图像像素进行聚类，其不需要静止背景的假设，但缺点是只能利用相连两帧间的运动信息；从上个世纪90年代末期开始，研究者们考虑从视频中提取长时特征点轨迹，并通过运动分析对其进行聚类，相比光流法，其能利用更为丰富的运动信息，但其缺点是特征点往往过于稀疏，从而无法得到完整的分割结果，此外，其对颜色纹理等静态信息没有加以利用。

在已有的基于帧间光流或长时特征点轨迹的视频分割方法中，谱聚类方法由于能在任意形状样本空间上聚类并能得到近似的全局最优解，是目前应用最广的一类像素（或特征点）聚类算法。谱聚类建立在谱图理论基础上，其原理是将图像中每个像素当作图的顶点，再计算像素点间的相似度，并将其作为图的顶点间边的权重，从而将图像分割问题转化为图的划分问题。

传统的基于谱聚类进行视频分割的相关方法往往只利用运动信息或对运动信息和静态信息进行简单加权用于分割，不能对视频图像的静态特征（如颜色和纹理等）和运动特征两种不同可靠度的信息加以很好的利用，得不到准确的稠密的分割结果。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法，对于视频图像的静态特征（如颜色和纹理等）和运动特征采用不同处理方法，以得到准确稠密的分割结果；进一步的，本发明对图像的空间平滑信息加以利用，以得到更为精准的分割效果。

（二）技术方案

本发明技术方案如下：

一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法，包括步骤：

S1.利用光流法从视频图像中提取部分像素点的点的长时运动轨迹，根据所述点轨迹信息构建运动约束；

S2.构建像素相似度矩阵；

S3.结合所述运动约束以及像素相似度矩阵，构建谱聚类分割模型并求解得到初步分割结果；

S4.构建空间平滑约束；

S5.结合所述初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果。

优选的，所述步骤S 1包括步骤：

S101.从视频图像中采样部分像素点并提取这些点的轨迹：记这些像素点组成的集合为C^P，记第i个点在第t帧图像中坐标为,计算 ${v_i^t}_1=x_i^{t+n}-x_i^t,$ ${v_i^t}_2=y_i^{t+n}-y_i^t(n\≥1),$ 故第i个点在第t到t+n帧的轨迹为 $v_i^t=(v_{i1}^t,v_{i2}^t);$

S102.将所述C^P利用聚类方法分为p类，从每类中任意选取q个点构成集合

S103.所述集合C^P中的像素点i和所述集合中像素点j的运动轨迹相似度如下：

其构成的运动轨迹相似度矩阵记为Q；

其中σ_i为C^P中第i个点的运动轨迹v_i和C^P中所有其他点的运动轨迹v_k的最大运动距离的标准差；σ_j为中第j个点的运动轨迹v_j和中所有其他点的运动轨迹v_l最大运动距离的标准差。

优选的，所述n=5；所述步骤S102中使用的聚类方法为K均值聚类法。

优选的，所述步骤S2包括步骤：

S201.分别计算视频图像中任意两个像素点第i个像素和第j个像素的相似度W_ij，其构成的图像像素相似度矩阵记为W。

优选的，所述步骤S2在步骤S201之后还包括步骤：

S202.求取所述图像像素相似度矩阵W的拉普拉斯矩阵，记为L_sym；

S203.求取所述L_sym的各个特征值λ_i和其对应的特征向量u_i，其中0=λ₁≤λ₂≤…≤λ_N。

优选的，所述步骤S202具体为：

计算D=diag(d₁,d₂,......,d_N)，L=D-W；

图像像素相似度矩阵W的拉普拉斯矩阵

优选的，所述步骤S3包括步骤：

S301.定义其中K＝31，α∈（-∞，λ₂）；

S302.对所得的X如下处理：

对第j列（j＝1，2，...，N），计算 $\mathrm{norm}\_X_j=\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_{\mathrm{ij}}^2},$ $\mathrm{norm}\_Q_j=\sqrt[4]{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Q}_{\mathrm{ij}}^2};$

计算i=1，2，…，N；其构成矩阵X^*；

S303.求解初步分割结果

所述X^*的第i列为记所述X^*的第i列和第j列的相似度 $A_{\mathrm{ij}}=(1+\frac{x_i^{*T}{x}_j^{*}}{\left|\right|x_i^{*}\left|\right|\left|\right|x_j^{*}\left|\right|})/2,$ 其构成矩阵A；

所述矩阵A的拉普拉斯矩阵其中L′＝G-A，G=diag(g₁,g₂,…g_N)，

计算所述L′_sym的各个特征值λ′_i和其对应的特征向量u′_i，其中0=λ′₁≤λ′₂≤…≤λ′_N；初步分割结果

优选的，所述步骤S4包括步骤：

S401.构建第一惩罚项η=2；其中表示矩阵第i列所有元素；

S402.构建第二惩罚项 $d_k\left(i\right)=\underset{k}{\max }\left({\tilde{X}}_{i,:}^{*}\right)-{\tilde{X}}_{\mathrm{ik}}^{*};$

构建第二惩罚项控制系数：

第i个像素点距离C^p中最近的点的距离记为DT_i；

第二惩罚项控制系数 ${\mathrm{WM}}_i=\exp (-\frac{{\mathrm{DT}}_i^2}{2{\stackrel{\‾}{\mathrm{DT}}}^2}),$ 其中 $\stackrel{\‾}{\mathrm{DT}}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{DT}}_i}{N};$

S403.构建第三惩罚项

其中 表示第k类点在t时刻的n帧累积运动轨迹的平均值，表示所述和所有点轨迹的最大运动距离的标准差；

优选的，所述步骤S5包括步骤：

S501.构建最终的分割目标函数：

其中π_i∈{1,2，…,c}，c为图像中前景和背景的类别数；N(i)表示第i个像素点附近4邻域内的像素点的集合， $\mathrm{\δ}(j,{\mathrm{\π}}_i)=\left\{\begin{array}{cc}1& ,j={\mathrm{\π}}_i\\ 0& ,j\≠{\mathrm{\π}}_i\end{array},\right.$ $\mathrm{\γ}=\frac{{10}^{-1}}{N^2\sqrt{N}},\mathrm{\μ}=10000;$

S502.求解π_i，得到最终分割结果。

优选的，所述步骤S502中通过快速原-对偶方法求解π_i的值。

（三）有益效果

本发明通过利用图像静态特征计算像素间的相似度矩阵，将运动特征作为约束加入谱聚类框架中，相比传统的简单加权的方法，本发明的处理方法更好的利用了这两种不同可靠度的信息；此外，由于将运动信息编码作为约束，只需要稀疏的点运动轨迹，因此可以利用可靠长时运动信息，得到准确稠密的分割结果；进一步的，本发明通过构建一个马尔科夫随机场模型，将像素的空间平滑信息编码成相应的约束，使视频图像分割效果更加精准。

附图说明

图1是本发明的一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法的流程图。

具体实施方式

下面结合附图和实施例，对发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。

本发明的目的是解决精确分割视频图像的问题，其核心思想是将运动信息作为约束加入谱聚类分割框架，并结合空间平滑约束构建马尔科夫随机场模型，精确分割出视频图像中的感兴趣目标。本实施例的一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法，其流程图如图1中所示，主要包括以下步骤：

S1.利用光流法从视频图像中提取部分像素点的长时运动轨迹，根据点轨迹信息构建运动约束；用能处理大位移的光流法可以获得一帧图像上部分像素点的运动轨迹，这些信息对精确的分割非常有用；将点轨迹信息转换为分割模型的先验信息及其运动约束，以便在后续的工作中将这些信息加入分割模型，指导后续的分割工作。

S2.构建像素相似度矩阵。

S3.结合运动约束以及像素相似度矩阵，构建谱聚类分割模型并求解得到初步分割结果；该初步分割结果可能会在图像的色彩平滑区域产生误分割，为得到更好的分割结果，需要加入空间平滑约束。

S4.构建空间平滑约束。

S5.结合初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果。

其中，步骤S 1包括步骤：

S101.从视频图像中采样部分像素点并利用光流法提取这些点的轨迹：记这些像素点组成的集合为C^P，记第i个点在第t帧图像中坐标为计算 ${v_i^x}_1=x_i^{t+n}-x_i^t,$ ${v_i^t}_2=y_i^{t+n}-y_i^t(n\≥1),$ 故第i个点在第t到t+n帧的轨迹为S102.为减小计算量，从而提高计算效率，利用聚类方法（如K均值聚类法等）将C^p分为p类，从每类中任意选取q个点构成集合本实施例中取p=20，q=5；

S103.集合C^P中的像素点i和集合中像素点j的运动轨迹相似度如下：

其构成的运动轨迹相似度矩阵记为Q；

σ_i为C^P中第i个点的运动轨迹v_i和所有其他点的运动轨迹v_k最大运动距离的标准差；σ_j为中第j个点的运动矢量v_j和中所有其他点的运动轨迹v_l最大运动距离的标准差；

Q矩阵可以作为分割的先验信息，Q_ij表示集合C^P中的像素点i和集合中像素点j的相似程度；显然像素点i与像素点j的运动轨迹越相近，则Q_ij越大，而它们属于同一个分割区域的概率也越大。

其中，步骤S2包括步骤：

S201.分别计算视频图像中任意两个像素点第i个像素和第j个像素的相似度W_ij，其构成的图像像素相似度矩阵记为W。

进一步的，步骤S2在步骤S201之后还包括步骤：

S202.求取图像像素相似度矩阵W的拉普拉斯矩阵，记为L_sym；

S203.求取L_sym的各个特征值λ_i和其对应的特征向量u_i，其中0=λ₁≤λ₂≤…≤λ_N。

进一步的，步骤S202具体为：

计算D=diag(d₁,d₂,…d_N)，L=D-W；

图像像素相似度矩阵W的拉普拉斯矩阵

虽然光流法能输出较为稠密的点光流，但是这些点仍然只占图像中像素点的很少的一部分；一个较大的问题是如何从这一部分点的信息中得到所有点的分类结果；如果直接利用得到的Q矩阵作为谱聚类图像分割算法中的相似度矩阵进行分割，由于光流的不确定性，加上噪声的影响，分割效果欠佳；为将先验Q加入分割模型，记Q的第j列为q_j，表示每个像素点和中第j个像素点的相似度，将q_j加入谱聚类分割算法可以将所有像素点分为两类：和中第j个像素点相近的像素点和不相近的像素点，分割模型如下：

$\underset{x}{\min }\left(x^T{L}_{\mathrm{sym}}x\right)$

$\begin{array}{cc}s.t.& \left|\right|x\left|\right|=1,x^T{D}^{\frac{1}{2}}1=0,x^T{q}_j\≥\mathrm{\κ},\end{array}$

其中x为待求解的每个点的类别，L_sym为像素相似度矩阵的拉普拉斯矩阵；x^Tq_j≥κ为利用点光流先验信息q_j得到的约束，即保证分割结果和点光流信息一致性较好，其中1>κ>0为一个阈值。

利用Q的每一列都可以得到对应的和上述相似的分割模型。将所有模型和变量统一起来可以得到以下的带约束的谱分割模型：

$\begin{array}{cc}\underset{X}{\min }& \mathrm{tr}\left(X^T{L}_{\mathrm{sym}}X\right)\end{array}$

$\begin{array}{cc}s.t.& \mathrm{diag}\left(X^{T}X\right)=\mathrm{diag}\left(M\right),X^T{D}^{\frac{1}{2}}1=0\end{array}$

diag(X^TQ)≥κdiag(M)

其中M(j,j)=|q_j|。由于分割模型中L_sym中包含了图像像素点空间上的信息，而先验Q又引入了时间信息，所以这是一种结合了空间和时间信息的分割模型。

可以证明上述模型存在闭式的最优解其中参数α∈（-∞，λ₂），B是一个使得diag(X^TX)=diag(M)成立的对角阵，符号表示求矩阵的伪逆矩阵。在实际运算中，步骤S3包括步骤：

S301.定义其中K＝31，α∈（-∞，λ₂）；

例如可以取α=-5λ_K；

S302.对所得的X如下处理：

对第j列（j＝1，2，…N），计算 $\mathrm{norm}\_X_j=\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_{\mathrm{ij}}^2},$ $\mathrm{norm}\_Q_j=\sqrt[4]{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Q}_{\mathrm{ij}}^2};$

计算i=1，2，…N；其构成矩阵X^*；

S303.求解初步分割结果

由于上述求得的X^*有100列，分别表示了每个元素和中100个点的相似度，而最终的目标是将所有元素分为c类，所以需要对X^*进行聚类，这一步骤可以用谱聚类来实现：X^*的第i列为记X^*的第i列和第j列的相似度其构成矩阵A；

矩阵A的拉普拉斯矩阵其中L′＝G-A，G=diag(g₁,g₂,…g_N)，

计算L′_sym的各个特征值λ′_i和其对应的特征向量u′_i，其中0=λ′₁≤λ′₂≤…≤λ′_N；初步分割结果

其中，步骤S4包括步骤：

S401.构建第一惩罚项η=2；其中表示矩阵第i列所有元素；相邻像素i和像素j被分为不同类的惩罚项；

S402.构建第二惩罚项将第i个像素归入第k类的惩罚项；

然而由于初始时检测到光流的点较少，对于附近没有先验信息的点，有可能加的惩罚比较大；对于这类点，应该减小第二惩罚项的种惩罚以避免误分割，而让第一种惩罚项来指导分割，使得这些附近没有先验的像素点和周围的点的分割尽量一致；因此需要在第二惩罚项前面加一个控制系数；

构建第二惩罚项控制系数：

第i个像素点距离C^p中最近的点的距离记为DT_i；第二惩罚项控制系数 ${\mathrm{WM}}_i=\exp (-\frac{{\mathrm{DT}}_i^2}{2{\stackrel{\‾}{\mathrm{DT}}}^2}),$ 其中 $\stackrel{\‾}{\mathrm{DT}}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{DT}}_i}{N};$

如果第i个像素点距离C^p中最近的点的距离较大，则系数WM_i较小，从而加的惩罚也较小。

S403.构建第三惩罚项像素i的分类结果和光流输出信息不同的惩罚项；

对的每一行，取该行各列的最大值所在的列数作为该行所对应的像素点的标号，将中所有像素点分为c类，c为图像中前景和背景的类别数；

其中 表示第k类点在t时刻的n帧累积运动轨迹的平均值，表示和所有点轨迹的最大运动距离的标准差。

其中，步骤S5包括步骤：

S501.构建最终的分割目标函数：

其中π_i∈{1,2，…,c}，表示给第i个像素赋予的类别数；N(i)表示第i个像素点附近4邻域内的像素点的集合， $\mathrm{\δ}(j,{\mathrm{\π}}_i)=\left\{\begin{array}{cc}1,& j={\mathrm{\π}}_i\\ 0,& j\≠{\mathrm{\π}}_i\end{array}\right.,$ $\mathrm{\γ}=\frac{{10}^{-1}}{N^2\sqrt{N}},\mathrm{\μ}=10000;$

S502.所述步骤S501中构建最终的分割目标函数是一个马尔科夫随机场中的优化问题，用Primal-Dual方法即快速原-对偶方法或其他已知的方法可以求解，得到π_i的值即为图像的第i个像素所属的类别数，从而得到视频中该帧图像的最终分割结果；对一帧图像处理后，以相同的方法对视频的每一帧图像进行处理，从而完成对整个视频的图像分割。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (3)

1.一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法，其特征在于，包括步骤：

S1.利用光流法从视频图像中提取部分像素点的长时运动轨迹，根据所述轨迹信息构建运动约束，步骤S1包括：

S101.从视频图像中采样部分像素点，并利用光流法提取这些点的轨迹：记这些像素点组成的集合为C^P，记第i个点在第t帧图像中坐标为计算n≥1，故第i个点在第t到t+n帧的轨迹为 $v_i^t=(v_{i1}^t,v_{i2}^t);$

S102.将所述C^P利用聚类方法分为p类，从每类中任意选取q个点构成集合

S103.所述集合C^P中的像素点i和所述集合中像素点j的运动轨迹相似度如下：

其构成的运动轨迹相似度矩阵记为Q；

其中σ_i为C^P中第i个点的运动轨迹v_i和C^P中所有其他点的运动轨迹v_k的最大运动距离的标准差；σ_j为中第j个点的运动轨迹v_j和中所有其他点的运动轨迹v_l最大运动距离 $\underset{t}{\max }\sqrt{{(v_{j1}^t-v_{l1}^t)}^2+{(v_{j2}^t-v_{l2}^t)}^2}$ 的标准差；

S2.构建像素相似度矩阵，步骤S2包括：

S201.分别计算视频图像中任意两个像素点第i个像素和第j个像素的相似度W_ij，其构成的图像像素相似度矩阵记为W；

S202.求取所述图像像素相似度矩阵W的拉普拉斯矩阵，记为L_sym，具体为，计算D＝diag(d₁,d₂,......,d_N)，L＝D-W，图像像素相似度矩阵W的拉普拉斯矩阵

S203.求取所述L_sym的各个特征值λ_i和其对应的特征向量u_i，其中0＝λ₁≤λ₂≤…≤λ_N；

S3.结合所述运动约束以及像素相似度矩阵，构建谱聚类分割模型并求解得到初步分割结果，步骤S3包括：

S300.构建带约束的谱分割模型：

$\begin{array}{cc}\underset{X}{\min }& \mathrm{tr}\left(X^T{L}_{\mathrm{sym}}X\right)\end{array}$

$\begin{array}{cc}s.t.& \mathrm{diag}\left(X^{T}X\right)=\mathrm{diag}\left(M\right),X^T{D}^{\frac{1}{2}}1=0\end{array}$

diag(X^TQ)≥κdiag(M)

其中，记Q的第j列为q_j，M(j,j)＝|q_j|，κ为大于0小于1的阀值；

S301.定义其中K＝31，α∈(-∞，λ₂)；

S302.对所得的X作如下处理：

对第j列(j＝1，2，…，N)，计算 $\mathrm{norm}\_X_j=\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_{\mathrm{ij}}^2},\mathrm{norm}\_Q_j=\sqrt[4]{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Q}_{\mathrm{ij}}^2};$

计算i＝1，2，…，N；其构成矩阵X^*；

S303.求解初步分割结果

所述X^*的第i列为记所述X^*的第i列和第j列的相似度 $A_{\mathrm{ij}}=(1+\frac{x_i^{*T}{x}_j^{*}}{\left|\right|x_i^{*}\left|\right|\left|\right|x_j^{*}\left|\right|})/2,$ 其构成矩阵A；

所述矩阵A的拉普拉斯矩阵其中L′＝G-A，G＝diag(g₁,g₂,…g_N)，

计算所述L′_sym的各个特征值λ′_i和其对应的特征向量u′_i，其中0＝λ′₁≤λ′₂≤…≤λ′_N；初步分割结果

S4.构建空间平滑约束，步骤S4包括：

S401.构建第一惩罚项η＝2；其中表示矩阵第i列所有元素；

S402.构建第二惩罚项 $d_k\left(i\right)=\underset{k}{\max }\left({\tilde{X}}_{i,:}^{*}\right)-{\tilde{X}}_{\mathrm{ik}}^{*};$

构建第二惩罚项控制系数：

第i个像素点距离C^p中最近的点的距离记为DT_i；

第二惩罚项控制系数 ${\mathrm{WM}}_i=\exp (-\frac{{\mathrm{DT}}_i^2}{2{\stackrel{\‾}{\mathrm{DT}}}^2}),$ 其中 $\stackrel{\‾}{\mathrm{DT}}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{DT}}_i}{N};$

S403.构建第三惩罚项

其中 表示第k类点在t时刻的n帧累积运动轨迹的平均值，表示所述和所有点轨迹的最大运动距离的标准差；

S5.结合所述初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果，步骤S5包括：

S501.构建最终的分割目标函数：

其中π_i∈{1,2，…,c}，c为图像中前景和背景的类别数；N(i)表示第i个像素点附近4邻域内的像素点的集合， $\mathrm{\δ}(j,{\mathrm{\π}}_i)=\left\{\begin{array}{cc}1& ,j={\mathrm{\π}}_i\\ 0& ,j\≠{\mathrm{\π}}_i\end{array}\right.,$ $\mathrm{\γ}=\frac{{10}^{-1}}{N^2\sqrt{N}},$ μ＝10000；

S502.求解π_i，得到最终分割结果。

2.根据权利要求1所述的视频图像分割方法，其特征在于，所述n＝5；所述步骤S102中使用的聚类方法为K均值聚类法。

3.根据权利要求1所述的视频图像分割方法，其特征在于，所述步骤S502中通过快速原-对偶方法求解π_i的值。