CN105719316A - 一种基于交互式的立体图像分割方法 - Google Patents

Abstract

本发明提供了一种基于交互式的立体图像分割方法。原本的立体图像分割方法要求用户在左右视图中涂上一致性的前景和背景线条，这项工作非常繁琐。本方法把单个图像分割的方法扩展到了立体图像分割中，仅需要在左视图中涂前景和背景线条，就能获得一致性的立体图像分割结果。首先用户交互式的在左视图涂前景和背景线条，然后采样涂色线条、图像边界点以及提取左右视图特征匹配点，利用这些顶点和采样线段用限制性Delaunay三角网剖分方法对左视图构建三角形网格，然后构建能量最优化方程，求解右视图与左视图一致的网格，从而获得左右视图一致性的涂色线条；随后构建了特征向量用于搜索每个像素的最近邻域像素，最后构建非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。

Description

一种基于交互式的立体图像分割方法

技术领域

本发明涉及一种图像分割方法，尤其是一种基于交互式的立体图像分割方法。

背景技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。毋庸置疑，图像分割是数字图像处理中最重要的组成部分之一。图像分割技术主要应用于医学图像，机器视觉，目标检测等领域。因为图像分割问题本质上是一个欠约束的问题。因此大多数图像分割方法需要用户提供额外的信息，才能实现对图像分割的求解。根据提供信息的方式，目前主流的图像分割方法主要分为如下两种方式：(1)提供三分图trimap，即用户预先划分为三个区域，包括确定的前景、确定的背景及未知区域。trimap越精确，越有利于问题的精确求解，但用户的交互量也会随之增加。(2)用户使用少量的用户线条，即用户在确定的区域涂上前景线条和背景线条，这种方式一般仅需要用户涂少量的线条，就能获得很好的图像分割效果，而且便于用户的交互，因此最近几年较多的方式采用了这种方式。图像分割的目标是尽量减少用户的输入信息，同时能精确、快速的获得图像分割的区域；在用户提供额外信息的前提下，大部分的图像分割方法利用了局部邻域内像素的强关联性，对前景不透明的平滑改变进行了约束。参见JianbingShen，YunfanDu，andXuelongLi.InteractiveSegmentationUsingConstrainedLaplacianOptimization.IEEETransactionsonCircuitsandSystemsforVideoTechnology.2014，24(7)：1088-1100。但是这种方法仅仅考虑了局部邻域内像素的强关联性，用户提供额外的前景和背景信息并不能进行远距离的传播。因此最近几年较多学者开始研究非局部的邻域像素之间的关联性，由于像素之间的信息可以通过远距离的传播，因此相对于局部邻域内像素的强关联性方法，基于非局部的邻域像素之间的关联性的方法大大减少了用户输入的涂色线条。参见QifengChen，DingzeyuLiandChi-KeungTang.KNNMatting.IEEETransactionsonPatternAnalysisandMachineIntelligence.2013，35(9)：2175-2188。

随着立体图像和视频在最近几年变得越来越流行，立体图像和视频编辑的需求逐渐升温。而立体图像分割则是立体图像和视频编辑领域的一个富有挑战性的热点课题。立体图像分割相比于单个图像分割提出了更多的要求，立体图像分割的物体必须要保证左右视图的一致性。针对基于涂色线条的立体图像，如何输入左右视图一致性的涂色线条成为了一个难点。最简单直观的方法是用户在左视图中输入涂色线条后，利用立体图像视差图把涂色线条迁移至右视图。但是立体图像存在遮挡问题，且目前还没有一个方法能获得精确的立体图像视差值，因此使用这种方法进行涂色线条的迁移存在较大的误差，也就不能保证最终的立体图像分割的物体具有左右视图的一致性。Price等人把左右视图视为一个整体，用户可以左右视图中涂前景色和背景色，但是当左右视图中存在两个或两个以上颜色相似的物体，且我们仅需要分割其中一个物体时，则需要提供左右视图一致性涂色线条，否则会出现立体图像分割左右视图不一致的效果。参见BrianL.PriceandScottCohen.StereoCut：ConsistentInteractiveObjectSelectioninStereoImagePairs.ComputerVision(ICCV)，2011IEEEInternationalConferenceon.2011，pp.1148-1155。为了保持立体图像分割的一致性，用户需要在左右视图中分别涂前景和背景色，为了减少用户的交互，Tasli等人了提出了一种立体图像分割方法，用户仅需要在左视图中涂前景和背景线条，然后通过ORB(OrientedfastandrotatedBRIEF)特征检测进行涂色线条迁移，但是该方法的质量完全依赖于特征检测的效果，当涂色线条的位置特征点无法检测的时候，立体图像分割结果就会产生错误。参见H.EmrahTasliandA.AydinAlatan.Userassistedstereoimagesegmentation.3DTV-Conference：TheTrueVision-Capture，TransmissionandDisplayof3DVideo.2012，pp.1-4。

发明内容

本发明的目的：本发明提出了一种基于交互式的立体图像分割方法，该方法把图像分割技术应用到了立体图像分割中，用户仅仅需要在立体图像左视图中图涂前景和背景线条，该方法通过构建左右一致性网格自动把涂色线条一致性的迁移到右视图中，另外还设计了一个非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。具有很强的灵活性和广阔的适用性。该方法设计的非局部线性优化模型减少了用户的交互，而且一致性的线条迁移技术使用户不需要分别在左右视图中涂一致性的线条就能产生一致性的图像分割效果。

本发明提供一种基于交互式的立体图像分割方法，其包括以下步骤：1)输入待处理立体图像，将其作为输入图像，并通过交互式的方式在输入图像的左视图涂前景和背景线条，其中涂色前景和背景线条标记为S；

2)提取左视图中涂色前景和背景线条的中心线L，并进行均匀采样获得采样点(p_ij，|i＝1..n_c，j＝1..n_i)，其中n_i和n_c分别为中心线的采样点数和线条数，对输入图像的左视图沿着图像的边界进行均匀采样获得采样点B，对输入图像的左视图和右视图进行SIFT(Scale-invariantfeaturetransform)特征点匹配，获得匹配对其中n_F为匹配对数量；

3)采用限制性的Delaunay三角网剖分方法对左视图构建三角形网格，其中， $\left\{F_k^l\right|k=\mathrm{1..}{n}_F\}\∪\{P_{ij}|i=\mathrm{1..}{n}_c,j=\mathrm{1..}{n}_i\}\∪B$ 作为顶点限制项， $\{P_{i1}^l{P}_{i2}^l,P_{i2}^l{P}_{i2}^l,\mathrm{...}{P}_{{\mathrm{in}}_i-1}^l{P}_{{\mathrm{in}}_i}^l|i=\mathrm{1..}{n}_c\}$ 作为线段限制项，然后构建能量最优化方程，获得右视图与左视图一致性的网格；

4)左视图根据步骤2)中获得的采样点(P_ij，|i＝1..n_c，j＝1..n_i)重建含涂色线条左视图，右视图根据一致性网格中相应的网格顶点生成含涂色线条右视图；

5)分别对重建的含涂色线条左视图和含涂色线条右视图进行特征向量构建；

6)基于步骤5)中获得的特征向量，用KNN(K-NearestNeighborhood)分别求出立体图像左视图和右视图中每个像素最近的10个像素，作为对应像素的最近邻域像素

7)构建非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。

步骤3)中所述的能量最优化方程，其求解右视图与左视图一致性的网格方法如下：

让U^l为左视图中限制性的顶点，找到右视图网格中的顶点U^r，满足如下三项限制：

E＝ω_FE_F+ω_VE_V+ω_SE_S

式中

$E_F={\mathrm{\Σ}}_{k=1}^{n_F}{(v_i^r-F_k^r)}^2;$

$E_V={\mathrm{\Σ}}_{v_i^l\∈U^l}{(v_i^r\[y\]-v_i^l\[y\])}^2;$

$E_S={\mathrm{\Σ}}_{(v_i^l,v_j^l,v_k^l)\∈T^l}\left|\right|v_i^r-M_l(v_j^r,v_k^r)|{|}^2;$

参数ω_F，ω_V，ω_S为能量项E_F，E_V，E_S的系数，算法实现中ω_F＝10，ω_V＝10，ω_S＝1；

操作[y]为提取顶点的y坐标；表示通过顶点和顶点形成的顶点

T^l为左视图网格中三角形集合；

上面的能量公式为二次函数优化问题，通过求一阶偏导数为零，求

解得到右视图中网格顶点。

步骤6)中的特征向量为：F(i)＝(L_i，A_i，B_i，γx_i，γy_i)，式中(L_i，A_i，B_i)为图像Lab色彩空间中像素i的值，(x_i，y_i)为像素i的坐标值，γ限制了非局部邻域像素搜索的范围，算法实现中γ的取值范围为0.5-10。

步骤7)中所述非局部线性优化模型如下：

J(U)＝λ(U-G)^TD_S(U-G)+U^TL_nonlocalU

式中U为待求解的分割图像；

D_s为对角矩阵，在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0；

G对应为涂色线条的值，其中前景线条对应值为1，背景线条对应的值为0，

求解非局部线性优化模型获得如下稀疏线性系统：

U＝(L_nonlocal+λD_s)^-1λD_sG

式中：L_nonlocal+λD_s为稀疏矩阵求解，通过高斯-赛德尔迭代法求解；

最后，图像分割结果可以通过二值化U_i获得：

$Y=\left\{\begin{array}{cc}{x}_B& if{u}_i\≤\frac{x_B+x_F}{2}\\ x_F& otherwise\end{array}\right.$

算法实现中x_B为背景色设置为0，x_F为前景色设置1；

Y为最终的图像分割结果。

所述非局部拉普拉斯矩阵L_nonlocal构建如下：

L_nonlocal＝(I-W)^T(I-W)；

式中I为N×N的单位矩阵；

N为图像的宽度和高度的乘积；

W为相关度矩阵。

相关度矩阵中各像素与其最近邻域像素之间的值计算如下：

$\begin{array}{cc}w(i,j)=\exp \left(\frac{-{\left(F\right(i)-F(j\left)\right)}^2}{2{\mathrm{\σ}}_i^2}\right)/C& j\∈N_i\end{array}$

式中F(i)，F(j)表示像素i，j的特征向量；

σ_i设置为0.001；

C为各像素与其最近邻域像素之间相关值的求和；

N_i为像素i的最近邻域像素。

步骤2)中SIFT特征匹配分为三个步骤：

(a)检测特征点检测，根据一定的规则和限制条件，搜索图像中的特征点；

(b)描述算子形成，根据特征点特征，提取信息形成向量，便于相似度测量；

(c)特征向量匹配，根据相似度测量准则，完成匹配。

步骤3)中限制性的Delaunay三角网剖分方法可分为四个步骤：

(a)构造一个平面点集的标准Delaunay三角网；

(b)插入一条边(限制条件)，删除该边所影响(穿越)的Delaunay三角网的相关三角形，形成一个多边形；

(c)再保持改边为三角网中三角形的一条边的基础上三角剖分多边形；

(d)对多边形内部的三角形进行局部优化。

本发明所设计的基于交互式的立体图像分割方法的有益效果是：

1、本方法提出了一致性的线条迁移技术，通过构建左右一致性网格自动把涂色线条一致性的迁移到右视图中，改进了原来由立体图像视差图进行涂色线条迁移的方法，使用户不需要分别在左右视图中涂一致性的线条就能产生一致性的图像分割效果，大大的提高了立体图像分割的效果。

2、本方法设计了一个非局部线性优化模型，通过调节特征向量参数，实现了涂色线条信息传播全局与局部方法的结合，用户只需要涂少量的前景和背景线条，就能很好的实现图像分割的效果。

3、本方法只需要用户在立体图像左视图中进行涂写交互，操作上和单个图像分割方法一样，这为非专业人员提供了一种简单便捷的立体图像分割方法。

附图说明

图1是实施例1的流程示意图；

图2是本发明立体图像分割技术流程图；

图3是本发明基于网格一致性的线条迁移与采用视差图的线条迁移结果对比以及相应的立体图像分割效果对比；

图4是采用把立体图像左右视图作为一个整体的立体图像分割结果。

具体实施方式

下面结合附图对本发明实施例作进一步说明：

如图所示，下面结合附图对本发明一种基于交互式的立体图像分割方法通过实施例进行详细说明：本实施例在以本发明技术方案为前提下进行实施，结合了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。图1是实施例1的流程示意图，该方法可以概括为以下七个步骤。图2是本发明立体图像分割技术流程图，首先用户交互式的在左视图涂前景和背景线条，然后采样了涂色线条、图像边界点以及提取了左右视图特征匹配点，利用这些顶点和采样线段用受限的Delaunay三角网剖分方法对左视图构建三角形网格，然后构建能量最优化方程，求解右视图与左视图一致性的网格，从而获得左右视图一致性的涂色线条；随后构建了特征向量用于搜索每个像素的最近邻域像素，最后构建非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。

如图1所示，本实施例所描述的基于交互式的立体图像分割方法，包括以下七个步骤：

(1)输入待处理立体图像，用户交互式的在左视图涂前景和背景线条，涂色线条标记为S，用户可以在Photoshop软件上进行涂前景和背景线条；

(2)提取左视图中涂色前景和背景线条的中心线L，本方法采用matlab中的bwmorph提取涂色线条的中心线，然后进行均匀采样获得采样点(P_ij，|i＝1..n_c，j＝1..n_i)，其中n_i和n_c分别为线条L_i的采样点数和线条数，这样涂色线条可以重写为：

S_i＝(P_ij，|i＝1..n_c，j＝1..n_i，W_i，C_i)

式中：

P_ij为中心线L_i的采样点；

W_i和C_i分别为涂色线条S_i的线宽和颜色；

n_i为线条S_i的采样点个数；

n_c为涂色线条数。

对立体图像左视图沿着图像的边界进行均匀采样获得采样点B，对立体图像左视图和右视图进行SIFT(Scale-invariantfeaturetransform)特征点匹配，获得匹配对其中n_F为匹配对数量；

其中SIFT特征匹配分为三个步骤：

(a)检测特征点检测，根据一定的规则和限制条件，搜索图像中的特征点；

(b)描述算子形成，根据特征点特征，提取信息形成向量，便于相似度测量；

(c)特征向量匹配，根据相似度测量准则，完成匹配。

(3)采用限制性的Delaunay三角网剖分方法对左视图构建三角形网格，其中， $\left\{F_k^l\right|k=\mathrm{1..}{n}_F\}\∪\{P_{ij}|i=\mathrm{1..}{n}_c,j=\mathrm{1..}{n}_i\}\∪B$ 作为顶点限制项， $\{P_{i1}^l{P}_{i2}^l,P_{i2}^l{P}_{i3}^l,\mathrm{...}{P}_{{\mathrm{in}}_i-1}^l{P}_{{\mathrm{in}}_i}^l|i=\mathrm{1..}{n}_c\}$ 作为线段限制项。

限制性的Delaunay三角网剖分方法可分为四个步骤：

(a)构造一个平面点集的标准Delaunay三角网；

(b)插入一条边(限制条件)，删除该边所影响(穿越)的Delaunay三角网的相关三角形，形成一个多边形；

(c)再保持改边为三角网中三角形的一条边的基础上三角剖分多边形；

(d)对多边形内部的三角形进行局部优化。

构建能量最优化方程，求解右视图与左视图一致性的网格方法如下：

让U^l为左视图中限制性的顶点，我们的目标是找到右视图网格中的顶点U^r，满足如下三项限制的能量公式为：

E＝ω_FE_F+ω_VE_V+ω_SE_S

式中

$E_F={\mathrm{\Σ}}_{k=1}^{n_F}{(v_i^r-F_k^r)}^2;$

$E_V={\mathrm{\Σ}}_{v_i^l\∈U^l}{(v_i^r\[y\]-v_i^l\[y\])}^2;$

$E_S={\mathrm{\Σ}}_{(v_i^l,v_j^l,v_k^l)\∈T^l}\left|\right|v_i^r-M_l(v_j^r,v_k^r)|{|}^2;$

参数ω_F，ω_V，ω_S为能量项E_F，E_V，E_S的系数，算法实现中ω_F＝10，ω_V＝10，ω_S＝1；

操作[y]为提取顶点的y坐标；表示通过顶点和顶点形成的顶点

T^l为左视图网格中三角形集合；

能量公式中第一项E_F是特征一致性项，确保了右网格中的特征顶点和右视图中的SIFT特征点尽可能的接近；第二项E_V是水平对齐项，确保了右视图网格中每个顶点的y坐标和左视图中相应顶点的y坐标尽可能的接近；第三项E_S是三角形网格的弯曲度，确保了左右网格三角形尽可能少的形变。上面的能量公式为二次函数优化问题，可以通过求一阶偏导数为零，求解得到右视图中网格顶点。

(4)左视图根据涂色线条采样点重建含涂色线条左视图，右视图根据一致性网格中相应的网格顶点生成含涂色线条右视图。

因此用户仅仅需要在立体图像左视图中涂前景和背景线条，本方法通过构建左右一致性网格自动把涂色线条一致性的迁移到右视图中。图3是本发明基于网格一致性的线条迁移与采用视差图的线条迁移结果对比以及相应的立体图像分割效果对比。因为立体图像存在遮挡问题，且目前还没有一个方法能获得精确的立体图像视差值，所以利用立体图像视差图进行涂色线条的迁移存在较大的误差，也就不能保证最终的立体图像分割的物体具有左右视图的一致性。采用SGM视差值生成方法产生的涂色线条存在明显的跳跃和不连续，从而导致了错误的右视图图像分割结果。相比较采用本方法的线条迁移技术，能自动把涂色线条从左视图中一致性的迁移到右视图中，从而获得左右视图一致性的图像分割效果。

(5)构建特征向量，特征向量包括Lab色彩通道和像素的坐标位置；

特征向量为：

F(i)＝(L_i，A_i，B_i，γx_i，γy_i)

式中

(L_i，A_i，B_i)为图像Lab色彩空间中像素i的值；

(x_i，y_i)为像素i的坐标值；

γ限制了非局部邻域像素搜索的范围，算法实现中γ的取值范围为0.5-10。从特征向量中可以看出，γ的取值越小，非局部邻域像素的搜索范围就越大，因此涂色线条传播距离就越远。相反，γ的取值越大，非局部邻域像素的搜索范围就越小，因此涂色线条传播距离就越近。因此通过调节特征向量参数，实现了涂色线条信息传播全局与局部方法的结合。

(6)基于特征向量，用KNN(K-NearestNeighborhood)分别求出立体图像左视图和右视图中每个像素最近的非局部邻域10个像素，作为对应像素的最近邻域像素，因为每个像素的非局部邻域像素个数仅为10个，保证了相关度矩阵为稀疏矩阵；

KNN算法的思想是根据特征向量从图中的所有像素中找到距离最近的K个像素，KNN算法的实现可以采用VLFeat开源库实现。

(7)构建非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。

本方法设计了一个非局部线性模型，每个像素都可以用其最近邻域像素线性表示，本方法建立的能量最优化方程如下：

$J\left(U_i\right)=\mathrm{\λ}{(U_i-G_i)}^2+{(U_i-\underset{j\∈N_i}{\Σ}{w}_{ij}{U}_j)}^2$

式中：

U_i为待求解的分割图像；

G_i对应为涂色线条的值，其中前景线条对应值为1，背景线条对应的值为0；

N_i为像素i的最近邻域像素；

能量最优化方程可以用二维矩阵的形式来表示：

J(U)＝λ(U-G)^TD_S(U-G)+U^TL_nonlocalU

式中：

U为待求解的分割图像矩阵；

D_s为对角矩阵，在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0；

G对应为涂色线条值的矩阵，其中前景线条对应值为1，背景线条对应的值为0；

公式中第一项确保了待求解的分割图像和用户涂色线条的值尽可能的接近，第二项保证了像素和其邻域像素的相似性，使得已经涂色的像素通过非局部邻域像素进行传播，参数λ用来调整这两项的平衡，算法实现中λ设置为1；

非局部拉普拉斯矩阵L_nonlocal构建如下：

L_nonlocal＝(I-W)^T(I-W)

式中：

I为N×N的单位矩阵；

N为图像的宽度和高度的乘积；

W为相关度矩阵，相关度矩阵中各像素与其最近邻域像素之间的值计算如下：

$\begin{array}{cc}w(i,j)=\exp \left(\frac{-{\left(F\right(i)-F(j\left)\right)}^2}{2{\mathrm{\σ}}_i^2}\right)/C& j\∈N_i\end{array}$

式中：

F(i)，F(j)表示像素i，j的特征向量；

σ_i设置为0.001；

C为各像素与其最近邻域像素之间相关值的求和；

N_i为像素i的最近邻域像素；

从w(i，j)的计算中可以看出，只有当j为i的最近邻域像素时，w(i，j)的值为非零，而j不是i的最近邻域像素时，w(i，j)的值均为零，因此非局部拉普拉斯矩阵L_nonlocal矩阵为稀疏矩阵，求解最优化模型获得如下稀疏线性系统：

U＝(L_nonlocal+λD_s)^-1λD_sG

式中：L_nonlocal+λD_s为稀疏矩阵求解，本方法通过高斯-赛德尔迭代法求解；

最后，图像分割结果可以通过二值化U_i获得：

$Y=\left\{\begin{array}{cc}{x}_B& if{U}_i\≤\frac{x_B+x_F}{2}\\ x_F& otherwise\end{array}\right.$

算法实现中x_B为背景色设置为0，x_F为前景色设置1；

Y为最终的图像分割结果。

本方法提出了一致性的线条迁移技术，通过构建左右一致性网格自动把涂色线条一致性的迁移到右视图中，改进了原来由立体图像视差图进行涂色线条迁移的方法，使用户不需要分别在左右视图中涂一致性的线条就能产生一致性的图像分割效果，大大的提高了立体图像分割的效果。图4是采用把立体图像左右视图作为一个整体的立体图像分割结果。用户可以左右视图中涂前景色和背景色，但是当左右视图中存在两个或两个以上颜色相似的物体，且我们仅需要提取其中一个物体时，则需要提供左右视图一致性涂色线条，否则会出现立体图像分割左右视图不一致的效果(图4第二组图像出现了立体图像分割左右视图不一致)。可见，本发明提出的立体图像分割方法既减少了用户涂色线条的输入，又能保证获得左右一致性的立体图像分割效果。

实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (8)

1.一种基于交互式的立体图像分割方法，其特征在于：其包括以下步骤：1)输入待处理立体图像，将其作为输入图像，并通过交互式的方式在输入图像的左视图涂前景和背景线条，其中涂色前景和背景线条标记为S；

2)提取左视图中涂色前景和背景线条的中心线L，并进行均匀采样获得采样点(P_ij，|i＝1..n_c，j＝1..n_i)，其中n_i和n_c分别为中心线的采样点数和线条数，对输入图像的左视图沿着图像的边界进行均匀采样获得采样点B，对输入图像的左视图和右视图进行SIFT(Scale-invariantfeaturetransform)特征点匹配，获得匹配对其中n_F为匹配对数量；

3)采用限制性的Delaunay三角网剖分方法对左视图构建三角形网格，其中， $\left\{F_k^l\right|k=\mathrm{1..}{n}_F\}\∪\{P_{ij}|i=\mathrm{1..}{n}_c,j=\mathrm{1..}{n}_i\}\∪B$ 作为顶点限制项， $\{P_{i1}^l{P}_{i2}^l,P_{i2}^l{P}_{i2}^l,...P_{{\mathrm{in}}_i-1}^l{P}_{{\mathrm{in}}_i}^l|i=\mathrm{1..}{n}_c\}$ 作为线段限制项，然后构建能量最优化方程，获得右视图与左视图一致性的网格；

4)左视图根据步骤2)中获得的采样点(P_ij，|i＝1..n_c，j＝1..n_i)重建含涂色线条左视图，右视图根据一致性网格中相应的网格顶点生成含涂色线条右视图；

5)分别对重建的含涂色线条左视图和含涂色线条右视图进行特征向量构建；

6)基于步骤5)中获得的特征向量，用KNN(K-NearestNeighborhood)分别求出立体图像左视图和右视图中每个像素最近的10个像素，作为对应像素的最近邻域像素

7)构建非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。

2.根据权利要求1所述的一种基于交互式的立体图像分割方法，其特征在于，步骤3)中所述的能量最优化方程，其求解右视图与左视图一致性的网格方法如下：

让U^l为左视图中限制性的顶点，找到右视图网格中的顶点U^r，满足如下三项限制：

E＝ω_FE_F+ω_VE_V+ω_SE_S

式中

$E_F={\mathrm{\Σ}}_{k=1}^{n_F}{(v_i^r-F_k^r)}^2;$

$E_V={\mathrm{\Σ}}_{v_i^l\∈U^l}{(v_i^r\[y\]-v_i^l\[y\])}^2;$

$E_S={\mathrm{\Σ}}_{\left(v_i^l,v_j^l,v_k^l\right)\∈T^l}\left|\right|v_i^r-M_l(v_j^r,v_k^r)|{|}^2;$

参数ω_F，ω_V，ω_S为能量项E_F，E_V，E_S的系数，算法实现中ω_F＝10，ω_V＝10，ω_S＝1；

操作[y]为提取顶点的y坐标；表示通过顶点和顶点形成的顶点

T^l为左视图网格中三角形集合；

上面的能量公式为二次函数优化问题，通过求一阶偏导数为零，求解得到右视图中网格顶点。

3.根据权利要求1所述的一种基于交互式的立体图像分割方法，其特征在于，步骤6)中的特征向量为：F(i)＝(L_i，A_i，B_i，γx_i，γy_i)，式中(L_i，A_i，B_i)为图像Lab色彩空间中像素i的值，(x_i，y_i)为像素i的坐标值，γ限制了非局部邻域像素搜索的范围，算法实现中γ的取值范围为0.5-10。

4.根据权利要求1所述的一种基于交互式的立体图像分割方法，其特征在于，步骤7)中所述非局部线性优化模型如下：

J(U)＝λ(U-G)^TD_S(U-G)+U^TL_nonlocalU

式中U为待求解的分割图像；

D_s为对角矩阵，在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0；

G对应为涂色线条的值，其中前景线条对应值为1，背景线条对应的值为0，

求解非局部线性优化模型获得如下稀疏线性系统：

U＝(L_nonlocal+λD_s)^-1λD_sG

式中：L_nonlocal+λD_s为稀疏矩阵求解，通过高斯-赛德尔迭代法求解；

最后，图像分割结果可以通过二值化U_i获得：

$Y=\left\{\begin{array}{cc}{x}_B& if{U}_i\≤\frac{x_B+x_F}{2}\\ x_F& otherwise\end{array}\right.$

算法实现中x_B为背景色设置为0，x_F为前景色设置1；

Y为最终的图像分割结果。

5.根据权利要求4所述的一种基于交互式的立体图像分割方法，其特征在于，所述非局部拉普拉斯矩阵L_nonlocal构建如下：

L_nonlocal＝(I-W)^T(I-W)；

式中I为N×N的单位矩阵；

N为图像的宽度和高度的乘积；

W为相关度矩阵。

6.根据权利要求5所述的一种基于交互式的立体图像分割方法，其特征在于，相关度矩阵中各像素与其最近邻域像素之间的值计算如下：

$w(i,j)=\exp \left(\frac{-{\left(F\right(i)-F(j\left)\right)}^2}{2{\mathrm{\σ}}_i^2}\right)/C,j\∈N_i$

式中F(i)，F(j)表示像素i，j的特征向量；

σ_i设置为0.001；

C为各像素与其最近邻域像素之间相关值的求和；

N_i为像素i的最近邻域像素。

7.根据权利要求1所述的一种基于交互式的立体图像分割方法，其特征在于，步骤2)中SIFT特征匹配分为三个步骤：

(a)检测特征点检测，根据一定的规则和限制条件，搜索图像中的特征点；

(b)描述算子形成，根据特征点特征，提取信息形成向量，便于相似度测量；

(c)特征向量匹配，根据相似度测量准则，完成匹配。

8.根据权利要求1所述的一种基于交互式的立体图像分割方法，其特征在于，步骤3)中限制性的Delaunay三角网剖分方法可分为四个步骤：(a)构造一个平面点集的标准Delaunay三角网；

(b)插入一条边(限制条件)，删除该边所影响(穿越)的Delaunay三角网的相关三角形，形成一个多边形；

(c)再保持改边为三角网中三角形的一条边的基础上三角剖分多边形；

(d)对多边形内部的三角形进行局部优化。