CN104463843B - 安卓系统的交互式图像分割方法 - Google Patents

Abstract

本发明提供一种安卓系统的交互式图像分割方法，为提取图像前景物体的新方法，首先，对传统图割算法的能量函数定义进行改进，取消了区域项，增强了边界项，从而消除了边界项参数对分割结果的影响，并将改进的方法在安卓平台加以实现；然后，在安卓平台上，针对迭代交互式图割算法的迭代次数对分割精度的影响，得出迭代次数性价比最高的设定；最后，利用迭代交互式图割算法，针对某些分割不准确的情况，加入交互式修正环节，来确保图像分割的精度，并将所提取景物体融入到其它背景图像中；交互式图割算法上的改进，消除了原能量函数中区域项，从而提高算法计算效率，将此改进算法应用于安卓平台，用户在安卓设备上就能轻松实现图像分割。

Description

安卓系统的交互式图像分割方法

技术领域

本发明涉及一种安卓系统的交互式图像分割方法。

背景技术

传统的图像分割算法通常是自动分割的，自动分割虽然执行简单，但在处理诸如医学图像等复杂的图像时，往往得不到理想的分割结果。因此，交互式分割方法逐渐成了研究热点，交互式分割即加入了用户的操作，其与自动分割相比有两大优点：一是能准确理解用户的要求；二是分割的效果较好。

然而，交互式图割算法都是在PC平台上实现的，由于移动终端发展迅速，图像处理需求越来越高，目前安卓市场上的图像编辑软件，诸如美图秀秀、图像处理工作室、图像处理之类大都是只是停留在改变图像的视觉效果上，例如改变色彩风格、锐化、拉伸等等，并未真正地实现如被大家熟知的PhotoShop中的抠图效果，即图像分割功能。将图像分割技术应用到移动终端存在很大的发展前景。

发明内容

本发明基于图割理论，提出并实现一种交互式图像分割方法，针对迭代图割分割效果欠佳的情况下，引入交互式修正环节，确保了分割的精度，并可将提取的前景目标，融入到其他背景图像。

本发明将图割算法移植到安卓平台，提出一种交互式图像分割方法，即提取图像前景物体的新方法。该方法包括：首先，对传统图割算法的能量函数定义进行改进，取消了区域项，增强了边界项，从而消除了边界项参数对分割结果的影响，并将改进的方法在安卓平台加以实现；然后，在安卓平台上，针对迭代交互式图割算法的迭代次数对分割精度的影响，得出迭代次数性价比最高的设定；最后，利用迭代交互式图割算法，提出一种前景物体提取的新方法，针对某些分割不准确的情况，加入了交互式修正环节，确保了图像分割的精度，并将所提取景物体融入到其它背景图像中。

本发明的技术解决方案是：

一种安卓系统的交互式图像分割方法，包括以下步骤：

步骤A、使用改进的图割算法的能量函数定义，取消区域项，增强边界项，消除边界项参数对分割结果的影响，将改进的方法在安卓平台上实现；

步骤B、在安卓平台上，针对迭代交互式图割算法的迭代次数对分割精度的影响，得出迭代次数性价比最高的设定；

步骤C、利用迭代交互式图割算法，采用改进的图割算法，针对分割不准确的情况，加入交互式修正环节，来确保图像分割的精度，并将所提的前景物体融入到其它背景图像中。

进一步地，所述步骤A中，改进的图割算法是基于彩色图像的，具体为，由用户用画笔在待分割图像上，标识前景或背景后，在操作之前先将彩色图像转成灰度图像；

建立能量函数和网络流程图，对图像进行标号；采用最大流最小割方法求网络图的最小割，能量最小化后，分割灰度的结果图像，得到彩色的最终图像。

原图割算法是基于灰度图像的，本发明将其引入到彩色图像中。做法是在操作之前先将彩色图像转成灰度图像，然后再执行分割。虽然灰度图像转换后丢失了彩色图像的部分信息，但图像的整体结构、纹理等属性都是未变的，因此，灰度图像的分割结果完全可以在彩色图像中体现出来。

进一步地，交互式图割算法改进的步骤为：

由用户用画笔在待分割图像上，指定某些像素即种子结点作为确定的前景或背景，作为分割的硬性约束；

在此硬性约束下，基于边界和区域特性，给出能量函数定义；

基于最大流最小割算法对能量函数进行改进，移除区域项，加强边界项，引入区域性元素，来减少算法迭代时间；

通过计算全局最优解来获得对未标记部分的自动分割，而边界和区域的特性看作是分割的软约束。

进一步地，更改后的能量函数如下式：

其中，R_{p,q}代表把像素p和q分配成相同标号的惩罚因子，遵循如下定义：

R_{p,q}＝Pr(I_p|"obj")·Pr(I_q|"obj")+Pr(I_p|"bkg")·Pr(I_q|"bkg")

Pr(·)表示像素被归类为前景或背景的概率。

进一步地，所述步骤B中迭代交互式图割算法在安卓上迭代次数对分割精度的影响分析的步骤为：

迭代交互式图割通过非完全标记法，用矩形框框分离出背景和前景区域，对其颜色空间建立高斯混合模型；

用高斯混合模型参数估计和学习过程中的迭代算法，完成能量极小化。

迭代交互式图割算法的分割过程是通过迭代算法，不断更新和修正算法参数，使算法收敛的过程，因此有必要考虑迭代次数对图像分割精度的影响，经过多次测试对比，得到性价比高的迭代次数设定。

进一步地，利用初始三元图未知区域T_U像素中重新获得的像素标号，来校正彩色高斯混合模型模型的参数。

进一步地，所述迭代交互式图割算法在安卓上迭代次数默认为两次。

进一步地，采用非完全标号，即将图像中的像素分为三类：确定的前景、确定的背景和未知区域，用户只需确定背景区域T_B，而不需确定前景，设前景T_F＝0，框内的像素设为T_U代表未知区域；

迭代能量最小化是通过允许框内的T_U像素临时表示T_F来进行初始化操作，而背景T_B的标号是固定变的。

进一步地，所述步骤C中加入用户编辑修正功能具体为：

在初始分割之后，人为地指定某些像素点为确定的前景或背景，重新计算混合高斯模型参数，最后执行最小割算法，迭代多次，直达满意的分割结果为止。

相比现有技术，本发明具有以下有益效果：

交互式图割算法上的改进，消除了原能量函数中区域项，从而提高算法计算效率，将此改进算法应用于安卓平台，用户在安卓设备上就能轻松实现图像分割；更改后t-links的数目大大减少了，t-links只存在于终端结点和用户标记的种子之间，边的数目降低大大减少了算法的运行时间。针对迭代图割分割效果欠佳的情况下，引入交互式修正环节，确保了分割的精度。

附图说明

图1为改进前后s-t图；

图2为改进图割算法执行流程图；

图3为图像修正过程的说明示意图；

图4为更换背景运行实例的示意图；

图5为迭代交互式图割算法应用更换背景实例的示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例的目的是将交互式图割算法应用到安卓平台，开发一种安卓分割应用软件，其实现思路为：

首先，基于最大流最小割算法，对原图割的能量函数进行改进，取消了区域项，增强了边界项；

然后，利用OpenCV在安卓平台上实现迭代交互式图割算法，并探讨迭代次数对分割精度的影响，最终得出性价比好的迭代次数设定；

最后，基于迭代交互式图割算法，开发了一款图像分割应用软件，针对分割不准的情况下，引入交互式修正环节，确保分割精度，最终可将分割出的前景目标融入到其它背景图像中。

如图2所示，交互式图割算法的能量函数定义的改进包括以下步骤：

对于一幅图像，将图像中的像素定义为集合P，相邻像素对{p,q}定义为集合N。图像分割是像素标号的过程，设A是像素标定的某种分配A＝(A₁,...,A_p,...,A_|P|)，其中A_p可以标定为“obj”(object，即前景)或“bkg”(background，即背景)，因此可以用A来表示分割结果。

首先，基于图割理论，将图像映射到图中。图G＝(V,E)中0，V代表图像中的所有像素点，E代表连接相邻像素的边。为了构建s-t网络，因此额外加入了s和t两个终端结点分别代表前景和背景，所以有：

V＝P∪{s,t}

终端结点的加入使得边集E也有了两种不同类型，n-links和t-links。n-links(邻域链接)代表相邻像素{p,q}之间的边，t-links(终端连接)代表像素p与终端结点之间的边。因此，每个像素点都有两条t-links边，则有：

在此模型下，每条边将会分配一个非负的权值w_e。把割C定义成边集E的子集，即C∈E，而把C上所有权值之和定义为割的值：

根据构建的图模型和割的定义，将能量函数定义改为如下形式：

E(A)＝λ·R(A)+B(A)

式中R(A)代表区域项，表示把像素p标号成前景或是背景的惩罚因子，分别对应于R_p("obj")和R_p("bkg")，其表达式如下：

R_p(·)实际上反应了像素p被标记为前景或是背景的概率，R_p(·)的值可由用户标记的种子结点的灰度直方图估计获得。

式中B(A)代表边界项，表示像素p和像素q之间的连续性关系即：

并且

通常，p和q的像素值越接近，则B(A)的值越大，反之B(A)的值越小。

σ为噪声，dist(p,q)表示像素p和q之间的距离。当|I_p-I_q|越小，则边的权值越大，反之则权值越小。因此，当能量函数为最小值时，分割更可能出现在图像的边界。系数λ≥0起着区域项和边界项的平衡作用。如当λ＝0时，说明只考虑图像的边界信息，而忽略图像的区域信息。

图割的能量函数构建成的图G包含了三种结点：前景结点s，背景结点t，像素结点p。结点间边的构成分为三个步骤，首先每个像素结点p连接到s和t，权值分别为λ·R_P("bkg")和λ·R_P("obj")，然后连接相邻的像素结点p和q(B_{p,q})，像素中由用户指定成前景或是背景种子的结点分别连接到s和t，权重为K或者0，最后对能量函数做最小化处理。其中λ起平衡区域项和边界项的作用，直接影响到最后的分割效果。为了避免λ的影响，实施例移除了能量函数中的区域项。如果仅是单纯的去掉区域项，那就相当于λ＝0情况，显然是不可取的。为此，又尝试性地加强了边界项，融入了区域性元素，更改后的能量函数如下式：

同样的有

其中R_{p,q}代表把像素p和q分配成相同标号的惩罚因子，遵循如下定义：

R_{p,q}＝Pr(I_p|"obj")·Pr(I_q|"obj")+Pr(I_p|"bkg")·Pr(I_q|"bkg")

Pr(·)表示像素被归类为前景或背景的概率，R_{p,q}的值越大表示像素p和像素q被标为相同标号的几率越大，则其之间的权值越大，越不易被分开。

如图1所示，更改后的最大的区别在于t-links的数目大大减少了，t-links只存在于终端结点和用户标记的种子之间，边的数目降低大大减少了算法的运行时间。

本实施例中，交互式图割算法上的改进，消除了原能量函数中区域项，从而提高算法计算效率，并将此改进算法应用于安卓平台，用户在安卓设备上就能轻松实现图像分割。

安卓平台的迭代交互式图割算法通过非完全标记法，用矩形框框分离出背景和前景区域；对其颜色空间建立高斯混合模型，用高斯混合模型参数估计和学习算法代替前述的最小估计完成能量极小化，即，迭代交互式图割算法在某种程度上其实是迭代的交互式图割算法，迭代交互式图割用高斯混合模型替代了之前的直方图模型。

本实施例中用非完全标号取代了完整三元图，即将图像中的像素分为三类：确定的前景、确定的背景和未知区域，未知区域中的像素受前景和背景像素的影响，带来了很大的灵活性，用户只需确定背景区域T_B，而不需确定前景，设T_F＝0，框内的像素设为T_U代表未知区域。之后的迭代能量最小化是通过允许框内的T_U像素临时表示T_F来进行初始化操作，而背景T_B的标号是固定变的。

接着引入彩色数据模型，由此创建三通道的色彩空间直方图显然是不现实的。基于高斯混合模型建立彩色图像数据模型，用高斯混合模型描述前景和背景像素的分布情况，输入图像x＝(x₁,...,x_n,...,x_N)，N为像素的总数，x_i(i＝1,2,...,N)的维数为D。每个像素点由K个(一般K为5)高斯混合模型表示。为了便于处理高斯混合模型，引入了向量k＝(k₁,...,k_n,...,k_N)作为每个像素的独立高斯混合模型(前景或背景)参数，其中k_n∈{1,2,...,K}，对应像素的标号α＝1(前景)或α＝0(背景)。

x_i在第k类高斯分布下的密度函数：

像素x_i取值为α的概率为：

上式中λ等价于模型参数，w_k为混合比例系数，μ_k为各个高斯分布的均值，Σ_k为协方差矩阵。最大对数似然函数：

又迭代交互式图割算法中的能量函数定义如下：

E(α,k,λ,x)＝U(α,k,λ,x)+V(α,x)

其中U项代表数据项，V项代表平滑项，分别对应于区域项和边界项。在引入了高斯混合模型的彩色数据模型后，其数据项可改写为：

最终可得：

最后对高斯混合模型参数进行更新：

λ＝argminU(α,k,λ,x)

能量函数中的平滑项和图割中的基本保持一致：

由于是彩色三通道图像，因此||x_m-x_n||²表示像素差的数学期望。

迭代交互式图割中的能量最小化通过迭代算法来实现，不同于交互式图割的一次实现，能够自动修正标号α的值，并利用初始三元图T_U像素中重新获得的像素标号，来校正彩色高斯混合模型模型的参数λ。

本实施中的迭代交互式图割算法基于OpenCV在安卓平台上实现，如图3所示，在一个实施例中，利用迭代交互式图割算法开发了一款安卓应用软件，并在针对迭代交互式图割分割不准的情况下加入了修正的环节的具体过程：

单纯地依靠迭代交互式图割对矩形框内的区域进行迭代计算，有时并不能得到理想的分割效果，尤其是当原图像内容复杂，而待提取前景部分又不十分明显的情况下，无论算法迭代几次都得不到满意的结果。为了解决这一问题，在已实现的安卓应用中加入了用户编辑修正功能，即在迭代交互式图割分割之后，人为地指定某些像素点为确定的前景或背景，重新计算高斯混合模型参数，最后再执行最小割算法，此步骤可以循环多次，直至分割出满意的结果为止。

实例验证

安卓平台的交互式图割算法的测试平台，型号为SONY Xperia S手机，屏幕分辨率为1280×720，高通Snapdragon MSM8260双核1.5GHz处理器，Android Jelly Bean 4.1.2系统。

安卓上实现界面包含三个按键：打开、矩形选择框和运行。打开功能选择待分割的图像，之后点击矩形框按键即可在屏幕中选择要分割的区域，最后运行则会执行迭代交互式图割算法算法，并显示运行的时间。由于迭代交互式图割算法可以迭代分割，因此每点击运行一次迭代次数都会加1，在前次分割不理想的情况下可以选择继续分割，直到用户满意为止。但是，并不是迭代次数越多分割效果就越好的，经过分割图片的迭代次数和图片分辨率对比可知，两次迭代能达到近乎收敛的分割效果，因此，实施例默认迭代次数为两次。

步骤为：打开应用的界面，点击打开按钮进入本机图像库，选择待分割的图像，左下角表示选择分别选择绿色和蓝色按钮在图像上画出分割的前景和背景，点击运行，待程序运行完毕便会呈现分割后的图像，任务栏也会显示本次分割时间，最后menu键可以唤出保存菜单，以便保存分割后的图像至本地。整个应用操作简单目标明确，自动给出运行时间。

下面结合两个实例来说明交互式图像分割算法及安卓应用。如图4和图5所示，最终实现的应用界面和运行过程：应用功能键分为上、下两栏。

上栏主要负责图像的分割，从左往右依次为矩形框选择，前景修正，背景修正以及分割键。图中的例子只经过迭代两次就得到了满意的结果，若是碰到分割不理想的情况则可以进行不断地修正。

下栏负责图像的选择和最后的更换功能，前景键选择待分割的图像，背景键选择所要融合的新的背景图像，位置键为指定所要融合的位置，融合键完成背景的更换。

经过多次试验，该应用不仅能处理分辨率较小的图像，在应付分辨率较大较复杂的图像时，也能做到准确和流畅，只是增加了运行时间上的开销。

Claims (6)

1.一种安卓系统的交互式图像分割方法，其特征在于，包括以下步骤：

步骤A、使用改进的图割算法的能量函数定义，取消区域项，增强边界项，消除边界项参数对分割结果的影响，将改进的方法在安卓平台上实现；改进的图割算法是基于彩色图像的，具体为，由用户用画笔在待分割图像上，标识前景或背景后，在操作之前先将彩色图像转成灰度图像；建立能量函数和网络流程图，对图像进行标号；采用最大流最小割方法求网络图的最小割，能量最小化后，分割灰度的结果图像，得到彩色的最终图像；

其中，更改后的能量函数如下式：

$E\left(A\right)=\underset{\{p,q\}\∈N}{\Σ}{B}_{\{p,q\}}\·\mathrm{\δ}(A_p,A_q)\·R_{\{p,q\}}$

其中，N为像素的总数，B_{p,q}表示像素p和q之间的权值；A_p表示像素p被标记为前景或者背景；A_q表示像素q被标记为前景或者背景，R_{p,q}代表把像素p和q分配成相同标号的惩罚因子，遵循如下定义：

R_{p,q}＝Pr(I_p|"obj")·Pr(I_q|"obj")+Pr(I_p|"bkg")·Pr(I_q|"bkg")

Pr(·)表示像素被归类为前景或背景的概率，obj为前景；bkg为背景；

步骤B、在安卓平台上，针对迭代交互式图割算法的迭代次数对分割精度的影响，得出迭代次数性价比最高的设定；

步骤C、利用迭代交互式图割算法，采用改进的图割算法，针对分割不准确的情况，加入交互式修正环节，来确保图像分割的精度，并将所提的前景物体融入到其它背景图像中；

其中，交互式图割算法改进的步骤为：

由用户用画笔在待分割图像上，指定某些像素即种子结点作为确定的前景或背景，作为分割的硬性约束；在此硬性约束下，基于边界和区域特性，给出能量函数定义；基于最大流最小割算法对能量函数进行改进，移除区域项，加强边界项，引入区域性元素，来减少算法迭代时间；通过计算全局最优解来获得对未标记部分的自动分割，而边界和区域的特性看作是分割的软约束。

2.如权利要求1所述的安卓系统的交互式图像分割方法，其特征在于：所述步骤B中迭代交互式图割算法在安卓上迭代次数对分割精度的影响分析的步骤为：

迭代交互式图割通过非完全标记法，用矩形框分离出背景和前景区域，对其颜色空间建立高斯混合模型；

用高斯混合模型参数估计和学习过程中的迭代算法，完成能量极小化。

3.如权利要求2所述的安卓系统的交互式图像分割方法，其特征在于：利用初始三元图未知区域T_U像素中重新获得的像素标号，来校正彩色高斯混合模型模型的参数。

4.如权利要求2所述的安卓系统的交互式图像分割方法，其特征在于：所述迭代交互式图割算法在安卓上迭代次数默认为两次。

5.如权利要求3所述的安卓系统的交互式图像分割方法，其特征在于：采用非完全标号，即将图像中的像素分为三类：确定的前景、确定的背景和未知区域，用户只需确定背景区域T_B，而不需确定前景，设前景T_F＝0，框内的像素设为T_U代表未知区域；

迭代能量最小化是通过允许框内的T_U像素临时表示T_F来进行初始化操作，而背景T_B的标号是固定不变的。

6.如权利要求1所述的安卓系统的交互式图像分割方法，其特征在于，所述步骤C中加入用户编辑修正功能具体为：

在初始分割之后，人为地指定某些像素点为确定的前景或背景，重新计算混合高斯模型参数，最后执行最小割算法，迭代多次，直达满意的分割结果为止。