CN103559719A

CN103559719A - 一种交互式图像分割方法

Info

Publication number: CN103559719A
Application number: CN201310587120.1A
Authority: CN
Inventors: 董乐; 谢山山; 封宁; 徐宗懿
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2013-11-20
Filing date: 2013-11-20
Publication date: 2014-02-05
Anticipated expiration: 2033-11-20
Also published as: CN103559719B

Abstract

本发明公开了一种交互式图像分割方法，用于解决现有交互式图像分割方法运行效率低，用户工作量大的问题。本发明包括如下步骤：用户输入图像，并用矩形框框选包含前景目标图像的矩形区域；通过Canny边缘检测算法提取矩形区域的外边界；用前景目标图像区域外边界初始化三元图，通过GrabCut算法剔除矩形区域中的背景区域，从而分割出前景目标图像；输出前景目标图像。本发明既保留了GrabCut算法用户交互性少的优点，同时借助Canny算法，充分利用前景目标的边界信息，改进了GrabCut算法在前/背景颜色相似或前景目标存在阴影情况下的不足。除此之外，由于本发明方法降低了GrabCut算法的迭代次数，在运行效率上也得到了很大的提高。同时不需要用户描绘出前景目标图像的大概轮廓，减少了用户的工作量。

Description

一种交互式图像分割方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种交互式图像分割方法。

背景技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法。

目前，图像分割是图像处理、模式识别、计算机视觉领域中的关键问题。由于传统的机器自动分割和人工手动分割难以达到预期的目的，所以交互式图像分割成为当前的研究主流。图像分割发展至今，人们已经提出了许多的交互式图像分割方法，如Magic Wand，Intelligent Scissors，Bayes Matte，Knockout等。自2001年Boykov等人将GrabCut理论用于图像分割以来，基于GrabCut理论的图像分割方法成为当今的研究热点，该理论的新颖之处在于它的全局最优性和结合多种知识的统一性。根据不同的应用，人们在此基础上提出许多改进方法，如interactive graph cuts，active graph cuts，Graph Cuts Based Active Contours(GCBAC)，GrabCut，Dynamic Graph Cuts（动态图割方法）等分割方法。其中GrabCut方法采用高斯混合模型（GMM）表征颜色概率分布，单纯地根据区域信息进行图像分割，对于前景和背景颜色信息相差较大的图像是一种较好的图像分割方法，但是对于前/背景颜色信息相似或者前景目标存在阴影的图像，提取的前景目标不准确，需要后期大量的人工修正。但是，经过人工后期修正的前景目标图像往往不精确，给前景目标的进一步分析与处理带来了误差。针对该问题，王建青等人提出了边界与区域相结合的目标提取方法，该方法结合GCBAC与GrabCut算法，对传统的GrabCut算法进行了一定的改进，但同时，该方法由于前后两次运用GrabCut算法，加大了计算量，还有一个比较明显的不足是，该方法需要用户描绘出前景目标的轮廓，这也增加了用户的工作量。

发明内容

本发明为解决现有技术存在的缺陷，而提供一种交互式图像分割法，既保留了GrabCut算法用户交互性少的优点，同时借助Canny算法，充分利用前景目标的边界信息，改进了GrabCut算法在前/背景颜色相似或前景目标存在阴影情况下的不足。除此之外，由于本发明方法降低了GrabCut算法的迭代次数，在运行效率上也得到了很大的提高。同时不需要用户描绘出前景目标图像的大概轮廓，减少了用户的工作量。

为解决上述技术问题，本发明所采用的技术方案是：

一种交互式图像分割方法，其特征在于，包括以下步骤：

A用户输入图像，并用矩形框框选包含前景目标图像的矩形区域；

B通过Canny边缘检测算法提取前景目标的外边界；

C用前景目标区域外边界初始化三元图，通过GrabCut算法剔除矩形区域中的背景区域，从而分割出前景目标图像；

D输出前景目标图像。

进一步地，上述的步骤B具体包括以下步骤：

a将矩形区域转换为灰度图像，并用Canny算法获取前景目标图像的边界信息；

b填充前景目标图像的边界信息，然后通过形态学方法进行腐蚀、膨胀处理从而获得前景目标图像边界信息的灰度掩码图像；

c将获得的灰度掩码图像转换为彩色掩码图像并与原矩形区域做换位与运算，从而获得前景目标图像的外边界。

进一步地，上述的步骤C具体包括以下步骤：

a、将步骤B中获得的前景目标的外边界作为划分三元图的初始边界线，边界线以外的区域称为背景区域（为了便于描述，简称为Tb），边界线以内的区域称为未知区域（为了便于描述，简称为Tu），前景目标图像称为Tf，初始时TF设为空；

b将TB中的像素点标号值α设为0，Tu内的像素点的标号值α设为1，根据标号值分别为0和1的集合初始化高斯混合模型（GMM）获得矩形区域、前景目标和背景颜色信息；

c计算Tu中的前景目标图像的GMM标号，计算矩形区域内的背景图像的GMM标号；

d对Tu构造s—t网络，用最小割算法切割一次，更新集合Tb、Tu、Tf，得到GMM参数；

e、在确定的GMM参数下对框选的前景目标图像区域构造s—t网络，用最小割算法进行切割，更新集合背景区域、未知区域和前景目标图像，获取前景目标图像。

本发明的该方法融合了Canny边缘检测算法和GrabCut交互式图像分割算法，先利用Canny算法提取出原图像前景目标的外边界，并将其作为GrabCut算法的初始边界线，再利用GrabCut算法对提取得到的前景区域做剩余背景区域的剔除。它既保留了GrabCut算法用户交互性少的优点，同时借助Canny算法，充分利用前景目标的边界信息，改进了GrabCut算法在前/背景颜色相似或前景目标图像存在阴影情况下的不足。除此之外，由于本发明方法降低了GrabCut算法的迭代次数，在运行效率上也得到了很大的提高。

附图说明

图1是本发明的流程框图；

图2是本发明一实施例划分三元图的示意图。

具体实施方式

下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。本发明的交互式图像分割方法，包括以下步骤：

B通过Canny边缘检测算法提取前景目标的外边界；

D输出前景目标图像。

进一步地，上述的步骤B具体包括以下步骤：

a将矩形区域转换为灰度图像，并用Canny算法获取前景目标图像的边界信息。边界信息包含边界的像素点集合，具体是像素点的像素值和像素点的坐标。

b填充前景目标图像的边界信息，然后通过形态学方法进行腐蚀、膨胀处理从而获得前景目标图像边界信息的灰度掩码图像。

进一步地，上述的步骤C具体包括以下步骤：

a、将步骤B中获得的前景目标的外边界作为划分三元图的初始边界线，边界线以外的区域称为背景区域（为了便于描述，简称为Tb），边界线以内的区域称为未知区域（为了便于描述，简称为Tu），前景目标图像称为Tf，初始时Tf设为空；Tf设为空的意思是集合不包含像素点（颜色信息）。

b将TB中的像素点标号值α设为0，TU内的像素点的标号值α设为1，根据标号值分别为0和1的集合初始化高斯混合模型（GMM）获得矩形区域、前景目标和背景颜色信息。

下面对上述的内容进行进一步的补充说明，Canny边缘检测器是高斯函数的一阶导数，是对信噪比与定位之乘积的最优化逼近算子，Canny算法的实现步骤概括如下：

1）高斯滤波平滑图像，去除噪声；

2）用一阶偏导数的有限差分来计算梯度的幅值和方向；

3）对梯度幅值应用非极大值抑制；

4）用双阈值算法检测并且连接边缘。

膨胀和腐蚀是形态学图像处理的基本处理方法。腐蚀的作用是消除物体边界点，使目标缩小，可以消除小于结构元素的噪声点。腐蚀的具体操作是：用一个结构元素(一般是3×3的大小)扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。

膨胀的作用是将与物体接触的所有背景点合并到物体中，使目标增大，可添补目标中的空洞。膨胀的具体操作是：用一个结构元素(一般是3×3的大小)扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。

在GrabCut算法中，通常仅通过简单框定矩形框来初始化GMM，单纯依靠矩形框框定前景目标，并不一定能准确的分割出前景目标，我们先通过矩形框框定前景目标所在区域，并在矩形框内勾画部分前景和背景像素点颜色信息。通过初始的矩形框框定包含前景的区域，同时通过不同颜色的笔勾画前景目标包含的颜色信息，以及矩形框内可能的背景，前景和背景颜色信息提示的越全面，GMM模型就越准确，这直接影响分割的效果。

结合图2，初始化三元组，灰色矩形框外的白色圆点代表背景区域，灰色矩形框内的长条型点勾画的像素点也属于背景，用以上两种信息初始化Tb，灰色矩形框内的白色圆点代表矩形框内除去前景目标图像（本例子中的前景目标图像为一个人）和长条型点勾画的区域，代表未知区域，初始化Tu，前景目标图像初始化Tf。根据颜色对Tu中的像素点进行标号，将其分为前景和背景两类。Tb对应的像素点α＝0，Tu和Tf对应的像素点α＝1，根据α的值初始化前景和背景GMM。接下来按照GrabCut算法的迭代过程，执行GMM标号，更新GMM参数，s-t网络构造与切割，完成前/背景GMM模型的初始化，同时分割出第一帧中的前景目标。

s-t网络由一个源点s、一个汇点t和若干中间结点组成。每个中间结点都位于从源点s到汇点t的一条路径上，换句话说，对每个顶点v∈V，存在一条路径s→v→t。

GMM参数为：μ代表像素点的均值；∑代表一个3*3协方差矩阵；π代表单个高斯组件的权重，通常是相应类中像素点个数与总数的比。

引理2.1设f是源点为s，汇点为t的s-t网络G中的一个流。并且(S,T)是G的一个割。则通过割(S,T)的净流为f(S,T)=|f|。

以上引理说明流经任意割的净流都是相同的，且与流的值相等。

推论2.1对一个s-t网络G中任意流f来说，其值的上界为G的任意割的容量。

由以上推论可知，网络中的最大流必定不超过此网络最小割的容量。

定理2.1（最大流-最小割定理）如果f是s-t网络G=(V,E)中的一个流，则存在以下三个等价条件：

1)f是G的一个最大流；

2)残留网络G_f不包括增广路径；

3)存在G的某个割(S,T)，有|f|=c(S,T)。

证明:1)=>2):为了引入矛盾，假设f是G的最大流，但G_f中包含一条增广路径p。由推论2.1，流的和f+f_p为G的一个流，其值严格大于|f|。这与假设f是最大流相矛盾。

2)=>3):假设G_f中不包含增广路径，既G_f包含从s到v的路径。定义:

S={v∈V：G_f中从s到v存在一条通路}

并且T=V-S。划分(S,T)是一个割：s∈S，由于G_f中不存在从s到t的路径，所以

对每对顶点u∈S，v∈T，有f(u,v)=c(u,v),否则(u,v)∈E_f，v就属于集合S。因此由引理2.1，|f|=f(S,T)=c(S,T)。

3)=>1):由推论2.1可知，对所有的割(S,T)，有|f|≤c(S,T)。因此条件|f|=c(S,T)说明f是一个最大流。

由以上定理可知,s-t网络中的最大流值等于最小割的容量。在实际求解最小割问题时可以通过计算其最大流来加以解决。

在每次迭代之后，TB、TU、TF内的像素点都会有变化，更新的是TB、TU、TF中的像素点。

Claims

1.一种交互式图像分割方法，其特征在于，包括以下步骤：

B通过Canny边缘检测算法提取前景目标的外边界；

D输出前景目标图像。

2.根据权利要求1所述的交互式图像分割方法，其特征在于，上述的步骤B具体包括以下步骤：

3.根据权利要求1所述的交互式图像分割方法，其特征在于，上述的步骤C具体包括以下步骤：

a将步骤B中获得的前景目标的外边界作为划分三元图的初始边界线，边界线以外的区域称为背景区域Tb，边界线以内的区域称为未知区域Tu，前景目标图像称为Tf，初始时TF设为空；

b将Tb中的像素点标号值α设为0，TU内的像素点的标号值α设为1，根据标号值分别为0和1的集合初始化GMM获得矩形区域、前景目标和背景颜色信息；

e在确定的GMM参数下对框选的前景目标图像区域构造s—t网络，用最小割算法进行切割，更新集合背景区域、未知区域和前景目标图像，获取前景目标图像。