CN103745456B - 一种图像分割方法及装置 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种图像分割方法及装置，包括：检测滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线；根据所述封闭曲线生成二值化的图像模板，所述二值化的图像模板与所述原始图像的尺寸相等；根据生成的所述二值化的图像模板检测并获取到所述目标图像的轮廓；根据所述目标图像的轮廓生成掩膜；计算所述掩膜中所述未知区域的透明值；利用所述透明值和所述原始图像确定出所述原始图像的前景分量和背景分量；根据确定出的所述原始图像的前景分量和背景分量，从所述原始图像中分割得到前景图像。本发明充分结合了移动终端的操作特点及处理性能，能够有效地在移动终端上实现图像分割。

Description

一种图像分割方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像分割方法及装置。

背景技术

图像分割，即针对一幅图像，分别求出其前景分量、背景分量以及前景的透明值，从而将前景从图像中分割出来。现有的图像分割方法需要对图像中的像素进行手动标记，以手动标记出图像中的前景和背景，然后将每个像素作为一个节点，构造一个图结构，通过求解该图结构的最小分割来实现图像的分割。

随着移动终端软硬件水平的提升，用户希望通过移动终端也能够随时随地进行图像处理，显然，受限于移动终端的屏幕尺寸及操作方式，无法对需要分割的图像的每个像素进行一一标记，且受限于移动终端的处理器性能，也无法负担现有的图像分割方法在求解图结构时庞大的计算量。

发明内容

本发明实施例的目的在于提供一种图像分割方法，旨在提出一种适用于移动终端的图像分割方法。

本发明实施例是这样实现的，一种图像分割方法，包括：

检测滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线；

根据所述封闭曲线生成二值化的图像模板，所述二值化的图像模板与所述原始图像的尺寸相等；

根据生成的所述二值化的图像模板检测并获取到所述目标图像的轮廓；

根据所述目标图像的轮廓生成掩膜，所述掩膜中包括确定的前景区域、确定的背景区域和未知区域；

计算所述掩膜中所述未知区域的透明值；

利用所述透明值和所述原始图像，计算出所述原始图像中每个像素的前景颜色分量和背景颜色分量，以确定出所述原始图像的前景分量和背景分量；

根据确定出的所述原始图像的前景分量和背景分量，从所述原始图像中分割得到前景图像。

本发明实施例的另一目的在于提供一种图像分割装置，包括：

检测单元，用于检测滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线；

模板生成单元，用于根据所述封闭曲线生成二值化的图像模板，所述二值化的图像模板与所述原始图像的尺寸相等；

轮廓获取单元，用于根据生成的所述二值化的图像模板检测并获取到所述目标图像的轮廓；

掩膜生成单元，用于根据所述目标图像的轮廓生成掩膜，所述掩膜中包括确定的前景区域、确定的背景区域和未知区域；

透明值计算单元，用于计算所述掩膜中所述未知区域的透明值；

颜色分量计算单元，用于利用所述透明值和所述原始图像，计算出所述原始图像中每个像素的前景颜色分量和背景颜色分量，以确定出所述原始图像的前景分量和背景分量；

分割单元，用于根据确定出的所述原始图像的前景分量和背景分量，从所述原始图像中分割得到前景图像。

在本发明实施例中，利用用户的交互操作来获取到目标图像的轮廓，通过该轮廓制作图像掩模，以进一步地实现图像前景和背景的精确提取，完成图像分割，该方法充分结合了移动终端的操作特点及处理性能，能够有效地在移动终端上实现图像分割。

附图说明

图1是本发明实施例提供的图像分割方法的实现流程图；

图2是本发明实施例提供的图像分割方法S106的具体实现流程图；

图3是本发明另一实施例提供的图像分割方法的实现流程图；

图4A是本发明实施例提供的图像分割方法原始图像的示意图；

图4B是本发明实施例提供的图像分割方法用户交互操作后在原始图像上生成的封闭曲线的示意图；

图4C是本发明实施例提供的图像分割方法分割出的前景图像的示意图；

图4D是本发明实施例提供的图像分割方法分割出的前景图像与新背景图像融合后得到的新图像的示意图；

图5是本发明实施例提供的图像分割装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，利用用户的交互操作来获取到目标图像的轮廓，通过该轮廓制作图像掩模，以进一步地实现图像前景和背景的精确提取，完成图像分割，该方法充分结合了移动终端的操作特点及处理性能，能够有效地在移动终端上实现图像分割。

图1示出了本发明实施例提供的图像分割方法的实现流程，详述如下：

在S101中，检测滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线。

在本实施例中，利用移动终端与用户的交互，由用户通过触摸移动终端屏幕等方式在移动终端屏幕上进行滑动操作，围绕目标图像，或者，进一步地，紧贴目标图像的边沿画出一条封闭曲线。

其中，所述目标图像即为需要从原始图像中分割出来的图像。

作为本发明的一个实施例，可以提供滑动撤销操作，以便对当前已执行的滑动操作进行撤销，并重新检测滑动操作，避免由于移动终端屏幕性能不佳或者屏幕尺寸太小而导致操作失误的情况出现。

作为本发明的另一实施例，还可以对原始图像进行局部放大，以便于用户在滑动操作的过程中能够通过图像局部放大来查看图像细节，避免滑动操作生成的封闭曲线与目标图像不贴合的情况出现。

在S102中，根据所述封闭曲线生成二值化的图像模板，所述二值化的图像模板与所述原始图像的尺寸相等。

在本实施例中，所述二值化的图像模板，即在图像模板上所述封闭曲线所在像素位置的灰度值为1，其余像素位置的像素值为0。

在本实施例中，首先生成一个与原始图像尺寸完全相等的单通道图像模板，该单通道图像模板上所有像素的初始值均为0。通过将S101中生成的封闭曲线按照相同的像素位置导入到该单通道图像模板，并令该单通道图像模板上该封闭曲线所在像素位置的灰度值均为1，这样就得到了一个二值化的图像模板。

具体地，可以通过如下公式来实现二值化的图像模板的生成：

其中，所述M(x,y)为图像模板中像素位置(x,y)上的灰度值，所述S为所述封闭曲线。

在S103中，根据生成的所述二值化的图像模板检测并获取到所述目标图像的轮廓。

在本实施例中，沿着图像模板中的封闭曲线进行像素采集，能够检测出目标图像的两条轮廓线，分别为封闭曲线的外边界线和内边界线。在S103中，若无法检测出两条轮廓线，则表明生成的封闭曲线不符合图像处理规范，则返回S101开始执行本流程，重新检测滑动操作，以重新生成围绕着目标图像的封闭曲线。

在S104中，根据所述目标图像的轮廓生成掩膜，所述掩膜中包括确定的前景区域、确定的背景区域和未知区域。

所述掩模，在图像处理中，是由0和1组成的一个二进制图像。当在某一功能中应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。

在本实施例中，首先生成一个与原始图像尺寸完全相等的三通道图像，再根据S103中确定的目标图像的轮廓，将该三通道图像生成掩膜，其中，该三通道图像根据目标图像的轮廓被划分为三个子区域：确定的前景区域、确定的背景区域和未知区域，每个区域分别对应一个通道。

在本实施例中，在生成掩膜之后，为了便于后续更好地区分前景和背景，可以记确定的前景区域为FGD，其中像素的RGB值均设置为(255，255，255)；记确定的背景区域为BGD，其中像素的RGB值均设置为(0，0，0)；记未知区域为UNKNOW，其中像素的RGB值均保留为原始图像相应像素位置的RGB值。

在S105中，计算所述掩膜中所述未知区域的透明值。

具体地，通过以下线性方程组来求解未知区域的透明值：

(L+λD)α＝λb，

其中，所述λ为一个大于一预设阈值的常数；所述D为N×N的对角矩阵，所述N为所述掩膜的像素总数，当所述D的对角元素对应的像素被记为所述确定的背景区域或者所述确定的前景区域时，该对角元素的元素值为1，否则为0；所述b为所述掩膜的像素按列展开成的N×1矩阵，其元素值为该元素对应的像素的灰度值；所述L为一个N×N的矩阵，其第i行第j列上的元素的元素值为：

其中，当i＝j时，所述δ_ij为1，否则为0；所述w_k为第i行第j列上的元素的8邻域(3×3的窗口)；所述I_i和所述I_j分别是对应位置上的3×1色彩分量；所述μ_k为窗口中的3×1色彩均值；所述∑_k为窗口中的3×3协方差矩阵；所述ε为一个小于一预设阈值的值；所述I₃为3×3的单位矩阵。

在本实施例中，鉴于N×N的矩阵(L+λD)是一个半正定的矩阵，因此，采用cholesky分解算法求解线性方程组，得到维度为N×1的透明值α。

在S106中，利用所述透明值和所述原始图像，计算出所述原始图像中每个像素的前景颜色分量和背景颜色分量，以确定出所述原始图像的前景分量和背景分量。

如图2所示，S106具体为：

在S201中，将所述透明值转换为维度为L×M的矩阵，所述L为所述原始图像的像素长度，所述M为所述原始图像的像素宽度。

在本实施例中，若原始图像的分辨率为L×M，其像素总数N＝L×M，则通过将维度为N×1的透明值转换为维度为L×M的矩阵，由此生成了与原始图像的像素坐标一一对应的矩阵。

在S202中，对于每个像素坐标：

当所述透明值大于第一预设阈值时，所述原始图像的前景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的背景颜色分量等于0；

例如，所述第一预设阈值为0.95，则对于像素坐标(i,j)，如果α(i,j)>0.95，则F(i,j)＝I(i,j)，B(i,j)＝0，其中，所述F(i,j)为所述原始图像的前景颜色分量，所述B(i,j)为所述原始图像的背景颜色分量。

当所述透明值小于第二预设阈值时，所述原始图像的背景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的前景颜色分量等于0；

例如，所述第一预设阈值为0.05，则对于像素坐标(i,j)，如果α(i,j)<0.05，则B(i,j)＝I(i,j)，F(i,j)＝0。

否则，截取所述像素坐标所在的8邻域，将该8邻域中对应的所述透明值和所述原始图像的RGB值分别排列为9×1的向量，通过求解预设方程得到所述原始图像的前景颜色分量和背景颜色分量。

具体地，截取像素坐标(i,j)所在8邻域(3×3的窗口)，将其中对应的α值和原始图像的RGB值分别排列为9×1的向量，求解以下的方程：

Ax＝I，其中，所述A为9×2的矩阵，其第一列为α，第二列为1-α，由此，可以求解得到：

F(i,j)＝x(1)，B(i,j)＝x(2)。

由此，在S202中，遍历完图像中的每个像素点，求解出每个像素点的前景颜色分量和背景颜色分量，即可以得到原始图像中的前景图像和背景图像，并根据I＝αF+(1-α)B从原始图像中分割出前景图像，其中，所述I为所述原始图像，所述α为所述透明值，所述F为所述前景图像，所述B为所述背景图像。

在S107中，根据确定出的所述原始图像的前景分量和背景分量，从所述原始图像中分割得到前景图像。

针对分割得到的图像，作为本发明的一个实施例，还可以将该图像与新的图像进行融合，从而生成新的图像，完成图像的抠图与融合。进一步地，在本实施例中，S107之后，如图3所示，所述方法还包括：

在S108中，将分割得到的所述前景图像与新背景图像融合，生成新的图像。

具体地，可以通过以下公式完成融合：

newI＝F*α+(1-α)newBG，其中，所述newI为所述新的图像，所述newBG为所述新背景图像。

在本实施例中，前景图像在与新背景图像融合时，可以随意地对前景图像的大小或者像素位置进行调整，以达到更好的融合效果。

在本发明实施例中，利用用户的交互操作来获取到目标图像的轮廓，在交互操作过程中结合移动终端的操作特点提供相应的辅助手段，同时，通过该轮廓制作图像掩模，以进一步地实现图像前景和背景的精确提取，在此过程中减少了图像分割的计算量，充分地考虑了移动终端的受限的处理性能，有效地在移动终端上实现了图像分割。

作为本发明在移动终端上的一个实现示例，图4A至图4D分别示出了原始图像、用户交互操作后在原始图像上生成的封闭曲线、分割出的前景图像和分割出的前景图像与新背景图像融合后得到的新图像的示意图，可以看出，本发明实施例提供的图像分割方法能够在移动终端上达到很好的图像分割效果。

图5示出了本发明实施例提供的图像分割装置的结构框图，该装置用于运行本发明图1至图3实施例所述的图像分割方法。为了便于说明，仅示出了与本实施例相关的部分。

参照图5，该装置包括：

检测单元51，检测滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线。

模板生成单元52，根据所述封闭曲线生成二值化的图像模板，所述二值化的图像模板与所述原始图像的尺寸相等。

轮廓获取单元53，根据生成的所述二值化的图像模板检测并获取到所述目标图像的轮廓。

掩膜生成单元54，根据所述目标图像的轮廓生成掩膜，所述掩膜中包括确定的前景区域、确定的背景区域和未知区域。

透明值计算单元55，计算所述掩膜中所述未知区域的透明值。

颜色分量计算单元56，利用所述透明值和所述原始图像，计算出所述原始图像中每个像素的前景颜色分量和背景颜色分量，以确定出所述原始图像的前景分量和背景分量。

分割单元57，根据确定出的所述原始图像的前景分量和背景分量，从所述原始图像中分割得到前景图像。

可选地，所述检测单元51包括：

撤销子单元，检测滑动撤销操作，撤销当前已执行的滑动操作。

检测子单元，重新检测滑动操作。

可选地，所述装置还包括：

图像放大单元，对所述原始图像进行局部放大。

可选地，所述颜色分量计算单元56包括：

转换子单元，将所述透明值转换为维度为L×M的矩阵，所述L为所述原始图像的像素长度，所述M为所述原始图像的像素宽度。

计算子单元，对于每个像素坐标：

当所述透明值大于第一预设阈值时，所述原始图像的前景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的背景颜色分量等于0；

当所述透明值小于第二预设阈值时，所述原始图像的背景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的前景颜色分量等于0；

否则，截取所述像素坐标所在的8邻域，将该8邻域中对应的所述透明值和所述原始图像的RGB值分别排列为9×1的向量，通过求解预设方程得到所述原始图像的前景颜色分量和背景颜色分量。

可选地，所述装置还包括：

融合单元，将分割得到的所述前景图像与新背景图像融合，生成新的图像。

在本发明实施例中，利用用户的交互操作来获取到目标图像的轮廓，通过该轮廓制作图像掩模，以进一步地实现图像前景和背景的精确提取，完成图像分割，该方法充分结合了移动终端的操作特点及处理性能，能够有效地在移动终端上实现图像分割。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像分割方法，其特征在于，包括：

检测用户在移动终端屏幕上进行的滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线；

根据所述封闭曲线生成二值化的图像模板，所述二值化的图像模板与所述原始图像的尺寸相等；

根据生成的所述二值化的图像模板检测并获取到所述目标图像的轮廓；

根据所述目标图像的轮廓生成掩膜，所述掩膜中包括确定的前景区域、确定的背景区域和未知区域；

计算所述掩膜中所述未知区域的透明值；

利用所述透明值和所述原始图像，计算出所述原始图像中每个像素的前景颜色分量和背景颜色分量，以确定出所述原始图像的前景分量和背景分量；

根据确定出的所述原始图像的前景分量和背景分量，从所述原始图像中分割得到前景图像；

所述检测用户在移动终端屏幕上进行的滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线，还包括：

沿着所述封闭曲线进行像素采集，若无法检测到所述封闭曲线的外边界线和内边界线，则返回执行所述检测用户在移动终端屏幕上进行的滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线的操作。

2.如权利要求1所述的方法，其特征在于，所述检测滑动操作包括：

检测滑动撤销操作，撤销当前已执行的滑动操作；

重新检测滑动操作。

3.如权利要求1所述的方法，其特征在于，在所述检测滑动操作之前，所述方法还包括：

对所述原始图像进行局部放大。

4.如权利要求1所述的方法，其特征在于，所述利用所述透明值和所述原始图像，计算出所述原始图像的前景颜色分量和背景颜色分量包括：

将所述透明值转换为维度为L×M的矩阵，所述L为所述原始图像的像素长度，所述M为所述原始图像的像素宽度；

对于每个像素坐标：

当所述透明值大于第一预设阈值时，所述原始图像的前景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的背景颜色分量等于0；

当所述透明值小于第二预设阈值时，所述原始图像的背景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的前景颜色分量等于0；

否则，截取所述像素坐标所在的8邻域，将该8邻域中对应的所述透明值和所述原始图像的RGB值分别排列为9×1的向量，通过求解Ax＝I得到所述原始图像的前景颜色分量和背景颜色分量，其中，所述A为9×2的矩阵，其第一列为α，第二列为1-α；所述α为所述透明值；所述I为所述原始图像；所述x为所述原始图像的前景颜色分量和背景颜色分量的集合。

5.如权利要求1－4任一项所述的方法，其特征在于，所述方法还包括：

将分割得到的所述前景图像与新的图像中的背景图像融合，生成融合后的所述新的图像。

6.一种图像分割装置，其特征在于，包括：

检测单元，用于检测用户在移动终端屏幕上进行的滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线；

模板生成单元，用于根据所述封闭曲线生成二值化的图像模板，所述二值化的图像模板与所述原始图像的尺寸相等；

轮廓获取单元，用于根据生成的所述二值化的图像模板检测并获取到所述目标图像的轮廓；

掩膜生成单元，用于根据所述目标图像的轮廓生成掩膜，所述掩膜中包括确定的前景区域、确定的背景区域和未知区域；

透明值计算单元，用于计算所述掩膜中所述未知区域的透明值；

颜色分量计算单元，用于利用所述透明值和所述原始图像，计算出所述原始图像中每个像素的前景颜色分量和背景颜色分量，以确定出所述原始图像的前景分量和背景分量；

分割单元，用于根据确定出的所述原始图像的前景分量和背景分量，从所述原始图像中分割得到前景图像；

所述检测单元，还用于沿着所述封闭曲线进行像素采集，若无法检测到所述封闭曲线的外边界线和内边界线，则返回执行所述检测用户在移动终端屏幕上进行的滑动操作，根据所述滑动操作在原始图像上生成围绕着目标图像的封闭曲线的操作。

7.如权利要求6所述的装置，其特征在于，所述检测单元包括：

撤销子单元，用于检测滑动撤销操作，撤销当前已执行的滑动操作；

检测子单元，用于重新检测滑动操作。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

图像放大单元，用于对所述原始图像进行局部放大。

9.如权利要求6所述的装置，其特征在于，所述颜色分量计算单元包括：

转换子单元，用于将所述透明值转换为维度为L×M的矩阵，所述L为所述原始图像的像素长度，所述M为所述原始图像的像素宽度；

计算子单元，用于对于每个像素坐标：

当所述透明值大于第一预设阈值时，所述原始图像的前景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的背景颜色分量等于0；

当所述透明值小于第二预设阈值时，所述原始图像的背景颜色分量等于所述原始图像该像素坐标的颜色分量，所述原始图像的前景颜色分量等于0；

否则，截取所述像素坐标所在的8邻域，将该8邻域中对应的所述透明值和所述原始图像的RGB值分别排列为9×1的向量，通过求解Ax＝I得到所述原始图像的前景颜色分量和背景颜色分量，其中，所述A为9×2的矩阵，其第一列为α，第二列为1-α；所述α为所述透明值；所述I为所述原始图像；所述x为所述原始图像的前景颜色分量和背景颜色分量的集合。

10.如权利要求6－9任一项所述的装置，其特征在于，所述装置还包括：

融合单元，用于将分割得到的所述前景图像与新的图像中的背景图像融合，生成融合后的所述新的图像。