CN102117485B - 一种基于目标形状的自动图像分割方法 - Google Patents

Abstract

本发明涉及一种基于目标形状的自动图像分割方法，其包括以下步骤：形状模板制备：在包含目标的已知图像中，根据目标形状，建立多尺度形状模板，提取形状信息；自动图像分割：根据待分割图像颜色以及上述形状信息建立s-t图，使用最大流/最小割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结果。本发明在能量极小化的图像分割框架下，采用图割优化技术，结合已知目标的形状信息，进行自动图像分割，模板制备完成后，无需任何人工干预，能够全自动的完成分割任务，可以用于灰度和彩色图像分割，尤其适用于在连续视频图像中自动提取已知形状的目标。

Description

一种基于目标形状的自动图像分割方法

技术领域

本发明涉及图像处理技术领域，具体的说是一种基于目标形状的自动图像分割方法。

背景技术

图像分割是计算机视觉领域中的一个基本性的问题，也是图像处理与图像理解的重要研究方向，它的目的是将图像分成若干个有意义的区域。图像分割问题也可以看作是像素标号问题。在过去的几十年中，研究人员针对自动图像分割技术进行了大量的研究，业已提出了许多算法。一些早期的分割算法由于没有具体的分割能量表达式，没有形成一个清楚的代价函数，所以不易与其他算法结合，也不容易对分割结果做出评价。将能量极小化方法引入到图像分割当中可以很好的解决上述问题。能量极小化方法包括两个主要的步骤：设计目标函数和最小化目标函数。

1989年，Greig等人首先从组合优化的角度提出图割算法可以用来最小化视觉中特定的能量函数，这个能量可以表示为一个在MAP-MRF框架下的后验能量。基于图割的能量最小化方法首先要对针对能量函数建立一个图，使得MRF的组合与图的割之间一一对应，因此割的总代价就等价于组合的总能量。构造了这样一个图，就能通过最小割来找到一个最小能量的MRF组合，这个最小割就是能量的最小值。根据Ford和Fulkerson的理论，最小割可以通过最大流算法计算。

由于过去的最大流/最小割方法效率很低，加上二值图像复原看似有很大的应用局限性，导致很长一段时间以来Greig等人的研究没有得到足够的重视。这种情况一直持续到2000年左右。Boykov等人在计算机视觉高水平会议和期刊上连续发表了关于新的图割方法的论文，并提出一种交互式图像分割算法。他们用这个新的图割算法最优化定义在离散变量集合的MAP-MRF能量。这个能量函数一般由两项组成：一项用来惩罚解与观察数据的不一致性，另一项则加强空间上的一致性。与传统的方法相比，新的最大流/最小割方法可以极大提高算法效率，并且能够推广到N维。在视觉实际应用中的研究表明，该算法可以在普通的PC机上接近实时的解决二维或者三维图像分割问题。Boykov等人的工作将图割在视觉领域中的应用推向了一个新的发展阶段。自那之后，对图割方法的研究呈现出不断上升的势头，越来越多的知名学府和研究机构的专家学者加入到此项研究的行列中来。图割方法引起的关注极大的推动了视觉领域各个相关技术的发展，用图割进行能量最优化在计算机和图形领域已经变成一个热点。

Marr曾提出各层相互独立、严格由低到高的分层视觉框架。由于各层之间不存在反馈，数据自底向上单向流动，高层信息无法指导底层特征的提取，导致底层误差不断积累传播到高层，并且没有提供任何可以修正的机会，许多底层的视觉任务由于欠缺约束条件而成为病态问题，没有唯一解。背景噪声的存在，目标被其它物体遮挡，目标的对比度很低甚至某些部分缺失时，会导致虚假的边缘，轮廓的断裂，以及目标之间边界的交迭，此时传统的分割方法往往会失效。目标的位姿、光照，以及相机视点的改变等，也会导致不一致的分割结果。这就需要建立一种更接近人类视觉机理的分割框架，能将基于图像本身的低层次视觉特征与高层信息有机地结合起来，共同指导图像分割。

结合关于目标形状的先验知识会使得分割更加鲁棒。形状先验能够通过排除所有不符合先验知识的分割区域来减少分割的不明确性。加入分割目标的先验知识指导分割正是通过高层的信息来指导低层的分割。进入20世纪以来，有许多学者从事关于在主动轮廓分割模型中使用基于水平集的形状先验的研究工作。但从他们的论文中可以看出，水平集分割是数值不稳定的，而且倾向于陷入局部极小值解。近年来，人们又尝试将目标的形状先验知识加入基于图割的分割模型来改进分割效果。将形状先验与图割框架相结合进行图像分割方面研究是一个崭新的课题，形状知识在分割模型中有效的表述仍是需要研究的一个问题。而且，在分割模型中加入先验信息会增加算法的复杂度，影响它们在实时条件下的应用。目前基于图割的图像分割方法大多是采用人机交互的半自动分割方式，而在实际应用中需要算法能够自动进行分割。

发明内容

针对现有技术中存在的分割精度低、需要人工交互操作等不足，本发明要解决的技术问题是提供一种分割精度高的基于图割算法的自动图像分割方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明基于目标形状的自动图像分割方法包括以下步骤：

形状模板制备：在包含目标的已知图像中，根据目标形状，建立多尺度形状模板，提取形状信息；

自动图像分割：根据待分割图像颜色以及上述形状信息建立s-t图，使用最大流/最小割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结果。

所述形状模板制备包括以下步骤：

在已知图像上沿着目标边缘绘制出形状轮廓；

从需要的最大尺度开始，根据设定的尺度步长，使用图像缩放依次生成各个尺度的形状；

在所得到的各个尺度的形状图像中做四连通距离变换；

根据预先设定的变形率，得到形状模板的内、外轮廓；

将外轮廓、内轮廓，以及内、外轮廓之间的点的坐标和距离值分别按照源点、汇点和普通节点分类记录；

对源点、汇点和普通节点中的每个节点依次判断其4邻域内有无合法数据点，并保存判断结果和邻居点序号。

所述自动图像分割包括以下步骤：

读入制备好的形状模板信息，并将当前最小能量设为无穷大；

根据多尺度模板的节点类型信息构建s-t图的节点集合和4邻域边集合，利用图像灰度或者纹理信息为s-t图中的每条边赋边权值，根据每个节点的距离信息进行边权值加权；

使用最大流/最小割算法找到该s-t图的最小割，得到分割能量与最小割对应的饱和边，将分割能量与饱和边的边数相除得到归一化能量；

上述归一化能量与当前最小能量做比较，若归一化能量＜当前最小能量，则将归一化能量的值赋给当前最小能量，并保存当前分割结果；

判断多尺度模板中的所有尺度是否计算完毕；

如果所有尺度计算完毕，则判断待分割图像中的所有位置是否计算完毕；

如果所有位置计算完毕，则输出能量最小值对应的分割结果；

如果所有位置没有计算完毕，则计算待分割图像中的下一个位置，返回读入制备好的形状模板信息，并将当前最小能量设为无穷大步骤；

如果所有尺度没有计算完毕，读入下一尺度形状信息；返回根据多尺度模板的节点类型信息构建s-t图的节点集合和4邻域边集合步骤；

如果归一化能量不小于当前最小能量，则接续判断多尺度模板中的所有尺度是否计算完毕步骤。

本发明具有以下有益效果及优点：

1.本发明在能量极小化的图像分割框架下，采用图割优化技术，结合已知目标的形状信息，进行自动图像分割，模板制备完成后，无需任何人工干预，能够全自动的完成分割任务。

2.本发明可以用于灰度和彩色图像分割，尤其适用于在连续视频图像中自动提取已知形状的目标。

附图说明

图1为本发明基于目标形状的自动分割算法流程图；

图2为本发明方法实施例采用的已知形状图像；

图3为本发明方法中实施例多尺度形状模板图像；

图4为本发明方法中实施例应用的待分割图像；

图5为采用本发明方法实施例分割结果图像。

具体实施方式

以下结合附图和具体实施例对本发明进行说明，但本发明不限于本实施例。

本发明基于目标形状的自动图像分割方法利用已知图像制备形状模板，将目标的形状信息引入图割框架指导图像分割，包括以下步骤：

形状模板制备：在包含目标的已知图像中，根据已知目标形状，建立多尺度形状模板，提取形状信息；

自动图像分割：根据待分割图像颜色以及上述形状信息建立s-t图，使用最大流/最小割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结果。

1.形状模板制备

如图1所示，在本步骤中，需要从已知图像中获取目标的形状信息，并保存为便于在分割算法中使用的形式。具体方法为：

1)在已知图像上(如图2所示)沿着目标边缘绘制出形状轮廓。

用鼠标在已知图像中，绘制出已知目标的闭合轮廓，得到原始目标形状二值图像，图像的尺寸等于所绘制轮廓的外接矩形。

2)从需要的最大尺度开始，根据设定的尺度步长，使用图像缩放依次生成各个尺度的形状。

设定最大尺度S_max和尺度步长Δs，利用原始目标形状二值图像进行图像缩放，依次生成各个尺度下的形状轮廓二值图像。

3)在所得到的各个尺度的形状图像中做四连通(L1)距离变换。

4)在所得到的距离图像中根据预先设定的变形率，得到形状模板的内、外轮廓(如图3所示白色部分)。

设定变形率a，表示允许形状轮廓在±a个像素的范围内自由变化，根据实际情况，各个尺度下a的数值可以相同也可分别设计。距离值等于a且在形状外部的点为外轮廓点，距离值等于a且在形状内部的点为内轮廓点。

5)将外轮廓、内轮廓，以及内、外轮廓之间的点的坐标和距离值分别按照源点(source)、汇点(sink)和普通节点分类记录。

将外轮廓点记录为源点，内轮廓点记录为汇点，距离值在0到a之间的点记录为普通节点(如图3所示白色部分之间所夹灰色部分)，并记录每个节点对应的距离值，将记录点按照尺度级分别保存。

6)对源点(source)、汇点(sink)和普通节点中的每个节点依次判断其4邻域内有无合法数据点，并保存判断结果和邻居点序号。

本步骤对所记录的形状信息加以处理是为了加快s-t图的建立速度。

在形状模板制备步骤完成后，生成的每一尺度级的形状模板包括以下信息：所在尺度，模板宽高，节点个数，变形率，模板数据。每个模板数据信息包括：节点类型，相邻节点，坐标，邻居序号，距离值。

2.自动图像分割步骤如下：

本步骤需要利用制备好的形状模板信息，从待分割图像中自动分割出已知目标。具体方法为：

1)读入制备好的形状模板信息，并将当前最小能量设为无穷大

打开待分割图像(如图4所示)，本实施例从图像的左上角第一个合法位置开始计算，令当前能量最小值E_min＝∞。

2)根据多尺度模板的节点类型信息构建s-t图的节点集合和4邻域边集合，利用图像灰度或者纹理信息为s-t图中的每条边赋边权值，根据每个节点的距离信息进行边权值加权

根据多尺度模板的节点类型信息自动建立s-t图；按形状信息节点顺序依次判断模板中各个节点的节点类型信息，确定源点、汇点和普通节点，根据相邻节点信息和邻居标号信息确定各条边。

根据图像的颜色和灰度，边权值通过下式计算：

$V_{\mathrm{pq}}(f_p,f_q)=\exp (-\frac{{(I_p-I_q)}^2}{{2\mathrm{\σ}}^2})\·|f_p-f_q|---\left(1\right)$

有时目标内部颜色或者灰度分布不均匀，但具有统一纹理特征，此时边权值可通过结构张量计算：

结构张量公式为： $T=K_{\mathrm{\ρ}}*\▿I\▿I^T=\left(\begin{array}{cc}{K}_{\mathrm{\ρ}}*I_x^2& K_{\mathrm{\ρ}}*I_x{I}_y\\ K_{\mathrm{\ρ}}*I_x{I}_y& K_{\mathrm{\ρ}}*I_y^2\end{array}\right)$

得到张量T的两个特征值λ₁与λ₂，令

mag(T)＝(λ₁+λ₂)²，coh(T)＝(λ₁-λ₂)²

构造向量Q＝[mag(T) coh(T)]^T，

则边权值公式为： $V_{\mathrm{pq}}(f_p,f_q)=\exp (-\frac{{(Q_p-Q_q)}^2}{{2\mathrm{\σ}}^2})\·|f_p-f_q|---\left(2\right)$

其中V_pq为节点p、q所组成边的边权值，f_p，f_q分别为节点p、q所对应的标号，I_p、I_q分别为节点p、q的灰度值，σ为常数；

T为结构张量，K_ρ为标准差为ρ的高斯核，

为待分割图像的一阶导数，为

的转置，I_r为待分割图像中水平方向的一阶导数，I_y为待分割图像中垂直方向的一阶导数；

Q_p、Q_q为节点p、q对应的向量值；

根据形状模板节点的距离值，为每条边权值进行加权，即

V′_pq(f_p，f_q)＝V_pq(f_p，f_q)·(1+KL/a)    (3)

其中L为距离值，a为变形率，K为常数；

3)使用最大流/最小割算法找到该s-t图的最小割，得到分割能量与最小割对应的饱和边，将分割能量与饱和边的边数相除得到归一化能量；

使用最大流/最小割方法进行图割，求得能量值E’和最小割对应的饱和边。

考虑各个尺度形状比例不同，以及具体分割形状的差异，将能量E’除以饱和边总数得到归一化能量E。

4)上述归一化能量与当前最小能量做比较，若归一化能量＜当前最小能量，则将归一化能量的值赋给当前最小能量，并保存当前分割结果；

将归一化能量E与当前最小能量E_min比较，若E＜E_min，则将归一化能量E的值赋给当前最小能量E_min，并保存当前结果。

5)判断多尺度模板中的所有尺度是否计算完毕。

6)如果所有尺度计算完毕，则判断待分割图像中的所有位置是否计算完毕。

7)如果所有位置计算完毕，则输出能量最小值对应的分割结果(如图5所示灰色曲线包围部分)。

接续第5)步骤：如果所有位置没有计算完毕，则计算待分割图像中的下一个位置，返回读入制备好的形状模板信息，并将当前最小能量设为无穷大步骤。

接续第6)步骤：如果所有尺度没有计算完毕，读入下一尺度形状信息；返回根据多尺度模板的节点类型信息构建s-t图的节点集合和4邻域边集合步骤。

接续第7)步骤：如果归一化能量不小于当前最小能量，则接续判断多尺度模板中的所有尺度是否计算完毕步骤。

Claims (5)

1.一种基于目标形状的自动图像分割方法，其特征在于包括以下步骤：

形状模板制备：在包含目标的已知图像中，根据目标形状，建立多尺度形状模板，提取形状信息；

自动图像分割：根据待分割图像颜色以及上述形状信息建立s-t图，使用最大流/最小割方法优化图割能量，遍历图像中所有合法位置，能量最小值对应的即为最终分割结果；

所述形状模板制备包括以下步骤：

在已知图像上沿着目标边缘绘制出形状轮廓；

从需要的最大尺度开始，根据设定的尺度步长，使用图像缩放依次生成各个尺度的形状模板；

在所得到的各个尺度的形状模板中做四连通距离变换；

根据预先设定的变形率，得到形状模板的内、外轮廓；

将外轮廓、内轮廓，以及内、外轮廓之间的点的坐标和距离值分别按照源点、汇点和普通节点分类记录；

对源点、汇点和普通节点中的每个节点依次判断其4邻域内有无合法数据点，并保存判断结果和邻居点序号。

2.按权利要求1所述的基于目标形状的自动图像分割方法，其特征在于所述自动图像分割包括以下步骤：

读入制备好的形状模板信息，并将当前最小能量设为无穷大；

根据多尺度形状模板的节点类型信息构建s-t图的节点集合和4邻域边集合，利用图像灰度或者纹理信息为s-t图中的每条边赋边权值，根据每个节点的距离信息进行边权值加权；

使用最大流/最小割算法找到该s-t图的最小割，得到分割能量与最小割对应的饱和边，将分割能量与饱和边的边数相除得到归一化能量；

上述归一化能量与当前最小能量做比较，若归一化能量＜当前最小能量，则将归一化能量的值赋给当前最小能量，并保存当前分割结果；

判断多尺度形状模板中的所有尺度是否计算完毕；

如果所有尺度计算完毕，则判断待分割图像中的所有位置是否计算完毕；

如果所有位置计算完毕，则输出能量最小值对应的分割结果。

3.按权利要求2所述的基于目标形状的自动图像分割方法，其特征在于：如果所有位置没有计算完毕，则计算待分割图像中的下一个位置，返回读入制备好的形状模板信息，并将当前最小能量设为无穷大步骤。

4.按权利要求2所述的基于目标形状的自动图像分割方法，其特征在于：如果所有尺度没有计算完毕，读入下一尺度形状信息；返回根据多尺度形状模板的节点类型信息构建s-t图的节点集合和4邻域边集合步骤。

5.按权利要求2所述的基于目标形状的自动图像分割方法，其特征在于：如果归一化能量不小于当前最小能量，则接续判断多尺度形状模板中的所有尺度是否计算完毕步骤。

Images