CN108510505B - 一种基于双边格的高分辨率图像的图切分图像分割方法 - Google Patents

Abstract

本发明公开了一种基于双边格的高分辨率图像的图切分图像分割方法，包括以下步骤：步骤A、根据输入图像大小和算法需要构建双边格；步骤B、根据空间采样比、色度采样比将需要分割的原图像嵌入到双边格；步骤C、把所有像素点用双边格顶点代替；步骤D、对双边格中所有顶点进行标签化，步骤E，在双半格执行图切分图像分割；步骤F、通过三线性插值把双边格图切分结果插值回图像空间。本发明利用双边格数据结构，将高分辨率输入图像迁移至低分辨率双边格，在双边格域执行图切分算法。本发明的优势是使得嵌入式设备能够进行高分辨率图像的图切分图像分割。

Description

一种基于双边格的高分辨率图像的图切分图像分割方法

技术领域

本发明涉及给出一种基于双边格的图像分割方法，属于图像处理技术领域。

背景技术

智能手机和移动处理终端的消费级使用扩大了数字媒体的使用群体和相关应用，引领了数字媒体大数据发展。由于智能手机和移动终端等嵌入式设备计算处理能力有限，而有限的电池使用时间约束着设备计算性能的发挥。同时，高分辨率获取设备的使用使得高分辨率数字图像逐步应用到现代人们日常生活中，因此研发智能手机和移动处理终端的高分辨率图像处理方法很有必要。

图像分割是图像理解和计算机视觉处理的重要预处理步骤。图像分割的应用领域非常广泛，在工业自动化、生产控制、遥感图像、安保监控、以及军事等方面都有广泛的应用。在交通图像分析中，图像分割把关注的目标车辆从背景取出；在遥感图像处理的合成孔径雷达图像的目标分割、遥感云图中不同云系和背景分布的分割等。准确的图像分割为其后的图像分析、理解、识别等更复杂的算法提供基元，分割的准确率影响后续图像算法的处理结果和效率。

传统的图像分割方法主要有基于阈值的图像分割、基于边界检测的图像分割和基于区域的图像分割方法等。基于边界检测的图像分割往往会由于图像边界信息模糊和灰度不均造成图像分割结果欠准确。Chan和Vese提出了一种根据图像全局信息构建图像CV模型，从而实现基于边界检测的图像分割[ChanTF,VeseLA.Active contours withoutedges.IEEE Transactions on Image Processing,10(8):1169-1186,2001]，其方法在弱边界和强噪声图像的分割取得了较好的结果，但该方法在图像灰度信息分布不均匀时分割效果不甚理想。基于区域生长的图像分割方法是常用的图像分割方法，但其需要人工交互产生种子点，同时区域分割对噪声鲁棒性较低。Sarkar提出了一种基于马尔科夫随机场模型的图像分割算法[SarkarA,Biswas M K S.A simple unsupervised MRF model basedimage segmentation approach.IEEE Transactions on Image Processing,9(6):1684-1699,2000]，通过对原图像建立MRF分割模型，以不断迭代的过程完成图像分割。由于噪声影响和相邻区域在边界位置的相似性，基于MRF的分割方法易导致分割结果在图像边界归属不明确。Chen等提出了一种边缘检测的图像分割算法[Chen T,Bu J J.ANovel ImageSegmentation Approach Based on Edge Detection.Computer Engineering,7(29):152-154,2003]，通过利用Robert微分算子与动态自适应阈值相结合的边缘检测方法对进行图像分割，利用检测的边缘点的方向信息作为Hough变换的方向角提取边缘线段，最终通过边缘跟踪分割区域。该方法在一定程度解决了传统边缘算法用于图像分割所带来的分割结果在细碎边缘和高噪声区欠准确的问题，但该算法检测出的相似区域是互相独立，不能把颜色相近、位置相邻的相似区域组合成更大区域，因此分割结果并非最优。

对于高分辨率图像的编辑操作算法而言，原本在计算机平台处理流畅、高效的数字媒体编辑算法，在智能手机或移动处理终端等嵌入式终端变得卡滞、低效，甚至不能处理。因此亟需研究嵌入式设备的高分辨率图像编辑处理方法。

发明内容

本发明所要解决的技术问题在于：克服现有嵌入式设备在处理高分辨率图像性能不足的缺陷，提出一种基于双边格的高分辨率图像的图切分图像分割方法，使得嵌入式设备能够高分辨率图像。

本发明的基于双边格的高分辨率图像的图切分图像分割方法，包括以下步骤：

本发明提出一种基于双边格的高分辨率图像的图切分图像分割方法，具体包括以下步骤：

步骤A、根据输入图像大小和图切分算法需要构建双边格；

步骤B、根据空间采样比和颜色采样比，将需要分割的原图像从像素空间采样嵌入到双边格空间；

步骤C、在双边格空间中，对采样到网格中的所有像素点，用距离该像素点最近的网格顶点来等价代替；

步骤D、对双边格中所有的网格顶点进行标签化；

步骤E、对双边格中所有顶点利用图切分算法进行图像分割；

步骤F、通过三线性插值把步骤E的分割结果由双边格空间重建到图像像素空间。

进一步的，本发明所提出的方法中，步骤A根据输入图像大小和图切分算法需要确定双边格维度数及每个维度的大小。

进一步的，本发明所提出的方法中，步骤A中采用五维双边格，第一维和第二维为空间，第三维、第四维和第五维为颜色维度；构建双边格后，对于所有的双边格节点(i,j,l,m,n)，初始化Γ(i,j,l,m,n)＝(0,0,0,0,0)。

进一步的，本发明所提出的方法中，步骤B中，对于给定的高分辨率图像I_w×h，将图像从像素空间采样嵌入至双边格空间Γ＝([x/σ_s],[y/σ_s],[I(x,y)/σ_r])，其中，σ_s代表空间采样比，σ_r代表颜色采样比，[]表示取整操作；w、h分别代表图像的宽度和高度。

进一步的，本发明所提出的方法中，根据给定的待分割图像I，定义前景像素和背景像素FG,BG∈I，给定图像的二值标签α:I→{0,1}用来标定每个图像中的像素属于前景或背景。

进一步的，本发明所提出的方法中，步骤C具体为：定义空间域图像中的像素为p＝[x,y]^T，将图像中的每个像素点p嵌入至双边格，其双边格中顶点坐标表示为b(p)＝[x,y,c_y,c_u,c_v]^T，(c_y,c_u,c_v)为位置(x,y)处像素的YUV颜色值；

其中，对采样后像素点位于顶点之间的像素，用离该像素点最近的网格顶点b(p)做为像素点的双边格顶点；对于每个网格顶点v∈Γ，设置其权重为

其中

进一步的，本发明所提出的方法中，步骤D中对于网格中的所有顶点v∈Γ，确定二值标签α，其中α_v＝1为前景物体，α_v＝0为背景。

进一步的，本发明所提出的方法中，步骤E对双边格中所有顶点利用图切分算法进行分割，具体如下：

步骤E1、定义图ρ＝(Γ,ξ)，Γ为双边格顶点集，ξ为边集；在双边格顶点集合Γ中增加源端顶点S和终端顶点T，所有除S和T外的顶点都须和S以n型连接边连接，与T以t型连接边连接；

步骤E2、在双边格中运用图切分算法进行图像分割，在能量E(L)＝αR(L)+B(L)达到最小化取得分割，R(L)为区域项，B(L)为边界项，α为调节系数；

其中L＝{v₁,v₂,...,v_n}为网格中每个顶点标签，v_i＝1为表示v_i划分至前景物体，v_i＝0为表示v_i划分至背景；

步骤E201、设定边的权值，

s型连接边的权定义为R₁(p)＝-lnPr(I_p|p∈S)，t型连接边的权定义为R₀(p)＝-lnPr(I_p|p∈T)；R₁(p)度量顶点属于S的墒，R₀(p)度量顶点属于T的墒；

步骤E202、设置边界项B(L)值，定义如下：

其中，p和q为相邻网格顶点，B_<p,q>为相邻顶点间的不连续的惩罚项，即相邻顶点相似度越高则B_<p,q>越大，反之则越小；

步骤E203、最优化能量函数E：运用最大流最小割方法计算E的最小值，得到双边格域图像分割结果。

本发明采用以上技术手段，具有以下技术效果：

本发明考虑到基于传统像素域图像分割算法的不足，利用双边格数据结构将图像分割算法迁移到双边格空间，在双边格域执行图切分图像分割，再把双边格分割结果插值重建至像素空间，提高了图像的处理速度，且提高嵌入式设备的对高分辨率大图像的处理能力。

附图说明

图1为本发明方法的流程图。

图2为本发明方法的示例图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

双边格是一种新型数据结构，把空间位置和数据属性结合起来协同处理。本发明给出一种基于双边格的高分辨率图像的图切分图像分割方法，利用双边格节点数少及把空间位置和数据属性结合起来协同处理的优势，把待处理的高分辨率图像，通过采样嵌入到双边格(其节点个数原小于原图像)进行处理，在双边格域执行图切分图像分割，使嵌入式设备可处理高分辨率图像，提高了嵌入式设备图像分割效率和执行能力。

本发明的基本流程为：对输入待分割的高分辨率图像，通过空间采样比和颜色采样比把图像采样到双边网域。对采样到网格空间中的所有像素点，采用离该像素点就近的网格顶点来做为该像素点代理点。在双边网域通过图切分算法对所有的网格顶点进行分割，使网格顶点都持有前景或是背景标签。对分割后的网格顶点利用插值方法把分割结果从双边格空间恢复到图像的像素空间。

为了便于公众理解，在对本发明技术方案进行详细说明前，下面先对本发明技术方案所涉及的相关现有技术进行简要说明。

1.双边滤波

双边滤波在传统滤波器基础上考虑了像素差影响的滤波器，具有保边去噪性能。与传统的高斯滤波器相比，双边滤波不仅考虑了像素几何位置对滤波效果的影响，同时也考虑到了亮度上对滤波结果的影响。通过两者的非线性组合，达到了保边去噪功能。双边滤波的定义如下：

其中I是输入图像，w是权重系数。双边滤波不同于传统的滤波器主要是其权重系数由两个部分组成，包括空间影响权重w_s和灰度值相似影响权重w_r。

将空间影响权重和灰度值相似影响权重进行非线性组合可以得到双边滤波的权重项。

2.双边格

双边格是一种新型的数据结构，通过对输入图像进行空间采样和颜色采样将高分辨率图像采样到尺度较小的双边格，再进行进一步算法处理，可以极大提高处理图像的处理效率。在双边格中，图像的处理操作仅作用在所有的网格顶点上，处理后数据通过插值方式把算法处理结果从双边格空间重建到像素空间。

3.图切分

图切分是一种基于图论的图像分割方法，利用能量优化算法来实现图像分割。图切分用图论的最大流最小割理论解决图像分割。把图像像素点视为图顶点，相邻像素视为图的边，由此形成了图的顶点集和边集。在顶点集中，增加了源端S和终端T两个终端顶点。在边集合中，图顶点与源端S间的边定义为n型连接边，图顶点与终端T间之间的连接边定义为t型连接边。图切分利用最大流最小割方法使得分割后达到最小能量状态，从而把所有顶点划分至两个不相交的子集S和T。在图像分割中s表示像素的前景物体，t表示背景，其中s∈S，t∈T。S和T子集分别对应了图像前景像素集和背景像素集，从而实现了基于图切分的图像分割。

图切分方法把图像分割视为像素标签化问题，目标物体像素要标签为1，背景像素的要标签为0。设二元图切分的标签为L＝{l₀,l₁}，其中l₁＝1为目标标签，l₀＝0为背景标签。对图像进行二元图切分时，能量项定义为E(L)＝aR(L)+B(L)，其中数据项

s型连接边的权定义为R₁(p)＝-lnPr(I_p|p∈S)，t型连接边的权定义为R₀(p)＝-lnPr(I_p|p∈T)。R_p(1)度量顶点属于S的墒，R_n(0)度量顶点属于T的墒。确定了所有边的权后采用最小割算法计算能量，从而实现图像的目标和背景的分割。式中B(L)为边界项，是相邻像素间不连续的惩罚项，约束位置相邻像素同属于物体或背景，保证图像分割边界的平滑性。

本发明给出的图像分割方法基本思路是把高分辨率图像嵌入双边格，在双边格执行图切分图像分割算法，再把分割结果插值回高分辨率图像。与传统图像分割方法在算法处理速度上有很大提升，扩大了处理图像的尺寸，尤其对于高分辨率大图像的分割更显优势，为嵌入式设备进行基于图切分的图像分割提供了方法。

现结合图2对本发明的步骤进行具体介绍。

步骤A、对待分割图像，根据输入图像大小和算法需要构建双边格。

根据高分辨率图像I_w×h和算法需要确定双边格维度数及每个维度的大小。本发明采用五维双边格，第一维和第二维为空间，第三、四和五维为颜色维度。构建双边格后，对于所有的双边格节点(i,j,l,m,n)，初始化Γ(i,j,l,m,n)＝(0,0,0,0,0)。

步骤B、根据确定的空间采样比σ_s和颜色采样比σ_r，将图像从像素空间采样嵌入至双边格空间Γ([x/σ_s],[y/σ_s],[I(x,y)/σ_r])+＝(I(x,y),1)。

根据给定的待分割图像I，定义前景像素和背景像素FG,BG∈I，给定图像的二值标签α:I→{0,1}用来标定每个图像中的像素属于前景或背景。

步骤C、定义空间域图像中的像素为p＝[x,y]^T，将图像中的每个像素点p嵌入至双边格，其双边格中顶点坐标表示为b(p)＝[x,y,c_y,c_u,c_v]^T，(c_y,c_u,c_v)为位置(x,y)处像素的YUV颜色值。

由于图像的部分像素经过采样后并不能位于网格顶点处，对采样后像素点位于顶点之间的像素，用离该像素点最近的网格顶点b(p)做为像素点的双边格顶点。对于每个网格顶点v∈Γ，设置其权重为

其中

步骤D、对于网格中的所有顶点v∈Γ，确定二值标签α，其中α_v＝1为前景物体，α_v＝0为背景。

步骤E、对双边格中所有顶点利用图切分算法进行分割。具体如下：

步骤E1、定义图ρ＝(Γ,ξ)，Γ为双边格顶点集，ξ为边集。在双边格顶点集合Γ中增加源端顶点S和终端顶点T。所有顶点(除S和T)都须和S以n型连接边连接，与T以t型连接边连接。

步骤E2、双边格中运用图切分算法进行图像分割，在能量E(L)＝αR(L)+B(L)达到最小化取得分割，R(L)为区域项，B(L)为边界项，α为调节系数。其中L＝{v₁,v₂,...,v_n}为网格中每个顶点标签，v_i＝1为表示v_i划分至前景物体，v_i＝0为表示v_i划分至背景。

步骤E201、设定边的权值。

s型连接边的权定义为R₁(p)＝-lnPr(I_p|p∈S)，t型连接边的权定义为R₀(p)＝-lnPr(I_p|p∈T)。R₁(p)度量顶点属于S的墒，R₀(p)度量顶点属于T的墒。

步骤E202、设置B(L)值。

边界项定义如下：

其中，p和q为相邻网格顶点，B_<p,q>为相邻顶点间的不连续的惩罚项，即相邻顶点相似度越高则B_<p,q>越大，反之则越小。准确的前景和背景图像分割需要最小化边界项。

步骤E203、最优化能量函数E。运用最大流最小割方法计算E的最小值，得到双边格域图像分割结果。

步骤F、对标签化后的网格顶点利用插值方法将持有标签的图像数据由双边格空间重建到图像像素空间。

综上所述，本发明所提出的一种基于双边格的高分辨率图像的图切分图像分割方法，使嵌入式设备可处理高分辨率图像，提高了嵌入式设备图像分割效率和执行能力。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于双边格的高分辨率图像的图切分图像分割方法，其特征在于，具体包括以下步骤：

步骤A、根据输入图像大小和图切分算法需要，确定双边格维度数及每个维度的大小，构建五维双边格；

步骤B、根据空间采样比和颜色采样比，将需要分割的原图像从像素空间采样嵌入到双边格空间；

步骤C、在双边格空间中，对采样到网格中的所有像素点，用距离该像素点最近的网格顶点来等价代替；

步骤D、对双边格中所有的网格顶点进行标签化；

步骤E、对双边格中所有网格顶点利用图切分算法进行图像分割；具体如下：

步骤E1、定义图ρ＝(Γ,ξ)，Γ为双边格网格顶点集，ξ为边集；在双边格网格顶点集合Γ中增加源端网格顶点S和终端网格顶点T，所有除S和T外的网格顶点都须和S以s型连接边连接，与T以t型连接边连接；

步骤E2、在双边格中运用图切分算法进行图像分割，在能量E(L)＝αR(L)+B(L)达到最小化取得分割，R(L)为区域项，B(L)为边界项，α为调节系数；

其中L＝{v₁,v₂,…,v_n}为网格中每个网格顶点标签，v_i＝1为表示v_i划分至前景物体，v_i＝0为表示v_i划分至背景；

步骤E201、设定边的权值，

s型连接边的权定义为R₁(p)＝-lnPr(I_p|p∈S)，t型连接边的权定义为R₀(p)＝-lnPr(I_p|p∈T)；R₁(p)度量网格顶点属于S的墒，R₀(p)度量网格顶点属于T的墒；

步骤E202、设置边界项B(L)值，定义如下：

其中，p和q为相邻网格顶点，B_<p,q>为相邻网格顶点间的不连续的惩罚项，即相邻网格顶点相似度越高则B_<p,q>越大，反之则越小；公式中σ代表调节系数，用于调节B_<p,q>的值；

步骤E203、最优化能量函数E：运用最大流最小割方法计算E的最小值，得到双边格域图像分割结果；

步骤F、通过三线性插值把步骤E的分割结果由双边格空间重建到图像像素空间。

2.根据权利要求1所述的方法，其特征在于，步骤A中采用五维双边格，第一维和第二维为空间维度，第三维、第四维和第五维为颜色维度；构建双边格后，对于所有的双边格节点(i,j,l,m,n)，初始化Γ(i,j,l,m,n)＝(0,0,0,0,0)。

3.根据权利要求1所述的方法，其特征在于，步骤B中，对于给定的高分辨率图像I_w×h，将图像从像素空间采样嵌入至双边格空间Γ＝([x/σ_s],[y/σ_s],[I(x,y)/σ_r])，其中，σ_s代表空间采样比，σ_r代表颜色采样比，[]表示取整操作；w、h分别代表图像的宽度和高度。

4.根据权利要求1所述的方法，其特征在于，步骤B中，根据给定的待分割图像I，定义前景像素和背景像素FG,BG∈I，给定图像的二值标签α:I→{0,1}用来标定图像中的每个像素属于前景或背景。

5.根据权利要求4所述的方法，其特征在于，步骤C具体为：定义空间域图像中的像素为p＝[x,y]^T，将图像中的每个像素点p嵌入至双边格，其双边格中网格顶点坐标表示为b(p)＝[x,y,c_y,c_u,c_v]^T，(c_y,c_u,c_v)为位置(x,y)处像素的YUV颜色值；

其中，对采样后像素点位于网格顶点之间的像素，用离该像素点最近的网格顶点b(p)做为像素点的双边格网格顶点；对于每个网格顶点v∈Γ，设置其权重为

其中

公式中w代表网格点的权重。

6.根据权利要求1所述的方法，其特征在于，步骤D中对于网格中的所有网格顶点v∈Γ，确定二值标签α，其中α_v＝1为前景物体，α_v＝0为背景，Γ为双边格网格顶点集。

Images