CN105469369B - 基于分割图的数字图像滤波方法和系统 - Google Patents
基于分割图的数字图像滤波方法和系统 Download PDFInfo
- Publication number
- CN105469369B CN105469369B CN201510872635.5A CN201510872635A CN105469369B CN 105469369 B CN105469369 B CN 105469369B CN 201510872635 A CN201510872635 A CN 201510872635A CN 105469369 B CN105469369 B CN 105469369B
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- msub
- mrow
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001914 filtration Methods 0.000 title claims abstract description 52
- 238000005192 partition Methods 0.000 claims description 87
- 230000002776 aggregation Effects 0.000 claims description 69
- 238000004220 aggregation Methods 0.000 claims description 69
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 229920002755 poly(epichlorohydrin) Polymers 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于分割图的数字图像滤波方法和系统，其中，该方法包括步骤1：获取数字图像的超像素分割块；步骤2：在超像素分割块内进行聚合运算；步骤3：进行相邻超像素分割块之间的聚合运算；步骤4：计算相邻超像素分割块之间的加权平均。其中，步骤2具体包括：从超像素分割块内提取出最小生成树，并沿着最小生成树，在超像素分割块内进行聚合运算。步骤4具体包括：在数字图像上选定一窗口，根据窗口覆盖超像素分割块的面积，来计算超像素分割块间加权平均的权重，并对步骤3所得的结果进行加权平均。通过本发明，至少部分地解决了如何抑制纹理的技术问题。
Description
技术领域
本发明实施例涉及计算机图形处理技术领域，尤其是涉及一种基于分割图的数字图像滤波方法和系统。
背景技术
自然图像一般包含大量的细节信息和纹理信息，而这些信息的存在将会降低许多算法的性能。作为这些算法的预处理或者关键组成部分，保边滤波方法需要在保持主要结构的同时平滑掉细节信息。事实上，这种能力就是保边滤波方法作为许多视觉和图形学应用的保证。现有的保边滤波方法可以分为两大类：第一类是基于优化的保边滤波方法。这类方法通过求解最优化的方式来得到最终的保边平滑结果。为此，人们为得到好的滤波结果，设计出了各种各样的正则项，以及求解这些目标函数的优化技术。虽然这类方法通常可以得到令人满意的结果，但是现有的目标函数基本上都没有解析解，需要迭代计算才能够得出最优解，因此，此类方法的计算量都很大。不能满足人们的需求。另一类是基于加权平均的保边滤波方法。这类方法通过设计各种各样的加权平均方案来进行保边滤波。这类方法的计算量都不大，但是滤波效果不好。
虽然人们已经提出了很多保边滤波技术，但是采用这些技术进行滤波之后，图像还存在纹理结构的问题。
有鉴于此，特提出本发明。
发明内容
本发明实施例的主要目的在于提供一种基于分割图的数字图像滤波方法，其至少部分地解决了如何抑制纹理的技术问题。此外，还提供了一种基于分割图的数字图像滤波系统。
为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：
一种基于分割图的数字图像滤波方法，该方法至少可以包括：
步骤1：获取所述数字图像的超像素分割块；
步骤2：在所述超像素分割块内进行聚合运算；
步骤3：进行相邻超像素分割块之间的聚合运算；
步骤4：计算所述相邻超像素分割块之间的加权平均。
进一步地，所述步骤2具体包括：
从所述超像素分割块内提取出最小生成树，并沿着所述最小生成树，在所述超像素分割块内进行聚合运算。
进一步地，所述从所述超像素分割块内提取出最小生成树，具体包括：
将所述超像素分割块内的像素看成节点，根据所述像素之间的四邻接关系建立所述节点之间边的连接关系，形成所述超像素分割块的加权图；
利用最小生成树提取算法来提取所述加权图的最小生成树。
进一步地，所述步骤3具体包括：
选取使得连接相邻两个超像素分割块的相邻两个像素点颜色差值最小的边作为连接所述相邻两个超像素分割块的边，并将所述相连接的两个相邻像素点的颜色相似性作为权重赋予该边，形成连通所述数字图像所有像素点的树；
基于该树，以一超像素分割块为中心，计算所述相邻超像素分割块内的像素点对所述中心超像素分割块内的像素点的贡献。
进一步地，所述步骤3还具体包括：
利用以下公式沿着所述超像素分割块内最小生成树从下向上迭代计算每一像素的临时聚合值：
是引导图像I在像素p的取值；ω1(p,q)表示聚合权重，D(p,q)表示相邻两个像素点颜色的插值，D(p,q)＝|Ip-Iq|；p＝P(q)表示节点q的父节点；
利用以下公式，沿着所述超像素分割块内最小生成树从上到下迭代计算最终聚合值：
其中，表示像素q的聚合值；P(p)表示节点p的父节点；表示像素p的最终聚合值。
进一步地，所述步骤4具体包括：
在所述数字图像上针对任一像素选定一固定大小的窗口，根据所述窗口覆盖所述超像素分割块的面积，来计算超像素分割块间加权平均的权重，并对所述步骤3所得的结果进行加权平均。
进一步地，所述步骤4还具体包括：
通过以下公式来计算所述加权平均：
其中，Kp是归一化系数；ω2(p,Si)表示加权平均权重，ω2(p,Si)通过公式得到，S′i＝Si∩Ωp，Ωp表示窗口，Si表示像素p所在的超像素分割块；表示邻接超像素分割块之间的聚合值。
根据本发明的另一个方面，还提供了一种基于分割图的数字图像滤波系统，该系统至少包括：
获取模块与块内聚合模块相连，所述块内聚合模块与块间聚合模块相连，所述块间聚合模块与计算模块相连；其中：
所述获取模块，用于获取所述数字图像的超像素分割块；
所述块内聚合模块，用于在所述超像素分割块内进行聚合运算；
所述块间聚合模块，用于进行相邻超像素分割块之间的聚合运算；
所述计算模块，用于计算所述相邻超像素分割块之间的加权平均。
进一步地，所述块内聚合模块具体包括聚合运算子模块；其中：
所述聚合运算子模块，用于从所述超像素分割块内提取出最小生成树，并沿着所述最小生成树，在所述超像素分割块内进行聚合运算。
进一步地，所述聚合运算子模块具体包括连接模块和提取模块，其中：
所述连接模块，用于将所述超像素分割块内的像素看成节点，根据所述像素之间的四邻接关系建立所述节点之间边的连接关系，形成所述超像素分割块的加权图；
所述提取模块，用于利用最小生成树提取算法来提取所述加权图的最小生成树。
进一步地，所述块间聚合模块具体包括树形成模块和贡献计算模块，所述树形成模块与所述贡献计算模块相连，其中：
所述树形成模块，用于选取使得连接相邻两个超像素分割块的相邻两个像素点颜色差值最小的边作为连接所述相邻两个超像素分割块的边，并将所述相连接的两个相邻像素点的颜色相似性作为权重赋予该边，形成连通所述数字图像所有像素点的树；
所述贡献计算模块，用于基于该树，以一超像素分割块为中心，计算所述相邻超像素分割块内的像素点对所述中心超像素分割块内的像素点的贡献。
进一步地，所述计算模块具体用于：
在所述数字图像上针对任一像素选定一固定大小的窗口，根据所述窗口覆盖所述超像素分割块的面积，来计算超像素分割块间加权平均的权重，并对所述块间聚合模块所得的结果进行加权平均。
与现有技术相比，上述技术方案至少具有以下有益效果：
本发明实施例通过对数字图像进行超像素分割，得到超像素分割块，并在超像素分割块内进行聚合运算，再进行相邻超像素分割块之间的聚合运算，最后计算相邻超像素分割块之间的加权平均。从而，能够平滑纹理区域，而不模糊整幅图像的结构。
当然，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1a为根据一示例性实施例示出的利用Slic超像素分割算法所得到的分割结果示意图；
图1b为根据一示例性实施例示出的利用图1a的分割结果所得到的滤波结果示意图；
图1c为根据一示例性实施例示出的将图像平均分割为若干个分割块的示意图；
图1d为根据一示例性实施例示出的利用图1c的分割结果所得到的滤波结果示意图；
图2为根据一示例性实施例示出的进行超像素分割块间加权平均的示意图；
图3a为进行迭代滤波的原始图像；
图3b为根据一示例性实施例示出的进行1次迭代滤波所得到的结果示意图；
图3c为根据一示例性实施例示出的进行3次迭代滤波所得到的结果示意图；
图3d为根据一示例性实施例示出的进行5次迭代滤波所得到的结果示意图；
图3e为根据一示例性实施例示出的进行15次迭代滤波所得到的结果示意图；
图3f为根据一示例性实施例示出的进行100次迭代滤波所得到的结果示意图；
图4a为根据一示例性实施例示出的在去噪应用中的滤波前的示意图；
图4b为根据一示例性实施例示出的在去噪应用中的滤波后的示意图；
图5a为根据一示例性实施例示出的在去纹理应用中的滤波前的示意图；
图5b为根据一示例性实施例示出的在去纹理应用中的滤波后的示意图；
图6a为根据一示例性实施例示出的原始图像；
图6b为根据一示例性实施例示出的对图6a的图像进行图像抽象的结果示意图；
图6c为根据一示例性实施例示出的对图6a的图像进行边缘提取的结果示意图；
图7a为根据一示例性实施例示出的原始深度图像；
图7b为根据一示例性实施例示出的对图7a的原始深度图像进行局部展示的示意图；
图7c为根据一示例性实施例示出的对图7a的原始深度图像进行放大的结果示意图；
图8为根据一示例性实施例示出的基于分割图的数字图像滤波方法流程示意图；
图9为根据一示例性实施例示出的基于分割图的数字图像滤波系统的结构示意图；
图10为根据一示例性实施例示出的块内聚合模块的结构示意图；
图11为根据一示例性实施例示出的聚合运算子模块的结构示意图；
图12为根据一示例性实施例示出的块间聚合模块的结构示意图。
这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。
需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
图8为根据一示例性实施例示出的基于分割图的数字图像滤波方法流程示意图。如图8所示，该方法可以包括步骤S802至步骤S808。
步骤S802：获取所述数字图像的超像素分割块。
在该步骤中，超像素分割是指将数字图像细分为多个图像子区域(即：像素的集合，也被称作超像素)的过程。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行数字图像分割的有效信息，且一般不会破坏数字图像中物体的边界信息。
在实际应用中，超像素分割块的获取可以利用Slic(Simple Linear IterativeClustering，简单线性迭代聚类)超像素分割算法对整幅数字图像进行超像素分割处理，来得到对数字图像的超像素分割块。这些超像素分割块可以将相似颜色的像素聚合在一起，来反映数字图像的内部几何结构。图1b和图1d展示了不同的分割结果对最终结果的影响，从中可以发现，分割的结果与滤波的结果基本无关。这也展现了本发明实施例提供的方法的鲁棒性。
步骤S804：在超像素分割块内进行聚合运算。
具体地，从超像素分割块内提取出最小生成树，并沿着最小生成树，在超像素分割块内进行聚合运算。
在一个可选的实施例中，从超像素分割块内提取出最小生成树的过程具体可以包括：
将超像素分割块内的每一个像素看成一个节点，然后根据像素之间的四邻接关系建立节点与节点之间的四邻接关系。这就将像素和像素之间的四邻接关系解释为节点与节点之间的边的连接关系，边的权重定义为像素间的颜色相似性。由此，形成超像素分割块的加权图。之后，针对超像素分割块的加权图，利用最小生成树提取算法来提取此加权图的最小生成树。即：利用最小生成树提取算法从每一个超像素分割块的图表示中提取出最小生成树。其中，该最小生成树可以表示超像素分割块的几何结构。最小生成树提取算法可以是Kruskal算法(克鲁斯卡算法)。
然后，沿该最小生成树进行超像素分割块内的聚合。
需要说明的是，由于最小生成树可以表示出超像素分割块内部的几何结构，所以即便超像素分割的结果不能很好地反映数字图像内物体的几何结构，那么最小生成树也可以担负起表示图像几何结构的作用。
步骤S806：进行相邻超像素分割块之间的聚合运算。
在该步骤中，以一超像素分割块为中心，计算相邻超像素分割块内的像素点对该中心超像素分割块内的像素点的贡献。该贡献的大小称为邻域聚合值。
在一个可选的实施例中，可以先选取使得连接相邻两个超像素分割块的相邻两个像素点颜色差值最小的边作为连接相邻两个超像素分割块的边，并将相连接的两个相邻像素点的颜色相似性作为权重赋予此边，由此形成一幅连通数字图像所有像素点的树。基于该树，可以以一个超像素分割块为中心，计算相邻超像素分割块内的像素点对中心超像素分割块内的像素点的贡献。
在实际应用中，需要沿着超像素分割块内的最小生成树，进行两次迭代遍历。
在一个可选的实施例中，利用以下公式沿着超像素分割块内最小生成树从下向上迭代计算每一个像素p的临时聚合值
其中，表示像素p的临时聚合值；Si表示像素p所在的超像素分割块；Ip是引导图像(也即参考图像)I在像素p的取值；D(p,q)＝|Ip-Iq|表示相邻两个像素点颜色的插值；表示聚合权重；p＝P(q)表示节点q的父节点。
然后，令表示像素p的最终聚合值，利用公式沿着超像素分割块内最小生成树从上到下迭代计算最终聚合值其中，表示像素q的聚合值；P(p)表示节点p的父节点。
步骤S808：计算相邻超像素分割块之间的加权平均。
图2为根据一示例性实施例示出的进行超像素分割块间加权平均的示意图。其中，每一个六边形表示一个分割块；S0表示像素p、u两点所在的分割块；S1表示像素v点所在的分割块；S′0、S′1分别表示矩形方框在S0、S1内的部分。
在一个可选的实施例中，步骤S808可以具体为：在数字图像上针对任意像素p选定一固定大小的窗口Ωp，根据该选定窗口Ωp覆盖超像素分割块的面积，来计算超像素分割块间加权平均的权重ω2(p,Si)，并对相邻超像素分割块之间的聚合运算后所得的结果进行加权平均其中，Kp是归一化系数，i表示指定的超像素分割块的数量；k表示与某一超像素分割块相邻的超像素分割块的数量；表示邻接超像素分割块之间的聚合值；ω2(p,Si)表示加权平均权重，ω2(p,Si)通过公式得到，S′i＝Si∩Ωp，Ωp表示包括像素p的窗口，Si表示像素p所在的超像素分割块；Jp表示滤波结果。
其中，可以通过以下方法得到：
对相邻两个超像素分割块之间建立一条边的连接关系。这里连接边的选取原则为：选取使得连接相邻两个超像素分割块的相邻两个像素颜色差值最小的边作为连接相邻超像素分割块的边，并将相连接的两个相邻像素的颜色相似性作为权重赋予此边。之后，通过此边的权重的衰减，就可以计算出邻接超像素分割块对另一个超像素分割块内像素的贡献。该贡献值可以通过公式定义。其中，v表示邻接超像素分割块内与分割块内u点相连接的像素点；Si表示像素p所在的超像素分割块；ω1(p,u)表示p点与u点的相似性；ω2(u,v)表示不同超像素分割块内相连接的两个节点的相似性。
下面举例来对本发明实施例提供的方法予以验证。
如图1a至图1d所示，在不同的超像素分割情况下，由于本发明实施例提供的方法不仅仅利用超像素分割块来进行保边滤波，还利用了超像素分割块内的最小生成树来进行保边滤波。当超像素分割块不能很好地反映图像内部几何结构的时候，超像素分割块内部的最小生成树依然可以担负起保边滤波的任务。所以，本发明实施例提供的方法都能够给出相似的处理结果，对分割结果是鲁棒的。
如图3a至图3f所示，示出了对原始图像进行多次迭代滤波的结果。从图3b至图3f可知，随着迭代次数的增加，本发明实施例提供的方法可以将图像中次要的纹理信息不断消除，而主要的结构却能够在多次迭代过程中保持下来。
图4a为根据一示例性实施例示出的在去噪应用中的滤波前的示意图。图4b为根据一示例性实施例示出的在去噪应用中的滤波后的示意图。图5a为根据一示例性实施例示出的在去纹理应用中的滤波前的示意图。图5b为根据一示例性实施例示出的在去纹理应用中的滤波后的示意图。从图4b中可以看出，本发明实施例提供的方法可以将图像的噪声消除掉，而不破坏图像的主要结构。本发明实施例提供的方法可以将图像中的噪声看成图像中的纹理结构，而去噪的过程也就可以解释为在保持图像中主要结构的前提下，将图像中细微的纹理结构移除，如图5b所示。
图6a为根据一示例性实施例示出的原始图像。图6b为根据一示例性实施例示出的对图6a的图像进行图像抽象的结果示意图。图6c为根据一示例性实施例示出的对图6a的图像进行边缘提取的结果示意图。抽象画是一种将图像细节信息隐藏，而只存留结构信息的图像。从图6b中可以看出，对一幅图像进行多次滤波以后，本发明实施例提供的滤波方法可以生成一幅图像的抽象画。从图6c中可以看出，本发明实施例提供的滤波方法在抽象画的基础上进行边缘检测，可以得到一幅图像的边缘提取结果。此边缘提取结果可以忽略由于图像细节信息所造成的信息污染。
由于受到现有深度图像采集技术的限制，人们所采集到的深度图像的分辨率通常很小。为了得到一张高分辨率的深度图像，人们通常以一幅彩色图像为指导来放大低分辨率深度图像。为此，本发明实施例提供的滤波方法可以在引导彩色图像上做超像素分割和构建最小生成树，然后将计算所得的权重用于插值低分辨率深度图像，如图7a至图7c所示。
虽然本发明实施例将各个步骤按照上述先后次序的方式进行了描述，本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时执行或执行次序颠倒，这些简单的变化都在本发明的保护范围之内。
基于与上述方法实施例相同的技术构思，本发明实施例还提供一种基于分割图的数字图像滤波系统900。如图9所示，该系统900至少包括：获取模块902、块内聚合模块904、块间聚合模块906及计算模块908。其中，获取模块902与块内聚合模块904相连，块内聚合模块904与块间聚合模块906相连，块间聚合模块906与计算模块908相连。获取模块902用于获取所述数字图像的超像素分割块。块内聚合模块904用于在所述超像素分割块内进行聚合运算。块间聚合模块906用于进行相邻超像素分割块之间的聚合运算。计算模块908用于计算所述相邻超像素分割块之间的加权平均。
在一个可选的实施例中，如图10所示，上述块内聚合模块1000具体可以包括聚合运算子模块1002。其中，聚合运算子模块1002用于从超像素分割块内提取出最小生成树，并沿着最小生成树，在超像素分割块内进行聚合运算。
在一个可选的实施例中，如图11所示，聚合运算子模块1100具体可以包括连接模块1102和提取模块1104。其中，连接模块1102用于将超像素分割块内的像素看成节点，根据像素之间的四邻接关系建立节点之间边的连接关系，形成超像素分割块的加权图。提取模块1104用于利用最小生成树提取算法来提取加权图的最小生成树。
在一个可选的实施例中，如图12所示，块间聚合模块1200具体可以包括树形成模块1202和贡献计算模块1204，树形成模块1202与贡献计算模块1204相连。其中，树形成模块1202用于选取使得连接相邻两个超像素分割块的相邻两个像素点颜色差值最小的边作为连接相邻两个超像素分割块的边，并将相连接的两个相邻像素点的颜色相似性作为权重赋予该边，形成连通数字图像所有像素点的树。贡献计算模块1204用于基于该树，以一超像素分割块为中心，计算相邻超像素分割块内的像素点对中心超像素分割块内的像素点的贡献。
在一个可选的实施例中，计算模块具体用于：在数字图像上针对任一像素选定一固定大小的窗口，根据该窗口覆盖超像素分割块的面积，来计算超像素分割块间加权平均的权重，并对块间聚合模块所得的结果进行加权平均。
需要说明的是：上述实施例提供的基于分割图的数字图像滤波系统在进行滤波时，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
上述装置实施例可以用于执行上述方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
应指出的是，上面分别对本发明的装置实施例和方法实施例进行了描述，但是对一个实施例描述的细节也可应用于另一个实施例。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。本领域技术人员应该理解：本发明实施例中的模块或者步骤还可以再分解或者组合。例如上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。
需要说明的是：附图中的标记只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。
术语“包括”、“包含”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备/装置中还存在另外的要素，即“包括一个”的意思还涵盖“包括另一个”的意思。
本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。
本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的范围。
尽管上文已经示出、描述和指出了适用于各种实施方式的本发明的基本新颖特征的详细描述，但是将会理解，在不脱离本发明意图的情况下，本领域技术人员可以对系统的形式和细节进行各种省略、替换和改变。
Claims (12)
1.一种基于分割图的数字图像滤波方法，其特征在于，该方法至少包括：
步骤1：获取所述数字图像的超像素分割块；
步骤2：在所述超像素分割块内进行聚合运算；
步骤3：进行相邻超像素分割块之间的聚合运算；
步骤4：计算所述相邻超像素分割块之间的加权平均。
2.根据权利要求1所述的方法，其特征在于，所述步骤2具体包括：
从所述超像素分割块内提取出最小生成树，并沿着所述最小生成树，在所述超像素分割块内进行聚合运算。
3.根据权利要求2所述的方法，其特征在于，所述从所述超像素分割块内提取出最小生成树，具体包括：
将所述超像素分割块内的像素看成节点，根据所述像素之间的四邻接关系建立所述节点之间边的连接关系，形成所述超像素分割块的加权图；
利用最小生成树提取算法来提取所述加权图的最小生成树。
4.根据权利要求1所述的方法，其特征在于，所述步骤3具体包括：
选取使得连接相邻两个超像素分割块的相邻两个像素点颜色差值最小的边作为连接所述相邻两个超像素分割块的边，并将所述连接的两个相邻像素点的颜色相似性作为权重赋予该边，形成连通所述数字图像所有像素点的树；
基于该树，以一超像素分割块为中心，计算所述相邻超像素分割块内的像素点对中心超像素分割块内的像素点的贡献。
5.根据权利要求4所述的方法，其特征在于，所述步骤3还具体包括：
利用以下公式沿着所述超像素分割块内最小生成树从下向上迭代计算每一像素的临时聚合值：
<mrow>
<msubsup>
<mi>C</mi>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>&UpArrow;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>I</mi>
<mi>p</mi>
</msub>
<mo>+</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>p</mi>
</mrow>
</munder>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>C</mi>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>&UpArrow;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，表示像素p的临时聚合值；Si表示像素p所在的超像素分割块；Ip是引导图像I在像素p的取值；ω1(p,q)表示聚合权重，D(p,q)表示相邻两个像素点颜色的插值，D(p,q)＝｜Ip-Iq｜；p＝P(q)表示节点q的父节点；
利用以下公式，沿着所述超像素分割块内最小生成树从上到下迭代计算最终聚合值：
<mrow>
<msub>
<mi>C</mi>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>C</mi>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>&UpArrow;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>,</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mo>&lsqb;</mo>
<msubsup>
<mi>C</mi>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>&UpArrow;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>,</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>C</mi>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>&UpArrow;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>;</mo>
</mrow>
其中，表示像素q的聚合值；P(p)表示节点p的父节点；表示像素p的最终聚合值。
6.根据权利要求1所述的方法，其特征在于，所述步骤4具体包括：
在所述数字图像上针对任一像素选定一固定大小的窗口，根据所述窗口覆盖所述超像素分割块的面积，来计算超像素分割块间加权平均的权重，并对所述步骤3所得的结果进行加权平均。
7.根据权利要求5或6所述的方法，其特征在于，所述步骤4还具体包括：
通过以下公式来计算所述加权平均：
<mrow>
<msub>
<mi>J</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>K</mi>
<mi>p</mi>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mn>0</mn>
<mo>&le;</mo>
<mi>i</mi>
<mo><</mo>
<mi>k</mi>
</mrow>
</munder>
<msub>
<mi>&omega;</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<msub>
<mi>C</mi>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，Kp是归一化系数；ω2(p,Si)表示加权平均权重，ω2(p,Si)通过公式得到，Si′＝Si∩Ωp，Ωp表示窗口，Si表示像素p所在的超像素分割块；表示邻接超像素分割块之间的聚合值。
8.一种基于分割图的数字图像滤波系统，其特征在于，该系统至少包括：
获取模块与块内聚合模块相连，所述块内聚合模块与块间聚合模块相连，所述块间聚合模块与计算模块相连；其中：
所述获取模块，用于获取所述数字图像的超像素分割块；
所述块内聚合模块，用于在所述超像素分割块内进行聚合运算；
所述块间聚合模块，用于进行相邻超像素分割块之间的聚合运算；
所述计算模块，用于计算所述相邻超像素分割块之间的加权平均。
9.根据权利要求8所述的系统，其特征在于，所述块内聚合模块具体包括聚合运算子模块；其中：
所述聚合运算子模块，用于从所述超像素分割块内提取出最小生成树，并沿着所述最小生成树，在所述超像素分割块内进行聚合运算。
10.根据权利要求9所述的系统，其特征在于，所述聚合运算子模块具体包括连接模块和提取模块，其中：
所述连接模块，用于将所述超像素分割块内的像素看成节点，根据所述像素之间的四邻接关系建立所述节点之间边的连接关系，形成所述超像素分割块的加权图；
所述提取模块，用于利用最小生成树提取算法来提取所述加权图的最小生成树。
11.根据权利要求8所述的系统，其特征在于，所述块间聚合模块具体包括树形成模块和贡献计算模块，所述树形成模块与所述贡献计算模块相连，其中：
所述树形成模块，用于选取使得连接相邻两个超像素分割块的相邻两个像素点颜色差值最小的边作为连接所述相邻两个超像素分割块的边，并将所述连接的两个相邻像素点的颜色相似性作为权重赋予该边，形成连通所述数字图像所有像素点的树；
所述贡献计算模块，用于基于该树，以一超像素分割块为中心，计算所述相邻超像素分割块内的像素点对中心超像素分割块内的像素点的贡献。
12.根据权利要求8所述的系统，其特征在于，所述计算模块具体用于：
在所述数字图像上针对任一像素选定一固定大小的窗口，根据所述窗口覆盖所述超像素分割块的面积，来计算超像素分割块间加权平均的权重，并对所述块间聚合模块所得的结果进行加权平均。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510872635.5A CN105469369B (zh) | 2015-11-27 | 2015-11-27 | 基于分割图的数字图像滤波方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510872635.5A CN105469369B (zh) | 2015-11-27 | 2015-11-27 | 基于分割图的数字图像滤波方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105469369A CN105469369A (zh) | 2016-04-06 |
| CN105469369B true CN105469369B (zh) | 2018-03-06 |
Family
ID=55607030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510872635.5A Active CN105469369B (zh) | 2015-11-27 | 2015-11-27 | 基于分割图的数字图像滤波方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105469369B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296654A (zh) * | 2016-07-26 | 2017-01-04 | 中国科学技术大学 | 一种保持边缘的图像超像素分割方法 |
| CN110610505A (zh) * | 2019-09-25 | 2019-12-24 | 中科新松有限公司 | 一种融合深度和色彩信息的图像分割方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509266A (zh) * | 2011-11-03 | 2012-06-20 | 上海交通大学 | 一种图像快速保边滤波方法 |
-
2015
- 2015-11-27 CN CN201510872635.5A patent/CN105469369B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509266A (zh) * | 2011-11-03 | 2012-06-20 | 上海交通大学 | 一种图像快速保边滤波方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Tree Filtering: Efficient Structure-Preserving Smoothing With a Minimum Spanning Tree》;Linchao Bao et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20140228;第23卷(第2期);第555-569页 * |
| 《结合区域分割和双边滤波的图像去噪新算法》;杨学志等;《中国图象图形学报》;20120131;第17卷(第1期);第40-48页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105469369A (zh) | 2016-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Joint image filtering with deep convolutional networks | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN103632361B (zh) | 一种图像分割方法和系统 | |
| CN104463870A (zh) | 一种图像显著区域检测方法 | |
| CN105869173A (zh) | 一种立体视觉显著性检测方法 | |
| Elmoataz et al. | Non-local morphological PDEs and $ p $-Laplacian equation on graphs with applications in image processing and machine learning | |
| Lo et al. | Joint trilateral filtering for depth map super-resolution | |
| JP2011034178A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| CN110570440A (zh) | 一种基于深度学习边缘检测的图像自动分割方法及装置 | |
| WO2016062259A1 (zh) | 基于透明度的抠图方法和装置 | |
| Chen et al. | A new process for the segmentation of high resolution remote sensing imagery | |
| Herrault et al. | Automatic extraction of forests from historical maps based on unsupervised classification in the CIELab color space | |
| Tai et al. | Wavelet frame based multiphase image segmentation | |
| CN110705634B (zh) | 一种鞋跟型号识别方法、装置及存储介质 | |
| CN105741265A (zh) | 深度图像的处理方法及装置 | |
| KR20150032822A (ko) | 이미지를 필터링하기 위한 방법 및 장치 | |
| CN107169982A (zh) | 一种量子LoG边缘检测方法 | |
| Zhao et al. | Automatic blur region segmentation approach using image matting | |
| CN107451595A (zh) | 基于混合算法的红外图像显著性区域检测方法 | |
| US10089764B2 (en) | Variable patch shape synthesis | |
| JP6389742B2 (ja) | 画像セグメンテーション方法、装置、及びプログラム | |
| CN106373126A (zh) | 基于融合类测地线和边界对比的图像显著性检测方法 | |
| CN109242854A (zh) | 一种基于flic超像素分割的图像显著性检测方法 | |
| CN105469369B (zh) | 基于分割图的数字图像滤波方法和系统 | |
| Pham et al. | Robust non-local stereo matching for outdoor driving images using segment-simple-tree |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |