CN114782379A - 一种基于结构信息原理的图像层谱分割方法 - Google Patents

Abstract

本发明公开一种基于结构信息原理的图像层谱分割方法，基于一维结构熵极大化原则，构建预处理图像的图结构数据G^*；在预处理图像的图结构数据G^*上执行二维结构熵极小化算法，得到图G^*的最优划分结构；生成划分结构X的图结构数据G^**；在图G^**上执行二维结构熵极小化算法，得到图G^**的最优划分结构Y，Y内所有的节点与划分结构X对应；利用划分结构X将划分结构Y转化为划分结构Z，构造三维编码树的结构；Z内所有的节点与图像的像素点对应。本发明解决图像的层谱抽象分割问题，局部细节层能够对图像进行精密分割，全局结构层能够提取图像的结构，无需要选择参数，即可对图像进行区域分割。

Description

一种基于结构信息原理的图像层谱分割方法

技术领域

本发明属于图像分割技术领域，特别是涉及一种基于结构信息原理的图像层谱分割方法。

背景技术

传统的无监督图像分割算法主要包括基于阈值、基于边缘、基于图论和基于聚类的算法等。基于阈值的图像分割算法适用于分割目标与背景灰度差值较大的图像。基于边缘的图像分割算法难以形成闭合和连接的区域，即便形成闭合和连接的区域，通常也要结合其它算法再次进行处理。基于图论的传统图像分割算法通常通过四连接或八连接进行构图，考虑局部像素之间的相关性，将空间相连的像素点分割到一起。该类方法通常分割精度高，算法较为耗时。基于聚类的图像分割算法需要预先确定聚类的数目，能够将空间不相连的像素点聚集到一起。如今比较流行的一种图像分割的方法就是基于深度学习的图像分割，基于深度学习的图像分割经过训练可以达到良好的分割效果，但是所分割的对象必须经过数据集的预先训练，通常需要优质而且大量的数据；基于深度学习的图像分割大多是依赖神经网络，根据标签进行图像的语义分割；深度学习的模型的可解释性差。目前基于图论的图像分割方法构图方法较少。

目前传统的图像分割算法中较为流行的算法是基于图论的图像分割算法和基于聚类的图像分割算法。

基于图论的无监督的图像分割算法(例如EGB算法)在进行图像分割时缺少足够的全局结构信息，导致物体穿插背景时，造成背景被割裂的情况。

基于聚类的图像分割算法(例如Kmeans、FCM和MShift)在进行图像分割时缺少局部细节信息，可能会导致同属于一个物体但因为颜色的渐变而无法分割到一个区域。

目前的聚类分割算法需要人为依据分割效果调整参数，尤其是需要人为选择聚类数目。目前的无监督图像分割算法无法摆脱人为选择参数，图像分割结果受到参数的影响。

发明内容

为了解决上述问题，本发明提出了一种基于结构信息原理的图像层谱分割方法，解决图像的层谱抽象分割问题，局部细节层能够对图像进行精密分割，全局结构层能够提取图像的结构，无需要选择参数，即可对图像进行区域分割。

为达到上述目的，本发明采用的技术方案是：一种基于结构信息原理的图像层谱分割方法，包括步骤：

预处理原始图像；

基于一维结构熵极大化原则，构建预处理图像的图结构数据G^*；

第一分割阶段，在预处理图像的图结构数据G^*上执行二维结构熵极小化算法ε²，得到图G^*的最优划分结构X＝{X₁，X₂，……，X_n}，其中n为图G^*最优划分结构的数目；

生成划分结构X的图结构数据G^**；

第二分割阶段，在图G^**上执行算法二维结构熵极小化算法ε²，得到图G^**的最优划分结构Y＝{Y₁，Y₂，……，Y_m}，其中m为图G^**最优划分结构的数目；对于每一个k＝1，2，3……m，Y_k内所有的节点与划分结构X对应；

第三分割阶段，利用划分结构X将划分结构Y转化为划分结构Z＝{Z₁，Z₂，……，Z_m}，构造三维编码树的结构；对于每一个k＝1，2，3……m，Z_k内所有的节点与图像的像素点对应。

进一步的是，所述预处理原始图像，包括步骤：

获取高斯掩码；

对高斯掩码归一化；

使用高斯掩码对原始图像进行两次拉普拉斯乘积操作。

进一步的是，基于一维结构熵极大化原则，构建预处理图像的图结构数据G^*时，利用图生成的一维结构熵极大化原理将图像转化为图结构数据中每个像素点交互的范围大小，即确认每个像素点与空间范围内进行交互的像素点；包括步骤：

给定一个预处理图像，对于每个网格节点v的最近邻居以v为中心，且位于不同级别的正方形边界；把v与它最近的邻居连接；采用参数k来决定v的哪些邻居来与v相交，从而构建图结构数据G^*＝(V^*，E^*)，其中V^*是图中的所有顶点集合，E^*是所有的边集合。

进一步的是，图结构数据G^*的生成包括步骤：

(1)假设节点v的邻居节点为节点u，两者之间的相似性度量公式：

公式中t为超参数；

(2)假设参数k为节点之间格子边数或对角线的边数；通过确定k得到v预计交互的邻居节点集合S_k，

保留S_k中与v最为相似的节点，保留数量为原节点个数的一半；交互中的排序顺序为：相似性权重较大的节点优先选择，若相似性一样，则预先与该节点交互的节点优先选择；从而构建初步图结构数据G_k，

满足

此时的

即为所需要的图结构数据G^*。

进一步的是，所述生成划分结构X的图结构数据G^**包括步骤：

对于每一个i＝1,2,3……n，将X_i缩放为一个点独立节点x_i，对于每一个j＝1,2,…,n且i≠j，将X_j缩放为一个点独立节点x_j；

x_i和x_j的颜色向量为X_i和X_j内所有独立节点的颜色向量均值，计算节点x_j和x_j间的交互度量指标，得到独立节点以及独立节点间的交互关系；

而后基于压缩信息极小化原则来构建图G^**。

进一步的是，所述基于压缩信息极小化原则来构建图G^**时，从一个加权完全图中找寻一个特殊的稀疏子图，生成一个图结构的数据G^**＝(V^**,E^**)，其中V^**是图中的所有顶点集合，E^**是所有的边集合。

进一步的是，所述基于压缩信息极小化原则来构建图G^**，包括步骤：

(1)将划分结构X的每个部分看做一个独立节点，节点间的相似性度量公式：

公式中t为超参数；利用相似度获取交互节点，构建一个完全图CG；

(2)假设一个很小的数σ∈(0,1)，k₂为CG中每个节点交互的边数；对于CG，保留每个节点权重最大的k₂条边，得到一个稀疏子图

令

的压缩率ρ<σ且k₂最小，此时的稀疏子图

即为所需要的图结构数据G^**。

采用本技术方案的有益效果：

本发明基于具有层谱抽象结构的编码树，来实现图像的层谱抽象分析能力，包括图像的局部细节信息层和图像的全局结构层。图像的局部细节层被称为图像的近距离视图，用来挖掘图像的局部细节信息。图像的全局结构层被称为图像的远距离视图，用来挖掘图像的全局结构信息。本发明基于图生成的一维结构熵极大化原理和信息系统生成的压缩率极小化原理选择参数，达到无需人工选择参数的目的。

本发明提出的图像分割方法具有层谱抽象结构，包含局部细节层和全局结构层。本发明中局部细节层与众多超像素算法对比，不仅在依赖人工标注的指标上(Rec和UE)表现出较高的水平，同时在不依赖人工标注的指标上(UE)表现出较高水平，其值达到了0.99，在十五种超像素算法中表现最好。本发明中全局结构层无需要人为规定聚类数目，即可对图像进行区域分割；不同于深度学习的算法，该算法基于结构信息原理对其分割结果具有可解释性。

本发明基于编码树层谱抽象结构，实现了图像的层谱抽象分析，包括三个图像分割阶段。第一阶段通过信息系统生成的一维结构熵极大化原理达到了挖掘图像的局部细节信息的效果，第二阶段和第三阶段通过信息系统生成的压缩率极小化原理达到了解析图像的全局结构信息的效果；并利用一维结构熵极大化原理、解码信息极大化原理和压缩信息极小化原理作为选择参数的依据，达到无需人工调整参数的目的。

附图说明

图1为本发明的一种基于结构信息原理的图像层谱分割方法流程示意图；

图2为本发明实施例中图结构数据G^*生成过程的第一结构示意图；

图3为本发明实施例中图结构数据G^*生成过程的第二结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实施例中，参见图1所示，本发明提出了一种基于结构信息原理的图像层谱分割方法，包括步骤：

预处理原始图像；

基于一维结构熵极大化原则，构建预处理图像的图结构数据G^*；

第一分割阶段，在预处理图像的图结构数据G^*上执行二维结构熵极小化算法ε²，得到图G^*的最优划分结构X＝{X₁，X₂，……，X_n}，其中n为图G^*最优划分结构的数目；

生成划分结构X的图结构数据G^**；

第二分割阶段，在图G^**上执行算法二维结构熵极小化算法ε²，得到图G^**的最优划分结构Y＝{Y₁，Y2，……，Y_m}，其中m为图G^**最优划分结构的数目；对于每一个k＝1，2，3……m，Y_k内所有的节点与划分结构X对应；

第三分割阶段，利用划分结构X将划分结构Y转化为划分结构Z＝{Z₁，Z₂，……，Z_m}，构造三维编码树的结构；对于每一个k＝1，2，3……m，Z_k内所有的节点与图像的像素点对应。

作为上述实施例的优化方案，所述预处理原始图像，通过利用高斯掩码，达到了去除噪音和分辨率增强的目的，使图像更为平滑，易于分割；包括步骤：

获取高斯掩码；成高斯掩码的参数SIGMA为0.1，最终生成一个二维向量作为掩码。

对高斯掩码归一化；

使用高斯掩码对原始图像进行两次拉普拉斯乘积操作。

本文中采用的图像预处理增强了图像的边缘分辨率。该预处理的操作实际上根据周围的像素点来重新调整此像素点的颜色值，由于此处采用的SIGMA数值较小，周围像素点的颜色值对该像素点的影响会较小。经过滤波后的图像相当于缩减了该像素点RGB三通道的值，即颜色向量中的三个值不同程度的缩小。同样该操作避免了对两个像素点欧式空间距离归一化的操作，且效果远比进行归一化的效果好。

作为上述实施例的优化方案，基于一维结构熵极大化原则，构建预处理图像的图结构数据G^*时，利用图生成的一维结构熵极大化原理将图像转化为图结构数据中每个像素点交互的范围大小，即确认每个像素点与空间范围内进行交互的像素点；包括步骤：

给定一个预处理图像，对于每个网格节点v的最近邻居以v为中心，且位于不同级别的正方形边界；把v与它最近的邻居连接；采用参数k来决定v的哪些邻居来与v相交，从而构建图结构数据G^*＝(V^*，E^*)，其中V^*是图中的所有顶点集合，E^*是所有的边集合。

具体的，图结构数据G^*的生成包括步骤：

(1)假设节点v的邻居节点为节点u，两者之间的相似性度量公式：

公式中t为超参数，超参数t通过一维结构熵的导数最大来选取，最终选取的值是1；

(2)假设参数k为节点之间格子边数或对角线的边数；图2所示，v的邻居呈现为“米”字型；通过确定k得到v预计交互的邻居节点集合S_k，

保留S_k中与v最为相似的节点，保留数量为原节点个数的一半，如图3所示；交互中的排序顺序为：相似性权重较大的节点优先选择，若相似性一样，则预先与该节点交互的节点优先选择；从而构建初步图结构数据G_k，

满足

此时的

即为所需要的图结构数据G^*。

图2和图3中的顶点满足像素点在图像中的空间分布，黑色顶点是指顶点v，白色的顶点是指不与顶点v相交互的顶点，灰色顶点是指与顶点v相交互的顶点，最靠近顶点v的一圈层是k＝1时与顶点v相交互的点，二圈层的点是指k＝2时与顶点v相交互的点。限于篇幅限制，本图只画出了k＝2的情况。图2部分表示所有满足距离范围限制的顶点，图3部分表示保留权重较大的边，数量控制在图2中的一半，当然相交互的顶点并不完全类似图3中的分布。在构建图G_k时会选取权重较大的边数，当出现多条边的权重一样时，该如何选取也是需要注意的问题。例如，某个节点可与周围相邻的八个节点建立联系，此时该节点在构建图时有八条边存在，但是实际构建的过程中只能保留四条边。可能会出现有多条边排在第四的位置，此时应严格按照构建的顺序进行排序，即先进行交互的边得到保留。

作为上述实施例的优化方案，所述生成划分结构X的图结构数据G^**包括步骤：

对于每一个i＝1，2，3……n，将X_i缩放为一个点独立节点xi，对于每一个j＝1，2，…，n且j≠i，将X_j缩放为一个点独立节点x_j；

x_i和x_j的颜色向量为X_i和X_j内所有独立节点的颜色向量均值，计算节点x_i和x_j间的交互度量指标，得到独立节点以及独立节点间的交互关系；

而后基于压缩信息极小化原则来构建图G^**。

其中，所述基于压缩信息极小化原则来构建图G^**时，从一个加权完全图中找寻一个特殊的稀疏子图，生成一个图结构的数据G^**＝(V^**，E^**)，其中V^**是图中的所有顶点集合，E^**是所有的边集合。

具体的所述基于压缩信息极小化原则来构建图G^**，包括步骤：

(1)将划分结构X的每个部分看做一个独立节点，节点间的相似性度量公式：

公式中t为超参数，超参数t通过一维结构熵的导数最大来选取，最终选取的值是1；利用相似度获取交互节点，构建一个完全图CG；

(2)假设一个很小的数σ∈(0，1)，k₂为CG中每个节点交互的边数；对于CG，保留每个节点权重最大的k₂条边，得到一个稀疏子图

令

的压缩率ρ＜σ且k₂最小，此时的稀疏子图

即为所需要的图结构数据G^**。

本发明中第一分割阶段算法对图像进行细节分割，其分割结果十分精细。根据边界质量评估实验对其分割结果进行测评，其边界的Recall约等于0.99，错误划分率UE约等于0.12，EV值等于0.99。本发明的算法在多个数据集表现良好，优于其他十五种超像素分割算法。本发明的第三分割阶段算法对图像进行全局结构的分割，在第二分割阶段的结果上进行分割；我们使用了区域质量评估实验对其结果进行测评，与三种无监督的算法进行对比，其PRI值最高，达到了0.7078。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于结构信息原理的图像层谱分割方法，其特征在于，包括步骤：

预处理原始图像；

基于一维结构熵极大化原则，构建预处理图像的图结构数据G^*；

第一分割阶段，在预处理图像的图结构数据G^*上执行二维结构熵极小化算法ε²，得到图G^*的最优划分结构X＝{X₁,X₂,……,X_n}，其中n为图G^*最优划分结构的数目；

生成划分结构X的图结构数据G^**；

第二分割阶段，在图G^**上执行算法二维结构熵极小化算法ε²，得到图G^**的最优划分结构Y＝{Y₁,Y₂,……,Y_m}，其中m为图G^**最优划分结构的数目；对于每一个k＝1,2,3……m，Y_k内所有的节点与划分结构X对应；

第三分割阶段，利用划分结构X将划分结构Y转化为划分结构Z＝{Z₁,Z₂,……,Z_m}，构造三维编码树的结构；对于每一个k＝1,2,3……m，Z_k内所有的节点与图像的像素点对应。

2.根据权利要求1所述的一种基于结构信息原理的图像层谱分割方法，其特征在于，所述预处理原始图像，包括步骤：

获取高斯掩码；

对高斯掩码归一化；

使用高斯掩码对原始图像进行两次拉普拉斯乘积操作。

3.根据权利要求1所述的一种基于结构信息原理的图像层谱分割方法，其特征在于，基于一维结构熵极大化原则，构建预处理图像的图结构数据G^*时，利用图生成的一维结构熵极大化原理将图像转化为图结构数据中每个像素点交互的范围大小，即确认每个像素点与空间范围内进行交互的像素点；包括步骤：

给定一个预处理图像，对于每个网格节点v的最近邻居以v为中心，且位于不同级别的正方形边界；把v与它最近的邻居连接；采用参数k来决定v的哪些邻居来与v相交，从而构建图结构数据G^*＝(V^*,E^*)，其中V^*是图中的所有顶点集合，E^*是所有的边集合。

4.根据权利要求3所述的一种基于结构信息原理的图像层谱分割方法，其特征在于，图结构数据G^*的生成包括步骤：

(1)假设节点v的邻居节点为节点u，两者之间的相似性度量公式：

公式中t为超参数；

(2)假设参数k为节点之间格子边数或对角线的边数；通过确定k得到v预计交互的邻居节点集合S_k，

保留S_k中与v最为相似的节点，保留数量为原节点个数的一半；交互中的排序顺序为：相似性权重较大的节点优先选择，若相似性一样，则预先与该节点交互的节点优先选择；从而构建初步图结构数据G_k，满足

此时的

即为所需要的图结构数据G^*。

5.根据权利要求1所述的一种基于结构信息原理的图像层谱分割方法，其特征在于，所述生成划分结构X的图结构数据G^**包括步骤：

对于每一个i＝1,2,3……n，将X_i缩放为一个点独立节点x_i，对于每一个j＝1,2,…,n且j≠i，将X_j缩放为一个点独立节点x_j；

x_i和x_j的颜色向量为X_i和X_j内所有独立节点的颜色向量均值，计算节点x_i和x_j间的交互度量指标，得到独立节点以及独立节点间的交互关系；

而后基于压缩信息极小化原则来构建图G^**。

6.根据权利要求5所述的一种基于结构信息原理的图像层谱分割方法，其特征在于，所述基于压缩信息极小化原则来构建图G^**时，从一个加权完全图中找寻一个特殊的稀疏子图，生成一个图结构的数据G^**＝(V^**,E^**)，其中V^**是图中的所有顶点集合，E^**是所有的边集合。

7.根据权利要求6所述的一种基于结构信息原理的图像层谱分割方法，其特征在于，所述基于压缩信息极小化原则来构建图G^**，包括步骤：

(1)将划分结构X的每个部分看做一个独立节点，节点间的相似性度量公式：

公式中t为超参数；利用相似度获取交互节点，构建一个完全图CG；

(2)假设一个很小的数σ∈(0,1)，k₂为CG中每个节点交互的边数；对于CG，保留每个节点权重最大的k₂条边，得到一个稀疏子图

令

的压缩率ρ<σ且k₂最小，此时的稀疏子图

即为所需要的图结构数据G^**。

Images