CN109934826B - 一种基于图卷积网络的图像特征分割方法 - Google Patents

Abstract

一种基于图卷积网络的图像特征分割方法。用均匀网格分割预处理后的图像；构建以中心图像块为顶点的有向无权图，利用图像块的关系，写出该图对应的邻接矩阵、特征矩阵以及每个节点的度矩阵；根据先验知识设定权重矩阵，用公式f(X，A)＝D^‑1*A*X*W对图进行第一层图卷积；用卷积结果更新节点信息并作为下一层卷积的初始值；再次构建新的图，进行卷积，层层迭代，直至完成整张图像的特征分割。本发明在做图卷积网络之前，提出以均匀网格分割图像，很大程度上减少卷积运算的计算量，并采用层层迭代的方法，提高特征分割的准确性。本发明用图卷积网络进行图像特征分割，解决卷积神经网络不能处理不规则图像的问题，大幅提升分割效果，并对特征分割结果起到优化作用。

Description

一种基于图卷积网络的图像特征分割方法

技术领域

本发明涉及图像特征分割领域，适用于规则与非规则图像的特征分割，涉及一种基于图卷积网络的图像特征分割方法。

背景技术

图像的研究中，人们往往对图像中的某些部分感兴趣，这些感兴趣的部分一般对应图像中特定的、具有特殊性质的区域，称之为目标；而其他部分称为图像的背景。为了辨识目标和背景，需要把目标从一幅图像中孤立出来，这就是图像分割要研究的问题。图像分割是图像分析的第一步，图像分割接下来的任务，如特征提取、目标识别等的好坏，都取决于图像分割的质量如何。现在的技术，在特征提取方面，大多采用卷积神经网络的方法来实现，采用阈值分割方法、边缘检测方法、区域提取方法和结合特定理论工具的分割方法4类，采用sift算子、fisher vector或VLAD等机器学习的方法提取特征，提取的特征向量维度大，计算成本高，准确率低下。

基于卷积神经网络的特征提取方法，无法处理非欧式结构的数据，无法利用同一个卷积核来进行整张图像的准确运算，现在的图像处理方面，大多都选用同一个卷积核来进行卷积运算，这样会大大降低特征区域提取的准确性。而图卷积神经网络构建的空间拓扑结构恰恰解决了这个问题，对于不规则的特征区域，图卷积神经网络的特征提取要相对卷积神经网络的准确性更高，辨识度越强。

因此申请人杭州电子科技大学，申请了专利号CN201810797764.6，专利名称一种基于图卷积神经网络的形状协同分割方法，其公开了一种基于图卷积网络的形状协同分割方法，本发明所述方法包括：将给定的一组形状过分割成子片，并构建子片间的关系图模型；对其中的部分子片进行标签指定；构建图卷积网络，将已标注的子片标签信息传播至其它未标注子片上。本发明将图卷积网络应用于形状协同分割领域，相比目前其它方法，本发明能得到准确率更高的结果，但是其是通过以下几个步骤的：1、形状过分割；2、图模型构建；3、图卷积神经网络；4、形状分割结果。其通过对三维模型分割成字片，然后以相似距离构图，因此该构图方式仅定义了邻接矩阵和权重矩阵，没有特征矩阵和度矩阵的定义，而本申请采用了采用原创图卷积的公式，解决卷积神经网络无法处理非欧式结构数据的问题，并极大的提升了特征提取效果，其通过图像块之间的关系构建图，以此来获得邻接矩阵、特征矩阵以及度矩阵，并通过手动设置权重的方法定义权重矩阵，从而分层进行图卷积，得到特征分割图像。

发明内容

随着图像种类的增加，图像的呈现形状也有了更多的选择，一直以来，人们都想在图像中通过电脑主动判断特征，以此来减轻人的工作量，在惯用的卷积神经网络分割图像的方法中，由于卷积核的数值固定，导致无法处理非欧式结构的数据，且提取特征的准确性较低，为了解决以上问题，本发明提供一种基于图卷积网络的图像特征分割方法，目的是解决卷积神经网络无法处理非欧式结构数据的问题，并极大的提升了特征提取效果，其通过图像块之间的关系构建图，以此来获得邻接矩阵、特征矩阵以及度矩阵，并通过手动设置权重的方法定义权重矩阵，从而分层进行图卷积，得到特征分割图像，为达此目的，本发明提供一种基于图卷积网络的图像特征分割方法，包括如下步骤：

S1：读取图像并进行预处理；

S2：将步骤S1处理后的图像用边长为8像素的均匀网格划分图像，划分为n个8*8的图像块，构建以最中间的图像块为顶点，周围相邻图像块为其他节点的图；

S3：根据步骤S2构建的图构建邻接矩阵A和特征矩阵X以及度矩阵D，并定义权重矩阵W，用公式f(X，A)＝D^-1*A*X*W完成第一层图卷积，用卷积结果更新顶点以及节点图像块的图像信息；

S4：构建经过S3更新的顶点作为新的顶点，周围相邻块以及相邻块的图像为节点的图，进行第二层图卷积，更新顶点以及各节点的图像信息；

S5：对整张图像按层做以中心图像块为顶点的图卷积，直至整张图像每个图像块都完成作为节点的卷积，得出特征分割图像；

S6：为保证更精确的分割，对已完成的特征分割图像再次进行以边长为4像素的均匀网格分割，重复上述步骤，返回特征分割图。

作为本发明进一步改进，所述的步骤S1中图像预处理具体包括如下步骤，

S1.1：对图像进行灰度化，采用平均值法；

S1.2：对灰度化后的图像进行几何变换，采用双线性插值法；

S1.3：对几何变换后的图像进行图像增强，采用直方图均衡法。

作为本发明进一步改进，所述步骤S2中采用均匀网格划分图像，图像块不足8*8的部分像素用0补齐，并且用图像块内所有元素像素的平均值作为此图像块的像素信息，在一定程度上减少了卷积计算的计算量。

作为本发明进一步改进，步骤S3中所述的构建邻接矩阵A和特征矩阵X以及度矩阵D，并定义权重矩阵具体包括如下步骤，

S3.1：根据每个节点的像素值之间的关系构建有向无权图，箭头由像素值大的节点指向像素值小的节点，若两节点像素值相等，箭头为双向箭头；

S3.2：根据有向无权图写对应的邻接矩阵，节点依照像素值由小到大的顺序分别对应矩阵的1至n行，1至n列，假设对于3号节点，由3号节点出发，分别指向5号和8号节点，则3号节点对应的邻接矩阵第三行为：

[0 0 0 0 1 0 0 1 1]；

S3.3：根据每个节点的像素信息写特征矩阵，第一列是节点像素值由小到大，第二列取第一列的相反数；

S3.4：根据有向无权图，从每一节点出发的边数构建形式为对角阵的度矩阵；

S3.5：自设置权重矩阵；

S3.6：按公式进行卷积。

作为本发明进一步改进，步骤S3.1中，箭头仅为互异节点之间，节点聚合时忽略自节点的特征，用周围节点的信息判断当前节点的特征。

作为本发明进一步改进，步骤S3.5中，采用手动设计法设计权重矩阵，根据先验知识，对背景部分的权重设置为-1，特征部分的权重设置为1。

作为本发明进一步改进，每次做完一层图卷积会更新图的每个节点信息，在下一次进行卷积运算时可作为已知节点再次参与计算，以此达到层层迭代来做出更准确的特征分割。

作为本发明进一步改进，所述步骤S5完成后，用边长为4像素的均匀网格再次划分图像，重新开始进行卷积，以增加特征分割的准确性。

本发明一种基于图卷积网络的图像特征分割方法，具有如下特征；

本发明在做图卷积网络之前，提出以均匀网格分割图像，很大程度上减少卷积运算的计算量，并采用层层迭代的方法，提高特征分割的准确性。本发明用图卷积网络进行图像特征分割，解决卷积神经网络不能处理不规则图像的问题，大幅提升分割效果，并对特征分割结果起到优化作用。

附图说明

图1为本发明的基于图卷积网络的图像特征分割方法流程图；

图2为本发明第一层有向无权图；

图3为本发明经过更新后的第二层有向无权图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种基于图卷积网络的图像特征分割方法，目的是解决卷积神经网络无法处理非欧式结构数据的问题，并极大的提升了特征提取效果，其通过图像块之间的关系构建图，以此来获得邻接矩阵、特征矩阵以及度矩阵，并通过手动设置权重的方法定义权重矩阵，从而分层进行图卷积，得到特征分割图像。

请参考图1。图1为本发明的基于图卷积网络的图像特征分割方法流程图。

本发明首先提供一种基于图卷积网络的图像特征分割方法，其步骤如下：

S1：读取图像并进行预处理。

输入一张彩色图像，该图像实际是一个RGB三通道的0-255的正整数组成的数值矩阵，首先对图像进行灰度化，采用平均值法，将R、G、B三通道的值加和除以3作为灰度化后的图像的RGB值(即灰度化后的R/G/B＝(处理前的R+处理前的G+处理前的B)/3)；第二步，对灰度化后的图像进行几何变换，采用双线性插值法对图像进行平移、转置、镜像、旋转、缩放等几何变换，从而来改正图像采集系统的系统误差和仪器位置的随机误差；最后，对图像进行图像增强，其目的是增强图中的有用信息，加强图像判读和识别效果，采用的是直方图均衡化方法，将原来出现频率较高的像素范围进行展宽，而对出现频率较低的像素，则尽可能的将其像素范围进行压缩，以期达到突出画面主要内容的目的。

S2：将步骤S1处理后的图像用边长为8像素的均匀网格划分图像，划分为n个8*8的图像块，构建以最中间的图像块为顶点，周围相邻图像块为其他节点的图；

将预处理后的图像用边长为8像素的均匀网格进行分割，图像块不足8像素边长的部分像素用0补齐，划分为n个8*8的图像块。用每个图像块中的所有像素的平均值作为该图像块的数值信息。构建以最中间的图像块为顶点，周围相邻图像块为其他节点的图，图中的箭头由像素大的节点指向像素小的节点，如两个相邻节点像素值相等，为双向箭头，请参考图2。

S3：根据步骤S2构建的图构建邻接矩阵A和特征矩阵X以及度矩阵D，并定义权重矩阵W，用公式f(X,A)＝D^(-1)*A*X*W完成第一层图卷积，用卷积结果更新顶点以及节点图像块的图像信息；

根据图构建邻接矩阵，矩阵的第一行至第n行分别对应节点像素值由小到大的顺序，根据图2，示例邻接矩阵A如下：

根据图构建特征矩阵，第一列为各节点的像素值由小到大排列，第二列取相反数，根据2，示例特征矩阵X如下：

根据图构建度矩阵，度矩阵是对角阵，对角线元素为该节点的邻居节点的个数，根据图2，示例度矩阵D如下：

根据图像，采用手动设计法设计权重矩阵W，根据先验知识，对背景部分的权重设置为-1，特征部分的权重设置为1。

用公式f(X,A)＝D^(-1)*A*X*W完成第一层图卷积，用卷积结果更新顶点以及节点图像块的图像信息。

S4：构建经过S3更新的顶点作为新的顶点，周围相邻块以及相邻块的图像为节点的图，进行第二层图卷积，更新顶点以及各节点的图像信息；

根据S3的结果更新第一层图的节点像素信息，作为第二层图的初始值，构建第二层图，进行卷积。请参考图3。

S5：对整张图像按层做以中心图像块为顶点的图卷积；直至整张图像每个图像块都完成作为节点的卷积，得出特征分割图像；

S6：为保证更精确的分割，对已完成的特征分割图像再次进行以边长为4像素的均匀网格分割，重复上述步骤，返回特征分割图。

根据新的图像块像素信息，取RGB值相等，得出特征分割图像。

本发明在处理图像信息时，采取先进行图像分割的方法，将数量多的数据减少，方便计算与操作。

本发明在进行图卷积时，首次通过构建有向无权图，得出了相应的邻接矩阵，并根据每个节点的数值信息得出相应的特征矩阵。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.一种基于图卷积网络的图像特征分割方法，包括如下步骤，其特征在于：

S1：读取图像并进行预处理；

S2：将步骤S1处理后的图像用边长为8像素的均匀网格划分图像，划分为n个8*8的图像块，构建以最中间的图像块为顶点，周围相邻图像块为其他节点的图；

S3：根据步骤S2构建的图构建邻接矩阵A和特征矩阵X以及度矩阵D，并根据先验知识定义权重矩阵W，用公式f(X，A)＝D^-1*A*X*W完成第一层图卷积，用卷积结果更新顶点以及节点图像块的图像信息；

步骤S3中所述的构建邻接矩阵A和特征矩阵X以及度矩阵D，并定义权重矩阵具体包括如下步骤，

S3.1：根据每个节点的像素值之间的关系构建有向无权图，箭头由像素值大的节点指向像素值小的节点，若两节点像素值相等，箭头为双向箭头；

S3.2：根据有向无权图写对应的邻接矩阵，节点依照像素值由小到大的顺序分别对应矩阵的1至n行，1至n列，假设对于3号节点，由3号节点出发，分别指向5号和8号节点，则3号节点所对应的是邻接矩阵的第三行，其值表示为：

[0 0 0 0 1 0 0 1 1]；

S3.3：根据每个节点的像素信息写特征矩阵，第一列是节点像素值由小到大，第二列取第一列的相反数；

S3.4：根据有向无权图，从每一节点出发的边数构建形式为对角阵的度矩阵；

S3.5：自设置权重矩阵；

步骤S3.5中，采用手动设计法设计权重矩阵，根据先验知识，对背景部分的权重设置为-1，特征部分的权重设置为1；

S3.6：按公式进行卷积；

S4：构建经过S3更新的顶点作为新的顶点，周围相邻块以及相邻块的图像为节点的图，进行第二层图卷积，更新顶点以及各节点的图像信息；

S5：对整张图像按层做以中心图像块为顶点的图卷积，直至整张图像每个图像块都完成作为节点的卷积，得出特征分割图像；

S6：为保证更精确的分割，对已完成的特征分割图像再次进行以边长为4像素的均匀网格分割，重复上述步骤，返回特征分割图。

2.根据权利要求1所述的一种基于图卷积网络的图像特征分割方法，其特征在于：所述的步骤S1中图像预处理具体包括如下步骤，

S1.1：对图像进行灰度化，采用平均值法；

S1.2：对灰度化后的图像进行几何变换，采用双线性插值法；

S1.3：对几何变换后的图像进行图像增强，采用直方图均衡法。

3.根据权利要求1所述的一种基于图卷积网络的图像特征分割方法，其特征在于：所述步骤S2中采用均匀网格划分图像,图像块不足8*8的部分像素用0补齐，并且用图像块内所有元素像素的平均值作为此图像块的像素信息，在一定程度上减少了卷积计算的计算量。

4.根据权利要求1所述的一种基于图卷积网络的图像特征分割方法，其特征在于：步骤S3.1中，箭头仅为互异节点之间，节点聚合时忽略自节点的特征，用周围节点的信息判断当前节点的特征。

5.根据权利要求1所述的一种基于图卷积网络的图像特征分割方法，其特征在于：每次做完一层图卷积会更新图的每个节点信息，在下一次进行卷积运算时可作为已知节点再次参与计算，以此达到层层迭代来做出更准确的特征分割。

Images