CN111353988B - Knn动态自适应的双图卷积图像分割方法和系统 - Google Patents

Abstract

本发明公开了KNN动态自适应的双图卷积图像分割方法，包括以下步骤：S1：将原始图像中的像素映射为图空间的节点；S2：建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；S3：在所述图结构中更新每个所述节点的特征形成全局推理数据；S4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。本发明还公开了KNN动态自适应的双图卷积图像分割系统。本发明KNN动态自适应的双图卷积图像分割方法和系统，实现了对图像语义分割的推理，极大的加强了特征分配时全局信息和长远距离信息的上下文语义分配，使得分配的特征直接关系紧密，提高信息质量去除信息冗余，提高了图像语义分割的精度。

Description

KNN动态自适应的双图卷积图像分割方法和系统

技术领域

本发明涉及图像处理、计算机视觉技术，具体涉及KNN动态自适应的双图卷积图像分割方法和系统。

背景技术

基于图像语义分割在智能交通、城市规划、自动驾驶、应急救援等智慧城市建设多方面有广泛的应用场景。区别于图像的识别和分类技术，图像语义分割属于多元语义分割问题，需要将每个属于分割对象的像素标识分类。根据分割对象的不同，我们需要获得全局信息和上下文语义关系，并做推理学习。如果可以根据样本数据动态自适应的学习特征，将避免信息冗余提高效率和语义分割精度。全局空间信息相对局部空间信息，学习到的特征更加全面丰富，效果更好。当然，有学者采用注意力机制实现全局信息的学习，效果也较好。但以注意力机制为代表的全局空间信息学习的语义分割方法也存在两点弊端：(1)信息冗余；(2)全局推理能力较弱。为此，我们提出本专利基于KNN和图卷积为基础技术的解决方法。

本专利技术普遍适用于图像语义分割，同时保护将本创新结构用于任何主干网络的任何部分。为进一步说明上述问题，我们以图像分割领域中较为困难的对象提取为例，即描述基于遥感影像的道路对象提取，说明本专利在全局信息学习、推理能力、样本信息动态自适应方面的能力做进一步说明。

基于遥感影像的道路提取是一项具有挑战性的任务。不像道路骨架信息(中心线)的提取，道路区域提取属于二元语义分割问题，需要将每个属于道路的像素标识为道路，剩余的像素标识为背景。相比其他常见的语义分割对象，道路语义分割的困难性来源于道路的独特性，具体的独特因素表现在：(1)道路细长，虽占据整张影像比例偏小，但往往整体跨度覆盖整张影像；(2)几何特征与河流、铁路、沟壑等相似，专业人员常难以判别；(3)纹理特征很容易和周边背景环境混淆；(4)因树木、阴影、建筑物等遮挡造成提取的道路不连通；(5)拓扑关系复杂，尤其在多条道路相互交叉的位置容易导致提取的道路不连通。这些因素使得遥感影像道路提取变得更加困难。假设动态的充分考虑长距离、全局信息将有助于道路的提取效果。

发明内容

本发明所要解决的技术问题是现有的语义分割信息质量和信息去冗余问题，同时提升网络的推理能力，学习推理上下文语义特征和长远距离语义相关信息，目的在于提供KNN动态自适应的双图卷积图像分割方法和系统，解决上述问题。

本发明通过下述技术方案实现：

KNN动态自适应的双图卷积图像分割方法，包括以下步骤：S1：将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；S2：根据所述节点之间的空间距离动态自适应地获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；S3：在所述图结构中将沿着确定的边进行图卷积运算完成信息传播更新每个所述节点的特征形成全局推理数据；S4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。

本发明应用时，目标是提高图像语义分割精度，尽量降低信息的冗余度，并尽量减少模型参数量以支持和适应图像提取的广泛应用。因此，本申请提出了一个新的全局推理的图像提取网络以解决上述问题，提高图像提取精度。在本发明中采用了双动态图卷积网络进行图像处理，第一步是进行映射，即将像素映射为节点，每个节点代表一簇像素，对应原始图片中的区域；第二步是推理，由于在本申请中创造性的讲像素映射成了节点，而节点可以组成图结构，由于在图结构中节点和节点之间的关系是清晰准确的，所以可以容易的实现推理过程，不但可以提高图像处理精度，也可以提高图像处理效率；在推理过程中，基于节点的空间距离，使用KNN算法找出每个节点的邻居节点，并建立连接关系，从而确定图结构，本发明构建的KNN图可以更有效的捕获长距离、相关性更强的语义信息。基于KNN图使用一般的图卷积沿着确定的边进行信息传播，更新各节点特征，从而实现全局推理；第三步是进行反映射，将推理后的节点再反映射回像素描述完成图像推理过程。本发明通过设置上述步骤，实现了对图像语义分割的推理，极大的加强了特征分配时上下文语义分配，使得分配的特征直接关系紧密，从而提高了图像语义分割的精度。

进一步的，步骤S1包括以下子步骤：

S11：建立映射函数F_projection(X)，使得V＝F_projection(X)，其中X为特征空间R^C×H×W中的像素，C为特征通道数，H和W均为输入特征图的空间维数，V为所述图空间的节点且V∈R^{N ×S}，N为节点数，S为节点的特征维度；

所述F_projection(X)＝φ(X)·θ(X)^T其中θ(X)为转换函数，φ(X)为系数函数；

S12：通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C，W_projection∈R^S×C是一组可学习的转换矩阵，随网络一起训练；

θ(X)＝W_projection X

S13：通过所述系数函数φ(X)获取将像素转为节点的注意力系数E_{projection(ij)}；

步骤S13包括以下子步骤：使用可训练参数W^e对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数E_{projection(ij)}，M＝H×W；

E_projection＝φ(X)

式中W^e为可训练参数。

进一步的，步骤S2包括以下子步骤：

构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(A_i)＝k，其中k为关联节点数量，A_i为邻接矩阵A中一个向量；

通过所述邻接矩阵A获取每个所述节点V_i,对应的k个邻居节点V_j，j∈Ω_k，Ω_k为任意一个节点k个临近节点的集合；

生成图结构G＝<V,E>，利用KNN动态自适应地求解A。

进一步的，步骤S3包括以下子步骤：

利用图卷积，对关联节点的特征进行聚合进行全局特征推理Z＝F_{KNN_Dual_GCN}(V)＝AVW；

对任意节点V_i,通过AV可以将其邻居节点V_j的特征进行聚合，实现信息传播，更新节点特征，即Z_i＝aggregate(V_j)；

对聚合后的特征求平均，再加上节点自身特征

防止过分考虑邻居(关联)特征而忽略了节点本身特征；W是一个可学习的参数矩阵，采用1D卷积实现W操作，用于对节点特征进行线性变换。

进一步的，所述全局推理包括以下步骤：

将所述图推理部分分为第一分支和第二分支，所述第一分支为对节点维度进行全局推理，所述第二分支为对节点特征维度进行全局推理；

将所述第一分支通过KNN动态图卷积推理，动态自适应地聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；

将所述第二分支通过KNN动态图卷积推理，动态自适应地生成节点特征推理数据；

将所述节点推理数据和节点特征推理数据进行融合作为所述全局推理数据。

本发明应用时，第一分支用基本的KNN动态图卷积进行推理，通过聚合邻居节点的特征，捕获长距离依赖关系，使每个节点获得更丰富、准确的上下文语义信息，而第二分支的图空间中将节点特征维度采用相同的图卷积结构进行推理，实现对每个节点特征进行信息扩充。通过这样的分开推理的手段，由于对于不同的特征分别进行推理，可以有效的提高推理准确性。

进一步的，步骤S4包括以下子步骤：

根据下式进行反映射后的输出：

所述

所述

为一组可训练的转换矩阵，

为反映射后的输出结果。

KNN动态自适应的双图卷积图像分割系统，包括：

映射单元：用于将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；

推理单元：用于根据所述节点之间的空间距离动态自适应地获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；

所述推理单元还用于在所述图结构中将沿着确定的边进行图卷积运算完成信息传播更新每个所述节点的特征形成全局推理数据；

反映射单元：用于将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。

进一步的，所述映射单元建立映射函数F_projection(X)，使得V＝F_projection(X)，其中X为特征空间R^C×H×W中的像素，C为特征通道数，H和W均为输入特征图的空间维数，V为所述图空间的节点且V∈R^N×S，N为节点数，S为节点的特征维度；

所述F_projection(X)＝φ(X)·θ(X)^T其中θ(X)为转换函数，φ(X)为系数函数；

通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C，W_projection∈R^S×C是一组可学习的转换矩阵，随网络一起训练；

θ(X)＝W_projectionX

通过所述系数函数φ(X)获取将像素转为节点的注意力系数E_{projection(ij)}；

步骤S13包括以下子步骤：使用可训练参数W^e对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数E_{projection(ij)}，M＝H×W；

E_projection＝φ(X)

式中W^e为可训练参数。

进一步的，所述推理单元构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(A_i)＝k，其中k为关联节点数量，A_i为邻接矩阵A中一个向量；

通过所述邻接矩阵A获取每个所述节点V_i,对应的k个邻居节点V_j，j∈Ω_k，Ω_k为任意一个节点k个临近节点的集合；

生成图结构G＝<V,E>，利用KNN动态自适应地求解A；所述推理单元利用图卷积，对关联节点的特征进行聚合进行全局特征推理Z＝F_{KNN_Dual_GCN}(V)＝AVW；

对任意节点V_i,通过AV可以将其邻居节点V_j的特征进行聚合，实现信息传播，更新节点特征，即Z_i＝aggregate(V_j)；

对聚合后的特征求平均，再加上节点自身特征

防止过分考虑邻居(关联)特征而忽略了节点本身特征；W是一个可学习的参数矩阵，采用1D卷积实现W操作，用于对节点特征进行线性变换。

进一步的，所述推理单元将所述图推理部分为第一分支和第二分支，所述第一分支为对节点维度进行全局推理，所述第二分支为对节点特征维度进行全局推理；

将所述第一分支通过KNN动态图卷积推理，动态自适应地聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；

将所述第二分支通过KNN动态图卷积推理，动态自适应地生成节点特征推理数据；

将所述节点推理数据和节点特征推理数据进行融合作为所述全局推理数据；

所述反映射单元根据下式进行反映射后的输出：

所述

所述

为一组可训练的转换矩阵，

为反映射后的输出结果。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明KNN动态自适应的双图卷积图像分割方法和系统，实现了对图像语义分割的推理，极大的加强了特征分配时上下文语义分配，使得分配的特征直接关系紧密，着重信息质量，去除信息冗余，从而提高了图像语义分割的精度；

2、本发明KNN动态自适应的双图卷积图像分割方法和系统，提出了一个新的双动态图卷积网络，将隐藏的特征映射到图空间进行推理学习，降低了推理难度，提高了推理精度和效率；

3、本发明KNN动态自适应的双图卷积图像分割方法和系统，实用于图像分割领域，同时实用于将本创新发明的“KNN动态自适应的双图卷积”网络用于其他主干网络的任何部分。采用双分支的设计，分别从节点和节点特征两个维度进行学习和推理，对于不同的特征分别进行推理，可以有效的提高推理准确性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明方法步骤示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1所示，本发明KNN动态自适应的双图卷积图像分割方法，包括以下步骤：S1：将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；S2：根据所述节点之间的空间距离获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；S3：在所述图结构中将图卷积沿着确定的边进行信息传播更新每个所述节点的特征形成全局推理数据；S4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。

本实施例实施时，本发明的目标是提高图像语义分割精度，尽量降低信息的冗余度，并尽量减少模型参数量以支持和适应图像提取的广泛应用。因此，本申请提出了一个新的全局推理的图像提取网络以解决上述问题，提高图像提取精度。在本发明中采用了KNN动态图卷积的方式进行图像处理，第一步是进行映射，即将像素映射为节点，每个节点代表一簇像素，对应原始图片中的区域；第二步是推理过程，由于在本申请中创造性的讲像素映射成了节点，而节点可以组成图结构，由于在图结构中节点和节点之间的关系是清晰准确的，所以可以容易的实现推理过程，不但可以提高图像处理精度，也可以提高图像处理效率；在推理过程中，基于节点的空间距离，使用KNN算法找出每个节点的邻居节点，并建立连接关系，从而确定图结构，本发明构建的KNN图可以更有效的捕获长距离、相关性更强的语义信息。基于KNN图使用一般的图卷积沿着确定的边进行信息传播，更新各节点特征，从而实现全局推理；第三步是进行反映射，将推理后的节点再反映射回像素完成图像处理过程。本发明通过设置上述步骤，实现了对图像语义分割的推理，极大的加强了特征分配时上下文语义分配，使得分配的特征直接关系紧密，从而提高了图像语义分割的精度。

本实施例中，第一步是映射。将像素映射为节点，每个节点代表一簇像素，对应原始图片中的区域；第二步是推理。基于节点的空间距离，使用KNN算法找出每个节点的邻居节点，并建立连接关系，从而确定图结构，我们构建的KNN图可以更有效的捕获长距离、相关性更强的语义信息。基于KNN图使用一般的图卷积沿着确定的边进行信息传播，更新各节点特征，从而实现全局推理；第三步是反映射。将推理后的节点再反映射回像素。设输入特征X，经图推理模块得到输出特征

为了进一步的说明本实施例的工作过程，步骤S1包括以下子步骤：

S11：建立映射函数F_projection(X)，使得V＝F_projection(X)，其中X为特征空间R^C×H×W中的像素，C为特征通道数，H和W均为输入特征图的空间维数，V为所述图结构中的节点且V∈R^N×S，N为节点数，S为节点的特征维度；

所述F_projection(X)＝φ(X)·θ(X)^T其中θ(X)为转换函数，φ(X)为系数函数；

S12：通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C；

S13：通过所述系数函数φ(X)获取将像素转为节点的注意力系数E_{projection(ij)}；

步骤S13包括以下子步骤：使用可训练参数W^e对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数E_{projection(ij)}。

本实施例实施时，设X∈R^C×H×W为时空卷积层的输入张量，其中C为特征通道数，H和W为输入特征图的空间维数，对X做变换X∈R^C×M，M＝H×W。采用F_projection(X)将特征空间的像素X映射到图空间的节点V，定义如下：

V＝F_projection(X)＝φ(X)·θ(X)^T

其中，V∈R^N×S，N为节点数，N＜＜M可以根据实际需求自动设置。S为节点的特征维度，S<C。以减少计算量提高效率。具体分为如下两步。

首先，通过θ(X)∈R^S×M将像素的特征维度C(featureMap通道数)转换为节点的特征维度S。θ(X)定义如下：

θ(X)＝W_projectionX

其中，W_projection∈R^S×C是一组可学习的转换矩阵，随网络一起训练。

其次，使用函数φ(X)计算得到一组用于将像素转为节点的注意力系数E_projection＝φ(X),E_projection∈R^N×M.首先使用一组可训练的参数W^e对X进行变换，然后在M维度进行softmax归一化，评估不同像素映射到同一节点时各自的贡献，进而得到系数矩阵E_{projection(ij)}：

其中，W^e∈R^N×C也是一组可训练的转换矩阵，x_j是X的C维列向量。

为了进一步的说明本实施例的工作过程，步骤S2包括以下子步骤：

构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(A_i)＝k，其中k为关联节点数量，A_i为邻接矩阵A中一个向量；

通过所述邻接矩阵A获取每个所述节点对应的邻居节点V_j，j∈Ω_k，Ω_k为任意一个节点k个临近节点的集合；

生成图结构G＝<V,E>，利用KNN动态自适应地求解A。

本实施例实施时，一个图结构数据可定义为G＝<V,E>，V and E分别表示节点和边的集合。V∈R^N×S通过映射得到。E通过构建N×N的邻接矩阵A获得。A_i可被表示为A_i＝[0,1,0,1,...],这里0表示不连接，1表示连接。sum(A_i)＝k,k代表关联节点数量。对任意一个节点V_i,可以采用不同方法找出V_i的k个临近节点V_j，j∈Ω_k，Ω_k表示任意一个节点k个临近节点的集合。

为了进一步的说明本实施例的工作过程，步骤S3包括以下子步骤：

将所述图结构中的数据分为第一分支和第二分支，所述第一分支为对节点数据进行全局推理，所述第二分支为对节点特征数据进行全局推理；

将所述第一分支通过KNN-GCN推理，动态自适应地聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；

将所述第二分支通过KNN-GCN推理，生成特征空间推理数据；

将所述节点推理数据和特征空间推理数据作为所述全局推理数据。

本实施例实施时，第一分支用基本的KNN GCN进行推理，通过聚合邻居节点的特征，捕获长距离依赖关系，使每个节点获得更丰富、准确的上下文语义信息，而第二分支的空间中将节点和节点维度互换采用相同的图卷积结构进行推理，实现对每个特征进行信息扩充。通过这样的分开推理的手段，由于对于不同的特征分别进行推理，可以有效的提高推理准确性。

第一分支和第二分支的推理是通过基于KNN的动态图卷积实现，命名为SDGCN是Single Dynamic Graph Convolution Network，在本实施例中，结合图卷积对关联节点的特征进行聚合，实现全局特征推理，称该推理方法为KNN Graph Convolution Network。具体定义如下：

Z＝F_{KNN_Dual_GCN}(V)＝AVW

其中，采用KNN求解A。W是一个可学习的参数矩阵，用于对节点特征进行线性变换，我们采用1D卷积实现W操作。对任意节点V_i,通过图卷积可以将其邻居节点V_j的特征进行聚合，实现信息传播，更新节点特征，即：

Z_i＝aggregate(V_j)

其中，j∈Ω_k.实验中，为了防止过分考虑邻居(关联)特征而忽略了节点本身特征，我们对聚合后的特征求平均，再加上节点自身特征，定义如下：

本实施例中的两个分支推理的方式实际上是一种双动态图卷积网络，采用双分支的KNN Graph Convolution Network，分别对节点和节点特征进行全局推理，进而整合空间信息和特征通道的信息。第一分支，对于V∈R^N×S，首先用基本的KNN GCN进行推理，通过聚合邻居节点的特征，捕获长距离依赖关系，使每个节点获得更丰富、准确的上下文语义信息。第二分支，将N和S进行转换，把特征S视为节点，节点N视为特征的表达，采用相同的图卷积结构进行推理。当然，我们认为这样可以对每个特征进行信息扩充。

在本实施例经过双分支KNN图卷积推理后，信息在图上传播，各节点都获取了全局信息，增强了自身的特征表达。现在我们需要信息从节点空间反映射回像素空间，节点的特征分布经过图推理后会发生变化，所以需要重新找到一组映射矩阵及注意力系数来实现反映射。与映射类似，通过ψ(X)计算出一组系数矩阵E_reprojection，E_{reprojectio n}∈R^N×M，具体定义如下：

其中，

也是一组可训练的转换矩阵。通过这组系数重新评估各节点到像素的权重，更准确的实现反映射。最后我们使用残差连接将输入与输出结合，定义如下：

本发明KNN动态自适应的双图卷积图像分割系统，包括：

映射单元：用于将原始图像中的像素映射为节点，所述节点表示原始图像中一片区域中的一簇像素；

推理单元：用于根据所述节点之间的空间距离获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；

所述推理单元还用于在所述图结构中将图卷积沿着确定的边进行信息传播更新每个所述节点的特征形成全局推理数据；

反映射单元：用于将所述全局推理数据中每个节点的特征反映射至原始图像中的像素完成推理。

为了进一步的说明本实施例的工作过程，所述映射单元建立映射函数F_{project ion}(X)，使得V＝F_projection(X)，其中X为特征空间R^C×H×W中的像素，C为特征通道数，H和W均为输入特征图的空间维数，V为所述图结构中的节点且V∈R^N×S，N为节点数，S为节点的特征维度；

所述F_projection(X)＝φ(X)·θ(X)^T其中θ(X)为转换函数，φ(X)为系数函数；

所述映射单元通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C；

所述映射单元通过所述系数函数φ(X)获取将像素转为节点的注意力系数E_{projection(ij)}；

所述映射单元使用可训练参数W^e对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数E_{projection(ij)}。

为了进一步的说明本实施例的工作过程，所述推理单元构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(A_i)＝k，其中k为关联节点数量，A_i为邻接矩阵A中一个向量；

所述推理单元通过所述邻接矩阵A获取每个所述节点对应的邻居节点V_j，j∈Ω_k，Ω_k为任意一个节点k个临近节点的集合；

所述推理单元生成图结构G＝<V,E>，利用KNN动态自适应地求解A。

为了进一步的说明本实施例的工作过程，所述推理单元将所述图结构中的数据分为第一分支和第二分支，所述第一分支为节点数据的全局推理，所述第二分支为节点特征数据的全局推理；

所述推理单元将所述第一分支通过KNN-GCN推理，聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；

所述推理单元将所述第二分支通过KNN-GCN推理，生成特征空间推理数据；

所述推理单元将所述节点推理数据和特征空间推理数据作为所述全局推理数据。

为了进一步说明本实施例的工作效果，本实施例基于DeepGlobe RoadExtraction dataset制定了数据集，从原DeepGlobe的训练集中，以8:1:1的比例，随机分出了4971张图片作为训练集，622张图片作为验证集，622张图片作为测试集。每张影像的分辨率是1024×1024。该数据集表示为二值分割问题，其中道路标记为前景，其他对象标记为背景。数据扩增方式采用水平翻转、垂直翻转、对角线翻转、大幅颜色抖动、图像移动、缩放。

其中，主干网络以LinkNet为实例说明，设计并潜入双动态图卷积网络。实验中，本文使用BCE(binary cross entropy)+dice coeffcient loss作为损失函数，选择Adam作为optimizer。batch size设为16，初始学习率设为1e-4。当训练集的loss连续6个epochs大于最佳训练loss，学习率除以5。在训练中，调整后的学习率低于5e-7训练会被终止。所有模型的训练和测试都是在NVIDIA Tesla V100 32GB上进行的，操作系统是Ubuntu 18.06。

在最终的测试结果中，本实施例提出的基于KNN的双动态图卷积网络相较于其他比较方法，可以在大部分评估指标上获得可观的性能；并且本实施例的模型参数较小，从而在运算中可以获得更好的性能。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。具体的，本发明“KNN动态自适应的双图卷积”的设计可以嵌入任何主干神经网络中的任何学习阶段，可以用在图像分割领域和其他智能应用领域；可以嵌入到有关的智能应用系统中，均受本专利保护。

Claims (6)

1.KNN动态自适应的双图卷积图像分割方法，其特征在于，包括以下步骤：

S1：将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；

S2：根据所述节点之间的空间距离动态自适应地获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；

S3：在所述图结构中将沿着确定的边进行图卷积运算完成信息传播更新每个所述节点的特征形成全局推理数据；

S4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理；

步骤S3包括以下子步骤：

利用图卷积，对关联节点的特征进行聚合，并进行全局特征推理Z＝F_{KNN_Dual_GCN}(V)＝AVW；

对任意节点V_i,通过AV可以将其邻居节点V_j的特征进行聚合，实现信息传播，更新节点特征，即Z_i＝aggregate(V_j)；

对聚合后的特征求平均，再加上节点自身特征

防止过分考虑邻居关联特征而忽略了节点本身特征；W是一个可学习的参数矩阵，采用1D卷积实现W操作，用于对节点特征进行线性变换；

全局推理包括以下步骤：

将图推理部分分为第一分支和第二分支，所述第一分支为对节点维度进行全局推理，所述第二分支为对节点特征维度进行全局推理；

将所述第一分支通过KNN动态图卷积推理，动态自适应地聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；

将所述第二分支通过KNN动态图卷积推理，动态自适应地生成节点特征推理数据；

将所述节点推理数据和节点特征推理数据进行融合作为所述全局推理数据。

2.根据权利要求1所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，步骤S1包括以下子步骤：

S11：建立映射函数F_projection(X)，使得V＝F_projection(X)，其中X为特征空间

中的像素，C为特征通道数，H和W_R均为输入特征图的空间维数，V为所述图空间的节点且V∈R^N×S，N为节点数，S为节点的特征维度；

所述F_projection(X)＝φ(X)·θ(X)^Τ其中θ(X)为转换函数，φ(X)为系数函数；

S12：通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C，W_projection∈R^S×C是一组可学习的转换矩阵，随网络一起训练；

θ(X)＝W_projection X

S13：通过所述系数函数φ(X)获取将像素转为节点的注意力系数E_{projection(ij)}；

步骤S13包括以下子步骤：使用可训练参数W^e对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数E_{projection(ij)}，M＝H×W；

E_projection＝φ(X)

式中W^e为可训练参数。

3.根据权利要求2所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，步骤S2包括以下子步骤：

构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(A_i)＝k，其中k为关联节点数量，A_i为邻接矩阵A中一个向量；

通过所述邻接矩阵A获取每个所述节点V_i,对应的k个邻居节点V_j，j∈Ω_k，Ω_k为任意一个节点k个临近节点的集合；

生成图结构G＝<V,E>，利用KNN动态自适应地求解A。

4.根据权利要求1所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，步骤S4包括以下子步骤：

根据下式进行反映射后的输出：

所述

所述

为一组可训练的转换矩阵，

为反映射后的输出结果。

5.KNN动态自适应的双图卷积图像分割系统，其特征在于，包括：

映射单元：用于将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；

推理单元：用于根据所述节点之间的空间距离动态自适应地获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；

所述推理单元还用于在所述图结构中将沿着确定的边进行图卷积运算完成信息传播更新每个所述节点的特征形成全局推理数据；

反映射单元：用于将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理；

所述推理单元构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(A_i)＝k，其中k为关联节点数量，A_i为邻接矩阵A中一个向量；

通过所述邻接矩阵A获取每个所述节点V_i,对应的k个邻居节点V_j，j∈Ω_k，Ω_k为任意一个节点k个临近节点的集合；

生成图结构G＝<V,E>，利用KNN动态自适应地求解A；所述推理单元利用图卷积，对关联节点的特征进行聚合，并进行全局特征推理Z＝F_{KNN_Dual_GCN}(V)＝AVW；

对任意节点V_i,通过AV可以将其邻居节点V_j的特征进行聚合，实现信息传播，更新节点特征，即Z_i＝aggregate(V_j)；

对聚合后的特征求平均，再加上节点自身特征

防止过分考虑邻居关联特征而忽略了节点本身特征；W是一个可学习的参数矩阵，采用1D卷积实现W操作，用于对节点特征进行线性变换；

所述推理单元将图推理部分为第一分支和第二分支，所述第一分支为对节点维度进行全局推理，所述第二分支为对节点特征维度进行全局推理；

将所述第一分支通过KNN动态图卷积推理，动态自适应地聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；

将所述第二分支通过KNN动态图卷积推理，动态自适应地生成节点特征推理数据；

将所述节点推理数据和节点特征推理数据进行融合作为所述全局推理数据；

所述反映射单元根据下式进行反映射后的输出：

所述

所述

为一组可训练的转换矩阵，

为反映射后的输出结果。

6.根据权利要求5所述的KNN动态自适应的双图卷积图像分割系统，其特征在于，

所述映射单元建立映射函数F_projection(X)，使得V＝F_projection(X)，其中X为特征空间

中的像素，C为特征通道数，H和W_R均为输入特征图的空间维数，V为所述图空间的节点且V∈R^N×S，N为节点数，S为节点的特征维度；

所述F_projection(X)＝φ(X)·θ(X)^Τ其中θ(X)为转换函数，φ(X)为系数函数；

通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C，W_projection∈R^S×C是一组可学习的转换矩阵，随网络一起训练；

θ(X)＝W_projection X

通过所述系数函数φ(X)获取将像素转为节点的注意力系数E_{projection(ij)}；

步骤S13包括以下子步骤：使用可训练参数W^e对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数E_{projection(ij)}，M＝H×W；

E_projection＝φ(X)

式中W^e为可训练参数。

Images