CN116645579A - 一种基于异质图注意力机制的特征融合方法 - Google Patents

一种基于异质图注意力机制的特征融合方法 Download PDF

Info

Publication number
CN116645579A
CN116645579A CN202310575850.3A CN202310575850A CN116645579A CN 116645579 A CN116645579 A CN 116645579A CN 202310575850 A CN202310575850 A CN 202310575850A CN 116645579 A CN116645579 A CN 116645579A
Authority
CN
China
Prior art keywords
graph
feature
spectrum
method based
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310575850.3A
Other languages
English (en)
Inventor
邸江磊
江文隽
秦智坚
吴计
王萍
任振波
秦玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202310575850.3A priority Critical patent/CN116645579A/zh
Publication of CN116645579A publication Critical patent/CN116645579A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于一种图像处理领域，公开了一种基于异质图注意力机制的特征融合方法,包括以下步骤：将多光谱图像通进行数据特征的提取与降维，将降维后的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图。对于得到的三个特征图边和节点进行分析，用基于图神经网络的边和节点链接方法，将三个不同节点类型的特征图进行连接。将连接成的特征图，采用基于自注意力的图池化方法，对新图的节点进行提取与聚合信息，以自适应的方式实现多源特征信息的融合，获得最终融合多源特征的异质图。该融合多个维度特征的异质图，提升了网络模型对于处理多光谱数据的效果。

Description

一种基于异质图注意力机制的特征融合方法
技术领域
本发明涉及图像处理领域，具体是一种基于异质图注意力机制的特征融合方法。
背景技术
异质图指的是由不同类型的节点和边构成的图。在异质图中，每个节点和边都有自己特定的类型和属性，这些节点和边之间的连接方式也可能是多样化的。异质图常见于许多复杂系统的建模中，如社交网络、蛋白质相互作用网络、知识图谱等。在这些应用中，节点和边的类型通常代表了不同的实体或关系，如人、组织、物品、关系等。总之，异质图是一种具有多样性和复杂性的图模型。
多光谱图像是一种包含多个波段信息的图像，能够获取包含丰富空间信息和光谱信息，可克服单一模态图像信息受限的问题。多光谱图像传统的特征提取方法，提取的特征通常是比较简单和粗糙的，不能很好地表达图像的复杂信息，对于非线性相关的特征效果不佳，对于多尺度特征的表达存在一定的局限性，模型泛化能力较差，同时提取特征的维度有限。
因此，如何有效的提取多光谱的特征信息，以此方便多光谱图像进行后续图像分类，目标检测等多种视觉任务，成为一个需要解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于异质图注意力机制的特征融合方法，所述方法能够将多光谱图像从三个维度进行图嵌入，获得融合多个图的特征的异质图，可以能够获得融合更多维度的信息的图结构，同时提升特征融合的效果。
本发明解决上述技术问题的技术方案是：
一种基于异质图注意力机制的特征融合方法，包括以下步骤：
(S1)、获取多光谱图像，并通过流形学习与空谱嵌入的方法进行数据特征的提取与降维；
(S2)、将降维的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图；
(S3)、对于得到的三个特征图的节点与边进行分析，采用基于图神经网络的边和节点链接方法，将三个不同类型节点和边的特征图进行连接；
(S4)、将连接成的特征图，采用基于注意力的图池化方法，对新图的节点进行提取与聚合信息，获得最终融合多源特征的异质图。
优选的，在步骤(S1)中，所述的多光谱图像由可以同时采集3个及以上光谱带的多光谱相机拍摄的。
优选的，在步骤(S2)中，所述的特征提取与降维，是通过增广向量表示多光谱图像的波段阵列编码和多光谱图像的空间像素邻域编码的融合形式，将融合后的数据信息利用空谱嵌入完成不同像素光谱特征相似性的权重分配，通过流形学习对局部邻域空间和光谱信息进行相似性分类与特征降维。
优选的，在步骤(S2)中，所述的三个特征图的获取是：利用降维后的光谱数据，结合红外光谱特征提取光谱数据的物理特征图；可以利用线性迭代聚类的方法确定超像素邻居节点信息，依据超像素的空间连通性关系构建节点之间的边连接关系，提取空间特征图；结合目标的光谱特征相似性，设计邻接矩阵，从不同的光谱波段维度抽样重组得到目标光谱特征分布，利用图神经网络有效表示驻留在平滑流形上的光谱数据。
优选的，在步骤(S3)中，所述链接的网络模型为图自编码器。其中，所述的自编码器包括但不限于图卷积自编码器、变分图卷积自编码器、对抗正则化图自编码器。
优选的，在步骤(S4)中，所述的图池化方法包括但不限于DiffPool，SAGPool，ASAP。
经由上述的技术方案得知，本发明公开提供一种基于异质图注意力机制的特征融合方法，与现有技术相比的有益效果在于：
所述方法该方法从多个维度提取特征图，包括空间特征、物理特征和光谱特征等。这些特征能够有效地捕捉不同维度的信息，获得更全面和准确的特征表示，这种方法还可以减少特征图之间的冗余信息，并增加特征图之间的互补性，提高了多光谱图像处理的准确性和稳定性。通过融合异质的特征图，可以降低特征提取过程中的噪声和干扰，从而提高特征提取的准确性和稳定性。此外，使用异质特征融合方法可以使得模型更具有泛化能力，获得更好的处理效果。融合多个图的特征的异质图，可以能够获得融合更多维度的信息的图结构，能够提升特征融合的效果。
附图说明
图1为本发明的一种基于异质图注意力机制的特征融合方法的流程框图。
图2为本发明的获得融合异质图的过程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1，本发明的一种基于异质图注意力机制的特征融合方法包括以下步骤：
(S1)、获取多光谱图像，并通过流形学习与空谱嵌入的方法进行数据特征的提取与降维；
(S2)、将降维的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图；
(S3)、对于得到的三个特征图的节点与边进行分析，采用基于图神经网络的边和节点链接方法，将三个不同类型节点和边的特征图进行连接；
(S4)、将连接成的特征图，采用基于注意力的图池化方法，对新图的节点进行提取与聚合信息，获得最终融合多源特征的异质图。
参见图1，在步骤(S1)中，所述的获取的多光谱数据是由四个波段的多光谱图像组成。
另外，所述的融合光谱和空间信息的增广向量可由下式表示：
x＝(u,v,b1,b2,...,bB)＝(x1,x2,...,xB+2)T (1)
其中h(u,v)为图像网格平面上的某一像素，(b1,b2,b3,bB)为波段阵列。
具体的实施例中我们获取了4个波段的图像，故B＝4。
另外，所述的空谱信息嵌入和流形学习的特征提取与降维，是以L个标记像素的增广向量作为训练数据，归一化后对任一xi在监督模式下进行同类别分类，并通过k最近邻算法构建像素局部邻域，进一步结合流形学习框架编码邻域数据的流形局部拓扑进行特征降维。
其中，yi为xi学习到的m维特征，{Wij}为输入数据和Di＝∑jWij之间相似性的正权重，原始xi和xj之间的特征相似性约束可通过降维得到的yi和yj之间的特征欧式距离度量指标来保持。
具体的实施例中，增广向量中标记的元素个数为6。
另外，基于空间谱多项式局部域嵌入的权重可以通过拉普拉斯嵌入和局域性保持投影计算得到，即：
参见图1，在步骤(S2)中，所述的物理特征图，包括等效温度、等效面积物理特征，通过随机游走图嵌入方法表示为图。
另外，所述的空间特征图中，先通过SLIC算法对多光谱图像进行超像素分割，通过计算像素点之间的空间距离和光谱距离，并平衡权重，迭代的更新超像素聚类中心和范围边界，在新的聚类中心和旧的聚类中心之间的误差小于一定范围时停止迭代，得到一个由超像素构成的多光谱图像数据，依据超像素的空间连通性关系构建节点之间的边连接关系。
具体的，空间距离和光谱距离表达式为：
式中，dc为光谱平方差，d(Sx,Sy)为光谱角距离，ds为距离平方通过调整m来平衡，m一般为50。
具体的实施例中，迭代次数为15次，聚类中心和旧的聚类中心之间的误差小于0.01即可。
另外,所述的光谱特征图，由通过半监督邻接矩阵的方法进行构建；具体的，该方法基于有限数量的标签数据和大量未标记数据所提供的信息构建而成，使用基于变分推理的Dirichlet过程混合模型构建伪标签，基于数据样本中的内在聚类算法实现空间光谱邻接矩阵构建。
参见图1，在步骤(S3)中，对于得到的三个特征图的节点与边进行分析，采用基于图自编码器的网络结构，将三个不同类型节点和边的特征图进行连接。
具体的，分析给定的每个图，通过余弦相似度分析不同图之间的节点特征向量，保留三个图中相似度高的节点。
具体的实例中，设定大于0.7的概率保留，低于0.3的概率舍去。
对于处理后的三个图，使用图卷积网络对其进行计算，得到每个节点的节点表征，对于节点i，提取其对应的节点表征zi。使用公式Z＝GCN(X,A)来计算图的节点表征矩阵Z，其中X为节点特征矩阵，A为邻接矩阵，Z的第i行是节点i的表征zi，即zi＝Zi。
接着利用下面公式：
其中就是链接节点(i,j)之间的预测概率，其中σ为Sigmoid激活函数；这里，设定大于0.8概率进行链接，小于0.2的概率不连接，获得链接三个图后的新图。
参见图1，在步骤(S4)中，利用SAGpool的方法去对新图的节点进行提取与聚合信息。
具体的，将提取的新图先通过一次图神经的卷积操作，GCN对每个节点v∈V进行特征表示的学习，即将每个节点的邻居节点特征进行聚合，得到节点v的特征表示。
对于每个节点v，用自注意力机制来为每个节点计算一个注意力得分z。其中得分X为该图结构的特征矩阵，D代表图的度矩阵，A是图的邻接矩阵，Θatt是SAGPool层中的唯一参数，σ为tanh激活函数。注意力得分是通过考虑节点自身的特征以及其相邻节点的特征来计算的得分越高代表该节点在当前层中的重要性越高。
接着利用idx＝top-rank(Z,[kN])，topk为选取最重要的节点，通过池化比例k来决定保留的节点数，这里我们设定k为0.5；通过这样获得基于注意力的掩码图，将该掩码图与原输入的融合的异质信息的图结构进行对应节点的相乘，获得最终的输出图，即融合多源特征的异质图。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于异质图注意力机制的特征融合方法，其特征在于，包括以下步骤：
(S1)、获取多光谱图像，并通过流形学习与空谱嵌入的方法进行数据特征的提取与降维；
(S2)、将降维的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图；
(S3)、对于得到的三个特征图的节点与边进行分析，采用基于图神经网络的边和节点链接方法，将三个不同类型节点和边的特征图进行连接；
(S4)、将连接成的特征图，采用基于注意力的图池化方法，对新图的节点进行提取与聚合信息，获得最终融合多源特征的异质图。
2.根据权利要求1所述的一种基于异质图注意力机制的特征融合方法，其特征在于，在步骤(S1)中，所述的多光谱图像由可以同时采集3个及以上光谱带的多光谱相机拍摄的。
3.根据权利要求1所述的一种基于异质图注意力机制的特征融合方法，其特征在于，在步骤(S2)中，所述的特征提取与降维，是通过增广向量表示多光谱图像的波段阵列编码和多光谱图像的空间像素邻域编码的融合形式，将融合后的数据信息利用空谱嵌入完成不同像素光谱特征相似性的权重分配，通过流形学习对局部邻域空间和光谱信息进行相似性分类与特征降维。
4.根据权利要求1所述的一种基于异质图注意力机制的特征融合方法，其特征在于，在步骤(S2)中，所述的三个特征图的获取是：利用降维后的光谱数据，结合红外光谱特征提取光谱数据的物理特征图；可以利用线性迭代聚类的方法确定超像素邻居节点信息，依据超像素的空间连通性关系构建节点之间的边连接关系，提取空间特征图；结合目标的光谱特征相似性，设计邻接矩阵，从不同的光谱波段维度抽样重组得到目标光谱特征分布，利用图神经网络有效表示驻留在平滑流形上的光谱数据。
5.根据权利要求1所述的一种基于异质图注意力机制的特征融合方法，其特征在于，在步骤(S3)中，所述链接的网络模型为图自编码器。其中，所述的自编码器包括但不限于图卷积自编码器、变分图卷积自编码器、对抗正则化图自编码器。
6.根据权利要求1所述的一种基于异质图注意力机制的特征融合方法，其特征在于，在步骤(S4)中，所述的图池化方法包括但不限于DiffPool，SAGPool，ASAP。
CN202310575850.3A 2023-05-22 2023-05-22 一种基于异质图注意力机制的特征融合方法 Pending CN116645579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310575850.3A CN116645579A (zh) 2023-05-22 2023-05-22 一种基于异质图注意力机制的特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310575850.3A CN116645579A (zh) 2023-05-22 2023-05-22 一种基于异质图注意力机制的特征融合方法

Publications (1)

Publication Number Publication Date
CN116645579A true CN116645579A (zh) 2023-08-25

Family

ID=87614664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310575850.3A Pending CN116645579A (zh) 2023-05-22 2023-05-22 一种基于异质图注意力机制的特征融合方法

Country Status (1)

Country Link
CN (1) CN116645579A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935083A (zh) * 2023-09-12 2023-10-24 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置
CN116934754A (zh) * 2023-09-18 2023-10-24 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935083A (zh) * 2023-09-12 2023-10-24 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置
CN116935083B (zh) * 2023-09-12 2023-12-12 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置
CN116934754A (zh) * 2023-09-18 2023-10-24 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置
CN116934754B (zh) * 2023-09-18 2023-12-01 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置

Similar Documents

Publication Publication Date Title
CN110399909B (zh) 一种基于标签约束弹性网图模型的高光谱图像分类方法
CN111291212B (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
Ma et al. Spectral–spatial classification of hyperspectral image based on deep auto-encoder
WO2019001071A1 (zh) 一种基于邻接矩阵的图特征提取系统、图分类系统和方法
CN116645579A (zh) 一种基于异质图注意力机制的特征融合方法
WO2022228348A1 (zh) 基于高阶关联保持的缺失多视图子空间聚类方法及系统
CN113239938B (zh) 一种基于图结构的高光谱分类方法及系统
CN114155443B (zh) 一种基于多感受野图注意力网络的高光谱图像分类方法
CN112381179A (zh) 一种基于双层注意力机制的异质图分类方法
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN116912550A (zh) 一种基于地物依赖关系的异构卷积网络遥感影像土地利用并行分类方法
Feng et al. Land-cover classification of high-resolution remote sensing image based on multi-classifier fusion and the improved Dempster–Shafer evidence theory
CN110648332B (zh) 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN115830179A (zh) 一种类别无关的遥感地物矢量拓扑结构提取方法
CN115272696A (zh) 一种基于自适应卷积和局部几何信息的点云语义分割方法
CN114596464A (zh) 多特征交互的无监督目标检测方法、系统、电子设备和可读存储介质
CN117853596A (zh) 无人机遥感测绘方法及系统
CN117935362A (zh) 基于异构骨架图的人体行为识别方法及系统
CN105719323A (zh) 一种基于优化图谱理论的高光谱降维方法
CN116563187A (zh) 一种基于图神经网络的多光谱图像融合
Dufourg et al. Graph dynamic earth net: Spatio-temporal graph benchmark for satellite image time series
CN117132885A (zh) 一种高光谱影像分类方法、系统及存储介质
CN116740415A (zh) 一种基于光谱分解函数的双分支图卷积网络遥感图像分类方法
Zhu et al. Computer image analysis for various shading factors segmentation in forest canopy using convolutional neural networks
CN116704378A (zh) 一种基于自生长卷积神经网络的国土测绘数据分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination