CN114067215A - 基于节点注意力机制图神经网络的遥感图像检索方法 - Google Patents

基于节点注意力机制图神经网络的遥感图像检索方法 Download PDF

Info

Publication number
CN114067215A
CN114067215A CN202210047639.XA CN202210047639A CN114067215A CN 114067215 A CN114067215 A CN 114067215A CN 202210047639 A CN202210047639 A CN 202210047639A CN 114067215 A CN114067215 A CN 114067215A
Authority
CN
China
Prior art keywords
node
image
neural network
graph
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210047639.XA
Other languages
English (en)
Other versions
CN114067215B (zh
Inventor
叶发茂
王孟瑶
朱晓颖
辛俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua Polytechnic University Nanchang Campus
Original Assignee
Donghua Polytechnic University Nanchang Campus
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua Polytechnic University Nanchang Campus filed Critical Donghua Polytechnic University Nanchang Campus
Priority to CN202210047639.XA priority Critical patent/CN114067215B/zh
Publication of CN114067215A publication Critical patent/CN114067215A/zh
Application granted granted Critical
Publication of CN114067215B publication Critical patent/CN114067215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于节点注意力机制图神经网络的遥感图像检索方法。第一，该方法利用改进的图卷积神经网络提取特征模型聚合多幅遥感图像的特征构建图聚合特征，并将其作为检索特征。第二，构建了节点注意力模型，利用该模型赋予不同节点不同权重，提升图卷积神经网络模型的提取特征的性能。第三，提出了类别权重节点相似度，该相似度准则利用了图卷积神经网络的分类能力和特征提取能力，并且该相似度准则还利用了图聚合特征和图像连接的图像排名相似度，充分的利用了这些信息提高遥感图像检索的精度。

Description

基于节点注意力机制图神经网络的遥感图像检索方法
技术领域
本发明涉及图像分析检测技术领域，特别涉及一种基于节点注意力机制图神经网络的遥感图像检索方法，采用改进的图卷积神经网络提取特征模型进行遥感图像检索。
背景技术
随着遥感技术的发展，遥感图像日益增多。如何有效的管理日益增多的遥感图像成为有待于解决的难题。目前，遥感图像检索特征大致可以分为三类，第一类是底层特征，该类特征是直接提取遥感图像的基本特征，如颜色、纹理等；第二类是中层特征，其将底层特征通过某种聚合方法形成中层特征，如视觉词袋（BoVW）特征、局部聚合描述符（VLAD）特征等。第三类是高层特征，该类特征利用卷积神经网络（CNN）从遥感图像中提取图像的高层语义特征。卷积神经网络特征一般能够取得比底层特征和高层特征更好检索性能，但是由于传统的卷积神经网络仅能处理欧氏空间数据，从而忽视了图像之间的相互关系和利用该关系提高特征的可靠性。
图卷积神经网络（Graph convolutional neural networks）能够较好的利用卷积神经网络对局部结构的建模能力以及图的节点之间相互依赖关系，已受到了研究人员的大量关注。图卷积神经网络在网络分析、计算机视觉、推荐系统、自然语言处理等众多领域也取得较大的成功。已有的遥感图像检索方法通过只提取遥感图像自身的信息（如CNN特征、BOW特征）作为检索特征，本发明提出了基于融合节点注意力机制的图卷积神经网络的遥感图像检索特征提取模型，通过该模型聚合节点和其邻域节点的特征构建图像的图聚合特征，获取更好的遥感图像检索特征，提升检索性能。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于节点注意力机制图神经网络遥感图像检索方法，利用图卷积神经网络聚合多幅图像的特征，提升特征的表征能力，从而有效匹配图像。
为了实现上述的目的，本发明采用以下技术方案：基于节点注意力机制图神经网络遥感图像检索方法，具体步骤如下：
步骤S1：采集遥感图像数据并进行标注构建图像数据集：采集遥感图像并标注标签，图像数据集X={x1,x2,x3,···,xN}代表所有的采集图像构成的样本集合，每一张图像记作xi,{i=1,2,···,N}，N为图像样本个数；Y={y1,y2,y3,···,yN}代表图像数据集X对应的标签；将图像数据集X划分为训练图像集Xt、查询图像集Xq和检索图像集Xr三部分，训练图像集Xt用于微调卷积神经网络和训练图卷积神经网络模型，查询图像集Xq和检索图像集Xr用于测试模型检索性能；
步骤S2：提取遥感图像的卷积神经网络特征；
步骤S3：构建训练基于节点注意力机制图卷积神经网络模型，包括图卷积神经网络结构、节点注意力模型及损失函数；
步骤S4：训练基于节点注意力机制图卷积神经网络模型；
步骤S5：根据训练好的基于节点注意力机制图卷积神经网络模型，提取查询图像集和检索图像集中图像的图聚合特征；
步骤S6：计算查询图像集和检索图像集图像的图聚合特征的类别权重节点相似度，按照类别权重节点相似度从大到小排序得到检索结果，用平均查准率和平均归一化检索值指标评判该方法整体性能。
进一步优选，步骤S2中，微调Resnet模型，并提取Pool5层作为图像的初始特征,具体步骤如下：
步骤S2-1：修改采用ImageNet图像训练好的ResNet模型的最后一层节点数为图像数据集X的类别数，并随机初始化最后一层权重；
步骤S2-2：采用训练图像集Xt对ResNet模型进行微调；ResNet模型训练参数如下：采用均值为0，方差为0.01的高斯分布对模型最后一层的权重进行随机初始化；采用Adam学习方法，学习速率的初始值设为0.001，批大小（batchSize）设为256，动量设为0.9，迭代次数设为1000次；
步骤S2-3：将图像数据集X中的图像输入到微调后的ResNet模型，提取Pool5层输出作为图像的特征，并利用PCA将图像的特征降维到32维作为图像的初始特征。
进一步优选，步骤S3的具体步骤如下：
步骤S3-1：生成邻接矩阵A：对于训练图像集Xt中的每一幅图像，其邻接节点为所有与其标签相同的图像；
步骤S3-2：构建图卷积神经网络模型：图卷积神经网络模型由输入层，2个加权均值图卷积层和输出层组成；输入层包括节点的初始特征集合和邻接矩阵A；输入层首先经过第一加权均值图卷积层，获取第一层图聚合特征；接着，第一加权均值图卷积层的输出经过ReLU层，再输入到第二加权均值图卷积层，获取第二层图聚合特征，然后，第二加权均值图卷积层的输出经过激活函数，得到最终的图卷积神经网络模型输出，再进入输出层，输出层维数与遥感图像的类别数相同；
步骤S3-3：构建节点注意力模型；
步骤S3-4：采用分类交叉熵损失函数作为损失函数。
进一步优选，所述加权均值图卷积层是利用图均值池化操作从节点u及其邻域节 点集合N(u)的特征中学习节点u的图聚合特征；加权均值图卷积层的输入是节点u的特征 zu、邻域节点特征集合
Figure 217559DEST_PATH_IMAGE001
、图节点相似性
Figure 493819DEST_PATH_IMAGE002
和激 活函数
Figure 930617DEST_PATH_IMAGE003
，zv表示节点v的特征，
Figure 230011DEST_PATH_IMAGE004
表示节点v属于邻域节点集合N(u)，
Figure 144878DEST_PATH_IMAGE005
表示节点u和节点v的相似度；首先，节点v的特征zv通过第一个全连接层得到新的 特征nu；接着，特征nu经过第二个全连接层的输出与特征zu经过第一个全连接层的输出跨接 在一起形成新的特征zcat；然后通过节点注意力模型NodeAttention获取节点v的权重γ；最 后利用权重γ对特征zcat进行加权平均，通过激活函数
Figure 541224DEST_PATH_IMAGE003
并加上偏差B得到节点u新的图 聚合特征
Figure 883344DEST_PATH_IMAGE006
；使用一次局部图卷积操作就可以得到节点u的一个图聚合特征
Figure 935613DEST_PATH_IMAGE006
，并且可以通过利用多个局部图卷积操作以获取更多节点u的图聚合特征信息。
进一步优选，节点注意力机制是根据节点u与其邻域节点集合N(u)中的节点v之间 的相似度
Figure 450908DEST_PATH_IMAGE007
，赋予不同邻域节点不同权重，以提升图聚合特征的性能；节点相似度包括 两部分：特征相似度
Figure 409418DEST_PATH_IMAGE008
和节点连接相似度
Figure 922439DEST_PATH_IMAGE009
。特征相似度
Figure 258742DEST_PATH_IMAGE010
是两个节点的特征之 间的余弦相似度；节点连接相似度
Figure 780990DEST_PATH_IMAGE011
是描述节点的邻域节点集合的相似程度；假设节点 u的邻域节点集合为Au，节点v的邻域节点集合为Av，节点连接相似度
Figure 824033DEST_PATH_IMAGE012
是通过计算两个 集合的相似程度进行度量；采用图像排名相似度IRS作为节点连接相似度
Figure 570272DEST_PATH_IMAGE013
。
进一步优选，步骤S4中，将训练图像集Xt构建图结构，并输入到图卷积神经网络进行训练。图卷积神经网络采用AdamW学习方法，学习速率的初始值设为0.01，迭代次数设为10000次。
进一步优选，步骤S5的具体步骤如下：
步骤S5-1：建立查询图像集Xq和检索图像集Xr的图像与训练图像集Xt的邻接矩阵，取与其欧氏距离最小的n个节点作为其邻接节点；每幅遥感图像是图卷积神经网络中的一个节点；
步骤S5-2：提取图卷积神经网络的第一层的输出作为图像的图聚合特征。
进一步优选，步骤S6包括如下步骤：
步骤S6-1：计算图卷积神经网络模型的输出计算遥感图像u属于第i类的类别权重
Figure 331554DEST_PATH_IMAGE014
，计算公式如下：
Figure 657494DEST_PATH_IMAGE015
其中，f(u)是图卷积神经网络的输出；C为遥感图像类别数，
Figure 820622DEST_PATH_IMAGE016
为常量0.00001，用 于保持类别权重大于0；
步骤S6-2：计算图像到训练图像类距离；图像到训练图像类距离是指图像到训练图像集中每个类别的距离最小的前l幅图像的平均距离。遥感图像u到第i类图像的类距离定义如下：
Figure 675445DEST_PATH_IMAGE017
其中，遥感图像k属于遥感图像u到训练图像第i类距离最小的前l幅，
Figure 688138DEST_PATH_IMAGE018
是遥感图像u，k的图聚合特征fG的欧氏距离；基于图像到训练图像类距离的 权重
Figure 348927DEST_PATH_IMAGE019
通过以下公式计算：
Figure 366561DEST_PATH_IMAGE020
其中，
Figure 657865DEST_PATH_IMAGE021
是遥感图像u到所有图像类别距离，
Figure 393740DEST_PATH_IMAGE022
遥感图像u到第j 类图像的类距离；
步骤S6-3：采用节点相似度衡量遥感图像的相似度；节点相似度包括节点特征相似度和节点连接相似度，根据以下公式计算：
Figure 592640DEST_PATH_IMAGE023
其中，
Figure 464781DEST_PATH_IMAGE024
是节点u和节点v图卷积神经网络特征间归一化的欧氏距离，
Figure 192566DEST_PATH_IMAGE025
为节点连接相似度，
Figure 946895DEST_PATH_IMAGE026
为控制
Figure 152749DEST_PATH_IMAGE027
和
Figure 144976DEST_PATH_IMAGE028
影响的参数，取值0.2；
步骤S6-4：根据下公式计算节点u和节点v的类别权重节点相似度
Figure 574820DEST_PATH_IMAGE029
：
Figure 783822DEST_PATH_IMAGE030
其中，
Figure 527787DEST_PATH_IMAGE031
是节点u为节点v的类别图卷积神经网络权重，
Figure 171258DEST_PATH_IMAGE032
是节点u 为节点v的图像到训练类的类别权重，
Figure 240845DEST_PATH_IMAGE033
是节点v为节点u的类别图卷积神经网络权 重，
Figure 907450DEST_PATH_IMAGE034
是节点v为节点u的图像到训练类的类别权重；通过类别权重相似度
Figure 517423DEST_PATH_IMAGE035
对图像进行排序，得到最终检索结果。
本发明的有益效果：（1）遥感图像检索特征一般是从单幅图像中提取，本发明利用图卷积神经网络聚合图像及与其邻接的图像的特征，形成图聚合特征。该特征融合了多幅图像特征，能够更强的表征能力。（2）针对在遥感图像检索问题中，遥感图像之间的语义关系缺失问题，本发明提出了融合特征相似度和节点连接相似度的节点注意力机制，可以减少错误的邻接关系对图聚合特征检索性能的影响，进一步提升检索精度。（3）本发明提出了类别权重节点相似度，该相似度准则利用了图卷积神经网络的分类能力和特征提取能力，并且该相似度准则还利用了图聚合特征和图像连接的图像排名相似度，充分的利用了这些信息提高遥感图像检索的精度。
附图说明
图1是本发明的流程图。
图2是本发明的图卷积神经网络模型示意图。
图中，100-输入层，200-第一加权均值图卷积层，300-ReLU层，400-第二加权均值图卷积层，500-激活函数，600-输出层。
具体实施方式
为了使本领域的技术人员更好的理解本申请方案，接下来将配合上述配图，对本申请实施例中的技术方案进行清晰，完整，详细的描述，且所描述的实施例部分为本申请的一部分实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范畴。
基于节点注意力机制图神经网络的遥感图像检索方法，包括以下步骤：
步骤S1：采集遥感图像数据并进行标注构建图像数据集。采集遥感图像并标注标签，图像数据集X={x1,x2,x3,···,xN}代表所有的采集图像构成的样本集合，每一张图像记作xi,{i=1,2,···,N}，N为图像样本个数。Y={y1,y2,y3,···,yN}代表图像数据集X对应的标签。将图像数据集X划分为训练图像集Xt、查询图像集Xq和检索图像集Xr三部分，训练图像集Xt用于微调卷积神经网络和训练图卷积神经网络模型，查询图像集Xq和检索图像集Xr用于测试模型检索性能。
步骤S2：提取遥感图像的卷积神经网络特征。
微调Resnet模型，并提取Pool5层作为图像的初始特征,具体步骤如下：
步骤S2-1：修改采用ImageNet图像训练好的ResNet模型的最后一层节点数为图像数据集X的类别数，并随机初始化最后一层权重。
步骤S2-2：采用训练图像集Xt对ResNet模型进行微调。ResNet模型训练参数如下：采用均值为0，方差为0.01的高斯分布对模型最后一层的权重进行随机初始化；采用Adam学习方法，学习速率的初始值设为0.001，批大小（batchSize）设为256，动量设为0.9，迭代次数设为1000次。
步骤S2-3： 将图像数据集X中的图像输入到微调后的ResNet模型，提取Pool5层输出作为图像的特征，并利用PCA将图像的特征降维到32维作为图像的初始特征。
步骤S3：构建训练基于节点注意力机制图卷积神经网络模型，包括图卷积神经网络结构、节点注意力模型及损失函数。
步骤S3的具体步骤如下：
步骤S3-1：生成邻接矩阵A：对于训练图像集Xt中的每一幅图像，其邻接节点为所有与其标签相同的图像；
步骤S3-2：构建图卷积神经网络模型：如图2所示，图卷积神经网络模型由输入层100，2个加权均值图卷积层和输出层600组成。输入层100包括节点的初始特征集合和邻接矩阵A；输入层100首先经过第一加权均值图卷积层200，获取第一层聚合特征；接着，第一加权均值图卷积层200的输出经过ReLU层300，再输入到第二加权均值图卷积层400，获取第二层聚合特征，然后，第二加权均值图卷积层400的输出经过激活函数500（Softmax函数），得到最终的图卷积神经网络模型输出，再进入输出层600，输出层600维数与遥感图像的类别数相同。
所述加权均值图卷积层是利用图均值池化操作从节点u及其邻域节点集合N(u)的 特征中学习节点u的图聚合特征；加权均值图卷积层的输入是节点u的特征zu、邻域节点特 征集合
Figure 484242DEST_PATH_IMAGE036
、图节点相似性
Figure 193572DEST_PATH_IMAGE037
和激活函数
Figure 878631DEST_PATH_IMAGE038
，zv 表示节点v的特征，
Figure 229978DEST_PATH_IMAGE039
表示节点v属于邻域节点集合N(u)，
Figure 848041DEST_PATH_IMAGE040
表示节点u和 节点v的相似度；首先，节点v的特征zv通过第一个全连接层得到新的特征nu；接着，特征nu经 过第二个全连接层的输出与特征zu经过第一个全连接层的输出跨接在一起形成新的特征 zcat；然后通过节点注意力模型NodeAttention获取节点v的权重γ；最后利用权重γ对特征 zcat进行加权平均，通过激活函数
Figure 492387DEST_PATH_IMAGE038
并加上偏差B得到节点u新的图聚合特征
Figure 133584DEST_PATH_IMAGE041
。使 用一次局部图卷积操作就可以得到节点u的一个图聚合特征
Figure 85359DEST_PATH_IMAGE042
，并且可以通过利用多 个局部图卷积操作以获取更多节点u的图聚合特征信息。
步骤S3-3：构建节点注意力模型。
节点注意力机制是根据节点u与其邻域节点集合N(u)中的节点v之间的相似度
Figure 761191DEST_PATH_IMAGE043
，赋予不同邻域节点不同权重，以提升图聚合特征的性能。节点相似度包括两部分：特 征相似度
Figure 77903DEST_PATH_IMAGE044
和节点连接相似度
Figure 268713DEST_PATH_IMAGE045
。特征相似度
Figure 961863DEST_PATH_IMAGE046
是两个节点的特征之间的余弦相 似度。
节点连接相似度
Figure 492201DEST_PATH_IMAGE047
是描述节点的邻域节点集合的相似程度。假设节点u的邻域 节点集合为Au，节点v的邻域节点集合为Av，节点连接相似度
Figure 42131DEST_PATH_IMAGE048
是通过计算两个集合的相 似程度进行度量。本发明采用图像排名相似度IRS作为节点连接相似度
Figure 657920DEST_PATH_IMAGE049
。
图像排名相似度IRS原理如下：如果在邻域节点集合Au中的第j个节点在邻域节点 集合Au排名是ai，并且这个节点也被包含于邻域节点集合Av，在邻域节点集合Av的排名是bi， 则第
Figure 889181DEST_PATH_IMAGE050
节点的排名距离di为：di=｜ai-bi｜;如果这个节点不被包含于邻域节点集合Av，则di= ｜ai-2m｜,其中，m为邻域节点集合Au和邻域节点集合Av中元素的数量。则从邻域节点集合Au 到邻域节点集合Av的排名距离为：
Figure 55719DEST_PATH_IMAGE051
同理，可以得到从邻域节点集合Av到邻域节点集合Au的排名距离
Figure 776550DEST_PATH_IMAGE052
， 则节点u和v的排名相似度IRS计算公式如下：
Figure 879635DEST_PATH_IMAGE053
。
节点注意力机制（NodeAttention）模型的输入
Figure 914587DEST_PATH_IMAGE054
是P个节点，每个节点包 含两个相似度（特征相似度
Figure 216256DEST_PATH_IMAGE055
和节点连接相似度
Figure 311251DEST_PATH_IMAGE056
），输出是每个节点的权重γ。该模 型首先对输入I进行均值池化，变成1维特征O；接着，O经过一个全连接操作（乘以第一层权 重Q并加上第一层偏差q）；然后再经过一个ReLU层，得到
Figure 636053DEST_PATH_IMAGE057
；最后，
Figure 271434DEST_PATH_IMAGE057
也经过一个全连接操 作（乘以第二层权重W并加上第二层偏差w）和softmax函数，得到权重γ。这两个全连接层的 节点数为P。权重Q，W和偏差q，w是超参数，维数为P，通过网络训练得到。
步骤S3-4：采用分类交叉熵损失函数作为损失函数。
步骤S4：训练基于节点注意力机制图卷积神经网络模型。将训练图像集Xt构建图结构，并输入到图卷积神经网络进行训练。图卷积神经网络采用AdamW学习方法，学习速率的初始值设为0.01，迭代次数设为10000次。
步骤S5：根据训练好的基于节点注意力机制图卷积神经网络模型，提取查询图像集和检索图像集中图像的图聚合特征。
步骤S5的具体步骤如下：
步骤S5-1：建立查询图像集Xq和检索图像集Xr的图像与训练图像集Xt的邻接矩阵，取与其欧氏距离最小的n个节点作为其邻接节点。每幅遥感图像是图卷积神经网络中的一个节点。
步骤S5-2：提取图卷积神经网络的第一层的输出作为图像的图聚合特征。
步骤S6：计算查询图像集和检索图像集图像的图聚合特征的类别权重节点相似度，按照类别权重节点相似度从大到小排序得到检索结果，用平均查准率和平均归一化检索值指标评判该方法整体性能。
步骤S6-1：计算图卷积神经网络模型的输出计算遥感图像u属于第i类的类别权重
Figure 896450DEST_PATH_IMAGE058
，计算公式如下：
Figure 896767DEST_PATH_IMAGE059
其中，f(u)是图卷积神经网络的输出；C为遥感图像类别数，
Figure 771182DEST_PATH_IMAGE060
为常量0.00001，用于 保持类别权重大于0。
步骤S6-2：计算图像到训练图像类距离。图像到训练图像类距离是指图像到训练图像集中每个类别的距离最小的前l幅图像的平均距离。遥感图像u到第i类图像的类距离定义如下：
Figure 147937DEST_PATH_IMAGE061
其中，遥感图像k属于遥感图像u到训练图像第i类距离最小的前l幅，
Figure 860416DEST_PATH_IMAGE062
是遥感图像u，k的图聚合特征fG的欧氏距离。基于图像到训练图像类距离的 权重
Figure 93951DEST_PATH_IMAGE063
通过以下公式计算：
Figure 658924DEST_PATH_IMAGE064
其中，
Figure 573791DEST_PATH_IMAGE065
是遥感图像u到所有图像类别距离，
Figure 173399DEST_PATH_IMAGE066
遥感图像u到第j 类图像的类距离。
步骤S6-3：本发明采用节点相似度衡量遥感图像的相似度。节点相似度包括节点特征相似度和节点连接相似度，根据以下公式计算：
Figure 577836DEST_PATH_IMAGE067
其中，
Figure 98947DEST_PATH_IMAGE068
是节点u和节点v图卷积神经网络特征间归一化的欧氏距离，
Figure 83084DEST_PATH_IMAGE069
为节点连接相似度，
Figure 333936DEST_PATH_IMAGE070
为控制
Figure 846957DEST_PATH_IMAGE071
和
Figure 120944DEST_PATH_IMAGE072
影响的参数，取值0.2。
步骤S6-4：根据下公式计算节点u和节点v的类别权重节点相似度
Figure 439930DEST_PATH_IMAGE073
：
Figure 247086DEST_PATH_IMAGE074
其中，
Figure 931009DEST_PATH_IMAGE075
是节点u为节点v的类别图卷积神经网络权重，
Figure 754608DEST_PATH_IMAGE076
是节点u 为节点v的图像到训练类的类别权重，
Figure 814968DEST_PATH_IMAGE077
是节点v为节点u的类别图卷积神经网络权 重，
Figure 978096DEST_PATH_IMAGE078
是节点v为节点u的图像到训练类的类别权重。通过类别权重相似度
Figure 895237DEST_PATH_IMAGE079
对图像进行排序，得到最终检索结果。
以上对本发明所提供的一种基于节点注意力机制图卷积神经网络模型的遥感图像检索方法进行了详细的介绍，本文中应用了具体的隔离对本发明的原理和实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法以及核心思想，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.基于节点注意力机制图神经网络遥感图像检索方法，其特征在于，步骤如下：
步骤S1：采集遥感图像数据并进行标注构建图像数据集：采集遥感图像并标注标签，图像数据集X={x1,x2,x3,···,xN}代表所有的采集图像构成的样本集合，每一张图像记作xi,{i=1,2,···,N}，N为图像样本个数；Y={y1,y2,y3,···,yN}代表图像数据集X对应的标签；将图像数据集X划分为训练图像集Xt、查询图像集Xq和检索图像集Xr三部分，训练图像集Xt用于微调卷积神经网络和训练图卷积神经网络模型，查询图像集Xq和检索图像集Xr用于测试模型检索性能；
步骤S2：提取遥感图像的卷积神经网络特征；
步骤S3：构建训练基于节点注意力机制图卷积神经网络模型，包括图卷积神经网络结构、节点注意力模型及损失函数；
步骤S4：训练基于节点注意力机制图卷积神经网络模型；
步骤S5：根据训练好的基于节点注意力机制图卷积神经网络模型，提取查询图像集和检索图像集中图像的图聚合特征；
步骤S6：计算查询图像集和检索图像集图像的图聚合特征的类别权重节点相似度，按照类别权重节点相似度从大到小排序得到检索结果，用平均查准率和平均归一化检索值指标评判该方法整体性能。
2.根据权利要求1所述的基于节点注意力机制图神经网络遥感图像检索方法，其特征在于，步骤S2中，微调Resnet模型，并提取Pool5层作为图像的初始特征,具体步骤如下：
步骤S2-1：修改采用ImageNet图像训练好的ResNet模型的最后一层节点数为图像数据集X的类别数，并随机初始化最后一层权重；
步骤S2-2： 采用训练图像集Xt对ResNet模型进行微调；ResNet模型训练参数如下：采用均值为0，方差为0.01的高斯分布对模型最后一层的权重进行随机初始化；采用Adam学习方法，学习速率的初始值设为0.001，批大小设为256，动量设为0.9，迭代次数设为1000次；
步骤S2-3： 将图像数据集X中的图像输入到微调后的ResNet模型，提取Pool5层输出作为图像的特征，并利用PCA将图像的特征降维到32维作为图像的初始特征。
3.根据权利要求1所述的基于节点注意力机制图神经网络遥感图像检索方法，其特征在于，步骤S3的具体步骤如下：
步骤S3-1：生成邻接矩阵A：对于训练图像集Xt中的每一幅图像，其邻接节点为所有与其标签相同的图像；
步骤S3-2：构建图卷积神经网络模型：图卷积神经网络模型由输入层，2个加权均值图卷积层和输出层组成；输入层包括节点的初始特征集合和邻接矩阵A；输入层首先经过第一加权均值图卷积层，获取第一层图聚合特征；接着，第一加权均值图卷积层的输出经过ReLU层，再输入到第二加权均值图卷积层，获取第二层图聚合特征，然后，第二加权均值图卷积层的输出经过激活函数，得到最终的图卷积神经网络模型输出，再进入输出层，输出层维数与遥感图像的类别数相同；
步骤S3-3：构建节点注意力模型；
步骤S3-4：采用分类交叉熵损失函数作为损失函数。
4.根据权利要求3所述的基于节点注意力机制图神经网络遥感图像检索方法，其特征 在于，所述加权均值图卷积层是利用图均值池化操作从节点u及其邻域节点集合N(u)的特 征中学习节点u的图聚合特征；加权均值图卷积层的输入是节点u的特征zu、邻域节点特征 集合
Figure 19874DEST_PATH_IMAGE001
、图节点相似性
Figure 225728DEST_PATH_IMAGE002
和激活函数
Figure 14692DEST_PATH_IMAGE003
，zv表 示节点v的特征，
Figure 913378DEST_PATH_IMAGE004
表示节点v属于邻域节点集合N(u)，
Figure 92687DEST_PATH_IMAGE005
表示节点u和节 点v的相似度；首先，节点v的特征zv通过第一个全连接层得到新的特征nu；接着，特征nu经过 第二个全连接层的输出与特征zu经过第一个全连接层的输出跨接在一起形成新的特征 zcat；然后通过节点注意力模型NodeAttention获取节点v的权重γ；最后利用权重γ对特征 zcat进行加权平均，通过激活函数
Figure 898969DEST_PATH_IMAGE003
并加上偏差B得到节点u新的图聚合特征
Figure 11281DEST_PATH_IMAGE006
；使 用一次局部图卷积操作就可以得到节点u的一个图聚合特征
Figure 549710DEST_PATH_IMAGE006
，并且可以通过利用多 个局部图卷积操作以获取更多节点u的图聚合特征信息。
5.根据权利要求4所述的基于节点注意力机制图神经网络遥感图像检索方法，其特征 在于，节点注意力机制是根据节点u与其邻域节点集合N(u)中的节点v之间的相似度
Figure 246008DEST_PATH_IMAGE007
， 赋予不同邻域节点不同权重，以提升图聚合特征的性能；节点相似度包括两部分：特征相似 度
Figure 590402DEST_PATH_IMAGE008
和节点连接相似度
Figure 557221DEST_PATH_IMAGE009
；特征相似度
Figure 266551DEST_PATH_IMAGE010
是两个节点的特征之间的余弦相似度； 节点连接相似度
Figure 748348DEST_PATH_IMAGE011
是描述节点的邻域节点集合的相似程度；假设节点u的邻域节点集合 为Au，节点v的邻域节点集合为Av，节点连接相似度
Figure 99695DEST_PATH_IMAGE012
是通过计算两个集合的相似程度进 行度量；采用图像排名相似度IRS作为节点连接相似度
Figure 655441DEST_PATH_IMAGE012
。
6.根据权利要求1所述的基于节点注意力机制图神经网络遥感图像检索方法，其特征在于，步骤S4中，将训练图像集Xt构建图结构，并输入到图卷积神经网络进行训练；图卷积神经网络采用AdamW学习方法，学习速率的初始值设为0.01，迭代次数设为10000次。
7.根据权利要求5所述的基于节点注意力机制图神经网络遥感图像检索方法，其特征在于，步骤S5的具体步骤如下：
步骤S5-1：建立查询图像集Xq和检索图像集Xr的图像与训练图像集Xt的邻接矩阵，取与其欧氏距离最小的n个节点作为其邻接节点；每幅遥感图像是图卷积神经网络中的一个节点；
步骤S5-2：提取图卷积神经网络的第一层的输出作为图像的图聚合特征。
8.根据权利要求5所述的基于节点注意力机制图神经网络遥感图像检索方法，其特征在于，步骤S6包括如下步骤：
步骤S6-1：计算图卷积神经网络模型的输出计算遥感图像u属于第i类的类别权重
Figure 66831DEST_PATH_IMAGE013
，计算公式如下：
Figure 770345DEST_PATH_IMAGE014
其中，f(u)是图卷积神经网络的输出；C为遥感图像类别数，
Figure 659803DEST_PATH_IMAGE015
为常量0.00001，用于保 持类别权重大于0；
步骤S6-2：计算图像到训练图像类距离；图像到训练图像类距离是指图像到训练图像集中每个类别的距离最小的前l幅图像的平均距离；遥感图像u到第i类图像的类距离定义如下：
Figure 335635DEST_PATH_IMAGE016
其中，遥感图像k属于遥感图像u到训练图像第i类距离最小的前l幅，
Figure 449085DEST_PATH_IMAGE017
是遥感图像u，k的图聚合特征fG的欧氏距离；基于图像到训练图像类距离的权重
Figure 341692DEST_PATH_IMAGE018
通过以下公式计算：
Figure 769262DEST_PATH_IMAGE019
其中，
Figure 565180DEST_PATH_IMAGE020
是遥感图像u到所有图像类别距离，
Figure 115110DEST_PATH_IMAGE021
遥感图像u到第j类图 像的类距离；
步骤S6-3：采用节点相似度衡量遥感图像的相似度；节点相似度根据以下公式计算：
Figure 996478DEST_PATH_IMAGE022
其中，
Figure 962160DEST_PATH_IMAGE023
是节点u和节点v图卷积神经网络特征间归一化的欧氏距离，
Figure 612585DEST_PATH_IMAGE024
为节点连接相似度，
Figure 333416DEST_PATH_IMAGE025
为控制
Figure 436501DEST_PATH_IMAGE026
和
Figure 471453DEST_PATH_IMAGE027
影响的参数，取值0.2；
步骤S6-4：根据下公式计算节点u和节点v的类别权重节点相似度
Figure 773122DEST_PATH_IMAGE028
：
Figure 372511DEST_PATH_IMAGE029
其中，
Figure 962892DEST_PATH_IMAGE030
是节点u为节点v 的类别图卷积神经网络权重，
Figure 535956DEST_PATH_IMAGE031
是节点u为节点v的图像到训练类的类别权重，
Figure 957710DEST_PATH_IMAGE032
是节点v为节点u的类别图卷积神经网络权重，
Figure 958027DEST_PATH_IMAGE033
是节点v为节点u的图像 到训练类的类别权重；通过类别权重相似度
Figure 35705DEST_PATH_IMAGE034
对图像进行排序，得到最终检 索结果。
CN202210047639.XA 2022-01-17 2022-01-17 基于节点注意力机制图神经网络的遥感图像检索方法 Active CN114067215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210047639.XA CN114067215B (zh) 2022-01-17 2022-01-17 基于节点注意力机制图神经网络的遥感图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210047639.XA CN114067215B (zh) 2022-01-17 2022-01-17 基于节点注意力机制图神经网络的遥感图像检索方法

Publications (2)

Publication Number Publication Date
CN114067215A true CN114067215A (zh) 2022-02-18
CN114067215B CN114067215B (zh) 2022-04-15

Family

ID=80231142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210047639.XA Active CN114067215B (zh) 2022-01-17 2022-01-17 基于节点注意力机制图神经网络的遥感图像检索方法

Country Status (1)

Country Link
CN (1) CN114067215B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545098A (zh) * 2022-09-23 2022-12-30 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291212A (zh) * 2020-01-24 2020-06-16 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和系统
CN111324752A (zh) * 2020-02-20 2020-06-23 中国科学技术大学 基于图神经网络结构建模的图像与文本检索方法
CN112036511A (zh) * 2020-09-30 2020-12-04 上海美迪索科电子科技有限公司 基于注意力机制图卷积神经网络的图像检索方法
US20210049202A1 (en) * 2019-08-16 2021-02-18 The Toronto-Dominion Bank Automated image retrieval with graph neural network
CN113688814A (zh) * 2021-10-27 2021-11-23 武汉邦拓信息科技有限公司 图像识别方法及装置
CN113868448A (zh) * 2021-05-08 2021-12-31 中国科学院软件研究所 一种细粒度场景级基于草图的图像检索方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210049202A1 (en) * 2019-08-16 2021-02-18 The Toronto-Dominion Bank Automated image retrieval with graph neural network
CN111291212A (zh) * 2020-01-24 2020-06-16 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和系统
CN111324752A (zh) * 2020-02-20 2020-06-23 中国科学技术大学 基于图神经网络结构建模的图像与文本检索方法
CN112036511A (zh) * 2020-09-30 2020-12-04 上海美迪索科电子科技有限公司 基于注意力机制图卷积神经网络的图像检索方法
CN113868448A (zh) * 2021-05-08 2021-12-31 中国科学院软件研究所 一种细粒度场景级基于草图的图像检索方法及系统
CN113688814A (zh) * 2021-10-27 2021-11-23 武汉邦拓信息科技有限公司 图像识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
USHASI CHAUDHURI ET AL.: "Attention-Driven Graph Convolution Network for Remote Sensing Image Retrieval", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
方远强: "基于图模型的图像检索方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545098A (zh) * 2022-09-23 2022-12-30 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法
CN115545098B (zh) * 2022-09-23 2023-09-08 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法

Also Published As

Publication number Publication date
CN114067215B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN108920641B (zh) 一种信息融合个性化推荐方法
Shen et al. Wind speed prediction of unmanned sailboat based on CNN and LSTM hybrid neural network
CN112884551B (zh) 一种基于近邻用户和评论信息的商品推荐方法
CN113378048B (zh) 一种基于多视角知识图谱注意力网络的个性化推荐方法
CN107766933A (zh) 一种解释卷积神经网络的可视化方法
WO2024087639A1 (zh) 基于内容理解的遥感影像推荐方法
Yang et al. A decision-making algorithm combining the aspect-based sentiment analysis and intuitionistic fuzzy-VIKOR for online hotel reservation
CN108984775A (zh) 一种基于商品评论的舆情监控方法及系统
CN114944053A (zh) 一种基于时空超图神经网络的交通流预测方法
CN114911945A (zh) 基于知识图谱的多价值链数据管理辅助决策模型构建方法
CN111949892B (zh) 一种多关系感知的时态交互网络预测方法
CN113326384A (zh) 一种基于知识图谱的可解释推荐模型的构建方法
CN114067215B (zh) 基于节点注意力机制图神经网络的遥感图像检索方法
CN113837266B (zh) 一种基于特征提取和Stacking集成学习的软件缺陷预测方法
Ma et al. Content Feature Extraction-based Hybrid Recommendation for Mobile Application Services.
Yu et al. A graph attention network under probabilistic linguistic environment based on Bi-LSTM applied to film classification
CN112417082A (zh) 一种科研成果数据消歧归档存储方法
CN116662564A (zh) 一种基于深度矩阵分解与知识图谱的服务推荐方法
CN116450938A (zh) 一种基于图谱的工单推荐实现方法及系统
CN115168634A (zh) 一种基于多层级表征的面料跨模态图文检索方法
CN116340534A (zh) 一种识别新能源异常数据的知识图谱构建方法和系统
CN115481325A (zh) 基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统
CN114818849A (zh) 基于大数据信息的卷积神经网络和遗传算法的反窃电方法
Li et al. Research on sand-dust storm forecasting based on deep neural network with stacking ensemble learning
Dutta et al. Fake news prediction: a survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant