CN114463596A - 一种超图神经网络的小样本图像识别方法、装置及设备 - Google Patents
一种超图神经网络的小样本图像识别方法、装置及设备 Download PDFInfo
- Publication number
- CN114463596A CN114463596A CN202111633547.1A CN202111633547A CN114463596A CN 114463596 A CN114463596 A CN 114463596A CN 202111633547 A CN202111633547 A CN 202111633547A CN 114463596 A CN114463596 A CN 114463596A
- Authority
- CN
- China
- Prior art keywords
- super
- semantic
- neural network
- training set
- hypergraph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 132
- 238000009826 distribution Methods 0.000 claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000004931 aggregating effect Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种超图神经网络的小样本图像识别方法,利用卷积神经网络中空洞卷积的不同感受野来获取不同结构的多语义特征,构建多语义超图;利用超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示,得到训练集的超节点特征表示;根据训练集的超节点特征表示,得到多语义分布信息,将多语义分布信息与训练集的超节点特征表示进行信息交互,通过相互迭代更新来不断优化多语义超图,得到训练集的目标超节点特征表示,根据训练集的目标超节点特征表示,计算得到训练集中查询集的分类结果。本发明通过超图结构的图像消息传递,捕获丰富的语义嵌入特征和多个语义分布特征,实现了小样本图像分类的识别。
Description
技术领域
本发明涉及图像识别技术领域,尤其是指一种超图神经网络的小样本图像识别方法、装置、设备及计算机可读存储介质。
背景技术
近年来,基于小样本学习的问题获得了广泛的研究,涌现出了很多先进的方法来提升小样本学习的性能,当前主要相关方法为基于图神经网络的方法:基于图神经网络的方法的核心是探索查询样本和支持样本/类之间的关系。受图形神经网络(GNNS)在点间关系建模和信息传播方面的成功启发,研究人员提出了许多基于图形的方法来执行小样本学习任务,并取得了巨大成功。跨导传播网络(TPN)利用支持和查询示例之间的相似性,通过成对节点特征的相似性传播标签,它利用一个封闭形式的解决方案来执行迭代标签传播。边缘标记图神经网络(EGNN)利用节点之间的相似性/相异性来动态更新边缘标签。分布传播图网络(DPGN)构建了一个对偶图来模拟样本的分布水平关系,并且优于分类任务中的大多数现有方法。
发明内容
为此,本发明所要解决的技术问题在于克服现有技术中基于图的小样本学习中的二元关系只来自标签差异,而忽略了样本中包含的丰富语义特征的缺陷。
为解决上述技术问题,本发明提供了一种超图神经网络的小样本图像识别方法,包括:
S101:构建小样本图像识别神经网络;其中,所述小样本图像识别神经网络包括卷积神经网络和超图神经网络;
S102:将训练集输入到所述小样本图像识别神经网络中进行训练;其中,所述训练集包括支持集和查询集;
S103:利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征;
S104:根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图;
S105:利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
S106:根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图,返回执行所述步骤S105,以便迭代更新所述多语义超图直至更新次数到达既定阈值,得到所述训练集的目标超节点特征表示;
S107:根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果。
在本发明的一个实施例中,所述利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征包括:
将所述训练集输入到所述卷积神经网络CNN中;
利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征Uk=DilatedCobv(CNN(X),γk);
其中,X为所述训练集,γk为所述空洞卷积的k次膨胀率,k∈{1,...,K},K为所述多语义特征的数量。
在本发明的一个实施例中,所述根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图包括:
根据所述训练集的多语义特征构建超节点;
根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图。
在本发明的一个实施例中,所述利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示包括:
将所述多语义超图输入到所述超图神经网络中;
利用所述超图神经网络U=[U,D-1BDB-1U]W,聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
其中,U=[Uk,k≤K],U为所述多语义超图中超节点的特征表示集合,W为所述超图神经网络的可学习参数,B为所述多语义超图中每个超节点对每个超边的影响程度,D为所述多语义超图中每个超边到每个超节点的影响程度。
在本发明的一个实施例中,所述根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图包括:
根据所述训练集的超节点特征表示,得到多语义分布信息;
根据AV=f(V;WV)和Au=f(UU;WU),将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图;
其中,AV为所述多语义分布信息的关系矩阵,Au为所述超节点的关系矩阵,V为所述多语义分布信息,UU为所述训练集的超节点特征表示,WV为所述多语义分布信息的可训练参数,WU为所述训练集的超节点特征表示的可训练参数。
在本发明的一个实施例中,所述根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果包括:
其中,yj为所述支持集中第j个样本,Al(U,ij)为所述目标超节点特征表示的关系矩阵,N表示所述支持集的类别数,K表示所述支持集每个类别的样本数。
在本发明的一个实施例中,所述根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果后包括:
将评估集输入到所述小样本图像识别神经网络中,得到所述评估集中查询集的分类结果;
本发明提供了一种超图神经网络的小样本图像识别学习装置,包括:
第一构建模块,用于构建小样本图像识别神经网络;其中,所述小样本图像识别神经网络包括卷积神经网络和超图神经网络;
输入模块,用于将训练集输入到所述小样本图像识别神经网络中进行训练;其中,所述训练集包括支持集和查询集;
卷积模块,用于利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征;
第二构建模块,用于根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图;
超节点特征更新模块,用于利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
迭代更新模块,用于根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图,返回执行所述步骤S105,以便迭代更新所述多语义超图直至更新次数到达既定阈值,得到所述训练集的目标超节点特征表示;
计算模块,用于根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果。
本发明提供了一种超图神经网络的小样本图像识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点:
本发明所述的超图神经网络的小样本图像识别方法,通过构建小样本图像识别神经网络,将训练集输入到小样本图像识别神经网络中进行训练,利用卷积神经网络中空洞卷积的不同感受野来获取不同结构的多语义特征,构建多语义超图;利用超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示,得到训练集的超节点特征表示;根据训练集的超节点特征表示,得到多语义分布信息,将多语义分布信息与训练集的超节点特征表示进行信息交互,通过相互迭代更新来不断优化多语义超图,得到训练集的目标超节点特征表示,根据训练集的目标超节点特征表示,计算得到训练集中查询集的分类结果。本发明通过卷积神经网络构建多语义超图,通过超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示,通过引入多语义分布信息与训练集的超节点特征表示进行信息交互,相互迭代更新来不断优化多语义超图,通过多语义超图的消息传递,用构造的多语义超图学习正确的节点表示,捕获丰富的语义嵌入特征和多个语义分布特征,以指导小样本图像分类的识别,提高小样本图像识别方法的精度。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明,其中:
图1为本发明所提供的超图神经网络的小样本图像识别方法的第一种具体实施例的流程图;
图2为本发明所提供的超图神经网络的小样本图像识别方法的第二种具体实施例的流程图;
图3为本发明所提供的超图神经网络的小样本图像识别方法的示意图;
图4为构建多语义超图的示意图;
图5a为传统图的结构图;
图5b为超图的结构图;
图6为超图神经网络更新的示意图;
图7为本发明实施例提供的一种超图神经网络的小样本图像识别方法的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
参照图1所示,图1为本发明所提供的超图神经网络的小样本图像识别方法的第一种具体实施例的流程图;具体操作步骤如下:
步骤S101:构建小样本图像识别神经网络;其中,所述小样本图像识别神经网络包括卷积神经网络和超图神经网络;
步骤S102:将训练集输入到所述小样本图像识别神经网络中进行训练;其中,所述训练集包括支持集和查询集;
步骤S103:利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征;
步骤S104:根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图;
步骤S105:利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
步骤S106:根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图,返回执行所述步骤S105,以便迭代更新所述多语义超图直至更新次数到达既定阈值,得到所述训练集的目标超节点特征表示;
步骤S107:根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果。
本实施例所提供的方法,通过基于超图的结构来克服基于图的小样本学习的局限性,通过卷积神经网络构建多语义超图,能够针对样本所存在的不同语义特征构建高阶复杂的关联关系,通过超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示,来挖掘小样本学习中小数示例之间复杂的潜在语义关系,通过引入多语义分布信息与训练集的最终超节点特征表示进行信息交互,相互迭代更新来不断优化多语义超图,通过多语义超图的消息传递,用构造的多语义超图学习正确的节点表示,捕获丰富的语义嵌入特征和多个语义分布特征,以指导小样本图像分类的识别。
基于上述实施例,本实施例是对超图神经网络的小样本图像识别方法作进一步说明,请参考图2和图3所示,图2为本发明所提供的超图神经网络的小样本图像识别方法的第二种具体实施例的流程图;图3为本发明所提供的超图神经网络的小样本图像识别方法的示意图;具体操作步骤如下:
步骤S201:构建小样本图像识别神经网络;其中,所述小样本图像识别神经网络包括卷积神经网络和超图神经网络;
步骤S202:将训练集输入到所述小样本图像识别神经网络中进行训练;其中,所述训练集包括支持集和查询集,所述支持集为未标记的图像,所述查询集为已标记的图像;
步骤S203:利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征;
利用所述卷积神经网络中空洞卷积的不同感受野来获取不同结构的多语义特征,公式如下:
Uk=DilatedConv(CNN(X),γk)
其中,Uk∈R|V|×d为样本第k个语义的特征表示,d为特征维度,X为所述训练集,γk为所述空洞卷积的k次膨胀率,k∈{1,...,K}。所述多语义特征的提取可以通过空洞卷积或多头部样本关系等其他方法提取,在本发明的实施例中不作限定。
步骤S204:根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图;
所述多语义的超节点特征表示为U∈R|V|×Kd,多语义特征通过单语义特征级联所得,具体公式如下:
U=[Uk,k≤K]
其中,[·]为级联操作,U为所述多语义超图中超节点的特征表示集合。多语义超节点可以使具有不同语义的特征尽可能多样化,不同扩张率的空洞卷积能有效地抓住多种语义特征,因为不同的感受野对物体从小到大,从纹理到整体都给予足够的关注。
在语义层次构造特定的超边,计算每两个超节点之间的语义相似度。其中,第k个语义关系矩阵为Ak∈R|V|×|V|,公式如下:
Ak=f(Uk;Wk)
两个样本的关系公式为其中,Wk为可训练参数,σ为一个激活函数。为样本i和样本j语义k的相似性的程度。在超节点设置一个具有固定节点数的超边,选取最相似的m(m>1)个节点构建超边。对于语义k,构建的超边为在小样本学习中,让|Ek|=|V|来获得更多信息的超边。然后整个多语义超边的公式如下:
E=UkEk
其中,|E|=K|V|。构建所述多语义超图如图4所示。
步骤S205:利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
与普通的图神经网络相比,超图可以连接两个以上的具有相同语义信息的节点,如图5所示。在构造完多语义超图之后,通过更新每个超节点的特征来获得重要信息。在构建的多语义超图中,超节点和超边的关系矩阵H∈R|V|×|E|,具体公式如下:
H在多个语义之间架起了桥梁,具有不同语义的超节点将被突出显示。这有助于了解不同语义之间的关系。在多语义超图上定义卷积操作能有效地传播多个超节点的特征表示。所述超图卷积神经网络公式如下:
U=[U,D-1BDB-1U]W
其中,W∈R2Kd×Kd为可学习参数,B∈R|E|×|V|和D∈R|V|×|E|分别为每个超节点对每个超边和每个超边到超节点的影响程度。具体公式如下:
B=HT,D=H⊙I
其中,⊙为对应元素的乘积,I=[AK,k≤K],为样本所有语义的分布信息。
所述超图神经网络通过聚集超节点表示和超边来获取超节点信息。具体来说,D-1B为对每个超边的超节点赋予每个连接的超节点对应该超边的重要性权重,然后收集每个节点的语义信息,得到该超边所代表的语义信息。此外,对与该超边关联的其他超边进行聚合,学习超边的特征表示。DB-1通过聚合该超节点所有的超边信息来更新该超节点的最终表示特征。超图神经网络更新如图6所示。
步骤S206:根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图,返回执行所述步骤S205,以便迭代更新所述多语义超图直至更新次数到达既定阈值,得到所述训练集的目标超节点特征表示;
超图神经网络将具有相同语义的节点连接起来以获取更多的信息,这有利于有效地更新节点表示。然而,由于小样本学习中的样本数量较少,超图构造的合理性极大地影响了最终的学习效果。尽管通过多种语义关联了多个节点,但超图构建的合理性依旧不够,难以令人信服,因为我们获得的超边不能保证绝对的可靠性。因此,我们引入多语义分布信息表示V:
其中,Wd和bd为可学习参数。所述多语义分布信息相当于在任意两个超节点之间计算的多语义信息相似性分布,该信息可能提供不包括在可视内容中的信息。多语义分布信息和超节点的关系矩阵公式如下:
AV=f(V;WV),Au=f(UU;WU)
其中,AV为所述多语义分布信息的关系矩阵,Au为所述超节点的关系矩阵,V为所述多语义分布信息,UU为所述训练集的超节点特征表示,WV为所述多语义分布信息的可训练参数,WU为所述训练集的超节点特征表示的可训练参数。
通过这两个关系矩阵来更新得到新的超图结构,然后再对超图进行学习更新超节点和多语义分布信息,这样通过不断迭代的方式来相互传播超节点信息和多语义分布信息,最终得到不断优化后的超节点特征表示。
在多语义超图小样本学习中,语义分布消息通过多语义特征和分布特征之间的相互学习,不断优化超图结构和超节点特征表示。
步骤S207:根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果;
其中,yj为所述支持集中第j个样本,Al(U,ij)为所述目标超节点特征表示的关系矩阵,N表示所述支持集的类别数,K表示所述支持集每个类别的样本数。
步骤S208:将评估集输入到所述小样本图像识别神经网络中,得到所述评估集中查询集的分类结果;
步骤S209:根据所述评估集中查询集的分类结果,计算所述小样本图像识别神经网络的损失函数,对所述样本图像识别神经网络进行评估;
所述小样本图像识别神经网络的损失函数如下:
其中,ζBCE为二值化损失函数,Al(U,ij)为第l代样本i,j特征的关系相似度,Al(V,ij)为第l代样本i,j多语义分布信息的关系相似度,α为第三超参数,β为第三超参数,α和β用于平衡两个损失函数,rij为监督学习的关系标签。公式如下:
步骤S210:利用完成评估的所述小样本图像识别神经网络对测试集进行识别分类。
本实施例所提供的方法,通过基于超图的结构来克服基于图的小样本学习的局限性,能够针对样本所存在的不同语义特征构建高阶复杂的关联关系,挖掘小样本学习中小数示例之间复杂的潜在语义关系,能够提升小样本学习识别的准确度,高效准确的实时检测目标并识别,借助多语义超图神经网络结构,能够学习到更加精确的图像特征表示,获得图像样本多语义信息,改善图像细节丢失,背景噪声干扰等问题,使得图像的特征表示更准确、更丰富、更自然。
请参考图7,图7为本发明实施例提供的一种超图神经网络的小样本图像识别方法的结构框图;具体装置可以包括:
第一构建模块100,用于构建小样本图像识别神经网络;其中,所述小样本图像识别神经网络包括卷积神经网络和超图神经网络;
输入模块200,用于将训练集输入到所述小样本图像识别神经网络中进行训练;其中,所述训练集包括支持集和查询集;
卷积模块300,用于利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征;
第二构建模块400,用于根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图;
超节点特征更新模块500,用于利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
迭代更新模块600,用于根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图,返回执行所述步骤S105,以便迭代更新所述多语义超图直至更新次数到达既定阈值,得到所述训练集的目标超节点特征表示;
计算模块700,用于根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果。
本实施例的超图神经网络的小样本图像识别装置用于实现前述的超图神经网络的小样本图像识别方法,因此超图神经网络的小样本图像识别装置中的具体实施方式可见前文中的超图神经网络的小样本图像识别方法的实施例部分,例如,100,200,300,400,500,600和700分别用于实现上述超图神经网络的小样本图像识别方法中步骤S101,S102,S103、S104,S105,S106和S107所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
本发明具体实施例还提供了一种超图神经网络的小样本图像识别设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现上述一种超图神经网络的小样本图像识别方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种超图神经网络的小样本图像识别方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种超图神经网络的小样本图像识别方法,其特征在于,包括:
S101:构建小样本图像识别神经网络;其中,所述小样本图像识别神经网络包括卷积神经网络和超图神经网络;
S102:将训练集输入到所述小样本图像识别神经网络中进行训练;其中,所述训练集包括支持集和查询集;
S103:利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征;
S104:根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图;
S105:利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
S106:根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图,返回执行所述步骤S105,以便迭代更新所述多语义超图直至更新次数到达既定阈值,得到所述训练集的目标超节点特征表示;
S107:根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征包括:
将所述训练集输入到所述卷积神经网络CNN中;
利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征Uk=DilatedConv(CNN(X),γk);
其中,X为所述训练集,γk为所述空洞卷积的k次膨胀率,k∈{1,…,K},K为所述多语义特征的数量。
4.根据权利要求1所述的方法,其特征在于,所述利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示包括:
将所述多语义超图输入到所述超图神经网络中;
利用所述超图神经网络U=[U,D-1BDB-1U]W,聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
其中,U=[Uk,k≤K],U为所述多语义超图中超节点的特征表示集合,W为所述超图神经网络的可学习参数,B为所述多语义超图中每个超节点对每个超边的影响程度,D为所述多语义超图中每个超边到每个超节点的影响程度。
5.根据权利要求1所述的方法,其特征在于,所述根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图包括:
根据所述训练集的超节点特征表示,得到多语义分布信息;
根据AV=f(V;WV)和Au=f(UU;WU),将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图;
其中,AV为所述多语义分布信息的关系矩阵,Au为所述超节点的关系矩阵,V为所述多语义分布信息,UU为所述训练集的超节点特征表示,WV为所述多语义分布信息的可训练参数,WU为所述训练集的超节点特征表示的可训练参数。
8.一种超图神经网络的小样本图像识别装置,其特征在于,包括:
第一构建模块,用于构建小样本图像识别神经网络;其中,所述小样本图像识别神经网络包括卷积神经网络和超图神经网络;
输入模块,用于将训练集输入到所述小样本图像识别神经网络中进行训练;其中,所述训练集包括支持集和查询集;
卷积模块,用于利用所述卷积神经网络中空洞卷积的不同感受野,得到所述训练集的多语义特征;
第二构建模块,用于根据所述训练集的多语义特征构建超节点,计算每两个超节点之间的语义相似度,根据所述每两个超节点之间的语义相似度构建超边,得到多语义超图;
超节点特征更新模块,用于利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示,得到所述训练集的超节点特征表示;
迭代更新模块,用于根据所述训练集的超节点特征表示,得到多语义分布信息,将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互,更新所述多语义超图的超边,得到新的多语义超图,返回执行所述步骤S105,以便迭代更新所述多语义超图直至更新次数到达既定阈值,得到所述训练集的目标超节点特征表示;
计算模块,用于根据所述训练集的目标超节点特征表示,计算所述查询集的超节点特征表示属于所述支持集类别的概率,得到所述查询集的分类结果。
9.一种超图神经网络的小样本图像识别设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111633547.1A CN114463596A (zh) | 2021-12-28 | 2021-12-28 | 一种超图神经网络的小样本图像识别方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111633547.1A CN114463596A (zh) | 2021-12-28 | 2021-12-28 | 一种超图神经网络的小样本图像识别方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114463596A true CN114463596A (zh) | 2022-05-10 |
Family
ID=81407031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111633547.1A Pending CN114463596A (zh) | 2021-12-28 | 2021-12-28 | 一种超图神经网络的小样本图像识别方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114463596A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116660389A (zh) * | 2023-07-21 | 2023-08-29 | 山东大禹水务建设集团有限公司 | 一种基于人工智能的河道底泥探测及修复系统 |
CN116845889A (zh) * | 2023-09-01 | 2023-10-03 | 东海实验室 | 一种基于层次化超图神经网络的电力负载预测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021121127A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技(深圳)有限公司 | 样本类别识别方法、装置、计算机设备及存储介质 |
CN113792753A (zh) * | 2021-08-11 | 2021-12-14 | 清华大学 | 动态超图神经网络分类方法和系统 |
-
2021
- 2021-12-28 CN CN202111633547.1A patent/CN114463596A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021121127A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技(深圳)有限公司 | 样本类别识别方法、装置、计算机设备及存储介质 |
CN113792753A (zh) * | 2021-08-11 | 2021-12-14 | 清华大学 | 动态超图神经网络分类方法和系统 |
Non-Patent Citations (1)
Title |
---|
张婧;袁细国;: "基于小样本学习的高光谱遥感图像分类算法", 聊城大学学报(自然科学版), no. 06, 4 August 2020 (2020-08-04) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116660389A (zh) * | 2023-07-21 | 2023-08-29 | 山东大禹水务建设集团有限公司 | 一种基于人工智能的河道底泥探测及修复系统 |
CN116660389B (zh) * | 2023-07-21 | 2023-10-13 | 山东大禹水务建设集团有限公司 | 一种基于人工智能的河道底泥探测及修复系统 |
CN116845889A (zh) * | 2023-09-01 | 2023-10-03 | 东海实验室 | 一种基于层次化超图神经网络的电力负载预测方法 |
CN116845889B (zh) * | 2023-09-01 | 2023-12-22 | 东海实验室 | 一种基于层次化超图神经网络的电力负载预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639710B (zh) | 图像识别模型训练方法、装置、设备以及存储介质 | |
CN110674323B (zh) | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 | |
CN107862173B (zh) | 一种先导化合物虚拟筛选方法和装置 | |
CN111507419B (zh) | 图像分类模型的训练方法及装置 | |
CN113705597B (zh) | 一种图像处理方法、装置、计算机设备以及可读存储介质 | |
CN112364880B (zh) | 基于图神经网络的组学数据处理方法、装置、设备及介质 | |
CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
CN110347932B (zh) | 一种基于深度学习的跨网络用户对齐方法 | |
US20200167659A1 (en) | Device and method for training neural network | |
CN111985601A (zh) | 用于增量学习的数据识别方法 | |
CN114463596A (zh) | 一种超图神经网络的小样本图像识别方法、装置及设备 | |
CN113821670B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
CN114170333B (zh) | 基于直推式半监督深度学习的图像哈希编码方法 | |
CN110598869B (zh) | 基于序列模型的分类方法、装置、电子设备 | |
CN113268370B (zh) | 一种根因告警分析方法、系统、设备及存储介质 | |
CN112308115A (zh) | 一种多标签图像深度学习分类方法及设备 | |
CN109804371A (zh) | 用于语义知识迁移的方法和装置 | |
CN115952424A (zh) | 一种基于多视图结构的图卷积神经网络聚类方法 | |
CN115293919A (zh) | 面向社交网络分布外泛化的图神经网络预测方法及系统 | |
CN116340726A (zh) | 一种能源经济大数据清洗方法、系统、设备及存储介质 | |
CN111460275A (zh) | 一种面向社交网络的动态网络表示学习方法及系统 | |
CN113836174A (zh) | 基于强化学习dqn算法的异步sql连接查询优化方法 | |
CN112949590A (zh) | 一种跨域行人重识别模型构建方法及构建系统 | |
CN115599918B (zh) | 一种基于图增强的互学习文本分类方法及系统 | |
US20230018525A1 (en) | Artificial Intelligence (AI) Framework to Identify Object-Relational Mapping Issues in Real-Time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |