CN114444665A - 基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法 - Google Patents

基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法 Download PDF

Info

Publication number
CN114444665A
CN114444665A CN202210115063.6A CN202210115063A CN114444665A CN 114444665 A CN114444665 A CN 114444665A CN 202210115063 A CN202210115063 A CN 202210115063A CN 114444665 A CN114444665 A CN 114444665A
Authority
CN
China
Prior art keywords
graph
network layer
node
spin
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210115063.6A
Other languages
English (en)
Inventor
方波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Turing Intelligent Computing Quantum Technology Co Ltd
Original Assignee
Shanghai Turing Intelligent Computing Quantum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Turing Intelligent Computing Quantum Technology Co Ltd filed Critical Shanghai Turing Intelligent Computing Quantum Technology Co Ltd
Priority to CN202210115063.6A priority Critical patent/CN114444665A/zh
Publication of CN114444665A publication Critical patent/CN114444665A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及到基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法。两个核心模块中的第一个模块为图卷积网络架构的拟设,第二个模块为伊辛哈密顿量等效的损失函数的优化。在第一个模块中根据伊辛哈密顿量的形式构建图网络的结构。在第二个模块中由于伊辛哈密顿量基态解的二值性,由于最终卷积层输出值具有任意性,对最终卷积层的输出值进行函数处理。基于将GCN的结构与量子退火的哈密顿量进行足够强的关联动作而设计了使用图神经网络的伊辛求解器,可求解含有大规模变量的NP‑hard难题。

Description

基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法
技术领域
本发明主要涉及到图卷积神经网络技术领域,更确切的说,涉及到一种基于图卷积神经网络的伊辛求解器和实现伊辛模型的方法。
背景技术
典型的组合优化问题即NP-hard难问题,通常包括最大割问题(Max-Cut)、最大独立集问题(MIS)、最小顶点覆盖问题、最大团问题和集合覆盖问题,在生物医药、金融策略及交通规划、电路设计等方面具有广泛的应用。较为常见的求解器是D-wave公司生产的量子退火机,但由于其硬件构造的限制,该退火机不能完成大规模的问题求解,其计算速度相较于模拟退火亦不具备足够的优势。有鉴于传统技术的劣势,因此寻找新的替代方法来解决大规模组合优化问题就显得十分有意义。
在深度学习领域,图神经网络(GNN)在过去几年里迅速流行起来。作为一种方便和通用的框架来建模各种现实世界的大规模复杂结构数据,图神经网络已经成功地应用于广泛的解决各种系列问题,例如包括了社交媒体和电子商务中的推荐系统、社交媒体中的错误信息即假新闻的检测、自然科学的各个领域如粒子物理学中的事件分类等。
图卷积网络(GCN)这类神经网络,不同于只能用于网格结构(grid-based)数据的传统网络模型LSTM和CNN,图卷积网络能够处理具有广义拓扑图结构的数据,并深入发掘其特征和规律,例如Page Rank引用网络、社交网络、通信网络、蛋白质分子结构等一系列具有空间拓扑图结构的不规则数据。譬如与常规应用相比而言,人体的骨骼拓扑图这类数据具有更加良好的稳定性和不变性,因此许多相关的工作者尝试将图卷积网络应用到基于人体骨骼的行为识别领域来,已取得了不错的成果。
图神经网络(GNN)在处理图像数据时具很强的特征抽取能力和整合能力,这主要得益于其卷积核(kernel/filter)的参数共享机制和加权平均机制。卷积本质上其实就是一种加权求和的过程,而卷积核的参数就是不同像素点对应的权重,并且不同的各类图片都共享同一个卷积核。这使得CNN能通过对卷积核参数的迭代更新来隐式的学习图像中具有的像素排列规律,进而通过学习到不同的形状特征和空间特征。
然而现实生活和科学研究中有很多数据都不具备完整的矩阵结构,相反,更多的是基于某些关联关系或者以一定的连接关系而聚合在一起,譬如常规的社交网络、通信网络和互联网络等具有类似的结构。类似这样的网络结构就是图论中定义的拓扑图。那么对这种具有拓扑图结构的数据而言,CNN处理起来是非常困难的,也不能很好的抽取节点与节点之间的连接关系信息例如判断是否相连,这是亟需研究GCN的重要原因。当然根本的原因还是在于数据的多样性,广义上来讲,任何数据在赋范空间内都可以建立拓扑关联譬如谱聚类就是应用这类思想。GCN在广义数据结构方面有很大的应用空间。
基于将GCN的结构与量子退火的哈密顿量进行足够强的关联动作,本申请设计了使用图神经网络的伊辛求解器,能够求解含有大规模变量的NP-hard难题。
发明内容
本申请公开了一种基于图卷积神经网络的伊辛求解器,包括:
第一模块,包括多层图卷积网络层;
第二模块,用于将损失函数构建成伊辛哈密顿量等效的形式,由损失函数的优化从而对所述图卷积网络层配置的权重矩阵实施训练;
所述第二模块提供伊辛哈密顿量的基态解。
上述的基于图卷积神经网络的伊辛求解器,其中:
根据伊辛哈密顿量H,在所述第一模块中构建图卷积网络层的结构,并将伊辛哈密顿量H中的自旋关系映射到图卷积网络层的邻接关系;
H=Jijxixj
其中Jij在伊辛哈密顿量中表示第i个自旋xi和第j个自旋xj之间的耦合强度。
上述的基于图卷积神经网络的伊辛求解器,其中:
如果Jij≠0,表示两个自旋之间存在相互作用,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点存在连接,此时邻接矩阵Aij=1;
如果Jij=0,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点没有相互作用且不存在着连接,此时邻接矩阵Aij=0。
上述的基于图卷积神经网络的伊辛求解器,其中:
在所述第一模块中,初始的图卷积网络层接收具有预定维度的节点嵌入,末端的图卷积网络层输出的节点维度为1,以匹配所需求的二元单值结果的维度。
上述的基于图卷积神经网络的伊辛求解器,其中:
在所述第一模块的非末端的图卷积网络层中,以节点邻域聚合的方式,上一个图卷积网络层将数据传递给下一个图卷积网络层的对应节点,相应的传递的函数为:
Figure BDA0003495933300000031
其中
Figure BDA0003495933300000032
为第k个图卷积网络层对应于标号为v的节点的特征向量,
Figure BDA0003495933300000033
为第k-1个图卷积网络层对应于标号为v的节点的邻接节点u的特征向量,σ为激活函数;
其中Wk表示可训练的权重矩阵。例如所述权重矩阵包含了对于不同相邻图卷积网络层的节点间的聚合信息,即聚合与节点v邻接的所有节点u∈Nv的特征信息。
上述的基于图卷积神经网络的伊辛求解器,其中:
在所述第一模块中,在每个非末端的图卷积网络层的信息聚合后,为防止信息爆炸而使用非线性激活函数σ,σ为sigmoid函数或ReLU函数。
上述的基于图卷积神经网络的伊辛求解器,其中:
在所述第二模块中,基于末端的图卷积网络层的输出值具有任意性,对末端的图卷积网络层的输出值进行arctan函数处理,并乘上归一因子2/π,将末端的图卷积网络层的输出值限制在-1和1之间;
从而满足伊辛哈密顿量基态解的二值性,即最终的基态解限定为1或-1。
上述的基于图卷积神经网络的伊辛求解器,其中:
在所述第二模块中,由伊辛哈密顿量构建损失函数,将所述第一模块输出的一维向量进行值限制处理后的向量作为伊辛哈密顿量中的自旋x,以及通过预设伊辛矩阵J,来构建伊辛哈密顿量形式的损失函数Loss:
Figure BDA0003495933300000034
其中
Figure BDA0003495933300000035
为x的转置。
上述的基于图卷积神经网络的伊辛求解器,其中:
通过选择梯度下降优化器,向损失函数Loss最小的方向进行梯度下降的训练,最终收敛的结果使自旋均为-1或1的二值,得到对应J条件下的伊辛哈密顿量的基态解。
本申请公开了一种基于图卷积神经网络实现伊辛模型的方法,包括:
根据伊辛哈密顿量构建图卷积网络层,将伊辛哈密顿量中的自旋关系映射到图卷积网络层的节点邻接关系;
将损失函数设置成伊辛哈密顿量等效的形式,由损失函数的优化从而对所述图卷积网络层配置的权重矩阵实施训练;
对损失函数进行梯度下降的训练,收敛的结果使伊辛哈密顿量的自旋均为-1或1这两类的二值,以得到伊辛哈密顿量的基态解。
上述的方法,其中:
将伊辛哈密顿量H中的自旋关系映射到图卷积网络层的节点邻接关系;
H=Jijxixj
其中Jij在伊辛哈密顿量中表示第i个自旋xi和第j个自旋xj之间的耦合强度;
如果Jij≠0,表示两个自旋之间存在相互作用,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点存在连接,此时邻接矩阵Aij=1;
如果Jij=0,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点没有相互作用且不存在着连接,此时邻接矩阵Aij=0。
上述的方法,其中:
布置多层图卷积网络层中;
在非末端的图卷积网络层中,以节点邻域聚合的方式,上一个图卷积网络层将数据传递给下一个图卷积网络层的对应节点,相应的传递的函数为:
Figure BDA0003495933300000041
其中
Figure BDA0003495933300000042
为第k个图卷积网络层对应于标号为v的节点的特征向量,
Figure BDA0003495933300000043
为第k-1个图卷积网络层对应于标号为v的节点的邻接节点u的特征向量,σ为激活函数;
其中Wk表示可训练的权重矩阵。例如所述权重矩阵包含了对于不同相邻图卷积网络层的节点间的聚合信息,即聚合与节点v邻接的所有节点u∈Nv的特征信息。
上述的方法,其中:
由伊辛哈密顿量构建损失函数,将末端的图卷积网络层输出的向量作为伊辛哈密顿量中的自旋x,以及通过预设伊辛矩阵J,来构建伊辛哈密顿量形式的损失函数Loss:
Figure BDA0003495933300000051
其中
Figure BDA0003495933300000052
为x的转置,通过选择梯度下降优化器,向损失函数Loss最小的方向进行梯度下降的训练,最终收敛的结果使自旋均为-1或1的二值,得到对应J条件下的伊辛哈密顿量的基态解。
前述内容剖析了图神经网络的结构与量子退火的哈密顿量之间的关联特性,并且根据这种关联特性将哈密顿量的自旋关系与图神经网络的邻接节点关系进行了映射,建立映射后可进一步利用图神经网络来构造一种伊辛求解器和实现伊辛模型,这为求解大规模变量的组合优化问题打下了基础。
附图说明
为使上述目的和特征及优点能够更加明显易懂,下面结合附图对具体实施方式做详细的阐释,阅读以下详细说明并参照以下附图之后,本申请的特征和优势将显而易见。
图1是根据伊辛哈密顿量构建图卷积网络的节点邻接关系的粗略示意图。
图2是伊辛哈密顿量中的自旋关系映射到图卷积网络层的节点邻接关系。
图3是由损失函数的优化从而对图卷积网络层配置的权重矩阵实施训练。
图4是上一个图卷积网络层将数据传给下一个图卷积网络层的对应节点。
图5是包括多层图卷积网络层的第一模块以及包括损失函数的第二模块。
具体实施方式
下面将结合各实施例,对本发明的方案进行清楚完整的阐述,所描述的实施例仅是本发明用作叙述说明所用的实施例而非全部的实施例,基于该等实施例,本领域的技术人员在没有做出创造性劳动的前提下所获得的方案属于本发明的保护范围。
关于组合优化的陈述。组合优化领域涉及必须做出大量是/否决策的设置,每组决策产生相应的目标函数值如成本或利润值,即要优化。组合优化问题包括最大割问题和最大独立集问题、最小顶点覆盖问题、最大团问题和集合覆盖问题。在所有情况下对于足够大的系统而言,精确解是不可行的,因为随着变量数目的增加,解空间呈指数增长。
所以通常可以确定用于解决这些问题的定制如近似算法,在有限空间求解,但代价是有限的范围和泛化性。相反,近年来,QUBO框架产生了一些比较强大的方法,籍此近乎可将丰富的NP-hard组合优化问题统一起来。
传统的求解器无法完成大规模的组合优化问题的求解,因此寻找新的替代方法来解决大规模组合优化问题就显得十分必要。
关于图神经网络解释。在较高的层次上,图神经网络是一类神经网络,能够学习如何在图中聚合信息以达到表示学习的目的。通常图神经网络层由三个函数组成:一个信息传递函数并允许在边界上的节点之间进行信息交换;一个聚合函数,将接收到的消息集合组合成一个固定长度的单一表示;一个典型的非线性更新激活函数,该函数在给定前一层表示和聚合信息的情况下产生节点级表示。通常情况下单层图神经网络基于节点的直接邻域或单跳邻域来封装节点的特征,通过多层图神经网络叠加,模型可以通过中间节点传播每个节点的特征,类似于卷积神经网络下游层的接受域扩展。
参见图1,基于将图神经网络与量子退火的哈密顿量进行够强的关联动作,本申请设计了使用图神经网络的伊辛求解器。
参见图5,第一模块Module1包括多层图卷积网络层。
参见图5,第二模块Module2用于将损失函数构建成伊辛哈密顿量等效的形式。
参见图5,第二模块Module2由损失函数的优化,对图卷积网络层的权重矩阵训练。
参见图5,第二模块Module2提供伊辛哈密顿量的基态解。
参见图5,其工作机制将基于图1-图4的实施例予以解释。
参见图1,根据伊辛哈密顿量H,在第一模块中构建图卷积网络层的结构,将伊辛哈密顿量H中的自旋关系映射到图卷积网络层的邻接关系。伊辛哈密顿量H如下:
H=Jijxixj
其中Jij在伊辛哈密顿量H中表示第i个自旋xi和第j个自旋xj之间的耦合强度。
参见图1,如果Jij≠0,则表示两个自旋(例如第i个自旋和第j个自旋)它们之间是存在着相互作用,那么在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点存在连接,此时邻接矩阵Aij=1。
参见图1,如果Jij=0,则表示两个自旋(例如第i个自旋和第j个自旋)它们之间不存在着相互作用,那么在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点没有相互作用且不存在着连接,此时邻接矩阵Aij=0。
参见图1,展示了“根据伊辛哈密顿量构建图卷积网络层,将伊辛哈密顿量中的自旋关系映射到图卷积网络层的节点邻接关系”的实施方式。这种映射关系将原本毫无干系的伊辛问题与图卷积神经网络进行了关联。
参见图1,将原始的伊辛哈密顿量HIsing表达式与图卷积神经网络GCN予以关联。
参见图2,不同于能够应用传统卷积的图像例如符合欧式空间,图与图像的区别是它为非欧式空间,无法使用传统的卷积操作。此时使用GCN,原因很简单,就是个体自身的特征已经无法完全代表个体的所有信息,这有可能是在数据采集过程中,类似丢失错误或者一些个体的伪装等,造成了一些特征的偏差。那么较佳就是需要它邻居节点的信息作为当前节点的信息补充。这样就可以得到比单一个体特征,更完整的信息。如何将自旋邻居的特征与当前自旋的特征结合在一起进行处理,图神经网络是较佳选择,图神经网络对其进行处理的具体细节将在下文中一一予以阐明。任意节点与其自身不连。
参见图2,例如J12≠0,则表示两个自旋(例如第1个以及第2个自旋)它们之间是存在着相互作用,在图卷积网络层中设置与第1个自旋对应的第1个节点x1、与第2个自旋对应的第2个节点X2存在连接,此时邻接矩阵A12=1。
参见图2,例如J13=0,则表示两个自旋(例如第1个以及第3个自旋)它们之间不存在着相互作用,在图卷积网络层中设置与第1个自旋对应的第1个节点X1、与第3个自旋对应的第3个节点X3没有连接,此时邻接矩阵A13=0。
参见图2,例如J14=0,则表示两个自旋(例如第1个以及第4个自旋)它们之间不存在着相互作用,在图卷积网络层中设置与第1个自旋对应的第1个节点x1、与第4个自旋对应的第4个节点X4没有连接,此时邻接矩阵A14=0。
参见图2,类似的例如J21≠0,J23≠0,J24≠0。A21=1,A23=1,A24=1。
参见图2,所以节点X2与节点X1、节点X3、节点X4存在连接。
参见图2,类似的例如J31=0,J32≠0,J34≠0。A31=0,A32=1,A34=1。
参见图2,所以节点X3与节点X1没有连接,但与节点X2、节点X4存在连接。
参见图2,类似的例如J41=0,J42≠0,J43≠0。A41=0,A42=1,A43=1。
参见图2,所以节点X4与节点X1没有连接,但与节点X2、节点X3存在连接。
参见图2,以与四个自旋相对应的四个节点为例阐释了它们的邻接关系,但是在实际中自旋或节点的数量远不止于此,作为范例的节点数量不构成任何特定限制。无论实际的节点数目是多少,节点间的邻接关系都符合上述的自旋映射规定。
参见图3,第一模块Module1包括多层图卷积网络层Layer1-LayerQ,图卷积网络层在图中是以图网络结构层作为代表,图卷积网络的层数Q为大于1的正整数。如选择多层中的首个图卷积网络层Layer1作为输入层、选择末端的图卷积网络层LayerQ作为输出层且Layer1可称首层或初始的图卷积网络层、LayerQ可称末层或末尾图卷积网络层。
参见图3,第二模块Module2用于将损失函数(例如用LOSS表示)构建成伊辛哈密顿量等效的形式,由损失函数优化(如梯度下降GD),对图卷积网络层进行训练。譬如通过选择梯度下降优化器,向损失函数最小的方向进行梯度下降的训练,训练的对象例如包括了文中的表示可训练的权重矩阵Wk,训练过程在图中是以权重卷积作为代表。
参见图4,在可选的实施中,第k层图卷积网络层Layer(k)展示了有限的若干个节点作为所有节点的代表性节点,实际的节点数目远不止于此。k≤Q。
参见图4,在可选的实施中,第k-1层图卷积网络层Layer(k-1)展示了有限的若干节点作为所有节点的代表性节点。
参见图4,在可选的实施中,第k-2层图卷积网络层Layer(k-2)展示了有限的若干节点作为所有节点的代表性节点。
参见图4,在可选的实施中,第k-2层作为上一个图卷积网络层需要将其数据传递给下一个图卷积网络层即第k-1层的对应节点。期间节点特征从Z变成Y。
参见图4,在可选的实施中,第k-1层作为上一个图卷积网络层需要将其数据传递给下一个图卷积网络层即第k层的对应节点。期间节点特征从Y变成X。无论使用了多少层数的图卷积网络层来提取特征,每层图卷积网络的各个节点之间的连接关系都符合前文提及的邻接矩阵Aij,因此邻接矩阵Aij是共享的。
参见图4,在第一模块Module1的非末端的各个图卷积网络层中(例如在第一层即首层图卷积网络层Layer1至倒数第二层图卷积网络层Layer(Q-1)中),可以以节点邻域聚合的方式,将上一个图卷积网络层将数据传递给下一个图卷积网络层的对应节点,这种方式应用在图卷积网络层之间的相应的数据传递的函数为:
Figure BDA0003495933300000081
其中
Figure BDA0003495933300000082
为第k个图卷积网络层对应于标号为v的节点的特征向量,
Figure BDA0003495933300000083
为第k-1个图卷积网络层对应于标号为v的节点的邻接节点u的特征向量,σ为激活函数。
其中Wk表示可训练的权重矩阵,这个权重矩阵包含了对于不同相邻图卷积网络层的节点间的聚合信息,即聚合与节点v邻接的所有节点u∈Nv的特征信息。
参见图4,在可选范例中,将上一个图卷积网络层Layer(k-1)的数据传递给下一个图卷积网络层Layer(k)的对应节点(例如传递给标号为v的节点X2),从而将节点邻域聚合的方式应用在图卷积网络层之间,其相应的数据传递的函数表示为:
Figure BDA0003495933300000091
参见图4,
Figure BDA0003495933300000092
为第k层图卷积网络层Layer(k)中标号为v的节点如X2的特征向量。
参见图4,
Figure BDA0003495933300000093
为第k-1层图卷积网络层Layer(k-1)中标号为v的节点如Y2的其他邻接节点u的特征向量(如Y1和Y3-Y5各自的特征向量)。
参见图4,与标号为v的节点邻接的所有节点{u∈Nv}表示:标号为v的节点的局部邻域即与标号为v的节点共享边的节点集合。譬如图卷积网络层Layer(k)中节点如X2的局部邻域包含了与X2共享边的节点集合{X1、X3~X4}。
参见图4,Wk表示第k层图卷积网络层Layer(k)配置的可训练的权重矩阵。
参见图4,在另一范例中,将上一个图卷积网络层Layer(k-2)的数据传递给下一个图卷积网络层Layer(k-1)的对应节点(例如传递给标号为v的节点Y2),从而将节点邻域聚合的方式应用在图卷积网络层之间,其相应的数据传递的函数表示为:
Figure BDA0003495933300000094
参见图4,
Figure BDA0003495933300000095
为第k-1层Layer(k-1)中标号为v的节点如Y2的特征向量。
参见图4,
Figure BDA0003495933300000096
为第k-2层图卷积网络层Layer(k-2)中标号为v的节点如Z2的其他邻接节点u的特征向量(如Z1和Z3-Z5各自的特征向量)。
参见图4,与标号为v的节点邻接的所有节点{u∈Nv}表示:标号为v的节点的局部邻域即与标号为v的节点共享边的节点集合。如图卷积网络层Layer(k-1)中节点如Y2的局部邻域包含了与Y2共享边的节点集合{Y1、Y3~Y4}。
参见图4,Wk-1表示第k-1层图卷积网络层Layer(k-1)配置的可训练权重矩阵。
参见图3,在可选的实施例中,在第一模块Module1中,初始的图卷积网络层接收具有预定维度的节点嵌入,例如第一层即首层图卷积网络层Layer1可以接收具有预定维度的节点嵌入,预定维度是指输入的节点的维度可根据实际需求进行定义。末端图卷积网络层输出的节点维度为1,例如第Q层即末端图卷积网络层LayerQ输出的节点的维度则需要定义成1,以匹配所需求的二元单值结果的维度。
参见图3,在可选的实施例中,在第一模块Module1中,在每个非末端的图卷积网络层的信息聚合后(例如在第一层即首层图卷积网络层Layer1直至倒数的第二层图卷积网络层Layer(Q-1)中的任意一个图卷积网络层的信息聚合后),为防止信息爆炸而使用非线性激活函数σ作用于数据传递的函数,激活函数σ可为sigmoid或ReLU函数。
参见图3,在可选的实施例中,在第二模块Module2中,对所谓的末端的图卷积网络层的输出值进行arctan函数处理,arctan函数的处理结果乘归一因子2/π,从而将末端的图卷积网络层的输出值限制在-1和1之间。图中的图卷积网络层LayerQ的输出值遵循此类处理方式从而可以被限制在-1和1之间。实质上图卷积网络层LayerQ的输出值具有任意性并且此种任意性还与伊辛哈密顿量基态解结果相矛盾,前述处理方式的巧妙之处在于图卷积网络层的输出值限制在-1和1之间,可以满足伊辛哈密顿量基态解的二值性也即伊辛哈密顿量的最终的基态解在后续步骤中可限定为1或者-1。
参见图3,在可选的实施例中,在第二模块Module2中,主张由伊辛哈密顿量来构建损失函数,将第一模块Module1输出的一维向量进行值限制处理后的向量作为伊辛哈密顿量中的自旋x,例如将图卷积网络层LayerQ提供的一维向量输出值进行前文所言的值限制处理(将LayerQ提供的一维向量输出值限制在-1和1之间,介于-1和1之间的这种处理后的向量视为伊辛哈密顿量中的自旋),通过预设伊辛矩阵J,构建伊辛哈密顿量形式的损失函数Loss:
Figure BDA0003495933300000101
损失函数Loss中
Figure BDA0003495933300000102
为x的转置。通过选择梯度下降优化器,向损失函数Loss最小的方向进行梯度下降的训练,最终收敛的结果使自旋x均为-1或1的二值,得到对应J条件下的伊辛哈密顿量的基态解。损失函数Loss中不带下标的自旋可以指代任意自旋。
参见图5,在可选的实施例中,基于图卷积神经网络的伊辛求解器包括带有多个图卷积网络层Layer1-LayerQ的第一模块Module1和包括第二模块Module2。第二模块用于将损失函数Loss构建成伊辛哈密顿量等效的形式
Figure BDA0003495933300000103
根据损失函数Loss的优化从而对图卷积网络层Layer1-Layer(Q-1)配置的权重矩阵实施训练,损失函数Loss进行梯度下降的训练,其收敛结果使伊辛哈密顿量的自旋为-1或1这两类的二值,以得到伊辛哈密顿量的基态解(即计算得到伊辛哈密顿量的自旋x的值)。
参见图5,在可选的实施例中,基于图卷积神经网络实现伊辛模型的方法,其特征在于主要包括了:根据伊辛哈密顿量H构建图卷积网络层GCN,将伊辛哈密顿量H中的自旋关系映射到图卷积网络层的节点邻接关系(Jij=0则Aij=0,Jij≠0则Aij=1);将损失函数设置成伊辛哈密顿量等效的形式(即
Figure BDA0003495933300000111
),由损失函数的优化从而对图卷积网络层配置的权重矩阵实施训练;对损失函数进行梯度下降GD的训练,损失函数收敛的结果使得伊辛哈密顿量的自旋均为-1或1这两类的二值,得到伊辛哈密顿量的基态解。
综上所述,本申请包含两核心模块:第一个模块为图卷积网络(GCN)架构的拟设以及第二个模块为伊辛哈密顿量等效的损失函数的优化。
在第一个模块中,根据伊辛哈密顿量的形式
H=Jijxixj
从而来构建图网络的结构。
其中Jij在伊辛哈密顿量中表示第i个自旋xi和第j个自旋的耦合强度xj
如果Jij≠0,则表示两自旋之间存在相互作用,在图网络中设置第i个节点和第j个节点存在连接,即构建图网络中的邻接矩阵Aij=1;如果Jij=0,即表示了两个节点之间没有相互作用,则设置邻接矩阵Aij=0。
在第一个模块中,存在多个卷积层,初始卷积层被具有一定维度的节点嵌入,输出卷积层输出的节点维度为1,以匹配需求的二元单值结果的维度。
在第一个模块的非输出卷积层中,以节点邻域聚合的方式,将数据传递给下一个卷积层的对应节点,对应公式为:
Figure BDA0003495933300000112
其中
Figure BDA0003495933300000113
为第k卷积层对应于标号为v的节点的特征向量,
Figure BDA0003495933300000114
为第k-1卷积层对应于标号为v的节点的邻接节点u的特征向量,Wk表示可训练的权重矩阵,该矩阵包含对于不同相邻卷积层节点间的聚合信息,即聚合与节点v邻接的所有节点u∈Nv的特征信息
在第一个模块中,在每个非输出卷积层的信息聚合后,为了防止信息爆炸,使用非线性激活函数σ,σ可为sigmoid或ReLU函数。
在第二个模块中,由于伊辛哈密顿量基态解的二值性,最终的解仅可为1或-1,最终卷积层输出值具有任意性,对最终卷积层的输出值进行arctan函数处理,并乘上归一因子也即2/π,将输出值限制在-1和1之间。
在第二个模块中,由伊辛哈密顿量构建损失函数。将在第二个模块中对第一个模块输出的一维向量进行值限制处理后的向量作为伊辛哈密顿量中的自旋x,以及通过一个输入的伊辛矩阵J,即可构建损失函数为伊辛哈密顿量的形式:
Figure BDA0003495933300000121
其中
Figure BDA0003495933300000122
为x的转置。通过选择梯度下降优化器,向Loss函数最小的方向进行梯度下降的训练,最终收敛结果均为-1和1的二值,该值表示对应J的伊辛哈密顿量的基态解。
上述GCN模型具备深度学习的三种性质:
首先是层级结构(特征一层一层抽取,一层比一层更抽象,更高级)。
其次是非线性变换(可增加模型的表达能力)。
再者是端对端训练(例如不需要再去定义任何规则,只需要给图的节点一个标记而让模型自己学习,融合特征信息和结构信息)。
归纳而言,本申请的核心是,首先需要将GCN结构与量子退火的哈密顿量进行足够强的关联动作,基于此,本申请还进一步设计了使用图神经网络的伊辛求解器,能够解决含有大规模变量的NP-hard难题。
以上通过说明和附图的内容,给出了具体实施方式的特定结构的典型实施例,上述申请内容提出了现有的较佳实施例,但这些内容并不作为局限。对于本领域的技术人员而言在阅读上述说明后,各种变化和修正无疑将显而易见。因此,所附的权利要求书应当看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围之内的任何和所有等价的范围与内容,都应认为仍属本发明的意图和范围内。

Claims (13)

1.一种基于图卷积神经网络的伊辛求解器,其特征在于,包括:
第一模块,包括多层图卷积网络层;
第二模块,用于将损失函数构建成伊辛哈密顿量等效的形式,由损失函数的优化从而对所述图卷积网络层配置的权重矩阵实施训练;
所述第二模块提供伊辛哈密顿量的基态解。
2.根据权利要求1所述的基于图卷积神经网络的伊辛求解器,其特征在于:
根据伊辛哈密顿量H,在所述第一模块中构建图卷积网络层的结构,并将伊辛哈密顿量H中的自旋关系映射到图卷积网络层的邻接关系;
H=Jijxixj
其中Jij在伊辛哈密顿量中表示第i个自旋xi和第j个自旋xj之间的耦合强度。
3.根据权利要求2所述的基于图卷积神经网络的伊辛求解器,其特征在于:
如果Jij≠0,表示两个自旋之间存在相互作用,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点存在连接,此时邻接矩阵Aij=1;
如果Jij=0,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点没有相互作用且不存在着连接,此时邻接矩阵Aij=0。
4.根据权利要求3所述的基于图卷积神经网络的伊辛求解器,其特征在于:
在所述第一模块中,初始的图卷积网络层接收具有预定维度的节点嵌入,末端的图卷积网络层输出的节点维度为1,以匹配所需求的二元单值结果的维度。
5.根据权利要求3所述的基于图卷积神经网络的伊辛求解器,其特征在于:
在所述第一模块的非末端的图卷积网络层中,以节点邻域聚合的方式,上一个图卷积网络层将数据传递给下一个图卷积网络层的对应节点,相应的数据传递的函数为:
Figure FDA0003495933290000021
其中
Figure FDA0003495933290000022
为第k个图卷积网络层对应于标号为v的节点的特征向量,
Figure FDA0003495933290000023
为第k-1个图卷积网络层对应于标号为v的节点的邻接节点u的特征向量,σ为激活函数;
其中Wk表示可训练的权重矩阵。
6.根据权利要求5所述的基于图卷积神经网络的伊辛求解器,其特征在于:
在所述第一模块中,在每个非末端的图卷积网络层的信息聚合后,为防止信息爆炸而使用非线性激活函数σ,σ为sigmoid函数或ReLU函数。
7.根据权利要求5所述的基于图卷积神经网络的伊辛求解器,其特征在于:
在所述第二模块中,基于末端的图卷积网络层的输出值具有任意性,对末端的图卷积网络层的输出值进行arctan函数处理,并乘上归一因子2/π,将末端的图卷积网络层的输出值限制在-1和1之间;
从而满足伊辛哈密顿量基态解的二值性,即最终的基态解限定为1或-1。
8.根据权利要求7所述的基于图卷积神经网络的伊辛求解器,其特征在于:
在所述第二模块中,由伊辛哈密顿量构建损失函数,将所述第一模块输出的一维向量进行值限制处理后的向量作为伊辛哈密顿量中的自旋x,以及通过预设伊辛矩阵J,来构建伊辛哈密顿量形式的损失函数Loss:
Figure FDA0003495933290000024
其中
Figure FDA0003495933290000025
为x的转置。
9.根据权利要求8所述的基于图卷积神经网络的伊辛求解器,其特征在于:
通过选择梯度下降优化器,向损失函数Loss最小的方向进行梯度下降的训练,最终收敛的结果使自旋均为-1或1的二值,得到对应J条件下的伊辛哈密顿量的基态解。
10.一种基于图卷积神经网络实现伊辛模型的方法,其特征在于,包括:
根据伊辛哈密顿量构建图卷积网络层,将伊辛哈密顿量中的自旋关系映射到图卷积网络层的节点邻接关系;
将损失函数设置成伊辛哈密顿量等效的形式,由损失函数的优化从而对所述图卷积网络层配置的权重矩阵实施训练;
对损失函数进行梯度下降的训练,收敛的结果使伊辛哈密顿量的自旋均为-1或1这两类的二值,以得到伊辛哈密顿量的基态解。
11.根据权利要求10所述的方法,其特征在于:
将伊辛哈密顿量H中的自旋关系映射到图卷积网络层的节点邻接关系;
H=Jijxixj
其中Jij在伊辛哈密顿量中表示第i个自旋xi和第j个自旋xj之间的耦合强度;
如果Jij≠0,表示两个自旋之间存在相互作用,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点存在连接,此时邻接矩阵Aij=1;
如果Jij=0,在图卷积网络层中设置与第i个自旋对应的第i个节点、与第j个自旋对应的第j个节点没有相互作用且不存在着连接,此时邻接矩阵Aij=0。
12.根据权利要求11所述的方法,其特征在于:
布置多层图卷积网络层中;
在非末端的图卷积网络层中,以节点邻域聚合的方式,上一个图卷积网络层将数据传递给下一个图卷积网络层的对应节点,相应的传递的函数为:
Figure FDA0003495933290000031
其中
Figure FDA0003495933290000032
为第k个图卷积网络层对应于标号为v的节点的特征向量,
Figure FDA0003495933290000033
为第k-1个图卷积网络层对应于标号为v的节点的邻接节点u的特征向量,σ为激活函数;
其中Wk表示可训练的权重矩阵,所述权重矩阵包含了对于不同相邻图卷积网络层的节点间的聚合信息,即聚合与标号为v的节点邻接的所有节点u∈Nv的特征信息。
13.根据权利要求12所述的方法,其特征在于:
由伊辛哈密顿量构建损失函数,将末端的图卷积网络层输出的向量作为伊辛哈密顿量中的自旋x,以及通过预设伊辛矩阵J,来构建伊辛哈密顿量形式的损失函数Loss:
Figure FDA0003495933290000041
其中
Figure FDA0003495933290000042
为x的转置,通过选择梯度下降优化器,向损失函数Loss最小的方向进行梯度下降的训练,最终收敛的结果使自旋均为-1或1的二值,得到对应J条件下的伊辛哈密顿量的基态解。
CN202210115063.6A 2022-02-02 2022-02-02 基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法 Pending CN114444665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210115063.6A CN114444665A (zh) 2022-02-02 2022-02-02 基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210115063.6A CN114444665A (zh) 2022-02-02 2022-02-02 基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法

Publications (1)

Publication Number Publication Date
CN114444665A true CN114444665A (zh) 2022-05-06

Family

ID=81372516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210115063.6A Pending CN114444665A (zh) 2022-02-02 2022-02-02 基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法

Country Status (1)

Country Link
CN (1) CN114444665A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970440A (zh) * 2022-05-07 2022-08-30 上海图灵智算量子科技有限公司 超大规模集成电路通道的布线方法
CN116400430A (zh) * 2023-03-23 2023-07-07 本源量子计算科技(合肥)股份有限公司 一种气象数据预测方法、装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220368A1 (en) * 2017-05-30 2018-12-06 Gtn Ltd Tensor network machine learning system
WO2019157228A1 (en) * 2018-02-09 2019-08-15 D-Wave Systems Inc. Systems and methods for training generative machine learning models
CN111079780A (zh) * 2019-11-06 2020-04-28 中国科学院深圳先进技术研究院 空间图卷积网络的训练方法、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220368A1 (en) * 2017-05-30 2018-12-06 Gtn Ltd Tensor network machine learning system
WO2019157228A1 (en) * 2018-02-09 2019-08-15 D-Wave Systems Inc. Systems and methods for training generative machine learning models
CN111079780A (zh) * 2019-11-06 2020-04-28 中国科学院深圳先进技术研究院 空间图卷积网络的训练方法、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARTIN J. A. SCHUETZ,ET AL: "Combinatorial Optimization with Physics-Inspired Graph Neural Networks", 《ARXIV:2107.01188V1》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970440A (zh) * 2022-05-07 2022-08-30 上海图灵智算量子科技有限公司 超大规模集成电路通道的布线方法
CN116400430A (zh) * 2023-03-23 2023-07-07 本源量子计算科技(合肥)股份有限公司 一种气象数据预测方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
Geng et al. Spatiotemporal multi-graph convolution network for ride-hailing demand forecasting
CN110263227B (zh) 基于图神经网络的团伙发现方法和系统
CN112925989B (zh) 一种属性网络的群体发现方法及系统
CN110473083B (zh) 树状风险账户识别方法、装置、服务器及存储介质
CN108805188A (zh) 一种基于特征重标定生成对抗网络的图像分类方法
WO2019001071A1 (zh) 一种基于邻接矩阵的图特征提取系统、图分类系统和方法
CN114444665A (zh) 基于图卷积神经网络的伊辛求解器及实现伊辛模型的方法
CN112199536A (zh) 一种基于跨模态的快速多标签图像分类方法和系统
CN112395466A (zh) 一种基于图嵌入表示和循环神经网络的欺诈节点识别方法
CN112862015A (zh) 一种基于超图神经网络的论文分类方法及系统
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN112381179A (zh) 一种基于双层注意力机制的异质图分类方法
CN111768792B (zh) 基于卷积神经网络和领域对抗学习的音频隐写分析方法
CN113283902A (zh) 一种基于图神经网络的多通道区块链钓鱼节点检测方法
He et al. Classification of metro facilities with deep neural networks
CN112435034A (zh) 一种基于多网络图聚合的营销套利黑产的识别方法
Vialatte et al. Learning local receptive fields and their weight sharing scheme on graphs
CN111612046A (zh) 特征金字塔图卷积神经网络及其在3d点云分类中的应用
Khoo et al. Evaluation of genetic operators and solution representations for shape recognition by genetic algorithms
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN109697511B (zh) 数据推理方法、装置及计算机设备
Barakbayeva et al. Fully automatic CNN design with inception and ResNet blocks
Fisher et al. Tentnet: Deep learning tent detection algorithm using a synthetic training approach
CN114760104A (zh) 一种物联网环境下的分布式异常流量检测方法
CN114756768A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220506

WD01 Invention patent application deemed withdrawn after publication