CN114050975B - 一种异构多节点互联拓扑生成方法和存储介质 - Google Patents
一种异构多节点互联拓扑生成方法和存储介质 Download PDFInfo
- Publication number
- CN114050975B CN114050975B CN202210024578.5A CN202210024578A CN114050975B CN 114050975 B CN114050975 B CN 114050975B CN 202210024578 A CN202210024578 A CN 202210024578A CN 114050975 B CN114050975 B CN 114050975B
- Authority
- CN
- China
- Prior art keywords
- heterogeneous multi
- node
- topological structure
- graph
- node interconnection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000010354 integration Effects 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 49
- 239000000126 substance Substances 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 235000006629 Prosopis spicigera Nutrition 0.000 claims description 6
- 240000000037 Prosopis spicigera Species 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical group OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Design And Manufacture Of Integrated Circuits (AREA)
Abstract
本发明涉及一种异构多节点互联拓扑生成方法和存储介质,方法包括以下步骤:基于图卷积网络模型,特征提取节点信息和拓扑结构,以获取节点信息和拓扑结构的低维向量表示;输入性能参数和所述低维向量表示至全连接层,以生成特征整合信息;将所述特征整合信息输入预设的生成网络,以生成异构多节点互联拓扑结构;获取所述异构多节点互联拓扑结构的特征值,确保所述异构多节点互联拓扑结构满足预设的准确性要求。通过本申请所述的异构多节点互联拓扑生成方法,基于输入性能参数和低维向量表示可以生成更符合使用要求的异构多节点互联拓扑结构,在满足性能要求的前提下,可以最大程度地降低成本,提升资源利用率。
Description
技术领域
本发明涉及计算机网络技术领域,尤其是指一种异构多节点互联拓扑生成方法和存储介质。
背景技术
当前在异构计算领域,存在多种类型的计算设备,如CPU、GPU、FPGA和专用IC等。单个计算节点的算力不同,大到服务器,包含多个CPU和多张GPU计算卡,小到单个专用计算芯片,包含几百上千个PE;接口不同,如Intel CPU的QPI接口,Nvidia GPU的Nvlink,FPGA的SRIO;多节点的互联应用场景不同,比如超级计算机、分布式计算、超异构平台、片上网络、众核CPU多核架构和异构加速芯片多PE互联等,其中超级计算机、分布式计算和超异构平台这些使用设备节点,如CPU、GPU、FPGA和专用IC等;片上网络、众核CPU多核架构和异构加速芯片使用核心节点,如CPU核心、CUDA核心和PE阵列等。
各计算节点的互联方式也多种多样。典型的如共享总线、Crossbar交换矩阵(如图1和图2所示)、Ring(如图3所示即为总线和Ring的拓扑结构图)、星形连接、Mesh和Torus(如图4所示即为2D Mesh和2D Torus分布式交换矩阵示意图,如图5所示即为2D Torus的结构示意图)等。通常将连接多台独立计算机的网络称为Network,将芯片内部或者多个芯片之间的互联网络称为Fabric,将嵌入到单个芯片内部的用于连接片内多个不同模块的大规模互联网络称为NoC。不同于计算机网络,在NoC中可以实现更多特色技术,如QoS(Quality ofService),可以决定先转发哪个请求,后转发哪个,每个节点Crossbar的接收和发送端口可以增加队列缓冲,以实现QoS优先级控制;实现更先进的流量控制策略,更加充分地利用队列;利用更先进的路由算法和拥塞判断算法,算出从哪条路走到目标节点更加顺畅。常用的Fabric拓扑如HyperCube超立方也是Intel QPI所使用的拓扑,胖树(Fat Tree)拓扑也是天河II超级计算机连接大量计算机节点使用的拓扑,金字塔(Pyramid)拓扑,蝴蝶(Butterfly)拓扑,Intel在其12核心的Ivy Bridge CPU微架构中串接其12核心使用的带弦环和三重环(Triple Ring),带弦环(如图6所示即为带弦环和三重环拓扑结构示意图),带环立方体和ClosNetwork拓扑等。如图7所示的图像处理专用芯片内部架构示意图,该芯片内部使用了6个Crossbar Switch形成了一个星形网络,同时又将4个13x13的Crossbar串接起来形成了一个Ring,总体采用混合拓扑方式。
由于不同的计算设备或计算核心能提供的算力不同,其接口类型、数量和带宽不同,各计算节点之间的互联拓扑又多种多样。算力高、接口多、互联线多对应的功耗和成本高,如果计算节点和互联不匹配会造成计算节点空闲或互联线空闲,因此在部署一个计算任务或设计异构多节点硬件电路时,节点类型、数量如何选择,采用哪种拓扑,各节点如何互联,使其在满足计算性能的情况下尽量低功耗低成本,是一个优化问题。
也就是说,不同于芯片的布局布线任务其网表中确定的单元和连接关系,异构多节点拓扑是根据计算任务来选取计算单元和连接关系。由于每个计算节点的性能不同,成本也不同,两节点间互联线多,其通信带宽就高,但成本也高;相反,如果采用级联方式,其级数越多,对应的延迟可能越大,也会增大通道拥塞的概率。
因此,急需提出一种同时满足性能要求和拓扑关系需求的异构多节点互联拓扑生成方法和存储介质。
发明内容
为了解决上述技术问题,本发明提供了一种异构多节点互联拓扑生成方法和存储介质,可以基于计算节点实现拓扑结构的灵活组合,可以在满足拓扑结构性能要求的前提下最大限度地控制成本,最终生成满足性能要求和拓扑结构的计算架构。
为实现上述目的,本申请提出第一技术方案:
一种异构多节点互联拓扑生成方法,包括以下步骤:基于图卷积网络模型,特征提取节点信息和拓扑结构,以获取节点信息和拓扑结构的低维向量表示;输入性能参数和所述低维向量表示至全连接层,以生成特征整合信息; 将所述特征整合信息输入预设的生成网络,以生成异构多节点互联拓扑结构;获取所述异构多节点互联拓扑结构的特征值,确保所述异构多节点互联拓扑结构满足预设的准确性要求。
在本发明的一个实施例中,所述生成网络具体包括:上采样层、卷积层、全连接层、批归一化层、修正线性单元和S型函数。
在本发明的一个实施例中,所述低维向量表示包括节点嵌入向量和连接嵌入向量;基于下式,获取得到所述图卷积网络模型的节点嵌入向量:
其中,f c0 和f c1 表示两个不同大小的前馈网络,w ij e 是对应于邻边的可学习的1x1权重,concat表示拼接函数,基于节点特征创建节点向量,v i 和v j 均表示节点。
在本发明的一个实施例中,所述上采样层的上采样过程具体包括:假设特征整合信息为一个包含V个顶点和E个邻边的图S(V,E);基于所述图S(V,E)依次进行如下操作:将所述图S(V,E)映射到一个包含N*n个顶点和E*m个邻边的图;基于所述图,生成第一邻接矩阵,并获得所述第一邻接矩阵的初始值;基于所述第一邻接矩阵的初始值,对所述第一邻接矩阵进行训练,以获得所述第一邻接矩阵的最佳值。
在本发明的一个实施例中,所述卷积层基于所述上采样层的上采样结果生成全局图和独立图,并基于所述全局图和所述独立图进行卷积运算;所述卷积运算具体包括以下步骤:初始化所述独立图为图S(V,E),基于下式生成所述独立图:
在本发明的一个实施例中,基于下式获取所述异构多节点互联拓扑结构的特征值:
在本发明的一个实施例中,确保所述异构多节点互联拓扑结构满足预设的准确性要求具体包括:将所述异构多节点互联拓扑结构与预设的真实异构多节点互联拓扑结构基于下式进行交叉熵损失运算;
其中,E表示分布函数的期望值,P data 代表实际拓扑样本的分布,x是P data 中的真实样本, P z 表示输入噪音的分布,D(x)表示判别样本为正确的概率,G(z)表示异构多节点互联拓扑图;z表示输入噪音;基于下式,获取拓扑重建损失结果:
根据所述拓扑重建损失与所述交叉熵损失运算结果,基于下式获取所述异构多节点互联拓扑结构的最终损失:
将所述异构多节点互联拓扑结构的最终损失与预设的异构多节点互联拓扑结构的损失进行比较,若所述异构多节点互联拓扑结构的最终损失大于所述预设的异构多节点互联拓扑结构的损失,则重复执行上采样处理和图卷积操作直至所述异构多节点互联拓扑结构的最终损失不大于所述预设的异构多节点互联拓扑结构的损失,确保所述异构多节点互联拓扑结构满足预设的准确性要求。
在本发明的一个实施例中,所述性能参数包括噪音信号、性能要求、功耗要求和成本要求。
为实现上述目的,本申请还提出第二技术方案:
一种计算机可读存储介质,所述计算机可读存储介质存储有程序,当所述程序被处理器执行时,使得所述处理器执行所述异构多节点互联拓扑生成方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点:
本发明所述的一种异构多节点互联拓扑生成方法和存储介质,基于图卷积网络模型,特征提取节点信息和拓扑结构,以获取节点信息和拓扑结构的低维向量表示;输入性能参数和所述低维向量表示至全连接层,以生成特征整合信息; 将所述特征整合信息输入预设的生成网络,以生成异构多节点互联拓扑结构;基于预构建的判别网络,确保所述异构多节点互联拓扑结构满足预设的准确性要求。通过本申请所述的异构多节点互联拓扑生成方法,基于输入性能参数和低维向量表示可以生成更符合使用要求的异构多节点互联拓扑结构,在满足性能要求的前提下,可以最大程度地降低成本,提升资源利用率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是现有技术中Crossbar示意图;
图2是现有技术中Crossbar级联示意图;
图3是现有技术中总线和Ring的拓扑结构图;
图4是现有技术中2D Mesh和2D Torus分布式交换矩阵示意图;
图5是现有技术中2D Torus的结构示意图;
图6是现有技术中带弦环和三重环拓扑结构示意图;
图7是现有技术中图像处理专用芯片内部架构示意图;
图8是本发明的方法流程图;
图9是本发明的方法的应用环境示意图;
图10是本发明的所述的判别网络的内部运算结构示意图;
图11是本发明的所述的卷积层的内部运算结构示意图;
图12是本发明的所述的生成网络的内部运算结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一:
参照图8所示,图8为实施例一的方法流程图。
本实施例所述方法应用于如图9所示的应用环境中。本实施例的方法,包括以下步骤:
步骤S1、基于图卷积网络模型,特征提取节点信息和拓扑结构,以获取节点信息和拓扑结构的低维向量表示。
在其中一个实施方式中,所述图卷积网络模型基于节点信息库和拓扑结构库,特征节点信息和拓扑结构。其中,所述节点信息库包括分别基于节点算力、节点核心数量、节点接口数量和节点接口宽带等特征建立的节点模型;所述拓扑结构库包括基于连接方式、连接点数量、连接级数、连接线密度、连接线长度等特征建立的拓扑结构模型;所述性能参数包括性能、功耗、成本等。
在其中一个实施方式中,基于性能参数、节点信息和拓扑结构的低维向量表示,基于下式,获取得到所述图卷积网络模型的节点嵌入向量:
其中,f c0 和f c1 表示两个不同大小的前馈网络,w ij e 是对应于邻边的可学习的1x1权重,concat表示拼接函数,基于节点特征创建节点向量,v i 和v j 均表示节点。
步骤S2、基于所述节点嵌入向量、所述连接嵌入向量和性能参数输入至全连接层,将节点嵌入向量、连接嵌入向量和性能参数在全连接层融合之后形成特征整合信息,将所述特征整合信息输入预设的生成网络,以生成异构多节点互联拓扑结构。
在其中一个实施方式中,所述生成网络包括但是不限于上采样层和卷积层,如图10所示即为本申请所述的生成网络的示意图。其中,空间上采样层使用由图定义的聚合函数进行操作,该图由一个包含V个顶点和E个边的图S(V,E)映射到一个更大的图,通过给新顶点集分配不同的重要度,网络可以学习到的最佳值,从而对图进行良好的上采样。所述上采样层的上采样过程具体包括:将所述图S(V,E)映射到一个包含N*n个顶点和E*m个邻边的图;基于所述图,生成第一邻接矩阵,并获得所述第一邻接矩阵的初始值;基于所述第一邻接矩阵的初始值,对所述第一邻接矩阵进行训练,以获得所述第一邻接矩阵的最佳值。基于下式获得所述图顶点特征:,其中,f in 为图的顶点特征,k表示图的顶点j和顶点i之间的测地距离;为计算所述N*n个顶点中任一顶点的权重后得到的图的最佳值;f j 表示图S(V,E)的顶点特征。需要理解的是,n和m的值可以是一样的,也可以是不一样的。
在其中一个实施例中,在上采样层进行上采样处理之后,卷积层基于全局图和独立图进行卷积运算。所述卷积层的运算过程如图11所示,具体地,初始化所述独立图为图S(V,E);
基于下式生成所述独立图:
步骤S3、基于预构建的判别网络,确保所述异构多节点互联拓扑结构满足预设的准确性要求。其中,判别网络与生成网络的运算结构存在相似性,如图12所示,即为本申请所述的判别网络的内部结构。具体地,判别网络使用的是与生成网络学习的权值不同、具有可训练权值 的聚合矩阵,由于该聚合是从一个较大的图映射到一个较小的图S1(V1,E1),基于下式,获得图S1(V1,E1)的顶点特征:
在其中一个实施例中,确保所述异构多节点互联拓扑结构满足预设的准确性要求具体包括:将所述异构多节点互联拓扑结构与预设的真实异构多节点互联拓扑结构基于下式进行交叉熵损失运算;
其中,E表示分布函数的期望值,P data 代表实际拓扑样本的分布,x是P data 中的真实样本, P z 表示输入噪音的分布,D(x)表示判别样本为正确的概率,G(z)表示异构多节点互联拓扑图;z表示输入噪音;基于下式,获取拓扑重建损失结果:
其中,P t 表示异构多节点互联拓扑结构,表示真实异构多节点互联拓扑结构,表示异构多节点互联拓扑结构与真实异构多节点互联拓扑结构对应节点的拓扑距离;根据所述拓扑重建损失与所述交叉熵损失运算结果,基于下式获取所述异构多节点互联拓扑结构的最终损失:
其中,λ为重建项加权,为拓扑重建损失,为交叉熵损失;将所述异构多节点互联拓扑结构的最终损失与预设的异构多节点互联拓扑结构的损失进行比较,若所述异构多节点互联拓扑结构的最终损失大于所述预设的异构多节点互联拓扑结构的损失,则重复执行步骤S2直至所述异构多节点互联拓扑结构的最终损失不大于所述预设的异构多节点互联拓扑结构的损失,确保所述异构多节点互联拓扑结构满足预设的准确性要求。
实施例二:
本实施例的方法,包括以下步骤:基于图卷积网络模型,特征提取节点信息和拓扑结构,以获取节点信息和拓扑结构的低维向量表示;输入性能参数和所述低维向量表示至全连接层,以生成特征整合信息; 将所述特征整合信息输入预设的生成网络,以生成异构多节点互联拓扑结构;基于预构建的判别网络,确保所述异构多节点互联拓扑结构满足预设的准确性要求。
在其中一个实施方式中,所述生成网络具体包括:上采样层和卷积层;所述卷积层基于所述上采样层的上采样处理结果,以生成异构多节点互联拓扑结构。
在其中一个实施方式中,所述低维向量表示包括节点嵌入向量和连接嵌入向量;基于下式,获取得到所述图卷积网络模型的节点嵌入向量:
其中,f c0 和f c1 表示两个不同大小的前馈网络,w ij e 是对应于邻边的可学习的1x1权重,concat表示拼接函数,基于节点特征创建节点向量,v i 和v j 均表示节点。
在其中一个实施方式中,所述上采样层的上采样过程具体包括:假设特征整合信息为一个包含V个顶点和E个邻边的图S(V,E);基于所述图S(V,E)依次进行如下操作:将所述图S(V,E)映射到一个包含N*n个顶点和E*m个邻边的图;基于所述图,生成第一邻接矩阵,并获得所述第一邻接矩阵的初始值;基于所述第一邻接矩阵的初始值,对所述第一邻接矩阵进行训练,以获得所述第一邻接矩阵的最佳值。
在其中一个实施方式中,所述卷积层基于所述上采样层的上采样结果生成全局图和独立图,并基于所述全局图和所述独立图进行卷积运算;所述卷积运算具体包括以下步骤:初始化所述独立图为图S(V,E),基于下式生成所述独立图:
在其中一个实施方式中,基于下式获取所述异构多节点互联拓扑结构的特征值:
其中,B k 表示全局图,C k 表示独立图,表示调整独立图权重的参数,f in 表示图的顶点特征,K v 表示空间维的核大小,W k 表示1x1卷积操作的权重向量。卷积层的内部的具体地运算过程如图11所示,图中,B k 是全局图,对每一层是唯一的。C k 是独立图,用于学习每个样本特定的拓扑结构。θ和ψ是两个嵌入函数,在这里为1x1的卷积层。K v 表示子图的数量,表示残差操作,表示矩阵乘操作,是控制两种图重要性权重的门。通过门控机制来调整不同层中独立图的重要性,对每层使用一个不同的,该值通过训练来学习和更新。
在其中一个实施方式中,确保所述异构多节点互联拓扑结构满足预设的准确性要求具体包括:
将所述异构多节点互联拓扑结构与预设的真实异构多节点互联拓扑结构基于下式进行交叉熵损失运算;
其中,E表示分布函数的期望值,P data 代表实际拓扑样本的分布,x是P data 中的真实样本, P z 表示输入噪音的分布,D(x)表示判别样本为正确的概率,G(z)表示异构多节点互联拓扑图;z表示输入噪音;基于下式,获取拓扑重建损失结果:
其中, P t 表示异构多节点互联拓扑结构,表示真实异构多节点互联拓扑结构,表示异构多节点互联拓扑结构与真实异构多节点互联拓扑结构对应节点的拓扑距离;根据所述拓扑重建损失与所述交叉熵损失运算结果,基于下式获取所述异构多节点互联拓扑结构的最终损失:
其中,λ为重建项加权,为拓扑重建损失,为交叉熵损失;将所述异构多节点互联拓扑结构的最终损失与预设的异构多节点互联拓扑结构的损失进行比较,若所述异构多节点互联拓扑结构的最终损失大于所述预设的异构多节点互联拓扑结构的损失,则重复执行上采样操作和图卷积操作直至所述异构多节点互联拓扑结构的最终损失不大于所述预设的异构多节点互联拓扑结构的损失,确保所述异构多节点互联拓扑结构满足预设的准确性要求。其中,上采样操作包括:所述上采样层的上采样过程具体包括:假设特征整合信息为一个包含V个顶点和E个邻边的图S(V,E);基于所述图S(V,E)依次进行如下操作:将所述图S(V,E)映射到一个包含N*n个顶点和E*m个邻边的图;基于所述图,生成第一邻接矩阵,并获得所述第一邻接矩阵的初始值;基于所述第一邻接矩阵的初始值,对所述第一邻接矩阵进行训练,以获得所述第一邻接矩阵的最佳值;基于所述最佳值,获得所述图的顶点特征。基于下式获得所述图顶点特征:
其中,f in 为图的顶点特征,k ij 表示图的顶点j和顶点i之间的测地距离;为计算所述N*n个顶点中任一顶点的权重后得到的图的最佳值;f j 表示图S(V,E)的顶点特征。图卷积操作包括所述卷积层基于所述上采样层的上采样结果生成全局图和独立图,并基于所述全局图和所述独立图进行卷积运算;所述卷积运算具体包括以下步骤:初始化所述独立图为图S(V,E),基于下式生成所述独立图:
其中,所述归一化函数为:
在其中一个实施方式中,所述性能参数包括噪音信号、性能要求、功耗要求和成本要求。
实施例三:
本实施例提供一种计算机可读存储介质,计算机可读存储介质存储有程序,当程序被处理器执行时,使得处理器执行上述实施例一中的异构多节点互联拓扑生成方法的步骤。
在其中一个实施方式中,当程序被处理器执行时,使得处理器执行以下步骤:基于图卷积网络模型,特征提取节点信息和拓扑结构,以获取节点信息和拓扑结构的低维向量表示;输入性能参数和所述低维向量表示至全连接层,以生成特征整合信息; 将所述特征整合信息输入预设的生成网络,以生成异构多节点互联拓扑结构;基于预构建的判别网络,确保所述异构多节点互联拓扑结构满足预设的准确性要求。其中,所述性能参数包括噪音信号、性能要求、功耗要求和成本要求。
在其中一个实施方式中,当程序被处理器执行时,使得处理器执行以下步骤:所述卷积层基于所述上采样层的上采样处理结果,以生成异构多节点互联拓扑结构。
在其中一个实施方式中,当程序被处理器执行时,使得处理器执行以下步骤:基于下式,获取得到所述图卷积网络模型的节点嵌入向量:
基于下式,获取得到所述图卷积网络模型的连接嵌入向量:
其中,f c0 和f c1 表示两个不同大小的前馈网络,w ij e 是对应于邻边的可学习的1x1权重,concat表示拼接函数,基于节点特征创建节点向量,v i 和v j 均表示节点。
在其中一个实施方式中,当程序被处理器执行时,使得处理器执行以下步骤:假设特征整合信息为一个包含V个顶点和E个邻边的图S(V,E);基于所述图S(V,E)依次进行如下操作:将所述图S(V,E)映射到一个包含N*n个顶点和E*m个邻边的图;基于所述图,生成第一邻接矩阵,并获得所述第一邻接矩阵的初始值;基于所述第一邻接矩阵的初始值,对所述第一邻接矩阵进行训练,以获得所述第一邻接矩阵的最佳值。
在其中一个实施方式中,当程序被处理器执行时,使得处理器执行以下步骤:初始化所述独立图为图S(V,E),基于下式生成所述独立图:
在其中一个实施方式中,当程序被处理器执行时,使得处理器执行以下步骤:基于下式获取所述图卷积网络模型的特征值:
在其中一个实施方式中,当程序被处理器执行时,使得处理器执行以下步骤:确保所述异构多节点互联拓扑结构满足预设的准确性要求具体包括:将所述异构多节点互联拓扑结构与预设的真实异构多节点互联拓扑结构基于下式进行交叉熵损失运算;
其中,E表示分布函数的期望值,P data 代表实际拓扑样本的分布,x是P data 中的真实样本, P z 表示输入噪音的分布,D(x)表示判别样本为正确的概率,G(z)表示异构多节点互联拓扑图;z表示输入噪音;基于下式,获取拓扑重建损失结果:
其中,P t 表示异构多节点互联拓扑结构,表示真实异构多节点互联拓扑结构,表示异构多节点互联拓扑结构与真实异构多节点互联拓扑结构对应节点的拓扑距离;根据所述拓扑重建损失与所述交叉熵损失运算结果,基于下式获取所述异构多节点互联拓扑结构的最终损失:
其中,λ为重建项加权,为拓扑重建损失,为交叉熵损失;将所述异构多节点互联拓扑结构的最终损失与预设的异构多节点互联拓扑结构的损失进行比较,若所述异构多节点互联拓扑结构的最终损失大于所述预设的异构多节点互联拓扑结构的损失,则重复执行生成异构多节点互联拓扑结构直至所述异构多节点互联拓扑结构的最终损失不大于所述预设的异构多节点互联拓扑结构的损失,确保所述异构多节点互联拓扑结构满足预设的准确性要求。
本领域内的技术人员应明白,本发明实施例中的实施例可提供为方法、系统、或计算机程序产品。因此,本发明实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例中是参照根据本发明实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其它等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种异构多节点互联拓扑生成方法,其特征在于:所述方法包括以下步骤:
基于图卷积网络模型,特征提取节点信息和拓扑结构,以获取节点信息和拓扑结构的低维向量表示,所述低维向量表示包括节点嵌入向量和连接嵌入向量;
输入性能参数和所述低维向量表示至全连接层,以生成特征整合信息;
将所述特征整合信息输入预设的生成网络,以生成异构多节点互联拓扑结构,所述生成网络包括上采样层、卷积层、全连接层、批归一化层、修正线性单元和S型函数;
获取所述异构多节点互联拓扑结构的特征值,并基于所述异构多节点互联拓扑结构的特征值,获得所述异构多节点互联拓扑结构与预设的真实异构多节点互联拓扑结构的交叉熵损失结果及拓扑重建损失结果;
基于所述交叉熵损失结果及所述拓扑重建损失结果,获得所述异构多节点互联拓扑结构的最终损失;
将所述异构多节点互联拓扑结构的最终损失与预设的异构多节点互联拓扑结构的损失进行比较,若所述异构多节点互联拓扑结构的最终损失大于所述预设的异构多节点互联拓扑结构的损失,则重复执行所述上采样层的上采样过程和所述卷积层的卷积运算直至所述异构多节点互联拓扑结构的最终损失不大于所述预设的异构多节点互联拓扑结构的损失。
7.根据权利要求6所述的异构多节点互联拓扑生成方法,其特征在于:
将所述异构多节点互联拓扑结构与预设的真实异构多节点互联拓扑结构,基于下式进行交叉熵损失运算:
其中,E表示分布函数的期望值,P data 代表实际拓扑样本的分布,x是P data 中的真实样本, P z 表示输入噪音的分布,D(x)表示判别样本为正确的概率,G(z)表示异构多节点互联拓扑图;z表示输入噪音;
基于下式,获取拓扑重建损失结果:
根据所述拓扑重建损失结果与所述交叉熵损失运算结果,基于下式获取所述异构多节点互联拓扑结构的最终损失:
8.根据权利要求1所述的异构多节点互联拓扑生成方法,其特征在于:所述性能参数包括噪音信号、性能要求、功耗要求和成本要求。
9.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有程序,当所述程序被处理器执行时,使得所述处理器执行如权利要求1~8中任意一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210024578.5A CN114050975B (zh) | 2022-01-10 | 2022-01-10 | 一种异构多节点互联拓扑生成方法和存储介质 |
PCT/CN2022/096236 WO2023130656A1 (zh) | 2022-01-10 | 2022-05-31 | 一种异构多节点互联拓扑生成方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210024578.5A CN114050975B (zh) | 2022-01-10 | 2022-01-10 | 一种异构多节点互联拓扑生成方法和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114050975A CN114050975A (zh) | 2022-02-15 |
CN114050975B true CN114050975B (zh) | 2022-04-19 |
Family
ID=80196189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210024578.5A Active CN114050975B (zh) | 2022-01-10 | 2022-01-10 | 一种异构多节点互联拓扑生成方法和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114050975B (zh) |
WO (1) | WO2023130656A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114050975B (zh) * | 2022-01-10 | 2022-04-19 | 苏州浪潮智能科技有限公司 | 一种异构多节点互联拓扑生成方法和存储介质 |
CN114726739B (zh) * | 2022-04-18 | 2024-04-09 | 深圳市智象科技有限公司 | 拓扑数据处理方法、装置、设备及存储介质 |
CN114884908B (zh) * | 2022-04-29 | 2024-02-13 | 浪潮电子信息产业股份有限公司 | 一种数据同步方法、装置、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111861178A (zh) * | 2020-07-13 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 服务匹配模型的训练方法、服务匹配方法、设备及介质 |
CN111914484A (zh) * | 2020-08-07 | 2020-11-10 | 中国南方电网有限责任公司 | 一种用于电网暂态稳定评估的递归图卷积网络系统 |
CN112163219A (zh) * | 2020-08-27 | 2021-01-01 | 北京航空航天大学 | 一种基于词嵌入和gcn的恶意程序识别和分类方法 |
WO2021018228A1 (en) * | 2019-07-30 | 2021-02-04 | Huawei Technologies Co., Ltd. | Detection of adverserial attacks on graphs and graph subsets |
CN112417219A (zh) * | 2020-11-16 | 2021-02-26 | 吉林大学 | 基于超图卷积的超边链接预测方法 |
CN112651492A (zh) * | 2020-12-30 | 2021-04-13 | 广州大学华软软件学院 | 一种自连接宽度图卷积神经网络模型及其训练方法 |
CN112925989A (zh) * | 2021-01-29 | 2021-06-08 | 中国计量大学 | 一种属性网络的群体发现方法及系统 |
CN113222328A (zh) * | 2021-03-25 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于路段污染相似性的空气质量监测设备布点选址方法 |
CN113780470A (zh) * | 2021-09-28 | 2021-12-10 | 广西师范大学 | 一种基于自适应多通道交叉图卷积网络的图分类方法 |
CN113904786A (zh) * | 2021-06-29 | 2022-01-07 | 重庆大学 | 一种基于线路拓扑分析和潮流特性的虚假数据注入攻击辨识方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800903B (zh) * | 2021-01-19 | 2022-08-26 | 南京邮电大学 | 一种基于时空图卷积神经网络的动态表情识别方法及系统 |
CN113240187B (zh) * | 2021-05-26 | 2022-10-11 | 合肥工业大学 | 预测模型生成方法、系统、设备、存储介质及预测方法 |
CN114050975B (zh) * | 2022-01-10 | 2022-04-19 | 苏州浪潮智能科技有限公司 | 一种异构多节点互联拓扑生成方法和存储介质 |
-
2022
- 2022-01-10 CN CN202210024578.5A patent/CN114050975B/zh active Active
- 2022-05-31 WO PCT/CN2022/096236 patent/WO2023130656A1/zh unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021018228A1 (en) * | 2019-07-30 | 2021-02-04 | Huawei Technologies Co., Ltd. | Detection of adverserial attacks on graphs and graph subsets |
CN111861178A (zh) * | 2020-07-13 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 服务匹配模型的训练方法、服务匹配方法、设备及介质 |
CN111914484A (zh) * | 2020-08-07 | 2020-11-10 | 中国南方电网有限责任公司 | 一种用于电网暂态稳定评估的递归图卷积网络系统 |
CN112163219A (zh) * | 2020-08-27 | 2021-01-01 | 北京航空航天大学 | 一种基于词嵌入和gcn的恶意程序识别和分类方法 |
CN112417219A (zh) * | 2020-11-16 | 2021-02-26 | 吉林大学 | 基于超图卷积的超边链接预测方法 |
CN112651492A (zh) * | 2020-12-30 | 2021-04-13 | 广州大学华软软件学院 | 一种自连接宽度图卷积神经网络模型及其训练方法 |
CN112925989A (zh) * | 2021-01-29 | 2021-06-08 | 中国计量大学 | 一种属性网络的群体发现方法及系统 |
CN113222328A (zh) * | 2021-03-25 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于路段污染相似性的空气质量监测设备布点选址方法 |
CN113904786A (zh) * | 2021-06-29 | 2022-01-07 | 重庆大学 | 一种基于线路拓扑分析和潮流特性的虚假数据注入攻击辨识方法 |
CN113780470A (zh) * | 2021-09-28 | 2021-12-10 | 广西师范大学 | 一种基于自适应多通道交叉图卷积网络的图分类方法 |
Non-Patent Citations (2)
Title |
---|
A Comprehensive Survey on Graph Neural Networks;Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang;《IEEE》;20200324;全文 * |
双空间拓扑优化图卷积网络;富坤,高金辉,赵晓梦;《信息技术与信息化》;20210725;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114050975A (zh) | 2022-02-15 |
WO2023130656A1 (zh) | 2023-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114050975B (zh) | 一种异构多节点互联拓扑生成方法和存储介质 | |
Chen et al. | NoC-based DNN accelerator: A future design paradigm | |
US11816790B2 (en) | Unsupervised learning of scene structure for synthetic data generation | |
US20230125522A1 (en) | Optimized placement for efficiency for accelerated deep learning | |
US20190362235A1 (en) | Hybrid neural network pruning | |
WO2022083624A1 (zh) | 一种模型的获取方法及设备 | |
WO2022063247A1 (zh) | 神经网络结构搜索方法及装置 | |
CN115456161A (zh) | 一种数据处理方法和数据处理系统 | |
WO2022179492A1 (zh) | 一种卷积神经网络的剪枝处理方法、数据处理方法及设备 | |
US20220147877A1 (en) | System and method for automatic building of learning machines using learning machines | |
US20220269548A1 (en) | Profiling and performance monitoring of distributed computational pipelines | |
JP7350867B2 (ja) | 量子特徴カーネル・アライメント | |
Porrmann et al. | A massively parallel architecture for self-organizing feature maps | |
CN110059793B (zh) | 生成式对抗神经网络的逐步修改 | |
CN113449839A (zh) | 一种分布式训练方法、梯度通信方法、装置以及计算设备 | |
US11119507B2 (en) | Hardware accelerator for online estimation | |
WO2023082436A1 (zh) | 量子计算任务处理方法、系统及计算机设备 | |
Chen et al. | A NoC-based simulator for design and evaluation of deep neural networks | |
CN116070557A (zh) | 使用强化学习的数据路径电路设计 | |
WO2022100607A1 (zh) | 一种神经网络结构确定方法及其装置 | |
Kako | DDLS: Distributed Deep Learning Systems: A Review | |
Tang et al. | Energy-efficient and high-throughput CNN inference on embedded CPUs-GPUs MPSoCs | |
CN115412401B (zh) | 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置 | |
WO2023164933A1 (zh) | 一种建筑物建模方法以及相关装置 | |
CN116127685A (zh) | 使用机器学习执行模拟 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |