CN112884120A - 图神经网络表示架构 - Google Patents
图神经网络表示架构 Download PDFInfo
- Publication number
- CN112884120A CN112884120A CN202110130485.6A CN202110130485A CN112884120A CN 112884120 A CN112884120 A CN 112884120A CN 202110130485 A CN202110130485 A CN 202110130485A CN 112884120 A CN112884120 A CN 112884120A
- Authority
- CN
- China
- Prior art keywords
- graph
- neural network
- representation
- definition
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 217
- 238000000547 structure data Methods 0.000 claims abstract description 123
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 67
- 238000003062 neural network model Methods 0.000 claims abstract description 34
- 238000007906 compression Methods 0.000 claims abstract description 32
- 230000006835 compression Effects 0.000 claims abstract description 32
- 230000001133 acceleration Effects 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000012546 transfer Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 abstract description 5
- 230000008878 coupling Effects 0.000 abstract description 3
- 238000010168 coupling process Methods 0.000 abstract description 3
- 238000005859 coupling reaction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 18
- 238000004590 computer program Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种图神经网络表示架构，包括图结构数据表示模块用于各种图神经网络框架数据的相互转换的表示格式；基础表示模块用于各种图神经网络开源算法框架的图神经网络模型进行互相转换的基础表示格式；紧凑表示模块用于通过神经网络压缩算法以及加速算法将基础表示模块的图神经网络模型转化成序列化格式的紧凑表示格式；编码表示模块用于通过编码算法将紧凑表示模块的图神经网络模型转换为编码表示格式。从图神经网络到最终模型的不同表示层次的定义，能够统一图神经网络各个层次的表示，降低图神经网路模型与图神经网络开源框架的耦合关系，打破了各种图神经网路开源算法框架之间的壁垒，实现了不同图神经网络开源算法框架的互操作。
Description
技术领域
本申请属于人工智能技术领域，具体地，涉及一种图神经网络表示架构。
背景技术
人工智能对技术的推动提升了社会生产力，推动了生产关系的变革。由于图神经网络可以有效学习与挖掘数据的属性信息与结构特征，以端到端的方式解决与图数据相关的任务，因而在图数据分析处理的相关应用中得到了广泛的使用。近年来，基于图神经网络的机器学习算法及其衍生的应用系统在许多图任务上取得了突破性的进展。图神经网路在推荐系统、知识图谱、智能交通、金融信用评估、物联网、材料发现、药物研究、行为识别等众多领域得到了广泛的应用。图神经网路的表示是其实际应用中的基础性问题。
尽管图神经网络在图数据处理上体现出较高的优越性，图神经网络的大规模应用仍然存在着巨大的挑战。目前尚无统一的图神经网络模型表示标准，对实现不同模型的评估与迁移带来障碍。近年来，国内外出现了很多新颖的图神经网络模型模型和框架，包括Pytorch-geometric、PGL、Spektral、GraphNets、TF2-GNN等。这些框架彼此相互独立，不同的图神经网络框架对于图数据的表示、网络表示、运算操作粒度定义不同，使得不同的图神经网络学习算法框架不能互操作与协同工作，对模型的选择、设计与迭代优化造成了巨大的阻碍，进而影响了图神经网络算法在不同框架下的比较、迁移与大规模使用。
另外大规模图神经网络在端边云架构上的应用使得对图神经网络进行模型加速与压缩成为了必然的趋势，也是需要攻克的难点。图神经网络所涉及的交通网络、社交网络、电子商务等实际应用场景中往往需要实现端边云架构下的协同设计。然而，图数据的结构相比图像数据更为多样与复杂，数据量也往往更大。例如，社交网络中往往包含远超亿级的节点以及远超十亿级的边，庞大的数据量对其在端及边系统等资源受限的设备上的存储及使用带来了困难。此外，深度图神经网络具有大量的参数。
在这种情况下，深度图神经网络模型训练与推理在端及边设备上难以满足其实时性的使用需求。因此，深度图神经网络模型的表示对于图神经网络在端及边系统的广泛使用起到了至关重要的作用。
发明内容
本发明提出了一种图神经网络表示架构，旨在打破图神经网络在不同算法框架之间的互操作壁垒，促进图神经网路在端边云设备上的开发和应用。
根据本申请实施例的第一个方面，提供了一种图神经网络表示架构，具体包括：
图结构数据表示模块，用于各种图神经网络框架数据的相互转换的表示格式；包含对图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义；
基础表示模块，用于各种图神经网络开源算法框架的图神经网络模型进行互相转换的基础表示格式；包含对图神经网络的语法定义、基础算子定义以及权重格式定义；
紧凑表示模块，用于通过神经网络压缩算法以及加速算法将基础表示模块的图神经网络模型转化成序列化格式的紧凑表示格式；包含加速、压缩后的图神经网络的语法定义、基础算子定义和权重格式定义；
编码表示模块，用于通过编码算法将紧凑表示模块的图神经网络模型转换为编码表示格式；包含编码压缩后的图神经网络的语法定义、基础算子定义以及各权重参数格式定义。
在本申请一些实施方式中，图结构数据表示模块中，对图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义具体包括：
图结构数据的语法定义，包括图结构数据的名称、图结构数据的类型、数据描述和/或数据规模；
图结构数据的节点数据的表示格式定义，包括节点名称、节点类型、节点属性和/或节点特征；
图结构数据的边数据的表示格式定义，包括边名称、边类型、边属性和/或边特征。
在本申请一些实施方式中，基础表示模块中，对图神经网络的语法定义、基础算子定义以及权重格式定义具体包括：
图神经网络的语法定义，包含网络模型结构语法、计算图语法、节点语法、边语法、节点特征语法、边特征语法、节点属性语法、边属性语法、数据类型、张量语法和/或张量大小语法；
图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
图神经网络的权重格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
在本申请一些实施方式中，紧凑表示模块中，加速、压缩后的图神经网络的语法定义、基础算子定义和权重格式定义具体包括：
加速、压缩后的图神经网络的语法定义，包含模型结构语法、计算图语法、节点语法、边语法、节点特征语法、边特征语法、节点属性语法、边属性语法、数据类型、张量语法和/或张量大小语法；
加速、压缩后的图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
加速、压缩后的图神经网络的权重格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
在本申请一些实施方式中，编码表示模块中，编码压缩后的图神经网络的语法定义、基础算子定义以及各权重参数格式定义具体包括：
编码压缩后的图神经网络的语法定义，包含模型结构语法、贡献者语法、计算图语法、节点语法、节点属性语法、数据类型语法、张量语法和/或张量大小语法；
编码压缩后的图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
编码压缩后的图神经网络的各权重参数格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
在本申请一些实施方式中，框架包括以下图神经网络：
图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络和/或图自编码器。
在本申请一些实施方式中，图结构数据表示模块中，图结构数据表示格式的定义满足以下条件：
图结构数据的语法定义，对图结构数据的数据结构、节点数据和边数据是否加密分别提供选项，不定义具体的加密算法；
图结构数据的表示格式包括基本表示以及精简表示；
图结构数据的基本表示以及精简表示均包含有向图、无向图、有权图、无权图、同构图以及异构图；图结构数据的基本表示以及精简表示均包含图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义。
图结构数据的精简表示包括节点数据和边数据的分块存储、小批量读取以及无损编码的数据结构说明。
在本申请一些实施方式中，基础表示模块中，基础表示格式的定义满足以下条件：
图神经网络的语法定义，对网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
计算图语法由一系列节点组成；节点语法包括节点名称、节点描述、节点输入、节点属性、节点运算操作以及运算操作定义；
运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于基本运算操作定义。
在本申请一些实施方式中，紧凑表示模块中，紧凑表示格式的定义满足以下条件：
加速、压缩后的图神经网络的语法定义，对图神经网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于张量运算操作定义；
紧凑表示格式支持神经网络压缩算法以及加速算法需要的数据格式，数据格式包括分块矩阵、采样矩阵、近似矩阵、稀疏编码的稀疏矩阵、权重量化的量化表、低秩分解的分解矩阵以及二值神经网络的位表示。
在本申请一些实施方式中，编码表示模块中，编码表示格式的定义满足以下条件：
编码压缩后的图神经网络的语法定义，对图神经网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于张量运算操作定义。
采用本申请的图神经网络表示架构，包括：图结构数据表示模块用于各种图神经网络框架数据的相互转换的表示格式，包含对图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义；基础表示模块用于各种图神经网络开源算法框架的图神经网络模型进行互相转换的基础表示格式，包含对图神经网络的语法定义、基础算子定义以及权重格式定义；紧凑表示模块用于通过神经网络压缩算法以及加速算法将基础表示模块的图神经网络模型转化成序列化格式的紧凑表示格式，包含加速、压缩后的图神经网络的语法定义、基础算子定义和权重格式定义；编码表示模块用于通过编码算法将紧凑表示模块的图神经网络模型转换为编码表示格式，包含编码压缩后的图神经网络的语法定义、基础算子定义以及各权重参数格式定义。从而，本申请提供了从图神经网络到最终模型的不同表示层次的定义，从而能够统一图神经网络各个层次的表示，降低图神经网路模型与图神经网络开源框架的耦合关系，使不同的图神经网络方便在不同框架之间进行迁移，打破了各种图神经网路开源算法框架之间的壁垒，实现了不同图神经网络开源算法框架的互操作，促进人工智能尤其是图结构数据和图神经网络相关应用的开发和普及。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的图神经网络表示架构的示意图；
图2中示出了根据本申请实施例的图神经网络表示架构的应用示意图。
具体实施方式
在实现本申请的过程中，发明人发现目前，深度图神经网络模型训练与推理在端及边设备上难以满足其实时性的使用需求。深度图神经网络模型的表示对于图神经网络在端及边系统的广泛使用起到了至关重要的作用。
基于此，本申请提供一种图神经网络表示与加速压缩架构。架构包括图结构数据表示，对图结构数据的基础及精简表示格式定义，可作为一种图结构数据的表示规范，实现了各种图神经网络中图结构数据的相互转换和分发存储；架构还包括基础表示，对图神经网络的语法定义、基础算子定义和权重格式定义，可作为一种图神经网络的中间表示，实现了各种图神经网络开源框架的图神经网络模型的互相转换；架构还包括紧凑表示，支持通过多种图神经网络压缩、加速算法压缩后的序列化格式；架构还包括编解码表示，能够在不改变网络结构和权重的情况下，使用无损压缩技术减少图神经网络模型的大小。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
本实施例的一种图神经网络表示架构，具体包括：
图结构数据表示模块，用于各种图神经网络框架数据的相互转换的表示格式；包含对图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义；
基础表示模块，用于各种图神经网络开源算法框架的图神经网络模型进行互相转换的基础表示格式；包含对图神经网络的语法定义、基础算子定义以及权重格式定义；
紧凑表示模块，用于通过神经网络压缩算法以及加速算法将基础表示模块的图神经网络模型转化成序列化格式的紧凑表示格式；包含加速、压缩后的图神经网络的语法定义、基础算子定义和权重格式定义；
编码表示模块，用于通过编码算法将紧凑表示模块的图神经网络模型转换为编码表示格式；包含编码压缩后的图神经网络的语法定义、基础算子定义以及各权重参数格式定义。
图1中示出了根据本申请实施例的图神经网络表示架构的示意图。
如图1所示，图结构数据表示模块中的图数据表示时，图结构数据的语法定义，包括图结构数据的名称、图结构数据的类型、数据描述和/或数据规模；图结构数据的节点数据的表示格式定义，包括节点名称、节点类型、节点属性和/或节点特征；图结构数据的边数据的表示格式定义，包括边名称、边类型、边属性和/或边特征。
其中，图结构数据表示包含基础及精简表示格式。
具体的，图结构数据表示格式的定义满足以下条件：
图结构数据的语法定义，对图结构数据的数据结构、节点数据和边数据是否加密分别提供选项，不定义具体的加密算法；
图结构数据的表示格式包括基本表示以及精简表示；
图结构数据的基本表示以及精简表示均包含有向图、无向图、有权图、无权图、同构图以及异构图；图结构数据的基本表示以及精简表示均包含图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义。
图结构数据的精简表示包括节点数据和边数据的分块存储、小批量读取以及无损编码的数据结构说明。
其中，图结构数据的精简表示支持下面数据压缩与编码需要的数据格式：
支持的精简表示格式包括但不限于矩阵分解的分解矩阵，矩阵采样的采样矩阵，稀疏编码的稀疏矩阵，矩阵分块的分块矩阵和二值网络的位表示所需的数据结构说明。
在本申请实施例中，框架包括以下图神经网络：图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络和/或图自编码器。
如图1所示，基础表示模块中的基础表示时，图神经网络的语法定义，包含网络模型结构语法、计算图语法、节点语法、边语法、节点特征语法、边特征语法、节点属性语法、边属性语法、数据类型、张量语法和/或张量大小语法；图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；图神经网络的权重格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
具体的，基础表示格式的定义满足以下条件：
图神经网络的语法定义，对网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
计算图语法由一系列节点组成；节点语法包括节点名称、节点描述、节点输入、节点属性、节点运算操作以及运算操作定义；
运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于基本运算操作定义。
如图1所示，紧凑表示模块中的紧凑表示时，加速、压缩后的图神经网络的语法定义，包含模型结构语法、计算图语法、节点语法、边语法、节点特征语法、边特征语法、节点属性语法、边属性语法、数据类型、张量语法和/或张量大小语法；加速、压缩后的图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
加速、压缩后的图神经网络的权重格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
具体的，紧凑表示格式的定义满足以下条件：
加速、压缩后的图神经网络的语法定义，对图神经网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于张量运算操作定义；包含经过图神经网络加速、压缩算法压缩后的图神经网络的语法定义、加速算子定义、节点特征、边特征、节点状态、边状态等参数的格式的定义和图神经网络加速压缩算法中采用的特殊数据结构的格式定义以及特殊运算操作定义。
紧凑表示格式支持神经网络压缩算法以及加速算法需要的数据格式，数据格式包括分块矩阵、采样矩阵、近似矩阵、稀疏编码的稀疏矩阵、权重量化的量化表、低秩分解的分解矩阵以及二值神经网络的位表示。
如图1所示，编码表示模块中编码表示时，编码压缩后的图神经网络的语法定义，包含模型结构语法、贡献者语法、计算图语法、节点语法、节点属性语法、数据类型语法、张量语法和/或张量大小语法；编码压缩后的图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
编码压缩后的图神经网络的各权重参数格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
具体的，编码表示格式的定义满足以下条件：
编码压缩后的图神经网络的语法定义，对图神经网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于张量运算操作定义。包含经过编解码后的图神经网络的语法定义、加速算子定义、节点特征、边特征、节点状态、边状态等参数的格式的定义和图神经网络加速压缩算法中采用的特殊数据结构的格式定义以及特殊运算操作定义。
编码表示格式支持神经网络压缩算法以及加速算法需要的数据格式，数据格式包括分块矩阵、采样矩阵、近似矩阵、稀疏编码的稀疏矩阵、权重量化的量化表、低秩分解的分解矩阵以及二值神经网络的位表示。
优选地，紧凑表示和编解码表示支持下面神经网络加速、压缩算法需要的数据格式：
支持的加速算法的数据格式包括但不限于矩阵分解的分解矩阵、矩阵采样后的采样矩阵、矩阵近似的近似矩阵和分块矩阵。
支持的压缩算法的数据格式包括但不限于稀疏编码的稀疏矩阵、权重量化的量化表、低秩分解的分解矩阵和二值神经网络的位表示。
具体的，紧凑表示和编码表示还满足如下设计原则：
定义的图结构数据的语法、节点数据的表示格式、边数据的表示格式能够提升存储器对图结构数据的存储和读取效率。
优选地，本申请的图神经网络表示架构中基本运算操作和图结构数据运算操作还满足设计原则如下：
1)将图结构数据运算或高级功能操作分解成低级运算操作或基于张量的基本运算操作，可以使用基本运算操作来组装新的复杂运算或高级功能操作。
2)定义的基本运算操作能够降低编译器的设计、验证复杂性和功耗面积。
3)定义的基本运算操作和图结构数据运算操作可以减少图神经网路的训练和测试时间，降低内存使用率。
如图1所示：本申请实施例对于输入的图结构数据，可以通过转换工具，转换数据的语法、节点、边的作为提出的基本表示表示格式，该基本表示格式可以在各种图神经网路开源框架中通用，并且通过压缩和编码的精简表示格式，能够实现图数据的存储和读取资源消耗更小，提供硬件优化。同时，对于输入的图神经网络，可以通过转换工具转换模型语法、算子和权重为提出的基本表示格式，该基本表示可以实现各种图神经网络开源算法框架间的神经网络模型转换。
本申请通过基本表示的图神经网络通过提到的图神经网络加速、压缩算法，转换为加速、压缩后的图神经网络，采用紧凑表示，支持基本的加速、压缩后的神经网络的数据结构，同时提高图神经网络的运行效率和存储效率，提供硬件优化；然后通过神经网络无损的编解码压缩算法，将紧凑的图神经网络转换为编解码表示，在不损坏图神经网络的原始数据、结构信息和权重得到情况下，使图神经网络的大小最小。
图2中示出了根据本申请实施例的图神经网络表示架构的应用示意图。
如图2所示，本发明实施例中神经网络表示架构内容的应用包括：
图数据表示：统一图结构数据基本和精简表示规范，打破了图神经网络数据在不同图神经网路开源平台间的交互、存储、优化壁垒，提升了图结构数据的存储和读取效率。
应用场景包括大容量存储中心，可穿戴设备、编解码设备等的图结构数据存储优化。
基本表示：统一了不同图神经网路开源平台的图神经网络基本表示，实现了图神经网络开源算法框架间的可互操作性。
应用的场景包括数据中心、大数据平台、大规模云计算等。
紧凑表示：为受限设备提供图神经网络模型的面向硬件的优化，提高了图神经网络的运行与存储效率。
应用的场景包括可穿戴设备，例如智能家居、VR/AR设备、智能手表、智能手机等。
编解码表示：为图神经网络的模型的分发和存储提供便捷，提高了神经网络模型的安全性。
应用的场景包括终端计算设备，例如自动驾驶汽车、移动设备、机器人、无人机等。
本申请的图神经网络表示架构，包括：图结构数据表示模块用于各种图神经网络框架数据的相互转换的表示格式，包含对图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义；基础表示模块用于各种图神经网络开源算法框架的图神经网络模型进行互相转换的基础表示格式，包含对图神经网络的语法定义、基础算子定义以及权重格式定义；紧凑表示模块用于通过神经网络压缩算法以及加速算法将基础表示模块的图神经网络模型转化成序列化格式的紧凑表示格式，包含加速、压缩后的图神经网络的语法定义、基础算子定义和权重格式定义；编码表示模块用于通过编码算法将紧凑表示模块的图神经网络模型转换为编码表示格式，包含编码压缩后的图神经网络的语法定义、基础算子定义以及各权重参数格式定义。
进而，本申请提供了从图神经网络到最终模型的不同表示层次的定义，从而能够统一图神经网络各个层次的表示，降低图神经网路模型与图神经网络开源框架的耦合关系，使不同的图神经网络方便在不同框架之间进行迁移，打破了各种图神经网路开源算法框架之间的壁垒，实现了不同图神经网络开源算法框架的互操作，促进人工智能尤其是图结构数据和图神经网络相关应用的开发和普及。
相比现有技术，本申请架构包括图结构数据表示，对图结构数据的基础及精简表示格式定义，可作为一种图结构数据的表示规范，实现了各种图神经网络中图结构数据的相互转换和分发存储；架构还包括基础表示，对图神经网络的语法定义、基础算子定义和权重格式定义，可作为一种图神经网络的中间表示，实现了各种图神经网络开源框架的图神经网络模型的互相转换；架构还包括紧凑表示，支持通过多种图神经网络压缩、加速算法压缩后的序列化格式；架构还包括编解码表示，能够在不改变网络结构和权重的情况下，使用无损压缩技术减少图神经网络模型的大小。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图神经网络表示架构，具体包括：
图结构数据表示模块，用于各种图神经网络框架数据的相互转换的表示格式，包含对图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义；
基础表示模块，用于各种图神经网络开源算法框架的图神经网络模型进行互相转换的基础表示格式，包含对图神经网络的语法定义、基础算子定义以及权重格式定义；
紧凑表示模块，用于通过神经网络压缩算法以及加速算法将基础表示模块的图神经网络模型转化成序列化格式的紧凑表示格式，包含加速、压缩后的图神经网络的语法定义、基础算子定义和权重格式定义；
编码表示模块，用于通过编码算法将紧凑表示模块的图神经网络模型转换为编码表示格式，包含编码压缩后的图神经网络的语法定义、基础算子定义以及各权重参数格式定义。
2.根据权利要求1所述的图神经网络表示架构，其特征在于，所述图结构数据表示模块中，对图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义具体包括：
所述图结构数据的语法定义，包括图结构数据的名称、图结构数据的类型、数据描述和/或数据规模；
所述图结构数据的节点数据的表示格式定义，包括节点名称、节点类型、节点属性和/或节点特征；
所述图结构数据的边数据的表示格式定义，包括边名称、边类型、边属性和/或边特征。
3.根据权利要求1所述的图神经网络表示架构，其特征在于，所述基础表示模块中，对图神经网络的语法定义、基础算子定义以及权重格式定义具体包括：
所述图神经网络的语法定义，包含网络模型结构语法、计算图语法、节点语法、边语法、节点特征语法、边特征语法、节点属性语法、边属性语法、数据类型、张量语法和/或张量大小语法；
所述图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，所述基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，所述图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
所述图神经网络的权重格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
4.根据权利要求1所述的图神经网络表示架构，其特征在于，所述紧凑表示模块中，加速、压缩后的图神经网络的语法定义、基础算子定义和权重格式定义具体包括：
所述加速、压缩后的图神经网络的语法定义，包含模型结构语法、计算图语法、节点语法、边语法、节点特征语法、边特征语法、节点属性语法、边属性语法、数据类型、张量语法和/或张量大小语法；
所述加速、压缩后的图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，所述基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，所述图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
所述加速、压缩后的图神经网络的权重格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
5.根据权利要求1所述的图神经网络表示架构，其特征在于，所述编码表示模块中，编码压缩后的图神经网络的语法定义、基础算子定义以及各权重参数格式定义具体包括：
所述编码压缩后的图神经网络的语法定义，包含模型结构语法、贡献者语法、计算图语法、节点语法、节点属性语法、数据类型语法、张量语法和/或张量大小语法；
所述编码压缩后的图神经网络的基础算子定义，包含基本运算操作和图结构数据运算操作；其中，所述基本运算操作包含基于张量的逻辑运算、算术运算、关系运算和位运算，所述图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；
所述编码压缩后的图神经网络的各权重参数格式定义，包含节点特征、边特征、节点状态和/或边状态参数的通道前后顺序定义和/或数据存储的精度定义。
6.根据权利要求1-5任一项所述的图神经网络表示架构，其特征在于，所述框架包括以下图神经网络：
图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络和/或图自编码器。
7.根据权利要求2所述的图神经网络表示架构，其特征在于，所述图结构数据表示模块中，图结构数据表示格式的定义满足以下条件：
所述图结构数据的语法定义，对图结构数据的数据结构、节点数据和边数据是否加密分别提供选项，不定义具体的加密算法；
所述图结构数据的表示格式包括基本表示以及精简表示；
所述图结构数据的基本表示以及精简表示均包含有向图、无向图、有权图、无权图、同构图以及异构图；所述图结构数据的基本表示以及精简表示均包含图结构数据的语法定义、节点数据的表示格式定义以及边数据的表示格式定义。
所述图结构数据的精简表示包括节点数据和边数据的分块存储、小批量读取以及无损编码的数据结构说明。
8.根据权利要求3所述的图神经网络表示架构，其特征在于，所述基础表示模块中，基础表示格式的定义满足以下条件：
所述图神经网络的语法定义，对网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
所述计算图语法由一系列节点组成；所述节点语法包括节点名称、节点描述、节点输入、节点属性、节点运算操作以及运算操作定义；
所述运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
所述基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；所述基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
所述图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；所述图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于基本运算操作定义。
9.根据权利要求4所述的图神经网络表示架构，其特征在于，所述紧凑表示模块中，紧凑表示格式的定义满足以下条件：
所述加速、压缩后的图神经网络的语法定义，对图神经网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
所述运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
所述基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；所述基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
所述图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；所述图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于张量运算操作定义；
所述紧凑表示格式支持神经网络压缩算法以及加速算法需要的数据格式，所述数据格式包括分块矩阵、采样矩阵、近似矩阵、稀疏编码的稀疏矩阵、权重量化的量化表、低秩分解的分解矩阵以及二值神经网络的位表示。
10.根据权利要求5所述的图神经网络表示架构，其特征在于，所述编码表示模块中，编码表示格式的定义满足以下条件：
所述编码压缩后的图神经网络的语法定义，对图神经网络结构和权重是否加密分别提供选项，不定义具体的加密算法；
所述运算操作包含图卷积神经网络、图循环神经网络、图生成网络、图时空网络、异构图网络以及图自编码器的基本运算操作和图结构数据运算操作；
所述基本运算包含基于张量的逻辑运算、算术运算、关系运算以及位运算；所述基本运算操作包含操作的名称、输入、输出、支持数据类型以及属性；
所述图结构数据运算包含图嵌入运算、全局转移运算以及全局输出运算；所述图结构数据运算操作包含操作名称、输入、输出、支持数据类型、属性以及基于张量运算操作定义。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130485.6A CN112884120A (zh) | 2021-01-29 | 2021-01-29 | 图神经网络表示架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130485.6A CN112884120A (zh) | 2021-01-29 | 2021-01-29 | 图神经网络表示架构 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112884120A true CN112884120A (zh) | 2021-06-01 |
Family
ID=76052005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110130485.6A Pending CN112884120A (zh) | 2021-01-29 | 2021-01-29 | 图神经网络表示架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884120A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114118384A (zh) * | 2021-12-09 | 2022-03-01 | 安谋科技（中国）有限公司 | 神经网络模型的量化方法、可读介质和电子设备 |
| CN115481298A (zh) * | 2022-11-14 | 2022-12-16 | 阿里巴巴（中国）有限公司 | 图数据处理方法及电子设备 |
| CN116701663A (zh) * | 2023-08-07 | 2023-09-05 | 鹏城实验室 | 一种基于数字视网膜系统构建知识图谱的方法 |
| CN117785490A (zh) * | 2024-02-27 | 2024-03-29 | 苏州元脑智能科技有限公司 | 一种图神经网络模型的训练架构、方法、系统及服务器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985448A (zh) * | 2018-06-06 | 2018-12-11 | 北京大学 | 神经网络表示标准框架结构 |
| CN111723935A (zh) * | 2020-06-24 | 2020-09-29 | 湖北亿咖通科技有限公司 | 神经网络计算图的处理方法、计算机存储介质及电子设备 |
-
2021
- 2021-01-29 CN CN202110130485.6A patent/CN112884120A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985448A (zh) * | 2018-06-06 | 2018-12-11 | 北京大学 | 神经网络表示标准框架结构 |
| CN111723935A (zh) * | 2020-06-24 | 2020-09-29 | 湖北亿咖通科技有限公司 | 神经网络计算图的处理方法、计算机存储介质及电子设备 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114118384A (zh) * | 2021-12-09 | 2022-03-01 | 安谋科技（中国）有限公司 | 神经网络模型的量化方法、可读介质和电子设备 |
| CN114118384B (zh) * | 2021-12-09 | 2024-06-04 | 安谋科技（中国）有限公司 | 神经网络模型的量化方法、可读介质和电子设备 |
| CN115481298A (zh) * | 2022-11-14 | 2022-12-16 | 阿里巴巴（中国）有限公司 | 图数据处理方法及电子设备 |
| CN115481298B (zh) * | 2022-11-14 | 2023-03-14 | 阿里巴巴（中国）有限公司 | 图数据处理方法及电子设备 |
| CN116701663A (zh) * | 2023-08-07 | 2023-09-05 | 鹏城实验室 | 一种基于数字视网膜系统构建知识图谱的方法 |
| CN116701663B (zh) * | 2023-08-07 | 2024-01-09 | 鹏城实验室 | 一种基于数字视网膜系统构建知识图谱的方法 |
| CN117785490A (zh) * | 2024-02-27 | 2024-03-29 | 苏州元脑智能科技有限公司 | 一种图神经网络模型的训练架构、方法、系统及服务器 |
| CN117785490B (zh) * | 2024-02-27 | 2024-05-10 | 苏州元脑智能科技有限公司 | 一种图神经网络模型的训练架构、方法、系统及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112884120A (zh) | 图神经网络表示架构 | |
| CN108985448B (zh) | 神经网络表示标准框架结构 | |
| CN111178507B (zh) | 图谱卷积神经网络数据处理方法及装置 | |
| CN106934352A (zh) | 一种基于双路分形网络和lstm的视频描述方法 | |
| CN109492772A (zh) | 生成信息的方法和装置 | |
| CN113657471A (zh) | 多分类梯度提升树的构建方法、装置及电子设备 | |
| CN116506073A (zh) | 一种工业计算机平台数据快速传输方法及系统 | |
| CN117993868B (zh) | 基于双模态注意力的电网工程项目审计预警方法及系统 | |
| CN116860221A (zh) | 一种低代码数据模型智能推荐方法及系统 | |
| CN111241076A (zh) | 一种基于张量链分解的流式数据增量处理方法及装置 | |
| CN112506887B (zh) | 车辆终端can总线数据处理方法及装置 | |
| CN114169506A (zh) | 一种基于工业物联网平台的深度学习边缘计算系统框架 | |
| CN117931995A (zh) | 建筑运维专家系统 | |
| Yang et al. | Vehicle text data compression and transmission method based on maximum entropy neural network and optimized huffman encoding algorithms | |
| CN117171164A (zh) | 数据存储方法、装置、终端设备以及存储介质 | |
| Li et al. | Software-defined gpu-cpu empowered efficient wireless federated learning with embedding communication coding for beyond 5g | |
| CN113609126B (zh) | 一种众源时空数据的一体化存储管理方法及系统 | |
| Li et al. | Semantic analysis of literary vocabulary based on microsystem and computer aided deep research | |
| Liu et al. | Cross-Modal Generative Semantic Communications for Mobile AIGC: Joint Semantic Encoding and Prompt Engineering | |
| de Oliveira et al. | Time Series Compression for IoT: A Systematic Literature Review | |
| CN116932873A (zh) | 视频账号的推荐方法、装置、设备、存储介质及程序产品 | |
| Xiong | Research on big data compression algorithm based on BIM | |
| Hashem et al. | Pre-processing and modeling tools for bigdata | |
| CN113408668B (zh) | 基于联邦学习系统的决策树构建方法、装置及电子设备 | |
| CN116775900B (zh) | 一种基于规则知识图谱驱动的政务辅助管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |
|
| RJ01 | Rejection of invention patent application after publication |