CN113723608A - 基于迭代知识蒸馏的异质图神经网络模型构建方法 - Google Patents
基于迭代知识蒸馏的异质图神经网络模型构建方法 Download PDFInfo
- Publication number
- CN113723608A CN113723608A CN202111008342.4A CN202111008342A CN113723608A CN 113723608 A CN113723608 A CN 113723608A CN 202111008342 A CN202111008342 A CN 202111008342A CN 113723608 A CN113723608 A CN 113723608A
- Authority
- CN
- China
- Prior art keywords
- node
- model
- label
- nodes
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 21
- 238000003062 neural network model Methods 0.000 title claims abstract description 15
- 238000010276 construction Methods 0.000 title claims abstract description 8
- 238000009826 distribution Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000004931 aggregating effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 2
- 230000001131 transforming effect Effects 0.000 abstract description 2
- 238000004821 distillation Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 125000003580 L-valyl group Chemical group [H]N([H])[C@]([H])(C(=O)[*])C(C([H])([H])[H])(C([H])([H])[H])[H] 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于迭代知识蒸馏的异质图神经网络模型构建方法，包括标签传播模型和特征聚合‑转换模型构成学生模型；标签传播模型对不同的元路径分别进行初始化；初始化后对节点的初始概率分布计算；根据已知信息网络中不同的节点类型，对图数据中给出的节点特征进行映射到统一的特征空间内；聚合目标节点直接邻居的节点信息并变换为无标签节点的软标签预测；将每个节点的嵌入变换为无标签点集的软标签的预测；将两个模型进行结合得到学生模型对每个节点的软预测，得出预测结果。本发明能够通过异质信息网络中的元路径和网络模式两种结构改善HGNN无法有效建模异质信息网络中的低阶语义信息和全局语义信息的缺点，以提升HGNN分类器的效果。
Description
技术领域
本发明属于计算机技术领域，特别是涉及一种基于迭代知识蒸馏的异质图神经网络模型构建方法。
背景技术
知识蒸馏在计算机视觉领域开始用于模型压缩，目的是将训练好的大型网络教师模型的知识(软预测)提取到一个轻量级网络学生模型中，使轻量级的学生模型获得和大型的教师模型相似的效果。
图神经网络(Graph neural networks，简称GNN)本身由于过平滑问题具有层数不多并且相比于卷积神经网络(CNN)参数量不多的特点，目前的一些将知识蒸馏与图神经网络结合在一起进行应用的方法很多都注重提升模型效果而非模型压缩，比如图马尔可夫神经网络(Graph Markov Neural Networks，简称GMNN)，通过设计两个不同的图卷积神经网络(Graph convolutional network，简称GCN)，两个GCN根据迭代算法(E-M算法)框架进行迭代蒸馏的方法提升模型效果，其中第二个GCN的输入特征为第一个GCN的输出标签结果，这些方法在同质网络的节点分类任务上取得了较大的提升，但在异质网络上效果不理想。
异质信息网络(Heterogeneous Information Networks，简称HIN)拥有比同质信息网络更多的节点类型与更复杂的结构，目前的方法通过一些高级结构来处理异质信息网络中复杂的信息，比如元路径(meta-path)和网络模式(network scheme)。
异质图神经网络(Heterogeneous graph neural networks，简称HGNN)致力于通过不同的方法建模HIN中的复杂结构与节点信息，比如异质图注意力网络(HeterogeneousGraph Attention Network，简称HAN)，设计了基于元路径的注意力机制，以此构建网络模型；关系图卷积网络(Relational Graph Convolutional Network)则没有采用元路径等高级结构，而是采用了特定关系(relation-specific)的转换，对图中节点在不同关系下的邻居进行基于关系的线性转换后再进行消息传递。
现有的异质图神经网络都依赖于采用不同的方法对异质信息网络中的多类型的节点和复杂的关系进行建模，当采用基于关系的方法建模异质节点关系时(如R-GCN)，模型会仅注重于节点周围低阶邻居的信息，而忽略了高阶邻居的信息；当采用基于元路径等高阶结构的方法建模异质关系时(如HAN)，模型又会忽视节点的直接邻居的低阶语义信息(local information)，并且由于过平滑问题对GNN层数的限制，使GNN也无法获取图上远处的节点信息，无法有效建模异质图上全局的信息(global information)。
发明内容
本发明主要解决的技术问题是提供一种基于迭代知识蒸馏的异质图神经网络模型构建方法，能够通过异质信息网络中的元路径和网络模式两种结构改善HGNN无法有效建模异质信息网络中的低阶语义信息和全局语义信息的缺点，并能在标签较少的情况下达到提升HGNN分类器的效果。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于迭代知识蒸馏的异质图神经网络模型构建方法，包括：
给定异质信息网络；
预先定义该异质信息网络的元路径集合；
以HGNN模型作为教师模型进行预训练；
预训练得到了HGNN的预测结果以软标签的形式作为学生模型的目标；
以基于元路径的标签传播模型和基于网络模式的特征聚合-转换模型构成学生模型；
基于异质图数据中给出的元路径集合，对异质图数据进行预处理得到基于元路径的图邻接矩阵；
所述标签传播模型对不同的元路径分别进行初始化；
初始化的所述标签传播模型中节点的初始概率分布计算；
进行N次标签传播后，计算节点标签的概率分布；
根据已知信息网络中不同的节点类型，对图数据中给出的节点特征进行对应的映射，使不同类型的节点特征映射到统一的特征空间内；
聚合目标节点直接邻居的节点信息，将聚合后的节点特征变换为无标签节点的软标签预测；
对所有节点进行转换运算，将每个节点的嵌入变换为无标签点集的软标签的预测；
将所述标签传播模型和所述特征聚合-转换模型进行结合得到所述学生模型对每个节点的软预测，得出预测结果。
所述标签传播模型的初始化函数为：
其中，∈为属于，
为实数集合，Y为标签集合，|.|为集合的基数，
为任意，VL为有标签节点集合，V为所有节点，L为有标签，VU为无标签节点集合，U为无标签，
指元路径φ∈Φ下初始化(第0次标签传播)节点v的标签概率分布，对于节点v∈VL以节点正确标签的one-hot向量
初始化节点标签概率分布，对于v∈VU，以均匀分布
初始化节点标签的概率分布。
所述标签传播模型中节点的初始概率分布的函数为：
其中，
为第k次标签传播后元路径φ下节点v的标签概率分布，Σ为求和符号，
为节点v在元路径φ的邻居节点集合，即节点v在上述邻接矩阵Aφ下的邻居，
为标签传播时可学习的边权，所述边为节点u和节点v间的元路径φ的实例，标签传播算法一开始对于每个节点v以均匀分布初始化权重
为第k-1次标签传播后节点u的标签分布。
所述标签传播模型的节点标签的概率分布的函数为：
其中，fLP(v)指标签传播模型的最后输出，
为节点v在元路径φ∈Φ下的标签传播的结果，
为节点v在元路径φ∈Φ下标签传播得到的标签概率分布的归一化注意力权重。
所述特征聚合-转换模型中节点特征映射函数为：
hv＝Wt·xv，
其中，Wt为节点类型为t的特征映射参数矩阵，Vt为节点类型为t的节点集合，xv为节点v在所述图数据中给出的节点特征，hv为节点v映射到统一空间后的特征向量。
所述特征聚合-转换模型中聚合目标节点直接邻居的节点特征函数为：
其中，
为节点v类型为T的邻居集合，T为目标节点v的直接邻居的类型集合，Cat为连接运算符，hv，hu分别为所述节点v，u进行特征映射后的节点特征，zv为聚合目标节点v及其邻居的信息后的节点嵌入。
所述特征聚合-转换模型中所有节点的转换运算函数为：
fNS(v)＝softmax(MLP(zv))
其中，fNS(v)为基于网络模式的特征聚合-转换函数，softmax为归一化函数，MLP(.)为多层感知器。
学生模型对于每个节点的软预测函数为：
f(v)＝βv.fNS(v)+(1-βv)，fLP(v)
其中，βv为平衡参数，v为任一节点名称。
本发明的有益效果是：
1、本发明的标签传播模型用于捕获异质网络离目标节点较远的节点信息(全局信息)，特征聚合-转换模型用于捕获异质网络节点的直接邻居的低阶语义信息(局部信息)，能够有效提升现有异质信息网络节点分类任务的效果；
2、本发明是一个基于知识蒸馏的迭代过程，它通过知识蒸馏的框架，以及精心设计的学生模型，使教师模型在迭代知识蒸馏的过程种能够捕获异质信息网络中的局部和全局信息。
具体实施方式
下面对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例：一种基于迭代知识蒸馏的异质图神经网络模型构建方法，包括：
给定异质信息网络G，G＝(V，E，X)；
预先定义的该异质信息网络G中的元路径集合φ；
以HGNN模型作为教师模型进行预训练；
由于过平滑问题给HGNN的限制，这些模型往往层数很少，大多为1-2层，预训练得到了HGNN的预测结果以软标签的形式作为学生模型的目标；
以基于元路径的标签传播模型和基于网络模式的特征聚合-转换模型构成学生模型；
基于异质图数据中给出的元路径集合φ，对异质图数据进行预处理得到基于元路径的图邻接矩阵；具体而言，对于元路径φ(比如Paper-Author-Paper类型元路径)，预处理得到的邻接矩阵由Aφ表示，其含义为如果两个节点(i，j)之间存在元路径φ的元路径实例，那么邻接矩阵中坐标(i，j)的值Aφ(i，j)＝1，反之Aφ(i，j)＝0。预处理后的图数据对于每各类型的元路径，都有对应的邻接矩阵。
所述标签传播模型对不同的元路径分别进行初始化；
初始化的所述标签传播模型中节点的初始概率分布计算；
进行N次标签传播后，计算节点标签的概率分布；
根据已知信息网络中不同的节点类型，对图数据中给出的节点特征进行对应的映射，使不同类型的节点特征映射到统一的特征空间内；
聚合目标节点直接邻居(类型可能不同)的节点信息，将聚合后的节点特征变换为无标签节点的软标签预测；
对所有节点进行转换运算，将每个节点的嵌入变换为无标签点集的软标签的预测；
将所述标签传播模型和所述特征聚合-转换模型进行结合得到所述学生模型对每个节点的软预测，得出预测结果。
所述标签传播模型的初始化函数为：
其中，∈为属于，
为实数集合，Y为标签集合，|.|为集合的基数，
为任意，VL为有标签节点集合，V为所有节点，L为有标签，VU为无标签节点集合，U为无标签，
指元路径Φ∈Φ下初始化(第0次标签传播)节点v的标签概率分布，对于节点v∈VL以节点正确标签的one-hot向量
初始化节点标签概率分布，对于v∈VU，以均匀分布
初始化节点标签的概率分布。
所述标签传播模型中节点的初始概率分布的函数为：
其中，
为第k次标签传播后元路径φ下节点v的标签概率分布，∑为求和符号，
为节点v在元路径φ的邻居节点集合，即节点v在上述邻接矩阵Aφ下的邻居，
为标签传播时可学习的边权，所述边为节点u和节点v间的元路径φ的实例，标签传播算法一开始对于每个节点v以均匀分布初始化权重
为第k-1次标签传播后节点u的标签分布。
所述标签传播模型的节点标签的概率分布的函数为：
其中，fLP(v)指标签传播模型的最后输出，
为节点v在元路径φ∈Φ下的标签传播的结果，该公式将节点v在不同元路径下的标签传播得到的标签概率分布进行加权求和并且归一化，
为节点v在元路径φ∈Φ下标签传播得到的标签概率分布的归一化注意力权重。代表概率分布
对于最终结果的重要性，该权重以均匀分布初始化，并且可以随着模型训练而学习。
所述特征聚合-转换模型中节点特征映射函数为：
hv＝Wt·xv，
其中，Wt为节点类型为t的特征映射参数矩阵，Vt为节点类型为t的节点集合，xv为节点v在所述图数据中给出的节点特征，hv为节点v映射到统一空间后的特征向量。
所述特征聚合-转换模型中聚合目标节点直接邻居的节点特征函数为：
其中，
为节点v类型为T的邻居集合，这里为了保证节点从邻居中聚合的信息量一致，我们并没有采用所有的邻居，而是随机选取了
个邻居节点(预先定义)。T为目标节点v的直接邻居的类型集合，Cat为连接运算符，hv，hu分别为所述节点v，u进行特征映射后的节点特征，采用连接运算符的原因是保证节点本身的信息不被过多的邻居信息覆盖。zv为聚合目标节点v及其邻居的信息后的节点嵌入。
所述特征聚合-转换模型中所有节点的转换运算函数为：
fNS(v)＝softmax(MLP(zv))
其中，fNS(v)为基于网络模式的特征聚合-转换函数，softmax为归一化函数，MLP(.)为多层感知器。
所述学生模型对于每个节点的软预测函数为：
f(v)＝βv·fNS(v)+(1-βv)·fLP(v)
其中，βv为平衡参数，v为任一节点名称。
设计的学生模型的伪代码如下：
学生模型(伪代码)：
在本方案对学生模型的优化过程中，优化函数分为两部分，对于带标签的节点集合VL，采用交叉熵损失函数对学生模型进行优化，对于无标签的节点集合VU，采用最小化由学生模型计算得到的节点标签概率分布pstudent和由教师模型计算得到的节点标签概率分布pteacher之间的KL散度对模型进行优化。本方案采用的优化公式如下：
其中，Θ为学生模型的参数，VL为带标签的节点集合，fstudent为学生模型节点分类器，yv为带标签节点v的正确分类标签，KL(·||·)为KL散度公式，pstudent与ptcaoher分别为学生模型和教师模型计算得到的节点标签概率分布。
本方案对教师模型的优化与学生模型相似：
其中，Ψ为教师模型的参数，VL为带标签的节点集合，fteacher为教师模型节点分类器，yv为带标签节点v的正确分类标签，KL(·||·)为KL散度公式，pstdort与ptoaoher分别为学生模型和教师模型计算得到的节点标签概率分布。
对教师模型和学生模型采用的迭代知识蒸馏框架伪代码如下：
算法框架(伪代码)：
数据集介绍：
本方案实验采用的两种异质信息网络基准数据集如下：
其中，每列含义是：node(不同类型节点的节点名称和个数)，edge(不同类型的边的条数，用边两端节点的名称首字母代表边的类别)，train/val/test(该数据集中节点训练集/验证集/测试集的节点个数)，meta-path(元路径的类型，用元路径中通过节点的类型表示)。
实验结果：
本方案对比所述框架与教师模型自蒸馏的结果以证明所述方案的有效性，在以HAN为教师模型的情况下在两个数据集上的实验结果如下：
1.ACM数据集，train/val/test:60-150-3809
| ACM | Ours | HAN(self-distillation) |
| AUC | 98.18％ | 97.98％ |
| Micro_F1 | 91.90％ | 90.90％ |
| Macro_F1 | 91.67％ | 90.58％ |
2.ACM数据集，train/val/test:150-150-3719
| ACM | Ours | HAN(self-distillation) |
| AUC | 98.43％ | 98.08％ |
| Micro_F1 | 92.30％ | 91.20％ |
| Macro_F1 | 91.97％ | 90.93％ |
3.DBLP数据集，train/val/test:80-200-3777
| DBLP | Ours | HAN(self-distillation) |
| AUC | 99.20％ | 98.57％ |
| Micro_F1 | 93.90％ | 92.30％ |
| Macro_F1 | 92.79％ | 91.52％ |
4.DBLP数据集，train/val/test:200-200-3657
| DBLP | Ours | HAN(self-distillation) |
| AUC | 99.27％ | 98,89％ |
| Micro_F1 | 94.20％ | 93.10％ |
| Macro_F1 | 92.89％ | 92.69％ |
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：
给定异质信息网络；
预先定义该异质信息网络中的元路径集合；
以HGNN模型作为教师模型进行预训练；
预训练得到了HGNN的预测结果以软标签的形式作为学生模型的目标；
以基于元路径的标签传播模型和基于网络模式的特征聚合-转换模型构成学生模型；
基于异质图数据中给出的元路径集合，对异质图数据进行预处理得到基于元路径的图邻接矩阵；
所述标签传播模型对不同的元路径分别进行初始化；
初始化的所述标签传播模型中节点的初始概率分布计算；
进行N次标签传播后，计算节点标签的概率分布；
根据已知信息网络中不同的节点类型，对图数据中给出的节点特征进行对应的映射，使不同类型的节点特征映射到统一的特征空间内；
聚合目标节点直接邻居的节点信息，将聚合后的节点特征变换为无标签节点的软标签预测；
对所有节点进行转换运算，将每个节点的嵌入变换为无标签点集的软标签的预测；
将所述标签传播模型和所述特征聚合-转换模型进行结合得到所述学生模型对每个节点的软预测，得出预测结果。
2.根据权利要求1所述的一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：所述标签传播模型的初始化函数为：
其中，∈为属于，
为实数集合，Y为标签集合，|.|为集合的基数，
为任意，VL为有标签节点集合，V为所有节点，L为有标签，VU为无标签节点集合，U为无标签，
指元路径φ∈Φ下初始化节点v的标签概率分布，对于节点v∈VL以节点正确标签的one-hot向量
初始化节点标签概率分布，对于v∈VU，以均匀分布
初始化节点标签的概率分布。
3.根据权利要求2所述的一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：所述标签传播模型中节点的初始概率分布的函数为：
其中，
为第k次标签传播后元路径φ下节点v的标签概率分布，Σ为求和符号，
为节点v在元路径φ的邻居节点集合，即节点v在上述邻接矩阵Aφ下的邻居，
为标签传播时可学习的边权，所述边为节点u和节点v间的元路径φ的实例，标签传播算法一开始对于每个节点v以均匀分布初始化权重
为第k-1次标签传播后节点u的标签分布。
4.根据权利要求3所述的一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：所述标签传播模型的节点标签的概率分布的函数为：
其中，fLP(v)指标签传播模型的最后输出，
为节点v在元路径φ∈Φ下的标签传播的结果，
为节点v在元路径φ∈Φ下标签传播得到的标签概率分布的归一化注意力权重。
5.根据权利要求1所述的一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：所述特征聚合-转换模型中节点特征映射函数为：
其中，Wt为节点类型为t的特征映射参数矩阵，Vt为节点类型为t的节点集合，xv为节点v在所述图数据中给出的节点特征，hv为节点v映射到统一空间后的特征向量。
6.根据权利要求5所述的一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：所述特征聚合-转换模型中聚合目标节点直接邻居的节点特征函数为：
其中，
为节点v类型为T的邻居集合，T为目标节点v的直接邻居的类型集合，Cat为连接运算符，hv，hu分别为所述节点v，u进行特征映射后的节点特征，zv为聚合目标节点v及其邻居的信息后的节点嵌入。
7.根据权利要求6所述的一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：所述特征聚合-转换模型中所有节点的转换运算函数为：
fNS(v)＝softmax(MLP(zv))
其中，fNS(v)为基于网络模式的特征聚合-转换函数，softmax为归一化函数，MLP(.)为多层感知器。
8.根据权利要求1所述的一种基于迭代知识蒸馏的异质图神经网络模型构建方法，其特征在于：学生模型对于每个节点的软预测函数为：
f(v)＝βv.fNS(v)+(1-βv).fLP(v)
其中，βv为平衡参数，v为任一节点名称。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111008342.4A CN113723608A (zh) | 2021-08-31 | 2021-08-31 | 基于迭代知识蒸馏的异质图神经网络模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111008342.4A CN113723608A (zh) | 2021-08-31 | 2021-08-31 | 基于迭代知识蒸馏的异质图神经网络模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113723608A true CN113723608A (zh) | 2021-11-30 |
Family
ID=78679479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111008342.4A Withdrawn CN113723608A (zh) | 2021-08-31 | 2021-08-31 | 基于迭代知识蒸馏的异质图神经网络模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723608A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708270A (zh) * | 2021-12-15 | 2022-07-05 | 华东师范大学 | 基于知识聚合与解耦蒸馏的语义分割模型压缩系统及压缩方法 |
| CN114896514A (zh) * | 2022-07-14 | 2022-08-12 | 西安电子科技大学 | 一种基于图神经网络的Web API标签推荐方法 |
-
2021
- 2021-08-31 CN CN202111008342.4A patent/CN113723608A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708270A (zh) * | 2021-12-15 | 2022-07-05 | 华东师范大学 | 基于知识聚合与解耦蒸馏的语义分割模型压缩系统及压缩方法 |
| CN114708270B (zh) * | 2021-12-15 | 2023-08-08 | 华东师范大学 | 基于知识聚合与解耦蒸馏的压缩方法在语义分割中的应用 |
| CN114896514A (zh) * | 2022-07-14 | 2022-08-12 | 西安电子科技大学 | 一种基于图神经网络的Web API标签推荐方法 |
| CN114896514B (zh) * | 2022-07-14 | 2022-09-30 | 西安电子科技大学 | 一种基于图神经网络的Web API标签推荐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023065545A1 (zh) | 风险预测方法、装置、设备及存储介质 | |
| CN110413785B (zh) | 一种基于bert和特征融合的文本自动分类方法 | |
| CN111159426B (zh) | 一种基于图卷积神经网络的产业图谱融合方法 | |
| CN113723608A (zh) | 基于迭代知识蒸馏的异质图神经网络模型构建方法 | |
| CN112560432A (zh) | 基于图注意力网络的文本情感分析方法 | |
| CN110728187B (zh) | 一种基于容错性深度学习的遥感影像场景分类方法 | |
| CN116644755B (zh) | 基于多任务学习的少样本命名实体识别方法、装置及介质 | |
| CN113065649A (zh) | 一种复杂网络拓扑图表示学习方法、预测方法及服务器 | |
| CN113254675B (zh) | 基于自适应少样本关系抽取的知识图谱构建方法 | |
| CN112199532A (zh) | 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置 | |
| CN114491039B (zh) | 基于梯度改进的元学习少样本文本分类方法 | |
| CN113591971B (zh) | 基于dpi时间序列词嵌入向量的用户个性行为预测方法 | |
| CN110993037A (zh) | 一种基于多视图分类模型的蛋白质活性预测装置 | |
| CN111931814A (zh) | 一种基于类内结构紧致约束的无监督对抗域适应方法 | |
| CN116821776A (zh) | 一种基于图自注意力机制的异质图网络节点分类方法 | |
| Wang et al. | Knowledge-enhanced semi-supervised federated learning for aggregating heterogeneous lightweight clients in iot | |
| CN110232397A (zh) | 一种结合支持向量机和投影矩阵的多标签分类方法 | |
| CN114118416A (zh) | 一种基于多任务学习的变分图自动编码器方法 | |
| CN116757369B (zh) | 一种基于注意力机制的碳排放分析方法及系统 | |
| CN113326884A (zh) | 大规模异构图节点表示的高效学习方法及装置 | |
| US20210334623A1 (en) | Natural graph convolutions | |
| CN114861863A (zh) | 基于元路径多级图注意力网络的异质图表示学习方法 | |
| CN109919200B (zh) | 一种基于张量分解和域适应的图像分类方法 | |
| Wu et al. | Learning over categorical data using counting features: With an application on click-through rate estimation | |
| CN112835797A (zh) | 一种基于程序中间结构特征的蜕变关系预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211130 |
|
| WW01 | Invention patent application withdrawn after publication |