CN112329918A - 一种基于注意力机制的对抗正则化网络嵌入方法 - Google Patents
一种基于注意力机制的对抗正则化网络嵌入方法 Download PDFInfo
- Publication number
- CN112329918A CN112329918A CN202011169354.0A CN202011169354A CN112329918A CN 112329918 A CN112329918 A CN 112329918A CN 202011169354 A CN202011169354 A CN 202011169354A CN 112329918 A CN112329918 A CN 112329918A
- Authority
- CN
- China
- Prior art keywords
- network
- attention
- embedding
- encoder
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000007246 mechanism Effects 0.000 title claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000009466 transformation Effects 0.000 claims description 6
- 241000834151 Notesthes Species 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000003042 antagnostic effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 101000588749 Homo sapiens N-acetylglutamate synthase, mitochondrial Proteins 0.000 description 1
- 102100032618 N-acetylglutamate synthase, mitochondrial Human genes 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于注意力机制的对抗正则化网络嵌入方法，依次包括以下步骤：步骤1：基于注意力机制根据输入的网络邻接矩阵和内容矩阵得到网络嵌入表示；步骤2：根据步骤1得到的嵌入表示，使用嵌入生成对抗网络进行对抗训练对嵌入表示进行正则化。通过联合优化嵌入表示学习和对抗训练，模型可以得到一个更加鲁棒的嵌入表示，可以有效地提升下游任务的性能，例如节点分类、社区发现和用户推荐等。
Description
技术领域
本发明涉及一种对数据的广义特征表示，具体涉及一种基于注意力机制的对抗正则化网络嵌入，属于图计算技术领域。
背景技术
当今，网络结构作为一种广泛使用的数据载体，频繁的出现在我们的日常生活和工作中，例如社交网络中的QQ、微信、Facebook、Twitter等等。如何有效的挖掘一个网络蕴含的价值在学术界和工业界都是一个具有挑战性的问题。对于网络数据挖掘来说，对于很多任务，例如节点分类、社区发现和用户推荐等，该提取哪些特征是很难确定的，因此我们可以使用机器学习的方法来直接挖掘数据本身，这种方法被称为图嵌入或网络表示学习，是一种旨在将网络中的节点表示成低维、实值、稠密的向量形式的新颖的表示学习方法，学习到的网络嵌入向量不仅在嵌入空间中具有高效表示原网络的能力，还具有任务推理的能力，可方便的作为下游的一些机器学习任务模型的输入，已有方法主要可以分为三类：随机游走模型，基于矩阵分解的算法以及基于深度学习的算法。这些方法普遍存在一个问题就是，它们在建模的过程中缺乏正则化手段，并且忽略了学习到的嵌入表示的数据分布，进而导致模型可能只是进行了简单的恒等映射，在应用到充满噪声的真实世界数据上时泛化性能较差。一种简单的解决方法是引入一些正则化方法强制使学习到的嵌入编码符合某种先验分布，例如，ARGA模型通过使用提出的基于GAN思想的对抗自动编码器模型AAE进行对抗训练，强制网络嵌入编码表示符合一个简单先验分布如高斯分布来获得正则化的效果并提升了模型的泛化能力。ANE也采用了类似的框架，以改进的DeepWalk作为生成器，和先验分布的采样一起输入到判别器中进行对抗训练达到正则化的效果。这些模型都需要人为指定一个先验分布用于对抗训练，虽然带来了一定的灵活性，但是存在模式崩溃问题，生成的数据模式单一并且存在重复。
针对上述存在的问题，本发明提出了一种新颖的基于注意力的对抗正则化网络嵌入方法(attention-based adversarially regularized graph embedding,ARGAT)。具体来说，方法包含两部分：注意力自动编码器和嵌入生成对抗网络。注意力自动编码器使用图注意力层作为网络编码器，它将邻接矩阵和节点内容矩阵编码为网络的嵌入表示，以保留网络的拓扑和内容信息，这两个矩阵将通过两个解码器进行重构；在嵌入过程中同时引入了一个嵌入生成对抗网络，以规避人为指定先验分布带来的问题，并对模型进行正则化以学习鲁棒的嵌入表示，从而有效地提高了模型的泛化性能。注意力自动编码器和嵌入生成对抗网络将会联合优化，其中嵌入生成对抗网络模块可以看作是模型的正则项。
发明内容
技术问题：
本发明的目的在于解决现有网络嵌入方法中存在的不足，提供一种基于注意力的对抗正则化的网络嵌入方法，以提升嵌入表示的性能。
技术方案：
本发明所述的一种基于注意力的对抗正则化的网络嵌入方法，依次包括以下步骤：
步骤1：基于注意力机制根据输入的网络邻接矩阵和内容矩阵得到网络嵌入表示；
步骤2：嵌入生成对抗网络进行对抗训练对嵌入表示进行正则化。
其中，步骤1采用图注意力自动编码器，包含以下步骤：
(1)编码器负责根据包含拓扑信息的邻接矩阵A和包含内容信息的特征矩阵X进行编码学习得到嵌入表示Z；
(2)解码器根据学习到的嵌入表示Z重构A和X以指导编码器的学习：
(21)编码器：为了有效的利用拓扑信息A和内容特征信息X，本文提出了一个图注意力网络(Graph Attention Network，GAT)的变种：图注意力编码器fφ(X，A)，来提取嵌入表示Z＝q(Z|(X，A))。图注意力编码器主要使用一个图注意力层，首先在图数据上进行一种层级的变换，随后进行一种掩码多头自注意力(masked multi-head self-attention)的卷积操作，学习出节点相对于其邻节点的注意力得分，并将节点及其邻节点的表示通过注意力得分进行加权来更新节点的表示；
(22)解码器：在得到嵌入表示Z之后，将通过结构解码器(Structure Decoder)和内容解码器(Content Decoder)分别重构出网络的结构信息即邻接矩阵A和内容信息即内容矩阵X。这一过程目标是使嵌入表示Z将同时保留网络的结构和内容信息，以获取更好的下游任务表现性能；
其中，步骤2具体为：根据所述步骤(21)(22)得到嵌入表示Z，引入嵌入生成对抗网络(Embedding GAN)作为模型的一个正则化项，引入这一模块有两个优点：作为正则化项可以更好的指导编码器提取输入的有用信息；生成对抗训练可以帮助模型学习出更鲁棒的嵌入表示，可以有效缓解过拟合的问题，提高了模型的泛化能力。
根据生成对抗网络的思想，ARGAT模型需要最小化注意力编码器学习到的嵌入表示的分布
和生成器所拟合的真实数据分布
的差异。由于生成对抗网络存在着训练优化困难和模式崩溃等问题，我们引入WGAN中的Wasserstein距离指导嵌入生成对抗网络的训练对嵌入表示Z进行正则化。
有益效果：
本发明提供一种基于注意力的对抗正则化的网络嵌入方法，注意力自动编码器使用图注意力层作为网络编码器，它将邻接矩阵和节点内容矩阵编码为网络的嵌入表示，以保留网络的拓扑和内容信息，这两个矩阵将通过两个解码器进行重构；在嵌入过程中同时引入了一个嵌入生成对抗网络，以规避人为指定先验分布带来的问题，并对模型进行正则化以学习鲁棒的嵌入表示，从而有效地提高了模型的泛化性能。注意力自动编码器和嵌入生成对抗网络将会联合优化，其中嵌入生成对抗网络模块可以看作是模型的正则项，其包含以下优点：
(1)一种新颖的基于注意力的生成对抗正则化的深度网络嵌入方法，通过引入注意力自动编码器在学习节点嵌入表示时为不同邻节点分配不同的注意力系数，相比于现有方法更好的利用了节点的邻居信息以改善编码器学习到的嵌入表示，提升嵌入表示的性能。
(2)通过引入嵌入生成对抗网络，避免了现有的方法需要人为指定一个先验分布带来的缺点。在对抗训练过程中，判别器在与生成器博弈的过程中对编码器进行正则化，最终模型学习到的嵌入表示更加平滑、鲁棒。
附图说明
图1本发明中基于注意力的对抗正则化的网络嵌入方法的框架图；
图2为对抗学习率e对性能影响示意图；
图3为堆叠的注意力层数l对性能影响示意图；
图4为多头注意力头数H对性能影响示意图；
图5为隐编码维度d对性能影响示意图；
图6为模型收敛性实验示意图；
图7为Wasserstein距离有用性实验示意图；
图8为多头自注意力更新节点表示示意图，其中，节点1到5是0的邻节点，H＝3。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
本发明一种基于注意力的对抗正则化的网络嵌入方法，依次包括以下步骤：
步骤1：基于注意力机制根据输入的网络邻接矩阵和内容矩阵得到网络嵌入表示；
步骤2：嵌入生成对抗网络进行对抗训练对嵌入表示进行正则化。
其中，步骤1采用图注意力自动编码器，包含以下步骤：
(1)编码器负责根据包含拓扑信息的邻接矩阵A和包含内容信息的特征矩阵X进行编码学习得到嵌入表示Z；
(2)解码器根据学习到的嵌入表示Z重构A和X以指导编码器的学习：
1.编码器
为了有效的利用拓扑信息A和内容特征信息X，本发明提出了一个图注意力网络(Graph Attention Network，GAT)的变种：图注意力编码器fφ(X，A)，来提取嵌入表示Z＝q(Z|(X，A))。图注意力编码器主要使用一个图注意力层，首先在图数据上进行一种层级的变换，随后进行一种掩码多头自注意力(masked multi-head self-attention)的卷积操作，学习出节点相对于其邻节点的注意力得分，并将节点及其邻节点的表示通过注意力得分进行加权来更新节点的表示，每个图注意力层表示为：
其中，Z(l)∈Rn×t表示的是第l层图注意力层的输入，相应的，Z(l+1)∈Rn×t’是输出，Z(0)＝X∈Rn×m即输入的内容特征矩阵。
h＝1，…，H，是我们要学习的权值矩阵，H即为预定义的多头自注意力的头数，所谓多头的含义是执行了多次特征变换用于多次进行自注意力的计算，执行特征变换的目的是对输入的上一层特征进行变换获取更高级的表示，即将特征维度由t′变为t。具体到某个节点i，其经过一个图注意力层后，学习到的新的节点表示可以用下式来表示：
这是多头自注意力的和式表达，其中，σ是一个非线性激活函数。H表示多头注意力使用的头数，
表示节点i的邻居(包含节点i)，
表示第h次特征变换后的学习出的节点i相对于邻节点j的归一化自注意力得分，
表示l层中用于第h次特征变换的共享权重矩阵。通常来说，自注意力得分可以对于所有图中的任何节点对来计算的，但为了保留图的结构信息，注意力得分的计算将只集中在邻节点上，这一目标是通过邻接矩阵A来构造出一个掩码矩阵实现的。而归一化自注意力得分
是通过下式学习到的：
其中，LeakyReLU是一种非线性激活函数，a∈R2t’是用于计算自注意力分数的权重向量，本文使用简单的单层前向传播网络构建，||表示均值操作。多头自注意力的计算可以理解为图8的形式。
本发明中，图注意力自动编码器还引入了残差连接(skip-connect)结构，这种结构会缓解梯度消失问题，同时可以有效地保留网络低层的特征起到特征融合作用。
2.解码器
在得到嵌入表示Z之后之后，将通过结构解码器(Structure Decoder)和内容解码器(Content Decoder)分别重构出网络的结构信息即邻接矩阵A和内容信息即内容矩阵X。这一过程目标是使嵌入表示Z将同时保留网络的结构和内容信息，以获取更好的下游任务表现性能。具体地，结构解码器qψ(A|Z)主要负责重构网络的邻接矩阵A(结构信息)，ψ表示结构解码器的参数；内容解码器qξ(X|Z)主要负责重构网络的内容矩阵X(内容信息)，ξ表示结构解码器的参数。结构解码器qψ(A|Z)主要是根据嵌入表示Z预测两个节点之间存在边的概率来得到重构邻接矩阵
对应如下过程：
内容解码器qξ(X|Z)则是采用和编码器相同的注意力层，可以看做是对编码的一个逆过程，只不过经过一层注意力层后节点的表示维度会增大，直到最后输出一个和输入维度相同的重构表示
这一过程可以表示为：
其中，k表示内容解码器对应的注意力层，O(k)初始的输入为嵌入表示Z即q(Z|(X，A))，那么最终有重构的内容矩阵
最后，整个图注意力自动编码器模块的损失函数定义如下，包含两项分别为：内容信息重构的均方损失和结构信息重构的损失：
其中，φ，ψ，ξ分别为注意力编码器、结构解码器和内容解码器的参数，X和A为输入的内容矩阵和邻接矩阵，Z表示模型学习到的嵌入表示。
3.嵌入生成对抗网络
本发明提出在编码器学习图嵌入表示的同时，引入嵌入生成对抗网络(EmbeddingGAN)作为模型的一个正则化项，引入这一模块的有两个优点：作为正则化项可以更好的指导编码器提取输入的有用信息；生成对抗训练可以帮助模型学习出更鲁棒的嵌入表示，可以有效缓解过拟合的问题，提高了模型的泛化能力。如图1所示，ARGAT模型中的判别器dw(·)通过比较来自于注意力编码器输入的正样本(real sample)和来自于生成器gθ(u)产生的负样本(fake sample)更新参数。通过注意力自动编码器和判别器的联合更新，模型将学习出一个平滑的鲁棒图嵌入表示。
根据生成对抗网络的思想，ARGAT模型需要最小化注意力编码器学习到的嵌入表示的分布
和生成器所拟合的真实数据分布
的差异。由于生成对抗网络存在着训练优化困难和模式崩溃等问题，我们引入WGAN中的Wasserstein距离指导嵌入生成对抗网络的训练：
其中，||d(·)||L≤1表示Lipschitz常数(Lipschitz constant)为1下的Lipschitz约束，根据WGAN的推导对式(8)进行化简后，我们可以分开训练生成器和判别器，并得到各自的损失函数：
其中，
表示生成器采样的噪声输入，在本文中取高斯分布
而
表示输入图数据的真实分布，fφ(x)即为编码得到的z。生成器和判别器都是三层全连接层，根据WGAN的设置，判别器不经过激活函数直接输出，同时会训练判别器相较于生成器更多的轮数，并在每次训练判别器后对判别器的参数绝对值截断到不超过一个常数c。
实施例1：
本实施例是在三个公开数据集上共进行了链路预测(Link Prediction)和节点聚类(Node Clustering)两个实验，实验结果均验证了ARGAT模型学习网络嵌入表示的有效性，除此之外，还进行了参数学习和消融分析进一步验证模型的有效性，本文使用的数据集的如表1所示。
表1实验所用数据集
这三个数据集均为引文数据集，节点为发表的文章，边表示文章之间的引用关系，节点特征为每篇文章的唯一单词数，在本文中特征矩阵X中的行向量对应于每篇引文的单词one-hot向量。
针对链路预测任务，使用AUC(Area Under Curve)、AP(Average Precision)作为评价指标，两者均越大代表性能越好，AUC、AP的计算方法分别如下：
其中，AUC计算中，pred(·)表示预测得分，x和y表示正、负样本，N和M表示正负样本数量；AP计算中k表示类别，AP得分即为precision-recall曲线下区域的面积。
在以上三个数据集上ARGAT的链路预测实验结果如表2所示：
表2链路预测实验结果
| 数据集 | AUC | AP |
| Cora | 0.982 | 0.978 |
| Citeseer | 0.991 | 0.990 |
| Pubmed | 0.991 | 0.989 |
针对节点聚类任务，使用准确度Acc、归一化互信息NMI、精确率Precision、F1值F1-score和调和兰德系数ARI作为评价指标，这几个指标均越大代表模型性能越好。ARGAT在节点聚类上的实验结果如表3所示：
表3节点聚类实验结果
| 数据集 | Acc | NMI | F1 | Precision | ARI |
| Cora | 0.727 | 0.533 | 0.710 | 0.747 | 0.501 |
| Citeseer | 0.644 | 0.381 | 0.605 | 0.615 | 0.383 |
| Pubmed | 0.695 | 0.321 | 0.686 | 0.718 | 0.315 |
图2展示了，在cora数据集上随着对抗模块学习率的上升，性能不断的下降，可以看出学习率过大时，模型会因参数权重更新过大导致跳出最优解空间。
图3展示了，在Cora数据集上随着堆叠的注意力层数l增加，模型先是受益于层数变多带来的容量上升，随后因为容量过高而数据集本身较小提供的训练数据不足，出现了过拟合的现象，性能开始逐渐下降。
图4展示了，在Cora数据集上的链路任务和节点聚类任务下，多头注意力头数H对性能展示出了不同的影响。在链路预测任务中，H对模型的性能影响不大，存在一定的波动；而在节点聚类任务中，整体上模型的性能是随着注意力头数H的上升而上升的。
图5展示了，在Cora数据集上链路预测任务训练200个epoch下的实验结果表明，随着嵌入表示隐编码维度的上升，模型的性能也随之上升。
图6展示了，随着训练轮数的增加，训练集上的性能不断增强，而验证集上先升后降，说明模型随着训练轮数增加出现了过拟合的问题。
图7展示了，无论使用何种GAN损失函数，使用参数化生成器的新的对抗训练框架的ARGAT模型(圆形和三角形)，泛化能力优于基于AAE对抗训练框架的ARGAT-AAE模型(正方形曲线)，即模型在测试集上的性能衰退幅度更小(ARAGT在第1000个epoch下性能衰减2.6％，仅为ARGAT-AAE的衰减程度8.4％的三分之一)，并且泛化能力下降的更缓慢(大约在第500个epoch开始才有较为明显的下降)；其次，使用基于Wasserstein距离的GAN损失函数相比于标准的GAN损失函数，有着更好的泛化能力，从图中可以看出Wasserstein距离下模型(圆形)始终在标准GAN损失函数模型(三角形)之上，说明在ARGAT-Standard GAN中作为生成器的注意力编码器部分存在训练困难问题导致最终模型的性能不足的现象，表明基于Wasserstein距离的新对抗训练框架优于基于AAE的对抗训练框架以及使用标准GAN损失的对抗训练框架。
Claims (5)
1.一种基于注意力机制的对抗正则化网络嵌入方法，其特征在于，依次包括以下步骤：
步骤1：基于注意力机制根据输入的网络邻接矩阵和内容矩阵得到网络嵌入表示；
步骤2：嵌入生成对抗网络进行对抗训练对嵌入表示进行正则化。
2.根据权利要求1所述的一种基于注意力机制的对抗正则化网络嵌入方法，其特征在于，所述步骤1采用图注意力自动编码器，包含以下步骤：
(1)编码器负责根据包含拓扑信息的邻接矩阵A和包含内容信息的特征矩阵X进行编码学习得到嵌入表示Z；
(2)解码器根据学习到的嵌入表示Z重构A和X以指导编码器的学习。
3.根据权利要求2所述的一种基于注意力机制的对抗正则化网络嵌入方法，其特征在于，所述编码器具体为：
(21)为了有效的利用拓扑信息A和内容特征信息X，提出了一个图注意力网络的变种：图注意力编码器fφ(X，A)，来提取嵌入表示Z＝q(Z|(X，A))；图注意力编码器主要使用一个图注意力层，首先在图数据上进行一种层级的变换，随后进行一种掩码多头自注意力的卷积操作，学习出节点相对于其邻节点的注意力得分，并将节点及其邻节点的表示通过注意力得分进行加权来更新节点的表示。
4.根据权利要求3所述的一种基于注意力机制的对抗正则化网络嵌入方法，其特征在于，所述解码器具体为：
(22)在得到嵌入表示Z之后，将通过结构解码器和内容解码器分别重构出网络的结构信息即邻接矩阵A和内容信息即内容矩阵X。
5.根据权利要求4所述的一种基于注意力机制的对抗正则化网络嵌入方法，其特征在于，所述步骤2具体为：
根据所述步骤(21)(22)得到嵌入表示Z，引入嵌入生成对抗网络作为模型的一个正则化项；根据生成对抗网络的思想，基于注意力机制的对抗正则化网络嵌入方法需要最小化注意力编码器学习到的嵌入表示的分布
和生成器所拟合的真实数据分布
的差异；引入WGAN中的Wasserstein距离指导嵌入生成对抗网络的训练对嵌入表示Z进行正则化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011169354.0A CN112329918A (zh) | 2020-10-28 | 2020-10-28 | 一种基于注意力机制的对抗正则化网络嵌入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011169354.0A CN112329918A (zh) | 2020-10-28 | 2020-10-28 | 一种基于注意力机制的对抗正则化网络嵌入方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112329918A true CN112329918A (zh) | 2021-02-05 |
Family
ID=74296111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011169354.0A Pending CN112329918A (zh) | 2020-10-28 | 2020-10-28 | 一种基于注意力机制的对抗正则化网络嵌入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329918A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113806559A (zh) * | 2021-09-24 | 2021-12-17 | 东南大学 | 一种基于关系路径与双层注意力的知识图谱嵌入方法 |
| CN114020954A (zh) * | 2021-09-10 | 2022-02-08 | 广西师范大学 | 一种用于体现用户意图和风格的个性化图像描述方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| CN111709518A (zh) * | 2020-06-16 | 2020-09-25 | 重庆大学 | 一种基于社区感知和关系注意力的增强网络表示学习的方法 |
-
2020
- 2020-10-28 CN CN202011169354.0A patent/CN112329918A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| CN111709518A (zh) * | 2020-06-16 | 2020-09-25 | 重庆大学 | 一种基于社区感知和关系注意力的增强网络表示学习的方法 |
Non-Patent Citations (4)
| Title |
|---|
| LEI SANG等: "AAANE: Attention-Based Adversarial Autoencoder for Multi-scale Network Embedding", 《ADVANCES IN KNOWLEDGE DISCOVERY AND DATA MINING》, 24 March 2018 (2018-03-24), pages 1 - 7 * |
| PETAR等: "GRAPH ATTENTION NETWORKS", 《ICLR 2018》, 4 February 2018 (2018-02-04), pages 1 - 12 * |
| 张楠等: "《深度学习自然语言处理实战》", 31 August 2020, 机械工业出版社, pages: 145 - 148 * |
| 徐宗本等: "《数据智能研究前沿》", 31 December 2019, 上海交通大学出版社, pages: 83 - 88 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114020954A (zh) * | 2021-09-10 | 2022-02-08 | 广西师范大学 | 一种用于体现用户意图和风格的个性化图像描述方法 |
| CN113806559A (zh) * | 2021-09-24 | 2021-12-17 | 东南大学 | 一种基于关系路径与双层注意力的知识图谱嵌入方法 |
| CN113806559B (zh) * | 2021-09-24 | 2024-04-30 | 东南大学 | 一种基于关系路径与双层注意力的知识图谱嵌入方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108108854B (zh) | 城市路网链路预测方法、系统及存储介质 | |
| CN112464004A (zh) | 一种多视角深度生成图像聚类方法 | |
| CN107085704A (zh) | 基于elm自编码算法的快速人脸表情识别方法 | |
| CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
| CN113361606A (zh) | 深层图注意力对抗变分自动编码器训练方法及系统 | |
| Paupamah et al. | Quantisation and pruning for neural network compression and regularisation | |
| CN113011570A (zh) | 一种卷积神经网络模型的自适应高精度压缩方法及系统 | |
| CN117201122B (zh) | 基于视图级图对比学习的无监督属性网络异常检测方法及系统 | |
| CN112329918A (zh) | 一种基于注意力机制的对抗正则化网络嵌入方法 | |
| CN112183742A (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN116402133B (zh) | 一种基于结构聚合图卷积网络的知识图谱补全方法及系统 | |
| CN111783879B (zh) | 基于正交注意力机制的层次化压缩图匹配方法及系统 | |
| Zhang et al. | Evolving neural network classifiers and feature subset using artificial fish swarm | |
| CN115511069A (zh) | 神经网络的训练方法、数据处理方法、设备及存储介质 | |
| CN116611478A (zh) | 一种基于深度阈值生成对抗网络的工业过程数据增强方法 | |
| CN115496144A (zh) | 配电网运行场景确定方法、装置、计算机设备和存储介质 | |
| CN113806559B (zh) | 一种基于关系路径与双层注意力的知识图谱嵌入方法 | |
| CN111291810A (zh) | 基于目标属性解耦的信息处理模型生成方法及相关设备 | |
| Du et al. | CGaP: Continuous growth and pruning for efficient deep learning | |
| Dolgikh | Categorization in unsupervised generative self-learning systems | |
| CN116030537B (zh) | 基于多分支注意力图卷积的三维人体姿态估计方法 | |
| CN111507472A (zh) | 一种基于重要性剪枝的精度估计参数搜索方法 | |
| CN111950635A (zh) | 一种基于分层特征对齐的鲁棒特征学习方法 | |
| CN114596464A (zh) | 多特征交互的无监督目标检测方法、系统、电子设备和可读存储介质 | |
| CN117668701B (zh) | Ai人工智能机器学习系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |