CN109977223A - 一种融合胶囊机制的图卷积网络对论文进行分类的方法 - Google Patents

Abstract

本发明公开了一种融合胶囊机制的图卷积网络对论文进行分类的方法。该方法包括以下步骤：S1、构造论文引用网络数据；S2、构建图卷积网络模型，输入邻接矩阵A与训练集的节点特征矩阵X对所述图卷积网络模型进行训练，得到训练好的模型；S3、根据所述S2中训练好的模型，对论文进行分类，输出分类结果。本发明融合胶囊机制，将任意一篇论文的词向量看作一个胶囊(Capsule)，利用动态路由算法学习不同论文间的词向量的相似性，使得任意两篇论文所对应节点之间的边权重的大小与该两篇论文的词向量的相似程度成正比。改进后的模型中，图网络上的边的权重是变化的，相对于改进前的模型来说，准确率更高，鲁棒性更强，更不容易过拟合。

Description

一种融合胶囊机制的图卷积网络对论文进行分类的方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种融合胶囊机制的图卷积网络对论文进行分类的方法。

背景技术

现有的图卷积网络(Graph Convolution Network，简称GCN)在论文分类任务中，将论文作为节点，论文的文本信息作为节点的特征向量，论文间有引用关系则存在边。在模型训练时，论文所对应的节点之间的边的权重是固定的，只利用了论文的文本信息和论文间的引用关系，将当前节点的特征向量，与邻近节点的特征向量加权平均，所得结果作为当前节点的特征向量。由于不同类别的论文有可能相互引用，比如计算机领域的论文有可能引用生物领域的论文，简单地加权平均会引入与当前节点不是同一个类别的邻居节点信息，影响分类效果。比如节点1属于计算机领域，其邻居节点2属于生物领域。将节点1的特征向量与节点2的特征向量相加求平均后，作为节点1的特征向量。节点1就包含了生物领域的特征信息，在模型预测过程中会难以准确识别节点1所属的类别。因此相加求平均的方法并不合理。

发明内容

本发明的目的在于提供一种融合胶囊机制的图卷积网络对论文进行分类的方法，旨在解决上述背景技术中现有技术的不足。

为了解决上述技术问题，本发明实施例提供一种融合胶囊机制的图卷积网络对论文进行分类的方法，该方法的胶囊机制将各个特征向量看作胶囊，比如脸是由眼、耳、口、鼻、眉组成，五官对应着五个胶囊，通过合适的方式可以组合成一张脸。在论文分类中，胶囊机制将论文所对应的节点的特征向量作为胶囊，通过动态路由算法学习如何组合各个胶囊，得到我们的预测结果。动态路由算法主要作用是计算胶囊之间的相似性(即论文所对应的节点的特征向量之间的相似性)，将表示相似程度的值作为边的权重，进而确定如何组合这些胶囊，得到预测结果。动态路由算法在计算相似性时，任意两篇论文所对应节点之间的边权重的大小与该两篇论文的所对应节点的特征向量的相似程度成正比，其特征在于，该方法包括以下步骤：

S1、构造论文引用网络数据；

S2、构建图卷积网络模型，输入邻接矩阵A与训练集的节点特征矩阵X对所述图卷积网络模型进行训练，得到训练好的模型；

S3、根据所述S2中训练好的模型，对论文进行分类，输出分类结果。

优选地，所述步骤S1中，数据构造具体包括以下步骤：

a1、构造节点特征矩阵；

a2、构造描述论文引用网络的拓扑结构的邻接矩阵；

a3、划分训练集、验证集、测试集。

优选地，所述构造节点特征矩阵是将每篇论文的文本信息转换为词向量，作为节点特征，将特征拼接得到一个大小为N*d的特征矩阵，其中N为数据集中的论文篇数，d为词向量的维度；所述构造邻接矩阵时，若论文i与论文j之间有引用关系，则a_ij＝1，a_ji＝1。

优选地，所述步骤S2中，模型构造具体包括以下步骤：

b1、计算拉普拉斯矩阵L，其中D为邻接矩阵A的度矩阵，I为N维单位矩阵,

b2、初始化节点相似性矩阵B为N*N的零矩阵；

b3、计算边权重矩阵C，C是大小为N*N的矩阵，矩阵中的元素c_ij表示节点i与节点j的特征向量的相似程度，二者越相似，c_ij的值越大,

C＝softmax(B)

(2)；

b4、提取图网络的特征，其中Θ是大小为d*m的待学习的参数矩阵，d是节点特征的维度，m是输出H的维度,X是n*d维的节点的特征矩阵，n是图上的节点数，d是节点的特征维度，H是引入了变化的边权重后计算得到的n*d_out维的节点特征矩阵，d_out是输出的节点的特征维度，H中的每个1*d_out维的特征向量即为一个胶囊，

H＝CLXΘ

(3)；

b5、按边权重c_ij计算当前节点的新的特征向量表达s_j，并且将其使用squash函数进行压缩，得到当前节点最终的特征向量表达v_j，其中公式3中的W_ij是大小为N*N*d的待学习的参数矩阵；squash函数可以对向量进行压缩，使得模小的向量更小，模大的向量更大,

u_j|i＝W_ijH_i

(4)；

b6、计算u_j|i与v_j的相似性，更新边权重矩阵，其中k表示节点i的所有邻居节点，

b_ij＝b_ij+u_j|i·v_j

(7)；

b7、求损失函数的值，其中P是改进后的图卷积网络对论文所属类别的预测结果，V是动态路由算法对论文所属类别的预测结果，y为论文真实类别，crossenrtopy为交叉熵损失函数，

loss＝0.8*crossentropy(P，y)+0.2*crossentropy(V，y)

(9)；

b8、在模型训练时，将图的邻接矩阵A和训练集的节点特征矩阵X作为图卷积网络模型的输入，重复执行所述步骤b4、b5、b6和b7，直至模型收敛，训练过程中根据loss函数求梯度更新待学习参数矩阵，从而让所述模型学会如何分类，当loss函数收敛，则模型训练完毕。

相比于现有技术的缺点和不足，本发明具有以下有益效果：本发明不仅利用了论文的文本信息和论文间的引用关系，还考虑到了论文词向量的相似性。改进前的模型的边的权重是固定的，而改进后的模型融合胶囊机制，考虑了不同论文间的词向量相似性，将每个节点的特征向量作为胶囊，利用动态路由算法计算胶囊之间的相似性，将表示相似程度的值作为边的权重，进而确定如何组合这些胶囊，得到预测结果。若当前论文所引用的某篇论文的词向量与当前论文的词向量相似，则两篇论文所对应节点之间的边的权重会比较大；若当前论文所引用的某篇论文的词向量与当前论文的词向量不相似，则两论文间的边的权重会比较小。将当前论文的词向量，与其所引用的论文的词向量之间的边权重加权求平均，所得结果作为当前论文的向量表达。这就减少了与当前论文内容差别很大的引用论文对分类结果的影响，改进后的模型比改进前的模型，准确率更高，鲁棒性更强，更不容易过拟合。

附图说明

图1是本发明的流程示意图。

图2是改进前的图卷积网络的卷积流程示意图。

图3是改进后的图卷积网络的卷积流程示意图。

图4是动态路由算法流程示意图。

图5是在公开的论文引用数据集cora上，改进前的图卷积网络与本专利公开的改进后的模型的准确率比较的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种融合胶囊机制的图卷积网络对论文进行分类的方法，以下结合附图对实施例进行详细说明。

如图1至图5所示，本发明提供一种技术方案：一种融合胶囊机制的图卷积网络对论文进行分类的方法，该方法包括以下步骤：

S1、构造论文引用网络数据；

S2、构建图卷积网络模型，输入邻接矩阵A与训练集的节点特征矩阵X对所述图卷积网络模型进行训练，得到训练好的模型；

S3、根据所述S2中训练好的模型，对论文进行分类，输出分类结果。

其中，所述步骤S1中，数据构造具体包括以下步骤：

a1、构造节点特征矩阵；

a2、构造描述论文引用网络的拓扑结构的邻接矩阵；

a3、划分训练集、验证集、测试集。

其中，所述构造节点特征矩阵是将每篇论文的文本信息转换为词向量，作为节点特征，将特征拼接得到一个大小为N*d的特征矩阵，其中N为数据集中的论文篇数，d为词向量的维度；所述构造邻接矩阵若论文i与论文j之间有引用关系，则a_ij＝1，a_ij＝1。

其中，所述步骤S2中，模型构造具体包括以下步骤：

b1、计算拉普拉斯矩阵L，其中D为邻接矩阵A的度矩阵，I为N维单位矩阵,

b2、初始化节点相似性矩阵B为N*N的零矩阵；

b3、计算边权重矩阵C，C是大小为N*N的矩阵，矩阵中的元素c_ij表示节点i与节点j的特征向量的相似程度，二者越相似，c_ij的值越大,

C＝softmaX(B)

(2)；

b4、提取图网络的特征，其中Θ是大小为d*m的待学习的参数矩阵，d是节点特征的维度，m是输出H的维度,X是n*d维的节点的特征矩阵，n是图上的节点数，d是节点的特征维度，H是引入了变化的边权重后计算得到的n*d_out维的节点特征矩阵，d_out是输出的节点的特征维度，H中的每个1*d_out维的特征向量即为一个胶囊，

H＝CLXΘ

(3)；

b5、按边权重c_ij计算当前节点的新的特征向量表达s_j，并且将其使用squash函数进行压缩，得到当前节点最终的特征向量表达v_j。其中公式3中的W_ij是大小为N*N*d的待学习的参数矩阵；squash函数可以对向量进行压缩，使得模小的向量更小，模大的向量更大,

u_j|i＝W_ijH_i

(4)；

b6、计算u_j|i与v_j的相似性，更新边权重矩阵。其中k表示节点i的所有邻居节点,

b_ij＝b_ij+u_j|i·v_j

(7)；

b7、求损失函数的值。其中P是改进后的图卷积网络对论文所属类别的预测结果，V是动态路由算法对论文所属类别的预测结果，y为论文真实类别，crossenrtopy为交叉熵损失函数，

loss＝0.8*crossentropy(P，y)+02*crossentropy(V，y)

(9)；

b8、在模型训练时，将图的邻接矩阵A和训练集的节点特征矩阵X作为图卷积网络模型的输入，重复执行所述步骤b4、b5、b6和b7，直至模型收敛，训练过程中根据loss函数求梯度更新待学习参数矩阵，从而让所述模型学会如何分类，当loss函数收敛，则模型训练完毕。

将测试集的节点特征矩阵和邻接矩阵作为步骤S2训练好的模型的输入，得到论文类别的预测结果。在公开的论文引用数据集cora上的实验结果如附图5所示，可以看到，改进后的模型比改进前的模型准确率更高，鲁棒性更强，更不容易过拟合。

图2中，黑色节点1是当前节点，灰色节点为黑色节点的邻居节点，除此之外的节点为白色节点，其边的权重是固定的。卷积过程中，黑色节点1会将3个灰色节点上的特征向量相加除以3，得到的结果作为黑色节点的新特征向量。

图3是改进后的图卷积网络的卷积流程示意图。其与图2不同的地方在于，图3的边的权重是通过动态路由算法计算得到。

图4是动态路由算法流程示意图，其作用是计算边权重矩阵C。

图5是在公开的论文引用数据集cora上，改进前的图卷积网络与本专利公开的改进后的模型的准确率比较，其中横轴表示迭代的次数，纵轴表示分类准确率。

本发明以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界。

Claims (4)

1.一种融合胶囊机制的图卷积网络对论文进行分类的方法，其特征在于，该方法包括以下步骤：

S1、构造论文引用网络数据；

S2、构建图卷积网络模型，输入邻接矩阵A与训练集的节点特征矩阵X对所述图卷积网络模型进行训练，得到训练好的模型；

S3、根据所述S2中训练好的模型，对论文进行分类，输出分类结果。

2.根据权利要求1所述一种融合胶囊机制的图卷积网络对论文进行分类的方法，其特征在于，所述步骤S1中，数据构造具体包括以下步骤：

a1、构造节点特征矩阵；

a2、构造描述论文引用网络的拓扑结构的邻接矩阵；

a3、划分训练集、验证集、测试集。

3.根据权利要求2所述一种融合胶囊机制的图卷积网络对论文进行分类的方法，其特征在于，所述构造节点特征矩阵是将每篇论文的文本信息转换为词向量，作为节点特征，将特征拼接得到一个大小为N*d的特征矩阵，其中N为数据集中的论文篇数，d为词向量的维度；所述构造邻接矩阵时，若论文i与论文j之间有引用关系，则a_ij＝1，a_ji＝1。

4.根据权利要求1所述一种融合胶囊机制的图卷积网络对论文进行分类的方法，其特征在于，所述步骤S2中，模型构造具体包括以下步骤：

b1、计算拉普拉斯矩阵L，其中D为邻接矩阵A的度矩阵，I为N维单位矩阵,

b2、初始化节点相似性矩阵B为N*N的零矩阵；

b3、计算边权重矩阵C，C是大小为N*N的矩阵，矩阵中的元素c_ij表示节点i与节点j的特征向量的相似程度，二者越相似，c_ij的值越大,C＝softmax(B) (2)；

b4、提取图网络的特征，其中Θ是大小为d*m的待学习的参数矩阵，d是节点特征的维度，m是输出H的维度,X是n*d维的节点特征矩阵，n是图上的节点数，d是节点的特征维度，H是引入了变化的边权重后计算得到的n*d_out维的节点特征矩阵，d_out是输出的节点的特征维度，H中的每个1*d_out维的特征向量即为一个胶囊，

H＝CLXΘ (3)；

b5、按边权重c_ij计算当前节点的新的特征向量表达s_j，并且将其使用squash函数进行压缩，得到当前节点最终的特征向量表达v_j，其中公式3中的W_ij是大小为N*N*d的待学习的参数矩阵；squash函数可以对向量进行压缩，使得模小的向量更小，模大的向量更大,

u_j|i＝W_ijH_i (4)；

b6、计算u_j|i与v_j的相似性，更新边权重矩阵，其中k表示节点i的所有邻居节点,

b_ij＝b_ij+u_j|i·v_j (7)；

b7、求损失函数的值，其中P是改进后的图卷积网络对论文所属类别的预测结果,V是动态路由算法对论文所属类别的预测结果,y为论文真实类别，crossenrtopy为交叉熵损失函数,

loss＝0.8*crossentropy(P，y)+0.2*crossentropy(V，y) (9)；

b8、在模型训练时，将图的邻接矩阵A和训练集的节点特征矩阵X作为图卷积网络模型的输入，重复执行所述步骤b4、b5、b6和b7，直至模型收敛，训练过程中根据loss函数求梯度更新待学习参数矩阵，从而让所述模型学会如何分类，当loss函数收敛，则模型训练完毕。