CN117763238B - 基于多图神经网络的学位论文评审专家推荐方法 - Google Patents

Abstract

本发明公开了一种基于多图神经网络的学位论文评审专家推荐方法，根据论文中关键词与专家发表论文关键词数据，首先构建关键词与专家二分图，通过图卷积神经网络挖掘关键词和专家之间的高阶关系。其次，由于一篇论文存在多个关键词，因此需要构建关键词与关键词共现图，通过图注意力网络挖掘关键词之间相关性。然后通过多层感知机将多个关键词融合捕获关键词之间的隐式关联性，生成多个关键词整体的表征。最后使用关键词整体表征与专家表征交互输出预测相似度，排序所有专家与关键词的相似度并推荐前K个专家。本发明提高了评审专家的推荐结果，可以用于学位论文评审工作，提高学位论文管理者的工作效率和学位论文评审的质量。

Description

基于多图神经网络的学位论文评审专家推荐方法

技术领域

本发明属于推荐系统技术领域，具体地说，是一种基于多图神经网络的学位论文评审专家推荐方法。

背景技术

随着信息化建设以及互联网领域的快速发展，为了解决信息过载的难题，并为人们提供有效信息，推荐技术己成为众多研究者关注的技术。在各大电子商务网站上，都会利用许多快速高效的推荐方法提高服务质量，比如根据用户的浏览记录、喜好商品等信息，为用户推荐可能购买的物品，这样的推荐技术还应用于新闻信息、音乐、电影、书籍等。在学位论文评审中，同样存在类似的应用场景，即为学位论文推荐合适的评审专家，评审论文并给予质量上的评论与建议。

在过去的一些研究中，论文评审专家推荐方法主要是围绕基于文本的方法来研究，基于词信息模型，通过词袋模型(BOW)，利用TF-IDF来获取论文文档与专家出版物的关键信息，然后根据关键信息计算相似度，基于词信息模型虽然可以表征论文的词频特征，但是不能描述语义信息；基于主题模型，包括概率潜在语义分析(PLSA)与隐含狄利克雷分布(LDA)，PLSA是假设每个文档包含一系列可能的潜在主题，并且根据主题的分布以一定的概率生成中的词。利用PLSA从论文和升审稿人出版物中提取主题，然后通过主题距离来衡量相似度；基于LDA的方法，将审稿人出版物连接到单个文档中创建审稿人的文档，然后使用LDA模型从审稿人的文档和论文中提出抽象特征，最后通过点积等指标来衡量匹配度。与基于词信息模型的方法相比，主题模型可以挖掘文本更深层的语义信息，从而获得更准确的相似度。但是语义模型不能充分利用同一主题不同词之间的隐含语义关联。基于神经网络模型，获得一组低维密度向量作为文本的语义表示，然后利用余弦相似度等方法计算不同文本之间的相似度。目前有几种方法用于计算文本相似度，word2vec、doc2vec、RNN、LSTM、CNN等。通过使用神经网络模型，文档文本的表示不必依赖传统的特征工程，可以获得更高精度的论文和审稿人深度语义表示。但是同行评审过程中真实的审稿人分配数据通常不会公开访问，从而导致帧数训练数据的缺乏。神经网络模型通常是用一般文本数据来训练的，在一定程度上影响了特征提取的效果。

近年来，大量的推荐算法已被提出，协同过滤技术是现代推荐系统的常用的技术，协同过滤常见的形式是将用户和项目作为嵌入参数化，并通过重构历史用户项交互来学习嵌入参数，早期的协同过滤模型使用矩阵分解，将用户ID投影到嵌入向量中。最近的神经网络推荐模型NCF使用了相同的嵌入部分，同时增强了与神经网络的交互建模。与之相关的研究点是利用用户-物品图结构进行推荐，神经网络通过对图结构，特别是高跳邻居的建模，用于指导嵌入学习。GraphSage和GCN在空间域中重新定义了图卷积，对相邻节点的嵌入进行聚合，细化目标节点的嵌入。在此基础上NGCF，GCMC，PinSage等最近的研究将GCN用于用户-物品交互图中，在多跳邻居中捕获信号进行推荐，已取得很好的效果。但是由于学位论文评审专家的特殊性，需要捕获多个关键词与单个专家之间的关系，在这些单图模型中无法满足该推荐任务的需求。

发明内容

本发明的目的在于提供一种基于多图神经网络的学位论文评审专家推荐方法。

实现本发明目的的技术解决方案为：一种基于多图神经网络的学位论文评审专家推荐方法，包括：

(1)利用预训练语言模型BERT获得输入关键词的嵌入向量，通过可学习的Embedding操作将输入的专家one-hot稀疏向量转化为稠密向量，最终得到专家的嵌入向量；

(2)根据论文中关键词与专家发表论文关键词数据，分别构建关键词与专家二分图和关键词与关键词共现图；

(3)将关键词和专家的嵌入向量输入到关键词与专家二分图中，并将关键词的嵌入向量输入到关键词与关键词共现图中，此时图中关键节点和专家节点已携带嵌入向量信息，利用加权平均操作和注意力机制将图中邻居节点的信息传递到目标节点，然后使用拼接聚合方法聚合邻居节点和目标节点的信息，得到节点的嵌入表示；

(4)通过堆叠多个图卷积层和图注意力层实现高阶传播，将每一层的输出作为下一层的输入，通过多次迭代信息传播和非线性变换，使关键词节点和专家节点能够逐渐融合更多的上下文信息，最终通过连接操作合并多个网络层输出的节点嵌入表示，得到关键词节点和专家节点的表征；

(5)得到多个关键词表征后，将多个关键词融合输入到多层感知机中，得到最终的整体关键词表征；

(6)将得到的整体关键词表征和专家表征进行交互操作来预测关键词与专家之间的相似度，通过排序所有专家与关键词的相似度并推荐前K个专家。

进一步地，步骤(1)获取关键词和专家的嵌入向量，关键词k是通过预训练语言模型BERT得到，它的嵌入向量表示为

专家r的输入为稀疏的one-hot编码为x_r，采用Embedding过程将one-hot转换为稠密的嵌入向量表示为：

其中W_embed表示可学习的嵌入矩阵。

进一步地，步骤(2)中关键词-专家二分图构建，如果专家r发表或者评审的论文中关键词列表为ks＝{k₁,k₂,k₃,…}，则专家与这些关键词都是有关联的；因此{(r,k₁),(r,k₂),(r,k₃)}为图中的边集合，r表示专家节点，k表示关键词节点，与专家节点r相连的关键词节点集合称为专家r的近邻居集合N(r)；将关键词-专家二分图KR看作无向图，节点之间边定义如下：

其中KR_k,r表示KR二分图中从点k到点r的一条边；

关键词-关键词共现图构建，关键词与关键词之间的共现图是通过共现频率来反应的；如果一篇论文或者专家的关键词列表为ks＝{k₁,k₂,k₃,…},则可以构成关键词对{(k₁,k₂),(k₁,k₃),(k₂,k₃)}；构造共现图，首先计算关键词对的共现频数，如果关键词k1与关键词k2同时出现在同一片论文或者属于同一个专家的关键列表中，那么关键词对(k1,k2)加1，在获得频数矩阵后，通过设置阈值来进行过滤，节点之前的边定义如下：

其中表示关键词-关键词共现图中从k₁到k₂的一条边，α表示关键词对频数的阈值，fre(·)表示计算关键词的频数。

进一步地，步骤(3)的具体实现方法如下：

3.1消息构建

对于专家节点r，从关键词节点k到专家节点r的边，构建从节点k到节点r的信息m_r←k，表示为：

其中，W_rk是消息传递时可训练权重参数，e_k是关键词k的初始化嵌入表示，N_r和N_k分别表示专家和关键词邻居的个数；

当专家节点收到所有邻居节点的消息后，利用求和操作来进行合并，即可得到专家r所有邻居节点传递信息的嵌入表示表示为：

对于关键词节点k，关键词节点k的信息构建需要在两个图结构中进行；

在关键词-专家二分图中使用与专家节点相同的消息构建方式，关键词k所有邻居节点传递信息的嵌入表示表示为：

其中，W_kr是消息传递时可训练权重参数，e_r是专家k的初始化嵌入表示；

对于关键词与关键词共现图，在进行消息构建时引入注意力机制，关键词节点p向关键词节点q传递信息m_q←p，表示为：

m_q←p＝α_pqW_pqe_p

其中，W_pq表示消息传递时可训练权重参数，e_p是关键词节点的初始化嵌入表示，α_pq为节点的注意力系数，计算方式定义如下：

x_pq＝f(We_p,We_q)

其中，x_pq表示注意力系数，f(·)是映射函数将一对向量映射成数值，k∈N(q)表示k属于关键词q的邻居节点；

当关键词节点收到所有邻居节点的消息后，利用求和操作来进行合并，即可得到关键词节点q所有邻居节点传递信息的嵌入表示定义如下：

3.2消息聚合

在接收到合并的邻居信息后，更新目标节点的嵌入，此操作即为消息聚合；聚合从邻居节点传播过来的信息，需要融合节点自身的嵌入表示；

通过专家节点初始嵌入向量和关键词与二分图中关键词邻居节点传递消息的嵌入向量/>聚合得到专家节点嵌入表示/>定义如下：

通过关键词节点初始嵌入向量和关键词与二分图中关键词邻居节点传递消息的嵌入向量/>聚合得到关键词节点的嵌入表示/>定义如下：

通过关键词节点初始嵌入向量和关键词与关键词共现图中关键词邻居节点传递消息的嵌入向量/>聚合得到关键词节点的嵌入表示/>定义如下：

其中，LeakyReLU为激活函数，可以编码正值的信息，同时也可编码来自负值的一些信息。

进一步地，步骤(4)的具体实现包括：

在关键词与专家二分图结构中堆叠n个卷积层实现高阶传播，将每一层输出的嵌入表示作为下一层的输入，然后通过加权平均信息构建和拼接聚合操作后使用非线性激活函数对嵌入表示进行非线性变换；在第l层的传播后专家节点的嵌入向量和关键词节点的嵌入向量/>可表示为：

其中第l层专家r接收来自邻居节点的信息和关键词k接收来自邻居节点信息定义如下：

其中，表示在第l层中消息构建所使用的权重矩阵，/>和/>表示上一层消息传递中生成嵌入表示，N_r和N_k分别表示专家和关键词邻居的个数；

在关键词与关键词共现图结构中堆叠n个图注意力层实现高阶传播，将每一层输出的嵌入表示作为下一层的输入，然后通过注意力机制进行信息构建和拼接聚合操作后使用非线性激活函数对嵌入表示进行非线性变换；关键词节点在第l层的传播后节点的嵌入向量可表示为：

其中第l层关键词q接收来自邻居节点的信息定义如下：

其中，表示在第l层中消息构建所使用的权重矩阵，W表示可训练参数矩阵，表示上一层消息传递中生成的专家嵌入表示，α_pq表示节点的注意力系数；

经过n层传播后，每个节点可得到多个嵌入表示，为专家节点的多个嵌入表示，/>和/>是从两种图结构中得到的关键词嵌入表示，在不同层中获得的嵌入表示强调的是不同连接路径的消息，它们反应的是不同的上下文信息，将不同层中获得的嵌入表示融合在一起形成最终表征，使用连接操作，具体公式定义如下：

其中，表示专家表征，/>与/>分别表示在关键词与专家二分图结构和关键词与关键词共现图结构中的关键词表征。

进一步地，步骤(5)的具体实现方法为：

首先将两种图结构输出的嵌入表示进行连接操作，单个关键词最终的嵌入表示定义如下：

根据给定的关键词集合ks，将对应的关键词嵌入表示通过向量堆叠操作得到矩阵E_ks，对矩阵E_ks进行平均池化操作得到MLP的输入嵌入表示e_ks；将向量e_ks输入到具有两层的MLP，在MLP的非线性学习能力下捕获关键词之间的关联性，最终输出多个关键词融合的整体表征e_mks，定义如下：

e_t＝ReLU(W₁·Avg(E_ks)+b₁)

e_mks＝ReLU(W₂e_t+b₂)

其中，Avg(E_ks)表示对矩阵进行平均池化操作，e_t表示第一层输出的向量，W₁,b₁,W₂,b₂分别表示用于线性变换使用的第一层和第二层的可训练的参数。

进一步地，步骤(6)的具体实现方法为：

通过对关键词表征与专家的表征/>进行内积操作来预测关键词与专家之间的相似度/>

然后通过构建所有专家的表征矩阵E_R,与关键词表征进行内积交互操作，输出为关键词与所有专家的相似度向量定义如下：

最后通过对相似度向量进行排序，输出排序前K的专家为最终的推荐结果res_ks；

其中，argsort(·)表示根据向量值排序输出索引向量的函数，K表示自定义参数，TopK表示输出向量中前K个值的函数。

本发明与现有技术相比，其显著优点：(1)将学位论文评审专家推荐定义为标准的推荐问题，构建专家和关键词二分图，强调专家和关键词表征的重要性，与传统基于文本的论文评审专家比，大大提高了推荐的效率。(2)构建关键词与关键词之间的共现图，用于捕获关键词之间的相关性，并且提出一种融合方法将多个关键词的表征融合成一个表征，表示多个关键词整体表征与单个专家表征的相似度计算。

附图说明

图1是本发明基于多图神经网络的学位论文评审专家推荐方法的流程图。

具体实施方式

下面结合说明书附图对本发明作进一步描述。

本发明一种基于多图神经网络的学位论文评审专家推荐方法，通过微调后预训练语言模型BERT获得关键词的嵌入向量，专家的嵌入向量通过可学习参数向量表示，主要作用是将one-hot编码后的稀疏特征向量转换为高维线性空间中的稠密向量，然后将得到关键词嵌入向量和专家嵌入向量一起作为图神经网络的输出；在关键词与专家二分图上，利用图卷积网络来挖掘关键词与专家之间关系，在图卷积过程中利用信息构建和聚合操作最终可到专家和关键词的表征；在关键词与关键词共现图上，利用图注意力网络可得到关键词与关键词之间的共现关系，图注意力网络中在信息构建的过程中引入自注意力机制，实现对邻居节点的加权聚合，最终可得到在此图结构中的关键词的表征；在图神经网络中进行高阶传播和消息融合，主要目的是为了获得节点之间的高阶关系。得到多个关键词表征后，将多个关键词融合输入到多层感知机中得到最终的整体关键词表征。最后通过关键词和专家的表征进行交互操作来预测关键词与专家之间的相似度，排序所有专家与关键词的相似度并推荐前K个专家。

结合图1，本发明一种基于多图神经网络的学位论文评审专家推荐方法，具体包含以下步骤：

1、利用预训练语言模型BERT获得输入关键词的嵌入向量，通过可学习的Embedding操作将输入的专家one-hot稀疏向量转化为稠密向量，最终的到专家的嵌入向量。

2、根据论文中关键词与专家发表论文关键词数据，分别构建关键词与专家二分图和关键词与关键词共现图。

3、将关键词和专家的嵌入向量输入到关键词与专家二分图中，并将关键词的嵌入向量输入到关键词与关键词共现图中，此时图中关键节点和专家节点已携带嵌入向量信息，利用加权平均操作和注意力机制将图中邻居节点的信息传递到目标节点，然后使用拼接聚合方法聚合邻居节点和目标节点的信息，得到节点的嵌入表示；

4、通过堆叠多个图卷积层和图注意力层实现高阶传播，将每一层的输出作为下一层的输入，通过多次迭代信息传播和非线性变换，使关键词节点和专家节点能够逐渐融合更多的上下文信息，最终通过连接操作合并多个网络层输出的节点嵌入表示，得到关键词节点和专家节点的表征；

5、得到多个关键词表征后，将多个关键词融合输入到多层感知机中得到最终的整体关键词表征。

6、将得到的整体关键词表征和专家表征进行交互操作来预测关键词与专家之间的相似度，通过排序所有专家与关键词的相似度并推荐前K个专家。

进一步地，步骤1获取关键词和专家的嵌入向量，关键词k是通过预训练语言模型BERT得到它的嵌入向量可以表示为：

由于专家r的输入为稀疏的one-hot编码x_r，为了降低输入维度，采用Embedding过程将one-hot转换为稠密的嵌入向量可以表示为：

其中W_embed表示可学习的嵌入矩阵。

进一步地，步骤2关键词-专家二分图构建，如果专家r发表或者评审的论文中关键词列表为ks＝{k₁,k₂,k₃,…}，则专家与这些关键词都是有关联的；因此{(r,k₁),(r,k₂),(r,k₃)}为图中的边集合，r表示专家节点，k表示关键词节点，与专家节点r相连的关键词节点集合称为专家r的近邻居集合N(r)；我们将关键词-专家二分图KR看作无向图，节点之间边定义如下：

其中KR_k,r表示KR二分图中从点k到点r的一条边。

关键词-关键词共现图构建，关键词与关键词之间的共现图主要是通过共现频率来反应的。具体来说，如果一篇论文或者专家的关键词列表为ks＝{k1,k2,k3,…},那么可以构成关键词对{(k1,k2),(k1,k3),(k2,k3)}。构造共现图，首先需要计算关键词对的共现频数，如果关键词k1与关键词k2同时出现在同一片论文或者属于同一个专家的关键列表中，那么关键词对(k1,k2)加1，在获得频数矩阵后，通过手动设置阈值来进行过滤，节点之前的边定义如下。

其中表示关键词-关键词共现图中从k₁到k₂的一条边，α表示关键词对频数的阈值，fre(·)表示计算关键词的频数。

进一步地，步骤3在利用加权平均操作和注意力机制将图中邻居节点的信息传递到目标节点，然后使用拼接聚合方法聚合邻居节点和目标节点的信息，得到节点的嵌入表示，消息构建和聚合方式如下：

(1)消息构建

对于专家节点r，从关键词节点k到专家节点r的边，构建从节点k到节点r的信息m_r←k，可表示为：

其中W_rk是消息传递时可训练权重参数，e_k是关键词k的初始化嵌入表示，N_r和N_k分别表示专家和关键词邻居的个数。

当专家节点收到所有邻居节点的消息后，利用求和操作来进行合并，即可得到专家r所有邻居节点传递信息的嵌入表示可表示为：

对于关键词节点k，本文中关键词节点k的信息构建需要在两个图结构中进行，在关键词-专家二分图中使用与专家节点相同的消息构建方式，关键词k所有邻居节点传递信息的嵌入表示可表示为：

其中W_kr是消息传递时可训练权重参数，e_r表示专家k的初始化嵌入表示。

另一个图结构为关键词与关键词共现图，在进行消息构建时引入注意力机制，主要为了区分不同的邻居关键词节点对目标关键词节点的贡献度。关键词节点p向关键词节点q传递信息m_q←p可表示为：

m_q←p＝α_pqW_pqe_p

其中W_pq表示消息传递时可训练权重参数，e_p表示关键词节点的初始化嵌入表示，α_pq为节点的注意力系数，计算方式定义如下：

x_pq＝f(We_p,We_q)

其中x_pq表示注意力系数，f(·)是映射函数将一对向量映射成数值，k∈N(q)表示k属于关键词q的邻居节点。

当关键词节点收到所有邻居节点的消息后，利用求和操作来进行合并，即可得到关键词节点q所有邻居节点传递信息的嵌入表示定义如下：

(2)消息聚合

在接收到合并的邻居信息后，下一步就更新目标节点的嵌入，此操作称为消息聚合。我们需要聚合从邻居节点传播过来的信息，信息聚合需要融合节点自身的嵌入表示。

通过专家节点初始嵌入向量和关键词与二分图中关键词邻居节点传递消息的嵌入向量/>聚合得到专家节点嵌入表示/>定义如下：

通过关键词节点初始嵌入向量和关键词与二分图中关键词邻居节点传递消息的嵌入向量/>聚合得到关键词节点的嵌入表示/>定义如下：

通过关键词节点初始嵌入向量和关键词与关键词共现图中关键词邻居节点传递消息的嵌入向量/>聚合得到关键词节点的嵌入表示/>定义如下：

其中，LeakyReLU为激活函数，可以编码正值的信息，同时也可编码来自负值的一些信息。

进一步地，步骤4通过一阶连接已经可以增强表征，我们还能堆叠更多的嵌入传播层来研究高阶连接信息，进一步将一跳传播扩展到多跳的传播。具体来说，在关键词与专家二分图结构中堆叠n个卷积层实现高阶传播，将每一层输出的嵌入表示作为下一层的输入，然后通过加权平均信息构建和拼接聚合操作后使用非线性激活函数对嵌入表示进行非线性变换；在第l层的传播后专家节点的嵌入向量和关键词节点的嵌入向量/>可表示为：

其中第l层专家r接收来自邻居节点的信息和关键词k接收来自邻居节点信息定义如下：

其中，表示在第l层中消息构建所使用的权重矩阵，/>和/>表示上一层消息传递中生成嵌入表示，N_r和N_k分别表示专家和关键词邻居的个数；

在关键词与关键词共现图结构中堆叠n个图注意力层实现高阶传播，将每一层输出的嵌入表示作为下一层的输入，然后通过注意力机制进行信息构建和拼接聚合操作后使用非线性激活函数对嵌入表示进行非线性变换；关键词节点在第l层的传播后节点的嵌入向量可表示为：

其中第l层关键词q接收来自邻居节点的信息定义如下：

其中，表示在第l层中消息构建所使用的权重矩阵，W表示可训练参数矩阵，表示上一层消息传递中生成的专家嵌入表示，α_pq表示节点的注意力系数；

经过n层传播后，每个节点可得到多个嵌入表示，为专家节点的多个嵌入表示，/>和/>是从两种图结构中得到的关键词嵌入表示，在不同层中获得的嵌入表示强调的是不同连接路径的消息，它们反应的是不同的上下文信息，将不同层中获得的嵌入表示融合在一起形成最终表征，使用连接操作，具体公式定义如下：

其中，表示专家表征，/>与/>分别表示在关键词与专家二分图结构和关键词与关键词共现图结构中的关键词表征。

进一步地，步骤5为了将多个关键词融合捕获关键词之间的内在隐形关联性，使用多层感知机的方法，该方法可以描述关键词之间的非线性相互作用，最后生成一个整体的关键词表征。具体做法为，为了得到单个关键词最终的嵌入表示，首先将两种图结构输出的嵌入表示进行连接操作，单个关键词最终的嵌入表示定义如下：

根据给定的关键词集合ks，将对应的关键词嵌入表示通过向量堆叠操作得到矩阵E_ks，为了得到一个整体的向量表示，需要对矩阵E_ks进行平均池化操作得到MLP的输入嵌入表示e_ks。最后向量e_ks，输入到具有两层的MLP，在MLP的非线性学习能力下捕获关键词之间的关联性，最终输出多个关键词融合的整体嵌入表示e_mks，定义如下：

e_t＝ReLU(W₁·Avg(E_ks)+b₁)

e_mks＝ReLU(W₂e_t+b₂)

其中Avg(E_ks)表示对矩阵进行平均池化操作，e_t表示第一层输出的向量，W₁,b₁,W₂,b₂分别表示用于线性变换使用的第一层和第二层的可训练的参数。

进一步地，步骤6最后通过对关键词表征与专家的表征/>进行内积操作来预测关键词与专家之间的相似度/>

然后通过构建所有专家的表征矩阵E_R,与关键词表征进行内积交互操作，输出为关键词与所有专家的相似度向量定义如下：

最后通过对相似度向量进行排序，输出排序前前K的专家为最终的推荐结果resks；

其中，argsort(·)表示根据向量值排序输出索引向量的函数，K表示自定义参数，TopK表示输出向量中前K个值的函数。

本发明提供的方法主要解决的是多关键词如何融合与专家进行相似度计算的问题，利用关键词与专家和关键词与关键词之间的交互数据，分别构建关键词与专家二分图和关键词与关键词共现图，使用图神经网络可以丰富专家和关键词的嵌入表示，充分挖掘关键词与专家之间的高阶关系，并提出多关键词融合成一个整体嵌入表示的方法，提高评审专家的推荐结果。

Claims (6)

1.一种基于多图神经网络的学位论文评审专家推荐方法，其特征在于：

(1)利用预训练语言模型BERT获得输入关键词的嵌入向量，通过可学习的Embedding操作将输入的专家one-hot稀疏向量转化为稠密向量，最终得到专家的嵌入向量；

(2)根据论文中关键词与专家发表论文关键词数据，分别构建关键词与专家二分图和关键词与关键词共现图；

关键词-专家二分图构建，如果专家r发表或者评审的论文中关键词列表为ks＝{k₁，k₂，k₃，...}，则专家与这些关键词都是有关联的；因此{(r，k₁)，(r，k₂)，(r，k₃)}为图中的边集合，r表示专家节点，k表示关键词节点，与专家节点r相连的关键词节点集合称为专家r的近邻居集合N(r)；将关键词-专家二分图KR看作无向图，节点之间边定义如下：

其中KR_k，r表示KR二分图中从点k到点r的一条边；

关键词-关键词共现图构建，关键词与关键词之间的共现图是通过共现频率来反应的；如果一篇论文或者专家的关键词列表为ks＝{k₁，k₂，k₃，...},则可以构成关键词对{(k₁，k₂)，(k₁，k₃)，(k₂，k₃)}；构造共现图，首先计算关键词对的共现频数，如果关键词k1与关键词k2同时出现在同一片论文或者属于同一个专家的关键列表中，那么关键词对(k1,k2)加1，在获得频数矩阵后，通过设置阈值来进行过滤，节点之前的边定义如下：

其中表示关键词-关键词共现图中从k₁到k₂的一条边，α表示关键词对频数的阈值，fre(·)表示计算关键词的频数；

(3)将关键词和专家的嵌入向量输入到关键词与专家二分图中，并将关键词的嵌入向量输入到关键词与关键词共现图中，此时图中关键节点和专家节点已携带嵌入向量信息，利用加权平均操作和注意力机制将图中邻居节点的信息传递到目标节点，然后使用拼接聚合方法聚合邻居节点和目标节点的信息，得到节点的嵌入表示；

(4)通过堆叠多个图卷积层和图注意力层实现高阶传播，将每一层的输出作为下一层的输入，通过多次迭代信息传播和非线性变换，使关键词节点和专家节点能够逐渐融合更多的上下文信息，最终通过连接操作合并多个网络层输出的节点嵌入表示，得到关键词节点和专家节点的表征；

(5)得到多个关键词表征后，将多个关键词融合输入到多层感知机中，得到最终的整体关键词表征；

(6)将得到的整体关键词表征和专家表征进行交互操作来预测关键词与专家之间的相似度，通过排序所有专家与关键词的相似度并推荐前K个专家。

2.根据权利要求1所述的基于多图神经网络的学位论文评审专家推荐方法，其特征在于：步骤(1)获取关键词和专家的嵌入向量，关键词k是通过预训练语言模型BERT得到，它的嵌入向量表示为

专家r的输入为稀疏的one-hot编码为x_r，采用Embedding过程将one-hot转换为稠密的嵌入向量表示为：

其中W_embed表示可学习的嵌入矩阵。

3.根据权利要求1所述的基于多图神经网络的学位论文评审专家推荐方法，其特征在于：步骤(3)的具体实现方法如下：

3.1消息构建

对于专家节点r，从关键词节点k到专家节点r的边，构建从节点k到节点r的信息m_r←k，表示为：

其中，W_rk是消息传递时可训练权重参数，e_k是关键词k的初始化嵌入表示，N_r和N_k分别表示专家和关键词邻居的个数；

当专家节点收到所有邻居节点的消息后，利用求和操作来进行合并，即可得到专家r所有邻居节点传递信息的嵌入表示表示为：

对于关键词节点k，关键词节点k的信息构建需要在两个图结构中进行；

在关键词-专家二分图中使用与专家节点相同的消息构建方式，关键词k所有邻居节点传递信息的嵌入表示表示为：

其中，W_kr是消息传递时可训练权重参数，e_r是专家k的初始化嵌入表示；

对于关键词与关键词共现图，在进行消息构建时引入注意力机制，关键词节点p向关键词节点q传递信息m_q←p，表示为：

m_q←p＝α_pqW_pqe_p

其中，W_pq表示消息传递时可训练权重参数，e_p是关键词节点的初始化嵌入表示，α_pq为节点的注意力系数，计算方式定义如下：

x_pq＝f(W_ep，W_eq)

其中，x_pq表示注意力系数，f(·)是映射函数将一对向量映射成数值，k∈N(q)表示k属于关键词q的邻居节点；

当关键词节点收到所有邻居节点的消息后，利用求和操作来进行合并，即可得到关键词节点q所有邻居节点传递信息的嵌入表示定义如下：

3.2消息聚合

在接收到合并的邻居信息后，更新目标节点的嵌入，此操作即为消息聚合；聚合从邻居节点传播过来的信息，需要融合节点自身的嵌入表示；

通过专家节点初始嵌入向量和关键词与二分图中关键词邻居节点传递消息的嵌入向量/>聚合得到专家节点嵌入表示/>定义如下：

通过关键词节点初始嵌入向量和关键词与二分图中关键词邻居节点传递消息的嵌入向量/>聚合得到关键词节点的嵌入表示/>定义如下：

通过关键词节点初始嵌入向量和关键词与关键词共现图中关键词邻居节点传递消息的嵌入向量/>聚合得到关键词节点的嵌入表示

定义如下：

其中，LeakyReLU为激活函数，可以编码正值的信息，同时也可编码来自负值的一些信息。

4.根据权利要求1所述的基于多图神经网络的学位论文评审专家推荐方法，其特征在于，步骤(4)的具体实现包括：

在关键词与专家二分图结构中堆叠n个卷积层实现高阶传播，将每一层输出的嵌入表示作为下一层的输入，然后通过加权平均信息构建和拼接聚合操作后使用非线性激活函数对嵌入表示进行非线性变换；在第l层的传播后专家节点的嵌入向量和关键词节点的嵌入向量/>可表示为：

其中第l层专家r接收来自邻居节点的信息和关键词k接收来自邻居节点信息/>定义如下：

其中，表示在第l层中消息构建所使用的权重矩阵，/>和/>表示上一层消息传递中生成嵌入表示，N_r和N_k分别表示专家和关键词邻居的个数；

在关键词与关键词共现图结构中堆叠n个图注意力层实现高阶传播，将每一层输出的嵌入表示作为下一层的输入，然后通过注意力机制进行信息构建和拼接聚合操作后使用非线性激活函数对嵌入表示进行非线性变换；关键词节点在第l层的传播后节点的嵌入向量可表示为：

其中第l层关键词q接收来自邻居节点的信息定义如下：

其中，表示在第l层中消息构建所使用的权重矩阵，W表示可训练参数矩阵，/>表示上一层消息传递中生成的专家嵌入表示，a_pq表示节点的注意力系数；

经过n层传播后，每个节点可得到多个嵌入表示，为专家节点的多个嵌入表示，/>和/>是从两种图结构中得到的关键词嵌入表示，在不同层中获得的嵌入表示强调的是不同连接路径的消息，它们反应的是不同的上下文信息，将不同层中获得的嵌入表示融合在一起形成最终表征，使用连接操作，具体公式定义如下：

其中，表示专家表征，/>与/>分别表示在关键词与专家二分图结构和关键词与关键词共现图结构中的关键词表征。

5.根据权利要求1所述的基于多图神经网络的学位论文评审专家推荐方法，其特征在于，步骤(5)的具体实现方法为：

首先将两种图结构输出的嵌入表示进行连接操作，单个关键词最终的嵌入表示定义如下：

根据给定的关键词集合ks，将对应的关键词嵌入表示通过向量堆叠操作得到矩阵E_ks，对矩阵E_ks进行平均池化操作得到MLP的输入嵌入表示e_ks；将向量e_ks输入到具有两层的MLP，在MLP的非线性学习能力下捕获关键词之间的关联性，最终输出多个关键词融合的整体表征e_mks，定义如下：

e_t＝ReLU(W₁·Avg(E_ks)+b₁)

e_mks＝ReLU(W₂e_t+b₂)

其中，Avg(E_ks)表示对矩阵进行平均池化操作，e_t表示第一层输出的向量，W₁，b₁，W₂，W₂分别表示用于线性变换使用的第一层和第二层的可训练的参数。

6.根据权利要求1所述的基于多图神经网络的学位论文评审专家推荐方法，其特征在于，步骤(6)的具体实现方法为：

通过对关键词表征与专家的表征/>进行内积操作来预测关键词与专家之间的相似度/>

然后通过构建所有专家的表征矩阵E_R,与关键词表征进行内积交互操作，输出为关键词与所有专家的相似度向量定义如下：

最后通过对相似度向量进行排序，输出排序前K的专家为最终的推荐结果res_ks；

其中，argsort(·)表示根据向量值排序输出索引向量的函数，K表示自定义参数，TopK表示输出向量中前K个值的函数。