CN111667158A - 一种基于多图神经网络联合学习的工作技能预测方法 - Google Patents

Abstract

一种基于多图神经网络联合学习的工作技能预测方法，涉及计算机应用技术领域。利用招聘网站上积累的招聘启事数据，提出了基于多图神经网络联合学习的工作技能预测模型。首先构建了三个网络保持了工作任务和技能之间复杂的关联关系。通过对三个图神经网络的联合学习分别得到工作任务节点和技能节点的互补语义表示，并且将多个图中同种类型的节点表示进行拼接得到融合了复杂关系信息的节点表征；最后，基于工作任务和技能的节点表征表示利用一个多标签分类器进行工作技能预测。本发明通过多个基于注意力机制的图神经网络的联合训练将节点表征中融入了更多的预测信息，使得工作技能预测的准确率，召回率得到有效的提升。

Description

一种基于多图神经网络联合学习的工作技能预测方法

技术领域

本发明涉及计算机应用技术领域。

背景技术

近年来，对于招聘分析的研究日渐受到广泛地关注。一方面，大量的推荐系统被提出。例如，Malinowski等人[1]将招聘者和候选者的偏好应用到两个不同的推荐系统中解决人职匹配任务。Qin等人[2]提出了一个个性化的问题推荐系统来设计面试问题。另一方面，随着招聘数据的积累，各种新角度的研究不停涌现。Xu等人[3]通过构建和分析一个工作跳槽网络开发了一个人才圈检测模型。Sun等人[4]提出了一个神经网络的模型动态的建模职员和组织的相容性。另外，一些技能方向的研究也逐渐成为研究的焦点。例如：技能流行度，技能需求趋势分析和细粒度的技能需求分析。而本发明进一步地探究了特定职位的技能预测。

图神经网络是近年来大火的网络模型。Kipf和Welling[5]提出了半监督学习的图卷积网络(GCN)，随后，GraphSAGE被提出来方便了新节点表示的问题。GAT又进一步的利用了注意力机制学到了聚合邻居节点的权重。由于其强大的结构关系信息的保持，在诸多自然语言处理应用中占据了优势。例如，Yao等人[6]把文档和词作为节点构建图，并用GCN进行了文本分类。Bastings等人[7]把语义结构和编码器-解码器模型结合解决了机器翻译问题。Sun等人[8]提出在实体-关系二部图上使用GCN来解决一个联合的实体关系抽取问题。

多标签分类是一个经典的分类问题。对其研究主要集中在两个子任务：特征提取和标签相关性。特征提取的发展，从tf-idf[9]，n-gram[10]，到低维向量表示(如word2vec[11]，doc2vec[12])，再到深度神经网络模型。标签相关性的研究考虑了一阶关系，二阶关系再到高阶关系。例如一些高阶策略：CC[13]和他的集成形式ECC[14]把多标签的学习看作一个二分类的链。CAMEL[15]通过在标签空间中进行稀疏重构学习高阶关系。Yang等人[16]通过序列到序列的框架来考虑高阶关系。

发明内容

本发明基于以上研究工作，基于给定职位的工作任务和基本信息，进行准确的技能列表预测。本发明首先构建了三个网络，利用多个图神经网络的联合学习，考虑了职位之间的相互关联，技能之间的相互关联以及协同推荐的思想，最后通过一个多标签分类器解决了工作技能预测问题，缓解了人才招聘环节中职位与人才间的技能鸿沟，明确了特定职位在人才招聘市场中的角色定位。

本发明采用的技术方案是：

一种基于多图神经网络联合学习的工作技能预测方法，包括以下步骤：

步骤1，获得以文本的形式存储工作任务数据，并根据这些数据构建三个网络；同时输入经过分词处理后的工作任务详情和技能，使用词向量的方法初始化每个词的浅层语义表示，

三个网络包括：工作任务网络，该图节点内容为工作任务详情词序列，具有相同的基本信息点的节点将被彼此相连；技能网络，该图节点为技能词序列，特定职位下共同出现过的节点将被彼此相连；工作任务-技能二部图，该图借鉴协同过滤思想，给定特定职位，在工作任务网络中找到邻居职位，将邻居职位所需的技能与当前特定职位相连；

步骤2，基于步骤1中的节点内容的输出，对工作任务或者技能的进行基于内容的语义编码，

该步骤是根据步骤1中输出的工作任务或技能的每个词的词向量，利用双向的长短时记忆网络以序列的方式对工作任务或技能的词进行高层语义编码；

步骤3，基于步骤2的输出和步骤1构建的3个网络，对工作任务或技能进行基于网络结构的语义编码；

步骤4，基于步骤3的节点语义表示，计算工作任务与技能间的相似性，基于相似性进行技能的预测。

本发明的有益效果是：本发明给特定职位预测对应的技能列表，根据招聘数据的特点，充分考虑了工作任务详情内容，职位之间的关联，技能之间的关联，以及一些历史的的职位与技能之间的对应关系，通过多个基于注意力机制的图神经网络的联合训练将节点表征中融入了更多的预测信息，使得工作技能预测的准确率，召回率得到有效的提升。

附图说明

图1为本发明基于多图神经网络联合学习的工作技能预测流程图。

图2为本发明的整体系统结构示意图。

具体实施方式

本发明基于多图神经网络联合学习的工作技能预测方法，参见附图1，包括以下内容：

数据表示

本发明涉及到的数据主要为招聘启事广告数据，该数据以文本的形式存储。每个特定职位对应其工作任务详情，基本信息(包括职位名称，公司名称和公司规模)和技能需求详情。首先，工作任务被分词工具拆分为词序列，并将每个词初始化为词向量的形式作为词的浅层语义表示。然后，利用命名实体识别工具将技能需求段落中的技能抽取出来得到对应的技能列表。最后，所有的技能被分词工具拆分为技能词序列，并根据这些数据构建三个富内容的网络：

工作任务网络，该图节点内容为工作任务详情词序列，具有相同的基本信息点的节点将被彼此相连。如，两个职位在同一个公司，或在同样规模下的公司。

技能网络，该图节点为技能词序列，特定职位下共同出现过的节点将被彼此相连。

工作任务-技能二部图，该图借鉴协同过滤思想，给定特定职位，在工作任务网络中找到邻居职位，将邻居职位所需的技能与当前特定职位相连(考虑历史关联信息)。

节点内容的语义表示

三个网络中，包含两种类型的节点：工作任务节点和技能节点。

对于工作任务的词序列浅层语义表示，使用长短期记忆网络对其进行编码，学习词的隐层语义表示。为了建模词序列不同方向上的信息，本发明使用栈式多层双向的LSTM来总结两个方向上的词级别深层语义信息，从而获得对应的语义表示。

技能节点内容的语义表示类似于工作任务节点。

节点的结构编码

对于三个网络，联合训练了三个图神经网络。首先，三个网络的边都是无权的。基于每个网络采用GAT的方法对邻居节点的信息进行加权的融合。其中，权重大小基于注意力机制获得，并采用多头注意力机制使得训练过程更加稳定。然后，基于多个网络联合训练的复杂性，批归一化的策略被用来解决训练模型中间层数据分布发生变化的现象，并加速模型的收敛。最后，基于三个图神经网络的联合训练，工作任务网络中节点的语义表示中补充了邻居节点工作任务详情的内容。技能网络中节点的语义表示考虑了技能间的关联打包关系(标签的高阶关联)。工作任务-技能二部图中工作任务节点通过参照历史信息得到了与技能信息的互补语义表示。工作任务-技能二部图中的技能节点与之类似。

技能预测

基于三个网络中的四种节点语义表示(所有的节点都融合了节点内容和网络的结构信息)，首先，分别将工作任务节点和技能节点的两种语义表示进行拼接。然后，将工作任务与所有的节点进行相似度计算。最后，基于相似度矩阵，训练一个多标签分类器得到特定职位对应的技能列表。

实施例：

下面结合附图和具体实施对本发明提供的基于多图神经网络联合学习的技能预测模型进行详细说明。

本发明主要采用自然语言处理领域内的理论与方法为特定职位预测技能范围，为了保证系统的正常运行，对服务器配置有如下要求：

(1)操作系统：Ubuntu16.04版本及以上

(2)CPU：核心数不低于IntelXeonGold6142两个

(3)系统内存：不低于32GB，DDR42666MT/s

(4)显存大小：不低于16GB

同时，对软件环境有如下要求：

(1)编程环境：Python3.6版本及以上

(2)深度学习框架：pytorch1.1及以上

如图2所示，本发明提供的基于多图神经网络联合学习的技能预测模型的构建方法包括按顺序执行的下列步骤：

步骤1)输入招聘启事数据，构建三个网络；同时输入经过分词处理后的工作任务详情和技能，使用词向量的方法初始化每个词的浅层语义表示。

构建三个网络包含三个步骤：(1)在工作任务网络中，基于共享的基本信息计算边关联分数，大于阈值节点间构建边。(2)在技能网络中，基于技能的共现次数计算边关联分数，大于阈值节点间构建边。(3)在工作任务-技能二部图网路中，基于工作任务网络中工作任务的邻居的技能计算边关联分数，大于阈值节点间构建边。

步骤2)基于步骤1中的节点内容的输出，对工作任务或者技能的进行基于内容的语义编码：

根据步骤1中输出的工作任务或技能的每个词的词向量，利用双向的长短时记忆网络以序列的方式对工作任务或技能的词进行高层语义编码。

步骤3)基于步骤2的输出和步骤1构建的3个网络，对工作任务或技能进行基于网络结构的语义编码：

该过程包含四个步骤：(1)在网络中，获得当前节点的邻居节点。(2)使用多头的自注意力机制基于节点间的相似性学习节点的融合权重。初始化的节点表示为步骤2中得到的节点内容的语义表示。(3)使用批归一化策略，缓解多层图神经网络造成的中间层数据分布发生变化的情况。(4)三个网络联合训练，得到融合了网络结构和节点丰富内容的两种节点(工作任务和技能)的四种语义表示。

步骤4)基于步骤3的节点语义表示，计算工作任务与技能间的相似性，基于相似性进行技能的预测。

该过程包含三个步骤：(1)同种类型节点的不同语义表示进行拼接，得到多种关系综合考虑的互补语义表示。(2)工作任务与所有技能进行相似性计算，基于相似性使用全连接网络映射为特征语义表示。(3)基于特征语义表示，使用多标签分类器进行技能预测。

在步骤1)中：输入经过分词处理后的工作任务和技能，其中工作任务表示为如下形式：

技能表示为如下形式：S＝(s₁，s₂，...，s_p)

其中，m_i表示工作任务中包含的词个数，j_i，，j表示第i个工作任务中的第j个词；p表示技能的总个数，s_i表示第i个技能。

构建三个网络具体包含如下步骤：

步骤1.1)，在工作任务网络中，基于共享的基本信息计算边关联分数：

其中，

是指示函数，如果·成立则返回1否则返回0，b_i，j表示第i个工作的第j个基本信息，q表示基本信息的总个数。

大于阈值，构建边关系：

步骤1.2)，在技能网络中，基于共现次数计算边关联分数：

其中，ψ(Y_m，s_i，s_j)表示如果s_i和s_j同时出现在Y_m(第m个工作)则返回1否则返回0。N是数据集的大小。大于阈值，构建边关系：

步骤1.3)，在工作任务-技能网络中，基于工作任务网路中邻居的技能历史计算边关联分数：

其中，

表示工作任务网络中第i个节点的邻居。

大于阈值，构建边关系：

其中，rank_μ(·)是排序函数，返回降序排序中的第μ个值的大小。

在步骤2)中：基于节点内容(工作任务或技能)的词向量，使用双向的长短时记忆网络对词的高层语义表示进行编码：

在步骤3)中：基于节点的内容语义表示，三个图神经网络联合训练对工作任务或技能进行基于网络结构的语义编码：

步骤3.1)，基于邻居学习相似性：

其中，V^l和W^l是可以学习的参数，j是i的网络邻居节点。其中，h^l表示节点的语义表示，初始化为内容的高层语义表示。

步骤3.2)，基于相似性，计算注意力机制权重，同时为了使训练更稳定，本发明采用多头注意力机制：

其中，α^l，k和W^l，k是可以学习的参数，k是注意力的头数。||表示向量的拼接，l表示第l层。

步骤3.3)，基于融合了内容和网络结构的节点语义表示，使用批归一化策略：

其中，g^l和b^l是可以学习的参数。

步骤3.4)，基于上述步骤可以得到基于三个网络的两种节点的四种语义表示：

工作任务网络中工作任务节点的语义表示：R^J-J

工作任务-技能网络中工作任务节点的语义表示：R^J-JS

技能网络中技能节点的语义表示：R^S-S

工作任务-技能网络中技能节点的语义表示：R^S-JS

在步骤4)中，基于不同类型的节点表示，计算相似性进行技能预测：

步骤4.1)，同种类型节点进行拼接，得到互补语义表示。

步骤4.2)，基于互补语义表示，计算相似性并映射为特征表示：

其中，ω，ε和M是可学习的参数。

步骤4.3)，基于特征表示，构建多标签分类器：

其中，P_i，j表示第i个工作任务需要掌握第j个技能的概率。

参考文献：

[1]Jochen Malinowski,Tobias Keim,Oliver Wendt,and TimWeitzel.2006.Match-ing People and Jobs:A Bilateral Recommendation Approach.In39th Hawaii International International Conference on Systems Science.

[2]ChuanQin,HengshuZhu,ChenZhu,TongXu,FuzhenZhuang,ChaoMa,Jing-shuaiZhang,and Hui Xiong.2019.DuerQuiz:A Personalized Question Rec-ommender Systemfor Intelligent Job Interview.In Proceedings of the 25th ACM SIGKDDInternational Conference on Knowledge Discovery&Data Mining,KDD.

[3]Huang Xu,Zhiwen Yu,Jingyuan Yang,Hui Xiong,and HengshuZhu.2016.Talent Circle Detection in Job Transition Networks.In Proceedings ofthe 22nd ACM SIGKDD International Conference on Knowledge Discovery and DataMining.

[4]Ying Sun,Fuzhen Zhuang,Hengshu Zhu,Xin Song,Qing He,and HuiXiong.2019.The Impact of Person-Organization Fit on Talent Management:AStructure-Aware Convolutional Neural Network Approach.In Proceedings of the25th ACM SIGKDD International Conference on Knowledge Discovery&Data Mining.

[5]Thomas N.Kipf and Max Welling.[n.d.].Semi-SupervisedClassification with Graph Convolutional Networks.In 5th InternationalConference on Learning Representations.

[6]Liang Yao,Chengsheng Mao,and Yuan Luo.2019.Graph ConvolutionalNetworks for Text Classification.In AAAI Conference on ArtificialIntelligence.

[7]Joost Bastings,Ivan Titov,Wilker Aziz,Diego Marcheggiani,andKhalil Sima’an.2017.Graph Convolutional Encoders for Syntax-aware NeuralMachine Transla-tion.In Proceedings of the Conference on Empirical Methods inNatural Language Processing.

[8]Changzhi Sun,Yeyun Gong,Yuanbin Wu,Ming Gong,Daxin Jiang,Man Lan,Shiliang Sun,and Nan Duan.2019.Joint type inference on entities and relationsvia graph convolutional networks.In Proceedings of the 57th Annual Meeting ofthe Association for Computational Linguistics.

[9]Gerard Salton,A.Wong,and Chung-Shu Yang.1975.A Vector Space Modelfor Automatic Indexing.(1975),613–620.

[10]Andrei Z.Broder,Steven C.Glassman,Mark S.Manasse,and GeoffreyZweig.1997.Syntactic Clustering of the Web.Computer Networks 29,8-13(1997),1157–1166.

[11]Tomas Mikolov,Kai Chen,Greg Corrado,and JeffreyDean.2013.Efficient estimation of word representations in vector space.arXivpreprint arXiv:1301.3781(2013).

[12]Quoc V.Le and Tomas Mikolov.2014.Distributed Representations ofSentences and Documents.In Proceedings of the 31th International Conferenceon Machine Learning.

[13]Jesse Read,Bernhard Pfahringer,Geoff Holmes,and EibeFrank.2011.Classifier chains for multi-label classification.Machine Learning85,3(2011),333–359.

[14]Lior Rokach,Alon Schclar,and Ehud Itach.2014.Ensemble methods formulti-label classification.Expert Syst.Appl.41,16(2014),7507–7523.

[15]Lei Feng,Bo An,and Shuo He.2019.Collaboration Based Multi-LabelLearning.In The Thirty-Third AAAI Conference on Artificial Intelligence.

[16]Pengcheng Yang,Xu Sun,Wei Li,Shuming Ma,Wei Wu,and HoufengWang.2018.SGM:Sequence Generation Model for Multi-label Classification.InProceedings of the 27th International Conference on ComputationalLinguistics.

Claims (8)

1.一种基于多图神经网络联合学习的工作技能预测方法，其特征是包括以下步骤：

步骤1，获得以文本的形式存储工作任务数据，并根据这些数据构建三个网络；同时输入经过分词处理后的工作任务详情和技能，使用词向量的方法初始化每个词的浅层语义表示，

三个网络包括：工作任务网络，该图节点内容为工作任务详情词序列，具有相同的基本信息点的节点将被彼此相连；技能网络，该图节点为技能词序列，特定职位下共同出现过的节点将被彼此相连；工作任务-技能二部图，该图借鉴协同过滤思想，给定特定职位，在工作任务网络中找到邻居职位，将邻居职位所需的技能与当前特定职位相连；

步骤2，基于步骤1中的节点内容的输出，对工作任务或者技能的进行基于内容的语义编码，

该步骤是根据步骤1中输出的工作任务或技能的每个词的词向量，利用双向的长短时记忆网络以序列的方式对工作任务或技能的词进行高层语义编码；

步骤3，基于步骤2的输出和步骤1构建的3个网络，对工作任务或技能进行基于网络结构的语义编码；

步骤4，基于步骤3的节点语义表示，计算工作任务与技能间的相似性，基于相似性进行技能的预测。

2.根据权利要求1所述的基于多图神经网络联合学习的工作技能预测方法，其特征是：步骤1中，构建三个网络包含以下步骤：(1)在工作任务网络中，基于共享的基本信息计算边关联分数，大于阈值节点间构建边；(2)在技能网络中，基于技能的共现次数计算边关联分数，大于阈值节点间构建边；(3)在工作任务-技能二部图网路中，基于工作任务网络中工作任务的邻居的技能计算边关联分数，大于阈值节点间构建边。

3.根据权利要求1所述的基于多图神经网络联合学习的工作技能预测方法，其特征是：步骤3中包含四个步骤：(1)在网络中，获得当前节点的邻居节点；(2)使用多头的自注意力机制基于节点间的相似性学习节点的融合权重，初始化的节点表示为步骤2中得到的节点内容的语义表示；(3)使用批归一化策略，缓解多层图神经网络造成的中间层数据分布发生变化的情况；(4)三个网络联合训练，得到融合了网络结构和节点丰富内容的工作任务和技能两种节点的四种语义表示。

4.根据权利要求1所述的基于多图神经网络联合学习的工作技能预测方法，其特征是：步骤4包含三个步骤：(1)同种类型节点的不同语义表示进行拼接，得到多种关系综合考虑的互补语义表示；(2)工作任务与所有技能进行相似性计算，基于相似性使用全连接网络映射为特征语义表示；(3)基于特征语义表示，使用多标签分类器进行技能预测。

5.根据权利要求1所述的基于多图神经网络联合学习的工作技能预测方法，其特征是：在步骤1中，输入经过分词处理后的工作任务和技能，其中工作任务表示为如下形式：

技能表示为如下形式：S＝(s₁，s₂，...，s_p)

其中，m_i表示工作任务中包含的词个数，j_i，j表示第i个工作任务中的第j个词；p表示技能的总个数，s_i表示第i个技能。

6.根据权利要求1或2所述的基于多图神经网络联合学习的工作技能预测方法，其特征是：构建三个网络具体包含如下步骤：

步骤1.1)，在工作任务网络中，基于共享的基本信息计算边关联分数：

其中，

是指示函数，如果·成立则返回1否则返回0，b_i，j表示第i个工作的第j个基本信息，q表示基本信息的总个数；

大于阈值，构建边关系：

步骤1.2)，在技能网络中，基于共现次数计算边关联分数：

其中，ψ(Y_m，s_i，s_j)表示如果s_i和s_j同时出现在Y_m，第m个工作，则返回1否则返回0；N是数据集的大小，Y_m指第m个工作；

大于阈值，构建边关系：

步骤1.3)，在工作任务-技能网络中，基于工作任务网路中邻居的技能历史计算边关联分数：

其中，

表示工作任务网络中第i个节点的邻居；

大于阈值，构建边关系：

其中，rank_μ(·)是排序函数，返回降序排序中的第μ个值的大小。

7.根据权利要求1或3所述的基于多图神经网络联合学习的工作技能预测方法，其特征是：步骤3是基于节点的内容语义表示，三个图神经网络联合训练对工作任务或技能进行基于网络结构的语义编码，包括：

步骤3.1)，基于邻居学习相似性：

其中，V^l和W^l是可以学习的参数，j是i的网络邻居节点，其中，h^l表示节点的语义表示，初始化为内容的高层语义表示；

步骤3.2)，基于相似性，计算注意力机制权重，同时为了使训练更稳定，本发明采用多头注意力机制：

其中，α^l，k和W^l，k是可以学习的参数，k是注意力的头数，||表示向量的拼接，l表示第l层；

步骤3.3)，基于融合了内容和网络结构的节点语义表示，使用批归一化策略：

其中，g^l和b^l是可以学习的参数；

步骤3.4)，基于上述步骤可以得到基于三个网络的两种节点的四种语义表示：工作任务网络中工作任务节点的语义表示、工作任务-技能网络中工作任务节点的语义表示、技能网络中技能节点的语义表示、工作任务-技能网络中技能节点的语义表示。

8.根据权利要求1或4所述的基于多图神经网络联合学习的工作技能预测方法，其特征是：步骤4是基于不同类型的节点表示，计算相似性进行技能预测，包括：

步骤4.1)，同种类型节点进行拼接，得到互补语义表示；

步骤4.2)，基于互补语义表示，计算相似性并映射为特征表示：

其中，ω，ε和M是可学习的参数；

步骤4.3)，基于特征表示，构建多标签分类器：

其中，P_i，j表示第i个工作任务需要掌握第j个技能的概率。

Images