CN116304518A - 用于信息推荐的异质图卷积神经网络模型构建方法及系统 - Google Patents

用于信息推荐的异质图卷积神经网络模型构建方法及系统 Download PDF

Info

Publication number
CN116304518A
CN116304518A CN202310389653.2A CN202310389653A CN116304518A CN 116304518 A CN116304518 A CN 116304518A CN 202310389653 A CN202310389653 A CN 202310389653A CN 116304518 A CN116304518 A CN 116304518A
Authority
CN
China
Prior art keywords
neural network
network model
heterogeneous
information
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310389653.2A
Other languages
English (en)
Inventor
王昊
李际超
姚锋
宋彦杰
杨文川
欧俊威
雷天扬
王涛
陈英武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310389653.2A priority Critical patent/CN116304518A/zh
Publication of CN116304518A publication Critical patent/CN116304518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种用于信息推荐的异质图卷积神经网络模型构建方法及系统,该方法包括如下步骤:获取多个早期求职者的简历信息,并基于所有所述简历信息构建异质简历图;从所述异质简历图中提取特征矩阵;获取所述简历信息之间的关联属性,并基于所述关联属性构建初始邻接矩阵;根据所述简历信息中的教育信息和技能信息构建以各个所述简历信息为节点的多条元路径;将所有所述元路径和所述初始邻接矩阵聚合为目标邻接矩阵;以所述特征矩阵和所述目标邻接矩阵作为模型输入,并以图卷积神经网络为框架构建异质图卷积神经网络模型。本发明所构建的异质图卷积神经网络模型可以节省早期求职者在筛选招聘信息过程中的时间和精力。

Description

用于信息推荐的异质图卷积神经网络模型构建方法及系统
技术领域
本发明属于互联网技术领域,具体是涉及到一种用于信息推荐的异质图卷积神经网络模型构建方法及系统。
背景技术
近年来,随着人工智能相关技术的发展,在线招聘平台不断涌现,旨在为潜在求职者和用人单位提供服务。鉴于职位空缺和求职者众多,招聘人员很难及时找到合适的求职者人选。通常来讲,招聘人员将更关注早期求职者简历的两个部分,即教育背景和技能水平。教育背景反映了求职者保持长期努力的习惯,而技能水平反映了求职者学习新事物的能力。传统的招聘流程主要依靠招聘人员的主观经验,难以对大量求职者的简历信息进行定量、全面的评价。因此,许多招聘平台均基于机器学习方法构建神经网络模型,从而快速的进行人岗匹配,将合适的求职者简历推送给招聘人员,实现智能人力资源管理。
但招聘是双向选择的过程,应满足求职者和招聘者双方的双向需求,向求职者推荐合适的职位同样是招聘平台极其关键的任务。然而现有的招聘平台所采用的机器学习方法研究严重依赖人工特征和专家知识,导致成本高、难以更新且容易出错。而且现有的运用机器学习模型的招聘平台均是根据求职者的工作经历进行招聘信息推荐,由于早期求职者并没有相应工作经历,所以现有的机器学习模型不能直接应用于诸如应届毕业生这类的早期求职者。面对海量的招聘信息,早期求职者不得不花费大量的时间和精力进行寻找和筛选,才能找到相对合适的工作岗位。
发明内容
本发明提供一种用于信息推荐的异质图卷积神经网络模型构建方法及系统,以解决机器学习模型无法应用于早期求职者,而导致早期求职者需要花费大量的时间和精力筛选海量的招聘信息,才能找到相对合适的工作岗位的问题。
第一方面,本发明提供一种用于信息推荐的异质图卷积神经网络模型构建方法,该方法包括如下步骤:
获取多个早期求职者的简历信息,并基于所有所述简历信息构建异质简历图;
从所述异质简历图中提取特征矩阵;
获取所述简历信息之间的关联属性,并基于所述关联属性构建初始邻接矩阵;
根据所述简历信息中的教育信息和技能信息构建以各个所述简历信息为节点的多条元路径;
将所有所述元路径和所述初始邻接矩阵聚合为目标邻接矩阵;
以所述特征矩阵和所述目标邻接矩阵作为模型输入,并以图卷积神经网络为框架构建异质图卷积神经网络模型。
可选的,所述异质图卷积神经网络模型还包括两层隐藏层和一层输出层。
可选的,所述异质图卷积神经网络模型中神经网络层的函数表达式为:
f(H(l),B)=RELU(BH(l)W(l))
式中:H(0)=X,H(l)=Z,X为所述特征矩阵,l为所述神经网络层的层数,Z为图级输出,W(l)为所述神经网络层的权重,RELU(·)是非线性激活函数ReLU,且RELU(x)=max(0,x)。
可选的,所述输出层为softmax层,所述输出层的表达式为:
Figure BDA0004175361070000021
可选的,所述异质图卷积神经网络模型中的损失函数定义为负对数似然损失,所述损失函数的表达式为:
Figure BDA0004175361070000022
可选的,所述方法还包括如下步骤:
通过将预设的单位矩阵与所述目标邻接矩阵相加以设置所述异质简历图的自循环。
可选的,所述方法还包括如下步骤:
将所述目标邻接矩阵归一化为对称邻接矩阵;
基于所述对称邻接矩阵更新所述异质图卷积神经网络模型中的神经网络层。
可选的,所述对称邻接矩阵的计算公式为:
Figure BDA0004175361070000023
式中:
Figure BDA0004175361070000024
B为所述目标邻接矩阵,/>
Figure BDA0004175361070000025
为所述对称邻接矩阵,/>
Figure BDA0004175361070000026
为所述对称邻接矩阵的对角节点度矩阵。
可选的,更新所述神经网络层的表达式如下:
Figure BDA0004175361070000027
式中:H(0)=X,X为所述特征矩阵,l为所述神经网络层的层数,W(l)为所述神经网络层的权重,σ为所述异质图卷积神经网络模型的输出层。
第二方面,本发明还提供一种用于信息推荐的异质图卷积神经网络模型构建系统,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面中所述的方法。
本发明的有益效果是:
本发明中的用于信息推荐的异质图卷积神经网络模型构建方法包括如下步骤:获取多个早期求职者的简历信息,并基于所有所述简历信息构建异质简历图;从所述异质简历图中提取特征矩阵;获取多个所述简历信息之间的关联属性,并基于所述关联属性构建初始邻接矩阵;根据所述简历信息中的教育信息和技能信息构建以各个所述简历信息为节点的多条元路径;将所有所述元路径和所述初始邻接矩阵聚合为目标邻接矩阵;以所述特征矩阵和所述目标邻接矩阵作为模型输入,并以图卷积神经网络为框架构建异质图卷积神经网络模型。通过异质图卷积神经网络模型可以挖掘早期求职者简历中的教育和技能相关信息,从而精准定位早期求职者的类别,进而可以根据早期求职者的类别推荐最合适的招聘信息,以节省早期求职者在筛选招聘信息过程中的时间和精力。同时,加速招聘者从海量求职简历中筛选合适的早期求职者的过程。
附图说明
图1为本申请其中一种实施方式中用于信息推荐的异质图卷积神经网络模型构建方法的流程示意图。
图2为本申请其中一种实施方式中参数dropout与异质图卷积神经网络模型精度之间的关系示意图。
图3为本申请其中一种实施方式中参数学习率与异质图卷积神经网络模型精度之间的关系示意图。
图4为本申请其中一种实施方式中将不同的元路径添加到邻接矩阵的准确性示意图。
具体实施方式
本发明公开一种用于信息推荐的异质图卷积神经网络模型构建方法。
在其中一种实施方式中,参照图1,用于信息推荐的异质图卷积神经网络模型构建方法具体包括如下步骤:
S101.获取多个早期求职者的简历信息,并基于所有简历信息构建异质简历图。
其中,早期求职者指应届毕业生之类没有工作经历,但具有一定学历、技能和学习能力的求职者,可以通过招聘平台获取早期求职者的简历信息。异质简历图属于一种异质图,异质图定义为
Figure BDA0004175361070000031
其中/>
Figure BDA0004175361070000032
是节点集,ε代表边集,异质图的网络模式表示为
Figure BDA0004175361070000033
节点集到节点类型集的映射函数表示为/>
Figure BDA0004175361070000034
而链路集映射到链路类型集表示为/>
Figure BDA0004175361070000035
对于每个节点v∈V,都与一个典型的节点类型相关联/>
Figure BDA0004175361070000036
此外,每个链接都e∈E,均与一种典型的链接类型相关联/>
Figure BDA0004175361070000037
节点类型和链接类型的集合分别表示为/>
Figure BDA0004175361070000038
和/>
Figure BDA0004175361070000039
其中/>
Figure BDA00041753610700000310
在本实施方式中,将异质简历图定义为G=(AG,LG)。AG是不同类型的顶点的组合,LG是各种链接的集合,其中,lG∈LG,aG∈AG。假定每个节点都连接到自身,即对于任何aG满足(aG,aG)∈AG。将特征矩阵定义为
Figure BDA00041753610700000311
其中m是特征向量的维数,n是节点数。每行/>
Figure BDA00041753610700000312
是a的特征向量。
S102.从异质简历图中提取特征矩阵。
其中,异质简历图中每一个简历信息都代表一个节点,每个节点都具有节点特征。将节点特征设置为一个N×M维的特征矩阵X,其中N为节点数,M为节点特征数。
S103.获取简历信息之间的关联属性,并基于关联属性构建初始邻接矩阵。
其中,在本实施方式中,关联属性为招聘平台上用户之间的关系属性,关联属性中包含显示在招聘平台目标用户简历信息页面上的其他用户列表,即查看目标用户的简历信息页面时也会看到其他用户列表中的其他用户。其他用户列表中其他用户的简历信息与目标用户的简历信息相似。可以将两个简历信息之间的关联属性视为两个简历信息之间的链接,从而可以根据关联属性构建初始邻接矩阵B。同时定义初始邻接矩阵B的度矩阵D,度矩阵D的表达式为Dpp=∑pBpq。度矩阵是一个图论中常用的概念,通常用来描述一个图的度数统计信息。在一个无向图中,每个节点的度数是指与该节点直接相邻节点的数量,而度矩阵则是一个对角矩阵,其中每个对角线上的元素表示对应节点的度数。由于自循环的存在,初始邻接矩阵B的对角线元素均被分配为1。
在其中一种实施方式中,通过将预设的单位矩阵与目标邻接矩阵相加以设置异质简历图的自循环。具体而言,在邻接矩阵的表示方法中,每个节点和其相邻的节点之间都会有一个权重表示它们之间的连接强度,但如果顺带丢失了节点和其自身之间的连接,就可以通过添加一个表示自循环的权重来弥补这一缺失。而这个自循环的权重可以通过在邻接矩阵中添加一个单位矩阵来实现。
具体步骤为,将邻接矩阵与单位矩阵相加得到加权邻接矩阵,然后将加权邻接矩阵作为基于自循环的神经网络层的输入,即可在网络中引入自循环连接。由于单位矩阵代表的是一个节点和其自身之间的连接,因此通过和邻接矩阵相加来修正邻接矩阵,就达到了设置自循环的目的。
S104.根据简历信息中的教育信息和技能信息构建以各个简历信息为节点的多条元路径。
其中,元路径定义了节点
Figure BDA0004175361070000041
和/>
Figure BDA0004175361070000042
之间的关系集合/>
Figure BDA0004175361070000043
其中符号/>
Figure BDA0004175361070000044
表示关系上的组合运算符。元路径扩展了异质图网络中链接类型的概念,并根据它们的组成携带不同的语义。
在本实施方式中,用Res={r1,r2,...,rn}表示n个早期求职者的简历信息,每个单独的简历信息可以用一组属性来描述,表示为Res={Edu,Sk},其中Edu={e1,e2,...,et}表示早期求职者的教育信息,t值越小,代表早期求职者的教育经历越早,因此et可以代表早期求职者时间距离最近的一次教育经历。教育信息还可以进行细分,具体表示为Edu={Deg,Unr,Maj},其中Deg代表简历信息中的学历信息,Unr代表简历信息中的学校世界排名信息,Maj代表简历信息中的专业信息。Sk为早期求职者的技能信息,定义为Sk={s1,s2,...,sj}。
由于整体简历信息过于复杂和分散。因此,可以将简历信息处理为分类数据,表示为Job={T1,T2,...,To},简历信息可以用一组属性来描述,表示为Res={Deg,Unr,Maj,Sk}。两个简历信息之间的关系属性表示为
Figure BDA0004175361070000051
其中r*表示简历信息的属性信息。
在本实施方式中,不同的元路径从不同的角度捕捉简历信息之间的语义关系,例如,元路径“RDR”表示两个简历信息对应的早期求职者具有相同的学历水平。元路径“RSR”表示两个简历信息具有相似的技能信息。元路径“RSR”表示两个简历信息具有相同的学校世界排名信息。元路径“RMR”表示两个简历信息具有相同的专业信息。
S105.将所有元路径和初始邻接矩阵聚合为目标邻接矩阵。
其中,在构造了简历信息之间的初始邻接矩阵和不同的元路径后,可以将它们聚合为一个新的目标邻接矩阵。在本实施方式中,具体可以采用如下步骤:
构建元路径矩阵:对图进行元路径采样,得到若干种元路径(metapath),然后构建元路径矩阵,其中每一列代表一种元路径,每一行代表一个节点。在元路径矩阵中,每个元素表示某个元路径是否经过了该节点,采用0/1编码。
得到节点上下文向量:将元路径矩阵乘以邻接矩阵,得到节点上下文向量矩阵。在节点上下文向量矩阵中,每一行代表一个节点,每一列表示相应元路径对应的节点上下文向量。
元路径聚合:对于每个节点,将其上下文向量按照一定方式聚合为一个向量。常见的聚合方式包括将所有上下文向量相加、求平均值、采用注意力机制等。
得到新的邻接矩阵:将每个节点聚合后得到的向量按一定方式组合,得到新的节点表示向量作为新的邻接矩阵的一行(或一列)。
S106.以特征矩阵和目标邻接矩阵作为模型输入,并以图卷积神经网络为框架构建异质图卷积神经网络模型。
其中,异质图卷积神经网络模型为半监督节点分类的异质图卷积网络模型。图卷积神经网络将聚合来自节点的一阶邻居的特征信息。因此,异质图卷积神经网络模型可以通过两层卷积来捕获近邻信息。异质图卷积神经网络模型直接在图上运行,并根据它们的邻域属性导出节点嵌入向量。堆叠多个图卷积神经网络层时,会聚合有关较大邻域的信息。
在其中一种实施方式中,步骤S106中所构建的异质图卷积神经网络模型包含一层输入层、两层隐藏层和一层输出层,特征矩阵和目标邻接矩阵作为输入层,两层隐藏层的节点嵌入与标签集大小相同。在本实施方式中,异质图卷积神经网络模型中的每一层神经网络层均可以表示为一个非线性函数,神经网络层的函数表达式为:
f(H(l),B)=RELU(BH(l)W(l))
式中:H(0)=X,H(l)=Z,X为特征矩阵,l为神经网络层的层数,Z为图级输出,W(l)为神经网络层的权重,RELU(·)是非线性激活函数ReLU,且RELU(x)=max(0,x)。
在本实施方式中,输出层为softmax层,输出层的表达式为:
Figure BDA0004175361070000061
将异质简历图输入至异质图卷积神经网络模型后,分别获得不同元路径下的节点嵌入向量,然后将所有节点嵌入向量聚合以获得最终嵌入向量,最后将最终嵌入向量输入至softmax层,可以得到图级输出Z,表达式为:
Figure BDA0004175361070000062
其中X是特征矩阵,
Figure BDA0004175361070000063
和/>
Figure BDA0004175361070000064
均为具有特征映射的隐藏层的权重,σ表示softmax层。
在其中一种实施方式中,由于本发明中所构建的异质图卷积神经网络模型用于解决多分类问题,因此将损失函数定义为负对数似然损失,损失函数的表达式为:
Figure BDA0004175361070000065
其中yi代表只计算类别中真实类别对应的概率值的对数C。例如,如果C=2,则
Figure BDA0004175361070000066
Figure BDA0004175361070000067
遵循概率分布并求和为1。
由于异质图卷积神经网络模型是一种通过训练来学习从输入到输出的映射关系的模型。在模型训练过程中,通过后向传播算法(backpropagation)计算误差并将误差分配到每个神经元之间的连接权重上,然后通过梯度下降法来更新权重和偏置项,从而不断优化模型的性能。而更新神经网络层是指在神经网络中更新神经元之间的连接权重和偏置项,从而使网络能够逐渐适应训练数据,进而提高其性能和准确率。在深度学习领域,更新神经网络层通常是一个不断迭代的过程,需要结合实际数据和任务需求,不断调整神经网络结构和参数设置,以达到最佳的效果。
在其中一种实施方式中,可以通过如下步骤更新异质图卷积神经网络模型中的神经网络层:
将目标邻接矩阵归一化为对称邻接矩阵。
基于对称邻接矩阵更新异质图卷积神经网络模型中的神经网络层。
在本实施方式中,对称邻接矩阵的计算公式为:
Figure BDA0004175361070000068
式中:
Figure BDA0004175361070000069
B为目标邻接矩阵,/>
Figure BDA00041753610700000610
为对称邻接矩阵,/>
Figure BDA00041753610700000611
为对称邻接矩阵的对角节点度矩阵。
更新神经网络层的表达式如下:
Figure BDA0004175361070000071
式中:H(0)=X,X为特征矩阵,l为神经网络层的层数,W(l)为神经网络层的权重,σ为异质图卷积神经网络模型的输出层。
在其中一种实施方式中,基于实际数据集以及8种不同的基线模型验证本发明中异质图卷积神经网络模型的可行性,8种基线模型分别为图卷积网络(GCN)、图注意力网络(GAT)、支持向量机(SVM)、K-最近邻(KNN)、Adaboost(AB)、随机森林(RF)、逻辑回归(LR)和朴素贝叶斯分类器(NBC)。
GCN用于图结构化数据的半监督学习,它是卷积神经网络的更高效版本。它被巧妙地设计用于从图形数据中提取特征,从而可以将这些特征用于节点分类目的。与GCN相比,GAT采用注意力机制来实现更有效的邻居聚合。GAT不需要复杂的矩阵运算或图形结构的先验知识。GAT在卷积过程中通过叠加自注意力层为邻域内的不同节点分配不同的重要性。
SVM通过识别称为分类平面的分离边界来处理分类任务,该边界最大化边界与每一侧最近的数据点之间的距离,目的是有效地将数据点划分为单独的类。KNN理论比较成熟,思想简单,既可以用于分类也可以用于回归。KNN的思想是,如果一个样本附近的K个最近(即特征空间中最近邻)样本中的大多数属于特征空间中的某个类别,则该样本也属于该类别。
AB是一种方法,涉及使用训练数据训练多个简单分类器,然后将它们合并成一个强大的分类器。RF是一个包含多个决策树的分类器,可以很好地处理多分类问题。RF的输出类别由森林中的每棵决策树分别判断,最终预测的类别由选择最多的类别决定。
LR能够解决多个分类任务,并用于表示事件发生的概率。LR易于部署,需要最少的计算能力,提供快速的结果,并在分类过程中使用最少的存储资源。NBC是基于贝叶斯定理的最广泛使用的分类算法之一。贝叶斯分类算法的本质是计算条件概率。
为了评估所有模型的分类性能,选取以下五个具有代表性的评估指标:准确性、精度、Macro-F1 score和AUC。其中,准确性衡量模型正确预测的比例。它是通过在实例总数上正确预测标签来计算的。准确性Accuracy具体计算公式如下:
Figure BDA0004175361070000072
精度是指被模型识别为Positive的项目真正为Positive的比例。它可以通过将准确预测的正标签数除以正预测总数来计算。精度越高表示误报率越低。精度Precison具体计算公式如下:
Figure BDA0004175361070000073
Macro-F1 score在调和均值的概念下结合了精确率和召回率,并在这两个量之间找到了最佳权衡。具体计算公式如下:
Figure BDA0004175361070000081
Figure BDA0004175361070000082
Figure BDA0004175361070000083
其中TP、TN、FP、FN分别表示真阳性、真阴性、假阳性和假阴性。
AUC表示概率,表示分类算法区分正样本和负样本的能力。较高的AUC值表明该算法更有效地将正样本置于负样本之前,表明更好的分类性能。AUC的具体计算公式如下:
Figure BDA0004175361070000084
其中P、N、M分别代表正样本、负样本和分类类别的个数。
本实施方式中在Pytorch Geometric 1.11.0中进行实验,首先将学习率设置为0.01,dropout设置为0.2。然后对模型进行超过900代的训练,并将衰减权重设置为0.0005。为了每次都生成相同的模型初始化可学习参数,设置的随机数种子为42。在这种情况下,将隐藏的异质图卷积神经网络模型层数设置为16个单元。对异质图卷积神经网络模型使用两步元路径,元路径的数量为4。
表1异质图卷积神经网络模型与基线模型的性能数据
准确性 精度 Macro-F1score AUC
异质图卷积神经网络模型 0.8591 0.9011 0.8218 0.8475
GCN 0.7350 0.4905 0.5173 0.6911
GAT 0.6644 0.6532 0.6189 0.6299
SVM 0.5745 0.5209 0.5401 0.5495
KNN 0.5532 0.1829 0.1879 0.5345
AB 0.5390 0.4683 0.5003 0.5382
RF 0.5887 0.1951 0.2105 0.5553
LR 0.6312 0.3206 0.2714 0.5829
NBC 0.0922 0.0768 0.0974 0.5643
实验结果参照表1,异质图卷积神经网络模型表现最好,明显优于所有基线模型。不添加元路径的比添加元路径的异质图卷积神经网络模型表现更差。这表明向异质简历图添加元路径可以保留简历信息之间的句法和语义关系,这可以在大型外部简历数据中提供额外的信息。异质图卷积神经网络模型明显优于基线模型,表明异质图卷积神经网络模型可以充分结合节点及其邻居的特征来分析简历信息。NBC依赖于样本属性独立的假设,在实验数据集上取得了最差的结果,意味着样本属性是关联的。GAT的表现比异质图卷积神经网络模型差,表明GAT的无监督简历嵌入在工作分类中不是很有辨别力。
异质图卷积神经网络模型是一种改进的GCN模型,作为拉普拉斯平滑的一种特殊形式,节点的新特征被计算为节点自身及其二阶邻居的加权平均值。因此,异质图卷积神经网络模型结合了异质图中节点自身及其邻居的特征来分析节点,所以在节点分类方面表现良好。又由于在异质图卷积神经网络模型中添加元路径作为特征,异质图可以捕获节点-节点关系和全局节点-元路径关系。因此,异质图卷积神经网络模型更具可解释性。
在其中一种实施方式中,通过精度测试实验进一步评估了异质图卷积神经网络模型的稳健性。参照图2,图2显示了不同参数设置下的测试精度。随着dropout变大,测试准确率逐渐降低,但平均准确率在0.5处有一个短暂的上升。这表明dropout在0.5时随机生成相对更多的网络结构。
参照图3,在图3中,描述了具有不同学习率的异质图卷积神经网络模型的分类性能。可以观察到测试精度达到了最优解,并且在参数学习率为0.01时相对稳健。此外,过高的参数学习率不会提高分类性能,并可能导致振荡。
参照图4,图4表示将不同的元路径添加到邻接矩阵的准确性。X轴中的变量A表示单独使用关联属性作为邻接矩阵。并且,轴中的变量AD、AM、AU、AS、AMS、ADMSU分别表示将元路径RDR、RMR、RUR、RSR、RMR和RSR、RDR、RMR、RUR和RSR添加到关联属性。当邻接矩阵将所有四个元路径添加到关联属性时,异质图卷积神经网络模型达到最佳性能。当邻接矩阵是关联属性和元路径RDR的组合时,模型性能相对于不添加有所降低。然而,通过将元路径RDR作为AMSU添加到邻接矩阵中,异质图卷积神经网络模型的准确性得到了显着提高。结果表明,早期求职者在选择工作时,不应仅关注学历水平,还应对其教育背景和技能水平进行综合评估。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本申请的保护范围限于这些例子;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上的本申请中一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
本申请中一个或多个实施例旨在涵盖落入本申请的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本申请中一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,包括如下步骤:
获取多个早期求职者的简历信息,并基于所有所述简历信息构建异质简历图;
从所述异质简历图中提取特征矩阵;
获取所述简历信息之间的关联属性,并基于所述关联属性构建初始邻接矩阵;
根据所述简历信息中的教育信息和技能信息构建以各个所述简历信息为节点的多条元路径;
将所有所述元路径和所述初始邻接矩阵聚合为目标邻接矩阵;
以所述特征矩阵和所述目标邻接矩阵作为模型输入,并以图卷积神经网络为框架构建异质图卷积神经网络模型。
2.根据权利要求1所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,所述异质图卷积神经网络模型还包括两层隐藏层和一层输出层。
3.根据权利要求2所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,所述异质图卷积神经网络模型中神经网络层的函数表达式为:
f(H(l),B)=RELU(BH(l)W(l))
式中:H(0)=X,H(l)=Z,X为所述特征矩阵,l为所述神经网络层的层数,Z为图级输出,W(l)为所述神经网络层的权重,RELU(·)是非线性激活函数ReLU,且RELU(x)=max(0,x)。
4.根据权利要求2所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,所述输出层为softmax层,所述输出层的表达式为:
Figure FDA0004175361050000011
5.根据权利要求1所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,所述异质图卷积神经网络模型中的损失函数定义为负对数似然损失,所述损失函数的表达式为:
Figure FDA0004175361050000012
6.根据权利要求1所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,所述方法还包括如下步骤:
通过将预设的单位矩阵与所述目标邻接矩阵相加以设置所述异质简历图的自循环。
7.根据权利要求1所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,所述方法还包括如下步骤:
将所述目标邻接矩阵归一化为对称邻接矩阵;
基于所述对称邻接矩阵更新所述异质图卷积神经网络模型中的神经网络层。
8.根据权利要求7所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,所述对称邻接矩阵的计算公式为:
Figure FDA0004175361050000021
式中:
Figure FDA0004175361050000022
B为所述目标邻接矩阵,/>
Figure FDA0004175361050000023
为所述对称邻接矩阵,/>
Figure FDA0004175361050000024
为所述对称邻接矩阵的对角节点度矩阵。
9.根据权利要求8所述的用于信息推荐的异质图卷积神经网络模型构建方法,其特征在于,更新所述神经网络层的表达式如下:
Figure FDA0004175361050000025
式中:H(0)=X,X为所述特征矩阵,l为所述神经网络层的层数,W(l)为所述神经网络层的权重,σ为所述异质图卷积神经网络模型的输出层。
10.一种用于信息推荐的异质图卷积神经网络模型构建系统,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9中任意一项所述的方法。
CN202310389653.2A 2023-04-11 2023-04-11 用于信息推荐的异质图卷积神经网络模型构建方法及系统 Pending CN116304518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310389653.2A CN116304518A (zh) 2023-04-11 2023-04-11 用于信息推荐的异质图卷积神经网络模型构建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310389653.2A CN116304518A (zh) 2023-04-11 2023-04-11 用于信息推荐的异质图卷积神经网络模型构建方法及系统

Publications (1)

Publication Number Publication Date
CN116304518A true CN116304518A (zh) 2023-06-23

Family

ID=86778130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310389653.2A Pending CN116304518A (zh) 2023-04-11 2023-04-11 用于信息推荐的异质图卷积神经网络模型构建方法及系统

Country Status (1)

Country Link
CN (1) CN116304518A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757652A (zh) * 2023-08-17 2023-09-15 北京华品博睿网络技术有限公司 一种基于大语言模型的在线招聘推荐系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757652A (zh) * 2023-08-17 2023-09-15 北京华品博睿网络技术有限公司 一种基于大语言模型的在线招聘推荐系统及方法
CN116757652B (zh) * 2023-08-17 2023-10-20 北京华品博睿网络技术有限公司 一种基于大语言模型的在线招聘推荐系统及方法

Similar Documents

Publication Publication Date Title
US20220391767A1 (en) System and method for relational time series learning with the aid of a digital computer
Sarker Machine learning: Algorithms, real-world applications and research directions
CN110263227B (zh) 基于图神经网络的团伙发现方法和系统
Fong et al. Accelerated PSO swarm search feature selection for data stream mining big data
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
Tama et al. Tree-based classifier ensembles for early detection method of diabetes: an exploratory study
Abd-Alsabour A review on evolutionary feature selection
AlFarraj et al. Optimized feature selection algorithm based on fireflies with gravitational ant colony algorithm for big data predictive analytics
US10956825B1 (en) Distributable event prediction and machine learning recognition system
US11151463B2 (en) Distributable event prediction and machine learning recognition system
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
Liu et al. PHD: A probabilistic model of hybrid deep collaborative filtering for recommender systems
CN115688024A (zh) 基于用户内容特征和行为特征的网络异常用户预测方法
Gupta et al. A new swarm-based efficient data clustering approach using KHM and fuzzy logic
CN112632984A (zh) 基于描述文本词频的图模型移动应用分类方法
Protopapadakis et al. An investigation on multi-objective optimization of feedforward neural network topology
CN116304518A (zh) 用于信息推荐的异质图卷积神经网络模型构建方法及系统
Degirmenci et al. iMCOD: Incremental multi-class outlier detection model in data streams
Zhang et al. An intrusion detection method based on stacked sparse autoencoder and improved gaussian mixture model
CN110910235A (zh) 一种基于用户关系网络的贷中异常行为检测方法
Farooq Genetic algorithm technique in hybrid intelligent systems for pattern recognition
Ahan et al. Social network analysis using data segmentation and neural networks
CN107402984B (zh) 一种基于主题的分类方法及装置
Wang et al. A pso-based web document classification algorithm
Nirmalraj et al. Sparrow Search Optimization with Ensemble of Machine Learning Model for Customer Retention Prediction and Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination