CN113918813A - 基于聊天记录形式外部知识的人岗推荐方法及装置 - Google Patents

基于聊天记录形式外部知识的人岗推荐方法及装置 Download PDF

Info

Publication number
CN113918813A
CN113918813A CN202111181465.8A CN202111181465A CN113918813A CN 113918813 A CN113918813 A CN 113918813A CN 202111181465 A CN202111181465 A CN 202111181465A CN 113918813 A CN113918813 A CN 113918813A
Authority
CN
China
Prior art keywords
chat
representation
sample
resume
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111181465.8A
Other languages
English (en)
Inventor
赵东岩
贾爱霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202111181465.8A priority Critical patent/CN113918813A/zh
Publication of CN113918813A publication Critical patent/CN113918813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于聊天记录形式外部知识的人岗推荐方法及装置,其基于编码得到的简历文档表示、岗位描述文档表示及聊天记录表示,预测人岗相似度,从而获取人岗推荐结果。本发明通过将人岗相似度预测任务以及增益正则项的梯度信号反传给编码器与匹配网络,及将简历识别任务的损失函数的梯度反传给编码器中的聊天记录编码器,提高了人岗推荐的精确性。

Description

基于聊天记录形式外部知识的人岗推荐方法及装置
技术领域
本申请涉及自然语言处理技术与推荐系统技术,尤其涉及一种基于聊天记录形式外部知识的人岗推荐方法及装置。
背景技术
人岗推荐任务指的是机器基于用户简历文档以及岗位描述文档来预测人岗之间达成匹配的概率,从而将合适的用户与岗位进行匹配。然而,除了客观上简历文档与岗位描述文档的语义相似度信息之外,求职者用户的主观个性化偏好信息也是决定人岗是否匹配的一大关键因素。
一般来说,在人岗推荐应用平台上存在着求职者用户针对一些岗位的咨询/聊天记录的聊天记录。这些聊天记录信息不仅数量多、实时性好、易获取,而且其中往往蕴含用户的求职偏好信息。
而现有的人岗推荐方法都忽视了聊天记录的上述特定,导致人岗匹配的精确度有限。
发明内容
为解决上述问题,本发明提供一种基于聊天记录形式外部知识的人岗推荐方法及装置,将聊天记录信息作为外部知识来辅助用户简历文档以及岗位描述文档,从而进行更精确的人岗相似度预测。
为达到上述目的,本发明的技术内容包括:
一种基于聊天记录形式外部知识的人岗推荐方法,基于编码得到的简历文档表示、岗位描述文档表示及聊天记录表示,预测人岗相似度,从而获取人岗推荐结果。
进一步地,通过以下得到简历文档表示:
1)在简历文档中各句子之间添加‘SEP’这一token,并在简历文档开头添加‘CLS’这一token;
2)将处理后的简历文档输入预训练的语言模型,得到简历文档表示。
进一步地,通过以下步骤得到聊天记录表示:
1)通过将循环神经网络模型中的更新门控设为两个,构建改进循环神经网络模型;
2)将各轮的聊天记录di={ui,Ji,ai}输入改进循环神经网络模型;
3)使用两个更新门控分别控制聊天内容ui与聊天对象Ji,并结合重置门控对聊天行为ai的嵌入,得到各轮聊天记录的隐层状态表示;
4)基于简历文档表示,对各轮聊天记录的隐层状态表示进行注意力机制的加权计算,得到聊天记录表示。
进一步地,通过以下步骤得到隐层状态表示:
1)基于第i-1时刻的隐层状态表示hi-1及第i时刻的聊天记录di,得到第i时刻的更新门控pi、更新门控qi及重置门控v;
2)基于第i-1时刻的隐层状态表示hi-1及第i时刻的更新门控pi、更新门控qi、聊天内容ui、聊天对象Ji,得到第i时刻的参数
Figure BDA0003297420280000021
3)基于第i-1时刻的隐层状态表示hi-1及第i时刻的重置门控vi、参数
Figure BDA0003297420280000022
得到第i时刻的隐层状态表示hi
进一步地,通过以下步骤预测人岗相似度:
1)利用两个对称的前馈全连接网络,分别计算简历文档表示与岗位描述文档表示的相似度srj及聊天记录表示与岗位描述文档表示的相似度sdj
2)利用另一个前馈全连接网络,计算相似度srj与相似度sdj之间的权重系数λ;
3)根据相似度srj、相似度sdj及权重系数λ,得到人岗相似度。
进一步地,构建一人岗推荐模型,用以得到简历文档表示、岗位描述文档表示及聊天记录表示及预测人岗相似度,其中通过以下步骤训练人岗推荐模型:
1)获取若干组训练数据,其中每一组训练数据包括:若干简历文档样本、一岗位描述文档样本和一聊天记录样本,若干简历文档样本中的一简历文档样本与岗位描述文档样本及聊天记录样本达成匹配;
2)将达成匹配的简历文档样本与岗位描述文档样本,设为正样本对;将未达成匹配的简历文档样本与岗位描述文档样本,设为负样本对;
3)在正样本对及负样本对中各采样一个mini-batch,并通过极大化正样本对的匹配分数,且极小化负样本对的匹配分数,计算交叉熵损失Lc
4)通过使用聊天记录样本时的正样本对比使用聊天记录样本时的正样本对的人岗相似度更高,且未使用聊天记录样本时的负样本对比未使用聊天记录样本时的负样本对的人岗相似度更低,计算增益正则项损失Lreg
5)根据交叉熵损失Lc与增益正则项损失Lreg,得到人岗相似度预测损失L;
6)对于得到聊天记录表示的聊天记录编码器,通过达成匹配的简历文档样本与聊天记录样本之间的相似性得分及未达成匹配的简历文档样本与聊天记录样本之间的相似性得分,计算简历识别任务损失Lr
7)利用分步训练方法,对人岗相似度预测损失L与简历识别任务损失Lr进行多任务学习,获取人岗推荐模型中的参数。
进一步地,通过以下步骤计算达成匹配的简历文档样本与聊天记录样本之间的相似性得分:
1)利用词向量加和,编码得到简历文档样本表示
Figure BDA0003297420280000031
2)根据简历文档样本表示
Figure BDA0003297420280000032
与聊天记录样本表示d,计算相似性得分。
进一步地,计算增益正则项Lreg或简历识别任务损失Lr时,使用的损失函数包括:hinge loss。
一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行以上所述方法。
一种电子装置,包括存储器和处理器,其中存储器存储执行以上所述方法的程序。
和现有技术相比,本发明具有的优点和积极效果如下:
1)本发明针对人岗推荐任务,在用户简历文档以及岗位描述文档的基础之上,通过引入用户聊天记录信息,并从中挖掘用户的求职偏好,从而更精确地预测人岗相似度。
2)本发明引入了一个识别器模块,来确保模型从聊天记录中挖掘的信息能够与用户简历相关联。
3)本发明在损失函数中引入了一个增益正则项,来确保模型从聊天记录中挖掘的信息能够对人岗推荐任务有所增益。
附图说明
图1为求职者聊天记录的示例图。
图2为本申请提供的一种基于用户聊天记录来辅助简历文档以及岗位描述文档进行人岗推荐任务的模型架构图。
图3为模型中编码模块的聊天记录编码器的具体结构。
图4为针对本申请所提出人岗推荐模型的训练方法的伪代码。
图5为关于本申请提供的方法如何利用聊天记录信息来进行更精确的人岗相似度预测的案例展示。
具体实施方式
以下结合附图和实施例对本发明进行详细说明,需要指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
本申请的人岗推荐方法,包括一个基于用户聊天记录的人岗推荐模型和针对所提出的模型的一套训练算法。
第一方面,本申请提供一种基于用户聊天记录的人岗推荐模型,所述模型包括:
编码模块,具体可分为简历文档编码器、岗位描述文档编码器、聊天记录编码器三部分。其中,简历文档编码器首先对简历文档中的各个词进行词嵌入计算,之后利用文档中的各个词向量来计算得到简历文档向量表示。岗位描述文档编码器采用与简历文档编码器对称的结构,用来计算岗位描述文档向量表示。聊天记录编码器首先对聊天记录中的每一轮进行编码。每一轮对话包括聊天内容、聊天对象、以及聊天行为三部分信息。其中,聊天内容为求职者用户或者岗位招聘者说的一句话,聊天对象为求职者用户在该轮聊天中咨询或沟通的岗位文档,聊天行为表示该轮对话来自求职者用户还是岗位招聘者。对每轮对话中的这三部分信息,聊天记录编码器分别计算聊天内容句子向量表示、聊天对象文档向量表示、以及聊天行为嵌入表示,并将这三个向量表示作为该轮聊天的表示。得到了各轮聊天的表示后,聊天记录编码器利用一个改进的循环神经网络,对各轮聊天表示进行整合,并利用注意力机制去计算聊天记录向量表示。
匹配模块,其作用在于利用编码模块计算得到的简历文档表示、岗位描述文档表示以及聊天记录表示,去预测求职者用户与岗位之间的匹配程度。具体包括三个前馈全连接网络,分别用来预测简历文档与岗位描述文档的相似度、用户聊天记录与岗位描述的相似度、以及上述两个相似度的权重系数。模型最终对人岗相似度的预测结果为权重系数对两个相似度的加权平均。
第二方面,针对上述人岗推荐模型,本文还提出了一套模型训练算法。为了使模型能够从用户聊天记录进行有效的编码,并能够利用聊天记录信息来辅助简历文档与岗位描述文档进行更有效的人岗相似度预测。本申请在训练过程中,除了训练模型学会预测人岗相似度外,还引入辅助任务来增强模型从聊天记录中编码得到的信息能够既与用户简历相关联,又对用户简历有所补充,从而能对人岗相似度预测带来增益。
为训练模型正确预测人岗匹配程度,对匹配模块输出的人岗相似度预测结果,本申请利用交叉熵损失函数去极大化达成匹配的人岗样本对之间的相似度得分,极小化未达成匹配的人岗样本对之间的相似度得分。
为确保模型从聊天记录中编码得到的信息能够与用户简历相关联,本申请对模型引入一个识别器辅助模块以及一个简历识别辅助任务。具体地,本申请训练模型去基于编码得到的聊天记录向量表示,在多个候选简历中识别出哪个属于求职者用户本身。简历识别辅助任务采用pair-wise hinge loss作为损失函数进行训练,并且将梯度信号反传给聊天记录编码器,从而约束聊天记录编码器编码出与用户简历相关联的信息。
为确保模型从聊天记录中编码得到的信息能够对用户简历有所补充,并对人岗相似度预测有所帮助,本申请在人岗相似度交叉熵损失函数的基础上,引入一个额外的增益正则项。具体地,在极大化达成匹配的人岗样本对之间的相似度得分,以及极小化未达成匹配的人岗样本对之间的相似度得分的基础之上,本申请还约束匹配模块中的人岗相似度预测结果以及简历文档与岗位描述文档的相似度预测结果之间有所差异,即在达成匹配的人岗样本对上,引入聊天记录后的人岗相似度预测结果比简历文档与岗位描述文档的相似度预测结果更高,在未达成匹配的人岗样本对上,引入聊天记录后的人岗相似度预测结果比简历文档与岗位描述文档的相似度预测结果更低。在实际应用中,这一正则项采用pair-wise hinge loss作为损失函数。
本申请所提出的模型在训练过程中包括两条计算流程:其一是采样正负人岗样本对各一个mini-batch,用来计算人岗相似度交叉熵损失以及增益正则项损失,并以二者之和作为损失函数去更新模型中的编码模块以及匹配模块的参数;其二是在所有求职者用户中采样一个mini-batch,用来计算简历识别任务中的pair-wise hinge loss损失,并更新模型中的聊天记录编码器参数。训练过程中,本申请对这两条计算流程采用交替迭代的方式进行计算。在推断过程中,仅保留第一条计算流程,即对每个人岗样本对,本申请以匹配模块计算得到的人岗相似度预测结果为输出。
示例性的,图1为人岗推荐平台中用户的历史聊天记录示意图。如图1所示,从聊天记录信息中可以看出,该求职者用户的期望薪资是15k以及该用户不愿意经常出差,而这些偏好信息是用户简历文档中不存在的。因此,历史聊天记录可以作为简历信息的补充,尤其是偏好信息的补充。对一个给定的人岗样本对,在预测双方是否会达成匹配的相似度的时候,我们将考虑求职者用户历史上和其他一些岗位的招聘者发生过的聊天记录内容,并从聊天记录中挖掘用户的偏好信息,并利用这些偏好信息来结合简历文档以及岗位描述文档信息进行人岗相似度预测。
在本申请所研究的人岗推荐任务场景下,每个岗位对应一个由岗位职责与岗位要求相关的多个句子组成的岗位描述文档J。每个求职者简历文档R由个人陈述、项目经历、工作经历等方面的多个句子组成。除此之外每个用户还对应一个历史聊天记录D={d1,d2,…,dn}。聊天记录中的每一轮di可以表示为一个三元组di={ui,Ji,ai},其中
Figure BDA0003297420280000061
为一句聊天内容,Ji表示求职者针对哪份岗位进行的咨询或者交流,即聊天对象,ai为行为信息,表示讲该轮对话的人是求职者用户还是招聘者,ai=1代表求职者说的,ai=0代表招聘者说的。
对每个人岗样本对,根据双方是否达成匹配,有一个类别标签y∈{0,1}与之对应。我们模型的目标是基于用户简历文档R、岗位描述文档J、以及用户的历史聊天记录信息D去预测人岗双方达成匹配的概率。需要说明的是,用户聊天记录中沟通过的各个是之前沟通过的其他岗位,聊天记录中不包含与模型要预测是否与用户匹配的岗位。
图2为本申请所提出的基于用户聊天记录来辅助简历文档与岗位描述文档的人岗推荐模型。模型由三个模块组成,即表示学习模块,匹配模块和识别器模块。其中,表示学习模块包括三个部分,分别是两个文档编码器来分别编码简历文档以及岗位描述文档,以及一个对话编码器来编码聊天记录。为了保证聊天记录编码器计算得到的聊天记录的表示具有与用户简历文档足够的相关性,我们引入了一个识别器模块。识别器的训练任务是根据聊天记录表示,从一组候选简历中识别出哪个属于求职者用户本人。训练过程中,识别器会将梯度信号反向传播到对话编码器,来监督聊天记录编码器去编码出与简历相关联的信息。匹配模块用来预测人岗匹配程度,具体来说,模型会预测岗位描述文档与简历文档之间的相似度、岗位描述文档与聊天记录表示之间的相似度,以及一个权重系数。通过上述两个相似度的加权,可以计算得到模型预测的人岗相似度。此外,为了保证编码得到的表示对人岗推荐任务有足够的增益性,我们提出了一个正则项,用来约束模型在正样本上简历文档-聊天记录-岗位文档的匹配得分要高于简历文档-岗位文档的匹配得分。对称地,可以得到在负样本上的情况。以下将分别针对本申请提出的模型中的表示学习模块、匹配模块以及识别器模块的具体细节进行介绍。
表示学习模块:
表示学习模块包括文档编码器、以及聊天记录编码器两部分。其中,文档编码器用来对简历文档以及岗位描述文档进行编码。具体地,本申请采用BERT模型作为编码器。以简历文档为例,本申请在文档中各个句子之间添加‘SEP’这一token,并在文档开头添加‘CLS’这一token,并将处理后的文档输入到简历文档编码器中,经过BERT模型的嵌入层及多个Transformer层的运算,最终以‘CLS’这一token的最后一层隐层状态表示为简历文档表示。采用同样的方法,本申请可以用另一套BERT网络参数计算得到岗位描述文档表示。
相应的,聊天记录编码器的作用是计算聊天记录的向量表示。如图1所示,聊天记录D中的每轮聊天di包含一句聊天内容ui、一个聊天对象(岗位)Ji以及一个聊天动作标志ai。为了捕捉每轮对话中求职者说/听了什么内容,以及该用户是针对哪个岗位进行的聊天,我们用两个基于BERT的编码器来分别编码聊天内容句子以及聊天对象(岗位)文档。与前文一致,我们同样利用‘CLS’对应token的最后一层隐状态表示作为前聊天内容句子表示ui以及聊天对象岗位文档表示Ji。为了整合各轮聊天中的聊天内容以及聊天对象信息,从而计算聊天记录表示,我们提出了一个Dialogue Tracking Gated Recurrent Units(DT-GRU)网络。
如图3所示,DT-GRU将整个对话追踪到第i-1时刻的隐层状态表示为hi-1,并且利用聊天内容表示ui与聊天对象表示Ji去更新隐层状态。此外,为了捕捉在每轮聊天中求职者用户是说还是听,DT-GRU中引入了两个行为嵌入ai,分别对应说与听。行为嵌入将与网络中其他参数一起训练得到。
Figure BDA0003297420280000071
公式(1)描述了DT-GRU的门控机制下隐层状态的更新过程,其中pi与qi为两个更新门控,分别控制来自聊天内容以及聊天对象的信息来源,vi为重置门控。公式中所有的W代表权重矩阵,⊙表示两个向量按维度进行乘积,σ为sigmoid函数。利用DT-GRU中的门控机制,模型可以在意识到求职者每轮是说还是听的前提下,有选择性地从聊天内容和聊天对象的信息中去抽取偏好信息。
计算得到DT-GRU在各个时刻的隐层状态后,本申请利用注意力机制来计算聊天记录表示:
Figure BDA0003297420280000072
匹配模块:
对一个人岗样本对,模型经过表示学习模块,可以得到简历文档向量R,岗位描述文档向量J,以及聊天记录向量d。匹配模块的作用是利用这三个向量表示来预测人岗匹配相似度。具体地,匹配模块首先用两个对称的前馈全连接网络来预测岗位文档-简历文档相似度srj、岗位文档-聊天记录的相似度sdj,并利用另一个前馈全连接网络以及两个相似度之间的权重系数λ。人岗相似度的预测结果s为两个相似度的加权平均:
Figure BDA0003297420280000081
识别器模块:
为了保证聊天记录编码器能够从聊天记录中获取出与用户简历相关联的信息,本申请在表示学习模块与匹配模块之外设计了一个辅助的识别器模块。识别器模块的目标是根据聊天记录表示d,从多个候选简历表示中去选出求职者用户的简历。识别器的梯度信号将回传给聊天记录编码器,从而使得聊天记录编码器可以从聊天记录中尽可能多地编码出与用户简历相关联的信息。
由于在计算聊天记录表示的时候,模型的注意力机制中用到了简历表示,因此,如果输入给识别器的候选简历表示由简历编码器计算得到的话,识别器只需要记住哪个简历用来计算的聊天记录表示即可。由于这一信息泄露问题的存在,本申请在给识别器输入候选简历表示的时候,采用词向量加和的方式得到简历表示
Figure BDA0003297420280000082
而不是利用简历编码器计算得到的表示。
识别器利用全连接网络去计算聊天记录表示与每个候选简历表示之间的相似度:
Figure BDA0003297420280000083
其中v与Wr为识别器中的模型参数。训练过程中,在更新识别器的模型参数的时候,梯度信号还将回传给聊天记录编码器去更新聊天记录编码器的网络参数。由于识别器本身的参数只有一个矩阵Wr与一个向量v,因此模型可以约束聊天记录编码器去产生更有利于模型进行识别任务的表示,即与求职者简历更相关的表示。这样一来,在聊天记录编码器与识别器的共同作用下,可以确保模型计算得到的聊天记录表示与用户简历有足够的相关性。
至此,本申请针对所提出的人岗推荐模型进行了各个模块具体细节的介绍,以下将介绍本申请针对所提出模型来设计的训练算法。
如图4所示,对一个给定的人岗样本对,本申请所提出的模型中包括两条计算流程。其一是利用表示学习模块中的各个编码器分别对简历文档、岗位描述文档以及聊天记录进行编码,之后利用匹配模块去预测人岗相似度。其二是将模型计算得到的聊天记录表示以及多个候选简历表示输入到识别器中,让识别器去计算聊天记录表示与简历表示的相似度,并从中选出属于用户自己简历表示。
对于第一条计算流程,在训练过程中的每一步,本申请对达成匹配的正人岗样本对以及未达成匹配的人岗样本对各采样一个mini-batch。在损失函数中,除了极大化正样本的匹配分数,极小化负样本的匹配分数之外,我们还增加了一个正则项Lreg去确保引入聊天记录信息能够对模型带来增益。
Figure BDA0003297420280000091
其中s+与s-分别表示在正负人岗样本对上,模型利用简历文档、岗位描述文档、聊天记录信息来预测得到的相似度,Lc为交叉熵损失。
Figure BDA0003297420280000092
Figure BDA0003297420280000093
分别表示在正负人岗样本对中只用简历文档和岗位描述文档预测得到的相似度,Lreg的核心思想是约束在正样本上引入聊天记录后模型可以得到比只用简历文档和岗位描述文档更高的相似度得分,在负样本上可以得到更低的相似度得分,从而约束模型用了模型编码得到的聊天记录信息对人岗推荐任务的增益性。模型训练过程中的损失函数L为交叉熵损失Lc与增益正则项Lreg之间的加权和,其中Θ为权重系数。
对于第二条计算流程,在训练中的每一步,本申请在所有人岗样本对中采样一个mini-batch。对模型中的简历编码器、匹配模块、岗位编码器,我们固定住这些模块的参数,对聊天记录编码器与识别器的参数进行更新,从而约束聊天记录编码器能够尽可能多地从聊天记录中获取与用户简历相关的信息。具体地,对一个经模型中的聊天记录编码器计算得到的聊天记录表示,本申请在除了求职者用户自己的简历之外,随机采样一个简历作为负样本。对这两个简历,模型分别利用公式(4)计算相似度得分
Figure BDA0003297420280000094
Figure BDA0003297420280000095
并利用hinge loss作为损失函数进行训练。
Figure BDA0003297420280000096
用这种方式本申请中的模型可以从用户的聊天记录中获取与用户简历相关,又能对人岗推荐任务有额外增益的部分,并用编码得到的聊天记录表示去辅助人岗相似度的预测。在训练过程中,对每个循环内部,我们执行nc步第一个流程和nr步第二个流程。在测试的时候,对每个人岗样本对,我们只执行第一条计算流程,即对简历文档、岗位描述文档以及聊天记录分别编码,并利用匹配模块去预测人岗相似度。
为进一步说明上文中所提出的模型以及训练方法的有效性,本申请以模型在实际案例上的计算结果进行展示。如图5所示,该案例包括一个求职者用户简历、聊天记录、一个与该用户达成匹配的岗位以及一个与该用户不匹配的岗位。表格中的srj,sdj,λ,s含义与公式(3)一致,s′表示本申请所提出的模型拿掉聊天记录模型消融后的预测结果。案例中的求职者掌握视频剪辑与拍摄技术,并且有一定的实践经历。在聊天记录中,该求职者与两个视频制作相关的工作岗位的招聘者进行过沟通,在聊天记录中可以看出,该求职者是一名应届生、并且他比较在意公司在保险以及住房方面的福利待遇。案例中的两个候选岗位都是与视频剪辑相关,并且都针对本科学历以及视频剪辑技能进行了要求。两个候选岗位的区别在于:第一个岗位对应届生开放,并且明确说明了会提供保险与住房方面的福利;而第二个岗位对工作经历做了要求。
然而,倘若模型不引入聊天记录外部知识,由于该求职者用户的技能符合两个候选岗位的要求,因此这种情况下该用户与两个岗位的匹配程度是相当的。从拿掉聊天记录信息后的模型在这一案例上的预测结果s′中可以看出,模型对两个候选岗位的得分接近,并且都大于阈值0.5。当引入了聊天记录外部知识后,模型可以捕捉到第二个候选岗位与求职者不匹配的原因。一方面,聊天记录中提到这名求职者是应届生,这一点无法满足候选岗位对工作经历的要求;另一方面聊天记录中提到这名求职者看重岗位的福利待遇,而这个岗位没有提及这方面。
尽管模型预测的岗位文档-简历文档相似度srj在两个候选岗位文档上依然是接近的,并且也都超过了阈值0.5,但是模型在第二个候选岗位上预测出了一个较低的聊天记录-岗位文档相似度得分sdj,并且计算权重λ的时候给srj分配了较低的权重,从而正确地预测出第二个候选岗位应该是不匹配的。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,本领域的技术人员应可理解,凡在本发明的精神和原则之内所作的任何修改,等同替换或改进等,均应包含在本发明的保护范围之内,保护范围以权利要求书所界定者为准。

Claims (10)

1.一种基于聊天记录形式外部知识的人岗推荐方法,其特征在于,基于编码得到的简历文档表示、岗位描述文档表示及聊天记录表示,预测人岗相似度,从而获取人岗推荐结果。
2.如权利要求1所述的方法,其特征在于,通过以下得到简历文档表示:
1)在简历文档中各句子之间添加‘SEP’这一token,并在简历文档开头添加‘CLS’这一token;
2)将处理后的简历文档输入预训练的语言模型,得到简历文档表示。
3.如权利要求1所述的方法,其特征在于,通过以下步骤得到聊天记录表示:
1)通过将循环神经网络模型中的更新门控设为两个,构建改进循环神经网络模型;
2)将各轮的聊天记录di={ui,Ji,ai}输入改进循环神经网络模型;
3)使用两个更新门控分别控制聊天内容ui与聊天对象Ji,并结合重置门控对聊天行为ai的嵌入,得到各轮聊天记录的隐层状态表示;
4)基于简历文档表示,对各轮聊天记录的隐层状态表示进行注意力机制的加权计算,得到聊天记录表示。
4.如权利要求3所述的方法,其特征在于,通过以下步骤得到隐层状态表示:
1)基于第i-1时刻的隐层状态表示hi-1及第i时刻的聊天记录di,得到第i时刻的更新门控pi、更新门控qi及重置门控vi
2)基于第i-1时刻的隐层状态表示hi-1及第i时刻的更新门控pi、更新门控qi、聊天内容ui、聊天对象Ji,得到第i时刻的参数
Figure FDA0003297420270000011
3)基于第i-1时刻的隐层状态表示hi-1及第i时刻的重置门控vi、参数
Figure FDA0003297420270000012
得到第i时刻的隐层状态表示hi
5.如权利要求1所述的方法,其特征在于,通过以下步骤预测人岗相似度:
1)利用两个对称的前馈全连接网络,分别计算简历文档表示与岗位描述文档表示的相似度srj及聊天记录表示与岗位描述文档表示的相似度sdj
2)利用另一个前馈全连接网络,计算相似度srj与相似度sdj之间的权重系数λ;
3)根据相似度srj、相似度sdj及权重系数λ,得到人岗相似度。
6.如权利要求1所述的方法,其特征在于,构建一人岗推荐模型,用以得到简历文档表示、岗位描述文档表示及聊天记录表示及预测人岗相似度,其中通过以下步骤训练人岗推荐模型:
1)获取若干组训练数据,其中每一组训练数据包括:若干简历文档样本、一岗位描述文档样本和一聊天记录样本,若干简历文档样本中的一简历文档样本与岗位描述文档样本及聊天记录样本达成匹配;
2)将达成匹配的简历文档样本与岗位描述文档样本,设为正样本对;将未达成匹配的简历文档样本与岗位描述文档样本,设为负样本对;
3)在正样本对及负样本对中各采样一个mini-batch,并通过极大化正样本对的匹配分数,且极小化负样本对的匹配分数,计算交叉熵损失Lc
4)通过使用聊天记录样本时的正样本对比使用聊天记录样本时的正样本对的人岗相似度更高,且未使用聊天记录样本时的负样本对比未使用聊天记录样本时的负样本对的人岗相似度更低,计算增益正则项损失Lreg
5)根据交叉熵损失Lc与增益正则项损失Lreg,得到人岗相似度预测损失L;
6)对于得到聊天记录表示的聊天记录编码器,通过达成匹配的简历文档样本与聊天记录样本之间的相似性得分及未达成匹配的简历文档样本与聊天记录样本之间的相似性得分,计算简历识别任务损失Lr
7)利用分步训练方法,对人岗相似度预测损失L与简历识别任务损失Lr进行多任务学习,获取人岗推荐模型中的参数。
7.如权利要求6所述的方法,其特征在于,通过以下步骤计算达成匹配的简历文档样本与聊天记录样本之间的相似性得分:
1)利用词向量加和,编码得到简历文档样本表示
Figure FDA0003297420270000021
2)根据简历文档样本表示
Figure FDA0003297420270000022
与聊天记录样本表示d,计算相似性得分。
8.如权利要求6所述的方法,其特征在于,计算增益正则项损失Lreg或简历识别任务损失Lr时,使用的损失函数包括:hinge loss。
9.一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。
10.一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。
CN202111181465.8A 2021-10-11 2021-10-11 基于聊天记录形式外部知识的人岗推荐方法及装置 Pending CN113918813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111181465.8A CN113918813A (zh) 2021-10-11 2021-10-11 基于聊天记录形式外部知识的人岗推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111181465.8A CN113918813A (zh) 2021-10-11 2021-10-11 基于聊天记录形式外部知识的人岗推荐方法及装置

Publications (1)

Publication Number Publication Date
CN113918813A true CN113918813A (zh) 2022-01-11

Family

ID=79239099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111181465.8A Pending CN113918813A (zh) 2021-10-11 2021-10-11 基于聊天记录形式外部知识的人岗推荐方法及装置

Country Status (1)

Country Link
CN (1) CN113918813A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757652A (zh) * 2023-08-17 2023-09-15 北京华品博睿网络技术有限公司 一种基于大语言模型的在线招聘推荐系统及方法
CN117196556A (zh) * 2023-09-19 2023-12-08 江苏锡世科技有限公司 一种基于大数据的多平台招聘信息管理系统及方法
CN117236911A (zh) * 2023-11-13 2023-12-15 贵州优特云科技有限公司 一种基于人工智能的面试评价方法及系统
CN117709914A (zh) * 2024-02-05 2024-03-15 天津徙木科技有限公司 一种岗位的匹配方法和系统
CN117932040A (zh) * 2024-03-21 2024-04-26 成都鱼泡科技有限公司 应用于招聘信息化系统的信息推荐方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757652A (zh) * 2023-08-17 2023-09-15 北京华品博睿网络技术有限公司 一种基于大语言模型的在线招聘推荐系统及方法
CN116757652B (zh) * 2023-08-17 2023-10-20 北京华品博睿网络技术有限公司 一种基于大语言模型的在线招聘推荐系统及方法
CN117196556A (zh) * 2023-09-19 2023-12-08 江苏锡世科技有限公司 一种基于大数据的多平台招聘信息管理系统及方法
CN117196556B (zh) * 2023-09-19 2024-02-23 江苏锡世科技有限公司 一种基于大数据的多平台招聘信息管理系统及方法
CN117236911A (zh) * 2023-11-13 2023-12-15 贵州优特云科技有限公司 一种基于人工智能的面试评价方法及系统
CN117236911B (zh) * 2023-11-13 2024-02-02 贵州优特云科技有限公司 一种基于人工智能的面试评价方法及系统
CN117709914A (zh) * 2024-02-05 2024-03-15 天津徙木科技有限公司 一种岗位的匹配方法和系统
CN117709914B (zh) * 2024-02-05 2024-05-10 台州徙木数字服务有限公司 一种岗位的匹配方法和系统
CN117932040A (zh) * 2024-03-21 2024-04-26 成都鱼泡科技有限公司 应用于招聘信息化系统的信息推荐方法及系统
CN117932040B (zh) * 2024-03-21 2024-05-28 成都鱼泡科技有限公司 应用于招聘信息化系统的信息推荐方法及系统

Similar Documents

Publication Publication Date Title
Gelly et al. Optimization of RNN-based speech activity detection
CN113918813A (zh) 基于聊天记录形式外部知识的人岗推荐方法及装置
CN108763284B (zh) 一种基于深度学习和主题模型的问答系统实现方法
CN111312245B (zh) 一种语音应答方法、装置和存储介质
CN113420807A (zh) 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法
CN110534087A (zh) 一种文本韵律层级结构预测方法、装置、设备及存储介质
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN108292305A (zh) 用于处理语句的方法
CN112699682B (zh) 一种基于可组合弱认证器的命名实体识别方法和装置
CN110321418A (zh) 一种基于深度学习的领域、意图识别和槽填充方法
CN110399472B (zh) 面试提问提示方法、装置、计算机设备及存储介质
CN112259100B (zh) 语音识别方法及相关模型的训练方法和相关设备、装置
CN111382257A (zh) 一种生成对话下文的方法和系统
CN113065344A (zh) 一种基于迁移学习和注意力机制的跨语料库情感识别方法
CN115563290B (zh) 一种基于语境建模的智能情感识别方法
CN114385802A (zh) 一种融合主题预测和情感推理的共情对话生成方法
CN114091466A (zh) 一种基于Transformer和多任务学习的多模态情感分析方法及系统
CN115495552A (zh) 基于双通道语义增强的多轮对话回复生成方法及终端设备
CN112765333A (zh) 基于情感与提示词结合的自动对话生成方法及系统
CN114360502A (zh) 语音识别模型的处理方法、语音识别方法及装置
Wang et al. Information-enhanced hierarchical self-attention network for multiturn dialog generation
CN113177113B (zh) 任务型对话模型预训练方法、装置、设备及存储介质
Bai et al. Integrating knowledge into end-to-end speech recognition from external text-only data
Hsu et al. Niesr: Nuisance invariant end-to-end speech recognition
CN115146589B (zh) 文本处理方法、装置、介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination