CN111667238B - 一种基于技能感知多注意力机制的招聘启事生成方法 - Google Patents

一种基于技能感知多注意力机制的招聘启事生成方法 Download PDF

Info

Publication number
CN111667238B
CN111667238B CN202010453590.9A CN202010453590A CN111667238B CN 111667238 B CN111667238 B CN 111667238B CN 202010453590 A CN202010453590 A CN 202010453590A CN 111667238 B CN111667238 B CN 111667238B
Authority
CN
China
Prior art keywords
skill
word
semantic representation
words
work task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010453590.9A
Other languages
English (en)
Other versions
CN111667238A (zh
Inventor
刘杰
刘俪婷
张文政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202010453590.9A priority Critical patent/CN111667238B/zh
Publication of CN111667238A publication Critical patent/CN111667238A/zh
Application granted granted Critical
Publication of CN111667238B publication Critical patent/CN111667238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

一种基于技能感知多注意力机制的招聘启事生成方法，涉及计算机应用技术领域。将基本信息数据拆分为词序列，初始化为词向量的形式作为词的浅层语义表示；利用全局的招聘启事数据构建知识图谱，输入经处理后的局部信息，初始化每个词的浅层语义表示，同时输入全局信息和对应基本信息。基于局部信息的输出，学习工作任务中每个词的高层语义表示生成技能词序列、文本词序列，并优化文本词序列中的技能词。本发明既考虑了局部的工作任务的语义特征以及基于它预测的技能词序列特征，又考虑了全局的先验专业技能知识语义特征，并将两部分预测到的词概率分布进行了加权求和，可以挖掘出招聘启事广告中的技能信息，提高了技能需求文档的生成质量。

Description

一种基于技能感知多注意力机制的招聘启事生成方法
技术领域
本发明涉及计算机应用技术。
背景技术
人力资源管理是通过对组织内外相关人力资源进行有效运用，满足组织当前及未来发展的需要，保证组织目标实现与成员发展的最大化的一系列活动的总称。其重要性对于个人发展，企业发展乃至社会的发展都不言而喻。随着互联网线上招聘的发展和招聘数据的累积，智能化的人力资源管理越来越被重视和关注。智能化人力资源管理通过对大数据的分析和建模来辅助人力资源管理并提高其效率和质量。
近年来，国内外已有很多工作针对智能化人力资源管理开展了相关研究，并且取得了一定的研究成果。Lee and Brusilovsky[1]基于招聘者和候选者的偏好设计了一个工作推荐系统。Qin等人[2]提出了一个个性化的问题推荐系统服务于工作面试环节。Sun等人[3]研究了任何组织的相容性。Xu等人[4]提出了一个数据驱动的方法来建模技能的流行度。同时，一些公司也开发了增强写作的工具：Textio,TapRecruit等等来辅助写作润色草稿。本发明专利也从辅助招聘广告的写作角度出发，创新性的提出智能化的段落生成。
在机器学习中，生成任务的发展日渐成熟。生成任务大多被建模成序列到序列的学习问题。Lopyrev[5]通过训练一个具有注意力机制的序列到序列的模型解决了标题生成任务。Xing等人[6]在序列到序列模型中引入了话题信息解决了连天机器人对话生成任务。Meng等人[7]在序列到序列模型应用了复制机制解决了关键字抽取问题。近年来，随着实际任务的复杂化，层级的序列到序列模型更多体现了模型结构的合理性和问题解决能力的优势。Dong and Lapata[8]分解语义解析过程为草稿生成和细节填写。Puduppully等人[9]提出了一个两阶段的模型：内容选择和规划，解决了表格数据到文本的生成。
发明内容
针对以上相关工作，本发明专利基于给定的工作任务详情和公司基本信息，智能化的生成技能范围列表并进一步的生成技能需求详情文本段落，该过程省去了人工的大量时间和对比分析，并且使得技能需求详情充分的考虑技能信息的丰富度。同时考虑到招聘启事中的技能具有较强的专业性和领域性，因此通过基于全局数据信息构建知识图谱，对最终生成的技能需求详情文本段落进行技能的优化。在对最终生成文本起到影响因素的工作任务详情，技能范围列表和知识图谱数据中，本发明通过注意力机制对其多来源数据信息进行加权融合达到一起训练的效果，使得技能需求详情文本段落的技能丰富度和准确度得到提升。
为了解决现有技术的问题，本发明相应的技术方案是：
一种基于技能感知多注意力机制的招聘启事生成方法，包括以下步骤：
步骤1，获得工作任务详情段落和基本信息数据，基本信息包括发布公司规模信息和工作职位信息和技能需求段落，其中，工作任务和技能需求首先分别被分词工具拆分为词序列，并将每个词初始化为词向量的形式作为词的浅层语义表示；利用全局的招聘启事数据构建知识图谱；输入经过分词处理后的工作任务详情(局部信息)，使用词向量的方法初始化每个词的浅层语义表示；同时输入知识图谱(全局信息)和对应基本信息；
步骤2，基于步骤1中局部信息的输出，学习工作任务详情中每个词的高层语义表示：
根据步骤1中输出的局部信息的每个词的词向量，利用双向的长短时记忆网络以序列的方式对工作任务的词进行高层语义编码；
步骤3，基于步骤2中的输出，生成技能词序列；
步骤4，基于步骤3的输出，初步生成文本词序列；
步骤5，基于步骤1中全局信息部分和步骤4中的输出，进一步优化文本词序列中的技能词。
本发明的有益效果是：本发明基于工作任务详情和对应的基本信息实现技能需求详情的生成，提出的建模方法既考虑了局部的工作任务的语义特征以及基于它预测的技能词序列特征，又考虑了全局的先验专业技能知识语义特征，并将两部分预测到的词概率分布进行了加权求和，可以挖掘出招聘启事广告中的技能信息，提高了技能需求文档的生成质量。比如，给定工作任务“1.负责完成公司下达的年度销售指标。2.将年度指标分解至季度、月度并加以执行。3.确保客户订单及时汇款，确保无逾期、呆帐等。4.渠道新客户开发及老客户的维护。”，根据我们的方法智能生成“1.高中以上学历，1年以上销售经验，有销售运营类管理更加的优先考虑；2.有礼赠品团购终端客户服务体系的工作经验、熟悉礼品销售者优先；3.有团队合作精神，能承受较大的工作压力”。
附图说明
附图1是本发明的处理流程图。
附图2是本发明的整体系统结构示意图。
具体实施方式
本发明的一种基于技能感知多注意力机制的招聘启事生成方法，参见附图1，包括以下内容：
数据表示
本发明涉及到的数据主要为招聘启事广告数据，该数据以文本的形式存储。每个工作任务详情段落，会对应其基本信息(包括发布公司规模信息和工作职位信息)和技能需求段落。其中，工作任务和技能需求首先分别被分词工具拆分为词序列，并将每个词初始化为词向量的形式作为词的浅层语义表示。另外，利用全局的招聘启事数据构建知识图谱。首先，利用命名实体识别工具将技能需求段落中的技能抽取出来得到对应的技能序列，然后根据招聘启事中的语义信息构成知识图谱。本项目知识图谱包含3种实体(技能，公司规模和公司职位)和2种关系(N.T.M和IN)，其中技能拥有一个属性(type)，标记其为专业技能还是通用能力。例如：招聘启事数据中存在这样的语义信息：当一个应聘工作者，想要在一个公司规模为10-100人的公司里找一个程序员的工作需要掌握专业技能C++。知识图谱中可存储为3个这样的三元组：(程序员，N.T.M， C++)，([10,100]，IN，C++)和(C++，type，专业技能)。
工作任务的语义表示
对于工作任务的词序列浅层语义表示，使用长短期记忆网络对其进行编码，学习词的隐层语义表示。为了建模词序列不同方向上的信息，本发明使用双向的LSTM来总结两个方向上的词级别语义信息，从而获得对应的语义表示。
技能范围预测
基于上述步骤可以得到工作任务的语义表示，本发明使用长短期记忆网络逐一解码出技能词序列的隐层语义表示，进而根据其语义表示在技能词表中预测出概率最大的技能词。首先，将工作任务的语义表示作为输入，然后通过注意力机制对重要语义加强关注并预测技能词序列。最后，将得到的技能词序列用于引导下一层次的生成。同时，最后一个技能词的隐层语义表示被用来初始化技能需求文本解码器的开始状态。
技能需求生成
基于上述步骤可以得到工作任务的语义表示，技能词序列和知识图谱三元组数据表示。首先，技能词序列被初始化为技能词序列向量的形式作为其语义表示。然后，利用对应数据的基本信息在知识图谱中查找到相关专业技能，并初始化为技能词序列向量的形式作为其语义表示。本发明使用多个注意力机制生成综合考虑工作任务的语义和技能词序列语义的整体表示，进而根据其语义在全部词表中得到词概率分布。同时，使用多个注意力机制生成综合考虑工作任务的语义和知识图谱技能词序列语义的整体表示，得到先验知识中的技能词概率分布。最后，两者概率之加权和最高者为预测的最终文本词。
实施例：
下面结合附图和具体实施对本发明提供的基于技能感知多注意力机制的招聘启事生成方法进行详细说明。
本发明主要采用自然语言处理领域内的理论与方法辅助招聘启事的写作，为了保证系统的正常运行，对服务器配置有如下要求：
(1)操作系统：Ubuntu 16.04版本及以上
(2)CPU：核心数不低于Intel Xeon Gold 6142两个
(2)系统内存：不低于32GB，DDR4 2666MT/s
(3)显存大小：不低于16GB
同时，对软件环境有如下要求：
(1)编程环境：Python 3.6版本及以上
(2)深度学习框架：pytorch 1.1及以上
如图2所示，本发明提供的基于技能感知多注意力机制的招聘启事生成方法包括按顺序执行的下列步骤：
步骤1输入经过分词处理后的工作任务详情(局部信息)，使用词向量的方法初始化每个词的浅层语义表示；同时输入知识图谱(全局信息)和对应基本信息。
步骤2基于步骤1中局部信息的输出，学习工作任务详情中每个词的高层语义表示：
根据步骤1中输出的局部信息的每个词的词向量，利用双向的长短时记忆网络以序列的方式对工作任务的词进行高层语义编码。
步骤3基于步骤2中的输出，生成技能词序列：
该过程包含三个步骤：(1)根据步骤2中输出的工作任务的语义表示，基于工作任务与技能词的映射关系利用注意力机制计算工作任务中每个词的注意力权重，并基于该权重对工作任务中词语的语义表示进行加权求和。(2)利用长短时记忆网络基于加权的工作任务语义表示解码出第一个技能词隐层语义表示，并根据语义表示在技能词表中得到技能词概率分布，概率最大的为预测的技能词并初始化为技能词向量。(3)继续利用长短时记忆网络基于加权的工作任务语义表示和前一个解码出的技能词向量，解码出下一个技能词隐层语义表示。最终，得到技能词向量序列作为预测技能的语义表示。
步骤4基于步骤3的输出，初步生成文本词序列：
该过程包含四个步骤：(1)根据步骤2中输出的工作任务的语义表示，基于工作任务与技能需求文本词的映射关系利用注意力机制计算工作任务中每个词的注意力权重，并基于该权重对工作任务中词语的语义表示进行加权求和。(2) 根据步骤3中输出的技能词的语义表示，基于预测的技能词与技能需求文本词的映射关系再次利用注意力机制联合训练，计算预测技能词中每个词的注意力权重，并基于该权重对预测技能中词语的语义表示进行加权求和。(3)对工作任务的注意力语义表示和预测技能的注意力语义表示进行拼接得到整体语义表示，基于整体语义表示在文本词表中得到词概率分布，概率最大的预测为第一个技能需求文本词并初始化为文本词向量。(4)继续利用长短时记忆网络基于拼接后的整体语义表示和前一个预测的文本词向量，逐步解码出下一个文本词的隐层语义表示。基于此，在文本词表中得到词概率分布。
步骤5基于步骤1中全局信息部分和步骤4中的输出，进一步优化文本词序列中的技能词：
该过程包含四个步骤：(1)基于知识图谱和对应的基本信息，在知识图谱中根据先验知识查找得到推荐的技能词，并对知识图谱技能词初始化为向量形式。 (2)基于知识图谱技能词与技能需求文本词的映射关系，再次利用注意力机制联合步骤4中的注意力机制共同训练，计算知识图谱技能词中每个词的注意力权重，并基于该权重对知识图谱技能词的语义表示进行加权选择。(3)基于知识图谱技能词的注意力语义表示，逐一地在技能词表中得到词概率分布。(4) 将基于知识图谱先验知识得到的技能词概率分布对应的与步骤4中得到的词概率分布进行加权和，加权和概率最大的预测为文本词。最终，生成技能需求文本。
在步骤1中：输入经过分词处理后的工作任务详情，其中工作任务表示为如下形式：
Xi＝(xi，1，xi，2，...，xi，m)
其中m表示工作任务中包含的词个数，xi，j表示第i个工作任务中的第j个词。
在步骤2中：基于工作任务的词向量，使用双向的长短时记忆网络对词的高层语义表示进行编码：
Figure BDA0002508507770000071
Figure BDA0002508507770000081
Figure BDA0002508507770000082
比如根据工作任务“1.负责室内设计的管理；2.负责管控室内设计的风格和相关部门进行交流协调。”生成其对应的专业要求。
在步骤3中：基于工作任务的高层语义表示，长短时记忆网络结合注意力机制对技能序列进行解码，具体包含如下步骤：
步骤3.1)，注意力机制计算工作任务中每个词的注意力权重，得到工作任务中词语的注意力语义表示。
Figure BDA0002508507770000083
Figure BDA0002508507770000084
其中W1是待学习的参数,m为工作任务序列长度。
步骤3.2)，基于工作任务中词语的注意力语义表示，利用长短时记忆网络作为技能解码器逐一解码出技能的隐层语义表示：
Figure BDA0002508507770000085
其中，解码器的最后一个隐层状态被用来初始化文本解码器。
步骤3.3)，基于工作任务中词语的注意力语义表示和解码出的技能词隐层表示，在技能词典中得到技能词的概率分布：
Figure BDA0002508507770000086
Figure BDA0002508507770000087
其中，W2,W3和b3是可学习的参数,si，j表示第i条数据中预测生成的第j个技能词。此时可以生成技能词序列“室内设计，方案，图纸，项目，管理”。
在步骤4中：基于工作任务的词向量和预测的技能词向量，采用多注意力机制联合训练，长短时记忆网络作为文本解码器，得到初步的文本词概率分布，具体包含如下步骤：
步骤4.1)，利用长短时记忆网络作为文本解码器，逐一解码出技能需求文本的潜在语义表示：
gt＝LSTM(et-1，gt-1)
其中，et-1表示第t-1个被预测文本词向量，第0个初始化为0向量。
步骤4.2)，注意力机制计算工作任务中每个词的注意力权重，得到工作任务中词语的注意力语义表示。
Figure BDA0002508507770000091
Figure BDA0002508507770000092
其中W4是待学习的参数，n是文本词序列长度。
步骤4.3)，注意力机制计算预测技能中每个词的注意力权重，得到预测技能中词语的注意力语义表示。
Figure BDA0002508507770000093
Figure BDA0002508507770000094
其中W5是待学习的参数,l是预测技能词序列长度。
步骤4.4)，基于工作任务中词语的注意力语义表示，预测的技能词注意力语义表示，前一个预测的文本词向量和解码出的文本词隐层语义表示，在文本词典中得到文本词的概率分布：
Figure BDA0002508507770000101
Figure BDA0002508507770000102
其中，W6,W7和b7是可学习的参数,yi，j表示第i条数据中预测生成的第j个文本词。
在步骤5中：通过知识图谱引入技能信息的先验知识，与步骤4中的注意力机制联合训练，优化生成最终文本：
步骤5.1)，根据对应的基本信息查找知识图谱中的技能词作为推荐，并初始化知识图谱技能词为向量形式：
Oi＝f(Bi，Gs)
S′i＝(s′i，1，s′i，h，...，s′i，k)＝emb(Oi)
其中，f是单射的查询函数,emb()是初始化函数。
步骤5.2)，注意力机制计算知识图谱技能中每个词的注意力权重，得到知识图谱技能中词语的注意力语义表示。
Figure BDA0002508507770000103
Figure BDA0002508507770000104
其中W5是待学习的参数，k是知识图谱推荐技能词序列长度。此时，知识图谱推荐的技能词中权重较大的为“施工，搭配”等等。
步骤5.3)，基于工作任务中词语的注意力语义表示，知识图谱技能词的注意力语义表示和解码出的文本词隐层语义表示，在技能词表中得到技能词概率分布：
Figure BDA0002508507770000111
Figure BDA0002508507770000112
其中，W9,W10和b10是可学习的参数。
步骤5.4)，与步骤4中得到的词概率分布进行加权融和，加权和概率最大的预测为文本词。
P(Yi|Xi，Si，Bi)＝(1-λ)Plocal(Yi|Xi，Si，Bi)+λPglobal(Yi|Xi，Si，Bi)
其中，λ是一个超参数。最终预测时，除了工作任务中对于专业起到很大影响的“室内设计”以外，生成的技能词和知识图谱的技能词，使得也非常相关的“环境艺术”也被生成出来。从而，使得最终的生成文本技能词更丰富且准确。
参考文献：
[1]Danielle H Lee and Peter Brusilovsky.2007.Fighting informationoverflow with personalized comprehensive information access:A proactive jobrecommender.In International Conference on Autonomic and Autonomous Systems,pages 21–21.
[2]Chuan Qin,Hengshu Zhu,Chen Zhu,Tong Xu,Fuzhen Zhuang,Chao Ma,Jingshuai Zhang, and Hui Xiong.2019.Duerquiz:A personalized questionrecommender system for intelligent job interview.In Proceedings of the 25thACM SIGKDD International Conference on Knowledge Discovery&Data Mining,pages2165–2173.
[3]Ying Sun,Fuzhen Zhuang,Hengshu Zhu,Xin Song,Qing He,and HuiXiong.2019.The impact of person-organization fit on talent management:Astructure-aware convolutional neural network approach.In Proceedings of the25th ACM SIGKDD International Conference on Knowledge Discovery&Data Mining,pages 1625–1633.
[4]Tong Xu,Hengshu Zhu,Chen Zhu,Pan Li,and Hui Xiong.2018.Measuringthe popularity of job skills in recruitment market:A multi-criteriaapproach.In Proceedings of the AAAI Conference on Artificial Intelligence,pages 2572–2579.
[5]Konstantin Lopyrev.2015.Generating news headlines with recurrentneural networks.
[6]Chen Xing,Wei Wu,Yu Wu,Jie Liu,Yalou Huang,Ming Zhou,and Wei-YingMa.2017.Topic aware neural response generation.In Proceedings of the AAAIConference on Artificial Intelligence,pages 3351–3357.
[7]Rui Meng,Sanqiang Zhao,Shuguang Han,Daqing He,Peter Brusilovsky,and Yu Chi.2017. Deep keyphrase generation.In Proceedings of the 55th AnnualMeeting of the Association for Computational Linguistics,pages 582–592.
[8]Li Dong and Mirella Lapata.2018.Coarse-to-fine decoding for neuralsemantic parsing.In Proceedings of the 56th Annual Meeting of the Associationfor Computational Linguistics,pages 731–742.
[9]Ratish Puduppully,Li Dong,and Mirella Lapata.2019.Data-to-textgeneration with content selection and planning.In The AAAI Conference onArtificial Intelligence,pages 6908–6915。

Claims (2)

1.一种基于技能感知多注意力机制的招聘启事生成方法，其特征是包括以下步骤：
步骤1，获得工作任务详情、基本信息数据，基本信息包括发布公司规模信息和工作职位信息和技能需求段落，其中，工作任务和技能需求首先分别被分词工具拆分为词序列，并将每个词初始化为词向量的形式作为词的浅层语义表示；利用全局的招聘启事数据构建知识图谱；输入经过分词处理后的工作任务详情，使用词向量的方法初始化每个词的浅层语义表示；同时输入知识图谱和对应基本信息；
步骤2，基于步骤1中局部信息的输出，学习工作任务详情中每个词的高层语义表示：
根据步骤1中输出的局部信息的每个词的词向量，利用双向的长短时记忆网络以序列的方式对工作任务的词进行高层语义编码；
步骤3，基于步骤2中的输出，生成技能词序列；
步骤4，基于步骤3的输出，初步生成文本词序列；
步骤5，基于步骤1中全局信息部分和步骤4中的输出，进一步优化文本词序列中的技能词；
步骤2中，基于工作任务的词向量，使用双向的长短时记忆网络对词的高层语义表示进行编码：
Figure FDA0003702083220000011
Figure FDA0003702083220000012
Figure FDA0003702083220000013
其中工作任务表示为如下形式：
Xi＝(xi,1,xi,2,…,xi,m)
其中m表示工作任务中包含的词个数，xi,j表示第i个工作任务中的第j个词；
步骤3中，包含三个步骤：(1)根据步骤2中输出的工作任务的语义表示，基于工作任务与技能词的映射关系利用注意力机制计算工作任务中每个词的注意力权重，并基于该权重对工作任务中词语的语义表示进行加权求和；(2)利用长短时记忆网络基于加权的工作任务语义表示解码出第一个技能词隐层语义表示，并根据语义表示在技能词表中得到技能词概率分布，概率最大的为预测的技能词并初始化为技能词向量；(3)继续利用长短时记忆网络基于加权的工作任务语义表示和前一个解码出的技能词向量，解码出下一个技能词隐层语义表示；最终，得到技能词向量序列作为预测技能的语义表示；
在步骤3中，基于工作任务的高层语义表示，长短时记忆网络结合注意力机制对技能序列进行解码，具体包含如下步骤：
步骤3.1)，注意力机制计算工作任务中每个词的注意力权重，得到工作任务中词语的注意力语义表示：
Figure FDA0003702083220000021
Figure FDA0003702083220000022
其中W1是待学习的参数,m为工作任务序列长度；
步骤3.2)，基于工作任务中词语的注意力语义表示，利用长短时记忆网络作为技能解码器逐一解码出技能的隐层语义表示：
Figure FDA0003702083220000023
其中，解码器的最后一个隐层状态被用来初始化文本解码器；
步骤3.3)，基于工作任务中词语的注意力语义表示和解码出的技能词隐层表示，在技能词典中得到技能词的概率分布：
Figure FDA0003702083220000031
Figure FDA0003702083220000032
其中，W2,W3和b3是可学习的参数,si,j表示第i条数据中预测生成的第j个技能词；
步骤4中，包含四个步骤：(1)根据步骤2中输出的工作任务的语义表示，基于工作任务与技能需求文本词的映射关系利用注意力机制计算工作任务中每个词的注意力权重，并基于该权重对工作任务中词语的语义表示进行加权求和；(2)根据步骤3中输出的技能词的语义表示，基于预测的技能词与技能需求文本词的映射关系再次利用注意力机制联合训练，计算预测技能词中每个词的注意力权重，并基于该权重对预测技能中词语的语义表示进行加权求和；(3)对工作任务的注意力语义表示和预测技能的注意力语义表示进行拼接得到整体语义表示，基于整体语义表示在文本词表中得到词概率分布，概率最大的预测为第一个技能需求文本词并初始化为文本词向量；(4)继续利用长短时记忆网络基于拼接后的整体语义表示和前一个预测的文本词向量，逐步解码出下一个文本词的隐层语义表示，基于此，在文本词表中得到词概率分布；
在步骤4中，基于工作任务的词向量和预测的技能词向量，采用多注意力机制联合训练，长短时记忆网络作为文本解码器，得到初步的文本词概率分布，具体包含如下步骤：
步骤4.1)，利用长短时记忆网络作为文本解码器，逐一解码出技能需求文本的隐层语义表示：gt＝LSTM(et-1,gt-1)
其中，et-1表示第t-1个被预测文本词向量，第0个初始化为0向量；
步骤4.2)，注意力机制计算工作任务中每个词的注意力权重，得到工作任务中词语的注意力语义表示：
Figure FDA0003702083220000041
Figure FDA0003702083220000042
其中W4是待学习的参数；
步骤4.3)，注意力机制计算预测技能中每个词的注意力权重，得到预测技能中词语的注意力语义表示：
Figure FDA0003702083220000043
Figure FDA0003702083220000044
其中W5是待学习的参数,l是预测技能词序列长度；
步骤4.4)，基于工作任务中词语的注意力语义表示，预测的技能词注意力语义表示，前一个预测的文本词向量和解码出的文本词隐层语义表示，在文本词典中得到文本词的概率分布：
Figure FDA0003702083220000045
Figure FDA0003702083220000046
其中，W6,W7和b7是可学习的参数,yi,j表示第i条数据中预测生成的第j个文本词；
步骤5中，包含四个步骤：(1)基于知识图谱和对应的基本信息，在知识图谱中根据先验知识查找得到推荐的技能词，并对知识图谱技能词初始化为向量形式；(2)基于知识图谱技能词与技能需求文本词的映射关系，再次利用注意力机制联合步骤4中的注意力机制共同训练，计算知识图谱技能词中每个词的注意力权重，并基于该权重对知识图谱技能词的语义表示进行加权求和；(3)基于知识图谱技能词的注意力语义表示，逐一地在技能词表中得到词概率分布；(4)将基于知识图谱先验知识得到的技能词概率分布对应的与步骤4中得到的词概率分布进行加权求和，加权和概率最大的预测为文本词；最终，生成技能需求文本；
在步骤5中，通过知识图谱引入技能信息的先验知识，与步骤4中的注意力机制联合训练，优化生成最终文本：
步骤5.1)，根据对应的基本信息查找知识图谱中的技能词作为推荐，并初始化知识图谱技能词为向量形式：
Oi＝f(Bi,Gs)
S′i＝(s′i,1,s′i,2,…,s′i,k)＝emb(Oi)
其中，f是单射的查询函数,emb()是初始化函数；
步骤5.2)，注意力机制计算知识图谱技能中每个词的注意力权重，得到知识图谱技能中词语的注意力语义表示；
Figure FDA0003702083220000051
Figure FDA0003702083220000052
其中W5是待学习的参数，k是知识图谱推荐技能词序列长度；
步骤5.3)，基于工作任务中词语的注意力语义表示，知识图谱技能词的注意力语义表示和解码出的文本词隐层语义表示，在技能词表中得到技能词概率分布：
Figure FDA0003702083220000053
Figure FDA0003702083220000061
其中，W9,W10和b10是可学习的参数；
步骤5.4)，与步骤4中得到的词概率分布进行加权求和，加权和概率最大的预测为文本词：
P(Yi|Xi,Si,Bi)＝(1-λ)Plocal(Yi|Xi,Si,Bi)+λPglocal(Yi|Xi,Si,Bi)
其中，λ是一个超参数。
2.根据权利要求1所述的基于技能感知多注意力机制的招聘启事生成方法，其特征是：步骤1中，利用全局的招聘启事数据构建知识图谱包括以下步骤：首先，利用命名实体识别工具将技能需求段落中的技能抽取出来得到对应的技能序列，然后根据招聘启事中的语义信息构成知识图谱。
CN202010453590.9A 2020-05-26 2020-05-26 一种基于技能感知多注意力机制的招聘启事生成方法 Active CN111667238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010453590.9A CN111667238B (zh) 2020-05-26 2020-05-26 一种基于技能感知多注意力机制的招聘启事生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010453590.9A CN111667238B (zh) 2020-05-26 2020-05-26 一种基于技能感知多注意力机制的招聘启事生成方法

Publications (2)

Publication Number Publication Date
CN111667238A CN111667238A (zh) 2020-09-15
CN111667238B true CN111667238B (zh) 2022-07-29

Family

ID=72384621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010453590.9A Active CN111667238B (zh) 2020-05-26 2020-05-26 一种基于技能感知多注意力机制的招聘启事生成方法

Country Status (1)

Country Link
CN (1) CN111667238B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507132B (zh) * 2020-12-14 2022-08-05 天津大学 一种基于知识图谱和注意力机制的推荐方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376400A1 (en) * 2017-03-14 2018-09-19 Fujitsu Limited Dynamic context adjustment in language models
CN109408812A (zh) * 2018-09-30 2019-03-01 北京工业大学 一种基于注意力机制的序列标注联合抽取实体关系的方法
CN110119765A (zh) * 2019-04-18 2019-08-13 浙江工业大学 一种基于Seq2seq框架的关键词提取方法
CN110750652A (zh) * 2019-10-21 2020-02-04 广西大学 结合上下文实体词和知识的故事结局生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180018573A1 (en) * 2016-07-12 2018-01-18 Xerox Corporation Vector operators for distributional entailment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376400A1 (en) * 2017-03-14 2018-09-19 Fujitsu Limited Dynamic context adjustment in language models
CN109408812A (zh) * 2018-09-30 2019-03-01 北京工业大学 一种基于注意力机制的序列标注联合抽取实体关系的方法
CN110119765A (zh) * 2019-04-18 2019-08-13 浙江工业大学 一种基于Seq2seq框架的关键词提取方法
CN110750652A (zh) * 2019-10-21 2020-02-04 广西大学 结合上下文实体词和知识的故事结局生成方法

Also Published As

Publication number Publication date
CN111667238A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
US11748555B2 (en) Systems and methods for machine content generation
CA3129745C (en) Neural network system for text classification
US11182432B2 (en) Vertical processing of natural language searches
WO2021196920A1 (zh) 智能问答方法、装置、设备及计算机可读存储介质
US8700385B2 (en) Providing a task description name space map for the information worker
Ren et al. Crsal: Conversational recommender systems with adversarial learning
GB2558062A (en) Collection strategies that facilitate arranging portions of documents into content collections
CN111914096A (zh) 基于舆情知识图谱的公共交通乘客满意度评价方法及系统
US11544308B2 (en) Semantic matching of search terms to results
US11210286B2 (en) Facet-based conversational search
US20130254126A1 (en) Method of annotating portions of a transactional legal document related to a merger or acquisition of a business entity with graphical display data related to current metrics in merger or acquisition transactions
CN111783993A (zh) 智能标注方法、装置、智能平台及存储介质
Zhang et al. Deep am-fm: Toolkit for automatic dialogue evaluation
CN110442872B (zh) 一种文本要素完整性审核方法及装置
CA2771182A1 (en) System and method for managing workforce transitions between public and private sector employment
Mishra et al. Enhanced DSSM (deep semantic structure modelling) technique for job recommendation
El-Ansari et al. Sentiment analysis for personalized chatbots in e-commerce applications
Wang et al. Sentiment analysis from Customer-generated online videos on product review using topic modeling and Multi-attention BLSTM
Garg et al. Potential use-cases of natural language processing for a logistics organization
CN109344374A (zh) 基于大数据的报表生成方法及装置、电子设备、存储介质
CN111667238B (zh) 一种基于技能感知多注意力机制的招聘启事生成方法
Li et al. The user preference identification for product improvement based on online comment patch
CN111221881A (zh) 用户特征数据合成方法、装置及电子设备
Qi et al. Aspect-based sentiment analysis with enhanced aspect-sensitive word embeddings
Hong et al. Knowledge-grounded dialogue modelling with dialogue-state tracking, domain tracking, and entity extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant