CN116757652B - 一种基于大语言模型的在线招聘推荐系统及方法 - Google Patents

一种基于大语言模型的在线招聘推荐系统及方法 Download PDF

Info

Publication number
CN116757652B
CN116757652B CN202311034674.9A CN202311034674A CN116757652B CN 116757652 B CN116757652 B CN 116757652B CN 202311034674 A CN202311034674 A CN 202311034674A CN 116757652 B CN116757652 B CN 116757652B
Authority
CN
China
Prior art keywords
language model
large language
fine tuning
recommending
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311034674.9A
Other languages
English (en)
Other versions
CN116757652A (zh
Inventor
吴李康
丘昭鹏
宋洋
祝恒书
赵鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanlan Wolf Technology Co ltd
Original Assignee
Beijing Huapin Borui Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huapin Borui Network Technology Co Ltd filed Critical Beijing Huapin Borui Network Technology Co Ltd
Priority to CN202311034674.9A priority Critical patent/CN116757652B/zh
Publication of CN116757652A publication Critical patent/CN116757652A/zh
Application granted granted Critical
Publication of CN116757652B publication Critical patent/CN116757652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大语言模型的在线招聘推荐系统，该推荐系统包括输入构造模组和大语言模型微调及推荐模组，输入构造模组根据在线招聘平台交互数据库提取求职者和招聘者的异质图，并将异质图中存在的交互语义路径转换为自然语言形式输入到大语言模型中；大语言模型微调及推荐模组采用在线招聘数据进行参数微调训练，并通过训练后的推荐模型对输入的文本特征进行处理，生成对应的推荐结果和决策原因。本发明还公开了一种基于大语言模型的在线招聘推荐方法，以及同时服务于求职者和招聘者的双向互惠推荐系统。本发明的有益效果为：用户可以直观理解推荐该结果的原因，使其更加信任该推荐结果；同时，擅长处理新岗位或招聘者的推荐。

Description

一种基于大语言模型的在线招聘推荐系统及方法
技术领域
本发明涉及互联网信息推荐系统技术领域，具体而言，涉及一种基于生成式大语言模型的在线招聘推荐系统及方法。
背景技术
目前招聘领域的推荐系统的基本建模思路是基于用户画像和历史行为分别推荐较为适合的职位给求职者或合适的求职者给招聘者，然而随着在线招聘平台用户体量的快速增加，在线招聘平台对于精准式推荐系统的能力覆盖面要求也越来越高。在实际使用时，在线招聘平台采用传统推荐模型普遍存在两个重要问题，一是传统的基于交互数据进行训练的模型不擅长去处理与训练样本分布差异大的新岗位，例如随着人工智能技术的飞速发展，大量需要借助人工智能技术辅助工作的新职业在就业市场上大规模产生，传统的在线招聘推荐系统不具备对于这些新职业的岗位进行预测的能力；二是传统的推荐系统特别是深度学习模型的可解释性较弱，从而无法给出决策过程的原因描述，这在现有的招聘平台业务中体现的更为明显。
发明内容
为解决上述问题，本发明的目的在于提供一种支持求职者和招聘者之间职位匹配的在线招聘推荐系统及方法，利用大语言模型的泛化能力和丰富的外部知识，在处理包括新岗位的推荐任务时，能够给出更准确的推荐结果，同时生成决策原因。
本发明提供了一种基于大语言模型的在线招聘推荐系统，该推荐系统包括输入构造模组和大语言模型微调及推荐模组，其中，
所述输入构造模组根据在线招聘平台交互数据库提取求职者和招聘者异质图，并将所述求职者和招聘者异质图中存在的交互语义路径转换为大语言模型可识别的自然语言形式，并以文本特征的形式输入到所述大语言模型微调及推荐模组中；
所述大语言模型微调及推荐模组采用在线招聘数据对大语言模型进行参数微调训练，得到训练后的推荐模型，并通过所述训练后的推荐模型对所述输入构造模组输入的文本特征进行处理，生成与输入文本特征对应的推荐结果和决策原因，所述推荐结果和决策原因以自然语言形式输出。
作为本发明进一步的改进，所述大语言模型为一个多层Transformer Decoders组成的神经网络，所述大语言模型还包括语义路径权重学习层，所述语义路径权重学习层位于所述Token embedding层和Transformer block层之间，所述语义路径权重学习层为一个文本token的表征到标量的映射层，每条所述交互语义路径的表征通过所述语义路径权重学习层得到该条交互语义路径的权重，所述语义路径权重学习层将所述权重和对应的交互语义路径的表征相乘后输入到所述Transformer block层进行训练。
作为本发明进一步的改进，所述输入构造模组构造的文本特征包括交互路径描述和指令，其中，所述交互路径描述包含求职者和招聘者的特征信息，所述指令为一段用于指示所述大语言模型结果输出的文本。
作为本发明进一步的改进，所述大语言模型微调及推荐模组采用在线招聘数据对大语言模型进行参数微调训练包括：从所述在线招聘平台交互数据库中构造求职者和招聘者达成匹配的样本对，并采样负样本对，将所述样本对和负样本对以文本特征的形式输入大语言模型进行训练，得到训练后的推荐模型。
作为本发明进一步的改进，所述采用在线招聘数据对大语言模型进行参数微调训练还包括微调指令构造，所述微调指令构造包括：通过预训练大语言模型改写句子生成指令集合，从所述指令集合中随机选择微调指令，将求职者和招聘者达成匹配的结果描述文本作为label，并采用语言模型损失函数对所述大语言模型进行训练。
本发明还提供了一种适用于在线招聘的双向互惠推荐系统，该双向互惠推荐系统采用本发明上述的基于大语言模型的在线招聘推荐系统，所述双向互惠推荐系统同时适用于求职者和招聘者，即为求职者推荐职位和为招聘者推荐求职者；
当所述双向互惠推荐系统为求职者推荐职位时，所述输入构造模组根据求职者的交互信息为求职者构造大语言模型可识别的求职文本特征，并将求职者的求职文本特征输入到所述大语言模型微调及推荐模组中，所述大语言模型微调及推荐模组为求职者生成推荐职位和推荐该职位的决策原因；
当所述双向互惠推荐系统为招聘者推荐求职者时，所述输入构造模组根据招聘者的交互信息为招聘者构造大语言模型可识别的招聘文本特征，并将招聘者的招聘文本特征输入到所述大语言模型微调及推荐模组中，所述大语言模型微调及推荐模组为招聘者推荐求职者和推荐该求职者的决策原因。
本发明还提供了一种基于大语言模型的在线招聘推荐方法，该推荐方法包括：
输入构造，包括根据在线招聘平台交互数据库提取求职者和招聘者异质图，并将所述求职者和招聘者异质图中存在的交互语义路径转换为大语言模型可识别的自然语言形式，并以文本特征的形式输入到所述大语言模型微调及推荐模组中；
大语言模型微调及推荐，包括采用在线招聘数据对大语言模型进行参数微调训练，得到训练后的推荐模型；通过所述训练后的推荐模型对构造的输入文本特征进行处理，生成与输入文本特征对应的推荐结果和决策原因，所述推荐结果和决策原因以自然语言形式输出。
作为本发明进一步的改进，所述大语言模型为一个多层Transformer Decoders组成的神经网络，所述大语言模型还包括语义路径权重学习层，所述语义路径权重学习层位于所述Token embedding层和Transformer block层之间，所述语义路径权重学习层为一个文本token的表征到标量的映射层，每条所述交互语义路径的表征通过所述语义路径权重学习层得到该条交互语义路径的权重，所述语义路径权重学习层将所述权重和对应的交互语义路径的表征相乘后输入到所述Transformer block层进行训练。
作为本发明进一步的改进，构造输入文本特征包括交互路径描述和指令，其中，所述交互路径描述包含求职者和招聘者的特征信息，所述指令为一段用于指示所述大语言模型结果输出的文本。
作为本发明进一步的改进，所述采用在线招聘数据对大语言模型进行参数微调训练包括：从所述在线招聘平台交互数据库中构造求职者和招聘者达成匹配的样本对，并采样负样本对，将所述样本对和负样本对以文本特征的形式输入大语言模型进行训练，得到训练后的推荐模型。
作为本发明进一步的改进，所述采用在线招聘数据对大语言模型进行参数微调训练还包括微调指令构造，所述微调指令构造包括：通过预训练大语言模型改写句子生成指令集合，从所述指令集合中随机选择微调指令，将求职者和招聘者达成匹配的结果描述文本作为label，并采用语言模型损失函数对所述大语言模型进行训练。
本发明的有益效果为：通过将基于大语言模型应用到在线招聘推荐系统中，利用大语言模型的泛化能力和强外部知识进行求职和招聘推荐，给出符合期望的推荐结果，并且利用大语言模型强大的自然语言生成能力和推理能力给出推荐的决策原因，使得用户可以直观理解推荐该结果的原因，使其更加信任该推荐结果。同时，对于招聘市场中产生的和已有岗位差异较大的新岗位或没有求职经历的求职者，本发明能够借助大语言模型包含的丰富外部知识，通过交互数据外的知识关联，给出合理、准确的推荐。
本发明的双向互惠推荐系统同时满足于求职者和招聘者，支持求职者和招聘者之间双向匹配，给求职者推荐满足需求的职位，为招聘者推荐满足要求的招聘者，推荐结果准确，且更容易接受和认可。
附图说明
图1为本发明实施例所述的一种基于大语言模型的在线招聘推荐系统或方法的输入构造流程示意图；
图2为本发明实施例所述的一种基于大语言模型的在线招聘推荐系统或方法的大语言模型微调及推荐流程示意图；
图3为本发明实施例所述的一种大语言模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对发明开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本公开的范围。术语“包括”和/或“包含”用于指定元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明实施例的说明。附图仅出于说明的目的用来描绘本公开实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本公开原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明实施例所述的一种基于大语言模型的在线招聘推荐系统，如图1和2所示，该推荐系统包括输入构造模组和大语言模型微调及推荐模组。在在线招聘场景中，存在天然形成的异质图结构，职位或人员推荐需要处理多种行为与主被动关系，需要使用包含多种节点和边的异质图结构，输入构造模组根据在线招聘平台交互数据库提取求职者和招聘者异质图，并将求职者和招聘者异质图中存在的交互语义路径转换为大语言模型可识别的自然语言形式（即人类沟通的语言），并将转换生成的自然语言以文本特征的形式输入到大语言模型微调及推荐模组中进行处理。
大语言模型微调及推荐模组首先采用在线招聘数据对大语言模型进行参数微调训练，得到训练后的推荐模型，然后通过训练后的推荐模型对输入构造模组输入的文本特征进行处理，生成与输入文本特征对应的推荐结果和决策原因，推荐结果和决策原因以自然语言形式输出。其中，本发明中的大语言模型（Large Language Model，LLM）是指在大规模语料上预训练的基于Transformer架构的参数量在百亿甚至千亿级别的大模型。大语言模型在各种自然语言处理问题上表现出良好的泛化性能。本发明通过使用指令数据的微调和强化学习方法使得大语言模型更好地理解用户意图，生成更加符合在线招聘市场的推荐结果。
一种可选的实施方式，本发明采用生成式大语言模型，生成式大语言模型为一个多层Transformer Decoders 组成的神经网络，其输入为输入构造模组中构造的文本特征，然后生成符合输入描述的推荐结果，以给求职者推荐合适岗位为例，推荐结果为符合求职者特征的职位描述。大语言模型微调及推荐模组采用序列化生成的方式，每次生成一个token，每次生成都以多头注意力机制聚合输入和已生成好的文本的信息。如图3所示，大语言模型还包括语义路径权重学习层，语义路径权重学习层位于所述Token embedding层和Transformer block层之间，语义路径权重学习层为一个文本token的表征到标量的映射层，每条语义路径的表征通过语义路径权重学习层得到该条语义路径的权重，语义路径权重学习层将权重和对应的语义路径的表征相乘后输入到Transformer block层进行训练。本发明在大语言模型的Token embedding层和Transformer block层之间增加了一个语义路径权重学习层（即，MLP层），通过增加MLP层，让推荐模型能够自适应地判别不同交互路径的影响力大小，自适应选择路径重要性，提高推荐结果的准确性。
一种可选的实施方式，输入构造模组从关系型数据库中根据已有的关系提取求职者和招聘者异质图，该图中节点类型不同，同时存在多种关系类型。基于异质图构造输入文本特征。输入构造模组构造的文本特征包括交互路径描述和指令，其中，交互路径描述包含求职者和招聘者的特征信息，指令为一段用于指示大语言模型结果输出的文本。
以给求职者推荐合适岗位为例，推荐模型的输入主要包括两个部分：交互路径描述和指令。其中交互路径描述部分例如为：求职者A的用户画像信息为Pa（包含信息例如年龄，学历，个人技能等），其曾经交互过 (开聊，达成等)的岗位描述为JDi（包含信息例如岗位名称，技能需求等），与此同时和JDi存在关联的还有其他的JDj或者用户Pb，这种情况下，从求职者A到JDi再到JDj所构成的异质路径包含了丰富的语义信息，其可以用自然语言描述为，“求职者A（Pa）主动开聊过JDi，和JDi类似的有同企业JDj”。指令部分即一段文本，用来指示推荐模型需要完成的任务，例如“请根据该候选人的交互信息推荐一个合适的职位”。因此，输入模组产生的信息是一段由交互路径描述和指令文本合并的文本。
在训练阶段，针对生成式大语言模型存在的位置偏差问题，本发明的输入构造模块还会随机打乱不同交互路径的顺序，从而减少位置偏差对模型结果的影响，增加其鲁棒性。
一种可选的实施方式，大语言模型微调及推荐模组采用在线招聘数据对大语言模型进行参数微调训练包括：从在线招聘平台交互数据库中构造求职者和招聘者达成匹配的样本对，并采样负样本对（未达成求职匹配的样本对）。样本对包含了用户与岗位的交互信息，其可以通过自然语言的形式进行描述，例如“面试”可以转换为自然语言：“用户A面试过岗位B”。将所述样本对和负样本以文本特征的形式输入大语言模型进行训练，得到训练后的推荐模型。以给求职者推荐合适岗位为例，指令微调阶段从平台交互数据库中构造出达成匹配的求职者-职位的样本对，并采样求职者的负样本对，按照输入构造模组中的描述构造文本输入，在指令的选择上可以从可用指令集合中（使用预训练大语言模型改写句子得到）随机选择，以达成匹配（指求职者和招聘者经过沟通且达成初步合作意向）的职位描述作为 label。采用语言模型损失函数，即模型要最大化选择 label所对应文本的概率，来训练整个模型。损失函数例如可采用语言模型常用的自回归损失函数。对于新的样本，只要将其输入训练好的模型，生成其对应的候选岗位和解释即可。
本发明实施例所述的一种适用于在线招聘的双向互惠推荐系统，该双向互惠推荐系统采用上述实施例中的基于大语言模型的在线招聘推荐系统，同时适用于求职者和招聘者，即为求职者推荐职位和为招聘者推荐求职者。
本发明实施例所述的一种基于大语言模型的在线招聘推荐系统，该推荐系统包括输入构造模组和大语言模型微调及推荐模组，输入构造模组用于将在线招聘平台交互数据库提取求职者和招聘者异质图，并将求职者和招聘者异质图中存在的交互语义路径转换为大语言模型可识别的自然语言形式；并将转换生成的自然语言以文本特征的形式输入到大语言模型微调及推荐模组中进行处理。大语言模型微调及推荐模组首先采用在线招聘数据对大语言模型进行参数微调训练，得到训练后的推荐模型，然后通过训练后的推荐模型对输入构造模组输入的文本特征进行处理，生成与输入文本特征对应的推荐结果和决策原因。
当所述双向互惠推荐系统为求职者推荐职位时，输入构造模组根据求职者的交互信息为求职者构造大语言模型可识别的求职文本特征，并将求职者的求职文本特征输入到所述大语言模型微调及推荐模组中，所述大语言模型微调及推荐模组为求职者生成推荐职位和推荐该职位的决策原因。例如，求职者A通过本发明的双向互惠推荐系统请求推荐合适的岗位，推荐模型以输入构造模型中构造的文本特征（包含该求职者A的以往的求职交互信息和为其推荐岗位的指令文本），然后系统会为求职者A生成对应的候选岗位和推荐这些岗位的原因。
当双向互惠推荐系统为招聘者推荐求职者时，输入构造模组根据招聘者的交互信息为招聘者构造大语言模型可识别的招聘文本特征，并将招聘者的招聘文本特征输入到所述大语言模型微调及推荐模组中，所述大语言模型微调及推荐模组为招聘者推荐求职者和推荐该求职者的决策原因。例如，招聘者R通过本发明的双向互惠推荐系统请求推荐适合岗位P的求职者，推荐模型以输入构造模型中构造的文本特征（包含该招聘者R的历史的招聘交互信息和为其推荐招聘岗位合适求职者的指令文本），然后系统会为该招聘者R生成对应的候选求职者和推荐这些求职者的原因。
本发明实施例所述的一种基于大语言模型的在线招聘推荐方法，该推荐方法包括：
输入构造，包括根据在线招聘平台交互数据库提取求职者和招聘者异质图，并将所述求职者和招聘者异质图中存在的交互语义路径转换为大语言模型可识别的自然语言形式，并以文本特征的形式输入到所述大语言模型微调及推荐模组中；
大语言模型微调及推荐，包括采用在线招聘数据对大语言模型进行参数微调训练，得到训练后的推荐模型；本发明的大语言模型（Large Language Model，LLM）是指在大规模语料上预训练的基于Transformer架构的参数量在百亿甚至千亿级别的大模型。大语言模型在各种自然语言处理问题上表现出良好的泛化性能。本发明通过使用指令数据的微调和强化学习方法使得大语言模型更好地理解用户意图，生成更加合理、适用和贴切的内容。通过微调的大语言模型能够更好的适用于在线招聘场景中。通过所述训练后的推荐模型对构造的输入文本特征进行处理，生成与输入文本特征对应的推荐结果和决策原因，所述推荐结果和决策原因以自然语言形式输出。
一种可选的实施方式，本发明采用生成式大语言模型，生成式大语言模型为一个多层Transformer Decoders 组成的神经网络，其输入为构造的文本特征，然后生成符合求职者特征的岗位描述作为推荐结果，或符合招聘者需求的求职者作为推荐结果。推荐模型采用采用序列化生成的方式，每次生成一个 token，每次生成都以多头注意力机制聚合输入和已生成好的文本的信息。
为了让推荐模型能够自适应地判别不同交互路径的影响力大小，本发明的所述大语言模型包括语义路径权重学习层（MLP层），语义路径权重学习层位于Token embedding层和Transformer block层之间，语义路径权重学习层为一个文本token的表征到标量的映射层，每条语义路径的表征通过所述语义路径权重学习层得到该条语义路径的权重，语义路径权重学习层将权重和对应的语义路径的表征相乘后输入到Transformer block层进行训练。例如“用户A面试过岗位B，岗位B曾经与用户C交流过”等，每条语义路径的向量表征信息从大语言模型的词向量表征中得到，然后经过MLP层（一个可训练的参数矩阵层）映射为其对应的权重系数，再将原语义路径向量表征与该权重系数相乘即可给不同的语义路径赋予不同的权重，即为可训练路径选择。
一种可选的实施方式，构造输入文本特征包括交互路径描述和指令，其中，交互路径描述包含求职者和招聘者的特征信息，指令为一段用于指示所述大语言模型结果输出的文本。
以给求职者推荐合适岗位为例，推荐模型的输入主要包括两个部分：交互路径描述和指令。其中交互路径描述部分例如为：求职者A的用户画像信息为Pa（包含信息例如年龄，学历，个人技能等），其曾经交互过 (开聊，达成等)的岗位描述为JDi（包含信息例如岗位名称，技能需求等），与此同时和JDi存在关联的有其他的JDj或者用户Pb，这种情况下，从求职者A到JDi再到JDj所构成的异质路径包含了丰富的语义信息，其可以用自然语言描述为，“求职者A（Pa）主动开聊过JDi, 和JDi类似的有同企业JDj”。指令部分即一段文本，用来指示推荐模型需要完成的任务，例如“请根据该候选人的交互信息推荐一个合适的职位”。因此，输入模组产生的信息是一段由交互路径描述和指令文本合并的文本。
在训练阶段，针对生成式大语言模型存在的位置偏差问题，本发明的输入构造模块还会随机打乱不同交互路径的顺序，从而减少位置偏差对模型结果的影响，增加其鲁棒性。
一种可选的实施方式，大语言模型微调及推荐采用在线招聘数据对大语言模型进行参数微调训练包括：从在线招聘平台交互数据库中构造求职者和招聘者达成匹配的样本对，并采样负样本对，将所述样本对和负样本按照输入构造文本形式输入，在指令的选择上可以从可用指令集合中（使用预训练大语言模型改写句子得到）随机选择，以达成匹配（例如求职者和招聘者经过沟通且达成初步合作意向）的职位描述作为 label。采用语言模型损失函数，即模型要最大化选择 label所对应文本的概率，来训练整个模型。损失函数例如可采用语言模型常用的自回归损失函数。
以给求职者推荐合适岗位为例，指令微调阶段从平台交互数据库中构造出达成匹配的求职者-职位的样本对，并采样求职者的负样本对（未达成求职匹配的样本对），按照输入构造模组中的描述构造文本输入，在指令的选择上可以从可用指令集合中（使用预训练大语言模型改写句子得到）随机选择，以达成匹配（指求职者和招聘者经过沟通且达成初步合作意向）的职位描述作为 label。采用语言模型损失函数，即模型要最大化选择 label所对应文本的概率，来训练整个模型。对于新的样本，只要将其输入训练好的模型，生成其对应的候选岗位和解释即可。
本发明的基于大语言模型的在线招聘推荐方法，相比于已有的在线招聘推荐方法，本发明的推荐方法的优势包括：（1）在特征层面，本发明采用纯文本描述的特征来替代ID 类特征，使得推荐模型可以对在训练样本中未出现过的样本进行语义关联；（2）在输出层面，以给求职者推荐职位为例，本发明可以根据求职者的交互信息直接为求职者选择最符合其背景和工作经历的职位描述，并且给出该模型推荐这个职位的决策原因，具有很好的可解释性；（3）本发明和传统的判别式推荐框架不同，直接用生成式大语言模型的框架进行推荐任务，和预训练语言模型训练时的任务差异较小，因此减少了基础模型和下游任务之间的偏差。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本发明，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。

Claims (5)

1.一种基于大语言模型的在线招聘推荐系统，其特征在于，该推荐系统包括输入构造模组和大语言模型微调及推荐模组，其中，
所述输入构造模组根据在线招聘平台交互数据库提取求职者和招聘者异质图，并将所述求职者和招聘者异质图中存在的交互语义路径转换为大语言模型可识别的自然语言形式，并以文本特征的形式输入到所述大语言模型微调及推荐模组中；
所述大语言模型微调及推荐模组采用在线招聘数据对大语言模型进行参数微调训练，得到训练后的推荐模型，并通过所述训练后的推荐模型对所述输入构造模组输入的文本特征进行处理，生成与输入文本特征对应的推荐结果和决策原因，所述推荐结果和决策原因以自然语言形式输出；其中，
所述大语言模型为一个多层Transformer Decoders 组成的神经网络，所述大语言模型还包括语义路径权重学习层，所述语义路径权重学习层位于Token embedding层和Transformer block层之间，所述语义路径权重学习层为一个文本token的表征到标量的映射层，每条所述交互语义路径的表征通过所述语义路径权重学习层得到该条交互语义路径的权重，所述语义路径权重学习层将所述权重和对应的交互语义路径的表征相乘后输入到所述Transformer block层进行训练；
所述大语言模型微调及推荐模组采用在线招聘数据对大语言模型进行参数微调训练包括：从所述在线招聘平台交互数据库中构造求职者和招聘者达成匹配的样本对，并采样负样本对，将所述样本对和负样本对以文本特征的形式输入大语言模型进行训练，得到训练后的推荐模型；所述采用在线招聘数据对大语言模型进行参数微调训练还包括微调指令构造，所述微调指令构造包括：通过预训练大语言模型改写句子生成指令集合，从所述指令集合中随机选择微调指令，将求职者和招聘者达成匹配的结果描述文本作为label，并采用语言模型损失函数对所述大语言模型进行训练。
2.根据权利要求1所述的推荐系统，其特征在于，所述输入构造模组构造的文本特征包括交互路径描述和指令，其中，所述交互路径描述包含求职者和招聘者的特征信息，所述指令为一段用于指示所述大语言模型结果输出的文本。
3.一种适用于在线招聘的双向互惠推荐系统，其特征在于，采用权利要求1或2所述的基于大语言模型的在线招聘推荐系统，所述双向互惠推荐系统同时适用于求职者和招聘者，即为求职者推荐职位和为招聘者推荐求职者；
当所述双向互惠推荐系统为求职者推荐职位时，所述输入构造模组根据求职者的交互信息为求职者构造大语言模型可识别的求职文本特征，并将求职者的求职文本特征输入到所述大语言模型微调及推荐模组中，所述大语言模型微调及推荐模组为求职者生成推荐职位和推荐该职位的决策原因；
当所述双向互惠推荐系统为招聘者推荐求职者时，所述输入构造模组根据招聘者的交互信息为招聘者构造大语言模型可识别的招聘文本特征，并将招聘者的招聘文本特征输入到所述大语言模型微调及推荐模组中，所述大语言模型微调及推荐模组为招聘者推荐求职者和推荐该求职者的决策原因。
4.一种基于大语言模型的在线招聘推荐方法，其特征在于，该推荐方法包括：
输入构造，包括根据在线招聘平台交互数据库提取求职者和招聘者异质图，并将所述求职者和招聘者异质图中存在的交互语义路径转换为大语言模型可识别的自然语言形式，并以文本特征的形式输入到所述大语言模型微调及推荐模组中；
大语言模型微调及推荐，包括采用在线招聘数据对大语言模型进行参数微调训练，得到训练后的推荐模型；通过所述训练后的推荐模型对构造的输入文本特征进行处理，生成与输入文本特征对应的推荐结果和决策原因，所述推荐结果和决策原因以自然语言形式输出；其中，
所述大语言模型为一个多层Transformer Decoders 组成的神经网络，所述大语言模型还包括语义路径权重学习层，所述语义路径权重学习层位于Token embedding层和Transformer block层之间，所述语义路径权重学习层为一个文本token的表征到标量的映射层，每条所述交互语义路径的表征通过所述语义路径权重学习层得到该条交互语义路径的权重，所述语义路径权重学习层将所述权重和对应的交互语义路径的表征相乘后输入到所述Transformer block层进行训练；
所述采用在线招聘数据对大语言模型进行参数微调训练包括：
从所述在线招聘平台交互数据库中构造求职者和招聘者达成匹配的样本对，并采样负样本对，将所述样本对和负样本对以文本特征的形式输入大语言模型进行训练，得到训练后的推荐模型；
其中，所述采用在线招聘数据对大语言模型进行参数微调训练还包括微调指令构造，所述微调指令构造包括：通过预训练大语言模型改写句子生成指令集合，从所述指令集合中随机选择微调指令，将求职者和招聘者达成匹配的结果描述文本作为label，并采用语言模型损失函数对所述大语言模型进行训练。
5.根据权利要求4所述的推荐方法，其特征在于，构造输入文本特征包括交互路径描述和指令，其中，所述交互路径描述包含求职者和招聘者的特征信息，所述指令为一段用于指示所述大语言模型结果输出的文本。
CN202311034674.9A 2023-08-17 2023-08-17 一种基于大语言模型的在线招聘推荐系统及方法 Active CN116757652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311034674.9A CN116757652B (zh) 2023-08-17 2023-08-17 一种基于大语言模型的在线招聘推荐系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311034674.9A CN116757652B (zh) 2023-08-17 2023-08-17 一种基于大语言模型的在线招聘推荐系统及方法

Publications (2)

Publication Number Publication Date
CN116757652A CN116757652A (zh) 2023-09-15
CN116757652B true CN116757652B (zh) 2023-10-20

Family

ID=87949964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311034674.9A Active CN116757652B (zh) 2023-08-17 2023-08-17 一种基于大语言模型的在线招聘推荐系统及方法

Country Status (1)

Country Link
CN (1) CN116757652B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495321A (zh) * 2023-11-03 2024-02-02 北京探也智能科技有限公司 一种基于大模型的自助式招聘方法以及设备
CN117390497B (zh) * 2023-12-08 2024-03-22 浙江口碑网络技术有限公司 基于大语言模型的类目预测方法、装置和设备
CN117407595B (zh) * 2023-12-14 2024-03-08 江西财经大学 融合大语言模型与动态对话意图的家装设计师推荐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014011045A1 (en) * 2012-07-12 2014-01-16 Whoopaa B.V. Computer implemented method for matchmaking employers and job candidates
CN113918813A (zh) * 2021-10-11 2022-01-11 北京大学 基于聊天记录形式外部知识的人岗推荐方法及装置
CN116071033A (zh) * 2023-02-10 2023-05-05 深圳今日人才信息科技有限公司 基于预测的人岗匹配精准召回推荐方法
CN116304518A (zh) * 2023-04-11 2023-06-23 中国人民解放军国防科技大学 用于信息推荐的异质图卷积神经网络模型构建方法及系统
CN116452169A (zh) * 2023-06-14 2023-07-18 北京华品博睿网络技术有限公司 一种在线招聘生成式推荐系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014011045A1 (en) * 2012-07-12 2014-01-16 Whoopaa B.V. Computer implemented method for matchmaking employers and job candidates
CN113918813A (zh) * 2021-10-11 2022-01-11 北京大学 基于聊天记录形式外部知识的人岗推荐方法及装置
CN116071033A (zh) * 2023-02-10 2023-05-05 深圳今日人才信息科技有限公司 基于预测的人岗匹配精准召回推荐方法
CN116304518A (zh) * 2023-04-11 2023-06-23 中国人民解放军国防科技大学 用于信息推荐的异质图卷积神经网络模型构建方法及系统
CN116452169A (zh) * 2023-06-14 2023-07-18 北京华品博睿网络技术有限公司 一种在线招聘生成式推荐系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网络招聘中基于本体的双向个性化推荐框架;宋晴晴;胡正华;;情报探索(第01期);83-86 *

Also Published As

Publication number Publication date
CN116757652A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN116757652B (zh) 一种基于大语言模型的在线招聘推荐系统及方法
Harms et al. Approaches for dialog management in conversational agents
He et al. Decoupling strategy and generation in negotiation dialogues
CN109493166B (zh) 一种针对电子商务导购场景任务型对话系统的构建方法
US20230351102A1 (en) Machine content generation
US10740370B2 (en) Dialog agent for conducting task-oriented computer-based communications
US8700385B2 (en) Providing a task description name space map for the information worker
US20230252224A1 (en) Systems and methods for machine content generation
Brabra et al. Dialogue management in conversational systems: a review of approaches, challenges, and opportunities
KR20200141919A (ko) 구직자-구인자 매칭의 합격 여부 판단을 위한 기계 학습 방법 및 이를 이용한 추천 장치
Chandiok et al. CIT: Integrated cognitive computing and cognitive agent technologies based cognitive architecture for human-like functionality in artificial systems
Vishwakarma et al. A review & comparative analysis on various chatbots design
Aloqayli et al. Intelligent Chatbot for Admission in Higher Education
Gupta et al. Fundamentals Of Chat GPT For Beginners Using AI
CN109885695A (zh) 资产建议生成方法、装置、计算机设备和存储介质
Jang et al. Cross-language neural dialog state tracker for large ontologies using hierarchical attention
Saha et al. Reinforcement learning based dialogue management strategy
Wu Learning to memorize in neural task-oriented dialogue systems
Sami et al. Portfolio optimization in DSE using financial indicators, LSTM & PyportfolioOpt
Dixit et al. Enhancing stock market prediction using three-phase classifier and EM-EPO optimization with news feeds and historical data
Khan et al. Knowledge-based system’s modeling for software process model selection
Chakrabarti Artificial conversations for chatter bots using knowledge representation, learning, and pragmatics
Raut A virtual chatbot for ITSM application
Rohmatillah et al. Advances and challenges in multi-domain task-oriented dialogue policy optimization
Thakkar et al. Unified Approach for Scalable Task-Oriented Dialogue System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240311

Address after: Room 13, 1801, 18th Floor, Building 1, No.16 Taiyanggong Middle Road, Chaoyang District, Beijing, 100028

Patentee after: Beijing Hanlan Wolf Technology Co.,Ltd.

Country or region after: China

Address before: 100028, Room 1801, 18th Floor, Building 1, No.16 Taiyanggong Middle Road, Chaoyang District, Beijing 09

Patentee before: BEIJING HUAPIN BORUI NETWORK TECHNOLOGY CO.,LTD.

Country or region before: China

TR01 Transfer of patent right