CN117541202A - 基于多模态知识图谱和预训练大模型融合的就业推荐系统 - Google Patents

Abstract

本发明提供一种基于多模态知识图谱和预训练大模型融合的就业推荐系统，包括：数据处理模块、知识图谱构建模块、预训练大模型、推荐算法模块；数据处理模块负责对原始数据进行处理，知识图谱构建模块进行多模态知识图谱的构建和更新；预训练大模型，用于外部知识的引入；推荐算法模块，基于多模态知识图谱提供智能推荐服务。本发明通过求职人员信息、岗位需求信息、人才政策信息、技能培训信息等数据，融合多种不同模态的数据构建多模态的就业知识图谱，同时通过预训练大模型技术实现外部知识的引入，增强最终的推荐效果，根据多模态图谱的特征表示，对用户和岗位进行相似度计算，得到用户与岗位的匹配度，从而实现精准化的就业智能推荐服务。

Description

基于多模态知识图谱和预训练大模型融合的就业推荐系统

技术领域

本发明涉及就业推荐技术领域，具体涉及一种基于多模态知识图谱和预训练大模型融合的就业推荐系统。

背景技术

就业推荐是现代人力资源管理中的重要任务之一，传统的岗位推荐方法主要基于文本数据，如岗位描述和求职者简历等，然而，这种方法忽略了其他模态数据(如图像数据)中所包含的丰富信息，导致推荐结果的不准确和不全面。

近年来，随着多模态数据处理和知识图谱技术的发展，基于多模态知识图谱的岗位推荐方法逐渐受到关注，这种方法将多种模态的数据(如文本和图像)集成到一个统一的知识图谱中，以更全面地描述岗位和求职者的特征，与传统方法相比，基于多模态知识图谱的岗位推荐方法具有以下优势：

综合考虑不同模态的信息：多模态知识图谱能够融合文本、图像等多种模态的数据，从不同角度全面描述岗位和求职者的特征，通过综合考虑不同模态的信息，可以提高岗位推荐的准确性和全面性。

丰富的知识表示和关联关系：多模态知识图谱可以将岗位的关键词、技能要求、所属行业、薪资水平等信息以及求职者的技能、背景和偏好等信息进行结构化表示，并通过关联关系进行连接，这样可以更好地表达岗位和求职者之间的关系，为推荐算法提供更丰富的信息基础，同时为了更好的服务人才，本技术中构建的知识图谱，除推荐岗位信息外，融合了人才政策信息和技能培训信息。

个性化推荐和智能匹配：基于多模态知识图谱的岗位推荐方法可以结合用户的兴趣、背景和偏好等个性化信息，通过智能匹配算法为用户提供符合其需求和能力的岗位推荐，同时推荐符合条件的人才政策以及技能培训信息，这种个性化推荐能够提高用户满意度，并提供更精准的招聘和求职服务，同时拥有更好的可解释性。

外部知识的引用：通常采集到的各类的数据是不完整的且数据量不够多，本技术结合预训练大模型的知识生成能力，根据采集到的知识生成并补充缺少的知识，用于更好的构建知识图谱。

基于多模态知识图谱的岗位推荐方法将多模态数据处理和知识图谱技术相结合，为现代人力资源管理提供了一种更先进、更全面和更智能的岗位推荐方案，它有望在招聘和求职领域发挥重要作用，提高招聘效率和求职成功率。

因此，现有技术存在不足，需要进一步改进。

发明内容

针对现有技术存在的问题，本发明提供一种基于多模态知识图谱和预训练大模型融合的就业推荐系统。

为实现上述目的，本发明的具体方案如下：

本发明提供一种基于多模态知识图谱和预训练大模型融合的就业推荐系统，包括：

数据处理模块、知识图谱构建模块、预训练大模型、推荐算法模块；

数据处理模块是基础模块，负责对原始数据进行处理，包含数据的采集、预处理和特征提取；

知识图谱构建模块是核心部分，采用数据处理模块提供的数据，进行多模态知识图谱的构建和更新；

预训练大模型，用于外部知识的引入，并对引入的数据进行补充完善后加入到知识图谱中；

推荐算法模块，基于多模态知识图谱提供智能推荐服务。

进一步地，所述数据处理模块的子模块包括：

数据采集子模块；

用于对构建多模态知识图谱需要的基础数据进行采集，采集的来源包含企业招聘网站、求职者个人简历、求职者的求职意向信息、求职者的行为数据、政府举办的线下招聘会信息、政府发布的人才政策信息、各地市人社局发布的技能培训信息、企业的公开数据，数据的采集包含爬虫、开放的API接口、数据库对接；

数据预处理子模块；

用于对采集到的原始数据进行预处理，以消除噪声和提高数据质量，预处理的方式包含以下几个：

数据清洗，用于去除异常值、缺失值和重复值；

分词，使用jieba作为分词工具对获得的文本进行分词处理；

去停用词，去除文本中的停用词，包括常见虚词“的”、“和”、“在”；

词干提取，对分词后的词语进行词干提取，以减少词汇量；

图像数据增强，包括：

旋转：将图像旋转一定角度，增加图像的多样性；

翻转：将图像进行水平或垂直翻转，增加图像的多样性；

缩放：将图像进行缩放，用以增加图像的像素数量，从而增加图像的数据量；

裁剪：将图像进行裁剪，可以得到不同的图像片段，增加图像的多样性；

变形：通过对图像进行扭曲、膨胀、变形操作，增加图像的多样性；

噪声添加：在图像中添加一定程度的噪声，增加图像的复杂度，从而提高模型的性能；

色彩变换：对图像的色彩进行变换，增加图像的多样性。

进一步地，知识图谱构建模块包括以下子模块：

实体识别子模块：负责从文本数据中识别出实体，包括岗位、用户、公司，实体识别子模块采用自然语言处理技术(NLP)中的命名实体识别(NER)算法来实现，对于图像数据，则利用计算机视觉技术进行实体识别；

关系抽取子模块：负责从文本数据中抽取实体之间的关系，关系抽取子模块采用自然语言处理技术(NLP)中的关系抽取算法；

属性抽取子模块：负责从文本数据中抽取实体的属性，属性抽取子模块采用自然语言处理技术(NLP)中的属性抽取算法来实现，对于图像数据，则利用计算机视觉技术进行属性抽取；

知识存储子模块：负责将实体、关系、属性及其之间的关系存储在知识库中，知识存储子模块采用图数据库Neo4j来实现；

知识更新子模块：负责实时更新知识库中的数据，以保证知识图谱的准确性，知识更新主要是实时监控源数据的变化情况，包括岗位数据是否过期，监控到数据源发生变化后，自动对图谱数据进行更新；

知识融合子模块：负责将来自不同数据源的知识进行融合，以得到更加全面、准确的知识图谱，对于文本类型，使用Skip-Gram模型进行文本嵌入，对于图像类型，使用ResNet技术进行图片嵌入，通过cross-attention实现不同源之间的特征融合，通过计算不同实体间的余弦相似度来实现多源实体间的对齐，该模块的处理包括：

文本数据：使用Skip-Gram模型进行文本嵌入，将文本信息转化为向量形式，以便于计算机处理；

图像数据：使用ResNet技术进行图像嵌入，将图像信息转化为向量形式；

在这两种数据处理完成后，模块将利用交叉注意力(Cross-Attention)机制，实现不同源数据间的特征融合；交叉注意力机制可以帮助模型理解并关注不同数据源之间的相关性，从而得到一个融合了多源信息的特征表示；

接着，模块将通过计算不同实体间的余弦相似度，实现多源实体间的对齐；余弦相似度是一种常用的相似度计算方法，可以有效地衡量两个实体在向量空间中的相似程度。

进一步地，所述预训练大模型，用于进行外部信息增强，

引入预训练大模型chatglm2，通过构建不同的prompts，来实现外部知识的引入，

通过构建特定的提示，引导模型生成需要的信息；

在政策信息上，将政策类别、政策描述和政策标题作为输入，让模型生成政策描述的摘要，构建prompt：

"政策类别是{类别}，政策描述是{描述}，政策标题是{标题}；请给出这个政策的摘要"

在岗位信息上，利用用户的历史浏览和收藏的岗位信息，包括岗位名称、岗位类别，来预测用户可能感兴趣的岗位，构建如下的prompt：

"用户过去浏览和收藏的岗位有{岗位列表}；请预测用户可能感兴趣的岗位类别和岗位名称；"

在技能培训信息上，将技能培训的描述作为输入，让模型生成培训的经验要求和摘要，构建如下的prompt：

"技能培训的描述是{描述}；请给出这个培训的经验要求和摘要"

通过这种方式，有效地利用预训练大模型的能力，来增强知识图谱和推荐系统；

在实体识别和关系抽取上，预训练大模型也可发挥重要作用，构建如下的prompts：

"在这段文本{文本}中，请识别出所有的实体和它们之间的关系"

或者

"在这段文本{文本}中，{实体1}和{实体2}之间的关系是什么"

通过这种方式，利用预训练大模型的语义理解能力，来自动识别和抽取文本中的实体和关系，进一步丰富知识图谱。

进一步地，所述推荐算法模块包括如下子模块：

图嵌入子模块，

采用TransE算法将知识图谱中的实体和关系嵌入到低维空间中，在TransE中，对于三元组(h,r,t)，看作是头节点h加上边r，近似于尾节点t；则：

对于正样本三元组：h+r≈t；

对于负样本三元组：h+r≠t；

在图嵌入完成后，得到每个实体和关系的低维向量表示；将这个向量表示记作E(代表Embedding)；这个E就是最后得到的图谱特征，它用于后续的相似度计算；

在计算两个实体e1和e2的相似度时，使用余弦相似度公式：

sim(e1，e2)＝(E(e1)·E(e2))/(||E(e1)||*||E(e2)||)

其中，"·"代表向量点积，"||||"代表向量的模(长度)；这样，通过计算实体嵌入的余弦相似度，来衡量两个实体在知识图谱中的相似性；

岗位推荐子模块，用于实现如下功能：

基于求职意向和岗位需求的相似度计算，

分别对求职意向和岗位需求关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得求职意向最相似的前几类推荐岗位，具体如下：

数据准备：首先，将求职者的意向和岗位需求转化为图的形式；在这个图中，节点代表实体，边代表实体之间的关系；

图嵌入：接着，使用图嵌入算法将图中的节点和边映射到低维空间中，得到它们的向量表示；这些向量用于捕获节点和边的结构信息和语义信息；

计算相似度：然后，通过计算求职者意向的向量和各个岗位需求的向量之间的余弦相似度，来度量他们的相似性；余弦相似度的值越接近1，表示求职者的意向和岗位的需求越相似；

岗位推荐：最后，根据求职者意向的向量与各个岗位需求向量的余弦相似度，选择相似度最高的前N个岗位作为推荐结果；

基于用户特征的相似度计算，

对不同用户节点进行图嵌入，得到不同用户的特征，通过余弦相似度计算用户之前的相似度，得到最相似用户的列表，使用最相似用户的收藏岗位进行岗位推荐；

图嵌入：首先，将用户和他们的行为转化为图的形式；在这个图中，节点代表用户和岗位，边代表用户的行为；然后，使用图嵌入算法将用户节点映射到低维空间中，得到用户的特征向量；

计算相似度：接着，计算目标用户与其他所有用户的特征向量之间的余弦相似度，以度量他们的相似性；余弦相似度的值越接近1，表示两个用户越相似；

找到最相似的用户：然后，根据相似度的高低，找到与目标用户最相似的一组用户；这组用户的行为与目标用户的兴趣和需求接近；

岗位推荐：最后，推荐这组最相似用户收藏的岗位给目标用户；这些岗位是目标用户未发现但感兴趣的岗位；

融合形成岗位推荐列表，

融合基于求职意向和岗位需求的相似度计算和基于用户特征的相似度计算，形成最终的岗位推荐列表；

融合形成岗位推荐列表的过程可以按照以下步骤进行：

收集用户信息和求职意向：获取用户的个人信息、工作经历、技能特点、教育背景等，并了解用户的求职意向，包括行业偏好、职位类型、地理位置等。

提取岗位需求信息：收集各个岗位的详细信息，包括职位描述、技能要求、工作地点、薪资水平等。

相似度计算：基于求职意向和岗位需求，使用适当的相似度计算方法来比较求职者的需求与岗位的匹配程度。可以使用文本相似度算法(如余弦相似度)来计算职位描述和求职者简历之间的相似度，以及技能匹配程度等。

基于用户特征的相似度计算：根据用户的个人特征和求职意向，计算用户与现有员工或其他用户的相似度。这可以使用协同过滤算法或基于用户特征的推荐系统方法来实现。

融合计算结果：将基于求职意向和岗位需求的相似度计算结果与基于用户特征的相似度计算结果进行融合。可以为两者分配不同的权重，并结合其他因素(如地理位置、工作经验等)来决定最终的岗位推荐列表。

生成岗位推荐列表：根据融合计算结果，按照相似度排序，将最匹配的岗位推荐给用户。可以设置适当的阈值或筛选条件，以确保推荐列表的质量和适应性。

需要注意的是，岗位推荐是一个复杂的任务，涉及到多个因素的权衡和计算。具体的实现方式和方法取决于系统的需求和设计。

技能培训推荐子模块，

分别对求职人员信息和技能培训信息关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得最适合的前几类技能培训推荐；

实体和边的图嵌入：首先，对求职人员信息和技能培训信息关联的实体和边进行图嵌入，通过图神经网络(GNN)实现，将实体和边映射到一个连续的向量空间中，更好地捕捉实体和边之间的关系；

相似度计算：然后，通过余弦相似度计算求职人员和技能培训之间的相似度，余弦相似度衡量两个向量之间的夹角，从而得到它们的相似度；

推荐排序：最后，根据计算出的相似度，对所有的技能培训进行排序，选择出最适合的前N个技能培训进行推荐；

人才政策推荐子模块，

分别对求职人员信息和人才政策信息关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得最适合的前几类人才政策进行推荐；

实体和边的图嵌入：首先，对求职人员信息和人才政策信息关联的实体和边进行图嵌入，通过图神经网络(GNN)实现，将实体和边映射到一个连续的向量空间中，更好地捕捉实体和边之间的关系；

相似度计算：然后，通过余弦相似度计算求职人员和人才政策之间的相似度；

推荐排序：最后，根据计算出的相似度，对所有的人才政策进行排序，选择出最适合的前N个人才政策进行推荐。

采用本发明的技术方案，具有以下有益效果：

(1)本发明创新性地提出了一种就业领域的多模态知识图谱，除岗位信息外，额外加入了人才政策信息和技能培训信息，可以求职人员提供个性化的岗位、人才政策、技能培训等多方面的就业信息推荐；

(2)本发明基于多模态知识图谱可以整合来自不同数据源的信息，如用户的个人信息、招聘企业的信息、职位的要求等，并利用预训练大语言模型对外部知识进行了引入，从而提高岗位推荐的准确性和可靠性；此外，该技术还可以通过多模态数据的融合，消除数据之间的噪声和矛盾，进一步提高岗位推荐的准确性和可靠性；

(3)多模态知识图谱通过图谱的形式将复杂的关联关系直观地展示出来，使得用户能够更容易地理解和接受推荐结果；这有助于提高就业推荐系统的可解释性和透明度。

附图说明

图1是本发明的系统结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明；可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定；另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部。

如图1所示，本发明提供一种基于多模态知识图谱和预训练大模型融合的就业推荐系统；

1.目的：

提供一种基于多模态知识图谱和预训练大模型融合的就业推荐系统，为人才提供岗位、人才政策以及技能培训等多方面的就业信息的个性化推荐，辅助城市管理者更好的服务人才，同时也为现代人力资源管理提供了一种更先进、更全面和更智能的岗位推荐方案。

2.实施方案：

2.1数据处理模块

数据处理模块是本发明的基础模块，负责对原始数据进行处理，包含数据的采集、预处理和特征提取等，具体包含以下子模块；

2.1.1数据采集子模块

在本模块中，需要对构建多模态知识图谱需要的基础数据进行采集，采集的来源包含企业招聘网站、求职者个人简历、求职者的求职意向信息、求职者的行为数据(如浏览岗位信息、收藏岗位信息)、政府举办的线下招聘会信息、政府发布的人才政策信息、各地市人社局发布的技能培训信息、企业的公开数据(如企业的办公环境、企业活动、企业产品、用户评价)等，数据的采集包含爬虫、开放的API接口、数据库对接等；

2.1.2数据预处理子模块

负责对采集到的原始数据进行预处理，以消除噪声和提高数据质量，预处理的方式包含以下几个：

2.1.2.1数据清洗

去除异常值、缺失值和重复值等；

2.1.2.2分词

使用jieba等分词工具对获得的文本进行分词处理；

2.1.2.3去停用词

去除文本中的停用词，如“的”、“和”、“在”等常见虚词；

2.1.2.4词干提取

对分词后的词语进行词干提取，以减少词汇量

2.1.2.5图像数据增强

旋转：将图像旋转一定角度，增加图像的多样性；

翻转：将图像进行水平或垂直翻转，增加图像的多样性；

缩放：将图像进行缩放，可以增加图像的像素数量，从而增加图像的数据量；

裁剪：将图像进行裁剪，可以得到不同的图像片段，增加图像的多样性；

变形：通过对图像进行扭曲、膨胀、变形等操作，可以增加图像的多样性；

噪声添加：在图像中添加一定程度的噪声，可以增加图像的复杂度，从而提高模型的性能；

色彩变换：对图像的色彩进行变换，可以增加图像的多样性；

2.2知识图谱构建模块

知识图谱构建模块是本发明的核心部分，负责多模态知识图谱的构建和更新；具体包括以下子模块：

实体识别子模块：负责从文本数据中识别出实体，如岗位、用户、公司等；实体识别子模块可以采用自然语言处理技术(NLP)中的命名实体识别(NER)算法来实现；对于图像数据，则需要利用计算机视觉技术进行实体识别。

关系抽取子模块：负责从文本数据中抽取实体之间的关系；关系抽取子模块可以采用自然语言处理技术(NLP)中的关系抽取算法来实现。

属性抽取子模块：负责从文本数据中抽取实体的属性；属性抽取子模块可以采用自然语言处理技术(NLP)中的属性抽取算法来实现；对于图像数据，则需要利用计算机视觉技术进行属性抽取。

知识存储子模块：负责将实体、关系、属性及其之间的关系存储在知识库中；知识存储子模块采用图数据库Neo4j来实现。

知识更新子模块：负责实时更新知识库中的数据，以保证知识图谱的准确性；知识更新主要是实时监控源数据的变化情况，如岗位数据是否过期，监控到数据源发生变化后，自动对图谱数据进行更新。

知识融合子模块：负责将来自不同数据源的知识进行融合，以得到更加全面、准确的知识图谱；对于文本类型，使用Skip-Gram模型进行文本嵌入，对于图像类型，使用ResNet技术进行图片嵌入；通过cross-attention实现不同源之间的特征融合，通过计算不同实体间的余弦相似度来实现多源实体间的对齐；

知识融合子模块的主要职责是整合来自不同数据源的信息，以创建一个更全面、准确的知识图谱；对于不同类型的数据，该模块采用不同的处理方法：

文本数据：使用Skip-Gram模型进行文本嵌入，将文本信息转化为向量形式，以便于计算机处理；

图像数据：使用ResNet技术进行图像嵌入，将图像信息转化为向量形式；

在这两种数据处理完成后，模块将利用交叉注意力(Cross-Attention)机制，实现不同源数据间的特征融合；交叉注意力机制可以帮助模型理解并关注不同数据源之间的相关性，从而得到一个融合了多源信息的特征表示。

接着，模块将通过计算不同实体间的余弦相似度，实现多源实体间的对齐；余弦相似度是一种常用的相似度计算方法，可以有效地衡量两个实体在向量空间中的相似程度。

总的来说，知识融合子模块通过以上步骤，实现了对来自不同数据源的文本和图像信息的有效融合和对齐，从而能够生成一个更加全面和准确的知识图谱。

2.3预训练大模型进行外部信息增强

在本过程中，通过引入预训练大模型chatglm2，来实现外部知识的引入；主要通过构建不同的prompts来实现；

通过构建特定的提示，我们可以引导模型生成我们需要的信息。

在政策信息上，我们可以将政策类别、政策描述和政策标题作为输入，让模型生成政策描述的摘要。例如，我们可以构建如下的prompt：

"政策类别是{类别}，政策描述是{描述}，政策标题是{标题}。请给出这个政策的摘要。"

在岗位信息上，我们可以利用用户的历史浏览和收藏的岗位信息，如岗位名称、岗位类别，来预测用户可能感兴趣的岗位。例如，我们可以构建如下的prompt：

"用户过去浏览和收藏的岗位有{岗位列表}。请预测用户可能感兴趣的岗位类别和岗位名称。"

在技能培训信息上，我们可以将技能培训的描述作为输入，让模型生成培训的经验要求和摘要。例如，我们可以构建如下的prompt：

"技能培训的描述是{描述}。请给出这个培训的经验要求和摘要。"

通过这种方式，我们可以有效地利用预训练大模型的能力，来增强我们的知识图谱和推荐系统。

在实体识别和关系抽取上，预训练大模型也可以发挥重要作用。例如，我们可以构建如下的prompts：

"在这段文本{文本}中，请识别出所有的实体和它们之间的关系。"

或者

"在这段文本{文本}中，{实体1}和{实体2}之间的关系是什么？"

通过这种方式，我们可以利用预训练大模型的语义理解能力，来自动识别和抽取文本中的实体和关系，进一步丰富我们的知识图谱。

此外，预训练大模型还可以用于文本生成任务，例如生成产品描述、新闻摘要等。例如，我们可以构建如下的prompts：

"给定这些产品特性{特性列表}，请生成一个吸引人的产品描述。"

或者

"给定这篇新闻文章{文章}，请生成一个简洁的新闻摘要。"

通过这种方式，我们可以利用预训练大模型的文本生成能力，来自动生成高质量的文本内容。

以上只是一些示例，实际上，预训练大模型的应用可能性是无限的，只要我们能够恰当地构建prompts，就可以引导模型完成各种复杂的任务。

2.4推荐算法模块

2.4.1图嵌入子模块

在图嵌入子模块中，我们采用TransE算法将知识图谱中的实体和关系嵌入到低维空间中；在TransE中，我们将三元组(h，r，t)看作是头节点h加上边r，近似于尾节点t。因此，对于正样本三元组，我们有h+r≈t；而对于负样本三元组，我们有h+r≠t。

我们的数据源非常丰富，包括企业招聘网站、求职者个人简历、求职者的求职意向信息、求职者的行为数据、政府举办的线下招聘会信息、政府发布的人才政策信息、各地市人社局发布的技能培训信息、企业的公开数据等；数据的采集方式包括爬虫、开放的API接口、数据库对接等。

在图嵌入完成后，我们会得到每个实体和关系的低维向量表示。我们可以将这个向量表示记作E(代表Embedding)；这个E就是我们最后得到的图谱特征，它可以用于后续的相似度计算。

在计算两个实体e1和e2的相似度时，我们可以使用余弦相似度公式：

sim(e1，e2)＝(E(e1)·E(e2))/(||E(e1)||*||E(e2)||)

其中，"·"代表向量点积，"||||"代表向量的模(长度)。这样，我们就可以通过计算实体嵌入的余弦相似度，来衡量两个实体在知识图谱中的相似性。

2.4.2岗位推荐子模块

2.4.2.1基于求职意向和岗位需求的相似度计算

分别对求职意向和岗位需求关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得求职意向最相似的前N类推荐岗位；

具体方法如下：

数据准备：首先，我们需要将求职者的意向和岗位需求转化为图的形式；在这个图中，节点代表实体(如求职者、岗位、技能等)，边代表实体之间的关系(如求职者拥有的技能、岗位需要的技能等)。

图嵌入：接着，我们使用图嵌入算法(如DeepWalk、Node2Vec等)将图中的节点和边映射到低维空间中，得到它们的向量表示；这些向量可以捕获节点和边的结构信息和语义信息。

计算相似度：然后，我们可以通过计算求职者意向的向量和各个岗位需求的向量之间的余弦相似度，来度量他们的相似性；余弦相似度的值越接近1，表示求职者的意向和岗位的需求越相似。

岗位推荐：最后，我们可以根据求职者意向的向量与各个岗位需求向量的余弦相似度，选择相似度最高的前N个岗位作为推荐结果。

这个方法可以有效地考虑求职者的个人意愿和岗位的实际需求，提供更精准的推荐结果。

2.4.2.2基于用户特征的相似度计算

对不同用户节点进行图嵌入，得到不同用户的特征，通过余弦相似度计算用户之前的相似度，得到最相似用户的列表，使用最相似用户的收藏岗位进行岗位推荐

具体方法如下：

图嵌入：首先，我们需要将用户和他们的行为(如收藏、申请、浏览等)转化为图的形式；在这个图中，节点代表用户和岗位，边代表用户的行为；然后，我们可以使用图嵌入算法(如DeepWalk、Node2Vec等)将用户节点映射到低维空间中，得到用户的特征向量。

计算相似度：接着，我们可以计算目标用户与其他所有用户的特征向量之间的余弦相似度，以度量他们的相似性；余弦相似度的值越接近1，表示两个用户越相似。

找到最相似的用户：然后，我们可以根据相似度的高低，找到与目标用户最相似的一组用户；这组用户的行为(如收藏的岗位)可能与目标用户的兴趣和需求非常接近。

岗位推荐：最后，我们可以推荐这组最相似用户收藏的岗位给目标用户；这些岗位可能是目标用户未发现但可能感兴趣的岗位。

这种方法可以有效地利用用户的行为和兴趣，提供个性化的岗位推荐；但是，它也需要足够多的用户行为数据，才能得到准确的推荐结果。

2.4.2.3融合形成岗位推荐列表

融合基于求职意向和岗位需求的相似度计算和基于用户特征的相似度计算，形成最终的岗位推荐列表。

融合形成岗位推荐列表的过程可以按照以下步骤进行：

收集用户信息和求职意向：获取用户的个人信息、工作经历、技能特点、教育背景等，并了解用户的求职意向，包括行业偏好、职位类型、地理位置等。

提取岗位需求信息：收集各个岗位的详细信息，包括职位描述、技能要求、工作地点、薪资水平等。

相似度计算：基于求职意向和岗位需求，使用适当的相似度计算方法来比较求职者的需求与岗位的匹配程度。可以使用文本相似度算法(如余弦相似度)来计算职位描述和求职者简历之间的相似度，以及技能匹配程度等。

基于用户特征的相似度计算：根据用户的个人特征和求职意向，计算用户与现有员工或其他用户的相似度。这可以使用协同过滤算法或基于用户特征的推荐系统方法来实现。

融合计算结果：将基于求职意向和岗位需求的相似度计算结果与基于用户特征的相似度计算结果进行融合。可以为两者分配不同的权重，并结合其他因素(如地理位置、工作经验等)来决定最终的岗位推荐列表。

生成岗位推荐列表：根据融合计算结果，按照相似度排序，将最匹配的岗位推荐给用户。可以设置适当的阈值或筛选条件，以确保推荐列表的质量和适应性。

需要注意的是，岗位推荐是一个复杂的任务，涉及到多个因素的权衡和计算。具体的实现方式和方法取决于系统的需求和设计。

2.4.3技能培训推荐子模块

分别对求职人员信息和技能培训信息关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得最适合的前N类技能培训推荐；

技能培训推荐子模块的实现可以分为以下步骤：

实体和边的图嵌入：首先，需要对求职人员信息和技能培训信息关联的实体和边进行图嵌入；这可以通过图神经网络(GNN)或其他图嵌入方法来实现。图嵌入的目的是将实体和边映射到一个连续的向量空间中，这样可以更好地捕捉实体和边之间的关系；

相似度计算：然后，可以通过余弦相似度计算求职人员和技能培训之间的相似度。余弦相似度是一种常用的相似度计算方法，它可以衡量两个向量之间的夹角，从而得到它们的相似度；

推荐排序：最后，根据计算出的相似度，可以对所有的技能培训进行排序，选择出最适合的前N个技能培训进行推荐；

此外，为了提高推荐的准确性，还可以考虑引入一些其他的特征，例如求职人员的工作经验、教育背景、兴趣爱好等，以及技能培训的难度、时长、费用等。这些特征可以通过特征工程的方式加入到图嵌入中，从而进一步提升推荐的效果。

2.4.4人才政策推荐子模块

分别对求职人员信息和人才政策信息关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得最适合的前N类人才政策推荐；

人才政策推荐子模块的实现可以分为以下步骤：

实体和边的图嵌入：首先，需要对求职人员信息和人才政策信息关联的实体和边进行图嵌入。这可以通过图神经网络(GNN)或其他图嵌入方法来实现。图嵌入的目的是将实体和边映射到一个连续的向量空间中，这样可以更好地捕捉实体和边之间的关系。

相似度计算：然后，可以通过余弦相似度计算求职人员和人才政策之间的相似度。余弦相似度是一种常用的相似度计算方法，它可以衡量两个向量之间的夹角，从而得到它们的相似度。

推荐排序：最后，根据计算出的相似度，可以对所有的人才政策进行排序，选择出最适合的前N个人才政策进行推荐。

此外，为了提高推荐的准确性，还可以考虑引入一些其他的特征，例如求职人员的工作经验、教育背景、兴趣爱好等，以及人才政策的优惠力度、适用范围、政策期限等。这些特征可以通过特征工程的方式加入到图嵌入中，从而进一步提升推荐的效果。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。

Claims (5)

1.一种基于多模态知识图谱和预训练大模型融合的就业推荐系统，其特征在于，包括：

数据处理模块、知识图谱构建模块、预训练大模型、推荐算法模块；

数据处理模块是基础模块，负责对原始数据进行处理，包含数据的采集、预处理和特征提取；

知识图谱构建模块是核心部分，采用数据处理模块提供的数据，进行多模态知识图谱的构建和更新；

预训练大模型，用于外部知识的引入，并对引入的数据进行补充完善后加入到知识图谱中；

推荐算法模块，基于多模态知识图谱提供智能推荐服务。

2.根据权利要求1所述的基于多模态知识图谱和预训练大模型融合的就业推荐系统，其特征在于，

所述数据处理模块的子模块包括：

数据采集子模块；

用于对构建多模态知识图谱需要的基础数据进行采集，采集的来源包含企业招聘网站、求职者个人简历、求职者的求职意向信息、求职者的行为数据、政府举办的线下招聘会信息、政府发布的人才政策信息、各地市人社局发布的技能培训信息、企业的公开数据，数据的采集包含爬虫、开放的API接口、数据库对接；

数据预处理子模块；

用于对采集到的原始数据进行预处理，以消除噪声和提高数据质量，预处理的方式包含以下几个：

数据清洗，用于去除异常值、缺失值和重复值；

分词，使用jieba作为分词工具对获得的文本进行分词处理；

去停用词，去除文本中的停用词，包括常见虚词“的”、“和”、“在”；

词干提取，对分词后的词语进行词干提取，以减少词汇量；

图像数据增强，包括：

旋转：将图像旋转一定角度，增加图像的多样性；

翻转：将图像进行水平或垂直翻转，增加图像的多样性；

缩放：将图像进行缩放，用以增加图像的像素数量，从而增加图像的数据量；

裁剪：将图像进行裁剪，可以得到不同的图像片段，增加图像的多样性；

变形：通过对图像进行扭曲、膨胀、变形操作，增加图像的多样性；

噪声添加：在图像中添加一定程度的噪声，增加图像的复杂度，从而提高模型的性能；

色彩变换：对图像的色彩进行变换，增加图像的多样性。

3.根据权利要求1所述的基于多模态知识图谱和预训练大模型融合的就业推荐系统，其特征在于，

知识图谱构建模块包括以下子模块：

实体识别子模块：负责从文本数据中识别出实体，包括岗位、用户、公司，实体识别子模块采用自然语言处理技术(NLP)中的命名实体识别(NER)算法来实现，对于图像数据，则利用计算机视觉技术进行实体识别；

关系抽取子模块：负责从文本数据中抽取实体之间的关系，关系抽取子模块采用自然语言处理技术(NLP)中的关系抽取算法；

属性抽取子模块：负责从文本数据中抽取实体的属性，属性抽取子模块采用自然语言处理技术(NLP)中的属性抽取算法来实现，对于图像数据，则利用计算机视觉技术进行属性抽取；

知识存储子模块：负责将实体、关系、属性及其之间的关系存储在知识库中，知识存储子模块采用图数据库Neo4j来实现；

知识更新子模块：负责实时更新知识库中的数据，以保证知识图谱的准确性，知识更新主要是实时监控源数据的变化情况，包括岗位数据是否过期，监控到数据源发生变化后，自动对图谱数据进行更新；

知识融合子模块：负责将来自不同数据源的知识进行融合，以得到更加全面、准确的知识图谱，对于文本类型，使用Skip-Gram模型进行文本嵌入，对于图像类型，使用ResNet技术进行图片嵌入，通过cross-attention实现不同源之间的特征融合，通过计算不同实体间的余弦相似度来实现多源实体间的对齐，该模块的处理包括：

文本数据：使用Skip-Gram模型进行文本嵌入，将文本信息转化为向量形式，以便于计算机处理；

图像数据：使用ResNet技术进行图像嵌入，将图像信息转化为向量形式；

在这两种数据处理完成后，模块将利用交叉注意力(Cross-Attention)机制，实现不同源数据间的特征融合；交叉注意力机制可以帮助模型理解并关注不同数据源之间的相关性，从而得到一个融合了多源信息的特征表示；

接着，模块将通过计算不同实体间的余弦相似度，实现多源实体间的对齐；余弦相似度是一种常用的相似度计算方法，可以有效地衡量两个实体在向量空间中的相似程度。

4.根据权利要求1所述的基于多模态知识图谱和预训练大模型融合的就业推荐系统，其特征在于，

所述预训练大模型，用于进行外部信息增强，

引入预训练大模型chatglm2，通过构建不同的prompts，来实现外部知识的引入，

通过构建特定的提示，引导模型生成需要的信息；

在政策信息上，将政策类别、政策描述和政策标题作为输入，让模型生成政策描述的摘要，构建prompt：

"政策类别是{类别}，政策描述是{描述}，政策标题是{标题}；请给出这个政策的摘要"

在岗位信息上，利用用户的历史浏览和收藏的岗位信息，包括岗位名称、岗位类别，来预测用户可能感兴趣的岗位，构建如下的prompt：

"用户过去浏览和收藏的岗位有{岗位列表}；请预测用户可能感兴趣的岗位类别和岗位名称；"

在技能培训信息上，将技能培训的描述作为输入，让模型生成培训的经验要求和摘要，构建如下的prompt：

"技能培训的描述是{描述}；请给出这个培训的经验要求和摘要"

通过这种方式，有效地利用预训练大模型的能力，来增强知识图谱和推荐系统；

在实体识别和关系抽取上，预训练大模型也可发挥重要作用，构建如下的prompts：

"在这段文本{文本}中，请识别出所有的实体和它们之间的关系"

或者

"在这段文本{文本}中，{实体1}和{实体2}之间的关系是什么"

通过这种方式，利用预训练大模型的语义理解能力，来自动识别和抽取文本中的实体和关系，进一步丰富知识图谱。

5.根据权利要求1所述的基于多模态知识图谱和预训练大模型融合的就业推荐系统，其特征在于，

所述推荐算法模块包括如下子模块：

图嵌入子模块，

采用TransE算法将知识图谱中的实体和关系嵌入到低维空间中，在TransE中，对于三元组(h,r,t)，看作是头节点h加上边r，近似于尾节点t；则：

对于正样本三元组：h+r≈t；

对于负样本三元组：h+r≠t；

在图嵌入完成后，得到每个实体和关系的低维向量表示；将这个向量表示记作E(代表Embedding)；这个E就是最后得到的图谱特征，它用于后续的相似度计算；

在计算两个实体e1和e2的相似度时，使用余弦相似度公式：

sim(e1，e2)＝(E(e1)·E(e2))/(||E(e1)||*||E(e2)||)

其中，"·"代表向量点积，"||||"代表向量的模(长度)；这样，通过计算实体嵌入的余弦相似度，来衡量两个实体在知识图谱中的相似性；

岗位推荐子模块，用于实现如下功能：

基于求职意向和岗位需求的相似度计算，

分别对求职意向和岗位需求关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得求职意向最相似的前几类推荐岗位，具体如下：

数据准备：首先，将求职者的意向和岗位需求转化为图的形式；在这个图中，节点代表实体，边代表实体之间的关系；

图嵌入：接着，使用图嵌入算法将图中的节点和边映射到低维空间中，得到它们的向量表示；这些向量用于捕获节点和边的结构信息和语义信息；

计算相似度：然后，通过计算求职者意向的向量和各个岗位需求的向量之间的余弦相似度，来度量他们的相似性；余弦相似度的值越接近1，表示求职者的意向和岗位的需求越相似；

岗位推荐：最后，根据求职者意向的向量与各个岗位需求向量的余弦相似度，选择相似度最高的前N个岗位作为推荐结果；

基于用户特征的相似度计算，

对不同用户节点进行图嵌入，得到不同用户的特征，通过余弦相似度计算用户之前的相似度，得到最相似用户的列表，使用最相似用户的收藏岗位进行岗位推荐；

图嵌入：首先，将用户和他们的行为转化为图的形式；在这个图中，节点代表用户和岗位，边代表用户的行为；然后，使用图嵌入算法将用户节点映射到低维空间中，得到用户的特征向量；

计算相似度：接着，计算目标用户与其他所有用户的特征向量之间的余弦相似度，以度量他们的相似性；余弦相似度的值越接近1，表示两个用户越相似；

找到最相似的用户：然后，根据相似度的高低，找到与目标用户最相似的一组用户；这组用户的行为与目标用户的兴趣和需求接近；

岗位推荐：最后，推荐这组最相似用户收藏的岗位给目标用户；这些岗位是目标用户未发现但感兴趣的岗位；

融合形成岗位推荐列表，

融合基于求职意向和岗位需求的相似度计算和基于用户特征的相似度计算，形成最终的岗位推荐列表；

融合形成岗位推荐列表的过程可以按照以下步骤进行：

收集用户信息和求职意向：获取用户的个人信息、工作经历、技能特点、教育背景等，并了解用户的求职意向，包括行业偏好、职位类型、地理位置；

提取岗位需求信息：收集各个岗位的详细信息，包括职位描述、技能要求、工作地点、薪资水平；

相似度计算：基于求职意向和岗位需求，使用适当的相似度计算方法来比较求职者的需求与岗位的匹配程度；

基于用户特征的相似度计算：根据用户的个人特征和求职意向，计算用户与现有员工或其他用户的相似度；

融合计算结果：将基于求职意向和岗位需求的相似度计算结果与基于用户特征的相似度计算结果进行融合；

生成岗位推荐列表：根据融合计算结果，按照相似度排序，将最匹配的岗位推荐给用户；

技能培训推荐子模块，

分别对求职人员信息和技能培训信息关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得最适合的前几类技能培训推荐；

实体和边的图嵌入：首先，对求职人员信息和技能培训信息关联的实体和边进行图嵌入，通过图神经网络(GNN)实现，将实体和边映射到一个连续的向量空间中，更好地捕捉实体和边之间的关系；

相似度计算：然后，通过余弦相似度计算求职人员和技能培训之间的相似度，余弦相似度衡量两个向量之间的夹角，从而得到它们的相似度；

推荐排序：最后，根据计算出的相似度，对所有的技能培训进行排序，选择出最适合的前N个技能培训进行推荐；

人才政策推荐子模块，

分别对求职人员信息和人才政策信息关联的实体和边进行图嵌入，通过余弦相似度进行计算，获得最适合的前几类人才政策进行推荐；

实体和边的图嵌入：首先，对求职人员信息和人才政策信息关联的实体和边进行图嵌入，通过图神经网络(GNN)实现，将实体和边映射到一个连续的向量空间中，更好地捕捉实体和边之间的关系；

相似度计算：然后，通过余弦相似度计算求职人员和人才政策之间的相似度；

推荐排序：最后，根据计算出的相似度，对所有的人才政策进行排序，选择出最适合的前N个人才政策进行推荐。