CN114969246A - 招聘大数据分析方法及系统 - Google Patents

Abstract

本发明提供了一种招聘大数据分析方法及系统为了使作为求职者的用户获得较为可靠的招聘信息分析报告以提高求职效率，可以通过海量数据多维度分析用户的期望的工作类型以及向往的就职地区，将网络上的招聘信息数据采集后进行模型训练，通过用户有效数据和模型预测及分析后，自动生成一份可靠的个人分析报告，该分析报告为用户提供求职相关的参考，减少用户在各大招聘平台的检索时间，进而有利于提高用户的求职效率。

Description

招聘大数据分析方法及系统

技术领域

本发明涉及大数据技术领域，特别涉及对招聘数据进行大数据分析的系统。

背景技术

传统的就业数据分析都是通过人工手动搜索相关信息，并配合统计局发布的部分数据结合进行分析，存在效率低、数据时效性差、分析效果不理想等问题。

另外，部分招聘网站虽然也存在一些相关的就业分析报告，不过单个招聘网站的分析报告的数据来源也只包括自身的数据，存在数据覆盖不全、求职人群体指向明显等问题。

为了解决上述问题，公告号为CN112287110A所公开的一种招聘数据的岗位智能分类的方法及装置，尽管完善了招聘数据的分类模型训练，为用户提供有效的辅助决策，但由于其装置是以分类为主，所以未能为用户提供一份可靠的分析报告，并无法满足辅助用户决策需求。

另外，现在网络上的招聘信息数量庞大，分类广泛，对于广大人群，找工作难、找不到自身的定位又想要合适的薪资的情况很普遍，求职者需要在各大平台的海量招聘数据中检索出合适自己的岗位，降低了求职效率，以致求职者错过最佳就业期。

发明内容

为了使作为求职者的用户获得较为可靠的招聘信息分析报告以提高求职效率，本发明提供了一种招聘大数据分析方法及系统。

为了达到上述目的，一方面，提供了一种招聘大数据分析方法，其特征在于，包括如下步骤：

求职用户数据录入和检测，求职者注册用户账号并授权服务端对用户的个人信息进行采集和检测，对所检测到的所述个人信息中的用户有效数据，进行标记处理；

招聘数据采集及预处理，在各大招聘平台定时采集招聘信息数据，并对所述招聘信息数据进行降噪和预处理；

招聘数据训练及评估，包括如下子步骤：

将所述招聘信息数据中的特征信息和岗位信息用DBSCAN算法进行聚类计算得到不同的类簇，并对这些所述类簇的特征进行标记，获得对应的训练模型；

分别采用轮廓系数、调整兰德系数、互信息和卡林斯基-哈巴拉斯指数对所述训练模型进行评估，筛选出最优数据模型；

招聘数据预测分析，将所述用户有效数据输入至所述最优数据模型进行预测和分析，获得分析结果；

分析报告生成，依据所述分析结果生成用户的个人分析报告并提供给用户参考。

另一方面，提供了一种招聘大数据分析系统，其特征在于，包括：

用户数据模块，用于采集求职者注册用户时所提交的个人信息并对其进行检测和标记，获得用户有效数据；

数据采集模块，用于在各大招聘平台网站定时采集招聘信息数据；

数据预处理模块，用于对采集后的所述招聘信息数据进行降噪和过滤；

数据运算模块，通过使用机器学习对预处理后的招聘信息数据进行数据模型训练、评估和筛选，得出最优数据模型；

数据分析模块，用于将所述用户有效数据输入至所述最优模型进行预测和分析，获得分析结果；

报告生成模块，依据所述分析结果生成用户的个人分析报告并提供给用户参考。

作为一种改进，所述用户数据模块包括：

用户数据录入单元，用于对招聘者在注册账号时所提交的个人信息进行收集，获得用户数据；

有效数据检测单元，用于对已收集的所述用户数据进行有效性校验，获得用户有效数据并对其进行标记。

作为进一步改进，所述数据预处理模块包括：

降噪单元，用于检测所述招聘数据的异常值并进行填补替换；

条件过滤单元，用于对招聘数据中的重复数据进行过滤，以及对招聘数据中条件过滤信息的增益小的数据进行过滤。

作为进一步改进，所述数据运算模块包括：

模型训练单元，用于将所述招聘信息数据中的特征信息和岗位信息用DBSCAN算法进行聚类计算得到不同的类簇，并对这些所述类簇的特征进行标记，获得对应的训练模型；

模型评估单元，用于对所述训练模型分别采用轮廓系数、调整兰德系数、互信息和卡林斯基-哈巴拉斯指数对所述训练模型进行评估；

模型筛选单元，用于选取所述招聘信息数据中的部分数据作为测试集数据来对训练模型进行拟合测试并拟合，以获得最优数据模型。

作为进一步改进，所述数据分析模块包括：

薪资归因单元，用于分析用户的薪资等级关系和薪资等级的划分因素；

从业人员特征分析单元，用于对用户的共性特征和个人特征与社会从业人员基本特征进行聚合分析；

求职人员地区分布分析单元，用于对用户预期就业地区与求职人员地区分布进行竞争风险分析。

作为进一步改进，所述报告生成模块包括：

自动生成单元，用于依据所述分析结果使用自然语言处理技术生成个人分析报告；

数据汇总可视化单元，用于汇总分析结果中的招聘数据并进行可视化处理，转换成数据仪表板后嵌入所述个人分析报告中；

自动发送单元，用于将个人分析报告发送到用户邮箱。

作为一种改进，还包括管理模块，用于动态管理招聘大数据分析系统的数据、功能和参数，其包括：

数据源动态管理单元，用于对用户数据和招聘数据进行CRUD动态管理，添加、查询、修改和删除；

系统功能管理单元，用于对数据采集模块、数据预处理模块和数据运算模块的功能进行按需管理；

系统参数管理单元，用于对数据采集模块、数据预处理模块和数据计算模块进行参数调节管理。

本发明的有益效果是，可以通过海量数据多维度分析用户的期望的工作类型以及向往的就职地区，将网络上的招聘信息数据采集后进行模型训练，通过用户有效数据和模型预测及分析后，自动生成一份可靠的个人分析报告，该分析报告为用户提供求职相关的参考，减少用户在各大招聘平台的检索时间，进而有利于提高用户的求职效率。

附图说明

图1为本发明实施例一的流程图

图2为本发明实施例一中招聘数据采集及预处理的具体流程图；

图3为本发明实施例一中招聘数据训练及评估的具体流程图；

图4为本发明实施例一中招聘数据预测分析的具体流程图；

图5为本发明实施例二的系统结构框图；

图6为本发明实施例二中管理模块的结构框图；

图7为本发明实施例二中用户数据模块的结构框图；

图8为本发明实施例二中数据预处理模块的结构框图；

图9为本发明实施例二中数据运算模块的结构框图；

图10为本发明实施例二中数据分析模块的结构框图；

图11为本发明实施例二中报告生成模块的结构框图；

600、用户数据模块；601、用户数据录入单元；602、有效数据检测单元；700、数据采集模块；800、数据运算模块；801、模型训练单元；802、模型评估单元；803、模型筛选单元；900、数据分析模块；901、薪资归因单元；902、从业人员特征分析单元；903、求职人员地区分布分析单元；1000、报告生成模块；1001、自动生成单元；1002、数据汇总可视化单元；1003、自动发送单元；1100、管理模块；1101、数据源动态管理单元；1102、系统功能管理单元；1103、系统参数管理单元；1200、数据预处理模块；1201、降噪单元；1202、条件过滤单元

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作详细描述。

实施例一

本实施例提供了一种招聘大数据分析方法，如图1所示，其在服务端包括如下步骤：

步骤100，求职用户数据录入和检测。

具体地，求职者注册用户账号并授权服务端对用户的个人信息进行采集和检测，对所检测到的个人信息中的用户有效数据，进行标记处理。

步骤200，招聘数据采集及预处理。

具体地，在各大招聘平台定时采集招聘信息数据，并对招聘信息数据进行降噪和预处理。

进一步地，如图2所示，步骤200包括如下子步骤：

步骤201，检测招聘数据的异常值并进行填补替换。

具体地，使用箱线图检测法，IQR即上四分位到下四分位的距离，高于四分位加1.5倍IQR距离或低于下四分位减1.5倍IQR距离的值被定义为异常值。通过KNN邻近算法替换异常值，通过计算与该行数据最相似几行数据，再将这批数据的与该异常值同列的数据求平均后，替换异常值。

步骤202，对招聘数据中的重复数据进行过滤，以及对招聘数据中条件过滤信息的增益小的数据进行过滤。

具体地，对招聘数据进行去重操作，保证每行数据是唯一的，之后还可根据实际训练模型的需求过滤掉信息增益小的数据，过滤条件可以为某列数据的信息熵大于某个值。

步骤300，招聘数据训练及评估，如图3所示，具体包括如下子步骤：

步骤301，将招聘信息数据中的特征信息和岗位信息用DBSCAN算法进行聚类计算得到不同的类簇，并对这些类簇的特征进行标记，获得对应的训练模型；

步骤302，分别采用轮廓系数、调整兰德系数、互信息和卡林斯基-哈巴拉斯指数对训练模型进行评估，筛选出最优数据模型；

步骤303，将用户有效数据输入至最优数据模型进行预测和分析，获得分析结果。

具体地，选取招聘信息数据中的部分数据作为测试集数据来对训练模型进行拟合测试并拟合，以获得最优数据模型。

步骤400，招聘数据预测分析。

具体地，将用户有效数据输入至最优数据模型进行预测和分析，获得分析结果。

进一步地，如图4所示，步骤400具体包括如下子步骤：

步骤401，薪资归因。

具体地，类簇为薪资类簇时，训练模型为薪资分类模型，将用户个人数据放入薪资分类模型进行预测，预测结果为已标记的一组数据集，依据数据集的用户所具有的相近的社会特征推算用户的薪资等级。

步骤402，从业人员特征分析。

具体地，将用户的共性特征信息和个人特征信息放入特征聚类模型进行预测分析，得到具有这些共性特征或个人特征的用户在某个岗位领域的需求率和某些岗位的求职成功率。例如，将用户的特征信息，如“善于沟通”特征放入最优特征聚类模型预测分析，预测结果为某一被标记的类簇，该类簇的岗位非常看重沟通能力，可得出用户在这个类簇里的岗位求职的成功率相对高一些。

步骤403，求职人员地区分布统计分析。

具体地，将用户期望的就业地区在求职地区数据模型中预测竞争风险，即某地区岗位量和求职人员数量的占比：若岗位量小于求职量，则定义为求职高竞争风险地区，；反之，定义为求职低竞争风险地区。

步骤500，分析报告生成。

具体地，依据分析结果生成用户的个人分析报告并提供给用户参考。

实施例二

本实施例提供了一种招聘大数据分析系统，如图5所示，包括用户数据模块600、数据采集模块700、数据预处理模块1200、数据运算模块800、数据分析模块900、报告生成模块1000以及管理模块1100。

具体地，管理模块1100如图6所示，用于动态管理招聘大数据分析系统的数据，其包括数据源动态管理单元1101、系统功能管理单元1102以及系统参数管理单元1103。其中，数据源动态管理单元1101用于对用户数据和招聘数据进行CRUD动态管理，添加、查询、修改和删除；系统功能管理单元1102用于对数据采集模块700、数据预处理模块1200和数据运算模块800的功能进行按需管理；系统参数管理单元1103用于对数据采集模块700、数据预处理模块1200和数据计算模块进行参数调节管理。

具体地，如图7所示，用户数据模块600用于执行实施例一中的步骤100，其包括用户数据录入单元601和有效数据检测单元602。其中，用户数据录入单元601用于对招聘者在注册账号时所提交的个人信息进行收集，获得用户数据；有效数据检测单元602用于对已收集的用户数据进行有效性校验，获得用户有效数据并对其进行标记。

具体地，如图8所示，数据预处理模块1200用于执行实施例一中的步骤200，其包括降噪单元1201和条件过滤单元1202。降噪单元1201用于检测招聘数据的异常值并进行填补替换；条件过滤单元1202用于对招聘数据中的重复数据进行过滤，以及对招聘数据中条件过滤信息的增益小的数据进行过滤。

具体地，如图9所示，数据运算模块800用于执行实施例一中的步骤300，其包括模型训练单元801、模型评估单元802和模型筛选单元803。其中，模型训练单元801用于将招聘信息数据中的特征信息和岗位信息用DBSCAN算法进行聚类计算得到不同的类簇，并对这些类簇的特征进行标记，获得对应的训练模型；模型评估单元802用于对训练模型分别采用轮廓系数、调整兰德系数、互信息和卡林斯基-哈巴拉斯指数对训练模型进行评估；模型筛选单元803用于选取招聘信息数据中的部分数据作为测试集数据来对训练模型进行拟合测试并拟合，以获得最优数据模型。

具体地，如图10所示，数据分析模块900用于执行实施例一中的步骤400，其包括薪资归因单元901、从业人员特征分析单元902以及求职人员地区分布分析单元903。其中，薪资归因单元901，用于分析用户的薪资等级关系和薪资等级的划分因素；从业人员特征分析单元902，用于对用户的共性特征和个人特征与社会从业人员基本特征进行聚合分析；求职人员地区分布分析单元903，用于对用户预期就业地区与求职人员地区分布进行竞争风险分析。

具体地，如图11所示，报告生成模块1000用于执行实施例一中的步骤的500，其包括自动生成单元1001、数据汇总可视化单元1002以及自动发送单元1003。其中，自动生成单元1001用于依据分析结果使用自然语言处理技术生成个人分析报告；数据汇总可视化单元1002用于汇总分析结果中的招聘数据并进行可视化处理，转换成数据仪表板后嵌入个人分析报告中；自动发送单元1003用于将个人分析报告发送到用户邮箱。

需要注意的是，本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应携带在本发明的保护范围之内。

Claims (8)

1.一种招聘大数据分析方法，其特征在于，包括如下步骤：

求职用户数据录入和检测，求职者注册用户账号并授权服务端对用户的个人信息进行采集和检测，对所检测到的所述个人信息中的用户有效数据，进行标记处理；

招聘数据采集及预处理，在各大招聘平台定时采集招聘信息数据，并对所述招聘信息数据进行降噪和预处理；

招聘数据训练及评估，包括如下子步骤：

将所述招聘信息数据中的特征信息和岗位信息用DBSCAN算法进行聚类计算得到不同的类簇，并对这些所述类簇的特征进行标记，获得对应的训练模型；

分别采用轮廓系数、调整兰德系数、互信息和卡林斯基-哈巴拉斯指数对所述训练模型进行评估，筛选出最优数据模型；

招聘数据预测分析，将所述用户有效数据输入至所述最优数据模型进行预测和分析，获得分析结果；

分析报告生成，依据所述分析结果生成用户的个人分析报告并提供给用户参考。

2.一种招聘大数据分析系统，其特征在于，包括：

用户数据模块，用于采集求职者注册用户时所提交的个人信息并对其进行检测和标记，获得用户有效数据；

数据采集模块，用于在各大招聘平台网站定时采集招聘信息数据；

数据预处理模块，用于对采集后的所述招聘信息数据进行降噪和过滤；

数据运算模块，通过使用机器学习对预处理后的招聘信息数据进行数据模型训练、评估和筛选，得出最优数据模型；

数据分析模块，用于将所述用户有效数据输入至所述最优模型进行预测和分析，获得分析结果；

报告生成模块，依据所述分析结果生成用户的个人分析报告并提供给用户参考。

3.根据权利要求2所述的招聘大数据分析系统，其特征在于，所述用户数据模块包括：

用户数据录入单元，用于对招聘者在注册账号时所提交的个人信息进行收集，获得用户数据；

有效数据检测单元，用于对已收集的所述用户数据进行有效性校验，获得用户有效数据并对其进行标记。

4.根据权利要求3所述的招聘大数据分析系统，其特征在于，所述数据预处理模块包括：

降噪单元，用于检测所述招聘数据的异常值并进行填补替换；

条件过滤单元，用于对招聘数据中的重复数据进行过滤，以及对招聘数据中条件过滤信息的增益小的数据进行过滤。

5.根据权利要求4所述的招聘大数据分析系统，其特征在于，所述数据运算模块包括：

模型训练单元，用于将所述招聘信息数据中的特征信息和岗位信息用DBSCAN算法进行聚类计算得到不同的类簇，并对这些所述类簇的特征进行标记，获得对应的训练模型；

模型评估单元，用于对所述训练模型分别采用轮廓系数、调整兰德系数、互信息和卡林斯基-哈巴拉斯指数对所述训练模型进行评估；

模型筛选单元，用于选取所述招聘信息数据中的部分数据作为测试集数据来对训练模型进行拟合测试并拟合，以获得最优数据模型。

6.根据权利要求5所述的招聘大数据分析系统，其特征在于，所述数据分析模块包括：

薪资归因单元，用于分析用户的薪资等级关系和薪资等级的划分因素；

从业人员特征分析单元，用于对用户的共性特征和个人特征与社会从业人员基本特征进行聚合分析；

求职人员地区分布分析单元，用于对用户预期就业地区与求职人员地区分布进行竞争风险分析。

7.根据权利要求2-6任一所述的招聘大数据分析系统，其特征在于，所述报告生成模块包括：

自动生成单元，用于依据所述分析结果使用自然语言处理技术生成个人分析报告；

数据汇总可视化单元，用于汇总分析结果中的招聘数据并进行可视化处理，转换成数据仪表板后嵌入所述个人分析报告中；

自动发送单元，用于将个人分析报告发送到用户邮箱。

8.根据权利要求7所述的招聘大数据分析系统，其特征在于，还包括管理模块，用于动态管理招聘大数据分析系统的数据、功能和参数，其包括：

数据源动态管理单元，用于对所述用户有效数据和所述招聘数据进行CRUD动态管理，添加、查询、修改和删除；

系统功能管理单元，用于对所述数据采集模块、所述数据预处理模块和所述数据运算模块的功能进行按需管理；

系统参数管理单元，用于对数据采集模块、数据预处理模块和数据计算模块进行参数调节管理。

Images