CN113486245B - 结合大数据离线计算与实时监控的兼职推荐引擎召回方法 - Google Patents

结合大数据离线计算与实时监控的兼职推荐引擎召回方法 Download PDF

Info

Publication number
CN113486245B
CN113486245B CN202110842064.6A CN202110842064A CN113486245B CN 113486245 B CN113486245 B CN 113486245B CN 202110842064 A CN202110842064 A CN 202110842064A CN 113486245 B CN113486245 B CN 113486245B
Authority
CN
China
Prior art keywords
time
post
recommendation engine
data
posts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110842064.6A
Other languages
English (en)
Other versions
CN113486245A (zh
Inventor
周佳宁
吴建
吴永生
赵洪涛
孙晓伟
沈琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hutu Technology Co ltd
Original Assignee
Hangzhou Hutu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hutu Technology Co ltd filed Critical Hangzhou Hutu Technology Co ltd
Priority to CN202110842064.6A priority Critical patent/CN113486245B/zh
Publication of CN113486245A publication Critical patent/CN113486245A/zh
Application granted granted Critical
Publication of CN113486245B publication Critical patent/CN113486245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种结合大数据离线计算与实时监控的兼职推荐引擎召回方法，将兼职岗位划分成多个岗位群标签，然后根据用户与兼职岗位的所在位置，将岗位群标签分为本地兼职标签和异地兼职标签；再通过获取兼职岗位的数据源，根据数据源将本地兼职标签和异地兼职标签分为hbase标签和redis标签，并对应存储在hbase数据库和redis数据库，最后通过给不同场景配置不同的岗位群标签来召回相应的兼职岗位数据，返回兼职岗位数据以供后续推荐引擎进行计算操作。由此本发明可以保证召回相应的兼职岗位数据的数量以及全面性，可以支持推荐引擎的计算需要，保证了推荐引擎的推荐效果。

Description

结合大数据离线计算与实时监控的兼职推荐引擎召回方法
技术领域
本发明涉及兼职岗位推荐应用领域，具体涉及一种结合大数据离线计算与实时监控的兼职推荐引擎召回方法。
背景技术
当前招聘行业正经历快速发展和变革，一方面，随着互联网和全民创业的浪潮涌现，各个行业都面临产业升级，企业的竞争重点在于人才的竞争，而人才招聘则成为各家企业的头等大事。兼职岗位属于灵活用工范畴，相对比较特殊。不仅岗位类型多种多样、工作周期短，技能和经验等要求与普通的全职岗位也有很大不同，所以为了做出最好的兼职岗位推荐效果就需要根据不同的用户特征和岗位特征建造不同的算法模型。召回策略是整个大数据岗位推荐中的重要一环，后续的岗位过滤、排序、多样化穿插展示均需要依赖于前期岗位召回的结果集，比如我们在给用户推荐兼职岗位的时候，每次个性化计算分析都是建立在所召回的这些岗位上，前期召回的岗位数量不足或者不够全面的话，后续的算法就无法很好的施展。
发明内容
本发明的目的在于，提供一种结合大数据离线计算与实时监控的兼职推荐引擎召回方法。本发明可以保证召回相应的兼职岗位数据的数量以及全面性，可以支持推荐引擎的计算需要，保证了推荐引擎的推荐效果。
为解决上述技术问题，本发明提供的技术方案如下：结合大数据离线计算与实时监控的兼职推荐引擎召回方法，包括以下步骤：
S1:将兼职岗位划分成多个岗位群标签，每个岗位群标签为不同兼职岗位的集合；
S2:根据用户与兼职岗位的所在位置，将岗位群标签分为本地兼职标签和异地兼职标签；
S3:获取兼职岗位的数据源，根据数据源将本地兼职标签和异地兼职标签分为hbase标签和redis标签，并对应存储在hbase数据库和redis数据库中；其中hbase数据库存储的是在DataWorks中通过odps离线计算提前计算好的T+1兼职岗位数据，Redis数据库存储的是通过flink监听兼职表操作而实时召回的兼职岗位数据；
S4:通过给不同场景配置不同的岗位群标签来召回相应的兼职岗位数据，返回兼职岗位数据以供后续推荐引擎进行计算操作。
上述的结合大数据离线计算与实时监控的兼职推荐引擎召回方法，步骤S4中，推荐引擎在接收到用户请求后，获取用户的相关信息，根据用户选择的城市与所在城市来判断是否为本地浏览，若是本地浏览，则获取当前城市配置的岗位群标签，若不是则获取选择城市配置的岗位群标签，再根据岗位群标签类型，分别从hbase数据库和redis数据库中获取具有召回的兼职岗位数据的兼职岗位列表，推荐引擎根据兼职岗位列表进行计算并将结果返回至用户。
前述的结合大数据离线计算与实时监控的兼职推荐引擎召回方法，兼职岗位列表经过过滤、排序和多样性穿插操作之后，再返回给推荐引擎行进行计算并将结果返回至用户。
前述的结合大数据离线计算与实时监控的兼职推荐引擎召回方法，所述redis数据库存储有兜底岗位数据，在兼职岗位列表返回至推荐引擎行进行计算之前，还进行判断推荐的岗位数量是否足够，若充足则直接返回给推荐引擎行进行计算，若不充足则去redis数据库中取出存储的兜底岗位数据进行补充，再返回给推荐引擎行进行计算并将结果返回至用户。
与现有技术相比，本发明将兼职岗位划分成多个岗位群标签，每个岗位群标签为不同兼职岗位的集，然后根据用户与兼职岗位的所在位置，将岗位群标签分为本地兼职标签和异地兼职标签；再通过获取兼职岗位的数据源，根据数据源将本地兼职标签和异地兼职标签分为hbase标签和redis标签，并对应存储在hbase数据库和redis数据库，最后通过给不同场景配置不同的岗位群标签来召回相应的兼职岗位数据，返回兼职岗位数据以供后续推荐引擎进行计算操作。由此本发明可以保证召回相应的兼职岗位数据的数量以及全面性，可以支持推荐引擎的计算需要，保证了推荐引擎的推荐效果。本发明还在redis数据库存储有兜底岗位数据，兜底岗位数据用于补充召回的兼职岗位数据，进一步的保证了召回相应的兼职岗位数据的数量以及全面性，从而满足推荐引擎的计算要求。
附图说明
图1是本发明数据库的实体-联系图；
图2是本发明的推荐引擎推荐过程示意图。
具体实施方式
下面结合实施例和附图对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：结合大数据离线计算与实时监控的兼职推荐引擎召回方法,包括以下步骤：
S1:将兼职岗位划分成多个岗位群标签，每个岗位群标签为不同兼职岗位的集合；如图1所示，本实施例中的兼职岗位按照岗位类型区分，可分为报名单、非报名单和竞价岗位三类，每种岗位类型的获取方式又分为离线获取和实时获取，按照推荐场景可进行划分，即根据业务需求划分，比如推荐列表页(混合推荐)，在家做(都是线上岗位，例如线上代理、主播等)，在本地(都是线下岗位，比如快递员、导购等)，主播(都是主播岗位)，名企(都是名企商家发布的岗位，比如必胜客、肯德基等)等；按照岗位性质来分，可分为体力、脑力、服务业等，上述分类的依据均可表示成兼职岗位的标签，然后在按照一定的规律、方法或规则将兼职岗位分发到相应的岗位群标签内，上述方法可以是随机法、自定义规则、比例规则或流量热度规则等等，具体不进行限定。举例来说，按照岗位类目来划分标签组，例如主播岗位划分到主播群标签，导购岗位划分到导购群标签，家教岗位划分到家教群标签，服务员岗位划分到服务员群标签等。
按照岗位特征来划分标签组，例如薪资比较高的划分到高薪岗位群标签，只在休息日工作的划分到周末节假日岗位群标签，在校园工作的划分到校园岗位群标签等。
S2:根据用户与兼职岗位的所在位置，将岗位群标签分为本地兼职标签和异地兼职标签，该步骤是通过判断用户的所在地，以所在地为界限，所在地内的岗位群标签即为本地兼职标签，所在地外的岗位群标签即为异地兼职标签
S3:获取兼职岗位的数据源(不同场景配有不同的召回策略，每种策略都对应各自的数据源，例如标签召回策略、特殊人群策略对应hbase数据源，新发岗位策略、兜底策略对应redis数据源等，策略与数据源的对应关系是在数据库中配置的)，根据数据源将本地兼职标签和异地兼职标签分为hbase标签和redis标签，并对应存储在hbase数据库(HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力，HBase是Apache的Hadoop项目的子项目，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。)和redis数据库(Redis(Remote DictionaryServer)，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API)中；其中hbase数据库存储的是在DataWorks中通过odps离线计算提前计算好的T+1兼职岗位数据，如协同岗位、地铁岗位、高价值岗位等，Redis数据库存储的是通过flink监听兼职表操作而实时召回的兼职岗位数据，如每日新发兼职或暂停又开启的兼职，并存储有兜底岗位数据；
S4:通过给不同场景配置不同的岗位群标签来召回相应的兼职岗位数据，返回兼职岗位数据以供后续推荐引擎进行计算操作。
具体的，如图2所示，推荐引擎在接收到用户请求后，获取用户的相关信息，根据用户选择的城市与所在城市来判断是否为本地浏览，若是本地浏览，则获取当前城市配置的岗位群标签，若不是则获取选择城市配置的岗位群标签，再根据岗位群标签类型，分别从hbase数据库和redis数据库中获取具有召回的兼职岗位数据的兼职岗位列表，兼职岗位列表经过过滤、排序和多样性穿插操作之后，进行判断推荐的岗位数量是否足够。其中过滤操作是指推荐引擎现有的过滤有基础信息过滤(岗位要求与用户是否匹配，例如年龄、性别、学历等)、平台类目过滤(不同场景需要不同类目的岗位，例如只需要服务员、只需要教师等)、距离过滤(限制岗位与用户之间的距离，距离太远的就不会推荐了)、防疲劳过滤(一定时间内重复曝光了好几次的岗位，为了避免用户反复看到会疲劳，也被过滤)、已报名过滤(过滤用户已经报名过的岗位)、关联岗位过滤(某些商户发布了很多相似岗位但只需要用户报名其中一个即可，用户报了这些商家其中一个岗位后会就对其他岗位进行过滤)、渠道过滤(某些渠道对于一些岗位是有限制的，需要过滤)、黑白名单过滤(根据运营要求对某些岗位进行过滤)等；排序操作是指根据算法模型计算出来的概率值对岗位进行排序；多样性穿插是指线上岗位、线下岗位、同品牌岗位、同类目岗位的不同比例配比，不同场景会配置不同的比例。例如配置10个岗位为一个窗口，线上岗位2，线下岗位10，同品牌2，同类目3，则表示每10个岗位中线上岗位最多有2个，线下岗位最多有8个，相同品牌的岗位最多有2个，相同类目的岗位最多有3个。这样做的目的是为了避免全是肯德基岗位或全是导购岗位这种情况的出现，丰富用户看到的岗位列表。经过判断后若充足则直接返回给推荐引擎行进行计算，若不充足则去redis数据库中取出存储的兜底岗位数据进行补充，兜底岗位数据用于补充召回的兼职岗位数据，进一步的保证了召回相应的兼职岗位数据的数量以及全面性，推荐引擎再根据兼职岗位列表进行计算并将结果返回至用户，从而满足推荐引擎的数据数量以及数据全面性的计算要求。
综上所述，本发明可以保证召回相应的兼职岗位数据的数量以及全面性，可以支持推荐引擎的计算需要，保证了推荐引擎的推荐效果。本发明在redis数据库存储有兜底岗位数据，兜底岗位数据用于补充召回的兼职岗位数据，进一步的保证了召回相应的兼职岗位数据的数量以及全面性，从而满足推荐引擎的计算要求。

Claims (4)

1.结合大数据离线计算与实时监控的兼职推荐引擎召回方法,其特征在于：包括以下步骤：
S1:将兼职岗位划分成多个岗位群标签，每个岗位群标签为不同兼职岗位的集合；
S2:根据用户与兼职岗位的所在位置，将岗位群标签分为本地兼职标签和异地兼职标签；
S3:获取兼职岗位的数据源，根据数据源将本地兼职标签和异地兼职标签分为hbase标签和redis标签，并对应存储在hbase数据库和redis数据库中；其中hbase数据库存储的是在DataWorks中通过odps离线计算提前计算好的T+1兼职岗位数据，Redis数据库存储的是通过flink监听兼职表操作而实时召回的兼职岗位数据；
S4:通过给不同场景配置不同的岗位群标签来召回相应的兼职岗位数据，返回兼职岗位数据以供后续推荐引擎进行计算操作。
2.根据权利要求1所述的结合大数据离线计算与实时监控的兼职推荐引擎召回方法，其特征在于：步骤S4中，推荐引擎在接收到用户请求后，获取用户的相关信息，根据用户选择的城市与所在城市来判断是否为本地浏览，若是本地浏览，则获取当前城市配置的岗位群标签，若不是则获取选择城市配置的岗位群标签，再根据岗位群标签类型，分别从hbase数据库和redis数据库中获取具有召回的兼职岗位数据的兼职岗位列表，推荐引擎根据兼职岗位列表进行计算并将结果返回至用户。
3.根据权利要求2所述的结合大数据离线计算与实时监控的兼职推荐引擎召回方法，其特征在于：兼职岗位列表经过过滤、排序和多样性穿插操作之后，再返回给推荐引擎行进行计算并将结果返回至用户；多样性穿插是指线上岗位、线下岗位、同品牌岗位、同类目岗位的不同比例配比，不同场景会配置不同的比例。
4.根据权利要求3所述的结合大数据离线计算与实时监控的兼职推荐引擎召回方法，其特征在于：所述redis数据库存储有兜底岗位数据，在兼职岗位列表返回至推荐引擎行进行计算之前，还进行判断推荐的岗位数量是否足够，若充足则直接返回给推荐引擎行进行计算，若不充足则去redis数据库中取出存储的兜底岗位数据进行补充，再返回给推荐引擎行进行计算并将结果返回至用户。
CN202110842064.6A 2021-07-26 2021-07-26 结合大数据离线计算与实时监控的兼职推荐引擎召回方法 Active CN113486245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110842064.6A CN113486245B (zh) 2021-07-26 2021-07-26 结合大数据离线计算与实时监控的兼职推荐引擎召回方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110842064.6A CN113486245B (zh) 2021-07-26 2021-07-26 结合大数据离线计算与实时监控的兼职推荐引擎召回方法

Publications (2)

Publication Number Publication Date
CN113486245A CN113486245A (zh) 2021-10-08
CN113486245B true CN113486245B (zh) 2023-07-07

Family

ID=77943610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110842064.6A Active CN113486245B (zh) 2021-07-26 2021-07-26 结合大数据离线计算与实时监控的兼职推荐引擎召回方法

Country Status (1)

Country Link
CN (1) CN113486245B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021673A (zh) * 2017-12-06 2018-05-11 北京拉勾科技有限公司 一种用户兴趣模型生成方法、职位推荐方法及计算设备
CN113127741A (zh) * 2021-04-29 2021-07-16 杭州弧途科技有限公司 兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151672A1 (en) * 2018-11-09 2020-05-14 Microsoft Technology Licensing, Llc Ranking job recommendations based on title preferences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021673A (zh) * 2017-12-06 2018-05-11 北京拉勾科技有限公司 一种用户兴趣模型生成方法、职位推荐方法及计算设备
CN113127741A (zh) * 2021-04-29 2021-07-16 杭州弧途科技有限公司 兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
移动端校园兼职平台的设计与实现;周可;芦明;;福建电脑(09);全文 *

Also Published As

Publication number Publication date
CN113486245A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
Kanter Knowledge management, practically speaking
Fariborzi et al. E-mail marketing: Advantages, disadvantages andimproving techniques
US9824367B2 (en) Measuring effectiveness of marketing campaigns across multiple channels
US8195501B2 (en) Dynamic interactive survey system and method
CN108780527A (zh) 用于基于电子通信的特征和用户的日程数据来确定回复内容以包括在用户对电子通信的回复中的方法和装置
CN107194762A (zh) 交通工具推荐方法、系统及其设备
EP2498459A2 (en) Enhancing Communication
CN101002199A (zh) 收集联络中心的优秀用户的体会
CN111405224B (zh) 在线交互控制方法、装置、存储介质及电子设备
CN106802951B (zh) 一种用于智能对话的话题抽取方法及系统
US20150149237A1 (en) Systems and methods to improve sales effectiveness utilizing a moving, contextually relevant navigator to guide sales representatives in prospect communications based on prospect's digital and conversational behavior and organization's best sales practices
CN111027838A (zh) 一种众包任务推送方法、装置、设备及其存储介质
Mata et al. COVID-19 and the reorientation of communication towards CSR
Kong et al. Multi-objective personalization in multi-stakeholder organizational bulk e-mail: A field experiment
CN113486245B (zh) 结合大数据离线计算与实时监控的兼职推荐引擎召回方法
CN112819437A (zh) 一种安全生产隐患云管理系统
CN111667303A (zh) 智能订单生成方法、装置、设备和介质
Aginsha et al. Designing a performance dashboard as a monitoring tool at PT Sun Star Motor MT Haryono Semarang: data approach
CN107767156A (zh) 一种信息录入方法、装置及系统
CN107704636A (zh) 一种动态数字出版系统
CN108364211B (zh) 一种智能化招标、投标及评标在线交易系统的应用方法
US10915295B2 (en) Automated generation of audio daily activity overview powered by a database
CN111985900A (zh) 信息处理方法及装置
CN110502675A (zh) 基于数据分析的语音拨叫用户分类方法及相关设备
WO2023119460A1 (ja) 質問予測システム、質問予測方法およびプログラム記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant