CN112084320B - 一种试题推荐方法、装置和智能设备 - Google Patents

一种试题推荐方法、装置和智能设备 Download PDF

Info

Publication number
CN112084320B
CN112084320B CN201910518161.2A CN201910518161A CN112084320B CN 112084320 B CN112084320 B CN 112084320B CN 201910518161 A CN201910518161 A CN 201910518161A CN 112084320 B CN112084320 B CN 112084320B
Authority
CN
China
Prior art keywords
skill
entity
data
post
entities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910518161.2A
Other languages
English (en)
Other versions
CN112084320A (zh
Inventor
秦川
祝恒书
朱琛
马超
张敬帅
王鹏
徐童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910518161.2A priority Critical patent/CN112084320B/zh
Priority to US16/711,793 priority patent/US11551114B2/en
Publication of CN112084320A publication Critical patent/CN112084320A/zh
Application granted granted Critical
Publication of CN112084320B publication Critical patent/CN112084320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/105Human resources
    • G06Q10/1053Employment or hiring
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种试题推荐方法、装置和智能设备,该方法包括:获取岗位的多个技能实体;依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。本发明实施例可以提高提供试题的效率。

Description

一种试题推荐方法、装置和智能设备
技术领域
本发明涉及互联网技术领域,尤其涉及一种试题推荐方法、装置和智能设备。
背景技术
人才招募是企业发展的重要一环,其中,在很多人才招募过程中需要对应聘人员进行试题的考核,例如:笔试,或者面试官基于试题对应聘人员进行现场提问考核。目前很多企业交给由企业的面试官出题,但在实际应用于面试官出题往往效率比较低。可见,目前提供试题的效率比较低。
发明内容
本发明实施例提供一种试题推荐方法、装置和智能设备,以解决提供试题的效率比较低的问题。
第一方面,本发明实施例提供一种试题推荐方法,包括:
获取岗位的多个技能实体;
依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;
依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。
可选的,所述获取岗位的多个技能实体,包括:
通过技能实体深度模型从所述岗位的招聘数据中抽取技能实体,其中,所述技能实体深度模型为输入为招聘数据,输出为技能实体的端到端模型;
将所述抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,其中,所述实体关系网络包括技能实体的从属关系和等价关系中的至少一项。
可选的,所述技能实体深度模型为:利用标注有技能实体的历史招聘数据作为训练样本训练得到的深度模型。
可选的,所述实体关系网络中包括的技能实体为:依据检索数据对所述技能实体深度模型对应的技能实体集合进行降噪得到的技能实体。
可选的,所述技能实体集合包括:标注的技能实体和未标注的技能实体,所述依据检索数据对所述技能实体深度模型对应的技能实体进行降噪得到的技能实体是指:构建技能实体、点击链接和点击页面的结构关系,依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度;依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测,并去掉所述未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
可选的,所述实体关系网络中技能实体的关系为:通过实体关系预测模型对多源异构数据预测的技能实体关系,其中,所述实体关系预测模型是以标注的技能实体关系进行训练得到的模型。
可选的,所述岗位的数据包括如下至少一项:
岗位数据、岗位晋升数据、历史入职员工数据、候选人简历数据、试题数据。
第二方面,本发明实施例提供一种试题推荐装置,包括:
获取模块,用于获取岗位的多个技能实体;
计算模块,用于依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;
选择模块,用于依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。
可选的,所述获取模块,包括:
抽取单元,用于通过技能实体深度模型从所述岗位的招聘数据中抽取技能实体,其中,所述技能实体深度模型为输入为招聘数据,输出为技能实体的端到端模型;
匹配单元,用于将所述抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,其中,所述实体关系网络包括技能实体的从属关系和等价关系中的至少一项。
可选的,所述技能实体深度模型为:利用标注有技能实体的历史招聘数据作为训练样本训练得到的深度模型。
可选的,所述实体关系网络中包括的技能实体为:依据检索数据对所述技能实体深度模型对应的技能实体集合进行降噪得到的技能实体。
可选的,所述技能实体集合包括:标注的技能实体和未标注的技能实体,所述依据检索数据对所述技能实体深度模型对应的技能实体进行降噪得到的技能实体是指:构建技能实体、点击链接和点击页面的结构关系,依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度;依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测,并去掉所述未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
可选的,所述实体关系网络中技能实体的关系为:通过实体关系预测模型对多源异构数据预测的技能实体关系,其中,所述实体关系预测模型是以标注的技能实体关系进行训练得到的模型。
可选的,所述岗位的数据包括如下至少一项:
岗位数据、岗位晋升数据、历史入职员工数据、候选人简历数据、试题数据。
第三方面,本发明实施例提供一种智能设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现本发明实施例提供的试题推荐方法的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的试题推荐方法的步骤。
第五方面,本发明实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本发明实施例提供的试题推荐方法。
本发明实施例,获取岗位的多个技能实体;依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。这样可以实现智能地获取推荐试题,相比由面试官出题,本发明实施例可以提高提供试题的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种试题推荐方法的流程图;
图2是本发明实施例提供的另一种试题推荐方法的流程图;
图3是本发明实施例提供的一种技能实体深度模型的示意图;
图4是本发明实施例提供的一种技能实体关系的示意图;
图5是本发明实施例提供的一种实体关系网络的获取示意图;
图6是本发明实施例提供的一种试题推荐的示意图;
图7是本发明实施例提供的一种试题推荐装置的结构图;
图8是本发明实施例提供的另一种试题推荐装置的结构图;
图9是本发明实施例提供的一种智能设备的结构图。
实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“包括”以及它的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,说明书以及权利要求中使用“和/或”表示所连接对象的至少其中之一,例如A和/或B,表示包含单独A,单独B,以及A和B都存在三种情况。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
请参见图1,图1是本发明实施例提供的一种试题推荐方法的流程图,如图1所示,包括以下步骤:
步骤101、获取岗位的多个技能实体。
其中,上述岗位的多个技能实体可以是企业当前招募的岗位的多个技能实体。
另外,上述步骤101可以是从上述岗位的相关数据中抽取的多个技能实体,例如:从岗位的招聘数据中抽取的多个技能实体。当然,本发明实施例中,并不限定上述岗位的多个技能实体是从岗位的相关数据中抽取的,例如:还可以是该岗位的在职员工或者辞职员工的工作日志中抽取的,或者,由这些员工直接提供的。
需要说明的是,本发明实施例中技能实体可以理解为,在岗位的实际工作过程中需要使用的技能。例如:对于“大规模数据挖掘工程师”岗位,“python”和“spark”都是这个岗位的必备技能,则该岗位的技能实体包括“python”和“spark”。
步骤102、依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值。
其中,上述岗位的数据可以是与该岗位相关的数据。另外,上述数据可以是多源数据,这样依据多源数据来计算技能实体的权重值,从而使得技能实体的权重值更加准确。
一种可选的实施方式中,所述岗位的数据包括但不限于如下至少一项:
岗位数据、岗位晋升数据、历史入职员工数据、候选人简历数据、试题数据。
其中,上述岗位数据可以是岗位文本信息,用于描述该岗位的基本信息或者需求信息等;上述岗位晋升数据可以是描述该岗位晋升的条件、技能等数据;上述历史入职员工数据可以是上述岗位中历史入职员工的简历数据、技能数据或者实际工作数据等;上述候选人简历数据可以是应聘上述岗位的候选人的简历数据;上述试题数据可以是上述岗位在历史招聘过程中使用的试题数据、或者试题库中与该岗位存在关系的试题数据等。
由于岗位的数据可以包括上述至少一项,从而可以实现个性化的试题推荐,以提高试题考核效果。
另外,上述依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值可以是,依据技能实体在该数据出现的频率,计算技能实体的权重值,如出现的频率越高,则权重值越大,反之,越小。或者可以是,对查找上述数据中技能实体的相关信息,某技能实体的相关信息中包括关键信息(例如:重要、主要技能、优先)越多,则该技能实体的权重值越大,反之,越小,这样可以通过关键信息来确定岗位中的主要技能实体。或者可以是,根据技能实体在上述数据中的出现的前面顺序来计算技能实体的权重值,如出现最先前的技能实体的重权值越大,出现越后的技能实体的重权值越小,因为,在实际招募过程中一些岗位数据往往将主要的技能实体描述在最前面。
步骤103、依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。
其中,上述试题库可以是本地或者远端的试题库,该试题库中可以包括大量技能实体的试题。
上述依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题可以是,按照权重值的大小从上述试题库中选择相应的试题,其中,权重值最大的技能实体抽取的试题数目越多,权重值最小的技能实体抽取的试题数目越小,或者一些情况下,例如试题数目过多的情况下,可以忽略权重值最小的技能实体。
通过上述步骤可以实现智能地获取推荐试题,相比现有技术由面试官出题,可以提高提供试题的效率。另外,还可以实现获得到上述岗位的数据匹配的推荐试题,从而实现个性化的推荐,以提高试题的考核效果。
需要说明的是,上述方法可以应用于是手机、计算机、平板电脑、服务器等智能设备。
本发明实施例,获取岗位的多个技能实体;依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。这样可以实现智能地获取推荐试题,相比由面试官出题,可以提高提供试题的效率。
请参见图2,图2是本发明实施例提供的另一种试题推荐方法的流程图,如图1所示,包括以下步骤:
步骤201、通过技能实体深度模型从所述岗位的招聘数据中抽取技能实体,其中,所述技能实体深度模型为输入为招聘数据,输出为技能实体的端到端模型。
上述岗位的招聘数据可以包括岗位数据、简历数据和试题数据等与该岗位招聘相关的数据。
其中,上述技能实体深度模型为预先训练得到的,输入为招聘数据,输出为技能实体的端到端模型。
作为一种可选的实施方式,所述技能实体深度模型为:利用标注有技能实体的历史招聘数据作为训练样本训练得到的深度模型。
其中,上述历史招聘数据包括但不限于:岗位数据、简历数据和试题数据。这些历史招聘数据可以通过人工或者智能的方式标注有对应的技能实体。从而通过这些训练样本可以准确地训练得到输入为招聘数据,输出为技能实体的端到端模型。
另外,上述技能实体深度模型可以采用门结构机制的模型,例如:可以如图3所示,包括:门结构机制层、输入层、双向长短记忆网络层、输出层和条件随机场输出层。
例如:技能实体预测过程中,可以将字级别和词级别文本信息,以及词性、位置等文本特征,通过一个门结构机制进行转换得到模型输入。其次,使用双向长短期记忆的时间递归神经网络(例如:BiLSTM网络)对输入进行建模得到隐层表征,最后,使用基于条件随机场的网络结构层进行技能实体预测。
当然,图3所示的模型仅是举例,本发明实施例中并不限定技能实体深度模型的结构,技能实体深度模型可以是任何能够实现输入为招聘数据输出为技能实体的端到端模型。
在步骤201中通过上述技能实体深度模型可以准确地从所述岗位的招聘数据中抽取上述岗位的技能实体。
步骤202、将所述抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,其中,所述实体关系网络包括技能实体的从属关系和等价关系中的至少一项。
其中,上述实体关系网络可以是预先配置的包括多个岗位的多个技能实体的关系的实体关系网络,这些关系可以是从属关系和等价关系中的至少一项。例如:实体tensorflow从属于深度学习实体,实体CNN属于神经网络实体,实体CNN等于卷积神经网络实体等等。
本发明实施例中,为了进一步提高推荐试题的效率和考核效果,可以进行降噪处理,也就是说,技能实体深度模型对应的技能实体可能会包含有噪声的技能实体。
一种可选的实施方式,所述实体关系网络中包括的技能实体为:依据检索数据对所述技能实体深度模型对应的技能实体集合进行降噪得到的技能实体。
其中,上述技能实体深度模型对应的技能实体集合可以是,上述技能实体深度模型能够输出的技能实体集合,例如:上述技能实体深度模型针对不同岗位、不同数据进行预测时能够输出的技能实体集合。而上述降噪可以是去掉无效的技能实体,这里的无效的技能实体可以是与岗位不相关或者相关度比较低等技能实体。
进一步的,上述技能实体集合可以包括:标注的技能实体和未标注的技能实体,所述依据检索数据对所述技能实体深度模型对应的技能实体进行降噪得到的技能实体是指:构建技能实体、点击链接和点击页面的结构关系,依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度;依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测,并去掉所述未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
其中,上述点击链接和点击页面可以是检索数据中的点击链接和点击页面,这些检索数据可以包含:检索内容、检索结果、用户点击行为和日期等等数据。进一步的,可以是匿名检索数据,这样可以过滤掉用户的个人信息和检索定位信息等以提高信息安全。
进一步的,上述点击链接可以是点击页面对应的统一资源定位符(UniformResource Locator,URL)所对应的一部分,例如:URL的域名、文件路径等,而上述点击页面可以是被点击的检索页面或者点击后的检索页面。
上述构建技能实体、点击链接和点击页面的结构关系可以是,构建检索技能实体过程中点击链接和点击页面的结构关系,该结构关系可以表示在检索技能实体过程中点击链接和点击页面。例如:如图4所示,图4中的圆圈表示技能实体,而圆圈的右边表示点击链接,而技能实体与点击链接之间的连线表示二者之间存在关系。例如:检索“神经网络”关键词,并点击https://zh.wikipedia.org/zh-hans/%E4%BA%BA%E5%B7%A5%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C这个链接,那么这条边连接节点神经网络与https://zh.wikipedia.org/zh-hans/存在关系。图4中圆圈的左边表示点击页面,例如:每个技能实体点击率前K的页面,以及从这些页面提取的语言向量,其中,K为大于或者等于1的整数。
而上述依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度可以是,每个技能实体通过技能实体对应的点击链接和点击页面确定的点击率前K的检索页面,再使用词向量训练方法(例如:doc2vec)将击率前K的检索页面构造成语言向量。进而可以使用相关性度量分析,例如余弦相似度等,计算每两个技能实体对应的向量之间相似度。并可以使用一个预设的阈值,大于该阈值,则两个技能实体之间存在边的关系,例如:如图4所示的技能实体之间的边。如图4所示,实体A与实体B的相似度为0.33,实体A与实体C的相似度为0.02,实体B与实体C的相似度为0.07,这样可以确认实体A与实体B为有效实体,实体C为无效实体。
上述依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测可以是,将依据技能实体之间的相似度和标注的技能实体,采用通过标签传播算法对网络中未标注的结点进行是否为实体的预测,以获取降噪后的技能实体,其中,该算法中使用的初始结点为标注的技能实体,即无噪声技能实体。进一步的,标签传播算法可以是输入为搜索日志、候选实体集合和部分标注的技能实体集合,输出每个技能实体是否为技能的概率的标签传播算法,具体的,本发明实施例对上述标签传播算法不作限定。
当然,本发明实施例中,上述依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测并不限定通过标签传播算法进行预测,例如:还可以是确定待预测的每个技能实体与其对应的标注的技能实体的相似度,当相似度高于第一阈值时,则确认对应的技能实体为有效技能实体,或者,确认与其相似度高于第二阈值的标注的技能实体有多个时,则确认对应的技能实体为有效技能实体,其中,第一阈值大于第二阈值,以及还可以确定上述两个条件都不满足时,则可以确认对应的技能实体为无效技能实体。
通过上述方式可以实现有效、准确地去掉未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
另外,上述降噪过程还可以是通过预先训练的模型来实现,如图4所示,基于大规模检索数据的技能实体降噪模型来对技能实体进行降噪。
作为一种可选的实施方式,上述实体关系网络中技能实体的关系为:通过实体关系预测模型对多源异构数据预测的技能实体关系,其中,所述实体关系预测模型是以标注的技能实体关系进行训练得到的模型。
其中,上述多源异构数据可以包括历史招聘数据、检索数据和百科数据等数据。在预测过程中通过上述多源异构数据抽取用于预测实体关系的特征,例如:实体在招聘数据中的共现数,百科数据中出现实体文本中的关系,检索文本与检索页面中技能实体的共现数等等预测实体关系的特征,之后基于抽取的特征,进行实体关系预测和抽取,以得到实体关系网络中技能实体的关系。
由于实体关系网络中技能实体的关系为通过实体关系预测模型对多源异构数据预测的技能实体关系,这样可以使得实体关系网络中技能实体的关系更加准确,以及涵盖的范围更广泛。例如:如图5所示,通过基于多源异构数据的实体关系预测模型可以得到实体关系网络。
而上述实体关系预测模型的训练可以是:通过标注过的实体关系构建训练数据,使用梯度提升决策树(Gradient Boosting Decision Tree,GBDT)等分类模型进行训练,并使用集成(ensemble)的方法提升模型最终的准确率,以得到上述实体关系预测模型。
需要说明的是,本发明实施例中对上述实体关系预测模型的训练过程不作限定。另外,上述实体关系预测模型也可以是预先配置好的。
另外,在利用训练得到的实体与实体间关系,构建上述实体关系网络过程中,还可以设计了一种剪枝策略,使得这个关系图变成一个有向无环图,以提高上述实体关系网络的使用效果。
当然,本发明实施例中,并不限定通过上述实体关系预测模型预测技能实体关系,例如:在一些应用场景中,也可以通过人工标注的方式配置上述实体关系网络等等。
本发明实施例中,通过步骤202可以实现将抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,从而提高推荐试题的准确性。
步骤203、依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值。
步骤204、依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。
作为一种可选的实施方式,步骤203中的计算权重值和步骤204中的试题库中选择所述岗位的推荐试题这两个过程可以通过预先配置的深度优先搜索算法来实现,例如:该深度优先搜索算法的输入可以为:岗位的技能实体、岗位的数据和试题库,具体可以是技能图、工作岗位、现有员工简历、对应工作表现、候选人简历和试题库,输出为推荐试题。也就是说,该深度优先搜索算法可以根据岗位的技能实体、岗位的数据和试题库输出推荐试题。例如:如图6所示,基于岗位文本信息、历史入职员工数据、候选人简历文本数据和试题文本,基于实体关系网络结构个性化试题考察权重值,并基于深度优先搜索的个性化试题推荐算法得到上述推荐试题。
当然,本发明实施例中,并不限定通过上述深度优先搜索算法为执行步骤203和步骤204,例如:可以通过图1所示的实施例的介绍的方式来得到上述推荐试题等等。
本发明实施例中,通过上述步骤可以实现使用技能实体深度模型抽取岗位、简历、试题中的技能实体,并与实体关系网络进行匹配。其次,利用该岗位历史员工的多源数据,例如简历文本数据、晋升文本数据等,建模得到个性化的不同能力考核权重。最后,获取对候选人个性化的推荐笔试面试试题。
本发明实施例中提供的试题推荐方法可以作为一种多源异构数据下的试题推荐系统,包含上述介绍的多个模型,利用人力资源数据、大规模搜索数据以及其他辅助数据信息,构建技能实体关系网络,最终得到个性化的笔试面试试题推荐系统。并且,本发明实施例中提供的试题推荐方法还可以得到可视化的岗位能力需求分析、候选人能力掌握分析以及基于试题技能权重的可解释性推荐结果。
本发明实施例中,可以实现通过对历史招聘数据建模,可以全方位挖掘岗位对技能的需求,更精细化的了解到待招聘岗位的技能侧重。同时,能够针对候选人的特长,结合岗位技能侧重,进行个性化的推荐试题,且准确度更高。
本发明实施例中提供的试题推荐方法可以是基于大规模检索数据,以及深度学习模型所构建,这样可以大大提高招聘流程的效率。
本发明实施例中提供的试题推荐方法可以基于对历史数据的深入理解,避免人为出题造成的一些不公平性。
另外,本发明实施例中提供的试题推荐方法可以详细给出岗位的技能需求,候选人与岗位所匹配的技能,以及题目所考察的技能,因此对于出题的出发点具有很好的可解释性。
请参见图7,图7是本发明实施例提供的一种试题推荐装置的结构图,如图7所示,试题推荐装置700包括:
获取模块701,用于获取岗位的多个技能实体;
计算模块702,用于依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;
选择模块703,用于依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。
可选的,如图8所示,所述获取模块701包括:
抽取单元7011,用于通过技能实体深度模型从所述岗位的招聘数据中抽取技能实体,其中,所述技能实体深度模型为输入为招聘数据,输出为技能实体的端到端模型;
匹配单元7012,用于将所述抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,其中,所述实体关系网络包括技能实体的从属关系和等价关系中的至少一项。
可选的,所述技能实体深度模型为:利用标注有技能实体的历史招聘数据作为训练样本训练得到的深度模型。
可选的,所述实体关系网络中包括的技能实体为:依据检索数据对所述技能实体深度模型对应的技能实体集合进行降噪得到的技能实体。
可选的,所述技能实体集合包括:标注的技能实体和未标注的技能实体,所述依据检索数据对所述技能实体深度模型对应的技能实体进行降噪得到的技能实体是指:构建技能实体、点击链接和点击页面的结构关系,依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度;依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测,并去掉所述未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
可选的,所述实体关系网络中技能实体的关系为:通过实体关系预测模型对多源异构数据预测的技能实体关系,其中,所述实体关系预测模型是以标注的技能实体关系进行训练得到的模型。
可选的,所述岗位的数据包括如下至少一项:
岗位数据、岗位晋升数据、历史入职员工数据、候选人简历数据、试题数据。
需要说明的是,本发明实施例中方法实施例中任意实施方式都可以被本实施例中的上述试题推荐装置所实现,以及达到相同的有益效果,此处不再赘述。
请参见图9,图9是本发明实施例提供的一种智能设备的结构图,如图9所示,智能设备900包括处理器901、存储器902及存储在所述存储器902上并可在所述处理器上运行的计算机程序。
其中,所述计算机程序被所述处理器901执行时实现如下步骤:
获取岗位的多个技能实体;
依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;
依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题。
可选的,所述处理器901执行的获取岗位的多个技能实体,包括:
通过技能实体深度模型从所述岗位的招聘数据中抽取技能实体,其中,所述技能实体深度模型为输入为招聘数据,输出为技能实体的端到端模型;
将所述抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,其中,所述实体关系网络包括技能实体的从属关系和等价关系中的至少一项。
可选的,所述技能实体深度模型为:利用标注有技能实体的历史招聘数据作为训练样本训练得到的深度模型。
可选的,所述实体关系网络中包括的技能实体为:依据检索数据对所述技能实体深度模型对应的技能实体集合进行降噪得到的技能实体。
可选的,所述技能实体集合包括:标注的技能实体和未标注的技能实体,所述依据检索数据对所述技能实体深度模型对应的技能实体进行降噪得到的技能实体是指:构建技能实体、点击链接和点击页面的结构关系,依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度;依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测,并去掉所述未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
可选的,所述实体关系网络中技能实体的关系为:通过实体关系预测模型对多源异构数据预测的技能实体关系,其中,所述实体关系预测模型是以标注的技能实体关系进行训练得到的模型。
可选的,所述岗位的数据包括如下至少一项:
岗位数据、岗位晋升数据、历史入职员工数据、候选人简历数据、试题数据。
本发明实施例提供的智能设备能够实现图1和图2所示的方法实施例中智能设备实现的各个过程,且可以达到相同有益效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的试题推荐方法的步骤。
本发明实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本发明实施例提供的试题推荐方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (14)

1.一种试题推荐方法,包括:
获取岗位的多个技能实体;
依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;
依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题;
其中,所述获取岗位的多个技能实体,包括:
通过技能实体深度模型从所述岗位的招聘数据中抽取技能实体,其中,所述技能实体深度模型为输入为招聘数据,输出为技能实体的端到端模型;
将所述抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,其中,所述实体关系网络包括技能实体的从属关系和等价关系中的至少一项。
2.如权利要求1所述的方法,其中,所述技能实体深度模型为:利用标注有技能实体的历史招聘数据作为训练样本训练得到的深度模型。
3.如权利要求1所述的方法,其中,所述实体关系网络中包括的技能实体为:依据检索数据对所述技能实体深度模型对应的技能实体集合进行降噪得到的技能实体。
4.如权利要求3所述的方法,其中,所述技能实体集合包括:标注的技能实体和未标注的技能实体,所述依据检索数据对所述技能实体深度模型对应的技能实体进行降噪得到的技能实体是指:构建技能实体、点击链接和点击页面的结构关系,依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度;依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测,并去掉所述未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
5.如权利要求1所述的方法,其中,所述实体关系网络中技能实体的关系为:通过实体关系预测模型对多源异构数据预测的技能实体关系,其中,所述实体关系预测模型是以标注的技能实体关系进行训练得到的模型。
6.如权利要求1至5中任一项所述的方法,其中,所述岗位的数据包括如下至少一项:
岗位数据、岗位晋升数据、历史入职员工数据、候选人简历数据、试题数据。
7.一种试题推荐装置,其特征在于,包括:
获取模块,用于获取岗位的多个技能实体;
计算模块,用于依据所述岗位的数据,计算所述多个技能实体中每个技能实体的权重值;
选择模块,用于依据每个技能实体的权重值,从试题库获取所述岗位的推荐试题;
其中,所述获取模块,包括:
抽取单元,用于通过技能实体深度模型从所述岗位的招聘数据中抽取技能实体,其中,所述技能实体深度模型为输入为招聘数据,输出为技能实体的端到端模型;
匹配单元,用于将所述抽取的技能实体与实体关系网络中的技能实体进行匹配,以得到所述实体关系网络中所述岗位的多个技能实体,其中,所述实体关系网络包括技能实体的从属关系和等价关系中的至少一项。
8.如权利要求7所述的装置,其中,所述技能实体深度模型为:利用标注有技能实体的历史招聘数据作为训练样本训练得到的深度模型。
9.如权利要求7所述的装置,其中,所述实体关系网络中包括的技能实体为:依据检索数据对所述技能实体深度模型对应的技能实体集合进行降噪得到的技能实体。
10.如权利要求9所述的装置,其中,所述技能实体集合包括:标注的技能实体和未标注的技能实体,所述依据检索数据对所述技能实体深度模型对应的技能实体进行降噪得到的技能实体是指:构建技能实体、点击链接和点击页面的结构关系,依据技能实体对应的点击链接和点击页面计算技能实体之间的相似度;依据技能实体之间的相似度和标注的技能实体,对所述未标注的技能实体进行是否为有效技能实体的预测,并去掉所述未标注的技能实体无效的技能实体,以得到降噪后的技能实体。
11.如权利要求7所述的装置,其中,所述实体关系网络中技能实体的关系为:通过实体关系预测模型对多源异构数据预测的技能实体关系,其中,所述实体关系预测模型是以标注的技能实体关系进行训练得到的模型。
12.如权利要求7至11中任一项所述的装置,其中,所述岗位的数据包括如下至少一项:
岗位数据、岗位晋升数据、历史入职员工数据、候选人简历数据、试题数据。
13.一种智能设备,其中,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的试题推荐方法的步骤。
14.一种计算机可读存储介质,其中,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的试题推荐方法的步骤。
CN201910518161.2A 2019-06-14 2019-06-14 一种试题推荐方法、装置和智能设备 Active CN112084320B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910518161.2A CN112084320B (zh) 2019-06-14 2019-06-14 一种试题推荐方法、装置和智能设备
US16/711,793 US11551114B2 (en) 2019-06-14 2019-12-12 Method and apparatus for recommending test question, and intelligent device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910518161.2A CN112084320B (zh) 2019-06-14 2019-06-14 一种试题推荐方法、装置和智能设备

Publications (2)

Publication Number Publication Date
CN112084320A CN112084320A (zh) 2020-12-15
CN112084320B true CN112084320B (zh) 2023-09-15

Family

ID=73734168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910518161.2A Active CN112084320B (zh) 2019-06-14 2019-06-14 一种试题推荐方法、装置和智能设备

Country Status (2)

Country Link
US (1) US11551114B2 (zh)
CN (1) CN112084320B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927771A (zh) * 2021-03-15 2021-06-08 北京药明津石医药科技有限公司 问卷生成方法、分类模型的训练方法、装置和计算机设备
CN113590961B (zh) * 2021-08-03 2023-06-23 浙江工商大学 基于认知与状态评价的个性化习题推荐方法、装置及智能终端
CN113870634A (zh) * 2021-09-24 2021-12-31 华中科技大学 一种结合虚拟教学的智能组卷方法与系统
CN117910862A (zh) * 2022-04-13 2024-04-19 上海职鼎网络科技有限公司 岗位能力测量装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002086841A1 (en) * 2001-04-20 2002-10-31 Educational Testing Service A latent property diagnosing procedure
CN102799776A (zh) * 2012-07-10 2012-11-28 富士施乐实业发展(上海)有限公司 一种试卷自动处理系统
CN103294816A (zh) * 2013-06-09 2013-09-11 广东倍智人才管理咨询有限公司 一种为求职者推荐职位的方法和职位推荐系统
CN104834668A (zh) * 2015-03-13 2015-08-12 浙江奇道网络科技有限公司 基于知识库的职位推荐系统
CN107680019A (zh) * 2017-09-30 2018-02-09 百度在线网络技术(北京)有限公司 一种考试方案的实现方法、装置、设备及存储介质
CN108062657A (zh) * 2017-11-30 2018-05-22 朱学松 人才招聘面试方法及系统
CN108920544A (zh) * 2018-06-13 2018-11-30 桂林电子科技大学 一种基于知识图谱的个性化职位推荐方法
CN108920663A (zh) * 2018-07-04 2018-11-30 北京希子教育科技有限公司 一种自动推荐题目内容的方法
CN109299220A (zh) * 2018-09-03 2019-02-01 中国平安人寿保险股份有限公司 职工在线考试试卷生成方法及终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10720071B2 (en) * 2013-12-23 2020-07-21 International Business Machines Corporation Dynamic identification and validation of test questions from a corpus
US20170221165A1 (en) * 2016-01-30 2017-08-03 Accenture Global Solutions Limited Technology multi-skilling framework
US20170243312A1 (en) * 2016-02-19 2017-08-24 Teacher Match, Llc System and method for professional development identification and recommendation
US20190130512A1 (en) * 2017-10-27 2019-05-02 Larry Kuhn System and method for pre- and post-hiring leadership development
CN108446886A (zh) * 2018-01-31 2018-08-24 合肥和钧正策信息技术有限公司 基于大数据的人才招聘系统及方法
US20190340945A1 (en) * 2018-05-03 2019-11-07 Microsoft Technology Licensing, Llc Automatic generation and personalization of learning paths
US20200410452A1 (en) * 2019-06-26 2020-12-31 Elia HALEVY System and method for automated employees recruitment
US20210056651A1 (en) * 2019-08-23 2021-02-25 Accenture Global Solutions Limited Artificial Intelligence Driven Worker Training And Skills Management System

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002086841A1 (en) * 2001-04-20 2002-10-31 Educational Testing Service A latent property diagnosing procedure
CN102799776A (zh) * 2012-07-10 2012-11-28 富士施乐实业发展(上海)有限公司 一种试卷自动处理系统
CN103294816A (zh) * 2013-06-09 2013-09-11 广东倍智人才管理咨询有限公司 一种为求职者推荐职位的方法和职位推荐系统
CN104834668A (zh) * 2015-03-13 2015-08-12 浙江奇道网络科技有限公司 基于知识库的职位推荐系统
CN107680019A (zh) * 2017-09-30 2018-02-09 百度在线网络技术(北京)有限公司 一种考试方案的实现方法、装置、设备及存储介质
CN108062657A (zh) * 2017-11-30 2018-05-22 朱学松 人才招聘面试方法及系统
CN108920544A (zh) * 2018-06-13 2018-11-30 桂林电子科技大学 一种基于知识图谱的个性化职位推荐方法
CN108920663A (zh) * 2018-07-04 2018-11-30 北京希子教育科技有限公司 一种自动推荐题目内容的方法
CN109299220A (zh) * 2018-09-03 2019-02-01 中国平安人寿保险股份有限公司 职工在线考试试卷生成方法及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向科技服务业的人才测评系统的设计与实现;谢运佳;现代计算机(专业版);全文 *

Also Published As

Publication number Publication date
US11551114B2 (en) 2023-01-10
US20200394535A1 (en) 2020-12-17
CN112084320A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112084320B (zh) 一种试题推荐方法、装置和智能设备
RU2722571C1 (ru) Способ распознавания именованных сущностей в сетевом тексте на основе устранения неоднозначности вероятности в нейронной сети
CN106874378B (zh) 基于规则模型的实体抽取与关系挖掘构建知识图谱的方法
CN113239186B (zh) 一种基于多依存关系表示机制的图卷积网络关系抽取方法
CN110825879A (zh) 判案结果确定方法、装置、设备及计算机可读存储介质
CN102314417A (zh) 基于统计模型的Web命名实体识别方法
CN111079985A (zh) 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法
CN108717411B (zh) 一种基于大数据的调查问卷设计辅助系统
CN114647741A (zh) 工艺自动决策和推理方法、装置、计算机设备及存储介质
CN107480194B (zh) 多模态知识表示自动学习模型的构建方法及系统
WO2019214142A1 (zh) 电子装置、基于研报数据的预测方法、程序和计算机存储介质
CN113468891A (zh) 文本处理方法以及装置
CN112434514A (zh) 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备
CN115599899A (zh) 基于飞行器知识图谱的智能问答方法、系统、设备及介质
CN111241843B (zh) 基于复合神经网络的语义关系推断系统和方法
Lee Deep learning research trend analysis using text mining
CN117271736A (zh) 一种问答对的生成方法和系统、电子设备及存储介质
CN111723180A (zh) 一种面试方法和装置
CN113449508A (zh) 一种基于事件链的网络舆情关联推演预测分析方法
CN113077312A (zh) 酒店推荐方法、系统、设备及存储介质
CN117033654A (zh) 一种面向科技迷雾识别的科技事件图谱构建方法
CN115422920B (zh) 基于bert和gat的裁判文书争议焦点识别方法
Alzuru et al. Selfie: Self-aware information extraction from digitized biocollections
Le et al. Building Filters for Vietnamese Chatbot Responses
CN116955560B (zh) 基于思考链和知识图谱的数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant