CN111275401B - 一种基于位置关系的智能面试方法及系统 - Google Patents
一种基于位置关系的智能面试方法及系统 Download PDFInfo
- Publication number
- CN111275401B CN111275401B CN202010066457.8A CN202010066457A CN111275401B CN 111275401 B CN111275401 B CN 111275401B CN 202010066457 A CN202010066457 A CN 202010066457A CN 111275401 B CN111275401 B CN 111275401B
- Authority
- CN
- China
- Prior art keywords
- job
- interview
- matching
- job seeker
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000011156 evaluation Methods 0.000 claims abstract description 64
- 230000014509 gene expression Effects 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 47
- 230000008451 emotion Effects 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 19
- 238000010195 expression analysis Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012351 Integrated analysis Methods 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012797 qualification Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims 2
- 230000007115 recruitment Effects 0.000 abstract description 17
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000013210 evaluation model Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
- G06Q10/1053—Employment or hiring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于位置关系的智能面试方法及系统,其包括职位定制单元、岗位信息采集单元、职位动态匹配单元、面试环节生成单元、智能面试单元、综合评估单元、面试结果反馈单元几部分。本专利提出一种基于深度神经网络搭建多模态评估的模型,分别搭建了表情识别模型框架、声音评估模型框架和文本打分模型框架;针对没有跟企业HR评估做匹配的问题,本专利还提出一种多任务整合的回归模型,可以准确地和企业HR的决策结果作匹配,形成一种端到端的评估推荐流程。该系统通过在线智能视频面试的方式,一定程度上解决了传统招聘模式下面试过程繁琐、耗时长的问题,可以很大程度节省企业和求职者在招聘和应聘过程中的成本,提高面试效率和准确率。
Description
技术领域
本发明涉及一种面试方法,特别涉及一种基于人工智能和位置关系的面试方式。
背景技术
目前对于企业的发展而言,人才起着至关重要的作用,因此对于很多企业来说人员招聘是企业的一项重要工作。中小企业的职位流动性较大,因此长期有较小规模的招聘需求,但是缺乏宣传及广告经费,往往只能采用分发传单或熟人介绍等线下方式招聘少量员工另一方面,中小企业HR缺乏专业的面试经验,对求职者的甄别能力不强,企业难以及时招到合适的求职者。
而对于求职者而言,求职简历投递至互联网招聘平台后,响应时间较长,往往需要HR单独电话预约面试,但由于目前人员流动速度较快,特别是对于处于离职状态的求职者,为了找到合适的工作,可能会选择多个城市、区域来寻找工作的机会。由于现有的互联网招聘平台后,响应时间较长无论面试还是等待录用信息往往都需要很长的时间,求职者需要长达数天甚至数十天时间才能确定是否被录用。用在时间和金钱上的成本都很高,有些求职者甚至会因此而错过较好工作机会。
目前尚没有一种专门解决中小企业招聘困难的平台和应用,也没有针对根据求职者位置提供服务的招聘应用;虽然已有的部分在线视频面试方法大多依赖关键词相关的技术,但现有技术难以从语义上准确评估求职者的答题情况,现有技术上的评估算法仅仅停留在对求职者的评估上,尚未有成熟的方案跟企业HR的评估结果作匹配。因此针对这种多数月份人才招聘不集中,岗位需求量小且流动,中小企业招聘困难等问题,本专利的目的在于提供一种能够智能招聘方法,已解决现有技术存在的问题。
发明内容
为克服上述现有技术中的不足,本发明目的在于提供一种基于位置关系,能够实现求职者信息与岗位信息智能匹配,并向求职者进行智能推荐并实现智能面试的方法。
为实现上述目的及其他相关目的,本发明提供的技术方案是:一种基于位置关系的智能面试方法,其包括如下步骤:
1)职位定制:通过求职者客户端获取求职用户的个人基本信息、位置信息、技能信息、职位要求及职位状态等职位信息;
2)岗位信息采集:通过企业客户端获取待发布岗位信息,位置信息,面试题目要求,考核范围等信息;
3)职位动态匹配:以位置信息匹配为基本依据,动态的将职位信息与求职者职位要求匹配的岗位推荐给求职者客户端;
4)面试环节生成:根据岗位信息要求,自动生成面试环节和对应的面试题目;
5)智能面试:求职者通过求职者客户端参加步骤4)生成的视频面试;
6)综合评估:使用多模态的智能评估算法对求职者进行综合评估,并形成面试评估报告;
7)面试结果反馈:企业HR通过企业端获取面试评估报告,筛选面试结果并给出决策结果,并根据企业决策结果实时反馈给求职者。
优选的,职位定制步骤具体为:通过求职者客户端获取求职者录入的个人基本信息,包括姓名、年龄、毕业院校、专业、工作年限、职业技能、职位要求、位置信息和职位状态;其中位置信息作为为求职者进行职位推荐的基本依据;职位状态主要包括求职状态和在职状态,求职者属于求职状态时,则可收到职位推荐信息。
优选的,职位动态匹配具体步骤为:通过关键词匹配技术匹配职位相关的结构化信息;通过文本匹配技术匹配企业职位和求职者对应的任职资格和职业技能;当求职者所在位置发生变化或求职意向发生变化,并且处于可推荐状态时,自动进行新的职位匹配;职位推荐:系统通过加权方式整合关键词匹配结果和文本匹配结果,为求职者推荐优质且适合的岗位。
优选的,所述面试环节生成步骤具体为:面试环节生成:系统根据岗位需求,从数据库中检索构建好的面试环节模板;面试题目生成:根据题目要求及面试考核范围,从基于胜任力模型定制的题库中选择对应的题目。
优选的,所述综合评估步骤具体为:数据处理:系统将求职者的面试视频进行表情图片提取、音频提取和自动声音识别提取文本;表情分析:使用表情分类算法对求职者面试过程中表情进行识别,并计算表情分析结果;情绪评估:使用声音评估算法对面试音频中求职者情绪进行分析;文本回答评估:使用自然语言理解技术对求职者答题文本进行打分;评估报告生成:对表情分析结果、情绪评估结果、文本回答评估结果进行整合分析,为企业提供综合的评价信息,同时使用回归模型整合上述任务的预测结果,并根据回归结果进行推荐。
本专利还公开了一种实现上述智能面试方法的系统,其包括:职位定制单元:通过求职者客户端获取求职用户的个人基本信息、位置信息、技能信息、职位要求及职位状态等职位信息;岗位信息采集单元:通过企业客户端获取待发布岗位信息,位置信息,面试题目要求,考核范围等信息;职位动态匹配单元:以位置信息匹配为基本依据,动态的将职位信息与求职者职位要求匹配的岗位推荐给求职者客户端;面试环节生成单元:根据岗位信息要求,自动生成面试环节和对应的面试题目;智能面试单元:求职者通过求职者客户端参加面试环节生成单元生成的视频面试;综合评估单元:使用多模态的智能评估算法对求职者进行综合评估,并形成面试评估报告;面试结果反馈单元:企业HR通过企业端获取面试评估报告,筛选面试结果并给出决策结果,并根据企业决策结果实时反馈给求职者客户端。
优选的,所述职位定制单元用于通过求职者客户端获取求职者录入的个人基本信息,包括姓名、年龄、毕业院校、专业、工作年限、职业技能、职位要求、位置信息和职位状态;职位状态包括求职状态和在职状态,求职者属于求职状态时,系统可向该求职者客户端发送职位推荐信息。
优选的,所述职位动态匹配包括:关键词匹配模块,通过关键词匹配技术匹配职位相关的结构化信息;文本匹配模块,通过文本匹配技术匹配企业职位和求职者对应的任职资格和职业技能;动态匹配模块,当求职者所在位置发生变化或求职意向发生变化,并且处于可推荐状态时,自动进行新的职位匹配;职位推荐模块,系统通过加权方式整合关键词匹配结果和文本匹配结果,为求职者推荐优质且适合的岗位。
优选的,其包括:面试环节生成模块:系统根据岗位,采用对应的行业内通用且成熟的面试流程生成面试环节;面试题目生成模块:根据题目要求及面试考核范围,从基于胜任力模型定制的题库中选择对应的题目。
优选的,其包括:数据处理模块:系统将求职者的面试视频进行表情图片提取、音频提取和自动声音识别提取文本;表情分析模块:使用表情分类算法对求职者面试过程中表情进行识别,并计算表情分析结果;情绪评估模块:使用声音评估算法对面试音频中求职者情绪进行分析;文本回答评估模块:使用自然语言理解技术对求职者答题文本进行打分;评估报告生成模块:对表情分析结果、情绪评估结果、文本回答评估结果进行整合分析,为企业提供综合的评价信息,同时使用回归模型整合上述任务的预测结果,并根据回归结果进行推荐。
上述技术方案具有如下有益效果:本专利针对中小企业职位需求流动且需求量不大的特点,提出以位置信息为驱动,整合不同地区的职位需求和求职者信息,中小企业和求职者提供开放求职平台,不但可以减少企业招聘开支,同时可以降低求职者的求职负担和生活成本;针对大多已有的在线视频面试方法使用传统机器学习方法或关键词相关算法的问题,本专利提出一种基于深度神经网络搭建多模态评估的模型,分别搭建了表情识别模型框架、声音评估模型框架和文本打分模型框架;针对没有跟企业HR评估做匹配的问题,本专利还提出一种多任务整合的回归模型,可以准确地和企业HR的决策结果作匹配,形成一种端到端的评估推荐流程。该系统通过在线智能视频面试的方式,一定程度上解决了传统招聘模式下面试过程繁琐、耗时长的问题,可以很大程度节省企业和求职者在招聘和应聘过程中的成本,提高面试效率和准确率。
附图说明
图1为本发明实施例的整体流程图。
图2为本发明实施例职位定制单元的流程图。
图3为本发明实施例岗位信息采集单元的流程图。
图4为本发明实施例职位动态匹配单元的流程图。
图5为本发明实施例面试环节生成单元的流程图。
图6为本发明实施例智能面试单元的流程图。
图7为本发明实施例综合评估单元的流程图。
图8为本发明实施例面试结果决策流程图。
图9为本发明实施例面试结果反馈流程图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
请参阅图1至图9。须知,本说明书所附图式所绘示均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
如图1所示,本专利公开了一种基于位置关系的智能面试系统,该系统主要包括服务器端、求职者客户端及企业客户端三部分。系统包括职位定制单元、岗位信息采集单元、职位动态匹配单元、面试环节生成单元、智能面试单元、综合评估单元、面试结果反馈单元几部分。该智能面试系统工作流程包括如下步骤:
S1:职位定制,由职位定制单元通过求职者客户端获取求职者录入的个人基本信息,包括姓名、年龄、毕业院校、专业、工作年限、职业技能、职位要求、位置信息和职位状态等信息;职位状态包括求职状态和在职状态,求职者属于求职状态时,系统可向该求职者客户端发送职位推荐信息。其中位置信息作为系统为求职者进行职位推荐的基本依据,可以一定程度降低求职者的求职成本和生活成本(如图2所示)。
S2:岗位信息采集,由岗位信息采集通过登录企业客户端,点击职位发布,这样就可在企业客户端填写待发布岗位信息,位置信息,面试题目要求,考核范围等信息,并最终获得要发布的岗位信息;该单元还可根据职位城市(位置信息)对不同企业的职位进行整合(如图3所示)。
S3:职位动态匹配,通过职位动态匹配单元以位置信息匹配为基本依据,动态的将职位信息与求职者职位要求匹配的岗位推荐给求职者客户端。该职位动态匹配单元包括关键词匹配模块、文本匹配模块、动态匹配模块及职位推荐模块。关键词匹配模块可通过关键词匹配技术匹配职位相关的结构化信息;文本匹配模块可通过文本匹配技术匹配企业职位和求职者对应的任职资格和职业技能;动态匹配模块在求职者所在位置发生变化或求职意向发生变化,并且处于可推荐状态时,自动进行新的职位匹配;职位推荐模块用于系统通过加权方式整合关键词匹配结果和文本匹配结果,为求职者推荐优质且适合的岗位。
如图4所示,该步骤执行时首先是先获得求职者的位置信息,然后根据位置信息加载通过岗位信息采集获得的职位列表,然后在进行匹配。该步骤中并不只是简单的通过关键词进行匹配,而是通过关键词匹配算法和文本匹配算法两种方式进行匹配,实现职位的自动推荐功能,关键词主要将匹配企业招聘信息中薪资待遇、工作年限等结构化信息与求职者的期望薪资、工作年限等进行匹配;文本匹配算法主要匹配招聘信息和求职信息中的非结构化文本,比如:职位描述、职业技能。然后通过加权融合的方式将两类匹配算法的结果整合,得到百分制的匹配程度,并选取匹配程度最高的几个职位推荐给求职者。这样可使匹配结果更加精确,也更加的智能。
实现关键词匹配算法、文本匹配算法、加权融合算法的步骤如下:
步骤1:提取企业结构化字段:薪资待遇、工作年限;提取求职者求职字段:期望薪资、工作年限;并为每类字段构建同义词集合(注,由于薪资待遇、工作年限常常存在输入不统一的问题,比如以下几组例子:5K,3年;8000元,两年;),构建同义词集合,并使用部分匹配算法匹配结构化字段,得到结构化文本匹配度,并通过归一化将各个字段(薪资待遇、工作年限等)的的匹配度得到0-1.0的匹配得分其中scorei表示第i个结构化字段的匹配得分,m表示匹配的字段数。
步骤2:采用一种基于词向量的无监督文本匹配算法WMD(Word Mover’sDistance)对非结构结构化字段进行匹配,该算法结合词向量技术,从文本含义的基础上对文本字段进行匹配。WMD算法充分利用词向量(word2vec)对文本进行表示;通过线性规划的方式求全局最优解。
单词向量化:Word2Vec模型中,主要有Skip-Gram和CBOW两种模型,从直观上理解,Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文,来预测input word。本专利用的是Skip-Gram模型。
训练后,可以得到矩阵X∈Rd×n来表示n个单词的词汇表。第i列表示第i个单词在d维空间的向量。
职位描述/职业技能向量化:
用nBOW将文档表示成归一化的n维的词袋向量d∈Rn,计算公式为
di为单词i在文档中的权重,ci为出现的次数。上文例子中的两个文档语义相近,但是由于用词不同导致非零部分分布在不同部分。
职位描述与职业技能距离计算:
单词i与单词j间的距离c(i,j)=||xi-xj||2,为了区别文档间距离,将c(i,j)视作从单词i转移到单词j的cost。
在文档向量化的时候,每个单词都被分配一个权重,因此这可以看作transportation问题。
d与d′表示职位描述与职业技能。
T∈Rn×n是一个稀疏矩阵,Tij>0,表示d中的单词i转移为中单词d′时候的比例。此时,有两个约束条件∑jTij=d1,∑iTij=d′j。
所以这个transportation问题,可以写成以下形式:
其中:
时间复杂度O(p3logp)其中p为nBOW的长度。
由于WMD算法计算得到的结果是职位描述与职业技能的距离,即distanced,d′越小表示职位描述与职业技能越匹配,因此非结构化文本的匹配得分可以计算为:scoretext=1-distanced,d′
最终职位推荐方案可以根据结构化匹配得分和非结构化匹配得分的加权得分finalscore=λscoreword+(1-λ)scoretext,其中λ为调节参数。
S4:面试环节生成,系统通过面试环节生成单元,根据岗位信息要求,自动生成面试环节和对应的面试题目。面试环节生成单元包括面试环节生成模块和面试题目生成模块,面试环节生成模块用于根据岗位需求,从数据库中检索构建好的面试环节模板,该模板应采用对应的行业内通用且成熟的面试流程生成。面试题目生成模块刻根据题目要求及面试考核范围,从基于胜任力模型定制的题库中选择对应的题目。最后如图5所示,整合已经生成的面试环节模板和面试题目,生成完整的面试流程。
上述各行业的面试流程模板及职业胜任力题库进行自动化面试流程构建的具体步骤如下:
步骤1:基于互联网搜集和整理行业职位列表,并邀请资深HR汇总和修正各个职位的面试流程
步骤2:根据职业胜任力考核指标,结合企业结构化面试考核内容,构建职业胜任力题库
步骤3:基于职位匹配算法得分finalscore,选择最合适的面试流程和对应的面试题目,生成在线面试流程。
S5:智能面试,面试流程生成后可直接将链接地址推送到求职者客户端,如图6所示,求职者只需要点击链接地址就可在线进行视频面试,面试过程中实时获取面试者的答题视频,并将其上传至服务器。
S6:综合评估,通过综合评估单元使用多模态的智能评估算法对求职者进行综合评估,并形成面试评估报告。如图7所示,综合评估单元包括数据处理模块、表情分析模块、情绪评估模块、文本回答评估模块、评估报告生成模块。数据处理模块是通过系统将求职者的面试视频进行表情图片提取、音频提取和自动声音识别提取文本。表情分析模块使用表情分类算法对求职者面试过程中表情进行识别,并计算表情分析结果;情绪评估模块使用声音评估算法对面试音频中求职者情绪进行分析;文本回答评估模块使用自然语言理解技术对求职者答题文本进行打分;评估报告生成模块对表情分析结果、情绪评估结果、文本回答评估结果进行整合分析,为企业提供综合的评价信息。
本专利通过数据转录技术把视频处理成图片集合、面试音频、回答文本的形式,其中面试音频到回答文本的转录通过ASR(自动声音识别)技术。基于深度神经网络构造的表情分析算法、情绪评估算法和文本回答评估算法分别对图片、音频和文本数据进行处理,得到求职者在图像、声音、文本方面的打分结果,同时使用回归模型整合上述任务的预测结果,并根据回归结果进行推荐。各模块具体算法如下:
表情分析技术方案:
表情识别是计算机理解人类情感的一个重要方向,也是人机交互的一个重要方面。表情识别是指从静态照片或视频序列中选择出表情状态,从而确定对人物的情绪与心理变化。因此在视频面试中,对表情进行识别和分类,可以一定程度反映求职者的表情状态、心理素质及其对应的职业能力。本专利采用基于深度卷积神经网络对求职者面部表情进行识别和分类,分类结果包含:快乐,气愤,惊讶,害怕,厌恶,悲伤和平静。
步骤1:本专利采用深度卷积神经网络来将人脸表情特征提取与表情分类融合到一个end-to-end的网络中。
步骤2:VGG19的每一个小块是有一个卷积层,一个BatchNorm层,一个relu层和一个平均池化层来构成的。而resnet是由两个卷积层,两个BatchNorm层组成,而且每个resnet模块输入输出端还有快捷链接。
步骤3:在全连接层之前加入了dropout策略,增加了模型鲁棒性;
步骤4:我们都去掉了传统VGG19与Resnet18中的多个全连接层,直接在一个全连接层后直接分为7类去识别。
步骤5:在模型损失函数设计时,本专利使用了经典的交叉熵损失函数。模型在全连接层之后,得到了每一类的输出概率,但此时概率是没有经过归一化的,我们通过一个softmax层,将概率归一化到1,更加易于数据处理。而交叉熵损失函数计算公式如下:
在softmax回归中,我们通过归一化的概率的大小解决多分类问题,类标y可以取7个不同的值。
声音情绪评估算法技术方案:
求职者参加视频面试时,声音是能够比较直观体现求职者情绪的主要数据源。本专利采用特征融合的方式进行声音情绪的评估。算法步骤主要包括:
步骤1:基于数字语音处理技术,基于opensmile工具,识别并提取语音常用特征,提取的语音特征主要包括:用于键和弦识别的色度特征,用于语音识别的MFCC特征,用于语音识别的PLP特征,韵律特征,ComParE特征及等。
步骤2:提取共振峰参数。共振峰是反映声道特性的一个重要参数,本专利通过对语音流中加汉明窗再对其进行傅立叶变换的方法求得共振峰,并对其以下特征进行了研究。
步骤3:提取能量参数。能量方面,考虑到音量的绝对大小并不应该成为表达情感的主要参数,所以本专利主要研究了能量变化率等相对变化的特征参数。其中重音特征能够把情感区分为“愤怒、惊讶、高兴”组成的激动类情感和“平静、悲伤”组成的平缓类情感。
步骤4:使用SVM分类器进行语音情绪分类。SVM法即支持向量机,可以自动寻找出那些对分类有较好区分能力的支持向量,由此构造出的分类器可以最大化类与类的间隔,因而有较好的适应能力和较高的分准率。支持向量机算法的目的在于寻找一个超平面H(d),该超平面可以将训练集中的数据分开,且与类域边界的沿垂直于该超平面方向的距离最大。在核函数选择方面,本专利采用的是多项式核函数:K(x,y)=[(x*y)+1]d
文本回答评估技术方案:
文本回答考核结果是视频面试的主要考核目标,它体现求职者对企业考核范围内的职业胜任力的掌握情况。在对文本回答进行评估时,本专利采用基于自然语言理解和阅读理解的文本匹配算法进行评估。主要步骤如下:
步骤1:字符嵌入
字符嵌入是将词映射为一个高纬的向量空间。我们对每个问题和求职者回答的文本中的词用CNN处理以获得字符嵌入。每个词由多个字符组成,则视为1D,将其输入到CNN。CNN的输出经过最大池化操作后即可获得每个词对应的字符级向量。
步骤2:词嵌入
在词嵌入上我们采用的是预训练的词向量Glove。
将字符嵌入和词嵌入拼接后,输入到一个双层的Highway Network,输出是两个d维度的向量。将原文对应的输出记为X∈Rd×T,问句的输出记为Q∈Rd×J。其中X表示求职者回答文本,Q表示面试问题。
步骤3:上下文嵌入
这层采用的是LSTM以建模单词之间的交互特征。这里采用的是双向LSTM,将两个方向的LSTM结果进行拼接,于是可以从原文词向量X得到对应的上下文向量C∈R2d×T,同理从问句词向量Q得到对应的上下文向量U∈R2d×J。
以上3层均是从不同粒度获得问句和原文的特征。这与计算机视觉领域中卷积神经网络的多阶段特征提取类似。
步骤4:注意力层
该层用于链接和融合来自原文和问句中词的信息。不同于以往的注意力机制,将问句和原文总结概括为单一的特征向量,每个时刻的注意力向量都与其之前层的嵌入相关,且都可以流向之后的网络层。这种设计方案可以减缓由于过早归纳总结而导致的信息缺失。
步骤5:建模层
对注意力层的输出使用单层的Bi-LSTM进行处理,得到M∈R2d×T。这一层的作用和第三层作用一样,用来补货矩阵的时序上的依赖关系。
步骤6:输出层
在输出层使用非线性激活函数tanh对向量进行转换,最后经过一层softmax层得到答案类别的概率分布。
S7:面试结果决策,通过综合评估后,系统会将评估结果发生给企业客户端,企业HR通过企业端获取面试评估报告,筛选面试结果并给出决策结果,并根据企业决策结果提交给系统。决策结果包括:直接录用、预约最终面试、拒绝录用(如图8所示)。
S8:面试结果反馈,系统接收到企业决策结果后,系统会将面试结果实时的反馈给求职者;求职双方可以在系统内进行对话,或预约电话进行最终的沟通,并且只有在企业决策为直接录用和预约最终面试时,求职双方才开始建立联系,求职者通讯信息对企业可见,从而完成整个招聘(求职)过程。
该智能视频面试方法是一个基于人工智能算法对求职者进行综合评估的面试方案,该方案针对表情、声音、文本多种模态,采用基于深度神经网络模型构建的算法对求职者进行评估,能够保证评估的客观性、准确性、实时性和高效性;该方法是一个端到端的面试方案,对求职者的评估过程均是通过系统和算法进行驱动,不需要人工干预,能够保证整个面试评估流程的流畅性和完整性。
该智能视频面试系统以求职者位置信息为驱动,整合各区域企业职位需求和求职者求职需求,通过关键词匹配算法和文本匹配算法完成职位推荐;可根据行业内成熟的面试方案,自动化生成面试流程和面试题目;该系统使用基于深度神经网络的模型对求职者的表情、声音和回答文本进行自动、准确、客观的评估,系统基于多任务评估结果搭建回归模型,匹配HR最终决策结果完成求职者推荐,前期面试几乎无需HR进行人工参与,只需后期进行决策,实现真正意义上人工智能面试。
本专利依托人工智能技术搭建了结合表情分析模型、声音评估模型、开放问答评估模型和专业职业胜任力模型的在线综合面试方法和系统。企业在线发布职位信息,系统自动为企业构造面试环节并生成对应环节的面试题目,并以职位位置信息作为媒介,为相应范围内的求职者推送职位信息,求职者点击自己感兴趣的职位即可参加在线视频面试,智能评估系统自动为求职者答题情况进行评估,并将评估结果实时反馈给企业。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种基于位置关系的智能面试方法,其特征在于,其包括如下步骤:
1)职位定制:通过求职者客户端获取求职用户的个人基本信息、位置信息、技能信息、职位要求及职位状态等职位信息;
2)岗位信息采集:通过企业客户端获取待发布岗位信息,位置信息,面试题目要求,考核范围等信息;
3)职位动态匹配:以位置信息匹配为基本依据,通过关键词匹配算法和文本匹配算法两种方式进行匹配,实现职位的自动推荐功能,通过加权融合的方式将两类匹配算法的结果整合,动态的将职位信息与求职者职位要求匹配的岗位推荐给求职者客户端;具体步骤为:提取企业结构化字段、提取求职者求职字段为每类字段构建同义词集合,并使用部分匹配算法匹配结构化字段,得到结构化文本匹配度,并通过归一化将各个字段的匹配度得到0-1.0的匹配得分其中scorei表示第i个结构化字段的匹配得分,m表示匹配的字段数;
采用一种基于词向量的无监督文本匹配算法对非结构结构化字段进行匹配,根据结构化匹配得分和非结构化匹配得分的加权得分finalscore=λscoreword+(1-λ)scoretext,其中λ为调节参数;非结构化文本的匹配得分可以计算为:scoretext=1-distanced,d′,distanced,d′表示职位描述与职业技能的向量化距离;
4)面试环节生成:根据岗位信息要求,自动生成面试环节和对应的面试题目;
5)智能面试:求职者通过求职者客户端参加步骤4)生成的视频面试;
6)综合评估:使用多模态的智能评估算法对求职者进行综合评估,并形成面试评估报告,所述综合评估步骤具体为:
数据处理:系统将求职者的面试视频进行表情图片提取、音频提取和自动声音识别提取文本;
表情分析:使用表情分类算法对求职者面试过程中表情进行识别,并计算表情分析结果;情绪评估:使用声音评估算法对面试音频中求职者情绪进行分析;
文本回答评估:使用自然语言理解技术对求职者答题文本进行打分;
评估报告生成:对表情分析结果、情绪评估结果、文本回答评估结果进行整合分析,为企业提供综合的评价信息,同时使用回归模型整合任务的预测结果,并根据回归结果进行推荐;
7)面试结果反馈:企业HR通过企业端获取面试评估报告,筛选面试结果并给出决策结果,并根据企业决策结果实时反馈给求职者。
2.根据权利要求1所述的基于位置关系的智能面试方法,其特征在于,职位定制步骤具体为:通过求职者客户端获取求职者录入的个人基本信息,包括姓名、年龄、毕业院校、专业、工作年限、职业技能、职位要求、位置信息和职位状态;其中位置信息作为为求职者进行职位推荐的基本依据;职位状态主要包括求职状态和在职状态,求职者属于求职状态时,则可收到职位推荐信息。
3.根据权利要求1所述的基于位置关系的智能面试方法,其特征在于,职位动态匹配具体步骤为:
通过关键词匹配技术匹配职位相关的结构化信息;
通过文本匹配技术匹配企业职位和求职者对应的任职资格和职业技能;
当求职者所在位置发生变化或求职意向发生变化,并且处于可推荐状态时,自动进行新的职位匹配;
职位推荐:系统通过加权方式整合关键词匹配结果和文本匹配结果,为求职者推荐优质且适合的岗位。
4.根据权利要求1所述的基于位置关系的智能面试方法,其特征在于,所述面试环节生成步骤具体为:
面试环节生成:系统根据岗位需求,从数据库中检索构建好的面试环节模板;
面试题目生成:根据题目要求及面试考核范围,从基于胜任力模型定制的题库中选择对应的题目。
5.一种基于位置关系的智能面试系统,其特征在于,其包括:
职位定制单元:通过求职者客户端获取求职用户的个人基本信息、位置信息、技能信息、职位要求及职位状态等职位信息;
岗位信息采集单元:通过企业客户端获取待发布岗位信息,位置信息,面试题目要求,考核范围等信息;
职位动态匹配单元:以位置信息匹配为基本依据,通过关键词匹配算法和文本匹配算法两种方式进行匹配,实现职位的自动推荐功能,通过加权融合的方式将两类匹配算法的结果整合,动态的将职位信息与求职者职位要求匹配的岗位推荐给求职者客户端;具体步骤为:提取企业结构化字段、提取求职者求职字段为每类字段构建同义词集合,并使用部分匹配算法匹配结构化字段,得到结构化文本匹配度,并通过归一化将各个字段的匹配度得到0-1.0的匹配得分其中scorei表示第i个结构化字段的匹配得分,m表示匹配的字段数;
采用一种基于词向量的无监督文本匹配算法对非结构结构化字段进行匹配,根据结构化匹配得分和非结构化匹配得分的加权得分finalscore=λscoreword+(1-λ)scoretext,其中λ为调节参数;非结构化文本的匹配得分可以计算为:scoretext=1-distanced,d′,distanced,d′表示职位描述与职业技能的向量化距离;
面试环节生成单元:根据岗位信息要求,自动生成面试环节和对应的面试题目;
智能面试单元:求职者通过求职者客户端参加面试环节生成单元生成的视频面试,并上传至服务器;
综合评估单元:使用多模态的智能评估算法对求职者面试视频进行综合评估,并形成面试评估报告;
数据处理模块:系统将求职者的面试视频进行表情图片提取、音频提取和自动声音识别提取文本;
表情分析模块:使用表情分类算法对求职者面试过程中表情进行识别,并计算表情分析结果;
情绪评估模块:使用声音评估算法对面试音频中求职者情绪进行分析;
文本回答评估模块:使用自然语言理解技术对求职者答题文本进行打分;
评估报告生成模块:对表情分析结果、情绪评估结果、文本回答评估结果进行整合分析,为企业提供综合的评价信息,通过回归模型匹配HR决策结果,完成求职者推荐;
面试结果反馈单元:企业HR通过企业端获取面试评估报告,筛选面试结果并给出决策结果,并根据企业决策结果实时反馈给求职者客户端。
6.根据权利要求5所述的基于位置关系的智能面试系统,其特征在于,所述职位定制单元用于通过求职者客户端获取求职者录入的个人基本信息,包括姓名、年龄、毕业院校、专业、工作年限、职业技能、职位要求、位置信息和职位状态;职位状态包括求职状态和在职状态,求职者属于求职状态时,系统可向该求职者客户端发送职位推荐信息。
7.根据权利要求5所述的基于位置关系的智能面试系统,其特征在于,所述职位动态匹配包括:
关键词匹配模块,通过关键词匹配技术匹配职位相关的结构化信息;
文本匹配模块,通过文本匹配技术匹配企业职位和求职者对应的任职资格和职业技能;动态匹配模块,当求职者所在位置发生变化或求职意向发生变化,并且处于可推荐状态时,自动进行新的职位匹配;
职位推荐模块,系统通过加权方式整合关键词匹配结果和文本匹配结果,为求职者推荐优质且适合的岗位。
8.根据权利要求5所述的基于位置关系的智能面试系统,其特征在于,其包括:
面试环节生成模块:系统根据岗位需求,从数据库中检索构建好的面试环节模板;
面试题目生成模块:根据题目要求及面试考核范围,从基于胜任力模型定制的题库中选择对应的题目。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010066457.8A CN111275401B (zh) | 2020-01-20 | 2020-01-20 | 一种基于位置关系的智能面试方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010066457.8A CN111275401B (zh) | 2020-01-20 | 2020-01-20 | 一种基于位置关系的智能面试方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275401A CN111275401A (zh) | 2020-06-12 |
CN111275401B true CN111275401B (zh) | 2023-10-24 |
Family
ID=71001843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010066457.8A Active CN111275401B (zh) | 2020-01-20 | 2020-01-20 | 一种基于位置关系的智能面试方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275401B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111885777A (zh) * | 2020-08-11 | 2020-11-03 | 安徽艳阳电气集团有限公司 | 一种室内led灯的控制方法及装置 |
CN112418779A (zh) * | 2020-10-30 | 2021-02-26 | 济南浪潮高新科技投资发展有限公司 | 一种基于自然语言理解的在线自助面试方法 |
CN112435689B (zh) * | 2020-11-10 | 2021-08-17 | 罗科仕管理顾问有限公司 | 语音聊天机器人职位面试系统中的情感识别 |
CN112651714A (zh) * | 2020-12-25 | 2021-04-13 | 北京理工大学深圳研究院 | 一种基于多模态信息的面试测评方法和系统 |
CN112884326A (zh) * | 2021-02-23 | 2021-06-01 | 无锡爱视智能科技有限责任公司 | 一种多模态分析的视频面试评估方法、装置和存储介质 |
CN112836691A (zh) * | 2021-03-31 | 2021-05-25 | 中国工商银行股份有限公司 | 智能面试方法及装置 |
CN113553470A (zh) * | 2021-06-29 | 2021-10-26 | 张仲元 | 一种动静态资料的匹配方法、计算机装置和可读存储介质 |
CN113807103B (zh) * | 2021-09-16 | 2024-04-09 | 陈雪刚 | 基于人工智能的招聘方法、装置、设备及存储介质 |
CN113821683B (zh) * | 2021-09-29 | 2024-05-10 | 北京五八赶集信息技术有限公司 | 面试结果的处理方法、装置、电子设备及可读介质 |
CN114238608B (zh) * | 2021-12-17 | 2023-03-24 | 北京斗米优聘科技发展有限公司 | 智能面试系统及方法 |
CN117216107B (zh) * | 2023-09-12 | 2024-09-13 | 北京国电通网络技术有限公司 | 人员信息存储方法、装置、电子设备和计算机可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101064103A (zh) * | 2006-04-24 | 2007-10-31 | 中国科学院自动化研究所 | 基于音节韵律约束关系的汉语语音合成方法及系统 |
CN105469065A (zh) * | 2015-12-07 | 2016-04-06 | 中国科学院自动化研究所 | 一种基于递归神经网络的离散情感识别方法 |
JP6480077B1 (ja) * | 2018-12-25 | 2019-03-06 | 株式会社ビデオマッチング | 人材マッチング装置、人材マッチング方法及び人材マッチングプログラム |
CN110135800A (zh) * | 2019-04-23 | 2019-08-16 | 南京葡萄诚信息科技有限公司 | 一种人工智能视频面试方法及系统 |
CN110633955A (zh) * | 2019-08-16 | 2019-12-31 | 北京网聘咨询有限公司 | 获得近距离面试的方法 |
CN110648104A (zh) * | 2019-08-01 | 2020-01-03 | 北京天麦有一网络科技有限公司 | 一种智能人力资源筛选系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150347954A1 (en) * | 2014-06-02 | 2015-12-03 | JungoLogic, Inc. | Matching system |
-
2020
- 2020-01-20 CN CN202010066457.8A patent/CN111275401B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101064103A (zh) * | 2006-04-24 | 2007-10-31 | 中国科学院自动化研究所 | 基于音节韵律约束关系的汉语语音合成方法及系统 |
CN105469065A (zh) * | 2015-12-07 | 2016-04-06 | 中国科学院自动化研究所 | 一种基于递归神经网络的离散情感识别方法 |
JP6480077B1 (ja) * | 2018-12-25 | 2019-03-06 | 株式会社ビデオマッチング | 人材マッチング装置、人材マッチング方法及び人材マッチングプログラム |
CN110135800A (zh) * | 2019-04-23 | 2019-08-16 | 南京葡萄诚信息科技有限公司 | 一种人工智能视频面试方法及系统 |
CN110648104A (zh) * | 2019-08-01 | 2020-01-03 | 北京天麦有一网络科技有限公司 | 一种智能人力资源筛选系统及方法 |
CN110633955A (zh) * | 2019-08-16 | 2019-12-31 | 北京网聘咨询有限公司 | 获得近距离面试的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111275401A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275401B (zh) | 一种基于位置关系的智能面试方法及系统 | |
CN111275085B (zh) | 基于注意力融合的在线短视频多模态情感识别方法 | |
CN110148318B (zh) | 一种数字助教系统、信息交互方法和信息处理方法 | |
CN109933664B (zh) | 一种基于情感词嵌入的细粒度情绪分析改进方法 | |
CN106663383B (zh) | 分析受试者的方法和系统 | |
CN113420807A (zh) | 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法 | |
CN111460132B (zh) | 一种基于图卷积神经网络的生成式会议摘要方法 | |
CN112989033B (zh) | 基于情绪类别描述的微博情绪分类方法 | |
CN115146975A (zh) | 基于深度学习的面向师-机-生教学成效评估方法和系统 | |
CN112687374A (zh) | 一种基于文本和图像信息联合计算的心理危机预警方法 | |
Chen et al. | Construction of affective education in mobile learning: The study based on learner’s interest and emotion recognition | |
Kondurkar et al. | Modern applications with a focus on training chatgpt and gpt models: Exploring generative ai and nlp | |
CN114416969A (zh) | 一种基于背景增强的lstm-cnn在线评论情感分类方法及系统 | |
Dixit et al. | A customizable framework for multimodal emotion recognition using ensemble of deep neural network models | |
Yuan | [Retracted] A Classroom Emotion Recognition Model Based on a Convolutional Neural Network Speech Emotion Algorithm | |
US20230252418A1 (en) | Apparatus for classifying candidates to postings and a method for its use | |
Song et al. | Inferring association between alcohol addiction and defendant's emotion based on sound at court | |
Kumar et al. | Machine learning technique-based emotion classification using speech signals | |
Ghadekar et al. | A Semantic Approach for Automated Hiring using Artificial Intelligence & Computer Vision | |
CN115146024A (zh) | 一种基于语义规则的蒙古语反向重构情感分布学习方法 | |
Ren | Construction of a thinking model for Literary Writing based on Deep Spatio-Temporal Residual Convolutional Neural Networks | |
Ahmed et al. | Multimodal Speech Emotion Recognition Using Deep Learning and the Impact of Data Balancing | |
Su et al. | Dialog State Tracking and action selection using deep learning mechanism for interview coaching | |
Iliev | Perspective Chapter: Emotion Detection Using Speech Analysis and Deep Learning | |
Cheng et al. | Automatic Scoring of Spoken Language Based on Basic Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |