CN114529244A - 基于hrd的面试数据处理方法和面试评估方法及装置 - Google Patents
基于hrd的面试数据处理方法和面试评估方法及装置 Download PDFInfo
- Publication number
- CN114529244A CN114529244A CN202011238312.8A CN202011238312A CN114529244A CN 114529244 A CN114529244 A CN 114529244A CN 202011238312 A CN202011238312 A CN 202011238312A CN 114529244 A CN114529244 A CN 114529244A
- Authority
- CN
- China
- Prior art keywords
- interview
- modality
- hrd
- candidate
- modalities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000013210 evaluation model Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012512 characterization method Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 42
- 239000002131 composite material Substances 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000007115 recruitment Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010197 meta-analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001609773 Campion Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
- G06Q10/1053—Employment or hiring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于人力资源总监(HRD)的面试数据处理方法和面试评估方法，用于对岗位的候选人表现进行评估。该面试数据处理方法包括获取HRD针对多个候选人的面试所作的标注数据，该标注数据包括每个候选人关于面试问题的多个表现模态的对应模态评估得分和每个候选人的面试综合评分；对该多个候选人的面试视频执行特征化处理以获得各候选人的该多个表现模态的模态特征；基于各候选人的该多个表现模态的模态特征和对应模态评估得分执行分类训练以获得关于该多个表现模态的多个模态评估模型；基于每一候选人的各项模态评估得分与该面试综合评分执行拟合以获得该多个表现模态之间的权重系数；以及基于该多个模态评估模型及其权重系数获得与该HRD相关联的HRD评估模型。
Description
技术领域
本发明涉及人力资源管理，尤其涉及基于HRD的面试数据处理方法和面试评估方法及装置。
背景技术
企业核心竞争力的较量，归根结底实质是人才的竞争。员工的招聘在企业的人力资源管理工作中是一项非常重要的基础性工作，是企业获取人才的主要渠道，在企业的发展中占有十分重要的地位，同时也会花费企业大量的人力物力成本。
大多数企业采用直觉式面试、交谈式面试，特质式面试或行为式面试。直觉式面试完全根据候选人的反应而随意提出面试问题，往往以面试官的第一感觉或个人喜好等十分主观化的东西作为评判标准。交谈式面主要试围绕工作经历和技能展开。面试问题取决于求职者做出的反应以及面试官对空缺职位的了解情况。以特质为基础的面试通过高度结构化的面试题目，对候选人的适应性，创造性等个人特质进行评估，很少涉及具体的与工作有关的技能。最后，行为面试法则针对候选人具体的工作经历提出开放性的，没有固定标准答案的面试问题，让候选人讲述具体事件，从而评估候选人与职位的匹配程度。该方法的特点在于高度结构化，且高度关注具体的工作。
这些传统面试方式存在着各种各样的缺陷。对于直觉式面试或交谈式面试这类传统的经验型面试来讲，通常都是以面试官的个人经验为基础，对面试官有较高的要求。面试官需要同时具备较扎实的人力资源管理理论和面试经验，当面试官资历较浅时，在招聘工作中就可能对应聘者做出错误评价。
特质式面试和行为式面试这类结构化面试，对测评维度、面试题目、评分标准等要求进行严格、规范性设计，在具体实施时，成本高，并且同样需要面试官接受很强的专业化训练。如果面试官对这些评估维度没有清晰的概念，以及没有清晰的区分等级标准，那么不同的面试者得出的结论还是不同的。比如某公司的面试评估维度力包含“礼仪形象”这一项。如果求职者穿着正式而且热情大方，有的面试官可能会觉得太做作，求职者不朴实，从而得出不好的评价；而有的面试官就会觉得对方职业化程度高，素养不错，给出较高的评价。然而大部门中小企业的HR不具备专业的人才测评知识和技术，导致筛选出的候选人在真正工作环境下表现不佳。
此外，面试实施过程中，面试官通常存在各种认知偏差(如：首因效应、近因效应、光环效应等)，这些偏差很可能会影响面试官的判断，从而降低面试质量。McDaniel等(1994)对245篇研究的元分析发现小组面试的预测效度为0.31,而单独面试的效度为0.22，也就是说，相较于单独面试，小组面试的结果能够更准确地预测候选人未来的工作绩效。值得注意的是，小组面试同样存在着弊端。另外一篇元分析在综合了120份面试研究结果之后发现，小组面试不仅不会提升面试的预测效度，反而会对效度造成负面的影响(Huffcutt&Woehr，1999)。可能原因在于：当候选人面对多位面试官时，候选人可能会在压力之下表现失常，从而影响面试官对于候选人的准确判断(Campion&Arvey,1989)。
最后，不论是线上/线下的是实时面试，还是线上的录播视频面试，都需要HR对每位候选人依次进行评估。如果一个职位需要面试100位候选人，即使HR花在每一位候选人身上的时间是30分钟，面试完所有候选人的时间将会是50小时，导致HR花费大量的时间在琐碎乏味的面试工作中。
因此，本领域亟需一种改进的面试评估方案。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
根据本发明的一方面，提供了一种基于HRD的面试数据处理方法，用于对岗位的候选人表现进行评估，该面试数据处理方法包括：
获取HRD针对多个候选人的面试所作的标注数据，该标注数据包括每个候选人关于面试问题的多个表现模态的对应模态评估得分和每个候选人的面试综合评分；
对该多个候选人的面试视频执行特征化处理以获得各候选人的该多个表现模态的模态特征；
基于各候选人的该多个表现模态的模态特征和对应模态评估得分执行分类训练以获得关于该多个表现模态的多个模态评估模型；
基于每一候选人的各项模态评估得分与该面试综合评分执行拟合以获得该多个表现模态之间的权重系数；以及
基于该多个模态评估模型及其权重系数获得与该HRD相关联的HRD评估模型。
根据本发明的另一方面，提供了一种基于HRD的面试评估方法，用于对岗位的候选人表现进行评估，该面试评估方法包括：
获取面试人员的面试视频；
对该面试人员的面试视频执行特征化处理以获得该面试人员关于面试问题的多个表现模态的模态特征；
利用HRD评估模型的多个模态评估模型对该面试人员的该多个表现模态的模态特征执行分类以获得该面试人员的各表现模态的模态评估得分；以及
利用该多个表现模态之间的该权重系数对该面试人员的各表现模态的模态评估得分执行加权求和以获得基于该HRD评估模型的面试综合评分。
根据本发明的另一方面，还提供了一种基于HRD的面试数据处理装置，包括处理器；以及耦接至该处理器的存储器，该处理器配置用于执行上述面试数据处理方法。
根据本发明的另一方面，还提供了一种基于HRD的面试评估装置，包括处理器；以及耦接至该处理器的存储器，该处理器配置用于执行上述面试评估方法。
根据本发明的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，该计算机可读指令在由处理器执行时，实施上述面试数据处理方法。
根据本发明的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，该计算机可读指令在由处理器执行时，实施上述面试评估方法。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1是示出了根据本发明的一方面的基于HRD的面试数据处理方法的流程图；
图2是示出了根据本发明的一方面的基于HRD的面试评估方法的流程图；
图3是示出了根据本发明的一方面的基于HRD的面试数据处理装置的框图；以及
图4是示出了根据本发明的一方面的基于HRD的面试评估装置的框图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
本发明提出了一种通过人工智能算法模拟HRD(人力资源总监)进行小组面试的方法和系统。根据本发明的一方面，可以通过人工智能算法(机器学习、深度学习算法)训练获得HRD自动评估模型，通过训练好的HRD自动评估模型，企业就能借助该HRD模型相关联的资深HRD的经验更精准的识别优质候选人，做出更明智的招聘决定。
图1是示出了根据本发明的一方面的基于HRD的面试数据处理方法100的流程图。该面试数据处理方法可应用于所希望借助其丰富人力资源经验的每一位特定HRD，由此获得该HRD关于某一岗位的HRD评估模型。
在面试数据处理方法100开始之前，首先需要获得该面试数据。该面试数据可以是针对某个岗位，事先获得的多位面试候选人关于一组面试题目的面试视频。即，每位面试候选人都针对该岗位的一组面试题目进行面试，并记录下每位候选人的面试视频。
如图1所示，该面试数据处理方法可包括以下步骤。
在步骤110，获取HRD针对多个候选人的面试所作的标注数据。
这里的标注数据可包括每个候选人关于面试问题的多个表现模态的对应模态评估得分和每个候选人的面试综合评分。
HRD可对每位候选人的面试表现进行评价，具体地，HRD可以通过每位候选人的面试视频对其进行评价，也可以通过在面试现场的方式对其进行评价。
这里的评价可包括对候选人关于面试问题的多个模态进行评价，从而得到对应每个表现模态的模态评估得分，以及对候选人的总体表现进行评价得到面试综合得分。在一实例中，模态评估得分和面试综合得分可以分类标签的形式给出，例如给出1～10范围内的某一个类别，以表征其得分高低。
在一实例中，表现模态可包括文本模态、表情模态、颜值模态、声音模态以及视频模态中的一者或多者。
文本模态可以表示候选人对于面试问题的回答内容的方面的表现。表情模态可以表示候选人在回答面试问题时的表情管理方面的表现。颜值模态可以表示候选人在回答面试问题时的形象面貌方面的表现。声音模态可以表示候选人在回答面试问题时的声音方面的表现。视频模态可以表示候选人在回答面试问题时的整体动态形象表现。
HRD可以对这些表现模态中的一种模态对候选人进行评价，以获得对应的模态评估得分。对于有一组多个面试试题的情形，HRD针对候选人在每一道面试试题的表现进行各表现模态的评价，由此获得每个候选人对应每道问题的各模态评估得分。
在评价中，HRD可以凭借其丰富的人力资源管理经验对候选人在各道面试题目的应答表现，从上述多个表现模态进行评价打分，同时也会综合该候选人的所有表现给出一个面试综合评分，例如针对某个表现模态或综合表现给出1～10范围内的某一个类别标签，或者直接给出优、中、劣等类别标签，等等。
在步骤120，可对多个候选人的面试视频执行特征化处理以获得各候选人的该多个表现模态的模态特征。
如上所述，表现模态可包括文本模态、表情模态、颜值模态、声音模态以及视频模态中的一者或多者。
对于文本模态，可从每个候选人的面试视频提取对面试问题的回答文本。在一实例中，可通过语音识别获得候选人关于面试问题的回答文本。然后，可采用基于神经网络的编码模型对面试问题的问题文本和回答文本执行编码处理以获得问题向量和文本向量作为该候选人对于该面试问题的文本模态的模态特征。
这里基于神经网络的编码模型可以包括CNN、RNN、Capsule Network、GraphNeural Network、LSTM、Bi-LSTM及GRU中一者或多者。
对于表情模态和颜值模态，可从候选人的面试视频提取图片帧序列，然后对每个图片帧执行人脸识别以提取人脸特征数据。对于多个面试题目的情形，这里的面试视频可以是针对每一面试题目的面试视频部分。
在一实例中，可对图像中人脸识别子区域进行检测，从而分割出人脸并去掉背景和无关区域，然后使用IntraFace对图像中的人脸进行标定，通过使用级联人脸关键特征点定位(SDM)，可准确预测49个关键点，这些关键点可作为人脸特征数据。
更优地，为了保证数据足够充分，可进一步采用旋转、翻转、缩放等图像增强操作。由于图像中不同光照强度和头部姿态对表情识别的效果影响巨大，还可使用INFace工具箱、FF-GAN、TP-GAN、DR-GAN方法进行归一化，再通过卷积操作来创建特征映射，将卷积核挨个与图像进行卷积，从而创建一组要素图，以作为表情模态和颜值模态这两者的模态特征。更优地，还可通过池化(pooling)操作对该组要素图进行池化以获得降维的要素图数据作为模态特征。
对于声音模态，可从候选人的面试视频执行声音特征提取以获得声音序列作为所述声音模态的模态特征。对于多个面试题目的情形，这里的面试视频可以是针对每一面试题目的面试视频部分。
在一实例中，可以采用语谱图、MFCC等声音特征提取方法中的任一者对候选人的声音序列进行表示。
对于视频模态，可对候选人的面试视频进行切片以获得视频片段序列。对于多个面试题目的情形，这里的面试视频可以是针对每一面试题目的面试视频部分。然后可采用基于神经网络的编码模型对该视频片段序列执行编码以获得视频表示向量作为该候选人的视频模态的模态特征。
以此方式可以获得多个候选人在针对每道面试问题的每个表现模态的模态评估得分数据。
在步骤130，基于各候选人的该多个表现模态的模态特征和对应模态评估得分执行分类训练以获得关于该多个表现模态的多个模态评估模型。
如上所述，表现模态可包括文本模态、表情模态、颜值模态、声音模态以及视频模态中的一者或多者。
针对每一表现模态，可利用深度学习算法或机器学习算法将每个候选人关于每道面试题目的模态特征作为训练输入，以及将对应的模态评估得分作为训练输出，以获得该表现模态的模态评估模型。
例如，对于文本模态，可以将每位候选人针对每道问题的问题向量和回答向量作为训练输入，以及将对应的文本模态评估得分作为训练输出，执行基于深度学习算法或机器学习算法的训练，以获得文本模态的模态评估模型。
对于表情模态和颜值模态，可将每位候选人针对每道问题的模态特征作为训练输入，以及将对应的模态评估得分，例如表情评估得分和颜值评估得分作为训练输出，执行基于深度学习算法或机器学习算法的训练，以获得表情模态和颜值模态的模态评估模型。
对于声音模态，可将每个候选人针对每道题的声音序列作为训练输入，以及将对应的声音模态评估得分作为训练输出，执行基于深度学习算法或机器学习算法的训练，以获得声音模态的模态评估模型。
对于视频模态，可将每个候选人针对每道题的视频表示向量作为训练输入，以及将对应的视频模态评估得分作为训练输出，执行基于深度学习算法或机器学习算法的训练，以获得视频模态的模态评估模型。
在步骤140，基于每一候选人的各项模态评估得分与面试综合评分执行拟合以获得多个表现模态之间的权重系数。
在一实例中，可通过线性拟合的方式对所有候选人的各项模态评估得分与面试综合评分执行拟合。例如假设一个候选人的表现模态Mi的模态评估得分是Score_Mi，假设该候选人的面试综合评分为Res，则
利用所有候选人的各个表现模态的模态评估得分和面试综合得分的数据可以线性拟合出ki，即各模态评估模型之间的权重系数。
在面试题目包括一组面试题目的情形中，每个候选人的模态评估得分Score_Mi可以是该候选人针对所有问题在该表现模态上的模态评估得分的平均。
在步骤150，基于这多个模态评估模型及其权重系数获得与该HRD相关联的HRD评估模型。
HRD评估模型即可由这多个模态评估模型及其权重系数构成。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
通过上述方法，可以针对多位HRD获得与这多位HRD相关联的多个HRD评估模型。特别地，在选择HRD时，可以选择具有不同HRD画像的HRD。HRD画像表征每个HRD判别HRD选拔人才的倾向，也可称之为HRD的“选才画像”。HRD的选才画像勾勒出了该HRD录取的候选人所具备的共同个性特质，即HRD倾向于录取什么类型的人才。特别地，HRD选才画像之间的差异体现在HRD对于每个胜任力维度的重视程度。
由此，通过选择不同HRD画像的HRD进行上述训练，可以获得多种不同选材倾向的HRD评估模型。
图2是示出了根据本发明的一方面的基于HRD的面试评估方法200的流程图。该面试评估方法200可通过对面试人员的面试视频进行处理以得到面试综合评分。如图2所示，面试评估方法200可包括以下步骤。
在步骤210，获取面试人员的面试视频。
在步骤220，可对面试人员的面试视频执行特征化处理以获得该面试人员关于面试问题的多个表现模态的模态特征。
在一实例中，表现模态可包括文本模态、表情模态、颜值模态、声音模态以及视频模态中的一者或多者。
对于文本模态，可从每个面试人员的面试视频提取对面试问题的回答文本。在一实例中，可通过语音识别获得面试人员关于面试问题的回答文本。然后，可采用基于神经网络的编码模型对面试问题的问题文本和回答文本执行编码处理以获得问题向量和文本向量作为该面试人员对于该面试问题的文本模态的模态特征。
这里基于神经网络的编码模型可以包括CNN、RNN、Capsule Network、GraphNeural Network、LSTM、Bi-LSTM及GRU中一者或多者。
对于表情模态和颜值模态，可从面试人员的面试视频提取图片帧序列，然后对每个图片帧执行人脸识别以提取人脸特征数据。对于多个面试题目的情形，这里的面试视频可以是针对每一面试题目的面试视频部分。
在一实例中，可对图像中人脸识别子区域进行检测，从而分割出人脸并去掉背景和无关区域，然后使用IntraFace对图像中的人脸进行标定，通过使用级联人脸关键特征点定位(SDM)，可准确预测49个关键点，这些关键点可作为人脸特征数据。
更优地，为了保证数据足够充分，可进一步采用旋转、翻转、缩放等图像增强操作。由于图像中不同光照强度和头部姿态对表情识别的效果影响巨大，还可使用INFace工具箱、FF-GAN、TP-GAN、DR-GAN方法进行归一化，再通过卷积操作来创建特征映射，将卷积核挨个与图像进行卷积，从而创建一组要素图，以作为表情模态和颜值模态这两者的模态特征。更优地，还可通过池化(pooling)操作对该组要素图进行池化以获得降维的要素图数据作为模态特征。
对于声音模态，可从面试人员的面试视频执行声音特征提取以获得声音序列作为所述声音模态的模态特征。对于多个面试题目的情形，这里的面试视频可以是针对每一面试题目的面试视频部分。
在一实例中，可以采用语谱图、MFCC等声音特征提取方法中的任一者对面试人员的声音序列进行表示。
对于视频模态，可对面试人员的面试视频进行切片以获得视频片段序列。对于多个面试题目的情形，这里的面试视频可以是针对每一面试题目的面试视频部分。然后可采用基于神经网络的编码模型对该视频片段序列执行编码以获得视频表示向量作为该面试人员的视频模态的模态特征。
在步骤230，可利用HRD评估模型的多个模态评估模型对面试人员的多个表现模态的模态特征执行分类以获得面试人员的各表现模态的模态评估得分。
HRD模型可以采用如上文结合图1描述的方法获得。以此方式可以获得多个面试人员在针对每道面试问题的每个表现模态的模态评估得分数据。
在步骤240，可利用多个表现模态之间的权重系数对面试人员的各表现模态的模态评估得分执行加权求和以获得基于该HRD评估模型的面试综合评分。
特别地是，这里的HRD评估模型可以是基于用人单位的需求选择的具有特定HRD画像的HRD评估模型。更优地，可以选择多个HRD评估模型对面试人员的面试视频进行上述评估以获得多个面试综合评分。然后，可对这多个HRD评估模型得到的多个面试综合评分进行整合，以获得最终的面试综合评分。
此外，由于行业或岗位性质的不同，即使是某一行业最为资深的HRD也很难对所有行业的所有职位详情了如指掌。为了尽可能提升HRD评估模型的准确度，根据本发明的方法可提供多个行业的HRD评估模型，最大程度提升每个模型的准确率。
在一实例中，这里的整个方式可以包括用户指定、平均、投票或权重求和等等。以平均方式整合为例，可以直接以这多个面试综合评分的平均值为最终的面试综合评分。以投票为例，以得票最多的面试综合评分为最终的面试综合评分。
综合评估结果可以避免个人偏见。因为HRD间的评判标准和策略存在个体差异，即使是面试同位候选人，最后的评估结果也较难保持一致。为了能够更准确地对候选人进行考察，有效地防止并克服面试中的个人偏见，以及增强面试结果的稳定性，可综合多位HRD评估模型的打分结果，并在此基础上判断候选人是否通过视频面试。
用人单位可以基于最终的面试综合评分来确定是否推荐该面试人员。总分一般包括2分制、3分制、5分制和10分制，以5分制为例，可将总分在[0,3)区间的映射为不推荐，总分在[3,5]区间的映射为推荐，从而根据面试人总分自动确认是否推荐候选人。
根据本发明的方案也大大提升了招聘效率。实现人工智能面试代替人工初次面试，利用AI将招聘人员从繁琐乏味的面试中解脱出来，帮助他们把更多精力投入招聘的其他工作上，同时大幅加速招聘流程。
本发明还提供了一种基于HRD的面试数据处理装置，如图3所示，包括处理器310和存储器320，处理器320可配置用于执行上述基于HRD的面试数据处理方法。
此外，本发明还提供了一种基于HRD的面试评估装置，如图4所示，包括处理器410和存储器420，处理器420可配置用于执行上述基于HRD的面试评估方法。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
Claims (20)
1.一种基于HRD的面试数据处理方法，用于对岗位的候选人表现进行评估，所述面试数据处理方法包括：
获取HRD针对多个候选人的面试所作的标注数据，所述标注数据包括每个候选人关于面试问题的多个表现模态的对应模态评估得分和每个候选人的面试综合评分；
对所述多个候选人的面试视频执行特征化处理以获得各候选人的所述多个表现模态的模态特征；
基于各候选人的所述多个表现模态的模态特征和对应模态评估得分执行分类训练以获得关于所述多个表现模态的多个模态评估模型；
基于每一候选人的各项模态评估得分与所述面试综合评分执行拟合以获得所述多个表现模态之间的权重系数；以及
基于所述多个模态评估模型及其权重系数获得与所述HRD相关联的HRD评估模型。
2.如权利要求1所述的面试数据处理方法，其特征在于，所述多个表现模态包括文本模态，所述对所述多个候选人的面试视频执行特征化处理以获得各候选人的所述多个表现模态的模态特征包括：
从每个候选人的面试视频提取对面试问题的回答文本；以及
采用基于神经网络的编码模型对所述面试问题的问题文本和回答文本执行编码处理以获得问题向量和回答向量作为所述文本模态的模态特征。
3.如权利要求1所述的面试数据处理方法，其特征在于，所述多个表现模态包括表情模态和/或颜值模态，所述对所述多个候选人的面试视频执行特征化处理以获得各候选人的所述多个表现模态的模态特征包括：
从每个候选人的面试视频提取图片帧序列；
对每个图片帧执行人脸识别以提取人脸特征数据；以及
对每个图片帧的人脸特征数据执行归一化和卷积操作以获得一组要素图作为所述表情模态和/或所述颜值模态的模态特征。
4.如权利要求1所述的面试数据处理方法，其特征在于，所述多个表现模态包括声音模态，所述对所述多个候选人的面试视频执行特征化处理以获得各候选人的所述多个表现模态的模态特征包括：
从每个候选人的面试视频执行声音特征提取以获得声音序列作为所述声音模态的模态特征。
5.如权利要求1所述的面试数据处理方法，其特征在于，所述多个表现模态包括视频模态，所述对所述多个候选人的面试视频执行特征化处理以获得各候选人的所述多个表现模态的模态特征包括：
对每个候选人的面试视频进行切片以获得视频片段序列；以及
采用基于神经网络的编码模型对所述视频片段序列执行编码以获得视频表示向量作为所述视频模态的模态特征。
6.如权利要求1所述的面试数据处理方法，其特征在于，所述面试视频中包括一组面试问题，每个候选者的所述多个表现模态的模态特征和评估得分对应于每个面试问题。
7.如权利要求6所述的面试数据处理方法，其特征在于，所述基于每一候选人的各项模态评估得分与所述面试综合评分执行拟合包括：
确定每一候选人的每个表现模态在所述一组面试问题上的平均模态评估得分；以及
基于每个候选人的各表现模态的平均模态评估得分与该候选人的面试综合评分执行线性拟合以获得所述权重系数。
8.如权利要求1所述的面试数据处理方法，其特征在于，所述模态评估得分和所述面试综合评分以分类标签的形式进行表征。
9.一种基于HRD的面试评估方法，用于对岗位的候选人表现进行评估，所述面试评估方法包括：
获取面试人员的面试视频；
对所述面试人员的面试视频执行特征化处理以获得所述面试人员关于面试问题的多个表现模态的模态特征；
利用HRD评估模型的多个模态评估模型对所述面试人员的所述多个表现模态的模态特征执行分类以获得所述面试人员的各表现模态的模态评估得分；以及
利用所述多个表现模态之间的所述权重系数对所述面试人员的各表现模态的模态评估得分执行加权求和以获得基于所述HRD评估模型的面试综合评分。
10.如权利要求9所述的面试评估方法，其特征在于，所述HRD评估模型的多个模态评估模型是基于多个候选人关于所述面试问题的所述多个表现模态的模态特征和相关联HRD所标注的对应模态评估得分执行分类训练训练得到的，以及
所述权重系数是基于每一候选人的各项模态评估得分与相关联HRD所标注的面试综合评分执行拟合得到的。
11.如权利要求9所述的面试评估方法，其特征在于，所述多个表现模态包括文本模态，所述对所述面试人员的面试视频执行特征化处理以获得所述面试人员关于所述面试问题的多个表现模态的模态特征包括：
从所述面试人员的面试视频提取对所述面试问题的回答文本；以及
采用基于神经网络的编码模型对所述面试问题的问题文本和回答文本执行编码处理以获得问题向量和回答向量作为所述文本模态的模态特征。
12.如权利要求9所述的面试评估方法，其特征在于，所述多个表现模态包括表情模态和/或颜值模态，所述对所述面试人员的面试视频执行特征化处理以获得所述面试人员关于所述面试问题的多个表现模态的模态特征包括：
从所述面试人员的面试视频提取图片帧序列；
对每个图片帧执行人脸识别以提取人脸特征数据；以及
对每个图片帧的人脸特征数据执行归一化和卷积操作以获得一组要素图作为所述表情模态和/或所述颜值模态的模态特征。
13.如权利要求9所述的面试评估方法，其特征在于，所述多个表现模态包括声音模态，所述对所述面试人员的面试视频执行特征化处理以获得所述面试人员关于所述面试问题的多个表现模态的模态特征包括：
从所述面试人员的面试视频执行声音特征提取以获得声音序列作为所述声音模态的模态特征。
14.如权利要求9所述的面试评估方法，其特征在于，所述多个表现模态包括视频模态，所述对所述面试人员的面试视频执行特征化处理以获得所述面试人员关于所述面试问题的多个表现模态的模态特征包括：
对所述面试人员的面试视频进行切片以获得视频片段序列；以及
采用基于神经网络的编码模型对所述视频片段序列执行编码以获得视频表示向量作为所述视频模态的模态特征。
15.如权利要求9所述的面试评估方法，其特征在于，所述模态评估得分和所述面试综合评分以分类标签的形式进行表征。
16.如权利要求9所述的面试评估方法，其特征在于，所述HRD模型包括关联于多个HRD的多个HRD模型，其中每个HRD模型关联于具有不同HRD画像的HRD，所述面试评估方法包括：
利用多个HRD模型和所述面试人员的各模态特征获得关联于所述多个HRD模型的面试综合评分；以及
对关联于所述多个HRD模型的面试综合评分执行整合以获得最终面试综合评分。
17.一种基于HRD的面试数据处理装置，包括：
处理器；以及
耦接至所述处理器的存储器，所述处理器配置用于执行如权利要求1-8中任一项所述的方法。
18.一种基于HRD的面试评估装置，包括：
处理器；以及
耦接至所述处理器的存储器，所述处理器配置用于执行如权利要求9-16中任一项所述的方法。
19.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令在由处理器执行时，实施如权利要求1-8中任一项所述的方法。
20.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令在由处理器执行时，实施如权利要求9-16中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238312.8A CN114529244A (zh) | 2020-11-09 | 2020-11-09 | 基于hrd的面试数据处理方法和面试评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238312.8A CN114529244A (zh) | 2020-11-09 | 2020-11-09 | 基于hrd的面试数据处理方法和面试评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114529244A true CN114529244A (zh) | 2022-05-24 |
Family
ID=81619636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011238312.8A Pending CN114529244A (zh) | 2020-11-09 | 2020-11-09 | 基于hrd的面试数据处理方法和面试评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529244A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115495418A (zh) * | 2022-10-11 | 2022-12-20 | 英仕互联(北京)信息技术有限公司 | 一种视频面试信息的数据处理方法、装置和电子设备 |
-
2020
- 2020-11-09 CN CN202011238312.8A patent/CN114529244A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115495418A (zh) * | 2022-10-11 | 2022-12-20 | 英仕互联(北京)信息技术有限公司 | 一种视频面试信息的数据处理方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10685329B2 (en) | Model-driven evaluator bias detection | |
| CN107680019B (zh) | 一种考试方案的实现方法、装置、设备及存储介质 | |
| Naim et al. | Automated analysis and prediction of job interview performance | |
| US10607188B2 (en) | Systems and methods for assessing structured interview responses | |
| CN112346567B (zh) | 基于ai的虚拟交互模型生成方法、装置及计算机设备 | |
| US20150242707A1 (en) | Method and system for predicting personality traits, capabilities and suggested interactions from images of a person | |
| US20110055098A1 (en) | Automated employment information exchange and method for employment compatibility verification | |
| CN111833010A (zh) | 一种智能面试方法、系统、设备和存储介质 | |
| JP2019519021A (ja) | パフォーマンスモデル悪影響補正 | |
| US11521149B2 (en) | Generating sentiment metrics using emoji selections | |
| JP2018045350A (ja) | 所定対象のうちの特定対象における状態を識別する装置、プログラム及び方法 | |
| CN112836691A (zh) | 智能面试方法及装置 | |
| US20210125149A1 (en) | Adaptability job vacancies matching system and method | |
| US20200105156A1 (en) | Adaptive interview preparation for candidates | |
| CN112418779A (zh) | 一种基于自然语言理解的在线自助面试方法 | |
| CN112101231A (zh) | 学习行为的监控方法、终端、小程序以及服务器 | |
| KR102196167B1 (ko) | 사회 지능 평가 방법 및 이를 위한 장치 | |
| CN113255843B (zh) | 演讲稿测评方法及设备 | |
| CN114529244A (zh) | 基于hrd的面试数据处理方法和面试评估方法及装置 | |
| Malik et al. | When Does Beauty Pay? A Large-Scale Image-Based Appearance Analysis on Career Transitions | |
| KR20200092460A (ko) | 기계학습을 이용한 면접준비 서비스를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 | |
| AU2017393949A1 (en) | System and method for determining rank | |
| CN116261009B (zh) | 智能转化影视受众的视频检测方法、装置、设备及介质 | |
| CN114330943A (zh) | 一种面试辅助方法及装置 | |
| Kanchana et al. | Analysis of social media images to predict user personality assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240508 Address after: Room 602, block a, No. 418, Guiping Road, Xuhui District, Shanghai 200030 Applicant after: Shanghai Jinyu Intelligent Technology Co.,Ltd. Country or region after: China Address before: 214000 705-10, floor 7, No. 22, dongbeitang east section, Xigang Road, Xishan District, Wuxi City, Jiangsu Province Applicant before: Wuxi Jinyu Intelligent Technology Co.,Ltd. Country or region before: China |