CN116091014A - 一种基于多模态识别的人力资源面试系统 - Google Patents
一种基于多模态识别的人力资源面试系统 Download PDFInfo
- Publication number
- CN116091014A CN116091014A CN202310208546.5A CN202310208546A CN116091014A CN 116091014 A CN116091014 A CN 116091014A CN 202310208546 A CN202310208546 A CN 202310208546A CN 116091014 A CN116091014 A CN 116091014A
- Authority
- CN
- China
- Prior art keywords
- interview
- job seeker
- job
- unit
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012216 screening Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 13
- 230000008921 facial expression Effects 0.000 claims description 46
- 230000008451 emotion Effects 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 25
- 230000002996 emotional effect Effects 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 claims description 18
- 238000011161 development Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000007115 recruitment Effects 0.000 abstract description 10
- 238000001303 quality assessment method Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
- G06Q10/1053—Employment or hiring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Game Theory and Decision Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多模态识别的人力资源面试系统，该系统包括：在线登陆单元、智能筛选单元、在线面试单元、能力评估单元及录用单元；其中，在线登陆单元用于求职者通过移动终端登陆企业人力资源面试系统；智能筛选单元用于对求职者的简历进行初步筛选；在线面试单元用于对求职者进行专业能力的考察；能力评估单元用于对求职者表现进行综合评估；录用单元用于基于综合评估决定求职者是否录用。本发明通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，还减轻了人力资源管理部门对求职者招聘的工作量，使得该人力资源面试系统具有较强的实用性。
Description
技术领域
本发明涉及人力资源领域，具体来说，涉及一种基于多模态识别的人力资源面试系统。
背景技术
求职面试在大多数企业中起着关键的作用，它能够帮助求职者选择合适的就业机会；为了让企业更好地利用求职者的面试信息，在招聘有前途或者有能力的求职者时做出更合理的决定，必须采用更稳健和更可靠的方法对求职者的潜力进行评级；从求职者的角度出发，能够用一个能够估计他们真正潜力的统一标准来评估他们的潜力，这将使求职者不会错过可能的就业机会。
面试是求职者在找工作过程中不可或缺的一个环节，面试给企业和求职者双向交流的机会，是企业和求职者之间相互了解的重要途径，随着人工智能技术的快速发展，大数据分析与处理的方式也在发生相应的变化，企业人才招聘可以充分利用这一科技发展趋势，将传统的人与人、面对面的招聘面试形式逐渐转化为通过人机交互完成人才初选的智能招聘形式。
然而，现有技术中的人力资源面试系统通过多模态识别的方式来对求职者在面试过程中的面部表情及语音进行分析，来判断处求职者在面试过程中的情绪状态，但是，现有技术中不能很好的根据求职者在面试过程中的情绪状态进行求职者的能力判断，往往通过人工的方式进行判断分析，该方法存在判断不准确的情况，无法做出精准的判断，存在一定的局限性。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于多模态识别的人力资源面试系统，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于多模态识别的人力资源面试系统，该系统包括：在线登陆单元、智能筛选单元、在线面试单元、能力评估单元及录用单元；
其中，所述在线登陆单元，用于求职者通过移动终端登陆企业人力资源面试系统；
所述智能筛选单元，用于对求职者的简历进行初步筛选；
所述在线面试单元，用于对求职者进行专业能力的考察；
所述能力评估单元，用于对求职者表现进行综合评估；
所述录用单元，用于基于所述综合评估决定求职者是否录用。
进一步的，所述对求职者的简历进行初步筛选包括以下步骤：
S21、以企业发展为基础建立用人岗位人才选用标准，创建与企业发展相对应的岗位人才素质模型；
S22、根据用人岗位人才选用标准创建同一格式的电子简历模板并通过网络进行发布；
S23、求职者通过电子简历模板填写个人信息；
S24、以企业内优秀员工的简历为样本进行BP神经网络训练；
S25、基于BP神经网络对求职者的简历进行最优简历的筛选；
S26、根据筛选的最优简历获取对应的求职者信息，并对求职者发送面试通知。
进一步的，所述在线面试单元包括智能面试模块及场景面试模块；
其中，智能面试模块，用于通过智能机器人对求职者进行在线交流；
场景面试模块，用于通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务。
进一步的，所述通过智能机器人对求职者进行在线交流包括以下步骤：
S3011、选取预设的面试交流语音为样本并基于BP神经网络对智能机器人进行训练；
S3012、训练后的智能机器人根据求职者的简历信息对求职者进行提问，并得到详细的求职者信息；
S3013、求职者通过语音的方式对智能机器人进行提问；
S3014、智能机器人对求职者提出的问题进行文本信息处理，去除冗余信息，并对文本信息进行自然语音解析和文字分切，将文本信息分割为词组并为其分配权重；
S3015、基于综合权重均衡算法从预设的知识库中提取处最优答案的文本信息；
S3016、智能机器人根据提取的文本信息组织回答语句向求职者提出的问题进行反馈。
进一步的，所述通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务包括以下步骤：
S3021、根据企业内部的岗位情况，制定与岗位所对应的工作技能及专业知识问题相关的面试情景；
S3022、基于制定的面试情景模拟出与企业内部岗位情况相对应的虚拟场景；
S3023、通过虚拟设备为求职者提供与求职岗位日常贴近的虚拟场景，求职者可以在模拟处理的虚拟场景中展现自我能力，完成虚拟出来日常工作流程以及随机出现的问题。
进一步的，所述能力评估单元包括数据采集模块、数据处理模块及能力评估模块；
其中，所述采集模块，用于采集求职者在面试过程中面部表情图像和音频数据；
所述数据处理模块，用于对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态；
所述能力评估模块，用于基于求职者的情绪状态对求职者的综合能力进行评估。
进一步的，所述对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态包括以下步骤：
S4021、对采集的面部表情图像进行灰度化处理，降低图像的维度，对采集的音频数据进行噪声去除处理；
S4022、对处理后的面部表情图像及音频数据进行归一化处理；
S4023、采用主成分分析法对面部表情图像及音频数据进行面部表情特征提取及语音特征提取；
S4024、将提取的面部表情特征及语音特征输入至预设的支持向量机SVM分类器和线性回归模型中，并对求职者面部表情的情绪程度进行分析，得到求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果；
S4025、基于求和规则和求积规则对求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，将得出的融合结果中概率值最高的情绪状态确定为求职者当前的情感状态识别结果。
进一步的，所述求和规则的计算公式为：
；
所述求和积规则的计算公式为：
；
其中，表示融合面部表情情绪状态识别结果和音频情绪状态识别结果后的识别结果；
分别表示面部表情情绪状态识别结果和音频情绪状态识别结果的权重；
表示面部表情情绪状态的识别结果；
表示音频情绪状态识别结果；
表示第j中情绪状态。
进一步的，所述基于求职者的情绪状态对求职者的综合能力进行评估的计算公式为：
；
其中，表示当前第i次求职者面试状态的评分；
表示当前第i次求职者互动行为加分的评分；
n表示对求职者面试的评估次数；
表示求职者第i次面试状态评分所占总面试评分的百分比；
X表示求职者面试的综合评分结果。
进一步的，所述基于所述综合评估决定求职者是否录用包括将求职者面试的综合评分结果提交给人力资源部门和用人岗位所在部门的决策者，由二者共同决定是否录用。
本发明的有益效果为：
1、本发明通过将人工智能技术、数据分析技术及虚拟场景技术进行融合，并通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，不仅加快了企业对求职者的招聘流程，还减轻了人力资源管理部门对求职者招聘的工作量，进而提高了企业的发展，使得该人力资源面试系统具有较强的实用性。
2、本发明基于对求职者的面部表情及音频数据的多模态情绪进行识别判断，通过对采集的面部表情图像进行灰度化处理，降低图像的维度以及对音频数据进行噪声去除处理，从而能够保证采集数据的准确性，为后续对求职者情绪状态判断的准确性提供保障，同时，通过对面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，进而能够使得融合后的识别率更好，更能反应求职者在面试过程中的状态。
3、本发明通过对求职者的情绪状态对求职者的综合能力进行评估，从而能够让企业人力资管理部门的决策者能够更加直观且清晰的了解求职者在面试过程中的综合应对能力，有利于企业招聘到能力较强的且更实时应聘岗位的员工。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于多模态识别的人力资源面试系统的原理框图。
图中：
1、在线登陆单元；2、智能筛选单元；3、在线面试单元；301、智能面试模块；302、场景面试模块；4、能力评估单元；401、数据采集模块；402、数据处理模块；403、能力评估模块；5、录用单元。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
根据本发明的实施例，提供了一种基于多模态识别的人力资源面试系统。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于多模态识别的人力资源面试系统，该系统包括：在线登陆单元1、智能筛选单元2、在线面试单元3、能力评估单元4及录用单元5；
其中，所述在线登陆单元1，用于求职者通过移动终端登陆企业人力资源面试系统；
具体的，移动终端包括移动手机、PC平板、笔记本电脑等；
所述智能筛选单元2，用于对求职者的简历进行初步筛选；
其中，所述对求职者的简历进行初步筛选包括以下步骤：
S21、以企业发展为基础建立用人岗位人才选用标准，创建与企业发展相对应的岗位人才素质模型；
具体的，人力资源管理部门以企业发展的战略规划提出人才素质层次整体需求为基础建立人才选用标准，从而创建与企业发展相对应的岗位胜任性素质模型，素质模型包括基本素质、能力素质、知识技能、品行动机及人格特征等；
S22、根据用人岗位人才选用标准创建同一格式的电子简历模板并通过网络进行发布；
具体的，简历中待求职者填写的项求职者姓名、性别、年龄、联系方式以及教育背景、工作经历等基本信息；
S23、求职者通过电子简历模板填写个人信息；
S24、以企业内优秀员工的简历为样本进行BP神经网络训练；
具体的，BP神经网络算法的主要原理如下：首先输入训练样本，将样本数据正向传递，计算经过多个神经元处理后的网络的最终输出，然后求出预测值和输出值之间的均方差；判定误差函数的值是否达到设定阈值，若没有达到则将误差反向传递，利用梯度下降法对网络的权值和偏置进行更新，如此循环训练，若输出值和预测值的平方差小于给定阈值时，保存此时训练所得到所有参数，网络训练结束。
S25、基于BP神经网络对求职者的简历进行最优简历的筛选；
S26、根据筛选的最优简历获取对应的求职者信息，并对求职者发送面试通知。
所述在线面试单元3，用于对求职者进行专业能力的考察；
其中，所述在线面试单元3包括智能面试模块301及场景面试模块302；
其中，智能面试模块301，用于通过智能机器人对求职者进行在线交流；
具体的，所述通过智能机器人对求职者进行在线交流包括以下步骤：
S3011、选取预设的面试交流语音为样本并基于BP神经网络对智能机器人进行训练；
S3012、训练后的智能机器人根据求职者的简历信息对求职者进行提问，并得到详细的求职者信息；
具体的，智能机器人系统中载有人工招聘过程中经常被提出的问题，智能机器人能够向求职者提出问题并记录其给出的答案，提问的过程是高效的，只就与岗位有关的信息进行提问，对于求职者的专业能力考察，会根据求职者对当前问题的应答情况动态选择下一个问题，进而以最少的提问量获取尽可能多的信息。
S3013、求职者通过语音的方式对智能机器人进行提问；
S3014、智能机器人对求职者提出的问题进行文本信息处理，去除冗余信息，并对文本信息进行自然语音解析和文字分切，将文本信息分割为词组并为其分配权重；
S3015、基于综合权重均衡算法从预设的知识库中提取处最优答案的文本信息；
S3016、智能机器人根据提取的文本信息组织回答语句向求职者提出的问题进行反馈。
场景面试模块302，用于通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务。
具体的，所述通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务包括以下步骤：
S3021、根据企业内部的岗位情况，制定与岗位所对应的工作技能及专业知识问题相关的面试情景；
S3022、基于制定的面试情景模拟出与企业内部岗位情况相对应的虚拟场景；
S3023、通过虚拟设备为求职者提供与求职岗位日常贴近的虚拟场景，求职者可以在模拟处理的虚拟场景中展现自我能力，完成虚拟出来日常工作流程以及随机出现的问题。
具体的，通过虚拟场景技术能够为求职者提供一个与岗位日常工作实际十分贴近的虚拟场景，从而使人力资源管理部门直观地了解求职者的专业技能水平和临时应变能力；通过虚拟设备向求职者显示一个虚拟的任务场景，求职者在该场景中进行虚拟操作、解决随机出现的问题以完成设定的任务，系统对整个过程的影像进行记录并基于大数据分析对求职者的实际操作能力水平进行评定。
具体的，通过将人工智能技术、数据分析技术及虚拟场景技术进行融合，并通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，不仅加快了企业对求职者的招聘流程，还减轻了人力资源管理部门对求职者招聘的工作量，进而提高了企业的发展。
所述能力评估单元4，用于对求职者表现进行综合评估；
具体的，所述能力评估单元4包括数据采集模块401、数据处理模块402及能力评估模块403；
其中，所述采集模块401，用于采集求职者在面试过程中面部表情图像和音频数据；
具体的，可通过摄像测量技术对求职者在面试过程中的面部表情图像进行收集；可通过录音设备对求职者在面试过程中音频数据进行收集；
所述数据处理模块402，用于对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态；
具体的，基本面部表情主要分为高兴、悲伤、恐惧、愤怒、厌恶、惊讶和中性7种基本表情。
具体的，所述对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态包括以下步骤：
S4021、对采集的面部表情图像进行灰度化处理，降低图像的维度，对采集的音频数据进行噪声去除处理；
具体的，通过对采集的面部表情图像进行灰度化处理，降低图像的维度以及对音频数据进行噪声去除处理，从而能够保证采集数据的准确性，为后续对求职者情绪状态判断的准确性提供保障。
S4022、对处理后的面部表情图像及音频数据进行归一化处理；
S4023、采用主成分分析法对面部表情图像及音频数据进行面部表情特征提取及语音特征提取；
具体的，主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到的结果更加科学有效的数据信息。
S4024、将提取的面部表情特征及语音特征输入至预设的支持向量机SVM分类器和线性回归模型中，并对求职者面部表情的情绪程度进行分析，得到求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果；
S4025、基于求和规则和求积规则对求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，将得出的融合结果中概率值最高的情绪状态确定为求职者当前的情感状态识别结果；
具体的，所述求和规则的计算公式为：
；
所述求和积规则的计算公式为：
；
其中，表示融合面部表情情绪状态识别结果和音频情绪状态识别结果后的识别结果；
分别表示面部表情情绪状态识别结果和音频情绪状态识别结果的权重；
表示面部表情情绪状态的识别结果；
表示音频情绪状态识别结果；
表示第j中情绪状态。
所述能力评估模块403，用于基于求职者的情绪状态对求职者的综合能力进行评估。
其中，所述基于求职者的情绪状态对求职者的综合能力进行评估的计算公式为：
；
其中，表示当前第i次求职者面试状态的评分；
表示当前第i次求职者互动行为加分的评分；
n表示对求职者面试的评估次数；
表示求职者第i次面试状态评分所占总面试评分的百分比；
X表示求职者面试的综合评分结果。
所述录用单元5，用于基于所述综合评估决定求职者是否录用。
其中，所述基于所述综合评估决定求职者是否录用包括将求职者面试的综合评分结果提交给人力资源部门和用人岗位所在部门的决策者，由二者共同决定是否录用。
综上所述，借助于本发明的上述技术方案，发明的有益效果为：本发明通过将人工智能技术、数据分析技术及虚拟场景技术进行融合，并通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，不仅加快了企业对求职者的招聘流程，还减轻了人力资源管理部门对求职者招聘的工作量，进而提高了企业的发展，使得该人力资源面试系统具有较强的实用性；本发明基于对求职者的面部表情及音频数据的多模态情绪进行识别判断，通过对采集的面部表情图像进行灰度化处理，降低图像的维度以及对音频数据进行噪声去除处理，从而能够保证采集数据的准确性，为后续对求职者情绪状态判断的准确性提供保障，同时，通过对面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，进而能够使得融合后的识别率更好，更能反应求职者在面试过程中的状态；本发明通过对求职者的情绪状态对求职者的综合能力进行评估，从而能够让企业人力资管理部门的决策者能够更加直观且清晰的了解求职者在面试过程中的综合应对能力，有利于企业招聘到能力较强的且更实时应聘岗位的员工。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多模态识别的人力资源面试系统，其特征在于，该系统包括：在线登陆单元、智能筛选单元、在线面试单元、能力评估单元及录用单元；
其中，所述在线登陆单元，用于求职者通过移动终端登陆企业人力资源面试系统；
所述智能筛选单元，用于对求职者的简历进行初步筛选；
所述在线面试单元，用于对求职者进行专业能力的考察；
所述能力评估单元，用于对求职者表现进行综合评估；
所述录用单元，用于基于所述综合评估决定求职者是否录用；
所述能力评估单元包括数据采集模块、数据处理模块及能力评估模块；
所述采集模块，用于采集求职者在面试过程中面部表情图像和音频数据；
所述数据处理模块，用于对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态；
所述能力评估模块，用于基于求职者的情绪状态对求职者的综合能力进行评估；
所述对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态包括以下步骤：
S4021、对采集的面部表情图像进行灰度化处理，降低图像的维度，对采集的音频数据进行噪声去除处理；
S4022、对处理后的面部表情图像及音频数据进行归一化处理；
S4023、采用主成分分析法对面部表情图像及音频数据进行面部表情特征提取及语音特征提取；
S4024、将提取的面部表情特征及语音特征输入至预设的支持向量机SVM分类器和线性回归模型中，并对求职者面部表情的情绪程度进行分析，得到求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果；
S4025、基于求和规则和求积规则对求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，将得出的融合结果中概率值最高的情绪状态确定为求职者当前的情感状态识别结果。
2.根据权利要求1所述的一种基于多模态识别的人力资源面试系统，其特征在于，所述对求职者的简历进行初步筛选包括以下步骤：
S21、以企业发展为基础建立用人岗位人才选用标准，创建与企业发展相对应的岗位人才素质模型；
S22、根据用人岗位人才选用标准创建同一格式的电子简历模板并通过网络进行发布；
S23、求职者通过电子简历模板填写个人信息；
S24、以企业内优秀员工的简历为样本进行BP神经网络训练；
S25、基于BP神经网络对求职者的简历进行最优简历的筛选；
S26、根据筛选的最优简历获取对应的求职者信息，并对求职者发送面试通知。
3.根据权利要求1所述的一种基于多模态识别的人力资源面试系统，其特征在于，所述在线面试单元包括智能面试模块及场景面试模块；
其中，智能面试模块，用于通过智能机器人对求职者进行在线交流；
场景面试模块，用于通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务。
4.根据权利要求3所述的一种基于多模态识别的人力资源面试系统，其特征在于，所述通过智能机器人对求职者进行在线交流包括以下步骤：
S3011、选取预设的面试交流语音为样本并基于BP神经网络对智能机器人进行训练；
S3012、训练后的智能机器人根据求职者的简历信息对求职者进行提问，并得到详细的求职者信息；
S3013、求职者通过语音的方式对智能机器人进行提问；
S3014、智能机器人对求职者提出的问题进行文本信息处理，去除冗余信息，并对文本信息进行自然语音解析和文字分切，将文本信息分割为词组并为其分配权重；
S3015、基于综合权重均衡算法从预设的知识库中提取处最优答案的文本信息；
S3016、智能机器人根据提取的文本信息组织回答语句向求职者提出的问题进行反馈。
5.根据权利要求3所述的一种基于多模态识别的人力资源面试系统，其特征在于，所述通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务包括以下步骤：
S3021、根据企业内部的岗位情况，制定与岗位所对应的工作技能及专业知识问题相关的面试情景；
S3022、基于制定的面试情景模拟出与企业内部岗位情况相对应的虚拟场景；
S3023、通过虚拟设备为求职者提供与求职岗位日常贴近的虚拟场景，求职者可以在模拟处理的虚拟场景中展现自我能力，完成虚拟出来日常工作流程以及随机出现的问题。
6.根据权利要求1述的一种基于多模态识别的人力资源面试系统，其特征在于，所述求和规则的计算公式为：
；
所述求和积规则的计算公式为：
；
其中，表示融合面部表情情绪状态识别结果和音频情绪状态识别结果后的识别结果；
分别表示面部表情情绪状态识别结果和音频情绪状态识别结果的权重；
表示面部表情情绪状态的识别结果；
表示音频情绪状态识别结果；
表示第j中情绪状态。
7.根据权利要求6所述的一种基于多模态识别的人力资源面试系统，其特征在于，所述基于求职者的情绪状态对求职者的综合能力进行评估的计算公式为：
；
其中，表示当前第i次求职者面试状态的评分；
表示当前第i次求职者互动行为加分的评分；
n表示对求职者面试的评估次数；
表示求职者第i次面试状态评分所占总面试评分的百分比；
X表示求职者面试的综合评分结果。
8.根据权利要求1所述的一种基于多模态识别的人力资源面试系统，其特征在于，所述基于所述综合评估决定求职者是否录用包括将求职者面试的综合评分结果提交给人力资源部门和用人岗位所在部门的决策者，由二者共同决定是否录用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310208546.5A CN116091014B (zh) | 2023-03-07 | 2023-03-07 | 一种基于多模态识别的人力资源面试系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310208546.5A CN116091014B (zh) | 2023-03-07 | 2023-03-07 | 一种基于多模态识别的人力资源面试系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091014A true CN116091014A (zh) | 2023-05-09 |
| CN116091014B CN116091014B (zh) | 2023-08-25 |
Family
ID=86212190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310208546.5A Active CN116091014B (zh) | 2023-03-07 | 2023-03-07 | 一种基于多模态识别的人力资源面试系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091014B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117114475A (zh) * | 2023-08-21 | 2023-11-24 | 广州红海云计算股份有限公司 | 基于多维度人才评估策略的综合能力测评系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408257A (zh) * | 2016-09-18 | 2017-02-15 | 长沙军鸽软件有限公司 | 一种机器人实现智能招聘的方法 |
| WO2019004971A2 (en) * | 2017-04-14 | 2019-01-03 | T.C. Istanbul Medipol Universitesi | SYSTEM PROVIDING HIRE MAINTENANCE EXPERIENCE TO USERS |
| CN109492854A (zh) * | 2018-09-17 | 2019-03-19 | 平安科技（深圳）有限公司 | 智能机器人面试的方法、装置、计算机设备和存储介质 |
| CN110162599A (zh) * | 2019-04-15 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 招聘面试方法、装置及计算机可读存储介质 |
| CN111144853A (zh) * | 2020-01-16 | 2020-05-12 | 南京思特齐科技有限公司 | 一种基于多模态识别的人力资源用面试系统 |
| CN113435841A (zh) * | 2021-06-24 | 2021-09-24 | 浙江工贸职业技术学院 | 一种基于大数据的人才智能匹配招聘系统 |
| CN114048974A (zh) * | 2021-10-28 | 2022-02-15 | 山东心法科技有限公司 | 基于多场景模拟的人工智能人才测评方法、设备及介质 |
| KR102420840B1 (ko) * | 2022-02-04 | 2022-07-18 | 크로스잡 주식회사 | 메타버스 서비스에 기반한 구인구직 플랫폼을 제공하는 방법 및 장치 |
-
2023
- 2023-03-07 CN CN202310208546.5A patent/CN116091014B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408257A (zh) * | 2016-09-18 | 2017-02-15 | 长沙军鸽软件有限公司 | 一种机器人实现智能招聘的方法 |
| WO2019004971A2 (en) * | 2017-04-14 | 2019-01-03 | T.C. Istanbul Medipol Universitesi | SYSTEM PROVIDING HIRE MAINTENANCE EXPERIENCE TO USERS |
| CN109492854A (zh) * | 2018-09-17 | 2019-03-19 | 平安科技（深圳）有限公司 | 智能机器人面试的方法、装置、计算机设备和存储介质 |
| CN110162599A (zh) * | 2019-04-15 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 招聘面试方法、装置及计算机可读存储介质 |
| CN111144853A (zh) * | 2020-01-16 | 2020-05-12 | 南京思特齐科技有限公司 | 一种基于多模态识别的人力资源用面试系统 |
| CN113435841A (zh) * | 2021-06-24 | 2021-09-24 | 浙江工贸职业技术学院 | 一种基于大数据的人才智能匹配招聘系统 |
| CN114048974A (zh) * | 2021-10-28 | 2022-02-15 | 山东心法科技有限公司 | 基于多场景模拟的人工智能人才测评方法、设备及介质 |
| KR102420840B1 (ko) * | 2022-02-04 | 2022-07-18 | 크로스잡 주식회사 | 메타버스 서비스에 기반한 구인구직 플랫폼을 제공하는 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| 杨真等: "招聘面试人工智能系统的框架与模块研究", 江苏大学学报, vol. 19, no. 6, pages 179 - 192 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117114475A (zh) * | 2023-08-21 | 2023-11-24 | 广州红海云计算股份有限公司 | 基于多维度人才评估策略的综合能力测评系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091014B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11257041B2 (en) | Detecting disability and ensuring fairness in automated scoring of video interviews | |
| WO2021068843A1 (zh) | 一种情绪识别方法及装置、电子设备和可读存储介质 | |
| CN111275401B (zh) | 一种基于位置关系的智能面试方法及系统 | |
| US20150046357A1 (en) | Systems and methods for evaluating job candidates | |
| CN110175229B (zh) | 一种基于自然语言进行在线培训的方法和系统 | |
| CN112836691A (zh) | 智能面试方法及装置 | |
| CN111401828A (zh) | 一种强化排序的动态智能面试方法、装置、设备及计算机存储介质 | |
| CN116091014B (zh) | 一种基于多模态识别的人力资源面试系统 | |
| CN110321409A (zh) | 基于人工智能的辅助面试方法、装置、设备及存储介质 | |
| CN112651714A (zh) | 一种基于多模态信息的面试测评方法和系统 | |
| CN112579757A (zh) | 智能问答方法、装置、计算机可读存储介质及电子设备 | |
| CN112884326A (zh) | 一种多模态分析的视频面试评估方法、装置和存储介质 | |
| CN114186983B (zh) | 视频面试多维评分方法、系统、计算机设备及存储介质 | |
| KR20220007193A (ko) | 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체 | |
| CN115619360A (zh) | 基于人工智能的人才选拔招聘系统及方法 | |
| Dehbozorgi et al. | Sentiment analysis on conversations in collaborative active learning as an early predictor of performance | |
| KR102397112B1 (ko) | 면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체 | |
| US8249996B1 (en) | Artificial intelligence for social media | |
| CN116883888A (zh) | 基于多模态特征融合的银行柜面服务问题溯源系统及方法 | |
| Tennakoon et al. | An interactive application for university students to reduce the industry-academia skill gap in the software engineering field | |
| Ghadekar et al. | A Semantic Approach for Automated Hiring using Artificial Intelligence & Computer Vision | |
| Na | Application of Artificial Intelligence in Recruitment and Selection | |
| Koch et al. | A reference architecture for on-premises chatbots in banks and public institutions | |
| Thompson et al. | A Measurement-based Foundation for AI Applied to the Audio of Interviews | |
| Taralrud et al. | Multimodal Sentiment Analysis for Personality Prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |