CN110728182A - 基于ai面试系统的面试方法、装置和计算机设备 - Google Patents
基于ai面试系统的面试方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN110728182A CN110728182A CN201910843465.6A CN201910843465A CN110728182A CN 110728182 A CN110728182 A CN 110728182A CN 201910843465 A CN201910843465 A CN 201910843465A CN 110728182 A CN110728182 A CN 110728182A
- Authority
- CN
- China
- Prior art keywords
- question
- answer
- user
- preset
- interview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000008451 emotion Effects 0.000 claims abstract description 65
- 230000001815 facial effect Effects 0.000 claims abstract description 51
- 238000003062 neural network model Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 43
- 238000003066 decision tree Methods 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 description 42
- 230000036651 mood Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本申请揭示了一种基于AI面试系统的面试方法、装置、计算机设备和存储介质，所述方法包括：向用户端输出预设的第一问题；接收所述用户端回复所述第一问题的第一答案，获得所述用户端的意图；采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值；若所述用户的紧张情绪值处于预设的情绪范围值之内，则获取第二问题；向所述用户端输出所述第二问题；接收所述用户端回复所述第二问题的第二答案；若符合预设的终止面试触发条件，则生成面试报告。从而实现了提供能够灵活跳转的问卷、并保证问卷答案的质量，同时淘汰非正常面试者。
Description
技术领域
本申请涉及到计算机领域，特别是涉及到一种基于AI面试系统的面试方法、装置、计算机设备和存储介质。
背景技术
AI(人工智能)面试能够减少人工成本，具有优秀的发展潜力。传统的AI面试方法，只能向答题者提供一份已确定的问卷，根据答题者回答所述问卷的答案生成面试报告。由于答题者回答的问卷是预先确定的，因此适应的人群也是固定的，适用面窄，因此对于属于不同人群的面试者，需要提供不同的问卷，需要耗费过多的资源与成本。由于答题者中存在恶意面试者或者心理素质不佳的面试者，而传统的技术方案或者不考虑这些方面，或者是由资深面试官进行筛选，因此传统技术的方案无法做到有效淘汰非正常面试者。
发明内容
本申请的主要目的为提供一种基于AI面试系统的面试方法、装置、计算机设备和存储介质，旨在提供能够灵活跳转的问卷、并保证问卷答案的质量，同时淘汰非正常面试者。
为了实现上述发明目的，本申请提出一种基于AI面试系统的面试方法，包括以下步骤：
向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题；
接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成；
打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成；
判断所述用户的紧张情绪值是否处于预设的情绪范围值之内；
若所述用户的紧张情绪值处于预设的情绪范围值之内，则根据所述用户端的意图，按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第一问题相连接的第二问题；
向所述用户端输出所述第二问题；
接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件；
若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。
进一步地，所述AI面试系统预存有多个初始树状问题链，所述初始树状问题链标记有多个标签，所述向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题的步骤之前，包括：
获取所述用户端对应的用户的特征信息，所述特征信息至少包括所述用户的职业信息；
根据所述特征信息，按照预设的标签标记规则，对所述用户标记多个标签；
从预存的多个初始树状问题链中筛选出最终树状问题链，其中所述最终树状问题链与所述用户具有最多的相同标签；
将所述最终树状问题链作为将发送给所述用户端的树状问题链。
进一步地，所述机器学习模型为CHAID决策树模型，所述接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成的步骤之前，包括：
获取指定量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据由所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图所构成；
将训练集的样本数据输入到CHAID决策树模型中进行训练，得到初步CHAID决策树；
利用所述测试集的样本数据验证所述初步CHAID决策树；
如果验证通过，则将所述初步CHAID决策树记为所述意图识别模型。
进一步地，所述打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成的步骤，包括：
打开所述用户端的摄像头采集所述终端对应的用户的多幅初始图像，其中所述初始图像至少包括所述终端对应的用户的面部；
将所述初始图像划分为多个区域，将每个区域的图像数据与预设的眼睛图像数据进行对比，得到每个区域图像数据与眼睛图像数据的差值，将差值不超过预设数值的区域记为眼睛区域；
将每个区域的图像数据与预设的嘴巴图像数据进行比较，得到每个区域图像数据与嘴巴图像数据的差值，将差值不超过预设数值的区域记为嘴巴区域；
根据预设的面部几何结构比例，利用所述眼睛区域与所述嘴巴区域在所述初始图像中的位置，计算出面部区域，并将所述面部区域范围内的图像作为面部图像；
将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成。
进一步地，所述打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成的步骤之前，包括：
获取指定数量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据包括人脸图像，以及与所述人脸图像关联的微表情类别；
将训练集的样本数据输入到预设的神经网络模型中进行训练，得到初始微表情识别模型，其中，训练的过程中采用随机梯度下降法；
利用测试集的样本数据验证所述初始微表情识别模型；
若验证通过，则将所述初始微表情识别模型记为所述微表情识别模型。
进一步地，所述接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件的步骤,包括：
接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题是否处于所述树状问题链的末端节点；
若所述第二问题处于所述树状问题链的末端节点，则判定所述第二问题符合预设的终止面试触发条件；
或者，接收所述用户端回复所述第二问题的第二答案，并判断所述第二答案是否包括预设的结束关键词语；
若所述第二答案包括预设的结束关键词语，则判定所述第二答案符合预设的终止面试触发条件。
进一步地，所述接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件的步骤之后,包括：
若所述第二问题或者所述第二答案不符合预设的终止面试触发条件，则生成识别意图指令，所述识别意图指令用于指示从所述第二答案中识别出所述用户端的意图；
根据所述识别意图指令，获取从所述第二答案中识别出的所述用户端的意图，并按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第二问题相连接的第三问题；
将所述第三问题发送给所述用户端。
本申请提供一种基于AI面试系统的面试装置，包括：
第一问题输出单元，用于向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题；
意图获取单元，用于接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成；
紧张情绪值获取单元，用于打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成；
紧张情绪值判断单元，用于判断所述用户的紧张情绪值是否处于预设的情绪范围值之内；
第二问题获取单元，用于若所述用户的紧张情绪值处于预设的情绪范围值之内，则根据所述用户端的意图，按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第一问题相连接的第二问题；
第二问题输出单元，用于向所述用户端输出所述第二问题；
终止判断单元，用于接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件；
面试报告生成单元，用于若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于AI面试系统的面试方法、装置、计算机设备和存储介质，向用户端输出预设的第一问题；接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图；打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值；若所述用户的紧张情绪值处于预设的情绪范围值之内，则获取第二问题；向所述用户端输出所述第二问题；接收所述用户端回复所述第二问题的第二答案；若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告。从而实现了提供能够灵活跳转的问卷、并保证问卷答案的质量，同时淘汰非正常面试者。
附图说明
图1为本申请一实施例的基于AI面试系统的面试方法的流程示意图；
图2为本申请一实施例的基于AI面试系统的面试装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于AI面试系统的面试方法，包括以下步骤：
S1、向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题；
S2、接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成；
S3、打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成；
S4、判断所述用户的紧张情绪值是否处于预设的情绪范围值之内；
S5、若所述用户的紧张情绪值处于预设的情绪范围值之内，则根据所述用户端的意图，按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第一问题相连接的第二问题；
S6、向所述用户端输出所述第二问题；
S7、接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件；
S8、若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。
如上述步骤S1所述，向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题。本申请的AI面试系统用于向用户端对应的用户进行面试。所述用户端可以为用户所拥有的终端，所述终端通过与所述AI面试系统建立连接，在得到AI面试系统许可后成为用户端。所述用户端也可以为AI面试系统的一个输出端，用户通过所述输出端即可接受所述AI面试系统的面试。所述树状问题链是指由多个问题构成的树状网络，其中所述第一问题是第一个节点(即根问题)，因此所述第一问题至少连接有两个其他问题。本申请根据用户端回答所述第一问题的真实意图，将与第一问题连接的其中一个问题输出给所述用户端，以保证针对性、灵活地提供合适的问题，以保证面试质量。
如上述步骤S2所述，接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成。由于用户端回复第一问题的第一答案可以有不同的形式，例如第一问题为你的近况如何？相应回答为：我的年龄为40岁、月薪为3万、毕业院校为某大学、工作经历包括在某企业就职等。传统技术仅能机械记录这些信息，却无法从中获取所述用户的真实意图。本申请将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成。其中所述机器学习模型可为任意模型，例如为CHAID决策树模型，将第一答案输入所述CHAID决策树模型后，CHAID决策树模型将根据第一答案中的具体信息进行分类处理，从而确定所述用户的第一答案属于哪种意图，例如为用户是否意图就职(即用户是否是真的谋求就职)，用户意图的薪资水平等。进一步地，所述基于机器学习模型训练完成的意图识别模型还可以为基于深度学习文本分类的模型(例如TextCNN,TextRNN等)训练完成的意图识别模型。其中深度学习是机器学习的一个分支。其中所述TextCNN是一种大规模文本分类网络，是指将卷积神经网络CNN应用到文本分类任务，利用多个不同尺寸的内核来提取句子中的关键信息，从而使分类更准确(本申请中使意图识别更准确)。所述TextRNN是一种大规模文本分类网络，是指将循环神经网络RNN应用到文本分类任务，即将在时间上深度的神经网络应用至文本分类任务中，从而使分类更准确(本申请中使意图识别更准确)。同样的，基于深度学习文本分类的模型(例如TextCNN,TextRNN等)训练完成的意图识别模型也需要进行训练得到，其训练集由所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据构成。
如上述步骤S3所述，打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成。其中神经网络模型可为VGG16模型、VGG19模型、VGG-F模型、ResNet152模型、ResNet50模型、DPN131模型、IXception模型、AlexNet模型和DenseNet模型等，优选DPN模型。由于人的面部微表情能够反应人的情绪，当情绪异常时，可能表示人处于恶意状态(例如意图造假而通过AI面试)。因此本申请采用微表情识别模型对用户的面部图像进行运算，从而得到所述用户的紧张情绪值。
如上述步骤S4所述，判断所述用户的紧张情绪值是否处于预设的情绪范围值之内。预设的情绪范围值代表了处于正常面试状态下的用户应具有的情绪值，若所述用户的紧张情绪值处于预设的情绪范围值之内，表明所述用户的面试状态正常，因此用户的第一答案可信；所述用户的紧张情绪值不处于预设的情绪范围值之内，表明所述用户的面试状态不正常(用户的第一答案可能为谎言，或者用户的心理素质不佳，不是优秀的面试者)。
如上述步骤S5所述，若所述用户的紧张情绪值处于预设的情绪范围值之内，则根据所述用户端的意图，按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第一问题相连接的第二问题。若所述用户的紧张情绪值处于预设的情绪范围值之内，表明所述用户的面试状态正常，因此用户的第一答案可信，因此应当生成第二问题。其中与第一问题相连接的问题有多个，在预设的树状问题链中已经预设了意图与问题节点的对应关系，因此根据不同的用户意图，将获取不同的第二问题，例如当用户意图的薪资水平为高中低三个不同意图时(其中，若用户意图的薪资水平为具体的薪资数字时，通过将所述薪资数字输入所述意图识别模型中，由于所述意图识别模型是已经训练好的，因此所述意图识别模型将根据输入的具体的薪资数字输出用户意图的薪资水平，其中用户意图的薪资水平包括高、中和低三种)，将从所述树状问题链中按照所述三个不同意图获取对应的第二问题。
如上述步骤S6所述，向所述用户端输出所述第二问题。所述第二问题是进一步面试所述用户端对应用户的问题，应当要求所述用户端进行回答。
如上述步骤S7所述，接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件。其中终止面试触条件可为任意条件，例如：接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题是否处于所述树状问题链的末端节点；若所述第二问题处于所述树状问题链的末端节点，则判定所述第二问题符合预设的终止面试触发条件；或者，接收所述用户端回复所述第二问题的第二答案，并判断所述第二答案是否包括预设的结束关键词语；若所述第二答案包括预设的结束关键词语，则判定所述第二答案符合预设的终止面试触发条件。
如上述步骤S8所述，若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。若所述第二问题或者所述第二答案符合预设的终止面试触发条件，表明本次AI面试可以结束，据此生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。进一步地，所述面试报告还可以包括其他内容，例如包括用户的个人信息，AI面试对用户的评分等。进一步地，若所述第二问题或者所述第二答案不符合预设的终止面试触发条件，则继续向用户输出问题，直至输出的问题或者用户对应的答案符合预设的终止面试触发条件。
在一个实施方式中，所述AI面试系统预存有多个初始树状问题链，所述初始树状问题链标记有多个标签，所述向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题的步骤S1之前，包括：
S01、获取所述用户端对应的用户的特征信息，所述特征信息至少包括所述用户的职业信息；
S02、根据所述特征信息，按照预设的标签标记规则，对所述用户标记多个标签；
S03、从预存的多个初始树状问题链中筛选出最终树状问题链，其中所述最终树状问题链与所述用户具有最多的相同标签；
S04、将所述最终树状问题链作为将发送给所述用户端的树状问题链。
如上所述，实现了获得树状问题链。本申请预设有多个初始树状问题链，不同的初始树状问题链适用范围不同，例如针对开发人员的初始树状问题链与针对财务人员的初始树状问题链不同。为了更准确地进行AI面试，本申请采用获取所述用户端对应的用户的特征信息，所述特征信息至少包括所述用户的职业信息；根据所述特征信息，按照预设的标签标记规则，对所述用户标记多个标签；从预存的多个初始树状问题链中筛选出最终树状问题链，其中所述最终树状问题链与所述用户具有最多的相同标签的方式，确定与所述用户最匹配的树状问题链，以提高AI面试的质量。其中所述标签包括职业标签、收入标签、学历标签等。
在一个实施方式中，所述机器学习模型为CHAID决策树模型，所述接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成的步骤S2之前，包括：
S11、获取指定量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据由所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图所构成；
S12、将训练集的样本数据输入到CHAID决策树模型中进行训练，得到初步CHAID决策树；
S13、利用所述测试集的样本数据验证所述初步CHAID决策树；
S14、如果验证通过，则将所述初步CHAID决策树记为所述意图识别模型。
如上所述，实现了获得意图识别模型。其中CHAID决策树模型指采用卡方自动交互检测法CHAID的决策树模型。其中对所述第一问题的回答中包含了答题者的多种信息，例如第一问题为你的近况如何？相应回答为：我的年龄为40岁、月薪为3万、毕业院校为某大学、工作经历包括在某企业就职等。从而所述相应回答可作为决策树分类的信息依据。其中，在此简单介绍CHAID决策树的原理：1、合并组内对决策变量影响差别不显著的组值；2、选取卡方值最大的变量作为树分类变量；3、重复1、2步骤，至不能选取卡方值大于某值或样本小于某数。其中，可预先设所述意图识别模型的建模标准参数，例如设置决策树的最大层数、母节点可再分的显著水平、母节点包含的最小样本数、子节点包含的最小样本数。其中，决策树的最大层数例如为3-5层、母节点可再分的显著水平为0.05-0.1、母节点包含的最小样本数100-200、子节点包含的最小样本数50-100。采用训练集集的样本数据训练得到初步CHAID决策树，再用测试集的样本进行验证，若通过，则记为所述意图识别模型。其中，所述意图识别模型输出的结果为用户的意图，例如为用户是否意图就职(即用户是否是真的谋求就职)等。
在一个实施方式中，所述打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成的步骤S3，包括：
S301、打开所述用户端的摄像头采集所述终端对应的用户的多幅初始图像，其中所述初始图像至少包括所述终端对应的用户的面部；
S302、将所述初始图像划分为多个区域，将每个区域的图像数据与预设的眼睛图像数据进行对比，得到每个区域图像数据与眼睛图像数据的差值，将差值不超过预设数值的区域记为眼睛区域；
S303、将每个区域的图像数据与预设的嘴巴图像数据进行比较，得到每个区域图像数据与嘴巴图像数据的差值，将差值不超过预设数值的区域记为嘴巴区域；
S304、根据预设的面部几何结构比例，利用所述眼睛区域与所述嘴巴区域在所述初始图像中的位置，计算出面部区域，并将所述面部区域范围内的图像作为面部图像；
S305、将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成。
如上所述，实现了对所述初始图像进行区域识别处理从而识别出面部区域，并将所述面部区域范围内的图像作为面部图像，从而使微表情识别模型的结果更准确。其中，眼睛图像数据为标准的可用于标识眼睛特征的图像数据(例如预先采集得到的人的眼睛图像区域的数据)，嘴巴图像数据为标准的可用于标识嘴巴特征的图像数据(例如预先采集得到的人的嘴巴图像区域的数据)，所述图像数据例如为图像像素(三原色等)等。而具体比对图像数据的方法可采用任意的传统比较方式，在此不赘述。进一步地，若所述眼睛区域大于划分的单个区域，则以差值不超过预设数值的多个连续的区域为眼睛区域；同理，以差值不超过预设数值的多个连续的区域为鼻子区域。由于人的面部中的五官是按一定的几何结构比例分布的，若确定眼睛区域与嘴巴区域，即可获知大致的面部轮廓。据此，根据预设的面部几何结构比例，利用所述眼睛区域与所述嘴巴区域在所述初始图像中的位置，计算出面部区域，并将所述面部区域范围内的图像作为面部图像。再将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值。
在一个实施方式中，所述打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成的步骤S3之前，包括：
S21、获取指定数量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据包括人脸图像，以及与所述人脸图像关联的微表情类别；
S22、将训练集的样本数据输入到预设的神经网络模型中进行训练，得到初始微表情识别模型，其中，训练的过程中采用随机梯度下降法；
S23、利用测试集的样本数据验证所述初始微表情识别模型；
S24、若验证通过，则将所述初始微表情识别模型记为所述微表情识别模型。
如上所述，实现了设置微表情识别模型。本实施方式基于神经网络模型以训练出微表情识别模型。其中神经网络模型可为VGG16模型、VGG19模型、VGG-F模型、ResNet152模型、ResNet50模型、DPN131模型、IXception模型、AlexNet模型和DenseNet模型等，优选DPN模型。其中，随机梯度下降法就是随机取样一些训练数据，替代整个训练集，如果样本量很大的情况(例如几十万)，那么可能只用其中几万条或者几千条的样本，就已经迭代到最优解了，可以提高训练速度。进一步地，训练的过程还可以采用反向传导法则更新所述神经网络模型各层的参数。其中反向传导法则(BP)建立在梯度下降法的基础上，BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性，有利于神经网络模型各层的参数的更新。从而获得初始微表情识别模型。再利用测试集的样本数据验证所述初始微表情识别模型，若验证通过，则将所述初始微表情识别模型记为所述微表情识别模型。
在一个实施方式中，所述接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件的步骤S7,包括：
S701、接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题是否处于所述树状问题链的末端节点；
S702、若所述第二问题处于所述树状问题链的末端节点，则判定所述第二问题符合预设的终止面试触发条件；
S703、或者，接收所述用户端回复所述第二问题的第二答案，并判断所述第二答案是否包括预设的结束关键词语；
S704、若所述第二答案包括预设的结束关键词语，则判定所述第二答案符合预设的终止面试触发条件。
如上所述，实现了接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件。本申请采用两种方式判断面试可以结束，一种是根据第二问题进行判断，一种是根据第二答案进行判断。具体地，若所述第二问题处于所述树状问题链的末端节点，表明所述第二问题之后，不再有新的问题，因此判定所述第二问题符合预设的终止面试触发条件。若所述第二答案包括预设的结束关键词语，表示用户意图结止本次面试，因此判定所述第二答案符合预设的终止面试触发条件。其中所述预设的结束关键词语例如为：放弃面试、不参加面试等，从而给予用户本身终止面试的机会，以免浪费用户的时间、精力与本AI面试系统的资源。
在一个实施方式中，所述接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件的步骤S7之后,包括：
S71、若所述第二问题或者所述第二答案不符合预设的终止面试触发条件，则生成识别意图指令，所述识别意图指令用于指示从所述第二答案中识别出所述用户端的意图；
S72、根据所述识别意图指令，获取从所述第二答案中识别出的所述用户端的意图，并按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第二问题相连接的第三问题；
S73、将所述第三问题发送给所述用户端。
如上所述，实现了获取第三问题，并发送给所述用户端。若所述第二问题或者所述第二答案不符合预设的终止面试触发条件，表明面试并未终止，因此需要再次生成第三问题。据此，生成识别意图指令，所述识别意图指令用于指示从所述第二答案中识别出所述用户端的意图。其中从所述第二答案中识别出所述用户端的意图可以为任意方式，包括且不限于与采用前述从第一答案中识别出所述用户端的意图相同的方式。再根据所述识别意图指令，获取从所述第二答案中识别出的所述用户端的意图，并按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第二问题相连接的第三问题，将所述第三问题发送给所述用户端。其中，由于已采用微表情识别模型获取过用户的情绪值，因此在生成第三问题之前可以不用再次利用微表情识别模型以获取所述用户的紧张情绪值。当然，进一步地，在生成第三问题之前也可以再次利用微表情识别模型以获取所述用户的紧张情绪值，并判断所述紧张情绪值是否处于预设的情绪范围值之内，从而再次判断用户是否处于正常状态。
本申请的基于AI面试系统的面试方法，向用户端输出预设的第一问题；接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图；打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值；若所述用户的紧张情绪值处于预设的情绪范围值之内，则获取第二问题；向所述用户端输出所述第二问题；接收所述用户端回复所述第二问题的第二答案；若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告。从而实现了提供能够灵活跳转的问卷、并保证问卷答案的质量，同时淘汰非正常面试者。
参照图2，本申请实施例提供一种基于AI面试系统的面试装置，包括：
第一问题输出单元10，用于向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题；
意图获取单元20，用于接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成；
紧张情绪值获取单元30，用于打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成；
紧张情绪值判断单元40，用于判断所述用户的紧张情绪值是否处于预设的情绪范围值之内；
第二问题获取单元50，用于若所述用户的紧张情绪值处于预设的情绪范围值之内，则根据所述用户端的意图，按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第一问题相连接的第二问题；
第二问题输出单元60，用于向所述用户端输出所述第二问题；
终止判断单元70，用于接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件；
面试报告生成单元80，用于若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。
其中上述单元分别用于执行的操作与前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述AI面试系统预存有多个初始树状问题链，所述初始树状问题链标记有多个标签，所述装置，包括：
特征信息获取单元，用于获取所述用户端对应的用户的特征信息，所述特征信息至少包括所述用户的职业信息；
标签标记单元，用于根据所述特征信息，按照预设的标签标记规则，对所述用户标记多个标签；
问题链筛选单元，用于从预存的多个初始树状问题链中筛选出最终树状问题链，其中所述最终树状问题链与所述用户具有最多的相同标签；
问题链发送单元，用于将所述最终树状问题链作为将发送给所述用户端的树状问题链。
其中上述单元分别用于执行的操作与前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述机器学习模型为CHAID决策树模型，所述装置，包括：
样本数据获取单元，用于获取指定量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据由所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图所构成；
训练单元，用于将训练集的样本数据输入到CHAID决策树模型中进行训练，得到初步CHAID决策树；
验证单元，用于利用所述测试集的样本数据验证所述初步CHAID决策树；
标记单元，用于如果验证通过，则将所述初步CHAID决策树记为所述意图识别模型。
其中上述单元分别用于执行的操作与前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述紧张情绪值获取单元30，包括：
图像采集子单元，用于打开所述用户端的摄像头采集所述终端对应的用户的多幅初始图像，其中所述初始图像至少包括所述终端对应的用户的面部；
区域划分子单元，用于将所述初始图像划分为多个区域，将每个区域的图像数据与预设的眼睛图像数据进行对比，得到每个区域图像数据与眼睛图像数据的差值，将差值不超过预设数值的区域记为眼睛区域；
嘴巴区域获取子单元，用于将每个区域的图像数据与预设的嘴巴图像数据进行比较，得到每个区域图像数据与嘴巴图像数据的差值，将差值不超过预设数值的区域记为嘴巴区域；
眼睛区域获取子单元，用于根据预设的面部几何结构比例，利用所述眼睛区域与所述嘴巴区域在所述初始图像中的位置，计算出面部区域，并将所述面部区域范围内的图像作为面部图像；
紧张情绪值获取子单元，用于将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成。
其中上述子单元分别用于执行的操作与前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
训练数据获取单元，用于获取指定数量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据包括人脸图像，以及与所述人脸图像关联的微表情类别；
初始微表情识别模型训练单元，用于将训练集的样本数据输入到预设的神经网络模型中进行训练，得到初始微表情识别模型，其中，训练的过程中采用随机梯度下降法；
初始微表情识别模型验证单元，用于利用测试集的样本数据验证所述初始微表情识别模型；
微表情识别模型获取单元，用于若验证通过，则将所述初始微表情识别模型记为所述微表情识别模型。
其中上述单元分别用于执行的操作与前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述终止判断单元70,包括：
末端节点判断子单元，用于接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题是否处于所述树状问题链的末端节点；
第一终止判定子单元，用于若所述第二问题处于所述树状问题链的末端节点，则判定所述第二问题符合预设的终止面试触发条件；
结束关键词语判断子单元，用于或者，接收所述用户端回复所述第二问题的第二答案，并判断所述第二答案是否包括预设的结束关键词语；
第二终止判定子单元，用于若所述第二答案包括预设的结束关键词语，则判定所述第二答案符合预设的终止面试触发条件。
其中上述子单元分别用于执行的操作与前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置,包括：
生成识别意图指令单元，用于若所述第二问题或者所述第二答案不符合预设的终止面试触发条件，则生成识别意图指令，所述识别意图指令用于指示从所述第二答案中识别出所述用户端的意图；
意图识别单元，用于根据所述识别意图指令，获取从所述第二答案中识别出的所述用户端的意图，并按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第二问题相连接的第三问题；
第三问题发送单元，用于将所述第三问题发送给所述用户端。
其中上述单元分别用于执行的操作与前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
本申请的基于AI面试系统的面试装置，向用户端输出预设的第一问题；接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图；打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值；若所述用户的紧张情绪值处于预设的情绪范围值之内，则获取第二问题；向所述用户端输出所述第二问题；接收所述用户端回复所述第二问题的第二答案；若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告。从而实现了提供能够灵活跳转的问卷、并保证问卷答案的质量，同时淘汰非正常面试者。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于AI面试系统的面试方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于AI面试系统的面试方法。
上述处理器执行上述基于AI面试系统的面试方法，其中所述方法包括的步骤分别与执行前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，向用户端输出预设的第一问题；接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图；打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值；若所述用户的紧张情绪值处于预设的情绪范围值之内，则获取第二问题；向所述用户端输出所述第二问题；接收所述用户端回复所述第二问题的第二答案；若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告。从而实现了提供能够灵活跳转的问卷、并保证问卷答案的质量，同时淘汰非正常面试者。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于AI面试系统的面试方法，其中所述方法包括的步骤分别与执行前述实施方式的基于AI面试系统的面试方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，向用户端输出预设的第一问题；接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图；打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值；若所述用户的紧张情绪值处于预设的情绪范围值之内，则获取第二问题；向所述用户端输出所述第二问题；接收所述用户端回复所述第二问题的第二答案；若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告。从而实现了提供能够灵活跳转的问卷、并保证问卷答案的质量，同时淘汰非正常面试者。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于AI面试系统的面试方法，其特征在于，包括：
向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题；
接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成；
打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成；
判断所述用户的紧张情绪值是否处于预设的情绪范围值之内；
若所述用户的紧张情绪值处于预设的情绪范围值之内，则根据所述用户端的意图，按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第一问题相连接的第二问题；
向所述用户端输出所述第二问题；
接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件；
若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。
2.根据权利要求1所述的基于AI面试系统的面试方法，其特征在于，所述AI面试系统预存有多个初始树状问题链，所述初始树状问题链标记有多个标签，所述向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题的步骤之前，包括：
获取所述用户端对应的用户的特征信息，所述特征信息至少包括所述用户的职业信息；
根据所述特征信息，按照预设的标签标记规则，对所述用户标记多个标签；
从预存的多个初始树状问题链中筛选出最终树状问题链，其中所述最终树状问题链与所述用户具有最多的相同标签；
将所述最终树状问题链作为将发送给所述用户端的树状问题链。
3.根据权利要求1所述的基于AI面试系统的面试方法，其特征在于，所述机器学习模型为CHAID决策树模型，所述接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成的步骤之前，包括：
获取指定量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据由所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图所构成；
将训练集的样本数据输入到CHAID决策树模型中进行训练，得到初步CHAID决策树；
利用所述测试集的样本数据验证所述初步CHAID决策树；
如果验证通过，则将所述初步CHAID决策树记为所述意图识别模型。
4.根据权利要求1所述的基于AI面试系统的面试方法，其特征在于，所述打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成的步骤，包括：
打开所述用户端的摄像头采集所述终端对应的用户的多幅初始图像，其中所述初始图像至少包括所述终端对应的用户的面部；
将所述初始图像划分为多个区域，将每个区域的图像数据与预设的眼睛图像数据进行对比，得到每个区域图像数据与眼睛图像数据的差值，将差值不超过预设数值的区域记为眼睛区域；
将每个区域的图像数据与预设的嘴巴图像数据进行比较，得到每个区域图像数据与嘴巴图像数据的差值，将差值不超过预设数值的区域记为嘴巴区域；
根据预设的面部几何结构比例，利用所述眼睛区域与所述嘴巴区域在所述初始图像中的位置，计算出面部区域，并将所述面部区域范围内的图像作为面部图像；
将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成。
5.根据权利要求1所述的基于AI面试系统的面试方法，其特征在于，所述打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成的步骤之前，包括：
获取指定数量的样本数据，并将样本数据分成训练集和测试集；其中，所述样本数据包括人脸图像，以及与所述人脸图像关联的微表情类别；
将训练集的样本数据输入到预设的神经网络模型中进行训练，得到初始微表情识别模型，其中，训练的过程中采用随机梯度下降法；
利用测试集的样本数据验证所述初始微表情识别模型；
若验证通过，则将所述初始微表情识别模型记为所述微表情识别模型。
6.根据权利要求1所述的基于AI面试系统的面试方法，其特征在于，所述接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件的步骤,包括：
接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题是否处于所述树状问题链的末端节点；
若所述第二问题处于所述树状问题链的末端节点，则判定所述第二问题符合预设的终止面试触发条件；
或者，接收所述用户端回复所述第二问题的第二答案，并判断所述第二答案是否包括预设的结束关键词语；
若所述第二答案包括预设的结束关键词语，则判定所述第二答案符合预设的终止面试触发条件。
7.根据权利要求1所述的基于AI面试系统的面试方法，其特征在于，所述接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件的步骤之后,包括：
若所述第二问题或者所述第二答案不符合预设的终止面试触发条件，则生成识别意图指令，所述识别意图指令用于指示从所述第二答案中识别出所述用户端的意图；
根据所述识别意图指令，获取从所述第二答案中识别出的所述用户端的意图，并按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第二问题相连接的第三问题；
将所述第三问题发送给所述用户端。
8.一种基于AI面试系统的面试装置，其特征在于，包括：
第一问题输出单元，用于向用户端输出预设的第一问题，其中所述第一问题是预先生成的树状问题链的根问题；
意图获取单元，用于接收所述用户端回复所述第一问题的第一答案，将所述第一答案输入预设的基于机器学习模型训练完成的意图识别模型中运算，从而获得所述用户端的意图，其中，所述意图识别模型基于所述第一问题、对所述第一问题的回答、以及与所述回答关联的意图组成的样本数据训练而成；
紧张情绪值获取单元，用于打开所述用户端的摄像头采集所述用户端对应的用户的面部图像，并将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算，从而得到所述用户的紧张情绪值，其中，所述微表情识别模型基于人脸图像，以及与所述人脸图像关联的紧张情绪值组成的样本数据训练而成；
紧张情绪值判断单元，用于判断所述用户的紧张情绪值是否处于预设的情绪范围值之内；
第二问题获取单元，用于若所述用户的紧张情绪值处于预设的情绪范围值之内，则根据所述用户端的意图，按照预设的意图与问题节点的对应关系，获取在所述树状问题链中与所述第一问题相连接的第二问题；
第二问题输出单元，用于向所述用户端输出所述第二问题；
终止判断单元，用于接收所述用户端回复所述第二问题的第二答案，并判断所述第二问题或者所述第二答案是否符合预设的终止面试触发条件；
面试报告生成单元，用于若所述第二问题或者所述第二答案符合预设的终止面试触发条件，则生成面试报告，其中所述面试报告包括所述第一问题、第一答案、第二问题和第二答案。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910843465.6A CN110728182B (zh) | 2019-09-06 | 2019-09-06 | 基于ai面试系统的面试方法、装置和计算机设备 |
| PCT/CN2020/098822 WO2021042842A1 (zh) | 2019-09-06 | 2020-06-29 | 基于ai面试系统的面试方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910843465.6A CN110728182B (zh) | 2019-09-06 | 2019-09-06 | 基于ai面试系统的面试方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110728182A true CN110728182A (zh) | 2020-01-24 |
| CN110728182B CN110728182B (zh) | 2023-12-26 |
Family
ID=69217925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910843465.6A Active CN110728182B (zh) | 2019-09-06 | 2019-09-06 | 基于ai面试系统的面试方法、装置和计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110728182B (zh) |
| WO (1) | WO2021042842A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111540440A (zh) * | 2020-04-23 | 2020-08-14 | 深圳市镜象科技有限公司 | 基于人工智能的心理体检方法、装置、设备和介质 |
| WO2021042842A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技（深圳）有限公司 | 基于ai面试系统的面试方法、装置和计算机设备 |
| CN114399827A (zh) * | 2022-03-14 | 2022-04-26 | 潍坊护理职业学院 | 基于面部微表情的高校毕业生职业性格测试方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116757300B (zh) * | 2023-07-03 | 2024-04-19 | 深圳市捷信达电子有限公司 | 基于循环卷积网络的智能预订数据处理方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018032164A (ja) * | 2016-08-23 | 2018-03-01 | 株式会社ユニバーサルエンターテインメント | 面接システム |
| WO2019033573A1 (zh) * | 2017-08-17 | 2019-02-21 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
| CN109492854A (zh) * | 2018-09-17 | 2019-03-19 | 平安科技（深圳）有限公司 | 智能机器人面试的方法、装置、计算机设备和存储介质 |
| CN109670023A (zh) * | 2018-12-14 | 2019-04-23 | 平安城市建设科技(深圳)有限公司 | 人机自动面试方法、装置、设备和存储介质 |
| CN109766917A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 面试视频数据处理方法、装置、计算机设备和存储介质 |
| CN109767321A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 问答过程优化方法、装置、计算机设备和存储介质 |
| CN109961052A (zh) * | 2019-03-29 | 2019-07-02 | 上海大易云计算股份有限公司 | 一种基于表情分析技术的视频面试方法及系统 |
| CN109993053A (zh) * | 2019-01-23 | 2019-07-09 | 平安科技（深圳）有限公司 | 电子装置、基于微表情识别的访谈辅助方法和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728182B (zh) * | 2019-09-06 | 2023-12-26 | 平安科技（深圳）有限公司 | 基于ai面试系统的面试方法、装置和计算机设备 |
-
2019
- 2019-09-06 CN CN201910843465.6A patent/CN110728182B/zh active Active
-
2020
- 2020-06-29 WO PCT/CN2020/098822 patent/WO2021042842A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018032164A (ja) * | 2016-08-23 | 2018-03-01 | 株式会社ユニバーサルエンターテインメント | 面接システム |
| WO2019033573A1 (zh) * | 2017-08-17 | 2019-02-21 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
| CN109492854A (zh) * | 2018-09-17 | 2019-03-19 | 平安科技（深圳）有限公司 | 智能机器人面试的方法、装置、计算机设备和存储介质 |
| CN109670023A (zh) * | 2018-12-14 | 2019-04-23 | 平安城市建设科技(深圳)有限公司 | 人机自动面试方法、装置、设备和存储介质 |
| CN109766917A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 面试视频数据处理方法、装置、计算机设备和存储介质 |
| CN109767321A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 问答过程优化方法、装置、计算机设备和存储介质 |
| CN109993053A (zh) * | 2019-01-23 | 2019-07-09 | 平安科技（深圳）有限公司 | 电子装置、基于微表情识别的访谈辅助方法和存储介质 |
| CN109961052A (zh) * | 2019-03-29 | 2019-07-02 | 上海大易云计算股份有限公司 | 一种基于表情分析技术的视频面试方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021042842A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技（深圳）有限公司 | 基于ai面试系统的面试方法、装置和计算机设备 |
| CN111540440A (zh) * | 2020-04-23 | 2020-08-14 | 深圳市镜象科技有限公司 | 基于人工智能的心理体检方法、装置、设备和介质 |
| CN114399827A (zh) * | 2022-03-14 | 2022-04-26 | 潍坊护理职业学院 | 基于面部微表情的高校毕业生职业性格测试方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021042842A1 (zh) | 2021-03-11 |
| CN110728182B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569356B (zh) | 基于智能面试交互系统的面试方法、装置和计算机设备 | |
| CN110728182A (zh) | 基于ai面试系统的面试方法、装置和计算机设备 | |
| CN112232787B (zh) | 使用人工智能的自适应招聘系统 | |
| CN109635668B (zh) | 基于软标签集成卷积神经网络的人脸表情识别方法及系统 | |
| CN106503236A (zh) | 基于人工智能的问题分类方法以及装置 | |
| CN112732911A (zh) | 基于语义识别的话术推荐方法、装置、设备及存储介质 | |
| CN109767261A (zh) | 产品推荐方法、装置、计算机设备和存储介质 | |
| CN113377936B (zh) | 智能问答方法、装置及设备 | |
| CN111159417A (zh) | 文本内容关键信息的提取方法、装置、设备及存储介质 | |
| CN110858353B (zh) | 获取案件裁判结果的方法和系统 | |
| CN109710933A (zh) | 训练语料的获取方法、装置、计算机设备和存储介质 | |
| CN113283488B (zh) | 一种基于学习行为的认知诊断方法及系统 | |
| CN111428448A (zh) | 文本生成方法、装置、计算机设备及可读存储介质 | |
| CN111291773A (zh) | 特征识别的方法及装置 | |
| CN113868419A (zh) | 基于人工智能的文本分类方法、装置、设备及介质 | |
| CN112395887A (zh) | 对话应答方法、装置、计算机设备和存储介质 | |
| CN117828079A (zh) | 基于大语言模型的知识传承实现方法及装置、存储介质 | |
| CN115617974B (zh) | 一种对话处理方法、装置、设备及存储介质 | |
| CN111309882B (zh) | 用于实现智能客服问答的方法和装置 | |
| CN117725458A (zh) | 一种获取威胁情报样本数据生成模型的方法及装置 | |
| CN110766465A (zh) | 金融产品评估方法及其验证方法、装置 | |
| CN114969544A (zh) | 基于热点数据的推荐内容生成方法、装置、设备及介质 | |
| CN114358313A (zh) | 数据处理方法及装置 | |
| CN113255836A (zh) | 一种作业数据处理方法、装置、计算机设备和存储介质 | |
| CN113628077A (zh) | 生成不重复考题的方法、终端及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |