CN112818739A - 一种用于智能面试的形象仪表维度评价方法及装置 - Google Patents

Abstract

一种用于智能面试的形象仪表维度评价方法及装置，从面试视频中抽取视频帧，基于深度神经网络多阶段特征提取获得层次式特征表示，通过预训练的基于CNN的人脸属性识别模型获得面试者脸部的底层静态视觉特征张量和人脸属性置信度；通过预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；两种底层静态视觉特征张量分别获取时序特征作为底层视觉特征；利用先验知识对人脸属性置信度和着装属性置信度生成高层语义特征；将底层视觉特征和高层语义特征标准化后输入全连接神经网络，实现形象仪表等级的自动评估。本发明解决面试中形象仪表打分的主观偏差和时间成本问题，实现对大量面试视频快速并准确的形象仪表评估。

Description

一种用于智能面试的形象仪表维度评价方法及装置

技术领域

本发明属于人工智能技术领域，涉及对视频视觉信息的特征抽取和深层维度的机器学习，用于对面试候选人进行形象仪表的等级评估，用函数计算方式进行数据模型的分布式部署，为一种用于智能面试的形象仪表维度评价方法及装置。

背景技术

技术发展给AI招聘工具带来了新的发展契机，同时从长期来看，大部分企业都有降本增效需求，减少在招聘中的人力投入，提升效率是其中重要一环。对于标准明确、对候选人要求偏低的岗位，AI面试通过设定标准化问题就可以判断候选人是否满足要求。对于高要求岗位，通过AI面试可以对候选人进行初筛，从而减轻面试官后续的面试量，大大降低人工成本。

面试的重要衡量标准之一就是形象仪表。例如杂乱的须发说明这个人的整洁习惯欠佳，正式的着装说明了对自己的要求和对面试的重视度，而业务人员往往代表着公司的形象，因此形象仪表成为评估候选人胜任力的重要维度之一。在提高面试效率的同时，如何保障面试质量成为核心。面对海量候选人，面试需要花费大量时间进行评估，而且即便是经验丰富的面试官也难免会因为疲劳、情绪、审美等主观因素造成评估偏差。除了招聘效率低下，招聘误差也可能对企业组织管理、业务发展和人力成本等各方面带来不小的负面影响。

现有的线上面试系统大多仅仅提供了最基础的判断能力，只能从地区、职位、学历等简单、浅层的维度用基于规则的方法呈现候选人的情况，智能性较差，难以高效地替代面试官的工作，而现有的AI面试系统大多将智能技术的重点放在自然语言处理上，仅对面试过程中的回答文本进行分析，而忽略了或只是很浅层地探究视觉上的人物特征，这样的产品无法深度挖掘面试视频所包含的丰富信息，无法全面多维地呈现候选人的胜任能力，进而无法科学、精准地解决目前招聘流程所存在的问题和需求。

而在智能评价装置方面，由于深度学习的网络结构庞大，具有计算消耗大和参数占用内存多等落地问题，而传统的单体存在应用效率低、容错性差、配置难以管理、需要冷更新等问题，不适用智能面试的形象仪表评价。

发明内容

本发明要解决的问题是：解决现有线上面试系统在视觉形象仪表方面的评估缺口和分析不够精准合理的问题，目的是通过自动化流程和智能化工具对面试中的人才形象仪表维度进行快速、精准的评估，提升面试效率和评估质量。

本发明的技术方案为：一种用于智能面试的形象仪表维度评价方法，采集候选人面试视频，从面试视频中抽取视频帧，利用基于分布式函数计算服务实现对面试视频数据的并行处理计算，通过基于深度神经网络的多阶段特征提取获得层次式特征表示，首先对视频帧进行人脸检测，获得面试者在视频帧中的脸部图像区域，将所得脸部图像区域输入预训练的基于CNN的人脸属性识别模型，获得面试者脸部区域的底层静态视觉特征张量和人脸属性置信度；同时将视频帧输入预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；再将所述两种底层静态视觉特征张量分别输入两个LSTM进一步编码为时序特征，得到视频级底层视觉特征；结合先验知识规则对人脸属性置信度和着装属性置信度生成高层语义特征，将底层视觉特征和高层语义特征标准化后输入全连接神经网络进行训练，得到评估网络模型，用于评估形象仪表等级。

本发明还提供一种用于智能面试的形象仪表维度评价装置，包括使用分布式函数计算服务搭建的数据处理模块，数据处理模块的输入为候选者面试视频，输出为形象仪表维度评价信息，数据处理模块中配置有形象仪表评估模型，形象仪表评估模型由上述方法训练得到，并执行所述评价方法。

本发明的有益效果是：通过自动化流程和深度学习技术，对面试视频提取具有良好可解释性的层次式特征表示用于产生对面试者形象仪表的综合评价。第一，现有的智能评价方法大多仅依赖底层感知特征，本发明所提出的层次式特征综合了底层感知特征和高层认知特征，能够为面试者形象仪表形成更加完整的表征；第二，现有智能评价方法大多仅依赖与对静态视频帧的分析，本发明利用LSTM网络进一步抽取时序特征，以此捕捉面试者在面试过程中的动态行为信息；第三，现有智能评价方法大多仅使用单个深度学习模型进行特征提取，本发明使用分布式函数计算服务搭建系统，使本发明能够使用多个深度学习模型进行多种特征提取，使系统具备良好的性能和可扩展性。本发明实现的基于层次式特征表示的形象仪表评价方法能够捕捉到面试者更全面的信息，有助于产生更客观的评价供面试官进行进一步判断，有效降低面试的时间成本，减少主观因素对面试的影响，同时提升了评估效率和质量，具有良好的实用性。

附图说明

图1为本发明的实施流程图。

图2为本发明的面部时序特征训练的结构图。

图3为本发明的着装时序特征训练的结构图。

图4为本发明的最终评分分类神经网络结构图。

具体实施方式

本发明提出了一种用于智能面试的形象仪表维度评价方法及装置，如图1所示，采集候选人面试视频，从面试视频中抽取视频帧序列，通过基于深度神经网络的多阶段特征提取模型获得具备良好可解释性的层次式特征表示，用于产生面试者形象仪表维度的综合评价。首先对视频帧进行人脸检测，获得面试者在视频帧中的脸部图像区域并将其进行裁剪，接着，将从每一帧裁剪下来的脸部图像区域输入预训练的基于CNN的人脸属性识别模型，获得面试者脸部区域的底层静态视觉特征张量和人脸属性置信度；将每一个视频帧输入预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；再将上述两种底层静态视觉特征张量分别输入两个LSTM进一步编码为时序特征，得到包含丰富形象仪表信息的视频级底层视觉特征；用一组基于先验知识的规则对上述人脸属性置信度和着装属性置信度生成高层语义特征，包括颜值、健康值、妆容、配饰、须发整洁度、着装正式度。将上述底层视觉特征和高层语义特征标准化后输入全连接神经网络，实现智能量化评估形象仪表等级；系统使用分布式函数计算服务搭建，形成弹性高效的适用于智能面试的形象仪表评价系统。

下面结合本发明实施例及附图，对本发明实例中的技术方案进行清楚、完整地描述，所描述的实例仅仅是本发明的一部分实例，而不是全部的实例。基于本发明的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本发明的保护范围。本发明的具体实施包括以下步骤：

1.对输入的面试视频进行预处理，每隔k帧采集一帧，进而为一个视频生成一个图像序列；

2.对于预处理后得到的帧序列中的每一张图像，用CNN模型提取面试者脸部区域的视觉特征张量和人脸属性置信度，具体如下：

1)对视频帧序列中每个图像用轻量CNN模型：Ultra-Light-Fast-Generic-Face-Detector检测人脸区域，并将人脸区域从原图中裁剪出来用于后续计算，检测过程仅需4ms；

2)将剪裁处理后的图像使用VGG19神经网络模型进行针对人脸属性的训练学习，拟合计算出面部区域的静态视觉特征张量；

3)将面部静态视觉特征张量输入多个预训练的人脸属性识别模型，得到人脸属性的置信度，人脸属性包括涉及人物形象判断的多项特征，包括眼袋、大鼻子、涂口红、秃顶、金发等。

3.对于帧序列中的每一张图像，用CNN模型获得面试者着装的底层静态视觉特征张量和着装属性置信度，具体如下：

1)对视频帧序列中的每个图像用ResNet神经网络模型进行针对人身着装特征的训练学习，再拟合得到着装的视觉静态特征张量；

2)将着装底层静态视觉特征张量输入预训练的多分类模型，拟合得到多种着装类型的置信度，包括衬衫、T恤、短裙等。

4.对于上述生成的基于帧的人脸属性置信度和着装属性置信度，根据先验知识规则进一步生成高层语义特征，针对不同招聘需求可以一定程度上自定义高层特征和其对应的中级特征的权重参数，现已根据常用评价标准发明包含7个方面的高层特征，具体如下：

1)对网络输出的底层特征中的人脸属性用回归网络进行回归训练和拟合，得到颜值的得分作为颜值特征D₁的结果；

2)对人脸属性中的眼袋、发际线后移、秃头特征进行预处理，分别得到F₁、F₂、F₃，再进一步计算健康值子维度D₂，具体计算公式为：

其中atan为Arctangent函数，std为特征的标准差函数，W_i为根据先验知识规则设置的权重，本实施例中W₁＝0.4，W₂＝0.3，W₃＝0.3；

3)对人脸属性中的化妆浓淡和涂口红特征进行预处理，分别得到F₄、F₅，再进一步计算妆容程度特征D₃，具体计算公式为：

其中W₄＝0.5，W₅＝0.5；

4)对人脸属性中的戴耳环、戴帽子、戴项链和戴领带特征进行预处理，分别得到F₆、F₇、F₈、F₉，再进一步计算配饰特征D₄，具体计算公式为：

其中W₆＝0.3，W₇＝0.2，W₈＝0.3，W₉＝0.2；

5)对人脸属性中的各类胡子和各类发型置信度特征进行预处理，分别得到两个特征集合Set_胡子、Set_头发，计算须发整洁度特征D₅，具体计算公式为：

D₅＝0.5×D_胡子+0.5×D_头发

其中max为取最大值函数，W_i为特征F_i的权重值；本实施例的须发底层特征有：Set_胡子＝{短胡子F₁₀、山羊胡F₁₁、八字胡F₁₂、连鬓胡F₁₃},Set_头发＝{刘海F₁₄、染发F₁₅、卷发F₁₆}，对应的W₁₀＝1，W₁₁＝1，W₁₂＝1，W₁₃＝1，W₁₄＝0.3，W₁₅＝0.4，W₁₆＝0.3，本发明方法在设置中可以方便地针对不同须发类型进行补充训练计算以及权重的修改；

6)对着装特征中的衬衫、T恤等各类服饰特征进行预处理，分别得到两个特征集合Set_服装、Set_配饰，Set_配饰按照配饰是否属于正式着装配饰进一步分为Set_{非正式配饰}和Set_正式配饰，基于处理后的底层特征计算着装正式度特征D₆，具体计算公式为：

其中W_服装+∑_j{W_j|F_j∈Set_配饰}＝1，即服装权重和配置权重之和为1，保证着装正式度特征D6的范围在[0,1]。atan为Arctangent函数，std为特征的标准差函数，W_i、W_j为对应特征置信度F_i、F_j的权重值，W_正式为正式服饰的计算权重；本实施例的着装底层特征有：Set_服装＝{衬衫F₁₇、T恤F₁₈、短裙F₁₉},Set_配饰＝{戴领带F₂₀、戴帽子F₂₁}，对应的W_服装＝0.7，W₁₇＝1，W₁₈＝0.6，W₁₉＝0.4，W₂₀＝0.2，W₂₁＝0.1；本发明方法下，后续可以方便地进行针对不同服装和配饰类型的补充训练计算以及权重的修改，若候选人服装类型还未包含在底层特征模型中，未能识别，则各类服装特征置信度较低(小于0.5)，根据计算公式模型讲给候选人服装部分打分为中值0.5分。

上述2)-6)中所述的预处理指：对视频帧序列中每个图像计算出的特征置信度计算平均值，得到针对整个视频的特征置信度F_i。

5.将上述两种底层静态视觉特征张量分别输入两个LSTM时序分析模块进一步编码为人脸时序特征和着装时序特征，时序分析模块的网络结构见图2、3，说明如下：

1)网络输入：输入层为前述CNN表征网络得到的帧级原始特征张量，所有特征列都要进行标准化，公式为：

norm(x)＝(x-mean(x))/std(x)

其中x为一类特征的具体实例值，mean(x)表示该类特征在所有训练样本上的均值，std(x)表示该类特征在所有训练样本上的方差；

2)网络设置：LSTM隐藏层设置64个长期状态单元64个输出单元，最长限制为256个时序数据；

3)训练方案：将最后一个时序输出单元的64维向量并入第6步中的神经网络进行端对端的训练。

6.对于计算得到的底层视觉特征和高层语义特征数据进行标准化后，使用3层全连接网络进行深度学习，得出精确的评估形象仪表等级，其结构见图4，具体训练过程为：

1)标签处理：根据历史数据中各个候选人的形象仪表得分高低，将形象仪表分为5类等级(下、中下、中、中上、上)；

2)网络输入：输入层为前述底层特征和高层特征相连接而得，所有特征列都要进行标准化，公式为

其中x为一类特征的具体实例值，

表示该类特征在所有训练样本上的均值，std(x)表示该类特征在所有训练样本上的方差；

3)网络隐藏层：使用3层全连接神经网络模型进行拟合训练，两层隐藏层各有1024个单元，激活函数为ReLU，输出层有5个输出值，使用softmax激活，分别代表5类形象仪表的置信度；

4)全连接网络训练过程及参数：

a)训练采用小批量训练法，其中batchsize＝64；

b)迭代次数epoch＝300；

c)多阶段学习率调整，初始学习率lr＝0.001，milestones＝[120,180,240]，调整率为每次调整为当前学习率的五分之一，即乘以gamma＝0.2；

d)采用动量优化法，其中momentum＝0.9；

e)采用权重衰减缓解过拟合，其中weight decay＝0.002；

f)损失函数使用cross entropy loss交叉熵误差；

g)梯度反向传播方法为SGD随机梯度下降。

本发明提供一种适用于智能面试的形象仪表维度评价装置，包括用分布式函数计算进行部署的数据处理模块，数据处理模块的输入为候选者面试视频，输出为形象仪表维度评价信息，数据处理模块中配置有形象仪表评估模型，形象仪表评估模型由上述方法训练得到，并执行所述评价方法。

Claims (8)

1.一种用于智能面试的形象仪表维度评价方法，其特征是采集候选人面试视频，从面试视频中抽取视频帧，利用基于分布式函数计算服务实现对面试视频数据的并行处理计算，通过基于深度神经网络的多阶段特征提取获得层次式特征表示，首先对视频帧进行人脸检测，获得面试者在视频帧中的脸部图像区域，将所得脸部图像区域输入预训练的基于CNN的人脸属性识别模型，获得面试者脸部区域的底层静态视觉特征张量和人脸属性置信度；同时将视频帧输入预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；再将所述两种底层静态视觉特征张量分别输入两个LSTM进一步编码为时序特征，得到视频级底层视觉特征；结合先验知识规则对人脸属性置信度和着装属性置信度生成高层语义特征，将底层视觉特征和高层语义特征标准化后输入全连接神经网络进行训练，得到评估网络模型，用于评估形象仪表等级。

2.根据权利要求1所述一种用于智能面试的形象仪表维度评价方法，其特征是对采集的面试视频进行抽样采帧，每隔k帧采集一帧，进而为一个视频生成一个帧序列。

3.根据权利要求1所述一种用于智能面试的形象仪表维度评价方法，其特征是提取面试者脸部区域的视觉特征张量和人脸属性置信度具体为：

1)对视频帧序列中每个图像用轻量CNN模型：Ultra-Light-Fast-Generic-Face-Detector检测人脸区域，并将人脸区域从原图中裁剪出来用于后续计算；

2)将剪裁处理后的图像使用VGG19神经网络模型进行针对人脸属性的训练学习，拟合计算出面部区域的静态视觉特征张量；

3)将面部静态视觉特征张量输入多个预训练的人脸属性识别模型，得到人脸属性的置信度，人脸属性包括涉及人物形象判断的特征。

4.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是获得面试者着装的静态视觉特征张量和着装属性置信度具体为：

1)对视频帧用ResNet神经网络模型进行针对人身着装特征的训练学习，再拟合得到着装的视觉静态特征张量；

2)将着装的底层静态视觉特征张量输入预训练的多分类模型，拟合得到多种着装类型的置信度。

5.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是高层语义特征具体为：

1)对底层视觉特征中的人脸属性用回归网络进行回归训练和拟合，得到颜值的置信度得分作为颜值特征D₁的结果；

2)对人脸属性中的眼袋、发际线后移、秃头的特征进行预处理，分别对应得到特征置信度F₁、F₂、F₃，计算健康值子维度D₂，具体计算公式为：

其中atan为Arctangent函数，std为特征的标准差函数，W_i为根据先验知识设置的权重，W₁＝0.4，W₂＝0.3，W₃＝0.3；

3)对人脸属性中的化妆浓淡和涂口红的特征进行预处理，分别对应得到特征置信度F₄、F₅，计算妆容程度特征D₃，具体计算公式为：

其中W₄＝0.5，W₅＝0.5；

4)对人脸属性中的戴耳环、戴帽子、戴项链和戴领带的特征进行预处理，分别对应得到特征置信度F₆、F₇、F₈、F₉，计算配饰特征D₄，具体计算公式为：

其中W₆＝0.3，W₇＝0.2，W₈＝0.3，W₉＝0.2；

5)对人脸属性中的各类胡子和各类发型置信度特征进行预处理，分别得到两个特征集合Set_胡子、Set_头发，计算须发整洁度特征D₅，具体计算公式为：

D₅＝0.5×D_胡子+0.5×D_头发

其中max为取最大值函数，W_i为对应特征置信度F_i的权重值；

6)对着装特征中的各类服饰特征进行预处理，分别得到两个特征集合Set_服装、Set_配饰，Set_配饰按照配饰是否属于正式着装配饰进一步分为Set_{非正式配饰}和Set_正式配饰，基于处理后的底层特征计算着装正式度特征D₆，具体计算公式为：

其中W_服装+∑_j{W_j|F_i∈Set_配饰}＝1，atan为Arctangent函数，std为特征的标准差函数，W_i、W_j为对应F_i、F_j的权重值，W_正式为正式服饰的计算权重；

若候选人服装类型未能识别，则给候选人服装特征置信度设为中值0.5分；

2)-6)中所述的预处理指：对视频帧序列中每个图像计算出的特征得分或置信度计算平均值，得到针对整个视频的特征得分或置信度F_i。

6.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是编码时序特征具体为：将所有视频特征以线性连接的方式，每一帧的所有特征合并为一个张量，以帧为单位顺序输入LSTM时序分析模块，得到视频时序特征张量。

7.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是全连接神经网络进行拟合训练具体为：根据历史面试视频数据的视觉时序特征和高层特征信息训练神经网络拟合模型，得到形象仪表等级分类器，将形象仪表分为5类等级，所述神经网络为全连接神经网络模型，对新的面试者面试视频获取特征信息，输入神经网络拟合模型，自动得到形象仪表维度评价。

8.一种用于智能面试的形象仪表维度评价装置，其特征是包括基于分布式函数计算搭建的数据处理模块，数据处理模块的输入为候选者面试视频，输出为形象仪表维度评价信息，数据处理模块中配置有形象仪表评估模型，形象仪表评估模型由权利要求1-7任一项所述的方法训练得到，并执行所述评价方法。

Images