CN112818739A - 一种用于智能面试的形象仪表维度评价方法及装置 - Google Patents
一种用于智能面试的形象仪表维度评价方法及装置 Download PDFInfo
- Publication number
- CN112818739A CN112818739A CN202011591711.2A CN202011591711A CN112818739A CN 112818739 A CN112818739 A CN 112818739A CN 202011591711 A CN202011591711 A CN 202011591711A CN 112818739 A CN112818739 A CN 112818739A
- Authority
- CN
- China
- Prior art keywords
- face
- visual
- feature
- features
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 230000003068 static effect Effects 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims abstract 5
- 238000012549 training Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000013210 evaluation model Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 201000004384 Alopecia Diseases 0.000 claims description 3
- 238000012300 Sequence Analysis Methods 0.000 claims description 3
- 230000003370 grooming effect Effects 0.000 claims description 3
- 230000003676 hair loss Effects 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 230000007115 recruitment Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 235000001553 Betula platyphylla Nutrition 0.000 description 1
- 241001313086 Betula platyphylla Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Geometry (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
一种用于智能面试的形象仪表维度评价方法及装置，从面试视频中抽取视频帧，基于深度神经网络多阶段特征提取获得层次式特征表示，通过预训练的基于CNN的人脸属性识别模型获得面试者脸部的底层静态视觉特征张量和人脸属性置信度；通过预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；两种底层静态视觉特征张量分别获取时序特征作为底层视觉特征；利用先验知识对人脸属性置信度和着装属性置信度生成高层语义特征；将底层视觉特征和高层语义特征标准化后输入全连接神经网络，实现形象仪表等级的自动评估。本发明解决面试中形象仪表打分的主观偏差和时间成本问题，实现对大量面试视频快速并准确的形象仪表评估。
Description
技术领域
本发明属于人工智能技术领域，涉及对视频视觉信息的特征抽取和深层维度的机器学习，用于对面试候选人进行形象仪表的等级评估，用函数计算方式进行数据模型的分布式部署，为一种用于智能面试的形象仪表维度评价方法及装置。
背景技术
技术发展给AI招聘工具带来了新的发展契机，同时从长期来看，大部分企业都有降本增效需求，减少在招聘中的人力投入，提升效率是其中重要一环。对于标准明确、对候选人要求偏低的岗位，AI面试通过设定标准化问题就可以判断候选人是否满足要求。对于高要求岗位，通过AI面试可以对候选人进行初筛，从而减轻面试官后续的面试量，大大降低人工成本。
面试的重要衡量标准之一就是形象仪表。例如杂乱的须发说明这个人的整洁习惯欠佳，正式的着装说明了对自己的要求和对面试的重视度，而业务人员往往代表着公司的形象，因此形象仪表成为评估候选人胜任力的重要维度之一。在提高面试效率的同时，如何保障面试质量成为核心。面对海量候选人，面试需要花费大量时间进行评估，而且即便是经验丰富的面试官也难免会因为疲劳、情绪、审美等主观因素造成评估偏差。除了招聘效率低下，招聘误差也可能对企业组织管理、业务发展和人力成本等各方面带来不小的负面影响。
现有的线上面试系统大多仅仅提供了最基础的判断能力，只能从地区、职位、学历等简单、浅层的维度用基于规则的方法呈现候选人的情况，智能性较差，难以高效地替代面试官的工作，而现有的AI面试系统大多将智能技术的重点放在自然语言处理上，仅对面试过程中的回答文本进行分析，而忽略了或只是很浅层地探究视觉上的人物特征，这样的产品无法深度挖掘面试视频所包含的丰富信息，无法全面多维地呈现候选人的胜任能力，进而无法科学、精准地解决目前招聘流程所存在的问题和需求。
而在智能评价装置方面，由于深度学习的网络结构庞大，具有计算消耗大和参数占用内存多等落地问题，而传统的单体存在应用效率低、容错性差、配置难以管理、需要冷更新等问题，不适用智能面试的形象仪表评价。
发明内容
本发明要解决的问题是：解决现有线上面试系统在视觉形象仪表方面的评估缺口和分析不够精准合理的问题，目的是通过自动化流程和智能化工具对面试中的人才形象仪表维度进行快速、精准的评估，提升面试效率和评估质量。
本发明的技术方案为：一种用于智能面试的形象仪表维度评价方法，采集候选人面试视频，从面试视频中抽取视频帧，利用基于分布式函数计算服务实现对面试视频数据的并行处理计算，通过基于深度神经网络的多阶段特征提取获得层次式特征表示，首先对视频帧进行人脸检测，获得面试者在视频帧中的脸部图像区域，将所得脸部图像区域输入预训练的基于CNN的人脸属性识别模型，获得面试者脸部区域的底层静态视觉特征张量和人脸属性置信度；同时将视频帧输入预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；再将所述两种底层静态视觉特征张量分别输入两个LSTM进一步编码为时序特征，得到视频级底层视觉特征；结合先验知识规则对人脸属性置信度和着装属性置信度生成高层语义特征，将底层视觉特征和高层语义特征标准化后输入全连接神经网络进行训练，得到评估网络模型，用于评估形象仪表等级。
本发明还提供一种用于智能面试的形象仪表维度评价装置，包括使用分布式函数计算服务搭建的数据处理模块，数据处理模块的输入为候选者面试视频，输出为形象仪表维度评价信息，数据处理模块中配置有形象仪表评估模型，形象仪表评估模型由上述方法训练得到，并执行所述评价方法。
本发明的有益效果是：通过自动化流程和深度学习技术，对面试视频提取具有良好可解释性的层次式特征表示用于产生对面试者形象仪表的综合评价。第一，现有的智能评价方法大多仅依赖底层感知特征，本发明所提出的层次式特征综合了底层感知特征和高层认知特征，能够为面试者形象仪表形成更加完整的表征；第二，现有智能评价方法大多仅依赖与对静态视频帧的分析，本发明利用LSTM网络进一步抽取时序特征，以此捕捉面试者在面试过程中的动态行为信息；第三，现有智能评价方法大多仅使用单个深度学习模型进行特征提取，本发明使用分布式函数计算服务搭建系统，使本发明能够使用多个深度学习模型进行多种特征提取，使系统具备良好的性能和可扩展性。本发明实现的基于层次式特征表示的形象仪表评价方法能够捕捉到面试者更全面的信息，有助于产生更客观的评价供面试官进行进一步判断，有效降低面试的时间成本，减少主观因素对面试的影响，同时提升了评估效率和质量，具有良好的实用性。
附图说明
图1为本发明的实施流程图。
图2为本发明的面部时序特征训练的结构图。
图3为本发明的着装时序特征训练的结构图。
图4为本发明的最终评分分类神经网络结构图。
具体实施方式
本发明提出了一种用于智能面试的形象仪表维度评价方法及装置，如图1所示，采集候选人面试视频，从面试视频中抽取视频帧序列，通过基于深度神经网络的多阶段特征提取模型获得具备良好可解释性的层次式特征表示，用于产生面试者形象仪表维度的综合评价。首先对视频帧进行人脸检测，获得面试者在视频帧中的脸部图像区域并将其进行裁剪，接着，将从每一帧裁剪下来的脸部图像区域输入预训练的基于CNN的人脸属性识别模型，获得面试者脸部区域的底层静态视觉特征张量和人脸属性置信度；将每一个视频帧输入预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；再将上述两种底层静态视觉特征张量分别输入两个LSTM进一步编码为时序特征，得到包含丰富形象仪表信息的视频级底层视觉特征；用一组基于先验知识的规则对上述人脸属性置信度和着装属性置信度生成高层语义特征，包括颜值、健康值、妆容、配饰、须发整洁度、着装正式度。将上述底层视觉特征和高层语义特征标准化后输入全连接神经网络，实现智能量化评估形象仪表等级；系统使用分布式函数计算服务搭建，形成弹性高效的适用于智能面试的形象仪表评价系统。
下面结合本发明实施例及附图，对本发明实例中的技术方案进行清楚、完整地描述，所描述的实例仅仅是本发明的一部分实例，而不是全部的实例。基于本发明的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本发明的保护范围。本发明的具体实施包括以下步骤：
1.对输入的面试视频进行预处理，每隔k帧采集一帧，进而为一个视频生成一个图像序列；
2.对于预处理后得到的帧序列中的每一张图像，用CNN模型提取面试者脸部区域的视觉特征张量和人脸属性置信度，具体如下：
1)对视频帧序列中每个图像用轻量CNN模型：Ultra-Light-Fast-Generic-Face-Detector检测人脸区域，并将人脸区域从原图中裁剪出来用于后续计算，检测过程仅需4ms；
2)将剪裁处理后的图像使用VGG19神经网络模型进行针对人脸属性的训练学习，拟合计算出面部区域的静态视觉特征张量；
3)将面部静态视觉特征张量输入多个预训练的人脸属性识别模型，得到人脸属性的置信度，人脸属性包括涉及人物形象判断的多项特征，包括眼袋、大鼻子、涂口红、秃顶、金发等。
3.对于帧序列中的每一张图像，用CNN模型获得面试者着装的底层静态视觉特征张量和着装属性置信度，具体如下：
1)对视频帧序列中的每个图像用ResNet神经网络模型进行针对人身着装特征的训练学习，再拟合得到着装的视觉静态特征张量；
2)将着装底层静态视觉特征张量输入预训练的多分类模型，拟合得到多种着装类型的置信度，包括衬衫、T恤、短裙等。
4.对于上述生成的基于帧的人脸属性置信度和着装属性置信度，根据先验知识规则进一步生成高层语义特征，针对不同招聘需求可以一定程度上自定义高层特征和其对应的中级特征的权重参数，现已根据常用评价标准发明包含7个方面的高层特征，具体如下：
1)对网络输出的底层特征中的人脸属性用回归网络进行回归训练和拟合，得到颜值的得分作为颜值特征D1的结果；
2)对人脸属性中的眼袋、发际线后移、秃头特征进行预处理，分别得到F1、F2、F3，再进一步计算健康值子维度D2，具体计算公式为：
其中atan为Arctangent函数，std为特征的标准差函数，Wi为根据先验知识规则设置的权重，本实施例中W1＝0.4，W2＝0.3，W3＝0.3；
3)对人脸属性中的化妆浓淡和涂口红特征进行预处理，分别得到F4、F5，再进一步计算妆容程度特征D3，具体计算公式为：
其中W4＝0.5，W5＝0.5；
4)对人脸属性中的戴耳环、戴帽子、戴项链和戴领带特征进行预处理，分别得到F6、F7、F8、F9，再进一步计算配饰特征D4，具体计算公式为：
其中W6＝0.3，W7＝0.2，W8＝0.3，W9＝0.2；
5)对人脸属性中的各类胡子和各类发型置信度特征进行预处理，分别得到两个特征集合Set胡子、Set头发，计算须发整洁度特征D5，具体计算公式为：
D5＝0.5×D胡子+0.5×D头发
其中max为取最大值函数，Wi为特征Fi的权重值；本实施例的须发底层特征有：Set胡子＝{短胡子F10、山羊胡F11、八字胡F12、连鬓胡F13},Set头发＝{刘海F14、染发F15、卷发F16}，对应的W10＝1，W11＝1，W12＝1，W13＝1，W14＝0.3，W15＝0.4，W16＝0.3，本发明方法在设置中可以方便地针对不同须发类型进行补充训练计算以及权重的修改；
6)对着装特征中的衬衫、T恤等各类服饰特征进行预处理，分别得到两个特征集合Set服装、Set配饰，Set配饰按照配饰是否属于正式着装配饰进一步分为Set非正式配饰和Set正式配饰，基于处理后的底层特征计算着装正式度特征D6，具体计算公式为：
其中W服装+∑j{Wj|Fj∈Set配饰}＝1，即服装权重和配置权重之和为1，保证着装正式度特征D6的范围在[0,1]。atan为Arctangent函数，std为特征的标准差函数，Wi、Wj为对应特征置信度Fi、Fj的权重值，W正式为正式服饰的计算权重；本实施例的着装底层特征有：Set服装＝{衬衫F17、T恤F18、短裙F19},Set配饰＝{戴领带F20、戴帽子F21}，对应的W服装＝0.7，W17＝1，W18＝0.6，W19＝0.4，W20＝0.2，W21＝0.1；本发明方法下，后续可以方便地进行针对不同服装和配饰类型的补充训练计算以及权重的修改，若候选人服装类型还未包含在底层特征模型中，未能识别，则各类服装特征置信度较低(小于0.5)，根据计算公式模型讲给候选人服装部分打分为中值0.5分。
上述2)-6)中所述的预处理指：对视频帧序列中每个图像计算出的特征置信度计算平均值，得到针对整个视频的特征置信度Fi。
5.将上述两种底层静态视觉特征张量分别输入两个LSTM时序分析模块进一步编码为人脸时序特征和着装时序特征，时序分析模块的网络结构见图2、3，说明如下：
1)网络输入：输入层为前述CNN表征网络得到的帧级原始特征张量，所有特征列都要进行标准化，公式为：
norm(x)＝(x-mean(x))/std(x)
其中x为一类特征的具体实例值，mean(x)表示该类特征在所有训练样本上的均值，std(x)表示该类特征在所有训练样本上的方差；
2)网络设置：LSTM隐藏层设置64个长期状态单元64个输出单元，最长限制为256个时序数据；
3)训练方案：将最后一个时序输出单元的64维向量并入第6步中的神经网络进行端对端的训练。
6.对于计算得到的底层视觉特征和高层语义特征数据进行标准化后，使用3层全连接网络进行深度学习，得出精确的评估形象仪表等级，其结构见图4，具体训练过程为：
1)标签处理：根据历史数据中各个候选人的形象仪表得分高低，将形象仪表分为5类等级(下、中下、中、中上、上)；
2)网络输入：输入层为前述底层特征和高层特征相连接而得，所有特征列都要进行标准化，公式为
其中x为一类特征的具体实例值，
表示该类特征在所有训练样本上的均值，std(x)表示该类特征在所有训练样本上的方差；
3)网络隐藏层：使用3层全连接神经网络模型进行拟合训练，两层隐藏层各有1024个单元，激活函数为ReLU，输出层有5个输出值，使用softmax激活，分别代表5类形象仪表的置信度；
4)全连接网络训练过程及参数：
a)训练采用小批量训练法，其中batchsize＝64；
b)迭代次数epoch＝300；
c)多阶段学习率调整，初始学习率lr＝0.001，milestones＝[120,180,240]，调整率为每次调整为当前学习率的五分之一，即乘以gamma＝0.2；
d)采用动量优化法，其中momentum＝0.9；
e)采用权重衰减缓解过拟合，其中weight decay＝0.002；
f)损失函数使用cross entropy loss交叉熵误差；
g)梯度反向传播方法为SGD随机梯度下降。
本发明提供一种适用于智能面试的形象仪表维度评价装置，包括用分布式函数计算进行部署的数据处理模块，数据处理模块的输入为候选者面试视频，输出为形象仪表维度评价信息，数据处理模块中配置有形象仪表评估模型，形象仪表评估模型由上述方法训练得到，并执行所述评价方法。
Claims (8)
1.一种用于智能面试的形象仪表维度评价方法，其特征是采集候选人面试视频，从面试视频中抽取视频帧，利用基于分布式函数计算服务实现对面试视频数据的并行处理计算，通过基于深度神经网络的多阶段特征提取获得层次式特征表示，首先对视频帧进行人脸检测，获得面试者在视频帧中的脸部图像区域，将所得脸部图像区域输入预训练的基于CNN的人脸属性识别模型，获得面试者脸部区域的底层静态视觉特征张量和人脸属性置信度；同时将视频帧输入预训练的基于CNN的着装识别模型，获得面试者着装的底层静态视觉特征张量和着装属性置信度；再将所述两种底层静态视觉特征张量分别输入两个LSTM进一步编码为时序特征，得到视频级底层视觉特征；结合先验知识规则对人脸属性置信度和着装属性置信度生成高层语义特征，将底层视觉特征和高层语义特征标准化后输入全连接神经网络进行训练，得到评估网络模型，用于评估形象仪表等级。
2.根据权利要求1所述一种用于智能面试的形象仪表维度评价方法，其特征是对采集的面试视频进行抽样采帧，每隔k帧采集一帧，进而为一个视频生成一个帧序列。
3.根据权利要求1所述一种用于智能面试的形象仪表维度评价方法，其特征是提取面试者脸部区域的视觉特征张量和人脸属性置信度具体为：
1)对视频帧序列中每个图像用轻量CNN模型：Ultra-Light-Fast-Generic-Face-Detector检测人脸区域，并将人脸区域从原图中裁剪出来用于后续计算；
2)将剪裁处理后的图像使用VGG19神经网络模型进行针对人脸属性的训练学习，拟合计算出面部区域的静态视觉特征张量；
3)将面部静态视觉特征张量输入多个预训练的人脸属性识别模型，得到人脸属性的置信度，人脸属性包括涉及人物形象判断的特征。
4.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是获得面试者着装的静态视觉特征张量和着装属性置信度具体为：
1)对视频帧用ResNet神经网络模型进行针对人身着装特征的训练学习，再拟合得到着装的视觉静态特征张量；
2)将着装的底层静态视觉特征张量输入预训练的多分类模型，拟合得到多种着装类型的置信度。
5.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是高层语义特征具体为：
1)对底层视觉特征中的人脸属性用回归网络进行回归训练和拟合，得到颜值的置信度得分作为颜值特征D1的结果；
2)对人脸属性中的眼袋、发际线后移、秃头的特征进行预处理，分别对应得到特征置信度F1、F2、F3，计算健康值子维度D2，具体计算公式为：
其中atan为Arctangent函数，std为特征的标准差函数，Wi为根据先验知识设置的权重，W1＝0.4，W2＝0.3，W3＝0.3；
3)对人脸属性中的化妆浓淡和涂口红的特征进行预处理，分别对应得到特征置信度F4、F5，计算妆容程度特征D3，具体计算公式为：
其中W4＝0.5，W5＝0.5；
4)对人脸属性中的戴耳环、戴帽子、戴项链和戴领带的特征进行预处理，分别对应得到特征置信度F6、F7、F8、F9，计算配饰特征D4，具体计算公式为：
其中W6＝0.3，W7＝0.2，W8＝0.3，W9＝0.2；
5)对人脸属性中的各类胡子和各类发型置信度特征进行预处理，分别得到两个特征集合Set胡子、Set头发，计算须发整洁度特征D5，具体计算公式为：
D5＝0.5×D胡子+0.5×D头发
其中max为取最大值函数，Wi为对应特征置信度Fi的权重值；
6)对着装特征中的各类服饰特征进行预处理，分别得到两个特征集合Set服装、Set配饰，Set配饰按照配饰是否属于正式着装配饰进一步分为Set非正式配饰和Set正式配饰，基于处理后的底层特征计算着装正式度特征D6，具体计算公式为：
其中W服装+∑j{Wj|Fi∈Set配饰}＝1，atan为Arctangent函数，std为特征的标准差函数，Wi、Wj为对应Fi、Fj的权重值，W正式为正式服饰的计算权重；
若候选人服装类型未能识别，则给候选人服装特征置信度设为中值0.5分；
2)-6)中所述的预处理指：对视频帧序列中每个图像计算出的特征得分或置信度计算平均值，得到针对整个视频的特征得分或置信度Fi。
6.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是编码时序特征具体为：将所有视频特征以线性连接的方式，每一帧的所有特征合并为一个张量，以帧为单位顺序输入LSTM时序分析模块，得到视频时序特征张量。
7.根据权利要求1所述的一种用于智能面试的形象仪表维度评价方法，其特征是全连接神经网络进行拟合训练具体为：根据历史面试视频数据的视觉时序特征和高层特征信息训练神经网络拟合模型，得到形象仪表等级分类器，将形象仪表分为5类等级，所述神经网络为全连接神经网络模型，对新的面试者面试视频获取特征信息，输入神经网络拟合模型，自动得到形象仪表维度评价。
8.一种用于智能面试的形象仪表维度评价装置，其特征是包括基于分布式函数计算搭建的数据处理模块，数据处理模块的输入为候选者面试视频，输出为形象仪表维度评价信息，数据处理模块中配置有形象仪表评估模型，形象仪表评估模型由权利要求1-7任一项所述的方法训练得到，并执行所述评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011591711.2A CN112818739A (zh) | 2020-12-29 | 2020-12-29 | 一种用于智能面试的形象仪表维度评价方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011591711.2A CN112818739A (zh) | 2020-12-29 | 2020-12-29 | 一种用于智能面试的形象仪表维度评价方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112818739A true CN112818739A (zh) | 2021-05-18 |
Family
ID=75855680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011591711.2A Pending CN112818739A (zh) | 2020-12-29 | 2020-12-29 | 一种用于智能面试的形象仪表维度评价方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818739A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114879702A (zh) * | 2022-07-06 | 2022-08-09 | 季华实验室 | 多智能体巡检控制方法、装置、系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636755A (zh) * | 2015-01-31 | 2015-05-20 | 华南理工大学 | 一种基于深度学习的人脸美丽评价方法 |
| CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
| CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
| CN111833010A (zh) * | 2020-06-12 | 2020-10-27 | 北京网聘咨询有限公司 | 一种智能面试方法、系统、设备和存储介质 |
| CN112001628A (zh) * | 2020-08-24 | 2020-11-27 | 河北冀联人力资源服务集团有限公司 | 智能面试视频的推荐方法 |
-
2020
- 2020-12-29 CN CN202011591711.2A patent/CN112818739A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636755A (zh) * | 2015-01-31 | 2015-05-20 | 华南理工大学 | 一种基于深度学习的人脸美丽评价方法 |
| CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
| CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
| CN111833010A (zh) * | 2020-06-12 | 2020-10-27 | 北京网聘咨询有限公司 | 一种智能面试方法、系统、设备和存储介质 |
| CN112001628A (zh) * | 2020-08-24 | 2020-11-27 | 河北冀联人力资源服务集团有限公司 | 智能面试视频的推荐方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114879702A (zh) * | 2022-07-06 | 2022-08-09 | 季华实验室 | 多智能体巡检控制方法、装置、系统、设备及介质 |
| CN114879702B (zh) * | 2022-07-06 | 2022-09-30 | 季华实验室 | 多智能体巡检控制方法、装置、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443189B (zh) | 基于多任务多标签学习卷积神经网络的人脸属性识别方法 | |
| Li et al. | Data-free prior model for facial action unit recognition | |
| CN107506722A (zh) | 一种基于深度稀疏卷积神经网络人脸情感识别方法 | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| Tio | Face shape classification using inception v3 | |
| CN107256392A (zh) | 一种联合图像、语音的全面情绪识别方法 | |
| CN109635727A (zh) | 一种人脸表情识别方法及装置 | |
| CN109902912B (zh) | 一种基于性格特征的个性化图像美学评价方法 | |
| CN102254180A (zh) | 一种基于几何特征的人脸美感分析方法 | |
| Gan et al. | Facial beauty prediction based on lighted deep convolution neural network with feature extraction strengthened | |
| Ferrer et al. | Static and dynamic synthesis of Bengali and Devanagari signatures | |
| CN110889335B (zh) | 基于多通道时空融合网络人体骨架双人交互行为识别方法 | |
| CN101021926A (zh) | 一种个性化形象设计平台及用其进行设计的方法 | |
| CN112818739A (zh) | 一种用于智能面试的形象仪表维度评价方法及装置 | |
| CN113936317A (zh) | 一种基于先验知识的人脸表情识别方法 | |
| Boncolmo et al. | Gender Identification Using Keras Model Through Detection of Face | |
| Ingole et al. | Automatic age estimation from face images using facial features | |
| CN109214286A (zh) | 基于深度神经网络多层特征融合的人脸识别方法 | |
| Dembani et al. | UNSUPERVISED FACIAL EXPRESSION DETECTION USING GENETIC ALGORITHM. | |
| CN115393930A (zh) | 一种基于三分支卷积神经网络的表情识别方法 | |
| CN109509144B (zh) | 一种基于对抗生成网络的与职业相关的人脸老化方法 | |
| Rehkha | Differentiating monozygotic twins by facial features | |
| CN110879966A (zh) | 一种基于人脸识别与图像处理的学生听课理解度评估方法 | |
| Naveen et al. | Mental Health Monitor using Facial Recognition | |
| Alamri et al. | Facial profiles recognition using comparative facial soft biometrics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |