CN112884326A - 一种多模态分析的视频面试评估方法、装置和存储介质 - Google Patents

一种多模态分析的视频面试评估方法、装置和存储介质 Download PDF

Info

Publication number
CN112884326A
CN112884326A CN202110199099.2A CN202110199099A CN112884326A CN 112884326 A CN112884326 A CN 112884326A CN 202110199099 A CN202110199099 A CN 202110199099A CN 112884326 A CN112884326 A CN 112884326A
Authority
CN
China
Prior art keywords
score
head
analysis
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110199099.2A
Other languages
English (en)
Inventor
巨琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Aishi Intelligent Technology Co ltd
Original Assignee
Wuxi Aishi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Aishi Intelligent Technology Co ltd filed Critical Wuxi Aishi Intelligent Technology Co ltd
Priority to CN202110199099.2A priority Critical patent/CN112884326A/zh
Publication of CN112884326A publication Critical patent/CN112884326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多模态分析的视频面试评估方法，包括以下步骤：接收应聘具体岗位的面试者在面试时的短视频；提取短视频中的音频数据和视频数据；通过提取音频数据的梅尔频率倒谱系数做为基于语音分析的表达能力评估模型的输入，得到基于语音分析的表达能力评估得分；通过对视频数据进行分析，作为个人基础属性的职业匹配模型、形象职业度评估模型、动作分析的人格评估模型的输入，分别得到基于个人基础属性的职业匹配度得分，形象职业度得分和基于动作分析的人格评估得分；通过、和，求和得到综合的岗位匹配度得分。本发明可实现海量视频简历中进行快速筛选，提高招聘效率。

Description

一种多模态分析的视频面试评估方法、装置和存储介质
技术领域
本发明涉及视频面试技术领域，尤其是一种多模态分析的视频面试评估方法。
背景技术
面试作为企业人才招聘过程中必经的一个环节，通过组织者的精心设计，包含一轮面试甚至多轮面试，在不同的阶段设定不同的场景，通过面对面的交谈与观察为主要手段，对面试者做由表及里的知识、能力、经验等有关素质的评测。对于求职者而言，传统的当面面试方法缺乏灵活性，尤其是对异地求职者的求职难度则更甚。对于企业而言，不同的面试阶段需要安排特定的面试官，在经济成本和时间成本上都存在着较大的弊端。
随着互联网技术和5G等技术的飞速发展，视频面试逐渐成为当下的一种应聘趋势。同时，将人工智能技术对视频面试者进行初步分析(包括基本属性、衣着职业度、动作分析和语音分析等)，用以判断对当前求职岗位的职业符合程度的量化结果，作为一种人力资源的评估维度。并实现从海量的面试者中快速找到适合岗位的人才，提高人力资源的效率。
发明内容
本发明的目的在于解决当前在招聘时效率低、缺乏灵活性、对招聘者和面试者互动形式依赖度高等问题，提供一种多模态分析的视频面试评估方法和装置，可实现海量视频简历中进行快速筛选，作为一种面试初审的参考，有效提高人力资源在人才招聘时的效率。
作为本发明的第一方面，本发明实施例提出一种多模态分析的视频面试评估方法，包括以下步骤：
接收应聘具体岗位的面试者在面试时的短视频；
提取短视频中的音频数据和视频数据；
通过提取音频数据的梅尔频率倒谱系数做为基于语音分析的表达能力评估模型的输入，得到基于语音分析的表达能力评估得分S1；
通过对视频数据进行分析，作为个人基础属性的职业匹配模型、形象职业度评估模型、动作分析的人格评估模型的输入，分别得到基于个人基础属性的职业匹配度得分S2，形象职业度得分S3和基于动作分析的人格评估得分S4；
通过基于语音分析的表达能力评估得分S1、基于个人基础属性的职业匹配度得分S2、形象职业度得分S3和基于动作分析的人格评估得分S4，求和得到综合的岗位匹配度得分S。
进一步地，所述基于语音分析的表达能力评估模型，通过以下步骤训练得到：
先对音频数据进行均值平滑滤波的预处理；
依据设定的采样频率fs，计算窗口win，计算步长step，提取音频数据的梅尔频率倒谱系数特征；
通过人工评定的标签和对应的梅尔频率倒谱系数特征训练基于语音分析的LSSVM表达能力评估模型。
进一步地，个人基础属性的职业匹配模型建立在性别和年龄的基础上；所述基于个人基础属性的职业匹配度得分S2，通过以下步骤获得：
通过多任务卷积神经网络对视频流关键帧进行人脸检测，得到人脸框和人脸关键点，基于人脸关键点做人脸对齐并标准化裁剪；将标准化的人脸图片输入基于SSR-Net的性别和年龄预测模型，得到多个关键帧的平均预测年龄
Figure BDA0002947888330000021
和预测性别
Figure BDA0002947888330000022
分别代入到对应的个人基础属性的职业匹配模型中得到职业匹配度得分得分
Figure BDA0002947888330000023
Figure BDA0002947888330000024
和
Figure BDA0002947888330000025
分别为年龄和性别的分值权重。
进一步地，形象职业度评估模型建立在穿着和头部仪容的基础上；所述形象职业度得分S3，通过以下步骤获得：
b1)首先训练基于CenterMask的穿着和头部实例分割模型；
b2)通过基于CenterMask的穿着和头部实例分割模型对视频流关键帧进行头部和衣着区域分割；并对背景图像做像素值[255，255，255]填充；
b3)以各自最大边界框对头部和衣着图像分别进行裁剪并归一化；
b4)依据人工评定的标签值将归一化后的头部和衣着图像分别训练基于SSR-Net的形象职业度评估模型；
b5)将归一化后的头部和衣着图像分别输入基于各自属性训练的SSR-Net形象职业度评估模型，得到多关键帧的平均头部形象职业度得分
Figure BDA0002947888330000026
和衣着形象职业度得分
Figure BDA0002947888330000027
依据两者的权重分值综合得到形象职业度分值
Figure BDA0002947888330000028
Figure BDA0002947888330000029
和
Figure BDA00029478883300000210
分别为头部和衣着的分值权重。
进一步地，动作分析的人格评估模型建立在微表情变化和姿态变化的基础上；所述基于动作分析的人格评估得分S4，通过以下步骤获得：
微表情变化以预设单位时间内出现点头、摇头、闭眼、嘴巴开合变化的次数作为动作依据；通过3DDFA_V2算法识别每间隔预设时长内，短视频中面试者的多个人脸关键点；依据眼睛、嘴巴对应的人脸关键点中最大外部轮廓的长宽比变化作为指标，相邻两帧图像中所述长宽比的变化大于设定阈值则认为出现闭眼、嘴巴开合动作；依据人脸关键点计算头部的姿态估计，相邻两帧图像中头部的角度变化大于设定阈值则认为出现点头、摇头动作；
姿态变化以预设单位时间内出现手触碰嘴巴、鼻子、耳朵、头的次数作为动作依据；当手部坐标与人脸关键点中对应嘴巴、鼻子、耳朵或头部位的坐标的欧式距离满足小于设定阈值时，则认为出现相应动作；
依据心理学释义分配对应岗位在微表情变化和姿态变化上的权重分值，得到基于动作分析的人格评估分值S4。
作为本发明的第二方面，本发明实施例还提出一种多模态分析的视频面试评估装置，包括：
存储器，存储有计算机程序；
处理器，用于运行所述计算机程序，所述计算机程序运行时执行如前文所述的方法的步骤。
作为本发明的第三方面，本发明实施例还提出一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被配置为运行时执行如前文所述的方法的步骤。
本发明的优点在于：本发明以多个模型的评估综合得分作为岗位匹配度的量化结果。本发明从面试人语言表达能力、基础属性、形象职业度和人格四种维度来实现面试者对当前岗位匹配度的评估。该方法可实现海量视频简历中进行快速的筛选，作为一种面试初审的参考，有效提高人力资源在人才招聘时的效率。
附图说明
图1为本发明实施例中一种多模态分析的视频面试评估方法的流程图。
图2为本发明实施例中通过各模型进行评估的详细过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
作为本发明的第一方面，本发明的实施例提出一种多模态分析的视频面试评估方法(以下简称评估方法)，包括以下步骤：
步骤S1，接收应聘具体岗位的面试者在面试时的短视频；
面试者可以通过安装在手机或电脑上的招聘软件客户端选择应聘的具体岗位，招聘软件客户端启动手机或电脑上的摄像头，并打开麦克风，记录面试者在面试时的短视频并上传至服务器端进行分析；本发明实施例中提出的评估方法，以计算机程序的形式在服务器端实现；
步骤S2，提取短视频中的音频数据和视频数据；
步骤S3，通过提取音频数据的梅尔频率倒谱系数(MFCC)做为基于语音分析的表达能力评估模型的输入，得到基于语音分析的表达能力评估得分S1；
所述基于语音分析的表达能力评估模型可通过以下训练过程获得：
a1)先对音频数据进行3×3的均值平滑滤波的预处理；
a2)依据采样频率fs＝16000Hz，计算窗口win＝0.05，计算步长step＝0.05，提取音频数据的梅尔频率倒谱系数特征；
a3)通过人工评定的标签和对应的梅尔频率倒谱系数特征训练基于语音分析的LSSVM(最小二乘支持向量机)表达能力评估模型；
基于语音分析的LSSVM表达能力评估模型训练完成后，将提取的音频数据的梅尔频率倒谱系数输入该模型，就可以得到基于语音分析的表达能力评估得分S1；
步骤S4，通过对视频数据进行分析，作为个人基础属性的职业匹配模型、形象职业度评估模型、动作分析的人格评估模型的输入，分别得到基于个人基础属性的职业匹配度得分S2，形象职业度得分S3和基于动作分析的人格评估得分S4；
个人基础属性的职业匹配模型建立在性别和年龄的基础上，针对不同岗位，性别和年龄的权重将有不同的权重划分；
所述基于个人基础属性的职业匹配度得分S2，通过以下步骤获得：
通过多任务卷积神经网络(MTCNN)对视频流关键帧进行人脸检测，得到人脸框和人脸关键点，基于人脸关键点做人脸对齐并标准化裁剪到112×112；将标准化的人脸图片输入基于SSR-Net的性别和年龄预测模型，得到多个关键帧的平均预测年龄
Figure BDA0002947888330000041
和预测性别
Figure BDA0002947888330000042
分别代入到对应的个人基础属性的职业匹配模型中得到职业匹配度得分
Figure BDA0002947888330000043
Figure BDA0002947888330000044
和
Figure BDA0002947888330000045
分别为年龄和性别的分值权重；
形象职业度评估模型建立在穿着和头部仪容的基础上；
所述形象职业度得分S3，通过以下步骤获得：
b1)首先训练基于CenterMask的穿着和头部实例分割模型；
b2)通过基于CenterMask的穿着和头部实例分割模型对视频流关键帧进行头部和衣着区域分割；并对背景图像做像素值[255，255，255]填充；
b3)以各自最大边界框对头部和衣着图像分别进行裁剪并归一化到112×112；
b4)依据人工评定的标签值将归一化后的头部和衣着图像分别训练基于SSR-Net的形象职业度评估模型；
b5)将归一化后的头部和衣着图像分别输入基于各自属性训练的SSR-Net形象职业度评估模型，得到多关键帧的平均头部形象职业度得分
Figure BDA0002947888330000046
和衣着形象职业度得分
Figure BDA0002947888330000047
依据两者的权重分值综合得到形象职业度分值
Figure BDA0002947888330000048
Figure BDA0002947888330000049
和
Figure BDA00029478883300000410
分别为头部和衣着的分值权重；
动作分析的人格评估模型建立在微表情变化和姿态变化的基础上，微表情和姿态变化在心理学中是一种自发式的现象，它在人试图掩盖内在情绪时产生，既无法伪造也无法抑制持续时间在0.5～4s左右。将动作分析应用人格评估，特别是涉及到一些专业问题的回答上，具有一定的正相关意义；
所述基于动作分析的人格评估得分S4，通过以下步骤获得：
微表情变化以预设单位时间内出现点头、摇头、闭眼、嘴巴开合变化的次数作为动作依据；通过3DDFA_V2算法识别每间隔预设时长内，短视频中面试者的68个人脸关键点；依据眼睛、嘴巴对应的人脸关键点中最大外部轮廓的长宽比变化作为指标，相邻两帧图像中所述长宽比的变化大于设定阈值则认为出现闭眼、嘴巴开合动作；依据人脸关键点计算头部的姿态估计，相邻两帧图像中头部的角度变化大于设定阈值则认为出现点头、摇头动作；
姿态变化以预设单位时间内出现手触碰嘴巴、鼻子、耳朵、头的次数作为动作依据；当手部坐标与人脸关键点中对应嘴巴、鼻子、耳朵或头部位的坐标的欧式距离满足小于设定阈值时，则认为出现相应动作；
依据心理学释义分配对应岗位在微表情变化和姿态变化上的权重分值，得到基于动作分析的人格评估分值S4；
步骤S5，综合的岗位匹配度得分S通过基于语音分析的表达能力评估得分S1、基于个人基础属性的职业匹配度得分S2、形象职业度得分S3和基于动作分析的人格评估得分S4，求和得到：
Figure BDA0002947888330000051
作为本发明的第二方面，本发明实施例还提出一种多模态分析的视频面试评估装置，包括：处理器与存储器；所述处理器与存储器之间相互通信，例如通过一种通信总线连接并相互通信；所述存储器中存储有计算机程序；所述处理器用于运行所述计算机程序，所述计算机程序运行时执行如上文所述的方法的步骤；处理器可采用CPU，或者其它通用处理器，数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片或电路的组合；存储器可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如快闪存储器，硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
作为本发明的第三方面，本发明实施例还提出一种存储介质，所述存储介质中存储有计算机程度，所述计算机程序被配置为运行时执行如前文所述的方法的步骤。存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种多模态分析的视频面试评估方法，其特征在于，包括以下步骤：
接收应聘具体岗位的面试者在面试时的短视频；
提取短视频中的音频数据和视频数据；
通过提取音频数据的梅尔频率倒谱系数做为基于语音分析的表达能力评估模型的输入，得到基于语音分析的表达能力评估得分S1；
通过对视频数据进行分析，作为个人基础属性的职业匹配模型、形象职业度评估模型、动作分析的人格评估模型的输入，分别得到基于个人基础属性的职业匹配度得分S2，形象职业度得分S3和基于动作分析的人格评估得分S4；
通过基于语音分析的表达能力评估得分S1、基于个人基础属性的职业匹配度得分S2、形象职业度得分S3和基于动作分析的人格评估得分S4，求和得到综合的岗位匹配度得分S。
2.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，
所述基于语音分析的表达能力评估模型，通过以下步骤训练得到：
先对音频数据进行均值平滑滤波的预处理；
依据设定的采样频率fs，计算窗口win，计算步长step，提取音频数据的梅尔频率倒谱系数特征；
通过人工评定的标签和对应的梅尔频率倒谱系数特征训练基于语音分析的LSSVM表达能力评估模型。
3.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，
个人基础属性的职业匹配模型建立在性别和年龄的基础上；所述基于个人基础属性的职业匹配度得分S2，通过以下步骤获得：
通过多任务卷积神经网络对视频流关键帧进行人脸检测，得到人脸框和人脸关键点，基于人脸关键点做人脸对齐并标准化裁剪；将标准化的人脸图片输入基于SSR-Net的性别和年龄预测模型，得到多个关键帧的平均预测年龄
Figure FDA0002947888320000011
和预测性别
Figure FDA0002947888320000012
分别代入到对应的个人基础属性的职业匹配模型中得到职业匹配度得分得分
Figure FDA0002947888320000013
Figure FDA0002947888320000014
和
Figure FDA0002947888320000015
分别为年龄和性别的分值权重。
4.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，
形象职业度评估模型建立在穿着和头部仪容的基础上；所述形象职业度得分S3，通过以下步骤获得：
b1)首先训练基于CenterMask的穿着和头部实例分割模型；
b2)通过基于CenterMask的穿着和头部实例分割模型对视频流关键帧进行头部和衣着区域分割；并对背景图像做像素值[255，255，255]填充；
b3)以各自最大边界框对头部和衣着图像分别进行裁剪并归一化；
b4)依据人工评定的标签值将归一化后的头部和衣着图像分别训练基于SSR-Net的形象职业度评估模型；
b5)将归一化后的头部和衣着图像分别输入基于各自属性训练的SSR-Net形象职业度评估模型，得到多关键帧的平均头部形象职业度得分
Figure FDA0002947888320000021
和衣着形象职业度得分
Figure FDA0002947888320000022
依据两者的权重分值综合得到形象职业度分值
Figure FDA0002947888320000023
Figure FDA0002947888320000024
和
Figure FDA0002947888320000025
分别为头部和衣着的分值权重。
5.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，
动作分析的人格评估模型建立在微表情变化和姿态变化的基础上；所述基于动作分析的人格评估得分S4，通过以下步骤获得：
微表情变化以预设单位时间内出现点头、摇头、闭眼、嘴巴开合变化的次数作为动作依据；通过3DDFA_V2算法识别每间隔预设时长内，短视频中面试者的多个人脸关键点；依据眼睛、嘴巴对应的人脸关键点中最大外部轮廓的长宽比变化作为指标，相邻两帧图像中所述长宽比的变化大于设定阈值则认为出现闭眼、嘴巴开合动作；依据人脸关键点计算头部的姿态估计，相邻两帧图像中头部的角度变化大于设定阈值则认为出现点头、摇头动作；
姿态变化以预设单位时间内出现手触碰嘴巴、鼻子、耳朵、头的次数作为动作依据；当手部坐标与人脸关键点中对应嘴巴、鼻子、耳朵或头部位的坐标的欧式距离满足小于设定阈值时，则认为出现相应动作；
依据心理学释义分配对应岗位在微表情变化和姿态变化上的权重分值，得到基于动作分析的人格评估分值S4。
6.一种多模态分析的视频面试评估装置，其特征在于，包括：
存储器，存储有计算机程序；
处理器，用于运行所述计算机程序，所述计算机程序运行时执行如权利要求1～5中任一项所述的方法的步骤。
7.一种存储介质，其特征在于，
所述存储介质中存储有计算机程序，所述计算机程序被配置为运行时执行如权利要求1～5中任一项所述的方法的步骤。
CN202110199099.2A 2021-02-23 2021-02-23 一种多模态分析的视频面试评估方法、装置和存储介质 Pending CN112884326A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199099.2A CN112884326A (zh) 2021-02-23 2021-02-23 一种多模态分析的视频面试评估方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110199099.2A CN112884326A (zh) 2021-02-23 2021-02-23 一种多模态分析的视频面试评估方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN112884326A true CN112884326A (zh) 2021-06-01

Family

ID=76056873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110199099.2A Pending CN112884326A (zh) 2021-02-23 2021-02-23 一种多模态分析的视频面试评估方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN112884326A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269541A (zh) * 2021-07-21 2021-08-17 深圳市启程教育科技有限公司 基于互联网的人才线上面试数据分析系统及方法
CN116843155A (zh) * 2023-07-27 2023-10-03 深圳市贝福数据服务有限公司 一种基于saas的人岗双向匹配方法和系统
CN117116280A (zh) * 2023-08-08 2023-11-24 无锡爱视智能科技有限责任公司 一种基于人工智能的语音数据智能管理系统及方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862598A (zh) * 2017-09-30 2018-03-30 平安普惠企业管理有限公司 远程面谈审批方法、服务器及可读存储介质
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
US20190130512A1 (en) * 2017-10-27 2019-05-02 Larry Kuhn System and method for pre- and post-hiring leadership development
CN109886121A (zh) * 2019-01-23 2019-06-14 浙江大学 一种遮挡鲁棒的人脸关键点定位方法
CN109961052A (zh) * 2019-03-29 2019-07-02 上海大易云计算股份有限公司 一种基于表情分析技术的视频面试方法及系统
CN110021308A (zh) * 2019-05-16 2019-07-16 北京百度网讯科技有限公司 语音情绪识别方法、装置、计算机设备和存储介质
CN110135800A (zh) * 2019-04-23 2019-08-16 南京葡萄诚信息科技有限公司 一种人工智能视频面试方法及系统
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
CN110414323A (zh) * 2019-06-14 2019-11-05 平安科技（深圳）有限公司 情绪检测方法、装置、电子设备及存储介质
CN110648104A (zh) * 2019-08-01 2020-01-03 北京天麦有一网络科技有限公司 一种智能人力资源筛选系统及方法
CN110688499A (zh) * 2019-08-13 2020-01-14 深圳壹账通智能科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN110738998A (zh) * 2019-09-11 2020-01-31 深圳壹账通智能科技有限公司 基于语音的个人信用评估方法、装置、终端及存储介质
CN111178266A (zh) * 2019-12-30 2020-05-19 北京华捷艾米科技有限公司 一种生成人脸关键点的方法及装置
CN111275401A (zh) * 2020-01-20 2020-06-12 上海近屿智能科技有限公司 一种基于位置关系的智能面试方法及系统
CN111401828A (zh) * 2020-02-28 2020-07-10 上海近屿智能科技有限公司 一种强化排序的动态智能面试方法、装置、设备及计算机存储介质
CN111611572A (zh) * 2020-06-28 2020-09-01 支付宝(杭州)信息技术有限公司 一种基于人脸认证的实名认证方法及装置
CN111833010A (zh) * 2020-06-12 2020-10-27 北京网聘咨询有限公司 一种智能面试方法、系统、设备和存储介质
CN112037010A (zh) * 2020-08-12 2020-12-04 无锡锡商银行股份有限公司 基于SSR-Net的多场景风险评级模型在个人贷款上的应用方法、装置及存储介质
CN112069484A (zh) * 2020-11-10 2020-12-11 中国科学院自动化研究所 基于多模态交互式的信息采集方法及系统
CN112084831A (zh) * 2020-04-27 2020-12-15 上海大学 基于年龄编辑的年龄估计方法
CN112132058A (zh) * 2020-09-25 2020-12-25 山东大学 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862598A (zh) * 2017-09-30 2018-03-30 平安普惠企业管理有限公司 远程面谈审批方法、服务器及可读存储介质
US20190130512A1 (en) * 2017-10-27 2019-05-02 Larry Kuhn System and method for pre- and post-hiring leadership development
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN109886121A (zh) * 2019-01-23 2019-06-14 浙江大学 一种遮挡鲁棒的人脸关键点定位方法
CN109961052A (zh) * 2019-03-29 2019-07-02 上海大易云计算股份有限公司 一种基于表情分析技术的视频面试方法及系统
CN110135800A (zh) * 2019-04-23 2019-08-16 南京葡萄诚信息科技有限公司 一种人工智能视频面试方法及系统
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
CN110021308A (zh) * 2019-05-16 2019-07-16 北京百度网讯科技有限公司 语音情绪识别方法、装置、计算机设备和存储介质
CN110414323A (zh) * 2019-06-14 2019-11-05 平安科技（深圳）有限公司 情绪检测方法、装置、电子设备及存储介质
CN110648104A (zh) * 2019-08-01 2020-01-03 北京天麦有一网络科技有限公司 一种智能人力资源筛选系统及方法
CN110688499A (zh) * 2019-08-13 2020-01-14 深圳壹账通智能科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN110738998A (zh) * 2019-09-11 2020-01-31 深圳壹账通智能科技有限公司 基于语音的个人信用评估方法、装置、终端及存储介质
CN111178266A (zh) * 2019-12-30 2020-05-19 北京华捷艾米科技有限公司 一种生成人脸关键点的方法及装置
CN111275401A (zh) * 2020-01-20 2020-06-12 上海近屿智能科技有限公司 一种基于位置关系的智能面试方法及系统
CN111401828A (zh) * 2020-02-28 2020-07-10 上海近屿智能科技有限公司 一种强化排序的动态智能面试方法、装置、设备及计算机存储介质
CN112084831A (zh) * 2020-04-27 2020-12-15 上海大学 基于年龄编辑的年龄估计方法
CN111833010A (zh) * 2020-06-12 2020-10-27 北京网聘咨询有限公司 一种智能面试方法、系统、设备和存储介质
CN111611572A (zh) * 2020-06-28 2020-09-01 支付宝(杭州)信息技术有限公司 一种基于人脸认证的实名认证方法及装置
CN112037010A (zh) * 2020-08-12 2020-12-04 无锡锡商银行股份有限公司 基于SSR-Net的多场景风险评级模型在个人贷款上的应用方法、装置及存储介质
CN112132058A (zh) * 2020-09-25 2020-12-25 山东大学 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质
CN112069484A (zh) * 2020-11-10 2020-12-11 中国科学院自动化研究所 基于多模态交互式的信息采集方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩进;刘延升;: "基于注意力机制的头部姿态检测算法研究及改进", 中国科技论文, no. 07 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269541A (zh) * 2021-07-21 2021-08-17 深圳市启程教育科技有限公司 基于互联网的人才线上面试数据分析系统及方法
CN116843155A (zh) * 2023-07-27 2023-10-03 深圳市贝福数据服务有限公司 一种基于saas的人岗双向匹配方法和系统
CN116843155B (zh) * 2023-07-27 2024-04-30 深圳市贝福数据服务有限公司 一种基于saas的人岗双向匹配方法和系统
CN117116280A (zh) * 2023-08-08 2023-11-24 无锡爱视智能科技有限责任公司 一种基于人工智能的语音数据智能管理系统及方法
CN117116280B (zh) * 2023-08-08 2024-04-09 无锡爱视智能科技有限责任公司 一种基于人工智能的语音数据智能管理系统及方法

Similar Documents

Publication Publication Date Title
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
US10504268B1 (en) Systems and methods for generating facial expressions in a user interface
US11922356B1 (en) Emotion recognition for workforce analytics
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN112884326A (zh) 一种多模态分析的视频面试评估方法、装置和存储介质
CN115413348B (zh) 用于自动验证和量化面试问题回答的系统和方法
US20200302180A1 (en) Image recognition method and apparatus, terminal, and storage medium
TWI724861B (zh) 計算人類使用者的真實性的運算系統與方法以及決定貸款申請者的真實性的方法
US9652745B2 (en) Model-driven evaluator bias detection
Sadoughi et al. Speech-driven expressive talking lips with conditional sequential generative adversarial networks
CN107636684A (zh) 视频会议中的情绪识别
US11151385B2 (en) System and method for detecting deception in an audio-video response of a user
Gogate et al. A novel brain-inspired compression-based optimised multimodal fusion for emotion recognition
CN112651334A (zh) 机器人视频交互方法和系统
Bai et al. Automatic long-term deception detection in group interaction videos
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
US11611554B2 (en) System and method for assessing authenticity of a communication
Huang et al. Learning long-term temporal contexts using skip RNN for continuous emotion recognition
CN116883888A (zh) 基于多模态特征融合的银行柜面服务问题溯源系统及方法
CN116091014A (zh) 一种基于多模态识别的人力资源面试系统
CN116071032A (zh) 基于深度学习的人力资源面试识别方法、装置及存储介质
Vukojičić et al. Optimization of Multimodal Trait Prediction Using Particle Swarm Optimization
Rasipuram et al. Online peer-to-peer discussions: A platform for automatic assessment of communication skill
CN113221821A (zh) 业务数据的推送方法、装置和服务器
CN112990301A (zh) 情绪数据标注方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination