CN115413348B - 用于自动验证和量化面试问题回答的系统和方法 - Google Patents

用于自动验证和量化面试问题回答的系统和方法 Download PDF

Info

Publication number
CN115413348B
CN115413348B CN202180024117.1A CN202180024117A CN115413348B CN 115413348 B CN115413348 B CN 115413348B CN 202180024117 A CN202180024117 A CN 202180024117A CN 115413348 B CN115413348 B CN 115413348B
Authority
CN
China
Prior art keywords
answer
interview
score
candidate
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180024117.1A
Other languages
English (en)
Other versions
CN115413348A (zh
Inventor
A.普雷乌斯
R.贾斯滕霍文
M.马特拉
A.马特维夫
N.马丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kayi Assessment Global Holdings Ltd
Original Assignee
Kayi Assessment Global Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kayi Assessment Global Holdings Ltd filed Critical Kayi Assessment Global Holdings Ltd
Publication of CN115413348A publication Critical patent/CN115413348A/zh
Application granted granted Critical
Publication of CN115413348B publication Critical patent/CN115413348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/164—Lie detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)

Abstract

在说明性实施例中，用于自动候选者视频评估的系统和方法包括从可用职位的候选者接收提交，该提交包括基线回答视频片段和问题回答视频片段。该系统可以根据在基线回答视频片段中检测到的非言语特征来确定非言语基线分数。对于每个面试问题，可以检测候选者回答属性，包括回答方向、回答速度和非言语特征。根据检测到的非言语特征和基线分数计算出非言语反应分数。可以根据回答方向和回答速度来计算回答分数，并且基于回答分数和非言语反应分数之间的对应关系来确定可信度分数。可以回答分数的评测版本实时确定下一个面试问题。反映候选者可信度的总体分数可以呈现在用户界面屏幕中。

Description

用于自动验证和量化面试问题回答的系统和方法
相关申请的交叉引用
本申请要求于2020年1月29日提交的题为“Systems and Methods forAutomating Validation and Quantification of Interview Question Responses”的美国临时专利申请第62/967,451号的优先权。本申请涉及以下专利申请：于2020年1月29日提交的题为“Systems and Methods for Automatic Candidate Assessments in anAsynchronous Video Setting”的美国专利申请第62/967,443号，以及于2021年1月27日提交的题为“Systems and Methods for Automatic Candidate Assessments in anAsynchronous Video Setting”的美国专利申请第17/160,131号。上述申请的每一个通过引用并入本文。
背景技术
工作面试是最古老和最常用的员工选择方法之一。通常，面试由候选者和一个或多个面试官之间的面对面沟通组成。在沟通中，面试官试图获得关于候选者技能和工作适合性的真实信息，以便做出正确的雇佣决定。另一方面，候选者试图展示他们非常适合填补空缺职位。由于其沟通和结构上的冲突性质，工作面试必须被描述为交互的事件。
技术深刻地影响着我们与他人交互的方式。纵观历史，新的沟通渠道已塑造了个体交互，随着互联网和移动技术的出现，这种发展甚至变得更快、更普遍。工作面试也不例外，并已适应新技术，以受益于降低成本和提高效率。电话面试和视频会议都是在工作面试设置中使用技术的著名示例。
视频面试可以是单向的，或是双向的交互。在单向视频异步视频面试(AVI)中，申请人不与现场面试官交互。面试问题虚拟地呈现在带有网络摄像头和音频功能的电脑、平板电脑或智能手机上。申请人通过一系列一个接一个呈现的问题，他们必须在给定的时间限制内立即言语地回答。然而，在所有人工评价机制中，不可能从评审者对候选者的评价中消除偏见。此外，处理面试视频数据在计算层面上需要大量的处理资源和/或处理时间以及大量的人工资源，这使得自动进行全自动视频面试的过程非常困难。本发明人已经认识到单向视频面试和评估系统的这些困难，并且本公开针对不会遭受这些缺陷的视频评估的系统和方法。
发明内容
在一些实施例中，用于自动候选者视频评估的系统和方法包括从候选者接收对可用职位的视频提交，包括一个或多个基线回答视频片段和对多个面试问题之一做出回答的一个或多个问题回答视频片段。一个或多个面试问题可以是封闭式问题。该系统可以基于在一个或多个基线回答视频片段中检测到的一个或多个非言语特征来确定候选者的基线韵律分数和基线面部表情分数。对于每个面试问题，系统可以从问题回答视频中检测候选者回答属性，包括回答方向、回答速度、一个或多个韵律特征以及一个或多个面部表情特征。可以根据一个或多个韵律特征和一个或多个面部表情特征为每个问题计算韵律分数和面部表情分数，它们可以被组合成非言语反应分数。反映回答强度的连续回答分数可以根据回答方向和回答速度来计算，并且候选者回答的可信度可以基于连续回答分数和非言语反应分数之间的对应关系来确定。该系统可以基于连续回答分数的评测版本实时确定在远程计算设备处呈现给候选者的下一个面试问题。该系统可以响应于接收对查看候选者面试结果的请求，向第二方的第二远程计算设备呈现反映候选者对多个面试问题中的每一个的回答的可信度的整体候选者分数。
前面对说明性实施方式的一般描述及其下面的详细描述仅仅是本公开教导的示例性方面，而不是限制性的。
附图说明
包含在说明书中并构成说明书一部分的附图示出了一个或多个实施例，并与说明书一起解释了这些实施例。附图不一定是按比例绘制的。附图中所示的任何数值尺寸仅用于说明目的，可能代表也可能不代表实际的或优选的数值或尺寸。在适用的情况下，一些或所有特征可能没有被示出以辅助描述基础特征。在附图中：
图1是自动反应评估系统的示例环境的框图；
图2-图3示出了自动反应评估系统的数据工作流程；
图4示出了面试问题交互用户界面屏幕；
图5示出了用于自动视频面试过程的示例方法的流程图；
图6是示例计算系统的框图；以及
图7是包括云计算环境的示例分布式计算环境的框图。
具体实施方式
以下结合附图阐述的描述旨在描述所公开主题的各种说明性实施例。结合每个说明性实施例描述了具体的特征和功能；然而，对于本领域技术人员来说，显然可以在没有这些具体特征和功能的情况下实践所公开的实施例。
在整个说明书中提到“一个实施例”或“实施例”意味着结合实施例所描述的特定特征、结构或特性包括在所公开主题的至少一个实施例中。因此，在说明书各处出现的短语“在一个实施例中”或“在实施例中”不一定指同一实施例。此外，在一个或多个实施例中，特定的特征、结构或特性可以以任何合适的方式组合。此外，旨在所公开主题的实施例涵盖其修改和变化。
必须注意，如在说明书和所附权利要求中所使用的，单数形式“一(a)”、“一个(an)”和“该(the)”包括复数指示物，除非上下文另外明确指出。也就是说，除非另有明确说明，否则本文使用的词语“一(a)”、“一个(an)”、“该(the)”等具有“一个或多个”的含义。附加地，应当理解的是，本文中可能使用的诸如“左”、“右”、“顶”、“底”、“前”、“后”、“侧”、“高度”、“长度”、“宽度”、“上”、“下”、“内部”、“外部”、“内”、“外”等术语仅描述参考点，并不一定将本公开的实施例限制于任何特定的方位或配置。此外，诸如“第一”、“第二”、“第三”等术语仅仅标识本文公开的多个部分、组件、步骤、操作、功能和/或参考点中的一者，并且同样不一定将本公开的实施例限制于任何特定的配置或方位。
此外，术语“近似”、“大约”、“近似”、“微小变化”和类似术语通常指的是某些实施例中的20％、10％或优选5％的范围内的识别值以及其间的任何值的范围。
结合一个实施例描述的所有功能都旨在适用于下面描述的附加实施例，除非明确声明或者特征或功能与附加实施例不兼容。例如，在结合一个实施例明确描述了给定的特征或功能，但没有结合替代实施例明确提及的情况下，应该理解的是，发明人旨在结合替代实施例部署、利用或实施该特征或功能，除非该特征或功能与替代实施例不兼容。
本公开的各方面针对用于自动和量化面试问题回答的系统和方法。在一些实施方式中，雇主可以与完全自动的、计算机实施的候选者面试系统进行交互，该系统被配置为通过分析从视频数据中提取的特征来检测候选者的回答。除了检测对面试问题的回答之外，系统还可以确定回答的相对属性，这可以用于实时地和即时地确定后续的面试问题。在一些实施例中，除了实际回答(例如，是/否、同意/不同意、喜欢/不喜欢等)之外，相对属性可以包括与候选者的基线属性相比的回答速度和回答强度。在一些实施方式中，候选者答案的问题是封闭式(例如，正-负(二元)或正-负-中性(三元))问题，其中系统使用音频、视频和/或图像处理技术基于头部运动、面部表情和/或韵律来确定候选者的回答。在一些方面，封闭式问题还可以包括具有可能的单个短语答案的有限集合的其他类型的问题(例如，对问题“你更喜欢哪种颜色：红色还是蓝色？”的答案)。在一些示例中，系统可以应用经过专门训练的机器学习分类器，该分类器可以从所捕获的视频数据中检测一个或多个回答属性。在一些示例中，在接收到候选者对面试问题的回答时，系统可以基于之前的问题回答来确定下一个封闭式问题(例如，是/否、同意/不同意/中立等)。能够根据候选者回答的言语和非言语属性即时选择面试问题减少了必须提问的问题总数，因为系统可以基于候选者的回答确定哪些问题最适用于候选者以及候选者正在面试的可用职位。此外，能够使用检测到的非言语属性中可用的辅助数据允许系统更有效地检测给定候选者的回答有多可信，而无需人来人工评审(review)面试的视频数据。
在一些实施方式中，用于检测和量化候选者面试回答的自动系统还可以处理开放式面试问题，该开放式面试问题可以具有多于两个或三个可能的回答。在一些示例中，系统可以生成一系列封闭式问题供候选者回答。一旦系统接收到被面试者对一个或多个封闭式面试问题的集合中所有适用问题的回答，系统就可以生成开放式问题供被面试者回答。在接收到对开放式视频问题的候选者回答的视频数据时，系统可以分析开放式问题回答的内容。在一些示例中，系统可以应用经过训练的语音到文本算法和自然语言分类器来确定候选者与可用职位的一个或多个理想个性特性的合适程度。在一个示例中，系统可以应用开放式问题处理、评分和数据质量评估技术来识别个性方面，如2020年1月29日提交的题为“Systems and Methods for Automatic Candidate Assessments in an AsynchronousVideo Setting”的美国临时申请第62/967,443号中所描述的，其内容通过引用整体并入本文。
在一些实施例中，基于候选者回答的属性，即时生成一系列封闭式问题，使得系统能够确定最合适询问候选者的开放式问题。在一些实施方式中，对多个问题的开放式问题回答数据的处理和分析是计算密集型的，并且可能花费大量时间来处理或者使用大量处理资源以便来传递实时结果。通过实施本文进一步描述的方法，自动系统可以节省大量的处理时间和处理资源，从而使本文所描述的系统和方法成为技术问题的技术解决方案。例如，通过即时生成一系列定制的封闭式问题，系统还能够基于候选者之前对封闭式问题的答案来确定用于询问候选者的定制的开放式问题。系统可以使用计算成本较低的封闭式问题来识别最适合的开放式问题，该开放式问题允许系统从候选者获得最有价值的信息。附加地，系统不必浪费计算资源来处理开放式问题回答，该开放式问题回答可能不提供可用于评估候选者是否非常适合该职位的可检测的个性方面特征。因此，通过实时和即时生成一系列定制的封闭式问题并实时处理回答，系统能够提供必然生成较少计算密集型开放式面试问题的益处。附加地，通过基于来自候选者的之前回答来即时战略性地生成面试问题，该系统可以比其他传统系统在更短的时间段内收集更多的信息。在一个示例中，由本文所描述的系统管理的面试过程花费候选者大约十分钟来完成。
图1是自动反应评估系统108的示例环境100的图。该图示出了用于收集、生成、组织、存储和分发信息的关系、交互、计算设备、处理模块和存储实体，这些信息是自动、准确和高效地处理从一个或多个可用工作的候选者接收的面试问题回答所必须的，而没有来自人类输入的任何偏见。在一些实施方式中，自动反应评估系统108可以向雇主104提供为一个或多个可用工作定义定制的能力描述以及识别与所定义的工作能力相关联的面试问题的能力。在一些实施例中，系统108自动将所识别的工作能力和面试问题转换成定制的面试映射，该定制的面试映射将问题和能力映射到与个性模型相关联的个性方面的集合。
当候选者102提交对所识别的面试问题的视频回答时，在一些实施方式中，自动反应评估系统108通过对每个视频文件的音频部分执行语音到文本转换来生成问题回答文本，以创建面试问题文本。在一些示例中，自然语言分类器可以被专门训练来从面试问题文本内的个性模型中检测个性方面的肯定和否定极化(polarization)。在一些实施例中，自动反应评估系统108使用每个面试问题文本中检测到的出现的每个个性方面来计算每个个性方面的分数。在一些示例中，基于所计算的分数，系统108可以确定候选者对于特定工作有多适合，或者候选者有多少资质。
在某些实施例中，候选者102可以经由分布在大型网络上的多个计算设备连接到自动反应评估系统108，该大型网络在范围上可以是国内或国际的。候选者102的网络可以与和视频评估环境100中的其他实体(例如提供商104)相关联的网络分离和独立。此外，由候选者102处理和存储的数据可以是与由视频评估环境100的其他实体处理和存储的数据不同的格式。在一些示例中，候选者102可以包括雇主104在系统108中创建的任何可用工作的预期和实际工作申请人。
在一些实施方式中，雇主104包括分布在大型网络上的多个计算设备，该大型网络在范围上可以是国内或国际的。雇主104的网络可以与和视频评估环境100中的其他实体(例如候选者102)相关联的网络分离和独立。此外，由雇主104处理和存储的数据可以是与由视频评估环境100的其他参与者处理和存储的数据不同的格式。在一些实施方式中，雇主104可以包括希望使用自动反应评估系统108来自动筛选和评分候选者视频面试提交的大型或小型公司。在一些示例中，雇主104与一个或多个系统生成的用户界面屏幕进行交互，以识别面试问题并定义理想雇员的理想能力、属性和个性特点，系统可以使用这些来自动评估特定候选者对工作的适合程度。
在一些实施例中，自动反应评估系统108可以包括一个或多个引擎或处理模块130、132、134、136、138、140、142、146，其执行与生成针对可用职位的问题的个性方面映射并且基于所生成的个性方面映射对提交的候选者面试视频执行视频评估相关联的过程。在一些示例中，由自动反应评估系统108的引擎执行的过程可以被实时执行，以提供对系统输入的立即响应，诸如雇主104和/或候选者102从系统108获得经处理的信息的请求。例如，系统108可以将视频提交转换成文字文本，使用经过训练的自然语言分类器从个性模型中检测个性方面，并且响应于接收到候选者视频面试提交来实时地对候选者面试回答进行评分。
在一些实施方式中，自动反应评估系统108可以包括用户管理引擎130，用户管理引擎130可以包括与提供界面以与和视频评估环境100内的一个或多个用户(例如，由雇主104雇用或以其他方式与雇主104以及候选者102相关联的个体)进行交互相关联的一个或多个过程。例如，用户管理引擎130可以控制候选者102和雇主104经由一个或多个外部设备158处的认证接口对自动反应评估系统108的连接和访问。在一些示例中，外部设备158可以包括但不限于个人计算机、膝上型/笔记本计算机、平板计算机和智能手机。在一些实施方式中，用户管理引擎130控制向哪个系统用户显示哪个系统数据。例如，用户管理引擎130可以将候选者面试回答与特定雇主104的可用职位相关联，使得只有与相应雇主104提交的工作相关联的信息才被显示，以供特定雇主104基于接收到的认证凭证来查看和反馈。附加地，用户管理引擎130可以被配置为认证访问系统108以申请一个或多个可用职位的候选者102。例如，当候选者访问面试问题交互用户界面(UI)屏幕400(见图4)时，用户管理引擎130可以使用登录凭证(例如，用户名和密码)和/或捕获的生物特征信息(例如，面部特征、虹膜图案、声音特性)来验证和/或确认候选者102的身份，从而认证候选者102。
在一些示例中，自动反应评估系统108还可以包括数据管理引擎132，其组织、存储和控制对数据储存库110中的数据的访问。例如，响应于从雇主104接收到职位信息数据输入，数据管理引擎132可以将数据输入存储为相应职位的职位信息129的一部分。在一些实施方式中，数据管理引擎132还可以链接与数据存储库110内特定候选者面试的面试相关的所有信息。例如，数据管理引擎132可以将来自面试问题数据112的向候选者102询问的问题与职位信息129以及问题分数120、候选者总体分数122和基线数据114链接到候选者简档数据118，候选者简档数据118提供关于候选者的生平和经验信息(例如，人口统计信息、联系信息、教育经历、工作经历和位置)以及候选者102和共享相似属性(例如，类似的语言和文化)的其他候选者组的评测可信度和连续回答分数。附加地，数据管理引擎132还可以被配置为将更新的训练数据(例如，来自新计算的问题分数和来自雇主的提交的反馈)编译到训练数据集124中。在一些实施方式中，数据管理引擎132还可以将捕获的非言语回答特征126(例如，面部表情和韵律特征)和言语回答特征128(例如，回答的速度/延迟以及回答)链接到相应面试问题数据112、问题分数120和候选者简档数据118。
在一些实施方式中，系统108还可以包括控制候选者面试过程的前端处理的面试管理引擎144。例如，面试管理引擎144可以与数据获取引擎146、回答处理引擎148和/或基线计算引擎134接口连接，以在提供给候选者102和/或雇主104的一个或多个UI屏幕处呈现信息，以及收集由候选者102和/或雇主104提供的信息。在一些实施例中，面试管理引擎144(在一些示例中结合数据获取引擎146)可以在候选者面试的校准部分期间捕获视频数据，该视频数据可以作为捕获的视频回答数据116存储在数据存储库110中。在一个示例中，面试管理引擎144可以向候选者102生成一系列指导或问题，以提示他们提供一个或多个基线封闭式(是/否)问题回答。例如，面试管理引擎144可以为候选者102生成提示，以不同的速度(快、慢、正常速度)提供“是”或“否”答案，或者仅提供非言语回答。
在一些示例中，面试管理引擎144与数据获取引擎146一起还可以呈现面试问题并捕获对一个或多个面试问题的候选者视频回答，这些视频回答由回答处理引擎148实时确定。在一些实施方式中，面试管理引擎144控制面试问题在UI屏幕处的呈现，并监控候选者102是否在预定限制内回答问题。在一些实施方式中，面试问题可以包括封闭式问题或者封闭式和开放式问题的组合。如本文进一步讨论的，在一些示例中，面试管理引擎144可以呈现一个或多个封闭式问题的集合，之后是由回答处理引擎148基于候选者对所呈现的面试问题的回答的属性(言语和/或非言语属性)识别的开放式问题。
例如，图4示出了面试问题交互用户界面(UI)屏幕400的示例，其允许候选者102与自动反应评估系统108交互，以提供对UI屏幕400处呈现的一个或多个封闭式面试问题的回答。在其他示例中，面试问题交互UI屏幕400还可以提供开放式问题供候选者102回答。在一些实施例中，面试管理引擎(例如，图1中的面试管理引擎144)可以生成在UI屏幕400内呈现的定制的视频化身402，其通过向候选者102说出问题来充当候选者102的“面试官”。在一些示例中，雇主104和/或候选者102可以设计化身的特征(性别、面部特征、声音)。在一些示例中，可以在同一UI屏幕400中呈现视频捕获窗口404，其显示当候选者102回答面试问题时系统108捕获的视频数据。
在一些实施方式中，面试管理引擎144可以经由UI屏幕400从候选者102获得基线言语(例如，回答的速度和延迟)和非言语(例如，面部表情和韵律)数据。在一个示例中，化身402通过解释候选者正在经历的面试过程的目的和执行来开始面试过程，并通过提供各种类型的封闭式回答来引导候选者。例如，化身402可以指示候选者102缓慢地、快速地或以正常速度提供“是”或“否”回答。在其他示例中，化身402可以指示候选者102仅提供言语回答和/或还提供回答的非言语指示(例如，点头或摇头)。
除了经由化身402向候选者102说出问题之外，问题406也可以在UI屏幕400处可视地呈现给候选者102。附加地，UI屏幕400还可以包括可视计时器408，其向候选者102提供候选者102还剩下多少时间来提供对问题的回答的可视指标。在一个示例中，可视计时器408包括可视倒计时，其具有随着时间流逝而改变颜色的点。时间量可以被设置为候选者102回答每个问题的预定最大允许时间。如果在视觉定时器408处分配的时间流逝了，则UI屏幕400可以向候选者102呈现警告，他未能在预定的时间段内提供对问题的回答。在一个示例中，预定时间段是5秒。如果整个面试时间是10分钟，则面试管理引擎可以向候选者102呈现多达120个项目(校准问题和面试问题)。如果候选者102未能在该时间段内回答超过预定数量的问题，则系统108可以中止面试。一旦候选者102提供了对问题的回答，面试管理引擎144检测该回答并自动地呈现下一个问题。此外，一旦检测到面试问题回答，数据获取引擎146就捕获与回答相关联的视频数据，处理该数据，这可以包括将数据文件的音频部分与视频部分分离，并将处理后的视频数据作为捕获的视频回答数据116保存在数据储存库110中。
回到图1，自动反应评估系统108还可以包括数据获取引擎146，其控制、处理和管理从申请一个或多个雇主104的可用职位的候选者102接收的面试提交。在面试的校准部分，在一些实施例中，数据获取引擎146可以捕获和提取一个或多个基线候选者属性(例如，面部表情和/或韵律特征)，这些属性可以用于自动评估面试期间候选者的回答是否可信和/或与候选者102的典型回答是否一致。在一些示例中，所捕获的韵律特征可以包括回答的声音音调、声调、语调、重音、节奏和发音。捕获的面部表情特征可以包括情绪和/或行为的可视指示，例如快乐、悲伤、惊讶、中性、愤怒、轻蔑和厌恶。数据获取引擎146还可以从候选者对基线提示的回答中提取回答特征，该回答特征可以纳入候选者102和/或具有相似语言和/或文化属性的其他候选者的评测(benchmarked)延迟的因素。在一些实施方式中，数据获取引擎146可以从捕获帧的子集提取一个或多个基线候选者属性。在一些示例中，数据获取引擎146可以将捕获的基线候选者属性发送到基线计算引擎134以进行处理。
此外，数据获取引擎146还可以捕获候选者对面试问题的回答的言语和非言语特征。在一些实施方式中，当候选者回答由面试管理引擎144呈现的面试问题时，数据获取引擎146可以从可以存储在数据存储库110中的捕获的视频数据中提取言语回答特征128和非言语回答特征126。在一些实施方式中，言语回答特征128可以包括指示回答的速度和方向(例如，是/否/中性)的一个或多个视频帧。非言语回答特征126，在一些示例中，非言语回答特征126可以包括指示回答的面部表情和/或韵律特征的一个或多个视频帧。捕获的面部表情特征可以包括情绪和/或行为的可视指示，例如快乐、悲伤、惊讶、中性、愤怒、轻蔑和厌恶。所捕获的韵律特征可以包括回答的声音音调、声调、语调、重音、节奏和发音。在一些实施例中，数据获取引擎146可以将所捕获的回答属性发送给问题评分引擎140以进行处理。
在一些实施例中，自动反应评估系统108包括基线计算引擎134，其根据在校准过程期间由数据获取引擎146捕获的基线特征来计算候选者102的基线反应分数。在一些示例中，基线计算引擎134丢弃异常视频帧，并根据所保留的帧的平均值计算候选者的基线面部表情分数和基线韵律分数。在一个示例中，基线分数落在从-1到1的范围内，其中-1表示否定回答，0表示中性回答，1表示肯定回答。基线计算引擎134可以将基线分数作为基线数据114存储在数据储存库中。
在一些实施方式中，自动反应评估系统还可以包括问题评分引擎140，其计算由候选者102提供的对每个面试问题的回答的分数，该分数可以作为问题分数数据120存储在数据储存库110中。在一些示例中，问题评分引擎140可以计算反映相应问题的候选回答的方向(是/否/中性)和速度(例如，延迟)的连续回答分数。在一个示例中，连续回答分数是方向(如果回答为否，则为-1，对于所有其他回答，则为1)乘以回答速度的乘积，该乘积可以被归一化为0到1之间的标量。在一些实施例中，问题评分引擎140还可以计算每个问题回答的非言语分数，其可以包括面部表情分数和韵律分数。在一些示例中，问题评分引擎140丢弃异常视频帧，并根据保留的帧的平均值计算候选者的面部表情分数和韵律分数。在一个示例中，分数可以落在从-1到1的范围内，其中-1表示否定回答，0表示中性回答，1表示肯定回答。此外，面部表情分数和韵律分数可以通过减去相应基线面部表情分数或基线韵律分数的值来进一步调整。
在一些示例中，问题评分引擎140可以使用韵律分数和/或面部表情分数来计算每个问题的非言语反应分数。在一些示例中，反映面部表情分数和韵律分数的原始非言语分数可以相对于候选者102的语言和文化相关规范进行评测，这可以根据候选者简档数据118确定。附加地，原始非言语分数可以被归一化为-1到1之间的值。在一些实施例中，使用非言语反应分数和连续回答分数，问题评分引擎140可以计算问题的原始可信度分数，该分数可以指示候选者的非言语反应与言语回答有多一致。问题评分引擎140还可以将可信度分数归一化为介于1和9之间的标准分数，其中1指示最低可信度量，9反映最高可信度量。例如，如果候选者102对询问该候选者是否与其他人合作良好的问题提供“是”，但是该候选者的检测到的面部表情是“愤怒的”并且韵律特征也指示愤怒和/或不确定性(尖锐、响亮的声调)，则计算的可信度分数可以是低的，指示该候选者的回答不可信。然而，如果候选者对询问候选者102是否满足最低教育要求的问题回答“是”，面部表情特征指示快乐，并且韵律特征指示自信(声音中稳定的声调，稳定的音调)，则可信度分数可以朝向标准范围的较高端。对于呈现给候选者102的任何开放式问题，问题评分引擎140可以应用2020年1月29日提交的题为“Systems and Methods for Automatic Candidate Assessments in anAsynchronous Video Setting”的美国临时申请第62/967,443号中描述的问题评分技术，其内容通过引用整体并入本文。
在一些实施方式中，自动反应评估系统108还可以包括回答处理引擎148，其实时处理候选者对面试问题的回答，并且基于候选者的先前回答来即时确定要向候选者102呈现的下一个问题。在一些示例中，候选者的回答速度可以相对于候选者简档数据118中所指示的语言相关规范进行评测，使得一种类型的文化/语言背景的候选者不会比不具有同样快的言语模式的其他文化更受青睐，该候选者简档数据118与正在面试该职位的相应候选者102相关联。附加地，回答处理引擎148还可以执行回答速度的个体内规范化，以不使那些总体回答更快或更慢的人处于优势或劣势。基于评测回答速度和回答方向(是/否/中性)，回答处理引擎148可以确定面试管理引擎144要向候选者102呈现的下一个问题。
如下面进一步讨论的，回答处理引擎148可以从存储的面试问题数据112中识别下一个问题。例如，如果候选者102对询问该候选者是否满足该职位的最低教育要求的问题快速回答“是”，则回答处理引擎148可以将下一个问题识别为针对工作经验和/或人际交流技能的问题。在一些实施方式中，在选择一系列封闭式问题之后，回答处理引擎148可以选择开放式问题来呈现给候选者102。通过使用候选者对多个问题的先前回答属性(言语和非言语两者)来选择为候选者102定制的目标开放式问题，系统108可以从更少的开放式问题中收集尽可能多或更多的信息。处理开放式问题(例如，将语音转换成文本、应用自然语言分类器来检测关键特征、对问题回答评分)会比处理开放式问题消耗更多的处理资源。因此，能够如本文所描述的那样表征封闭式问题回答的电子可检测的非言语属性，以便有策略地选择封闭式和开放式问题供候选者102回答，为提供用于以不需要人工交互的高效处理方式进行候选者面试的全自动系统的技术问题提供了技术解决方案。
在一些实施方式中，自动反应评估系统108还可以包括累积评估引擎150，累积评估引擎150计算候选者面试的总体回答和可信度分数，并生成报告以呈现给雇主104。在一些示例中，总体可信度和回答分数可以提供候选者有多适合特定工作和/或候选者的回答有多可信的单个分数指标。在一个示例中，总体可信度分数可以是候选者102提供的所有封闭式问题回答的可信度分数的平均值。在一些实施例中，候选者102的总体回答分数可以是候选者102提供的封闭式问题回答的连续回答分数的平均值。总体可信度和回答分数可以经由由累积评估引擎150生成的一个或多个报告提供给雇主104。在一些示例中，报告可以相对于申请同一职位的其他候选者102在可信度分数和/或连续回答分数方面对相应候选者102进行排名。
在一些实施方式中，自动反应评估系统108可以包括数据质量评估引擎136，其确定候选者的回答是否满足预定的质量标准，雇主104可以根据该质量标准做出雇用决定。在一些示例中，如果总体可信度分数和/或各个问题一个或多个可信度分数低于预定阈值，则数据质量评估引擎136可以拒绝面试提交和/或提示候选者102提供面试问题回答的新的集合。在一些示例中，对于呈现给候选者102的任何开放式问题，数据质量评估引擎136可以应用2020年1月29日提交的题为“Systems and Methods for Automatic CandidateAssessments in an Asynchronous Video Setting”的美国临时申请第62/967,443号中描述的数据质量评估技术，其内容通过引用整体并入本文。
在一些实施方式中，自动反应评估系统108还可以包括分类引擎138，其被配置为应用一个或多个经过训练的机器学习算法来将一个或多个检测到的面部表情特征和/或韵律特征分类为与对封闭式问题的肯定(是)、中性或否定(否)回答相关联。在一些示例中，分类引擎138可以被训练来检测与一个或多个情感表情相关联的面部特征，所述情感表情例如是快乐、悲伤、惊讶、中性、愤怒、轻蔑和厌恶。与每个可检测的表情相关联的特征可以包括眼睛的形状和运动、瞳孔大小、面部皱纹(例如，眼睛和嘴周围)、嘴唇/嘴和/或脸颊。在一些示例中，分类引擎138可以由人工智能(AI)训练引擎142用面部特征的训练数据集124来训练，当系统108处理候选者102的面试回答时，面部特征的训练数据集124可以随时间更新。在一些示例中，分类引擎138还可以被训练为将检测到的面部表情特征与预定范围(例如，-1到1)内的回答值相关联，使得相同面部表情的检测可以基于与相应表情相关联的检测到的面部特征的形状、大小和/或运动幅度而被分配不同的分数。例如，与较小或更中性的微笑(例如，更接近0)相比，与大微笑相关联的检测到的特征可以被分配更高的肯定分数(例如，更接近1)。在一些示例中，问题评分引擎140和/或基线计算引擎134可以基于由分类引擎138识别的面部检测特征来确定候选者的相应面部表情分数。
附加地，在一些实施方式中，分类引擎138也可以由AI训练引擎142训练，以检测与捕获的视频帧中的肯定(是)、中性和否定(否)回答的变化相关联的韵律特征。在一些实施方式中，可检测的韵律特征可以包括各个候选回答语音的语调、重音和节奏。在一些示例中，分类引擎138可以由人工智能(AI)训练引擎142用韵律特征的训练数据集124来训练，当系统108处理候选者102的面试回答时，韵律特征的训练数据集124可以随时间更新。在一些示例中，分类引擎138还可以被训练为将检测到的韵律特征与预定范围(例如，-1比1)内的回答值相关联，使得它可以检测与可变回答幅度相关联的韵律特征的变化量。例如，与和回答结束时声音的较小幅度的向上变调相关联的较小不确定性(例如，更接近0)相比，检测到的与大量不确定性相关联的韵律特征(例如，在回答结束时声音的向上变调)可以与更负的分数(例如，更接近-1)相关联。在一些示例中，问题评分引擎140和/或基线计算引擎134可以基于由分类引擎138识别的韵律特征来确定候选者的相应韵律分数。
在一些示例中，分类引擎138还可以包括自然语言分类器，其被配置为在对开放式问题的回答的文本中检测候选者102的一个或多个个性特点，如在2020年1月29日提交的题为为“Systems and Methods for Automatic Candidate Assessments in anAsynchronous Video Setting”的美国临时申请第62/967,443号中所描述的，其内容通过引用整体并入本文。
在一些实施方式中，自动反应评估系统108还可以包括AI训练引擎142，其训练分类引擎138的机器学习分类器(面部表情、韵律、自然语言)。在一些示例中，AI训练引擎142使用定制的训练数据集124来训练每个机器学习分类器，以检测捕获候选者对封闭式问题的回答的视频数据中的非言语特征(例如，面部表情特征和韵律特征)。AI训练引擎142还可以编译定制的训练数据集124，用于训练自然语言分类器，以在开放式问题的文本中检测候选者102的个性特点，如在2020年1月29日提交的题为“Systems and Methods forAutomatic Candidate Assessments in an Asynchronous Video Setting”的美国临时申请第62/967,443号中所描述的，其内容通过引用整体并入本文。
在一些示例中，在接收和处理对封闭式问题集合的每个候选视频回答的集合之后，AI训练引擎142可以用新数据来扩充训练数据集124，以用于训练非言语特征检测分类器。附加地，训练数据集124还可以包括放大由雇主104提供的关于从检测到的非言语特征确定的分数的准确性的反馈。
转向图2，示出了候选者基线确定过程202的工作流程图。在一些实施方式中，面试管理引擎212向申请由自动反应评估系统(例如，图1中的自动反应评估系统108)管理的一个或多个职位的候选者的外部设备204提供一系列基线捕获UI屏幕210。在一些示例中，基线捕获UI屏幕210包括视频捕获界面，其允许面试管理引擎212在候选者回答问题提示时捕获候选者回答206的基线特征(例如，情绪、面部表情、对封闭式问题的基线回答)。例如，基线捕获UI屏幕210可以包括是/否基线捕获提示的多种变化，其可以指示候选者说出单词“是”或“否”，通过移动头部(例如，点头或摇头)指示“是”或“否”回答，或者同时说话和移动头部。在一些示例中，面试管理引擎212可以提示候选者以快速、缓慢或平均速度对提示做出回答。在一个示例中，面试管理引擎212可以生成六个或更多个是/否基线捕获提示的变化，以经由用户界面屏幕呈现给候选者102。
在一些示例中，面试管理引擎212可以从捕获的基线回答206中提取言语和非言语特征，这些特征可以作为捕获的基线数据214被传递给基线计算引擎216。例如，捕获的基线数据可以包括基线回答206的一个或多个帧中检测到的面部表情和韵律特征。在一些示例中，基线计算引擎216计算基线韵律分数218和基线面部表情分数220，基线韵律分数218和基线面部表情分数220可以存储在数据存储库222中，用于计算每个封闭式问题回答的可信度分数。在一些示例中，基线计算引擎216基于情绪调查数据508来计算基线状态分数250，该情绪调查数据508可以存储在数据储存库222中，用于潜在地计算但不排他地计算基线分数、连续回答分数以及总体可信度和回答分数(参见图3和图5)。在一些示例中，基线状态分数捕获面试期间候选者的总体情绪或情感状态，并且可以基于检测到的面部表情和其他基于情绪的特征。在一些实施例中，基于情绪的特征可以包括检测到的面部表情特征和其他生理特征，其可以指示候选者的平静/平和或激动/紧张/愤怒的水平(例如，呼吸率可以指示激动或紧张的水平)。基线状态分数可用于归一化由系统108基于为个体和特定面试定制的情绪指标而计算的其他分数。例如，基于候选者情绪的变化，给定的候选者在不同的面试中可以具有不同的基线状态分数。在一些示例中，基线计算引擎216丢弃异常视频帧，并根据所保留的帧的平均值计算候选者的基线面部表情分数和基线韵律分数。在一个示例中，基线分数218、220落在从-1到1的范围内，其中-1表示否定回答，0表示中性回答，1表示肯定回答。
转向图3，示出了自动反应评估过程300的工作流程图。在一些实施方式中，面试管理引擎212向申请由自动反应评估系统(例如，图1中的自动反应评估系统108)管理的一个或多个职位的候选者的外部设备204提供一系列面试问题捕获UI屏幕310。在一些示例中，面试问题捕获UI屏幕310包括视频捕获界面，其允许面试管理引擎212捕获候选者对面试问题306的回答的非言语和言语特征。面试问题捕获UI屏幕310的一个示例是图4所示的面试问题交互UI屏幕400。面试问题回答306可以包括封闭式问题回答和开放式问题回答。在一些实施例中，面试管理引擎212可以访问来自数据存储库222的下一个问题数据332，用于呈现在面试问题UI屏幕中。下一个问题数据332可以由回答处理引擎334基于候选者提供的先前问题回答来即时且实时地确定。在一些示例中，面试管理引擎212可以从面试问题回答的视频和/或音频数据中提取可检测的特征，其可以包括来自回答的一个或多个帧的韵律特征和面部表情特征。此外，可检测的特征可以包括指示候选者的回答速度和方向的一个或多个视频帧。面试管理引擎212可以将检测到的特征作为问题回答数据336发送给回答处理引擎334。
在一些实施例中，回答处理引擎334可以根据问题回答数据336确定基于回答的特征(回答342的方向和延迟)和基于非言语反应的特征(韵律和面部表情344)。附加地，回答处理引擎334可以实时处理候选者对面试问题的回答，并且可以基于候选者的先前回答即时确定下一个问题332。在一些实施方式中，回答处理引擎334(例如，诸如图1的回答处理引擎148)在选择一系列封闭式问题之后，可以选择开放式问题以呈现给候选者102。例如，候选者的回答速度可以相对于由关于相应候选者102的人口统计信息(例如，保留在候选者简档数据中)指示的语言相关规范进行评测。以这种方式，例如，一个候选者的文化和/或语言背景将不会比具有不同语速的语音模式的其他文化/语言更受青睐。附加地，回答处理引擎334还可以执行回答速度的个体内规范化，以不使那些总体回答更快或更慢的人处于优势或劣势，这也可以用于确定下一个问题332。此外，回答处理引擎334可以根据个体内规范数据和评测数据来生成简档更新数据340，并且评测数据可以存储在数据储存库222中并用于处理将来的回答。
在一些示例中，问题评分引擎346可以使用回答的方向和延迟342、提取的韵律和面部表情特征344以及基线面部表情和韵律分数218、220来确定每个问题的连续回答分数348和非言语反应分数350。在一些示例中，问题评分引擎346可以计算反映相应问题的候选者回答的方向(是/否/中性)和速度(例如，延迟)的连续回答分数348。在一个示例中，连续回答分数是方向(如果回答为否，则为1，对于所有其他回答，则为1)乘以回答速度的乘积，该乘积可以被归一化为0到1之间的标量。在一些实施例中，问题评分引擎346还可以计算每个问题回答的非言语反应分数350，其可以包括面部表情、韵律分数、非言语反应分数和问题可信度分数。在一些示例中，问题评分引擎346丢弃异常视频帧，并根据保留的帧的平均值计算候选者的面部表情分数和韵律分数。在一个示例中，分数落在从-1到1的范围内，其中-1表示否定回答，0表示中性回答，1表示肯定回答。附加地，面部表情分数和韵律分数可以通过减去相应基线面部表情分数220或基线韵律分数218的值来进一步调整。
在一些示例中，问题评分引擎346还可以使用韵律分数和/或面部表情分数来计算每个问题的非言语反应分数。在一些示例中，反映面部表情分数和韵律分数的原始非言语分数可以相对于可以根据候选者简档数据确定的候选者的语言和文化相关规范进行评测。附加地，原始非言语分数可以被归一化为-1到1之间的值。在一些实施例中，使用非言语反应分数和连续回答分数，问题评分引擎346可以计算问题的原始可信度分数，该分数可以指示候选者的非言语反应与言语回答有多一致。问题评分引擎346还可以将可信度分数归一化为1和9之间的标准分数，其中1指示最低可信度量，9反映最高可信度量。
在一些实施方式中，累积评估引擎356可以根据候选者面试的各个问题分数348、350来计算总体回答和可信度分数352，并且生成评估报告354以呈现给雇主358。在一些示例中，总体可信度和回答分数352可以提供候选者有多适合特定工作和/或候选者的回答有多可信的单个分数指标。在一个示例中，总体可信度分数可以是候选者提供的所有封闭式问题回答的可信度分数的平均值。在一些实施例中，候选者的总体分数352可以是候选者提供的封闭式问题回答的连续回答分数和可信度分数的平均值。在一些示例中，评估报告354可以相对于申请同一职位的其他候选者在可信度分数和/或连续回答分数方面对相应候选者进行排名。
图5示出了对可用职位的候选者执行自动面试的示例方法500的流程图。在一些示例中，方法500的不同部分可以由自动反应评估系统(例如，图1中的系统108)的处理资源或引擎的不同集合来执行。在一个示例中，引擎可以包括面试管理引擎502、实时计算引擎504和后端计算引擎506。在一些实施方式中，当执行自动面试过程500时，引擎502、504、506彼此交换信息。
在一些实施方式中，方法500开始于面试管理引擎502捕获候选者102的情绪和情感状态(508)。例如，面试管理引擎502可以通过网络和/或应用门户向候选者102的外部设备158呈现用户界面屏幕。在一些示例中，通过用户界面屏幕，面试管理引擎502可以经由视频馈送捕获接口捕获候选者102的情绪和/或情感状态。在一些实施例中，面试管理引擎502将捕获候选者102的情绪和/或情感状态的视频数据存储在数据存储库110中，作为候选者102的基线数据114的一部分。该捕获的情绪/情感状态视频数据可以被系统108用来确定候选者102的基线面部表情，该基线面部表情可以被用来确定候选者102提供的每个问题回答的相对回答属性。在一些示例中，由面试管理引擎502呈现的用户界面屏幕可以提示候选者102看着相机并保持中立状态。在其他示例中，用户界面屏幕可以不向候选者102提供关于当捕获情绪/情感状态视频数据时如何表现的任何方向。
在一些实施方式中，面试管理引擎502还可以生成一系列是/否提示，供候选者回答，系统使用这些回答来确定候选者102的基线回答属性(510)。例如，每当候选者102看到呈现在屏幕上的相应单词时，面试管理引擎502可以使呈现在用户界面屏幕上的化身提示候选者102说“是”或“否”。面试管理引擎502可以生成是/否基线捕捉提示的多种变化，其可以指示候选者102说出单词“是”或“否”，通过移动头部(例如，点头或摇头)来指示“是”或“否”回答，或者同时说话和移动头部。在一些示例中，面试管理引擎502可以提示候选者102以快速、缓慢或平均速度对提示做出回答。在一个示例中，面试管理引擎502可以生成六个或更多个是/否基线捕捉提示的变化，以经由用户界面屏幕呈现给候选者102。在接收到对是/否基线提示的回答的捕获的视频数据时，面试管理引擎502可以将捕获的数据作为基线数据114的一部分存储在数据储存库110中。
在一些实施方式中，使用由面试管理引擎502针对捕获的情绪/情感状态捕获的视频数据(508)以及对基线是/否提示的回答(510)，实时计算引擎504提取候选者102的听觉方面特征和面部表情(512)。在一些实施方式中，提取的听觉方面特征可以包括当候选者102回答每个是/否问题提示时的声音音调和声调。在一些示例中，基于语音的听觉方面特征还可以包括由候选者102在回答是/否基线提示之一时表达的任何语音障碍的模式或其他类型的无意识发声。由实时计算引擎504捕获的其他听觉方面特征也可以包括呼吸、咳嗽或其他有意或无意的身体运动(例如，敲击指关节、双手摩擦)的声音。附加地，实时计算引擎504还可以确定候选者102回复每个基线是/否提示的速度。
在一些示例中，后端计算引擎506基于情绪调查数据508计算基线状态分数(550)，该基线状态分数可以用于计算由实时计算引擎504和后端计算引擎506计算的基线和回答分数。虽然图5没有示出基线状态分数计算(550)的输出的示意流程，但是在一些示例中，基线状态分数可以用于计算实时回答分数(532)、基线韵律分数(514)、基线面部表情分数(516)、连续回答分数(542)以及总体可信度和回答分数(548)。在一些示例中，基线状态分数捕获面试期间候选者的总体情绪或情感状态，并且可以基于检测到的面部表情和其他基于情绪的特征。在一些实施例中，基于情绪的特征可以包括检测到的面部表情特征和其他生理特征，其可以指示候选者的平静/平和或激动/紧张/愤怒的水平(例如，呼吸率可以指示激动或紧张的水平)。基线状态分数可以用于归一化由系统108基于为个体和特定面试两者定制的情绪指标而计算的其他分数。例如，基于候选者情绪的变化，给定的候选者在不同的面试中可以具有不同的基线状态分数。
在一些实施方式中，实时计算引擎504还可以应用一种或多种图像处理算法和/或经过训练的机器学习算法来检测捕获的视频数据中的面部表情信息。在一些实施方式中，可以从针对情绪/情感状态捕获的视频数据(508)中提取检测到的面部表情信息。在一些示例中，实时计算引擎504还可以在候选者102回答每个是/否基线提示时检测面部表情的变化。例如，当候选者102说“是”或“否”(例如，微笑或皱眉的强度)时，实时计算引擎504可以检测嘴唇运动的任何变化。在一些示例中，提取基线面部表情特征可以包括在基线捕获或校准模式下从候选者的帧的子集提取检测到的情感表情(例如，快乐、悲伤、惊讶、中性、愤怒、轻蔑、厌恶)。在一些实施方式中，提取基线韵律特征(例如，语音的音调、重音、节奏)可以包括从每个是/否回答的帧的子集中提取韵律特征。
在一些实施例中，实时计算引擎504捕获的听觉方面特征和面部表情信息可以被后端计算引擎506用来确定至少一个基线韵律分数(514)和至少一个基线面部表情分数(516)。该至少一个基线韵律分数可以包括当候选者102回答是/否基线提示时候选者的声音中的基线声调或音调。在一些示例中，基线韵律分数还可以包括候选者102的言语回答的基线速度。在一个示例中，后端计算引擎506可以为“是”和“否”答案中的每一个计算言语回答的基线速度。此外，基线韵律分数还可以包括“是”和“否”回答中每一个的声音声调强度(例如，候选者的声音的振幅和频率)。在一些示例中，后端计算引擎506通过丢弃由实时计算引擎504提取的异常韵律特征，对剩余帧的提取的韵律特征属性进行平均，来计算基线韵律分数。此外，后端计算引擎506可以组合并归一化每个韵律特征的子标量值，以计算单个基线韵律分数。在一个示例中，基线韵律分数是从-1到1的十进制值，其中-1表示否定回答，1表示肯定回答，0表示中性回答。在一些示例中，计算出的韵律分数可以作为基线数据114存储在数据储存库110中。在一些实施例中，后端计算引擎506可以在为候选者102提供的每个问题回答计算的可信度分数(518)中使用计算的基线韵律分数(514)。
在一些实施方式中，基线面部表情分数可以包括不同面部特征(例如，嘴、眼睛、脸颊、皱纹、眉毛)的部分的形状、大小、拐点和/或方位。基线面部表情分数还可以包括表征检测到的面部特征的每个方面的运动的运动矢量。在一些示例中，运动矢量可以表征与候选者102的特定回答(例如，“是”、“否”、“中性”)相关联的给定面部特征的每个部分和/或拐点的强度、速度和/或运动方向。例如，对于嘴唇/嘴的基线运动矢量，其可以表示当候选者提供“是”回答时在微笑时，候选者的嘴的边缘如何向上移动。在一些示例中，后端计算引擎506通过丢弃由实时计算引擎504提取的异常面部表情特征，对剩余帧的提取的面部表情特征属性进行平均，来计算基线面部表情分数。此外，后端计算引擎506可以组合和归一化每个面部表情特征的子标量值，以计算单个基线面部表情分数。在一个示例中，基线面部表情分数是从-1到1的十进制值，其中-1表示否定回答，1表示肯定回答，0表示中性回答。在一些实施方式中，表示基线面部表情的运动矢量、分数和数据可以作为基线数据114存储在数据储存库110中。在一些实施例中，后端计算引擎506可以在为候选者102提供的每个问题回答计算(518)的可信度分数中使用生成的运动矢量和表示基线面部表情分数的数据(516)。
在一些实施方式中，面试管理引擎502经由用户界面屏幕向候选者102呈现一系列面试问题(520)。在一些示例中，面试问题可以包括封闭式(是/否)和开放式问题的组合。在一个示例中，问题包括多个封闭式问题的集合，后面跟随开放式问题。在一些示例中，经由用户界面屏幕呈现给候选者的问题由实时计算引擎504基于候选者对先前问题的回答来确定(522)。在一些实施方式中，对于呈现给候选者102的一系列问题中的第一问题，面试管理引擎502从存储在数据存储库110中的问题的集合中随机选择一个问题作为面试问题数据112。在一个示例中，面试问题数据112包括与作为候选者简档数据118存储在数据存储库110中的每个候选者简档相关联的面试问题的多个集合。在其他示例中，面试管理引擎502可以向职位的所有候选者呈现相同的第一问题。例如，第一问题可以询问候选者102他或她是否满足教育要求(例如，特定学位领域的学士或硕士学位)。
如果在向候选者102呈现面试问题之后超过了问题回答时间限制(524)，则在一些实施方式中，面试管理引擎502生成警告，通知候选者102她还没有对所呈现的问题提供及时的回答(526)。如果候选者102提供了在预定时间限制内检测到的对问题的回答(528)，则在一些示例中，面试管理引擎502捕获该回答(530)。在一些实施方式中，所捕获的回答包括候选者对问题的回答的视频和/或音频数据。
在一些示例中，面试管理引擎502将捕获的回答数据发送给实时计算引擎504以进行处理，并基于捕获的回答实时确定要向候选者102呈现的下一个问题。在一些实施方式中，实时计算引擎504基于相应问题的评测延迟根据捕获的回答数据计算回答分数(532)。例如，面试问题数据112中的每个问题可以具有与反映语言和文化相关性的候选者简档相关联的评测分数。在一些实施方式中，评测分数可以包括相应问题的平均或典型回答速度和/或延迟，并且所计算的回答分数可以表示所捕获的回答和评测数据之间的差异量。例如，相对于语言相关规范计算评测速度可以根据以下等式来计算，z_speed＝((max_response_time–response_time)-average_speed)/average_SD，其中z_speed表示评测速度，max_response_time表示给予候选者回答问题的最大时间量，average_speed是基于语言和文化相关规范的候选者简档的平均速度，average_SD表示候选者语言文化简档的回答时间的平均标准差。附加地，实时计算引擎504可以对候选者回答执行z_speeds的个体内规范化，使得给定的候选者不会由于提供高于或低于平均回答时间而处于不利地位。例如，个体内速度(i_speed)可以根据以下等式计算，i_speed＝(z_speed–i_average_speed)/i_average_SD，其中i_average_speed表示候选者在所有问题回答中的z_speed的平均值，i_average_SD表示候选者在所有问题回答中的z_speed的标准差。此外，实时计算引擎504可以将候选者的i_speed值归一化到预定的标量(例如，0到1)。在一个示例中，归一化的i_speed(ni_speed)可以根据等式ni_speed＝(i_speed+2)/4或ni_speed＝(i_speed+3)/6来计算。如果计算的ni_speed小于0，则ni_speed值可以设置为0。此外，如果ni_speed值被计算为大于1，则该值可以被设置为1。
在一些示例中，每个问题的评测分数可以链接到数据储存库110中的相应候选者简档数据118。在一些实施方式中，候选者简档可以与由自动面试管理系统108管理的每个职位相关联。
附加地，候选者简档还可以表示考虑了文化和语言差异的可能候选者102的不同人口统计简档。对于每个面试问题，候选者简档可以包括评测分数和评测速度/延迟值，评测分数表示答案将为“是”或“否”回答的基本可能性。评测分数还可以指示基于候选者102的母语和/或文化的面部表情和声音回答(韵律)两者的回答强度的变化。例如，来自某些文化的个体平均来说比其他文化的人更有表现力和表达力。因此，每个候选者简档的评测分数可以反映这些类型的差异，这提高了由系统108执行的计算的整体准确性。附加地，在一些实施方式中，候选者简档数据118也可以被分解成其他类型的候选者分类，包括年龄、教育程度和经验。在一些实施方式中，实时计算引擎504可以使用针对问题的计算出的回答分数来更新与候选者102相关联的一个或多个相应候选者简档值(534)。例如，可以更新相应候选者简档的平均延迟、韵律、强度和/或声调值以及面部表情运动值，以反映候选者102的计算值。
在一些实施方式中，实时计算引擎504可以使用相应面试问题的计算的回答分数来确定要呈现给候选者的下一个问题(522)。在一些示例中，实时计算引擎504可以基于相对于候选者简档的评测分数的回答的强度和延迟来识别呈现给候选者102的不同的下一个问题。例如，如果候选者对询问候选者是否满足最低教育要求的问题的回答相对于评测分数较慢和/或较弱，则在一些示例中，实时计算引擎504可以识别也与候选者的教育经历相关联的后续面试问题。另一方面，如果关于教育经历的面试问题的候选者回答分数达到和/或超过评测值，则在一些示例中，实时计算引擎504可以将下一个问题识别为与不同主题相关联的问题，例如工作经历的数量。在一些实施方式中，实时计算引擎504仅基于对相应问题的回答来确定要呈现给候选者102的下一个问题。在其他示例中，实时计算引擎504可以基于候选者的所有先前分数来确定下一个问题，例如通过使用累积分数。
在一些实施方式中，存储在数据储存库110中的面试问题数据112可以基于主题(例如，教育经历、工作经历、工作习惯、个性特点)被组织成多个类别。在一些实施方式中，实时计算引擎504可以在为相应问题计算的回答分数(532)与评测值的差异超过预定量时，从相同的问题类别中选择连续的问题。在一些示例中，每个类别的面试问题数据112可以包括一个或多个开放式问题，这些开放式问题提示候选者102对要求不仅仅是“是”或“否”的回答的问题(例如，“解释你在之前的工作中如何应对困难的情况”)提供令人满意的答案。实时计算引擎504可以基于对相应类别中的一个或多个封闭式问题的回答来确定给定类别中的哪个开放式问题要呈现给候选者102。在一些方面，实时计算引擎504可以在接收到对每个问题类别中的一个或多个封闭式问题的回答之后，仅识别一个开放式问题以呈现给候选者102。在其他示例中，实时计算引擎504可以在询问相应类别中的一系列一个或多个封闭式问题之后，在每个类别中识别要询问的开放式问题。如果候选者102已经回答了所呈现的开放式问题和/或如果实时计算引擎504已经基于候选者的先前回答确定没有问题要呈现给候选者102(536)，则在一些示例中，面试管理引擎502关闭面试会话。
在一些示例中，实时计算引擎504还可以捕获回答的方向和延迟(538)。回答的方向和延迟可以包括候选者头部运动的方向(例如，候选者对问题的回答是“是”还是“否”)、运动的幅度(例如，回答的强度)、和/或候选者102需要多长时间来提供回答。在一些示例中，所捕获的回答的方向和延迟可以被组织成方向/延迟特征矢量，其包括表示与回答相关联的特征的条目。每个问题的计算的方向和延迟/速度可以被传递到后端计算引擎506，用于计算相应问题的连续回答分数(542)。在一个示例中，相应问题的连续回答分数被计算为方向乘以归一化回答速度，其中“否”回答由值-1表示，而所有其他回答(例如，“是”和中性)由值1表示。在一些实施方式中，连续回答分数可以表示回答的总体强度，其中强“是”(例如，候选者很快提供“是”回答)由值1指示，弱“是”(例如，候选者很慢提供“是”回答)由接近0的正值指示。类似地，强“否”(例如，候选者很快提供“否”回答)由值-1指示，弱“否”(例如，候选者很慢提供“否”回答)由接近0的负值指示。在一些示例中，连续回答分数可以用于计算每个问题的可信度和回答分数(518)以及总体回答分数计算(548)。
在一些示例中，实时计算引擎504还可以捕获回答的韵律和面部表情(540)。在一些实施方式中，捕获回答的韵律可以包括从回答的一个或多个帧中提取一个或多个韵律特征，例如回答的声音音调、声调、语调、重音、节奏和发音。当从回答的视频数据中提取面部表情数据时，实时计算引擎504可以提取与候选者102在提供对面试问题的回答时的情感表情相关联的数据。例如，可以提取与诸如快乐、悲伤、惊讶、中立、愤怒、轻蔑、厌恶和恐惧的情感相关联的检测到的特征。在一些实施方式中，系统108可以通过将检测到的面部表情特征以及其他数据(例如，回答、韵律特征)应用于被配置为识别与面部表情相关联的可检测特征的经过训练的机器学习算法，来改进其对基于情感的特征的检测。
在一些实施方式中，后端计算引擎506可以为候选者102提供的每个回答计算面部表情分数(544)和反应韵律分数(546)。面部表情分数和反应韵律分数可以被称为“非言语”分数，可以被系统108用来确定检测到的言语回答(例如，实际说出的“是”或“否”回答)是否可信。在一些实施方式中，当计算面部表情分数(544)时，后端计算引擎506通过丢弃由实时计算引擎504提取的异常面部表情特征并对剩余帧的提取的面部表情特征属性进行平均来计算原始反应面部表情分数。此外，后端计算引擎506可以组合和归一化每个面部表情特征的子标量值，以计算单个面部表情分数。在一个示例中，面部表情分数是从-1到1的十进制值，其中-1表示否定回答，1表示肯定回答，0表示中性回答。在一些示例中，可以通过减去基线面部表情分数来归一化原始面部表情分数。
在计算韵律分数时，在一些示例中，后端计算引擎506还可以通过丢弃由实时计算引擎504提取的异常韵律特征，对剩余帧的提取的韵律特征属性进行平均，来计算原始韵律分数。此外，后端计算引擎506可以组合并归一化每个韵律特征的子标量值，以计算单个原始韵律分数。在一个示例中，原始韵律分数是从-1到1的十进制值，其中-1表示否定回答，1表示肯定回答，0表示中性回答。在一些示例中，原始韵律分数可以通过减去基线韵律分数来归一化。
在一些实施方式中，后端计算引擎506可以计算候选者102回答的每个问题的可信度分数(518)。在一些示例中，可信度分数使用候选者回答的非言语方面的量化表示(例如，面部表情分数(544)和韵律分数(546))来确定候选者的口头回答是否可信。例如，基于计算的可信度分数，可信度分数可以提供口头回答和回答的非言语方面彼此一致程度的度量。例如，如果候选者102对询问该候选者是否满足最低要求的教育要求的问题提供“是”，但是该候选者的检测到的面部表情是“担心的”并且韵律特征指示不确定性(在回答时摇摆的声调、向上的音调)，则计算的可信度分数可能低，指示该候选者的回答不可信。在一些示例中，执行回答的检测到的言语特征与附加检测到的非言语特征的定量比较提高了自动反应评估系统108的整体准确性。例如，系统108可以使用非言语分数来检测候选者102提供的回答和回答的非言语特征之间的不一致模式，这可以指示候选者可能试图欺骗系统108或者提供了不完全诚实的结果。在一些示例中，能够基于检测到的数据属性自动检测回答的辅助非言语特征，并且使用这些辅助特征来确定所提供的回答的可信度，这是对准确地自动面试和审查工作候选者的技术问题的技术解决方案。
在一些实施例中，为了计算可信度分数，后端计算引擎506基于面部表情分数和韵律分数来计算原始非言语分数，这也可以相对于候选者简档的语言相关规范进行评测。在一些示例中，原始非言语分数(raw_nvr)可以根据以下等式来计算，raw_nvr＝((score_facial+score_prosody)/2)-average_raw_nvr)/sd_raw_nvr，其中score_facial和score_prosody分别表示面部表情分数和韵律分数。此外，average_raw_nvr和sd_raw_nvr分别表示非言语分数的评测平均值和评测标准差。在一些示例中，原始非言语分数可以被归一化，以通过将非言语分数除以2或3来计算在-1和1之间的范围内的归一化反应分数。此外，小于-1的分数可以设置为值-1，大于1的分数可以设置为值1。在一些示例中，归一化的反应分数可以与相应问题的连续回答分数一起被应用，以根据以下等式计算原始可信度分数(raw_trustworthiness),raw_trustworthiness＝(continuous_response–non_verbal_response)2。此外，原始可信度分数可以相对于候选者简档的语言相关规范和/或由候选者102回答的其他问题进行评测，并根据以下等式转换成标准规范分数，trustworthiness-score＝((raw_trustworthiness-average_trustworthiness)/sd_trustworthiness)*2+5，其中average_trustworthiness和sd_trustworthiness分别表示评测平均值和标准差可信度分数。因此，在一些示例中，可信度分数可以是从1到9的值，其中1指示最低可信度量，9表示最高可信度量。
在一些实施方式中，后端计算引擎506还可以计算候选者102的总体可信度和回答分数(548)。在一些示例中，总体可信度和回答分数可以提供候选者有多适合特定工作和/或候选者的回答有多可信的单个分数指标。在一个示例中，总体可信度分数可以是候选者102提供的所有封闭式问题回答的可信度分数的平均值。在一些示例中，如果总体可信度分数和/或各个问题的一个或多个可信度分数低于预定阈值，则系统108可以拒绝面试提交和/或提示候选者102提供面试问题回答的新的集合。在一些实施例中，候选者102的总体分数可以是候选者102提供的封闭式问题回答的连续回答分数的平均值。在一些示例中，候选者102的总体分数提供了候选者102回答封闭式问题的平均速度的单个分数表示。总体可信度和回答分数可以经由一个或多个系统生成的报告提供给雇主104。
尽管在特定的一系列事件中示出，但是在其他实施方式中，自动面试过程500的步骤可以以不同的顺序执行。例如，更新简档估计(534)可以在确定下一个面试问题(522)之前、之后或同时执行。附加地，在其他实施例中，推荐过程可包括更多或更少的步骤，同时保持在自动面试过程500的范围和精神内。
接下来，参考图6描述了根据示例性实施例的计算设备、移动计算设备、计算系统或服务器的硬件描述。例如，计算设备可以表示候选者102和/或雇主104或者支持自动反应评估系统108的功能的一个或多个计算系统，如图1所示。在图6中，计算设备、移动计算设备或服务器包括执行上述过程的CPU 600。过程数据和指令可以存储在存储器602中。在一些示例中，处理电路和存储的指令可以使计算设备能够执行图5的方法500。这些过程和指令也可以存储在诸如硬盘驱动器(HDD)或便携式存储介质的存储介质盘604上，或者可以远程存储。此外，所要求的进步不受存储本发明过程的指令的计算机可读介质的形式的限制。例如，指令可以存储在CD、DVD、闪存、RAM、ROM、PROM、EPROM、EEPROM、硬盘或与计算设备、移动计算设备或诸如服务器或计算机的服务器通信的任何其他信息处理设备中。在一些示例中，存储介质盘604可以存储图1的数据储存库110的内容，以及在被自动反应评估系统108访问并传输到数据储存库110之前由候选者102和/或雇主104维护的数据。
此外，所要求保护的进步的一部分可以被提供为与CPU 600和诸如MicrosoftWindows 7、8、10、UNIX、Solaris、LINUX、Apple MAC-OS和本领域技术人员已知的其他系统的操作系统结合执行的实用程序、后台守护程序或操作系统的组件或其组合
CPU 600可以是来自美国Intel的Xeon或Core处理器或来自美国AMD的Opteron处理器，或者可以是本领域普通技术人员将认识到的其他处理器类型。替代地，如本领域普通技术人员将认识到的，CPU 600可以在FPGA、ASIC、PLD上实施或使用分立逻辑电路实施。此外，CPU 600可以被实施为并行协作工作的多个处理器，以执行上述发明过程的指令。
图6中的计算设备、移动计算设备或服务器还包括网络控制器606，例如来自美国Intel公司的Intel以太网PRO网络接口卡，用于与网络628接口连接。可以理解，网络628可以是公共网络，例如互联网，或者专用网络，例如LAN或WAN网络，或者它们的任意组合，并且还可以包括PSTN或ISDN子网络。网络628也可以是有线的，例如以太网，或者可以是无线的，例如包括EDGE、3G、4G和5G无线蜂窝系统的蜂窝网络。无线网络也可以是Wi-Fi、蓝牙或任何其他已知的无线通信形式。例如，网络628可以支持自动反应评估系统108和候选者102和/或雇主104中的任何一个之间的通信。
计算设备、移动计算设备或服务器还包括显示控制器608，诸如来自美国NVIDIA公司的NVIDIA GeForce GTX或Quadro图形适配器，用于与诸如惠普HPL2445w LCD监视器的显示器610接合。通用I/O接口612与键盘和/或鼠标614以及显示器610上或与其分离的触摸屏面板616接合。通用I/O接口还连接到各种外围设备618，包括打印机和扫描仪，例如来自Hewlett Packard的OfficeJet或DeskJet。显示控制器608和显示器610可以允许呈现用于向自动反应评估系统108提交请求的用户界面。
声音控制器620也被提供在计算设备、移动计算设备或服务器中，诸如来自Creative的Sound Blaster X-Fi Titanium，以与扬声器/麦克风622接合，从而提供声音和/或音乐。
通用存储控制器624用通信总线626连接存储介质盘604，通信总线626可以是ISA、EISA、VESA、PCI或类似的，用于互连计算设备、移动计算设备或服务器的所有组件。为了简洁起见，本文省略了对显示器610、键盘和/或鼠标614以及显示控制器608、存储控制器624、网络控制器606、声音控制器620和通用I/O接口612的一般特征和功能的描述，因为这些特征是已知的。
除非另有明确说明，否则可以利用一个或多个处理器来实现本文所描述的各种功能和/或算法。此外，除非另有明确说明，否则本文所描述的任何功能和/或算法可以在一个或多个虚拟处理器上执行，例如，在一个或多个物理计算系统上，诸如计算机群或云驱动器。
已经参考了根据本公开的实施方式的方法、系统和计算机程序产品的流程图和框图。其各方面由计算机程序指令来实施。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的部件。
这些计算机程序指令也可以存储在计算机可读介质中，该计算机可读介质可以指导计算机或其他可编程数据处理装置以特定方式运行，使得存储在计算机可读介质中的指令产生包括指令部件的制品，该指令部件实施流程图和/或框图的一个或多个框中指定的功能/动作。
计算机程序指令还可以被加载到计算机或其他可编程数据处理设备上，以使得一系列操作步骤在计算机或其他可编程设备上执行，从而产生计算机实施的过程，使得在计算机或其他可编程设备上执行的指令提供用于实施流程图和/或框图的一个或多个框中指定的功能/动作的过程。
此外，本公开不限于本文所描述的特定电路元件，本公开也不限于这些元件的特定尺寸和分类。例如，本领域技术人员将会理解，本文所描述的电路可以基于电池尺寸和化学性质的变化或者基于要供电的预期备用负载的要求而进行调整。
本文所描述的功能和特征也可以由系统的各种分布式组件来执行。例如，一个或多个处理器可以执行这些系统功能，其中处理器分布在网络中通信的多个组件上。除了各种人机接口和通信设备(例如，显示监视器、智能电话、平板电脑、个人数字助理(PDA))之外，分布式组件可以包括一个或多个客户端和服务器机器，它们可以共享处理，如图7所示。该网络可以是诸如LAN或WAN的专用网络，或者可以是诸如互联网的公共网络。对系统的输入可以经由直接的用户输入接收，并且可以实时地或者作为批处理远程接收。附加地，一些实施方式可以在与所描述的不同的模块或硬件上执行。因此，其他实施方式也在要求保护的范围内。
在一些实施方式中，本文所描述的计算设备可以与云计算环境730(例如GoogleCloud PlatformTM)接合，以执行上文详述的方法或算法的至少一部分。与本文所描述的方法相关联的过程可以由数据中心734在诸如Google Clous Engine的计算处理器上执行。例如，数据中心734还可以包括应用处理器，例如Google App Engine，其可以用作与本文所描述的系统的接口，以接收数据并输出相应信息。云计算环境730还可以包括一个或多个数据库738或其他数据存储，例如云存储和查询数据库。在一些实施方式中，云存储数据库738，例如Google Cloud Storage，可以存储由本文所描述的系统提供的已处理和未处理的数据。例如，面试问题数据112、基线数据114、捕获的视频回答数据116、候选者简档数据118、问题分数数据120、候选者总体分数122、训练数据集124、非言语回答特征126、言语回答特征128和职位信息129可以由图1的自动反应评估系统108在诸如数据库738的数据库结构中维护。
本文所描述的系统可以通过安全网关732与云计算环境730通信。在一些实施方式中，安全网关732包括数据库查询接口，例如Google BigQuery平台。例如，数据查询接口可以支持自动反应评估系统108对存储在候选者102和/或雇主104中的任何一个上的数据的访问。
云计算环境730可以包括用于资源管理的供应工具740。供应工具740可以连接到数据中心734的计算设备，以便于供应数据中心734的计算资源。供应工具740可以经由安全网关732或云控制器736接收对计算资源的请求。供应工具740可以促进到数据中心734的特定计算设备的连接。
网络702表示将云环境730连接到多个客户端设备的一个或多个网络，例如因特网，在一些示例中，客户端设备例如是蜂窝电话710、平板计算机712、移动计算设备714和台式计算设备716。网络702还可以使用各种移动网络服务720经由无线网络进行通信，移动网络服务720诸如Wi-Fi、蓝牙、包括EDGE、3G、4G和5G无线蜂窝系统的蜂窝网络，或者任何其他已知的无线通信形式。在一些示例中，无线网络服务720可以包括中央处理器722、服务器724和数据库726。在一些实施例中，网络702对于与客户端设备相关联的本地接口和网络是不可知的，以允许被配置为执行本文所描述的过程的本地接口和网络的集成。附加地，诸如蜂窝电话710、平板计算机712和移动计算设备714的外部设备可以经由基站756、接入点754和/或卫星752与移动网络服务720进行通信。
虽然已经描述了某些实施例，但是这些实施例仅通过示例的方式呈现，并且不旨在限制本公开的范围。实际上，本文所描述的新颖方法、装置和系统可以以各种其他形式来体现；此外，在不脱离本公开的精神的情况下，可以对本文所描述的方法、装置和系统的形式进行各种省略、替换和改变。所附权利要求及其等同物旨在覆盖落入本公开的范围和精神内的这些形式或修改。

Claims (18)

1.一种用于自动地对可用职位的候选者做出的非言语回答进行客观评价的系统，所述系统包括：
处理电路；以及
非暂时性计算机可读存储器，其耦合到所述处理电路，所述非暂时性计算机可读存储器存储机器可执行指令，其中，当在所述处理电路上执行时，所述机器可执行指令使得所述处理电路：
经由网络从第一方的第一远程计算设备接收来自可用职位的候选者的视频提交，其中
所述视频提交包括多个基线回答视频片段，
基于在所述多个基线回答视频片段中的一个或多个内检测到的一个或多个非言语特征，确定候选者的至少一个基线非言语反应分数，
实时进行自动面试会话，所述自动面试会话包括从多个封闭式面试问题中选择的面试问题的集合，其中所述多个封闭式面试问题中的每个问题被配置为从候选者引出指示可能答案的相应集合中的一个的回答，其中所述自动面试会话包括：
a)经由所述第一远程计算设备向候选者呈现所述多个封闭式面试问题中的所选择的面试问题，
b)从响应于所选择的面试问题的所述第一远程计算设备接收问题回答视频片段，
c)从所述问题回答视频片段识别所述可能答案的相应集合中的给定答案，
d)从所述问题回答视频片段检测候选者回答属性，其中，所述候选者回答属性包括一个或多个韵律特征和/或一个或多个面部表情特征，
e)根据所述候选者回答属性并基于所述至少一个基线非言语反应分数，计算至少一个回答非言语反应分数，以及
f)通过至少部分基于所述给定答案和所述多个封闭式面试问题中的当前面试问题的至少一个回答非言语反应分数，选择所述多个封闭式面试问题中的下一个面试问题作为所选择的面试问题，来重复步骤a)至e)一次或多次，
分析所述面试问题的集合的给定答案和对应于所述面试问题的集合的回答非言语反应分数，以识别针对候选者的多个可能开放式问题中的开放式问题，
从响应于所述开放式问题的所述第一远程计算设备接收开放式视频片段，
将至少一个自然语言分类器应用于所述开放式视频片段，以将所述开放式视频片段的言语部分映射到个性方面的集合，以及
准备包括至少一个候选者分数的候选者面试结果，以供第二方评审。
2.根据权利要求1所述的系统，其中，所述多个基线回答视频片段的至少一部分是对候选者陈述单词或短语和/或执行非言语手势的指令的回答。
3.根据权利要求1所述的系统，其中，所述至少一个基线非言语反应分数包括基线韵律分数和基线面部表情分数。
4.根据权利要求3的所述系统，其中，计算所述至少一个回答非言语反应分数包括：
使用所述基线韵律分数和所述一个或多个韵律特征，计算相应面试问题的回答韵律分数；以及
使用所述基线面部表情分数和所述一个或多个面部表情特征，计算相应面试问题的回答面部表情分数。
5.根据权利要求4所述的系统，其中，计算所述至少一个回答非言语反应分数包括组合所述回答韵律分数和所述回答面部表情分数，以生成相应面试问题的非言语反应分数。
6.根据权利要求1所述的系统，其中，当在所述处理电路上执行时，所述机器可执行指令使得所述处理电路对于所述多个封闭式面试问题中的每个面试问题：
检测相应面试问题的问题回答视频片段的回答方向和/或回答速度；以及
根据所述回答方向和/或回答速度计算反映对所述相应面试问题的回答的强度的连续回答分数。
7.根据权利要求6所述的系统，其中，所述回答方向是“是”、“否”或“中性”之一。
8.根据权利要求1所述的系统，其中，计算所述至少一个基线非言语反应分数包括相对于表示对应于候选者的母语或文化背景中的一个或多个的人口统计学规范的评测分数，对所述至少一个回答非言语反应分数进行评测。
9.根据权利要求1所述的系统，其中，当在所述处理电路上执行时，所述机器可执行指令使得所述处理电路响应于接收到查看候选者面试结果的请求，在图形用户界面中向所述第二方的第二远程计算设备呈现所述候选者面试结果。
10.根据权利要求1所述的系统，其中，准备候选者面试结果包括准备面试结果的比较，所述面试结果包括候选者面试结果和至少一个附加候选者对所述可用职位的面试结果。
11.一种用于自动地对可用职位的申请人做出的非言语回答进行客观评价的方法，所述方法包括：
经由网络从第一方的第一远程计算设备接收来自可用职位的申请人的视频提交，其中
所述视频提交包括多个基线视频片段；
由处理电路基于在所述多个基线视频片段中的一个或多个内检测到的一个或多个非言语特征，确定申请人的至少一个基线非言语表达分数，
由所述处理电路实时进行自动面试会话，所述自动面试会话包括从多个封闭式面试提示中选择的面试提示的集合，其中所述多个封闭式面试提示中的每个提示被配置为从申请人引出指示可能答案的相应集合中的一个的回答，其中所述自动面试会话包括：
a)经由所述第一远程计算设备向申请人呈现所述多个封闭式面试提示中的所选择的面试提示，
b)从响应于所选择的面试提示的所述第一远程计算设备接收问题回答视频片段，
c)从所述问题回答视频片段识别所述可能答案的相应集合中的给定答案，
d)从所述问题回答视频片段检测申请人回答属性，其中，申请人回答属性包括一个或多个韵律特征和/或一个或多个面部表情特征，
e)根据申请人回答属性并基于所述至少一个基线非言语表达分数，计算至少一个非言语表达分数，以及
f)通过至少部分基于所述给定答案和所述多个封闭式面试提示中的当前面试提示的至少一个回答非言语表达分数，选择所述多个封闭式面试提示中的下一个面试提示作为所选择的面试提示，来重复步骤a)至e)一次或多次，
由所述处理电路分析所述面试提示的集合的给定答案和对应于所述面试提示的集合的非言语表达分数，以识别针对申请人的多个可能开放式提示中的开放式提示，
由所述处理电路从响应于所述开放式提示的所述第一远程计算设备接收开放式视频片段，
由所述处理电路将至少一个自然语言分类器应用于所述开放式视频片段，以将所述开放式视频片段的言语部分映射到个性方面的集合，以及
由所述处理电路准备包括至少一个申请人分数的申请人面试结果，以供第二方评审。
12.根据权利要求11所述的方法，其中，所述多个基线视频片段的至少一部分是响应于对申请人陈述单词或短语和/或执行非言语手势的指令而被记录的。
13.根据权利要求11所述的方法，其中，所述至少一个非言语表达分数包括基线韵律分数和基线面部表情分数。
14.根据权利要求13所述的方法，其中，计算所述至少一个非言语表达分数包括：
使用所述基线韵律分数和所述一个或多个韵律特征，计算相应面试提示的回答韵律分数；以及
使用所述基线面部表情分数和所述一个或多个面部表情特征来计算相应面试提示的回答面部表情分数。
15.根据权利要求11所述的方法，还包括，对于所述多个封闭式面试提示中的每个面试提示：
由所述处理电路检测针对相应面试提示的相应问题回答视频片段的回答方向和/或回答速度；以及
根据所述回答方向和/或回答速度计算反映在所述相应问题回答视频片段中捕获的回答的强度的连续回答分数；
其中，所述响应方向包括是、否或中立之一。
16.根据权利要求11所述的方法，其中，计算所述至少一个非言语表达分数包括相对于表示对应于申请人的母语或文化背景中的一个或多个的人口统计学规范的评测分数，对所述至少一个非言语表达分数进行评测。
17.根据权利要求11所述的方法，还包括响应于接收到查看申请人面试结果的请求，在图形用户界面中向所述第二方的第二远程计算设备呈现申请人面试结果。
18.根据权利要求11所述的方法，其中，准备申请人面试结果包括准备面试结果的比较，所述面试结果包括申请人面试结果和至少一个附加申请人对所述可用职位的面试结果。
CN202180024117.1A 2020-01-29 2021-01-28 用于自动验证和量化面试问题回答的系统和方法 Active CN115413348B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062967451P 2020-01-29 2020-01-29
US62/967,451 2020-01-29
PCT/EP2021/051951 WO2021151993A1 (en) 2020-01-29 2021-01-28 Systems and methods for automating validation and quantification of interview question responses

Publications (2)

Publication Number Publication Date
CN115413348A CN115413348A (zh) 2022-11-29
CN115413348B true CN115413348B (zh) 2023-09-05

Family

ID=74418458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180024117.1A Active CN115413348B (zh) 2020-01-29 2021-01-28 用于自动验证和量化面试问题回答的系统和方法

Country Status (4)

Country Link
US (2) US11216784B2 (zh)
EP (1) EP4097664A1 (zh)
CN (1) CN115413348B (zh)
WO (1) WO2021151993A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220237531A1 (en) * 2010-05-10 2022-07-28 The Institute for Motivational Living Method of matching employers with job seekers including emotion recognition
US11093901B1 (en) 2020-01-29 2021-08-17 Cut-E Assessment Global Holdings Limited Systems and methods for automatic candidate assessments in an asynchronous video setting
US11216784B2 (en) 2020-01-29 2022-01-04 Cut-E Assessment Global Holdings Limited Systems and methods for automating validation and quantification of interview question responses
JP2021157609A (ja) * 2020-03-27 2021-10-07 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11715330B2 (en) * 2020-12-29 2023-08-01 Nec Corporation Of America Liveness detection in an interactive video session
US20220230082A1 (en) * 2021-01-19 2022-07-21 Ashwarya Poddar System and method for evaluating interview response quality
US11450095B2 (en) 2021-01-22 2022-09-20 Voomer, Inc. Machine learning for video analysis and feedback
US11550831B1 (en) * 2021-07-15 2023-01-10 TrueSelph, Inc. Systems and methods for generation and deployment of a human-personified virtual agent using pre-trained machine learning-based language models and a video response corpus
JP7334913B2 (ja) * 2021-08-24 2023-08-29 株式会社ティファナ ドットコム 面接支援システム
WO2023062512A1 (en) * 2021-10-11 2023-04-20 Tiktalk To Me Ltd Real time evaluating a mechanical movement associated with a pronunciation of a phenome by a patient
US11876916B2 (en) * 2022-02-08 2024-01-16 My Job Matcher, Inc. Apparatus and methods for candidate tracking
US11556898B1 (en) * 2022-03-09 2023-01-17 My Job Matcher, Inc. Apparatus and methods for creating a video record
US11562329B1 (en) * 2022-03-09 2023-01-24 My Job Matcher, Inc. Apparatus and methods for screening users
JP7442240B1 (ja) 2023-07-13 2024-03-04 株式会社グレッジ 処理装置、処理プログラム及び処理方法
CN117422547B (zh) * 2023-12-18 2024-04-02 湖南三湘银行股份有限公司 一种基于智能对话系统与微表情识别的审核装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198317A1 (en) * 2014-06-23 2015-12-30 Intervyo R&D Ltd. Method and system for analysing subjects
CN109146296A (zh) * 2018-08-28 2019-01-04 南京葡萄诚信息科技有限公司 一种人工智能评估人才方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050283378A1 (en) 2000-05-30 2005-12-22 Iserson Samuel L Asynchronous video interview system
US20040093263A1 (en) 2002-05-29 2004-05-13 Doraisamy Malchiel A. Automated Interview Method
US8972266B2 (en) * 2002-11-12 2015-03-03 David Bezar User intent analysis extent of speaker intent analysis system
US20070088601A1 (en) 2005-04-09 2007-04-19 Hirevue On-line interview processing
US8094790B2 (en) 2005-05-18 2012-01-10 Mattersight Corporation Method and software for training a customer service representative by analysis of a telephonic interaction between a customer and a contact center
US20080270467A1 (en) 2007-04-24 2008-10-30 S.R. Clarke, Inc. Method and system for conducting a remote employment video interview
WO2011031456A2 (en) 2009-08-25 2011-03-17 Vmock, Inc. Internet-based method and apparatus for career and professional development via simulated interviews
US20110088081A1 (en) 2009-10-12 2011-04-14 iViioo, Inc. Methods for effecting remote interview invitations
US20130266925A1 (en) * 2012-01-30 2013-10-10 Arizona Board Of Regents On Behalf Of The University Of Arizona Embedded Conversational Agent-Based Kiosk for Automated Interviewing
EP2817962A4 (en) 2012-02-23 2015-09-02 Collegenet Inc ASYNCHRONOUS VIDEO INTERVIEW SYSTEM
US20130290210A1 (en) 2012-04-27 2013-10-31 Furstperson, Inc. System and method for automating pre-employment assessment
US20140191939A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Using nonverbal communication in determining actions
US9691296B2 (en) * 2013-06-03 2017-06-27 Massachusetts Institute Of Technology Methods and apparatus for conversation coach
US20150046357A1 (en) * 2013-08-09 2015-02-12 Mattersight Corporation Systems and methods for evaluating job candidates
US9009045B1 (en) 2013-12-09 2015-04-14 Hirevue, Inc. Model-driven candidate sorting
US8856000B1 (en) 2013-12-09 2014-10-07 Hirevue, Inc. Model-driven candidate sorting based on audio cues
US9378486B2 (en) * 2014-03-17 2016-06-28 Hirevue, Inc. Automatic interview question recommendation and analysis
US10607188B2 (en) 2014-03-24 2020-03-31 Educational Testing Service Systems and methods for assessing structured interview responses
US9275370B2 (en) 2014-07-31 2016-03-01 Verizon Patent And Licensing Inc. Virtual interview via mobile device
WO2016019433A1 (en) 2014-08-04 2016-02-11 Jay Daren Investigative interview management system
US10176365B1 (en) 2015-04-21 2019-01-08 Educational Testing Service Systems and methods for multi-modal performance scoring using time-series features
US20170116870A1 (en) * 2015-10-21 2017-04-27 Duolingo, Inc. Automatic test personalization
US9846844B2 (en) 2015-11-25 2017-12-19 International Business Machines Corporation Method and system for quantitatively evaluating the confidence in information received from a user based on cognitive behavior
US20180025303A1 (en) 2016-07-20 2018-01-25 Plenarium Inc. System and method for computerized predictive performance analysis of natural language
US10366160B2 (en) 2016-09-30 2019-07-30 International Business Machines Corporation Automatic generation and display of context, missing attributes and suggestions for context dependent questions in response to a mouse hover on a displayed term
US10796217B2 (en) * 2016-11-30 2020-10-06 Microsoft Technology Licensing, Llc Systems and methods for performing automated interviews
US10318926B2 (en) 2017-07-17 2019-06-11 ExpertHiring, LLC Method and system for managing, matching, and sourcing employment candidates in a recruitment campaign
US10318927B2 (en) 2017-07-17 2019-06-11 ExpertHiring, LLC Method and system for managing, matching, and sourcing employment candidates in a recruitment campaign
US10424319B2 (en) 2017-09-26 2019-09-24 International Business Machines Corporation Assessing the structural quality of conversations
US11907820B2 (en) * 2018-11-28 2024-02-20 Lendingclub Corporation Automated bias elimination in negotiated terms
US10963841B2 (en) * 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US20200387850A1 (en) 2019-06-04 2020-12-10 Eleanor Kramer Using score tiers to facilitate evaluation of computer-assessed candidates for employment purposes
US11151385B2 (en) * 2019-12-20 2021-10-19 RTScaleAI Inc System and method for detecting deception in an audio-video response of a user
US11216784B2 (en) 2020-01-29 2022-01-04 Cut-E Assessment Global Holdings Limited Systems and methods for automating validation and quantification of interview question responses
US11093901B1 (en) 2020-01-29 2021-08-17 Cut-E Assessment Global Holdings Limited Systems and methods for automatic candidate assessments in an asynchronous video setting

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198317A1 (en) * 2014-06-23 2015-12-30 Intervyo R&D Ltd. Method and system for analysing subjects
CN109146296A (zh) * 2018-08-28 2019-01-04 南京葡萄诚信息科技有限公司 一种人工智能评估人才方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张伟 ; 徐建平 ; .应聘者非言语信息对面试官评分的影响:解释、测量和控制.心理科学进展.2016,(第08期),1319-1328. *

Also Published As

Publication number Publication date
EP4097664A1 (en) 2022-12-07
US20210233031A1 (en) 2021-07-29
US20220366373A1 (en) 2022-11-17
WO2021151993A1 (en) 2021-08-05
CN115413348A (zh) 2022-11-29
US11216784B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
CN115413348B (zh) 用于自动验证和量化面试问题回答的系统和方法
JP6042015B1 (ja) オンライン面接評価装置、方法およびプログラム
Naim et al. Automated prediction and analysis of job interview performance: The role of what you say and how you say it
CN106663383B (zh) 分析受试者的方法和系统
Naim et al. Automated analysis and prediction of job interview performance
US9754503B2 (en) Systems and methods for automated scoring of a user's performance
US20200082928A1 (en) Assisting psychological cure in automated chatting
US8842811B2 (en) Computer-implemented system and method for providing recommendations regarding hiring agents in an automated call center environment based on user traits
Rasipuram et al. Asynchronous video interviews vs. face-to-face interviews for communication skill measurement: a systematic study
TWI727476B (zh) 適性化職缺媒合系統及方法
Chollet et al. Assessing public speaking ability from thin slices of behavior
US20180168498A1 (en) Computer Automated Method and System for Measurement of User Energy, Attitude, and Interpersonal Skills
US20210271864A1 (en) Applying multi-channel communication metrics and semantic analysis to human interaction data extraction
Park et al. Mutual behaviors during dyadic negotiation: Automatic prediction of respondent reactions
Chou et al. An AI mock-interview platform for interview performance analysis
JP7334913B2 (ja) 面接支援システム
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
US20230290505A1 (en) Context Aware Assessment
JP6285377B2 (ja) コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム
Karpouzis et al. Induction, recording and recognition of natural emotions from facial expressions and speech prosody
Rasipuram et al. A comprehensive evaluation of audio-visual behavior in various modes of interviews in the wild
Ohba et al. Multimodal Analysis for Communication Skill and Self-Efficacy Level Estimation in Job Interview Scenario
CN111209817A (zh) 基于人工智能的考核方法、装置、设备及可读存储介质
KR102583312B1 (ko) 서비스 직원의 언어 및 제스처 분석을 통한 교육 평가 방법 및 시스템
CN116935478B (zh) 一种智能手表的情感识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant