CN112017671A - 一种基于多特征的面谈内容可信度评价方法和系统 - Google Patents
一种基于多特征的面谈内容可信度评价方法和系统 Download PDFInfo
- Publication number
- CN112017671A CN112017671A CN202011093727.0A CN202011093727A CN112017671A CN 112017671 A CN112017671 A CN 112017671A CN 202011093727 A CN202011093727 A CN 202011093727A CN 112017671 A CN112017671 A CN 112017671A
- Authority
- CN
- China
- Prior art keywords
- interview
- credibility
- data
- signal
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims abstract description 9
- 238000007405 data analysis Methods 0.000 claims abstract description 7
- 238000013499 data model Methods 0.000 claims abstract description 7
- 238000013500 data storage Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000036772 blood pressure Effects 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001107 psychogenic effect Effects 0.000 claims description 3
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000036387 respiratory rate Effects 0.000 claims description 3
- 230000037303 wrinkles Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 4
- 230000003938 response to stress Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 2
- 208000018999 crinkle Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于多特征的面谈内容可信度评价方法和系统。该方法包括：实时采集参与面谈者的面谈音视频数据，通过组合算法处理从中实时提取出生理特征、微表情特征和语音特征，并运用多模态融合策略融合成特征向量，输入可信度分类预测模型，实时得出面谈内容可信度等级进行显示和提醒，最后整合面谈中参与面谈者各时段的面谈内容可信度等级得出其面谈总体的可信度评价。该系统主要包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。本发明采用非接触式测试评价方式，能有效避免或减少参与面谈者的应激反应，且采用多特征融合策略，分类预测模型兼顾部分特征缺失的情境，可有效提高可信度评价的真实性和可靠性。
Description
技术领域
本发明涉及音视频信息处理技术领域，具体涉及一种基于多特征的面谈内容可信度评价方法和系统。
背景技术
在面试、谈判、审讯等目的性面谈过程中，参与面谈者出于达到自身目的的动机，比如争取更高的面谈得分、在谈判中获取更多的利益、推诿责任或逃避罪责等，可能会出现过分夸大、说谎、掩饰等违背事实的行为。目前国内外已有不少对于测谎的研究，并部分实现了在刑事侦查等特定领域中的应用，例如多道生理数据和脑电采集分析技术、微表情分析技术、语音分析技术等。其中多道生理数据采集分析技术最为常见，通过对心率、呼吸、血压、皮肤电阻等生理数据的采集分析来判断被测试者是否说谎，而脑电采集分析技术则是通过采集分析脑电波信号来实现测谎，这两者都利用接触式传感器固定于被测试者的特定部位进行测量，对测试环境、过程要求较高，容易引起被测试者的应激反应，同时被测试者也可能更加警觉而采取相应的干扰手段，从而严重影响测谎效果。微表情分析技术是对人脸表情进行识别分析，易受文化、种族和个体差异影响，也相对其他技术更容易进行伪装和掩饰。语音分析技术则是主要是通过声学特征和词汇特征分析进行测谎，后者会受语言习惯、表达方式差异的影响。以上测谎技术均有可取之处，但也各有不足，另外由于基本上都是单独应用，目前还没有成熟的融合策略和模型以进一步提高测谎准确率。
发明内容
本发明的目的在于提出一种基于多特征的面谈内容可信度评价方法和系统，实时采集或导入参与面谈者的面谈音视频数据，通过对音视频数据的组合算法处理和可信度分类预测模型判定，得出参与面谈者面谈内容实时可信度等级，并且可以综合整个面谈过程中参与面谈者各时段面谈内容的可信度等级得出其整个面谈的可信度评价，为面谈主持方提供评估依据。
为达成上述目的，本发明提出一种基于多特征的面谈内容可信度评价方法，具体包括以下步骤：
S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号。
所述有效的序列帧图像和语音信号分别满足参与面谈者人脸图像和语音信号提取条件。
S2、从有效的序列帧图像和语音信号中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号。
所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程。
所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程。
所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。
S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征。
所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。
所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数。
所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等。
所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量。
所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。
S5、将特征向量输出至可信度分类预测模型，得出当前参与面谈者面谈内容可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记。
所述可信度分类预测模型基于前期采集的出现过分夸大、说谎、掩饰等违背事实的行为时的人员的生理特征、微表情特征和语音特征的样本数据库进行构建，兼容任意一类或两类特征数据缺失的情况。
S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
进一步的，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
进一步的，一种基于多特征的面谈内容可信度评价方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
进一步的，一种基于多特征的面谈内容可信度评价方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。
根据本发明，还提出一种基于多特征的面谈内容可信度评价系统，具体包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。
所述数据采集单元用于采集参与面谈者音视频数据。
所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块。所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合模块用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价。
所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善。
所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示。
所述数据存储单元用于存储模型构建的样本数据，包括所有参与了面谈可信度评价的参与面谈者的数据。
进一步地，一种基于多特征的面谈内容可信度评价系统，还包括查询单元和参与面谈者管理单元。所述查询单元，用于参与面谈者面谈内容的可信度评价结果的查询；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。
通过采用前述技术方案，本发明的有益效果是：采用非接触式测试评价方式，能有效避免或减少参与面谈者的应激反应，同时在一定程度上降低其警惕心理；采用多特征融合策略，且分类预测模型兼顾部分特征缺失的情境，可进一步降低其对测试评价进行反制、干扰的可能性，有效提高可信度评价的真实性和可靠性。
附图说明
以下结合附图对本发明作进一步详细的说明。
图1为本发明实施例提供的一种基于多特征的面谈内容可信度评价方法的流程示意图。
图2为本发明实施例提供的一种基于多特征的面谈内容可信度评价系统的结构示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图进行如下说明。
如图1所示，本发明提供了一种基于多特征的面谈内容可信度评价方法，具体包括以下步骤：
S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号。
所述有效的序列帧图像和语音信号分别满足参与面谈者人脸图像和语音信号提取条件，具体例如有效的序列帧图像需要包含参与面谈者完整人脸图像，且要求人脸图像偏转角度小于设定值，同时对序列帧图像的连续性有所要求；有效的语音信号需要包含参与面谈者的语音信号，且能从环境噪声中被识别出来，同时也对语音信号的连续性有所要求。
S2、从有效的序列帧图像和语音信号中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号。
所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程。
所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程，其中部分处理流程与IPPG信号提取流程相同，无需再单独进行处理。
所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成，采样频率可根据事实情况进行设定和调整。
S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征。
所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理，不同信号的预处理方法根据其数据特征而有所差异。
所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数。
所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等。
所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量。
所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征数据缺失，即兼容例如参与面谈者未说话但是有人脸图像画面的情况，或者其中任意一类或两类特征数据因无效而不得不剔除，但另外两类或一类特征数据有效的情况等等。
S5、将特征向量输出至可信度分类预测模型，得出当前面谈者面谈可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记。
所述可信度分类预测模型基于前期采集的出现过分夸大、说谎、掩饰等违背事实的行为时的人员的生理特征、微表情特征和语音特征的样本数据库进行构建，兼容任意一类或两类特征数据缺失的情况。
S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
作为优选实施例，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
作为优选实施例，一种基于多特征的面谈内容可信度评价方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
作为优选实施例，一种基于多特征的面谈内容可信度评价方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法，例如针对谈判、绩效面谈、教育改造谈话等情境，还可以对面谈效果进行评价。评价的结果可以是不同级别划分的等级，也可以是不同分制的数值。
根据本发明，还提出一种基于多特征的面谈内容可信度评价系统，具体包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。
所述数据采集单元用于采集参与面谈者音视频数据。
所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块。所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合模块用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价。
所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善。
所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示，并能对低于系统设定的可信度评价标准的结果进行实时告警，为面谈主导方对于面谈的内容、方向和策略调整提供及时的参考依据。
所述数据存储单元用于存储用于模型构建的样本数据，也包括所有参与了面谈可信度评价的参与面谈者的数据。
作为优选实施例，一种基于多特征的面谈内容可信度评价系统，还包括查询单元和参与面谈者管理单元。所述查询单元，用于对参与面谈人员面谈内容的可信度评价结果的查询，针对告警的可信度评价结果还可以根据时间标记回溯对应的面谈音视频；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。
在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于多特征的面谈内容可信度评价方法，其特征在于，包括以下步骤：
S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号；
所述有效的序列帧图像和被语音信号分别满足参与面谈者人脸图像和语音信号提取条件；
S2、从有效的序列帧图像和语音数据中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号；
S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征；
S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量；
S5、将特征向量输出至可信度分类预测模型，得出当前面谈者面谈可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记；
S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
2.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程；所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程；所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。
3.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。
4.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数；所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等；所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
5.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。
6.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
7.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
8.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。
9.一种基于多特征的面谈内容可信度评价系统，其特征在于，其主要组成包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元；
所述数据采集单元用于采集参与面谈者音视频数据；
所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块；
所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合单元用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价；
所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善；
所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示；
所述数据存储单元用于存储用于模型构建的样本数据，包括所有参与了面谈可信度评价的参与面谈者的数据。
10.根据权利要求9所述的一种基于多特征的面谈内容可信度评价系统，其特征还在于，还包括查询单元和参与面谈者管理单元；
所述查询单元，用于对参与面谈者面谈内容的可信度评价结果的查询；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011093727.0A CN112017671A (zh) | 2020-10-14 | 2020-10-14 | 一种基于多特征的面谈内容可信度评价方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011093727.0A CN112017671A (zh) | 2020-10-14 | 2020-10-14 | 一种基于多特征的面谈内容可信度评价方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112017671A true CN112017671A (zh) | 2020-12-01 |
Family
ID=73527867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011093727.0A Pending CN112017671A (zh) | 2020-10-14 | 2020-10-14 | 一种基于多特征的面谈内容可信度评价方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017671A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329748A (zh) * | 2021-01-04 | 2021-02-05 | 中国科学院自动化研究所 | 面向交互场景的自动谎言检测方法、装置、设备及介质 |
| CN112634871A (zh) * | 2020-12-17 | 2021-04-09 | 南京理工大学 | 一种基于语音和雷达双传感器的测谎方法及系统 |
| CN112651714A (zh) * | 2020-12-25 | 2021-04-13 | 北京理工大学深圳研究院 | 一种基于多模态信息的面试测评方法和系统 |
| CN112749657A (zh) * | 2021-01-07 | 2021-05-04 | 北京码牛科技有限公司 | 一种租房管理方法及系统 |
| CN114445896A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 视频中人物陈述内容可置信度的评估方法及装置 |
-
2020
- 2020-10-14 CN CN202011093727.0A patent/CN112017671A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634871A (zh) * | 2020-12-17 | 2021-04-09 | 南京理工大学 | 一种基于语音和雷达双传感器的测谎方法及系统 |
| CN112634871B (zh) * | 2020-12-17 | 2024-02-20 | 南京理工大学 | 一种基于语音和雷达双传感器的测谎方法及系统 |
| CN112651714A (zh) * | 2020-12-25 | 2021-04-13 | 北京理工大学深圳研究院 | 一种基于多模态信息的面试测评方法和系统 |
| CN112329748A (zh) * | 2021-01-04 | 2021-02-05 | 中国科学院自动化研究所 | 面向交互场景的自动谎言检测方法、装置、设备及介质 |
| CN112329748B (zh) * | 2021-01-04 | 2021-04-30 | 中国科学院自动化研究所 | 面向交互场景的自动谎言检测方法、装置、设备及介质 |
| US11238289B1 (en) | 2021-01-04 | 2022-02-01 | Institute Of Automation, Chinese Academy Of Sciences | Automatic lie detection method and apparatus for interactive scenarios, device and medium |
| CN112749657A (zh) * | 2021-01-07 | 2021-05-04 | 北京码牛科技有限公司 | 一种租房管理方法及系统 |
| CN114445896A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 视频中人物陈述内容可置信度的评估方法及装置 |
| CN114445896B (zh) * | 2022-01-28 | 2024-04-05 | 北京百度网讯科技有限公司 | 视频中人物陈述内容可置信度的评估方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Spectral representation of behaviour primitives for depression analysis | |
| CN112017671A (zh) | 一种基于多特征的面谈内容可信度评价方法和系统 | |
| Avola et al. | Automatic deception detection in rgb videos using facial action units | |
| Dhall et al. | A temporally piece-wise fisher vector approach for depression analysis | |
| JP7392492B2 (ja) | 時間的視覚的な顔の特徴に基づく認知及び発話障害検出のための方法、サーバ及びプログラム | |
| Kim et al. | ISLA: Temporal segmentation and labeling for audio-visual emotion recognition | |
| US11151385B2 (en) | System and method for detecting deception in an audio-video response of a user | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| Saeed | Facial micro-expressions as a soft biometric for person recognition | |
| Monkaresi et al. | Classification of affects using head movement, skin color features and physiological signals | |
| Chetty et al. | A multilevel fusion approach for audiovisual emotion recognition | |
| Zhang et al. | Multiparty visual co-occurrences for estimating personality traits in group meetings | |
| Fan et al. | Transformer-based multimodal feature enhancement networks for multimodal depression detection integrating video, audio and remote photoplethysmograph signals | |
| Kathan et al. | A personalised approach to audiovisual humour recognition and its individual-level fairness | |
| Guarin et al. | Video-based facial movement analysis in the assessment of bulbar amyotrophic lateral sclerosis: clinical validation | |
| Krishna et al. | Different approaches in depression analysis: A review | |
| Dadiz et al. | Analysis of depression based on facial cues on a captured motion picture | |
| Joshi | An automated framework for depression analysis | |
| Mantri et al. | Real time multimodal depression analysis | |
| Gullapalli et al. | Quantifying the psychopathic stare: Automated assessment of head motion is related to antisocial traits in forensic interviews | |
| Siegfried et al. | A deep learning approach for robust head pose independent eye movements recognition from videos | |
| Rahul et al. | Detecting and Analyzing Depression: A Comprehensive Survey of Assessment Tools and Techniques | |
| Hammal et al. | Holistic and feature-based information towards dynamic multi-expressions recognition | |
| Begum et al. | Survey on Artificial Intelligence-based Depression Detection using Clinical Interview Data | |
| Genchi et al. | Analysis of Lying through an Eye Blink Detection Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201201 |
|
| WD01 | Invention patent application deemed withdrawn after publication |