CN110688499A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents
数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110688499A CN110688499A CN201910745443.6A CN201910745443A CN110688499A CN 110688499 A CN110688499 A CN 110688499A CN 201910745443 A CN201910745443 A CN 201910745443A CN 110688499 A CN110688499 A CN 110688499A
- Authority
- CN
- China
- Prior art keywords
- data
- emotion
- voice
- speech
- interviewer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title abstract description 12
- 230000008451 emotion Effects 0.000 claims abstract description 301
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000013145 classification model Methods 0.000 claims description 90
- 238000012549 training Methods 0.000 claims description 63
- 238000002372 labelling Methods 0.000 claims description 28
- 238000012795 verification Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 23
- 230000014509 gene expression Effects 0.000 abstract description 13
- 238000007405 data analysis Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据分析技术领域，提供了一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：根据微语音特征，得到第一语音情绪数据，将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，将文字数据输入已训练的语法分析网络，得到文字数据的语法评分，根据微表情特征，得到视频数据置信度，根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。采用本方法能够提高识别准确率，使面试结果更贴近真实情况。
Description
技术领域
本申请涉及数据分析技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。
背景技术
随着人工智能的发展，出现了智能面试系统，传统的智能面试系统，多为识别面部微表情去发现被面试者的异常表情，并作为风险评估的依据之一。微表情，是心理学名词。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息。“微表情”最短可持续1/25秒，虽然一个下意识的表情可能只持续一瞬间，但有时表达相反的情绪。
然而，仅依靠识别微表情特征并不足以准确全面捕捉被面试者的心理状态，易导致面试结果与真实情况存在较大差异，存在识别准确率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高识别准确率，使面试结果更贴近真实情况的数据处理方法、装置、计算机设备和存储介质，以给用户带来便利。
一种数据处理方法，所述方法包括：
获取面试者音频数据以及面试者视频数据；
根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据；
将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到；
将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到；
从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度；
根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
在其中一个实施例中，根据面试者音频数据提取面试者的微语音特征包括：
调用语音特征提取工具，根据面试者音频数据提取面试者的微语音特征，微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征。
在其中一个实施例中，根据微语音特征，得到第一语音情绪数据包括：
获取面试者性别信息，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型，语音情绪分类模型由携带标注信息的样本语音数据训练得到，标注信息包括情绪类别信息以及性别信息；
获取微语音特征中的音高特征、梅尔频率倒谱系数以及语速特征；
将音高特征、梅尔频率倒谱系数以及语速特征输入已匹配的语音情绪分类模型中，获取微语音特征归属于各预设的情绪类别的置信度，得到微语音特征的第一语音情绪数据。
在其中一个实施例中，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型之前，还包括：
获取携带标注信息的样本语音数据；
将样本语音数据划分为训练集和验证集；
根据训练集以及初始语音情绪分类模型进行模型训练，得到语音情绪分类模型集合；
根据验证集进行模型验证，调整语音情绪分类模型集合中各语音情绪分类模型。
在其中一个实施例中，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据包括：
根据各句子中各词语查找匹配预设的与已训练的情绪分类网络对应的字典，确定各句子中各词语在字典中对应的序列号；
将各句子中各词语在字典中对应的序列号输入情绪分类网络，得到文字数据中各句子归属于各预设的情绪类别的置信度；
获取文字数据中各句子归属于各预设的情绪类别的置信度的平均值，根据置信度的平均值，得到文字数据归属于各预设的情绪类别的置信度。
在其中一个实施例中，根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果包括：
根据第一语音情绪数据、第二语音情绪数据以及语法评分，得到音频数据置信度；
根据音频数据置信度、视频数据置信度以及预设的置信度参数，确定面试者的面试结果。
一种数据处理装置，所述装置包括：
获取模块，用于获取面试者音频数据以及面试者视频数据；
第一提取模块，用于根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据；
第一处理模块，用于将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到；
第二处理模块，用于将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到；
第二提取模块，用于从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度；
分析模块，用于根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
在其中一个实施例中，第一提取模块还用于调用语音特征提取工具，根据面试者音频数据提取面试者的微语音特征，微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取面试者音频数据以及面试者视频数据；
根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据；
将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到；
将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到；
从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度；
根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取面试者音频数据以及面试者视频数据；
根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据；
将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到；
将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到；
从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度；
根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
上述数据处理方法、装置、计算机设备和存储介质，根据面试者音频数据提取微语音特征，根据微语音特征，得到第一语音情绪数据，将面试者音频数据转换为文字数据，对文字数据进行分析，得到第二语音情绪数据以及语法评分，根据面试者视频数据提取微表情特征，根据微表情特征，得到视频数据置信度，根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。通过多种方式识别面试者的多个特征，综合多个识别结果确定面试者的面试结果，从而能够准确全面捕捉被面试者的心理状态，提高识别准确率，使面试结果更贴近真实情况。
附图说明
图1为一个实施例中数据处理方法的应用场景图；
图2为一个实施例中数据处理方法的流程示意图；
图3为一个实施例中图2中步骤S204的子流程示意图；
图4为另一个实施例中图2中步骤S204的子流程示意图；
图5为再一个实施例中图2中步骤S204的子流程示意图；
图6为一个实施例中图2中步骤S206的子流程示意图；
图7为一个实施例中图2中步骤S212的子流程示意图；
图8为一个实施例中数据处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器104获取面试者音频数据以及面试者视频数据，根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据，将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到，将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到，从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度，根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果，并推送至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S202：获取面试者音频数据以及面试者视频数据。
面试者视频数据指的是面试者在接受面试时被录制的视频数据，面试者音频数据指的是面试者在接受面试时的音频数据，面试者音频数据可以从面试者视频数据中提取得到。
S204：根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据。
服务器通过调用语音特征提取工具可从面试者音频数据中提取面试者的微语音特征，微语音特征包括语速特征、音高特征以及梅尔频率倒谱系数。其中，语速指的是语音数据中每秒钟的单词数，单词可以为中文也可以为英文，音高指的是语音频率的高低，梅尔频率倒谱是基于声音频率的非线性梅尔刻度的对数能量频谱的线性变换，梅尔频率倒谱系数就是组成梅尔频率倒谱的系数。服务器将微语音特征输入已训练的语音情绪分类模型集合中与面试者性别信息匹配的语音情绪分类模型，可得到与微语音特征对应的第一语音情绪数据，第一语音情绪数据指的是微语音特征归属于各预设的情绪类别的置信度。
其中，已训练的语音情绪分类模型集合中包括针对不同性别面试者样本数据训练得到的语音情绪分类模型，即分析男性语音数据的情绪分类模型和分析女性语音数据的情绪分类模型。服务器会获取面试者性别信息，根据面试者性别信息匹配已训练的语音情绪分类模型集合，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型。语音情绪分类模型由携带标注信息的样本语音数据训练得到，标注信息包括情绪类别信息以及性别信息。服务器会根据性别信息对样本语音数据进行划分，根据划分后的样本语音数据分别进行模型训练，得到语音情绪分类模型集合。
S206：将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到。
情绪分类网络可以为以BERT为基础，叠加一层含N个神经元(假定预设N种情绪)的分类层的网络。服务器将文字数据拆分为多个句子，对每个句子进行分词，根据各句子中各词语查找匹配BERT的字典，把每个词转换为该词在BERT的字典中对应的序列号，把整个句子的序列号输入进BERT，得到各句子归属于各预设的情绪类别的置信度，进而根据各句子归属于各预设的情绪类别的置信度，确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据。其中，情绪分类网络可以由第一样本文字数据训练得到，第一样本文字数据中各样本句都携带有标注信息，标注信息为各样本句的情绪类别信息。
由于文字数据所需的缓存空间比音频数据以及视频数据小，在进行数据处理时，采用将面试者音频数据转换为文字数据，对文字数据进行处理的方式，能够在处理的过程中节省服务器的缓存空间，实现了对服务器的缓存空间的优化。
S208：将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到。
在训练语法分析网络时，可采用CoLA(Corpus of Linguistic Acceptability)作为第二样本文字数据，该数据集包括多个携带标注的单句，标注为语法正确与否(0为错误，1为正确)，在经过训练之后，语法分析网络可用于判定句子的语法准确度，语法分数范围为0～1，其中，0代表语法错误，1代表语法正确，介于0到1之间的置信度可理解为语法准确度。在得到文字数据中各句子的语法分数之后，服务器会计算各句子的语法分数平均值，得到文字数据的语法评分。其中，语法分析网络会自动根据文字数据进行学习，无需对文字数据中各句子进行拆分和匹配语法结构。
S210：从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度。
服务器根据预设时间间隔从面试者视频数据中随机截取视频帧，根据视频帧获取面试者的微表情特征，将微表情特征输入已训练的微表情模型，可得到微表情特征归属于各预设的情绪类别的置信度，对微表情特征归属于各预设的情绪类别的置信度进行排序，获取置信度最大值，得到视频数据置信度。其中，微表情模型由样本微表情数据训练得到。
S212：根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
服务器可通过将第一语音情绪数据、第二语音情绪数据以及语法评分输入已训练的音频分类模型的方式，得到音频数据置信度，进而根据音频数据置信度、视频数据置信度以及置信度参数，确定面试者的面试结果。具体的，音频分类模型的参数包括第一语音情绪数据中音频数据归属各预设的情绪类别的置信度，第二语音情绪数据中文字数据归属各预设的情绪类别的置信度以及语法评分。在训练音频分类模型时，可以以携带标注信息的样本语音数据以及样本文字数据作为训练集，标注信息用于标注与样本语音数据以及样本文字数据对应的面试者是否说谎。置信度参数可按照需要自行设置，置信度参数为可调参数。
在其中一个实施例中，如图3所示，S204包括：
S302：调用语音特征提取工具，根据面试者音频数据提取面试者的微语音特征，微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征；
S304：将微语音特征输入已匹配的语音情绪分类模型，得到与微语音特征对应的第一语音情绪数据。
调用语音特征提取工具，提取梅尔频率倒谱系数的方式为：对面试者音频数据进行快速傅里叶变换得到频谱，把频谱映射到梅尔比例，去对数后进行离散余弦变换，即可得到梅尔频率倒谱系数。音高特征包括当前片段音高平均值、当前片段音高标准差、历史音高平均值以及历史音高标准差。其中，当前片段音高平均值的提取方式为：对面试者音频数据进行快速傅里叶变换，得到音频数据的频谱图，然后计算每个频段与频谱中心值的方差，对方差求和后取平方根。历史音高平均值和标准差是指面试者从本次面试开始到当前片段为止的平均值和标准差。这些数据会在面试开始后在服务器中进行记忆存储。为了计算方便，可以用指数移动平均值近似计算，更新公式为：
历史音高平均值＝α*历史音高平均值+(1-α)*当前音高平均值
历史音高标准差＝α*历史音高标准差+(1-α)*当前音高标准差
其中α为介于0到1的权重参数，可按照需要自行设置，此处默认为0.9。
语速特征包括当前语速、历史语速平均值以及历史语速标准差，历史语速平均值和标准差是服务器在面试开始后进行的计算和记忆存储。同样的，为了计算方便，可以用指数移动平均值近似计算，更新公式为：
历史语速平均值＝α*历史语速平均值+(1-α)*当前语速
历史语速均方差＝α*历史语速均方差+(1-α)*(当前语速–历史语速平均值)2
历史语速标准差＝历史语速均方差的开方值
上述实施例，调用语音特征提取工具，根据面试者音频数据提取面试者的微语音特征，实现了对面试者的微语音特征的提取。
在其中一个实施例中，如图4所示，S204包括：
S402：获取面试者性别信息，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型，语音情绪分类模型由携带标注信息的样本语音数据训练得到，标注信息包括情绪类别信息以及性别信息；
S404：获取微语音特征中的音高特征、梅尔频率倒谱系数以及语速特征；
S406：将音高特征、梅尔频率倒谱系数以及语速特征输入已匹配的语音情绪分类模型中，获取微语音特征归属于各预设的情绪类别的置信度，得到微语音特征的第一语音情绪数据。
已训练的语音情绪分类模型集合中包括针对不同性别面试者样本数据训练得到的语音情绪分类模型，即分析男性语音数据的情绪分类模型和分析女性语音数据的情绪分类模型。服务器会获取面试者性别信息，根据面试者性别信息匹配已训练的语音情绪分类模型集合，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型。语音情绪分类模型由携带标注信息的样本语音数据训练得到，标注信息包括情绪类别信息以及性别信息。服务器会根据性别信息对样本语音数据进行划分，根据划分后的样本语音数据分别进行模型训练，得到语音情绪分类模型集合。
音高特征包括当前片段音高平均值、当前片段音高标准差、历史音高平均值以及历史音高标准差，语速特征包括当前语速、历史语速平均以及历史语速标准差，服务器会将三个特征中包括的所有特征作为参数输入已匹配的语音情绪分类模型中，语音情绪分类模型中的卷积神经网络会综合所有特征给出微语音特征归属于各预设的情绪类别的置信度。
上述实施例，根据面试者性别信息获取匹配的语音情绪分类模型，将音高特征、梅尔频率倒谱系数以及语速特征输入已匹配的语音情绪分类模型中，获取微语音特征归属于各预设的情绪类别的置信度，得到微语音特征的第一语音情绪数据，实现了对第一语音情绪数据的获取。
在其中一个实施例中，如图5所示，S402之前，还包括：
S502：获取携带标注信息的样本语音数据；
S504：将样本语音数据划分为训练集和验证集；
S506：根据训练集以及初始语音情绪分类模型进行模型训练，得到语音情绪分类模型集合；
S508：根据验证集进行模型验证，调整语音情绪分类模型集合中各语音情绪分类模型。
在获取携带标注信息的样本语音数据之后，服务器首先根据标注信息中的性别信息将样本语音数据划分为第一样本语音数据集合和第二样本语音数据集合，再将第一样本语音数据集合和第二样本语音数据集合分别划分为训练集和验证集，根据第一样本语音数据集合和第二样本语音数据集合中的训练集进行模型训练，得到第一语音情绪分类模型和第二语音情绪分类模型，根据第一样本语音数据集合和第二样本语音数据集合中的验证集进行模型验证，调整第一语音情绪分类模型和第二语音情绪分类模型。其中，第一样本语音数据集合和第二样本语音数据集合中都分别只包括了同性别面试者的样本语音数据。
上述实施例，获取携带标注信息的样本语音数据，将样本语音数据划分为训练集和验证集，根据训练集进行模型训练，根据验证集进行模型验证，得到语音情绪分类模型集合中各语音情绪分类模型，实现了对语音情绪分类模型集合的获取。
在其中一个实施例中，如图6所示，S206包括：
S602：根据各句子中各词语查找匹配预设的与已训练的情绪分类网络对应的字典，确定各句子中各词语在字典中对应的序列号；
S604：将各句子中各词语在字典中对应的序列号输入情绪分类网络，得到文字数据中各句子归属于各预设的情绪类别的置信度；
S606：获取文字数据中各句子归属于各预设的情绪类别的置信度的平均值，根据置信度的平均值，得到文字数据归属于各预设的情绪类别的置信度。
情绪分类网络可以为以BERT为基础，叠加一层含N个神经元(假定预设N种情绪)的分类层的网络。服务器将文字数据拆分为多个句子，对每个句子进行分词，根据各句子中各词语查找匹配BERT的字典，把每个词转换为该词在BERT的字典中对应的序列号，把整个句子的序列号输入进BERT，得到各句子归属于各预设的情绪类别的置信度，进而根据各句子归属于各预设的情绪类别的置信度，确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据。其中，情绪分类网络可以由第一样本文字数据训练得到，第一样本文字数据中各样本句都携带有标注信息，标注信息为各样本句的情绪类别信息。
上述实施例，将各句子中各词语在字典中对应的序列号输入情绪分类网络，得到文字数据中各句子归属于各预设的情绪类别的置信度，进而根据文字数据中各句子归属于各预设的情绪类别的置信度，得到文字数据归属于各预设的情绪类别的置信度，实现了对文字数据归属于各预设的情绪类别的置信度的获取。
在其中一个实施例中，如图7所示，S212包括：
S702：根据第一语音情绪数据、第二语音情绪数据以及语法评分，得到音频数据置信度；
S704：根据音频数据置信度、视频数据置信度以及预设的置信度参数，确定面试者的面试结果。
服务器可通过将第一语音情绪数据、第二语音情绪数据以及语法评分输入已训练的音频分类模型的方式，得到音频数据置信度，进而根据音频数据置信度、视频数据置信度以及置信度参数，确定面试者的面试结果。具体的，音频分类模型的参数包括第一语音情绪数据中音频数据归属各预设的情绪类别的置信度，第二语音情绪数据中文字数据归属各预设的情绪类别的置信度以及语法评分。在训练音频分类模型时，可以以携带标注信息的样本语音数据以及样本文字数据作为训练集，标注信息用于标注与样本语音数据以及样本文字数据对应的面试者是否说谎。置信度参数可按照需要自行设置，置信度参数为可调参数。面试结果可以由面试评分得到，面试评分的公式可以为：面试评分＝A*音频数据置信度+B*视频数据置信度，其中，A和B即为置信度参数。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种数据处理装置，包括：获取模块802、第一提取模块804、第一处理模块806、第二处理模块808、第二提取模块810和分析模块812，其中：
获取模块802，用于获取面试者音频数据以及面试者视频数据；
第一提取模块804，用于根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据；
第一处理模块806，用于将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到；
第二处理模块808，用于将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到；
第二提取模块810，用于从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度；
分析模块812，用于根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
上述数据处理装置，根据面试者音频数据提取微语音特征，根据微语音特征，得到第一语音情绪数据，将面试者音频数据转换为文字数据，对文字数据进行分析，得到第二语音情绪数据以及语法评分，根据面试者视频数据提取微表情特征，根据微表情特征，得到视频数据置信度，根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。通过多种方式识别面试者的多个特征，综合多个识别结果确定面试者的面试结果，从而能够准确全面捕捉被面试者的心理状态，提高识别准确率，使面试结果更贴近真实情况。
在其中一个实施例中，第一提取模块还用于调用语音特征提取工具，根据面试者音频数据提取面试者的微语音特征，微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征。
在其中一个实施例中，第一提取模块还用于获取面试者性别信息，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型，语音情绪分类模型由携带标注信息的样本语音数据训练得到，标注信息包括情绪类别信息以及性别信息，获取微语音特征中的音高特征、梅尔频率倒谱系数以及语速特征，将音高特征、梅尔频率倒谱系数以及语速特征输入已匹配的语音情绪分类模型中，获取微语音特征归属于各预设的情绪类别的置信度，得到微语音特征的第一语音情绪数据。
在其中一个实施例中，第一提取模块还用于获取携带标注信息的样本语音数据，将样本语音数据划分为训练集和验证集，根据训练集以及初始语音情绪分类模型进行模型训练，得到语音情绪分类模型集合，根据验证集进行模型验证，调整语音情绪分类模型集合中各语音情绪分类模型。
在其中一个实施例中，第一处理模块还用于根据各句子中各词语查找匹配预设的与已训练的情绪分类网络对应的字典，确定各句子中各词语在字典中对应的序列号，将各句子中各词语在字典中对应的序列号输入情绪分类网络，得到文字数据中各句子归属于各预设的情绪类别的置信度，获取文字数据中各句子归属于各预设的情绪类别的置信度的平均值，根据置信度的平均值，得到文字数据归属于各预设的情绪类别的置信度。
在其中一个实施例中，分析模块还用于根据第一语音情绪数据、第二语音情绪数据以及语法评分，得到音频数据置信度，根据音频数据置信度、视频数据置信度以及预设的置信度参数，确定面试者的面试结果。
关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取面试者音频数据以及面试者视频数据；
根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据；
将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到；
将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到；
从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度；
根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
上述数据处理计算机设备，根据面试者音频数据提取微语音特征，根据微语音特征，得到第一语音情绪数据，将面试者音频数据转换为文字数据，对文字数据进行分析，得到第二语音情绪数据以及语法评分，根据面试者视频数据提取微表情特征，根据微表情特征，得到视频数据置信度，根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。通过多种方式识别面试者的多个特征，综合多个识别结果确定面试者的面试结果，从而能够准确全面捕捉被面试者的心理状态，提高识别准确率，使面试结果更贴近真实情况。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
调用语音特征提取工具，根据面试者音频数据提取面试者的微语音特征，微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取面试者性别信息，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型，语音情绪分类模型由携带标注信息的样本语音数据训练得到，标注信息包括情绪类别信息以及性别信息；
获取微语音特征中的音高特征、梅尔频率倒谱系数以及语速特征；
将音高特征、梅尔频率倒谱系数以及语速特征输入已匹配的语音情绪分类模型中，获取微语音特征归属于各预设的情绪类别的置信度，得到微语音特征的第一语音情绪数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取携带标注信息的样本语音数据；
将样本语音数据划分为训练集和验证集；
根据训练集以及初始语音情绪分类模型进行模型训练，得到语音情绪分类模型集合；
根据验证集进行模型验证，调整语音情绪分类模型集合中各语音情绪分类模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据各句子中各词语查找匹配预设的与已训练的情绪分类网络对应的字典，确定各句子中各词语在字典中对应的序列号；
将各句子中各词语在字典中对应的序列号输入情绪分类网络，得到文字数据中各句子归属于各预设的情绪类别的置信度；
获取文字数据中各句子归属于各预设的情绪类别的置信度的平均值，根据置信度的平均值，得到文字数据归属于各预设的情绪类别的置信度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据第一语音情绪数据、第二语音情绪数据以及语法评分，得到音频数据置信度；
根据音频数据置信度、视频数据置信度以及预设的置信度参数，确定面试者的面试结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取面试者音频数据以及面试者视频数据；
根据面试者音频数据提取面试者的微语音特征，根据微语音特征，得到第一语音情绪数据；
将面试者音频数据转换为文字数据，将文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，情绪分类网络由第一样本文字数据训练得到；
将文字数据输入已训练的语法分析网络，得到文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到文字数据的语法评分，语法分析网络由第二样本文字数据训练得到；
从面试者视频数据中随机截取视频帧，根据视频帧提取面试者的微表情特征，根据微表情特征，得到视频数据置信度；
根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。
上述数据处理存储介质，根据面试者音频数据提取微语音特征，根据微语音特征，得到第一语音情绪数据，将面试者音频数据转换为文字数据，对文字数据进行分析，得到第二语音情绪数据以及语法评分，根据面试者视频数据提取微表情特征，根据微表情特征，得到视频数据置信度，根据第一语音情绪数据、第二语音情绪数据、语法评分以及视频数据置信度，确定面试者的面试结果。通过多种方式识别面试者的多个特征，综合多个识别结果确定面试者的面试结果，从而能够准确全面捕捉被面试者的心理状态，提高识别准确率，使面试结果更贴近真实情况。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
调用语音特征提取工具，根据面试者音频数据提取面试者的微语音特征，微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取面试者性别信息，从已训练的语音情绪分类模型集合中获取与面试者性别信息匹配的语音情绪分类模型，语音情绪分类模型由携带标注信息的样本语音数据训练得到，标注信息包括情绪类别信息以及性别信息；
获取微语音特征中的音高特征、梅尔频率倒谱系数以及语速特征；
将音高特征、梅尔频率倒谱系数以及语速特征输入已匹配的语音情绪分类模型中，获取微语音特征归属于各预设的情绪类别的置信度，得到微语音特征的第一语音情绪数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取携带标注信息的样本语音数据；
将样本语音数据划分为训练集和验证集；
根据训练集以及初始语音情绪分类模型进行模型训练，得到语音情绪分类模型集合；
根据验证集进行模型验证，调整语音情绪分类模型集合中各语音情绪分类模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各句子中各词语查找匹配预设的与已训练的情绪分类网络对应的字典，确定各句子中各词语在字典中对应的序列号；
将各句子中各词语在字典中对应的序列号输入情绪分类网络，得到文字数据中各句子归属于各预设的情绪类别的置信度；
获取文字数据中各句子归属于各预设的情绪类别的置信度的平均值，根据置信度的平均值，得到文字数据归属于各预设的情绪类别的置信度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一语音情绪数据、第二语音情绪数据以及语法评分，得到音频数据置信度；
根据音频数据置信度、视频数据置信度以及预设的置信度参数，确定面试者的面试结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据处理方法，所述方法包括：
获取面试者音频数据以及面试者视频数据；
根据所述面试者音频数据提取面试者的微语音特征，根据所述微语音特征，得到第一语音情绪数据；
将所述面试者音频数据转换为文字数据，将所述文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定所述文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，所述情绪分类网络由第一样本文字数据训练得到；
将所述文字数据输入已训练的语法分析网络，得到所述文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到所述文字数据的语法评分，所述语法分析网络由第二样本文字数据训练得到；
从所述面试者视频数据中随机截取视频帧，根据所述视频帧提取面试者的微表情特征，根据所述微表情特征，得到视频数据置信度；
根据所述第一语音情绪数据、所述第二语音情绪数据、所述语法评分以及所述视频数据置信度，确定面试者的面试结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述面试者音频数据提取面试者的微语音特征包括：
调用语音特征提取工具，根据所述面试者音频数据提取面试者的微语音特征，所述微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征。
3.根据权利要求1所述的方法，其特征在于，所述根据所述微语音特征，得到第一语音情绪数据包括：
获取面试者性别信息，从已训练的语音情绪分类模型集合中获取与所述面试者性别信息匹配的语音情绪分类模型，所述语音情绪分类模型由携带标注信息的样本语音数据训练得到，所述标注信息包括情绪类别信息以及性别信息；
获取所述微语音特征中的音高特征、梅尔频率倒谱系数以及语速特征；
将所述音高特征、所述梅尔频率倒谱系数以及所述语速特征输入已匹配的语音情绪分类模型中，获取所述微语音特征归属于各预设的情绪类别的置信度，得到所述微语音特征的第一语音情绪数据。
4.根据权利要求3所述的方法，其特征在于，所述从已训练的语音情绪分类模型集合中获取与所述面试者性别信息匹配的语音情绪分类模型之前，还包括：
获取携带标注信息的样本语音数据；
将所述样本语音数据划分为训练集和验证集；
根据所述训练集以及初始语音情绪分类模型进行模型训练，得到语音情绪分类模型集合；
根据所述验证集进行模型验证，调整所述语音情绪分类模型集合中各语音情绪分类模型。
5.根据权利要求1所述的方法，其特征在于，所述根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定所述文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据包括：
根据各句子中各词语查找匹配预设的与已训练的情绪分类网络对应的字典，确定各句子中各词语在所述字典中对应的序列号；
将各句子中各词语在所述字典中对应的序列号输入所述情绪分类网络，得到文字数据中各句子归属于各预设的情绪类别的置信度；
获取所述文字数据中各句子归属于各预设的情绪类别的置信度的平均值，根据所述置信度的平均值，得到所述文字数据归属于各预设的情绪类别的置信度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一语音情绪数据、所述第二语音情绪数据、所述语法评分以及所述视频数据置信度，确定面试者的面试结果包括：
根据所述第一语音情绪数据、所述第二语音情绪数据以及所述语法评分，得到音频数据置信度；
根据所述音频数据置信度、所述视频数据置信度以及预设的置信度参数，确定面试者的面试结果。
7.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取面试者音频数据以及面试者视频数据；
第一提取模块，用于根据所述面试者音频数据提取面试者的微语音特征，根据所述微语音特征，得到第一语音情绪数据；
第一处理模块，用于将所述面试者音频数据转换为文字数据，将所述文字数据拆分为多个句子，并对多个句子进行分词，根据各句子中各词语查找匹配预设的与已训练情绪分类网络对应的字典，根据查找匹配结果确定所述文字数据归属于各预设的情绪类别的置信度，得到第二语音情绪数据，所述情绪分类网络由第一样本文字数据训练得到；
第二处理模块，用于将所述文字数据输入已训练的语法分析网络，得到所述文字数据中各句子的语法分数，计算各句子的语法分数平均值，得到所述文字数据的语法评分，所述语法分析网络由第二样本文字数据训练得到；
第二提取模块，用于从所述面试者视频数据中随机截取视频帧，根据所述视频帧提取面试者的微表情特征，根据所述微表情特征，得到视频数据置信度；
分析模块，用于根据所述第一语音情绪数据、所述第二语音情绪数据、所述语法评分以及所述视频数据置信度，确定面试者的面试结果。
8.根据权利要求7所述的装置，其特征在于，第一提取模块还用于调用语音特征提取工具，根据所述面试者音频数据提取面试者的微语音特征，所述微语音特征包括语速特征、梅尔频率倒谱系数以及音高特征。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910745443.6A CN110688499A (zh) | 2019-08-13 | 2019-08-13 | 数据处理方法、装置、计算机设备和存储介质 |
| SG11202004543PA SG11202004543PA (en) | 2019-08-13 | 2019-09-25 | Data processing method and apparatus, computer device, and storage medium |
| PCT/CN2019/107727 WO2021027029A1 (zh) | 2019-08-13 | 2019-09-25 | 数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910745443.6A CN110688499A (zh) | 2019-08-13 | 2019-08-13 | 数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110688499A true CN110688499A (zh) | 2020-01-14 |
Family
ID=69108262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910745443.6A Pending CN110688499A (zh) | 2019-08-13 | 2019-08-13 | 数据处理方法、装置、计算机设备和存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN110688499A (zh) |
| SG (1) | SG11202004543PA (zh) |
| WO (1) | WO2021027029A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739559A (zh) * | 2020-05-07 | 2020-10-02 | 北京捷通华声科技股份有限公司 | 一种话语预警方法、装置、设备及存储介质 |
| CN112786054A (zh) * | 2021-02-25 | 2021-05-11 | 深圳壹账通智能科技有限公司 | 基于语音的智能面试评估方法、装置、设备及存储介质 |
| CN112818740A (zh) * | 2020-12-29 | 2021-05-18 | 南京智能情资创新科技研究院有限公司 | 一种用于智能面试的心理素质维度评价方法及装置 |
| CN112836691A (zh) * | 2021-03-31 | 2021-05-25 | 中国工商银行股份有限公司 | 智能面试方法及装置 |
| CN112884326A (zh) * | 2021-02-23 | 2021-06-01 | 无锡爱视智能科技有限责任公司 | 一种多模态分析的视频面试评估方法、装置和存储介质 |
| CN112990301A (zh) * | 2021-03-10 | 2021-06-18 | 深圳市声扬科技有限公司 | 情绪数据标注方法、装置、计算机设备和存储介质 |
| CN113506586A (zh) * | 2021-06-18 | 2021-10-15 | 杭州摸象大数据科技有限公司 | 用户情绪识别的方法和系统 |
| CN113724697A (zh) * | 2021-08-27 | 2021-11-30 | 北京百度网讯科技有限公司 | 模型生成方法、情绪识别方法、装置、设备及存储介质 |
| CN113808709A (zh) * | 2021-08-31 | 2021-12-17 | 天津师范大学 | 一种基于文本分析的心理弹性预测方法及系统 |
| CN114627218A (zh) * | 2022-05-16 | 2022-06-14 | 成都市谛视无限科技有限公司 | 一种基于虚拟引擎的人脸细微表情捕捉方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503646A (zh) * | 2016-10-19 | 2017-03-15 | 竹间智能科技（上海）有限公司 | 多模态情感辨识系统及方法 |
| CN109766917A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 面试视频数据处理方法、装置、计算机设备和存储介质 |
| CN109829363A (zh) * | 2018-12-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 表情识别方法、装置、计算机设备和存储介质 |
| CN109902158A (zh) * | 2019-01-24 | 2019-06-18 | 平安科技（深圳）有限公司 | 语音交互方法、装置、计算机设备及存储介质 |
| CN109905381A (zh) * | 2019-02-15 | 2019-06-18 | 北京大米科技有限公司 | 自助面试方法、相关装置和存储介质 |
| WO2019119279A1 (en) * | 2017-12-19 | 2019-06-27 | Wonder Group Technologies Ltd. | Method and apparatus for emotion recognition from speech |
| CN109948438A (zh) * | 2019-02-12 | 2019-06-28 | 平安科技（深圳）有限公司 | 自动面试评分方法、装置、系统、计算机设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10158758B2 (en) * | 2016-11-02 | 2018-12-18 | International Business Machines Corporation | System and method for monitoring and visualizing emotions in call center dialogs at call centers |
| CN106570496B (zh) * | 2016-11-22 | 2019-10-01 | 上海智臻智能网络科技股份有限公司 | 情绪识别方法和装置以及智能交互方法和设备 |
| CN108305642B (zh) * | 2017-06-30 | 2019-07-19 | 腾讯科技（深圳）有限公司 | 情感信息的确定方法和装置 |
-
2019
- 2019-08-13 CN CN201910745443.6A patent/CN110688499A/zh active Pending
- 2019-09-25 WO PCT/CN2019/107727 patent/WO2021027029A1/zh active Application Filing
- 2019-09-25 SG SG11202004543PA patent/SG11202004543PA/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503646A (zh) * | 2016-10-19 | 2017-03-15 | 竹间智能科技（上海）有限公司 | 多模态情感辨识系统及方法 |
| WO2019119279A1 (en) * | 2017-12-19 | 2019-06-27 | Wonder Group Technologies Ltd. | Method and apparatus for emotion recognition from speech |
| CN109766917A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 面试视频数据处理方法、装置、计算机设备和存储介质 |
| CN109829363A (zh) * | 2018-12-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 表情识别方法、装置、计算机设备和存储介质 |
| CN109902158A (zh) * | 2019-01-24 | 2019-06-18 | 平安科技（深圳）有限公司 | 语音交互方法、装置、计算机设备及存储介质 |
| CN109948438A (zh) * | 2019-02-12 | 2019-06-28 | 平安科技（深圳）有限公司 | 自动面试评分方法、装置、系统、计算机设备及存储介质 |
| CN109905381A (zh) * | 2019-02-15 | 2019-06-18 | 北京大米科技有限公司 | 自助面试方法、相关装置和存储介质 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739559B (zh) * | 2020-05-07 | 2023-02-28 | 北京捷通华声科技股份有限公司 | 一种话语预警方法、装置、设备及存储介质 |
| CN111739559A (zh) * | 2020-05-07 | 2020-10-02 | 北京捷通华声科技股份有限公司 | 一种话语预警方法、装置、设备及存储介质 |
| CN112818740A (zh) * | 2020-12-29 | 2021-05-18 | 南京智能情资创新科技研究院有限公司 | 一种用于智能面试的心理素质维度评价方法及装置 |
| CN112884326A (zh) * | 2021-02-23 | 2021-06-01 | 无锡爱视智能科技有限责任公司 | 一种多模态分析的视频面试评估方法、装置和存储介质 |
| CN112786054A (zh) * | 2021-02-25 | 2021-05-11 | 深圳壹账通智能科技有限公司 | 基于语音的智能面试评估方法、装置、设备及存储介质 |
| CN112786054B (zh) * | 2021-02-25 | 2024-06-11 | 深圳壹账通智能科技有限公司 | 基于语音的智能面试评估方法、装置、设备及存储介质 |
| CN112990301A (zh) * | 2021-03-10 | 2021-06-18 | 深圳市声扬科技有限公司 | 情绪数据标注方法、装置、计算机设备和存储介质 |
| CN112836691A (zh) * | 2021-03-31 | 2021-05-25 | 中国工商银行股份有限公司 | 智能面试方法及装置 |
| CN113506586A (zh) * | 2021-06-18 | 2021-10-15 | 杭州摸象大数据科技有限公司 | 用户情绪识别的方法和系统 |
| CN113724697A (zh) * | 2021-08-27 | 2021-11-30 | 北京百度网讯科技有限公司 | 模型生成方法、情绪识别方法、装置、设备及存储介质 |
| CN113808709A (zh) * | 2021-08-31 | 2021-12-17 | 天津师范大学 | 一种基于文本分析的心理弹性预测方法及系统 |
| CN113808709B (zh) * | 2021-08-31 | 2024-03-22 | 天津师范大学 | 一种基于文本分析的心理弹性预测方法及系统 |
| CN114627218A (zh) * | 2022-05-16 | 2022-06-14 | 成都市谛视无限科技有限公司 | 一种基于虚拟引擎的人脸细微表情捕捉方法及装置 |
| CN114627218B (zh) * | 2022-05-16 | 2022-08-12 | 成都市谛视无限科技有限公司 | 一种基于虚拟引擎的人脸细微表情捕捉方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11202004543PA (en) | 2021-03-30 |
| WO2021027029A1 (zh) | 2021-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110688499A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN110021439B (zh) | 基于机器学习的医疗数据分类方法、装置和计算机设备 | |
| CN109960725B (zh) | 基于情感的文本分类处理方法、装置和计算机设备 | |
| CN110909137A (zh) | 基于人机交互的信息推送方法、装置和计算机设备 | |
| CN108595695B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| WO2020244153A1 (zh) | 会议语音数据处理方法、装置、计算机设备和存储介质 | |
| CN110689881B (zh) | 语音识别方法、装置、计算机设备和存储介质 | |
| CN109543516A (zh) | 签约意向判断方法、装置、计算机设备和存储介质 | |
| CN112233698B (zh) | 人物情绪识别方法、装置、终端设备及存储介质 | |
| CN110569500A (zh) | 文本语义识别方法、装置、计算机设备和存储介质 | |
| CN113094578B (zh) | 基于深度学习的内容推荐方法、装置、设备及存储介质 | |
| CN111583911B (zh) | 基于标签平滑的语音识别方法、装置、终端及介质 | |
| CN110717021B (zh) | 人工智能面试中获取输入文本和相关装置 | |
| CN110047469B (zh) | 语音数据情感标注方法、装置、计算机设备及存储介质 | |
| CN111833845A (zh) | 多语种语音识别模型训练方法、装置、设备及存储介质 | |
| CN112466287B (zh) | 一种语音分割方法、装置以及计算机可读存储介质 | |
| CN110556126A (zh) | 语音识别方法、装置以及计算机设备 | |
| CN113192516A (zh) | 语音角色分割方法、装置、计算机设备及存储介质 | |
| CN111611383A (zh) | 用户意图的识别方法、装置、计算机设备及存储介质 | |
| CN113254613A (zh) | 对话问答方法、装置、设备及存储介质 | |
| CN112632248A (zh) | 问答方法、装置、计算机设备和存储介质 | |
| JP2015175859A (ja) | パターン認識装置、パターン認識方法及びパターン認識プログラム | |
| CN111626039A (zh) | 文本相似度识别模型的训练方法、装置及相关设备 | |
| CN116597810A (zh) | 身份识别方法、装置、计算机设备及存储介质 | |
| JP2016162437A (ja) | パターン分類装置、パターン分類方法およびパターン分類プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |