CN110211591A - 基于情感分类的面试数据分析方法、计算机装置及介质 - Google Patents
基于情感分类的面试数据分析方法、计算机装置及介质 Download PDFInfo
- Publication number
- CN110211591A CN110211591A CN201910551036.1A CN201910551036A CN110211591A CN 110211591 A CN110211591 A CN 110211591A CN 201910551036 A CN201910551036 A CN 201910551036A CN 110211591 A CN110211591 A CN 110211591A
- Authority
- CN
- China
- Prior art keywords
- interview
- applicant
- voice messaging
- information
- text information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000002996 emotional effect Effects 0.000 title claims abstract description 57
- 238000009434 installation Methods 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 60
- 238000003860 storage Methods 0.000 claims abstract description 9
- 230000001755 vocal effect Effects 0.000 claims description 40
- 230000008451 emotion Effects 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 15
- 230000007787 long-term memory Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 230000007935 neutral effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 claims description 3
- 230000007115 recruitment Effects 0.000 abstract description 14
- 238000007405 data analysis Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000018109 developmental process Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000007774 longterm Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006854 communication Effects 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种面试数据分析方法、计算机装置及可读存储介质。所述方法包括：获取应聘者的面试语音信息；将所述应聘者的面试语音信息转换为面试文本信息；将所述面试文本信息输入至预设的情感分析模型，对所述文本信息中的文字内容进行情感分析，得到情感分类结果；根据所述情感分类结果确定所述应聘者是否符合录取条件。本发明为通过自动分析应聘者面试语音信息为人力资源部门提供前瞻性的分析，节约企业人力资源成本，且能够为企业招聘到与招聘岗位匹配度更佳的人员。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于文本情感分析的面试数据分析方法、计算机装置及计算机可读存储介质。
背景技术
企业的运行离不开员工，所以招聘合适的员工对于企业来说非常重要。面试是企业挑选员工的一种重要方法。现实中招聘员工的过程一般是企业人力资源部门的人员对求职人员的简历进行初步筛后确定面试名单，然后邀请应聘者通过面谈或电话/视频的方式进行面试。在根据应聘者的综合表现决定是否录用。然而，这种面试方式需要人力资源部门耗费大量的时间和人力，且效率不高。且凭借招聘人员的主观和经验分析应聘者是否符合工作岗位也可能出现招聘到的人员与岗位不配的不佳的问题。因此，如何让招聘过程变得更加智能化以及如何根据面试者的个人信息及面试过程中的内容信息智能化的分析和预测应聘者是否适合招聘岗位是亟待解决的技术问题。
发明内容
鉴于以上问题，本发明提出一种基于情感分类的面试数据分析方法、计算机装置及存储介质，使得招聘过程更加智能，节约人力资源，且使得招聘的人员与岗位有更高的匹配度。
本申请的第一方面提供一种面试数据分析方法，所述方法包括：
获取应聘者的面试语音信息；
将所述应聘者的面试语音信息转换为面试文本信息；
将所述面试文本信息输入至预设的情感分析模型，对所述文本信息中的文字内容进行情感分析，得到情感分类结果；
根据所述情感分类结果确定所述应聘者是否符合录取条件。
优选地，在获取所述应聘者的面试语音信息之前，所述方法还包括：
获取面试语音信息，所述面试语音信息中包括面试官的语音信息和应聘者的面试语音信息；
从所述面试语音信息中分离出所述应聘者的语音信息，其中，从面试语音信息中分离所述应聘者的语音信息包括：
将所述面试语音信息进行声音分帧；
从所述面试语音信息中提取相互重叠的滑动窗口，并从非重叠的各个滑动窗口中提取声纹特征信息；
根据每个滑动窗口对应的声纹特征信息分别确定面试官及应聘者对应的滑动窗口；
提取出所述应聘者对应的所有滑动窗口，并将所有滑动窗口按照顺序拼接成为应聘者单人的语音信息，作为从所述面试语音信息中提取出应聘者的语音信息。
优选地，“从非重叠的各个滑动窗口中提取声纹特征信息；根据每个滑动窗口对应的声纹特征信息分别确定面试官及应聘者对应的滑动窗口”包括：
基于长短期记忆网络的d-vectory音频特征提取方法，将每个滑动窗口中的语音信息输入长短期记忆网络，然后将长短期记忆网络的输出作为该滑动窗口对应的声纹特征表示，再利用频谱聚类算法对每个滑动窗口的声纹特征信息计算相似性，将相似性大于预设值的滑动窗口作为同一个说话者对应的语音信息。
优选地，“将应聘者的语音信息转换为文本信息”的方法包括：
对所述应聘者的语音信息进行分帧处理；
提取所述应聘者语音信息的每一帧中的声纹特征向量；
将所述声纹特征向量输入预设的声学模型，得到所述声纹特征向量对应的音素信息；
在预先存储的音素字典中查找与所述应聘者音素信息匹配的文字信息，并根据音素字典中音素与文字的映射关系，将所述应聘者的音素信息转换为目标文字；
将所述目标文字转换成面试文本信息。
优选地，所述声纹特征向量为声学特征中的线性预测倒谱系数、梅尔频率倒谱系数中的任一种或两种。
优选地，所述情感分析模型的生成方法包括：
获取面试文本信息作为训练数据，并对训练数据中的语句分别进行情感类型标注，所述训练数据分为训练样本集和验证样本集；
构建情感分析模型，将所述训练样本集输入所述情感分析模型，对所述情感分析模型进行训练；
通过所述验证样本集对所述训练完成的情感分析模型进行验证。
优选地，所述情感分析模型为双向长短期记忆网络模型、支持向量机模型、决策树、线性回归模型中的任一种。
优选地，所述情感分类结果包括正向情感、负向情感和中性情感，当所述面试文本信息的情感分类为正向情感时，确定所述应聘者符合录取条件，当所述面试文本信息的情感分类为负向情感时，确定所述应聘者不符合录取条件，当所述面试文本信息的情感分类为中性情感时，确定所述应聘者作为备选人员。
本发明第二方面提供一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前所述的面试数据分析方法。
本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的面试数据分析方法。
与现有技术相比，本发明通过智能分析应聘者在面试过程中的语音信息来分析应聘者是否符合招聘岗位的录取条件，为人力资源部门提供前瞻性的分析，极大节约企业人力资源成本，且能够为企业招聘到与招聘岗位匹配度更佳的人员。
附图说明
图1是本发明一实施方式提供的面试数据智能分析方法的应用环境架构示意图。
图2是本发明一实施方式提供的面试数据智能分析方法流程图。
图3是本发明一实施方式提供的从面试语音信息中提取所述应聘者的面试语音信息的方法流程图。
图4是本发明一实施方式提供的将应聘者的语音信息转换为文本信息的方法流程图。
图5是本发明一实施方式提供的面试数据智能分析系统的功能模块示意图。
图6是本发明一实施方式提供的计算机装置硬件架构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
请参阅图1，为本发明一个实施例提供的面试数据智能分析方法的应用环境架构示意图。
本发明中的面试数据智能分析方法应用在计算机装置1中。本实施方式中，所述计算机装置1可以是但不限于服务器、台式计算机、笔记本电脑、平板电脑、智能手机等电子设备，其中，所述服务器可以是单一的服务器、服务器集群或云服务器等。例如，所述计算机装置1可以是企业中人力资源部门的计算机装置，用于在招聘过程中对应聘者的简历和面试过程中产生的语音数据进行智能分析，进而辅助企业人力资源部门判断应聘者是否符合招聘要求。
本实施方式中，所述计算机装置1可以和至少一个终端装置2通过网络建立通信连接。所述网络可以是有线网络，也可以是无线网络，例如无线电、无线保真(WirelessFidelity,WIFI)、蜂窝、卫星、广播等。举例而言，在一种实施方式中，所述终端装置2可以是面试官的手机或笔记本电脑等终端装置，也可以是面试场所中的摄像机、麦克风等，但并不以此为限，所述终端装置2可以在面试官对应聘者进行面试交谈过程中记录语音信息，并将所述语音信息发送至所述计算机装置1进行分析。
本实施方式中，对于需要执行面试数据智能分析功能的计算机装置1，可以直接在计算机装置1上集成本发明的方法所提供的面试数据智能分析的硬件装置，或者安装用于实现本发明的所提供的面试数据智能分析方法的客户端。再如，本发明所提供的面试数据智能分析方法还可以是以软件开发工具包(Software Development Kit，SDK)的形式运行在服务器等设备上，并以SDK的形式提供面试数据智能分析功能的接口，计算机装置1或其他设备通过提供的所述接口即可实现面试数据智能分析功能。
下面结合图2详细说明本发明提供的面试数据智能分析方法。图2为本发明一个实施方式提供的面试数据智能分析方法流程图。在本实施方式中，所述面试数据智能分析方法包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S21、获取面试语音信息，所述面试语音信息中包括应聘者的语音信息和面试官的语音信息。
所述面试语音信息记录了面试官对应聘者进行面试过程中的双方交谈内容。
在一实施方式中，所述面试语音信息可以是面试官与应聘者进行电话面试、视频面试、或者当面交谈等方式进行面试时，通过音频录制设备录制的语音信息。
在一实施方式中，所述方法在获取应聘者的面试语音信息之前，还包括如下步骤：
(1)根据预设筛选条件在简历资料库中初步筛选符合条件的简历；
所述预设筛选条件包括但不限于求职人员的工作年限、学历、应聘岗位、性别、年龄、求学经历等等。可以理解，所述预设筛选条件可以由企业人力资源部门根据需要进行设定；
(2)将所述初步筛选出的简历以预设方式推送至预设人员；
例如，将筛选出的简历通过邮件发送至人力资源部门员工的邮箱，供人力资源人员根据所述推送的简历确定面试者的名单，并在成功邀约面试者后，与面试者面试过程中获取所述面试语音信息。
进一步地，在一些实施方式中，在确定出面试者的名单后，所述方法还可以包括如下步骤：
(1)获取待邀约的面试者名单，并根据所述面试者名单从对应的简历中获取应聘者的联系方式；
人力资源人员在确定面试者后，将面试者名单输入至计算机装置中，所述面试者名单中可以包括应聘者的姓名、联系方式等，计算机装置根据所述名单查找对应简历中应聘者的联系方式；
(2)根据所述应聘者的联系方式，通过语音自助功能自动拨打应聘者的电话，并根据预设的预约面试话术与应聘者自动语音对话，确定面试信息，同时录制通话过程中的语音通话内容；
本实施方式中，所述联系方式为应聘者的电话号码，通过语音机器人拨打所述应聘者的电话号码后，所述语音机器人根据系统预设的预约面试话术向面试者发出面试邀请，并确定面试的详细信息。所述预设的预约面试话术可以包括但不限于基本问候术语、确认身份术语、预约面试相关术语等。例如，预约面试话术模板可以包括如下语音内容“您好，感谢您接听来电，这里是某某公司人力资源处”、“请问您是某某先生/小姐吗？”、“您是否有兴趣来我公司面试xx岗位”等。所述面试信息可以包括但不限于面试时间、面试地点、注意事项等；
(3)获取所述语音通话内容，并根据应聘者的声纹特征信息提取应聘者的语音内容；
在语音通话内容中包括了应聘者的语音和机器人的语音，而应聘者语音中的声纹与机器人的声纹是不同的，因此根据声纹特征信息可以提取出应聘者的语音内容，而忽略掉机器人的语音内容；
(4)将所述应聘者的语音内容转换为文本信息，并将所述文本信息与应聘者简历中的信息进行匹配，并审核文本信息内容与应聘简历中内容是否一致。
审核匹配通过后，企业面试人员根据所述预约面试信息对应聘者进行面试，并根据所述步骤S21获取所述应聘者的面试语音信息。
步骤S22、从所述面试语音信息中提取所述应聘者的面试语音信息，并将所述应聘者的面试语音信息转换为面试文本信息。
图3所示，在本发明一实施方式中，从所述面试语音信息中提取所述应聘者的语音信息的方法包括：
S301、将面试语音信息进行声音分帧；
语音信息对应的音频序列是时间轴上的一维信号，为了能够对其进行信号分析，需要假设音频信号在毫秒级别的短时间处于稳定状态，因此在此基础上对语音信息进行分帧操作，把声音切分成很多小的片段。对语音信息分帧处理可采用连续分段的方法，但为了使帧与帧之间平滑过渡保持其连续性，一般会采用交叠分段的方法。在一个实施方式中，可以将声音切分为每帧长度25ms，帧移为10ms，也就是两帧之间有15ms的重叠。分帧是用固定长度的滑动窗口进行加权的方法来实现的，也就是用窗函数W(n)来乘以音频信号S(n)，从而形成加窗的音频信号Sw(n)＝W(n)*S(n)。所述窗函数可以是汉明窗或海宁窗。
S302、从所述面试语音信息中提取相互重叠的滑动窗口，并从非重叠的各个滑动窗口中提取声纹特征信息；
S303、根据每个滑动窗口对应的声纹特征信息分别确定面试官及应聘者对应的滑动窗口；
本实施方式中，通过长短期记忆(Long Short-term Memory,LSTM)网络模型结合频谱聚类(spectral clustering)的方法确定面试官及应聘者分别对应的滑动窗口，具体包括：基于LSTM的d-vectory音频特征提取方法，将每个滑动窗口中的语音信息输入长短期记忆网络LSTM，然后将长短期记忆网络的输出作为该滑动窗口对应的声纹特征(d-vector)表示。然后利用频谱聚类算法对每个滑动窗口的声纹特征信息计算相似性，将相似性高的滑动窗口作为同一个说话者对应的语音信息。其中，频谱聚类是建立在图论中谱图理论基础上的，其本质是将聚类问题转化为图的最优切割问题，在频谱空间中相似性大于预设值的分割片所对应的投影分布较为集中，而相似性低于预设值的分布则比较分散。将每个滑动窗口对应的声音频谱进行频谱聚类，以得到相似性大于预设值的若干个滑动窗口，从而将相似性较高的若干个滑动窗口作为同一个说话者对应的语音信息，进而得到滑动窗口与说话者之间的对应关系，提取出应聘者对应的所有滑动窗口。
S304、提取出所述应聘者对应的所有滑动窗口，并将所有滑动窗口按照顺序拼接成为应聘者单人的语音信息。
图4所示，本发明一实施方式中，将应聘者的语音信息转换为文本信息的方法包括：
S401、对应聘者的语音信息进行分帧处理；
S402、提取所述应聘者语音信息的每一帧中的声纹特征向量；
在本发明一实施方式中，所述声纹特征向量具体为声学特征中的线性预测倒谱系数(Linear Prediction Cepstrum Coefficient，LPCC)特征。即，通过LPCC算法，将每一帧中语音信息波形变成一个包含声音信息的多维声音特征向量。所述线性预测倒谱系数的计算公式为：
其中，h(n)为线性预测倒谱系数，n为帧总数，ai为目标语音帧序列中第i点的线性预测系数，p为预设的线性预测的阶数，i∈[1,p]。
在其他实施方式中，也可以利用梅尔频率倒谱系数(Mel-scale FrequencyCepstral Coefficients,MFCC)将每一帧波形变成一个包含声音信息的多维向量。
S403、将所述声纹特征向量输入预设的声学模型，得到所述声纹特征向量对应的音素信息；
其中，音素是根据语音的自然属性划分出来的最小语音单位，是人发音的基本单位，对于英文，英文单词的音标是由音素构成，常用的音素集是卡内基梅隆大学的一套由39个音素组成的英语音素集合。对于汉语，为汉语拼音的生母和韵母的组合(即拼音)组成的汉语音素集合。
本实施方式中，所述声学模型的训练方法包括：
(a).从训练语料的语音数据中提取声学特征向量；
本实施方式中，所述声学特征为线性预测倒谱系数(LPCC)。在其他实施方式中，所述声学特征也可以是梅尔频率倒谱系数(MFCC)。
例如，所述训练预料库中可以是以往多个应聘者面试时的语音数据，也可以是多个说话人按照预先指定文本录制的训练语音；将多个说话人按照指定文本录制的语音数据作为训练语料的语音数据，例如每人3-5分钟。
(b).对所述训练语料的声学特征向量进行音素标注，得到音素标注结果；
本实施方式中，所述进行音素标注至少包括：标注音素名称及各个音素开始时间和结束时间。开始时间、结束时间一般精确到帧，通常每帧10毫秒。
其中，所述进行音素标注可以是通过人工或自动方式实现的。
(c).利用所述训练语料的声学特征向量和所述音素标注结果，对所述声学模型进行训练及验证。
在一个实施例中，所述预设的声学模型是高斯混合模型-通用背景模型(GaussianMixture Model-Universal Background Model,GMM-UBM)。GMM-UBM作为概率统计模型，能够很好地模拟说话人的声学特征分布，实现方法灵活有效，加上具有较高的鲁棒性，是语音识别中的重要建模方法。
在其他实施方式中，所述声学模型也可以是卷积神经网络模型、支持向量机等其他数学模型。
S404、在预先存储的音素字典中查找与所述应聘者音素信息匹配的文字信息，并根据音素字典中音素与文字的映射关系，将所述应聘者的音素信息转换为目标文字；
其中，所述音素字典是通过机器学习的方法生成的语言模型。所述机器学习的方法可以是支持向量机(Support Vector Machine,SVM)算法等。例如，在一个实施方式中，通过将大量音素和文字的对应关系作为训练集和验证集，训练所述SVM模型，得到音素和文字的对应关系的语言模型，作为所述音素字典。
S405、将所述目标文字转换成面试文本信息。
本发明中，在将语音信息转换为文本信息的过程中，通过长短期记忆网络结合频谱聚类的方法分离出应聘者语音信息，然后利用声学模型得到音素信息，再通过语言模型实现文字转换，使得语音转换为文本的过程更加准确和智能。
进一步地，在本发明一实施方式中，在将语音信息转换为文本信息之前，所述方法还包括如下步骤：
对所述语音信息进行降噪处理，去除面试语音信息中的环境噪音。
在一个实施方式中，对所述语音信息进行降噪处理可以采用干扰相减法，即通过减掉噪声频谱来抑制噪声。在另一个实施方式中，对所述语音信息进行降噪处理可以利用谐波频率抑制法，即利用语音增强的方法来完成减噪，基于噪声的周期性原理，利用谐波噪声的自适应梳状滤波实施基频跟踪来完成降噪。在又一个实施方式中，对所述语音信息进行降噪处理还可以利用声码器再合成法进行降噪，它利用迭代法，在语音建模的基础上，估计模型参数，用描述语音信号的方法再重新合成无噪声信号。
进一步地，由于应聘者和面试官在对话过程中，例如在开始和结尾的部分，可能应聘者与面试官都没有对话，因此在语音信息中会出现静音时的空白状态，因此，在一些实施方式中，所述方法还包括：去除所述语音信息中的空白部分。
在本发明另一些实施方式中，步骤S21和步骤S22也可以替换为如下步骤：直接从预设存储位置获取应聘者的面试语音信息，并将所述语音信息转换为文本信息。而不需要经过所述声音提取步骤。
步骤S23、将所述面试文本信息输入至预设的情感分析模型，对所述文本信息中的文字内容进行情感分析，得到情感分类结果。
对文本内容进行情感分析在人力资源招聘中的运用主要是对应聘者语言中所表现的主观意愿(例如对公司的评价，是否愿意在公司长远发展等)进行分析挖掘，以获得应聘者的情感分类结果，所述情感分类结果包括正向情感、负向情感、中性情感等，例如，当应聘者面试文本中的语句为“我非常认同公司的经营理念”、“我很喜欢这家公司”对应的情感倾向是正向的，那么对应的情感分类结果为正向情感。如果应聘者面试文本中的语句为“我不太喜欢公司的加班情况”对应的情感倾向是负向。那些对公司评价正面、愿意在公司长远发展的应聘者是人力资源招聘中所希望录取的，而那些主观上对公司有比较负面的评价、不太会在公司长期发展的，将不是人力资源招聘中所希望录取的。
本实施方式中，所述情感分析模型的生成方法包括如下步骤：
(1)获取大量面试文本信息作为训练数据，并对训练数据中的语句分别进行情感类型标注，所述训练数据分为训练样本集和验证样本集；
所述训练样本集和验证样本集中均包括情感分类为正向的文本信息、情感分类为负向的文本信息以及情感分类为中性的文本信息。例如，正向情感的文本信息可以是“很喜欢这家公司”，”非常认同公司的经营理念”，“我很希望加入公司”，“希望在公司有长远发展”，“公司环境非常好”等等，负向情感的文本信息可以是“公司环境比较差”，“工资低”，“加班时间太长”等等。
(2)构建情感分析模型，将所述训练样本集输入所述情感分析模型，对所述情感分析模型进行训练；
在本发明一个实施方式中，所述情感分析模型为双向长短时记忆神经网络(Bidirectional Long Short-term Memory,BLSTM)结合注意力机制的学习模型。
其中，LSTM型神经网络的基本思想是通过输入门(Input Gate)、输出门(OutputGate)和遗忘门(Forget Gate)这些不同类型的门结构来控制信息的流动。在本实施例中，所述LSTM型神经网络采用下式控制信息的流动：
It＝σ(WixIt+Wimmt-1+WicCt-1+bi)；
Ft＝σ(WFxIt+WFmmt-1+WFcCt-1+bF)；
ct＝Ft⊙ct-1+It⊙g(WcxIt+Wcmmt-1+bc)；
Ot＝σ(WOxIt+WOmmt-1+WOcCt-1+bO)；
mt＝Ot⊙h(Ct)；
其中，给定输入序列I＝(I1,I2...IT)，T为输入序列的长度，It为t时刻的输入，W为权重矩阵，b为偏置矩阵，I、F、c、O、m分别代表输入Input Gate、Forget Gate、Output Gate、状态单元以及LSTM结构的输出；
其中，σ为三个控制门的激励函数，公式为:
其中，h为状态的激励函数，公式为：
双向LSTM网络分为前向和后项，利用上述公式，将文本中每个句子中词语的词向量和词语在句子中的相对位置输入到BLSTM网络中，分别得到前向和后项的网络隐层状态表示和然后拼接两个隐层状态表示得到再根据所述每个词的网络隐层状态表示计算基于双向注意力机制的交互信息，进而确定情感分类结果。BLSTM结合注意力机制的学习模型的具体实现原理均为现有技术，在此不做具体详述。
在本发明其他实施方式中，所述情感分析模型也可以是卷积神经网络模型、支持向量机模型、决策树、线性回归等深度学习模型中的任一种，通过大量的有监督训练，可以获得鲁棒性较好的情感分析模型。
(3)通过所述验证样本集对所述训练完成的情感分析模型进行验证。
在训练完成情感分析模型后，通过所述情感分析模型对所述文本信息进行情感分析的方法包括：
(1)获取所述应聘者的面试文本信息，确定所述面试文本信息中的每一目标元素；
其中，所述目标元素可以是一个句子，也可以是单个字词。例如，所述面试文本信息中的内容可以包括“……我很认同公司的经营理念，我非常希望在公司有长远的发展……但就是薪酬有点低”。相邻两个标点之间的两个句子可以分别作为一个目标元素，所述目标元素也可以是每个句子中包括的单个字词，例如“我”、“很”、“认同”、“公司”、“的”、“经营理念”分别作为目标元素。
(2)将所述每一目标元素输入所述情感分析模型，输出每个目标元素的情感分类结果。
例如，“我很认同公司的经营理念”，“我非常希望在公司有长远的发展”这两个句子的情感分析结果均为正向情感，而“薪酬有点低”这一句话的情感分析结果为负向情感。
(3)将每个目标元素的情感分类结果进行汇总，确定整个面试文本信息的情感分类结果。
在一个实施方式中，判断整个面试文本信息中情感分类结果为正向的目标元素所占比例是否超过第一预设值，例如超过70％，若超过预设值，则确定整个面试文本的情感分类为正向，若整个面试文本信息中情感分类结果为正向的目标元素所占比例低于第二预设值，例如50％，则确定整个面试文本的情感分类为负向，若介于第一和第二预设值之间，则确定整个面试文本的情感分类为中性。
另一个实施方式中，还对每个目标元素的情感分类结果计算权重，根据每个目标元素情感分类结果乘以权重值的总和确定整个面试文本的情感分类结果。例如，“我很希望加入公司”这一正向情感分类的权重要大于“公司环境挺好的”，通过权重值可以更准确的计算出情感分类的结果。
步骤S24、根据所述情感分类结果确定应聘者是否符合录取条件，并输出结果。
具体地，将面试文本信息对应的情感分类为正向的应聘者确定为符合录取条件，向人力资源部门推荐所述应聘者，而对于面试文本信息对应的情感分类结果为负向的应聘者不进行推荐，中性情感的作为备选者。这样，可以有效地、智能地筛选出对公司有正向情感的应聘者，例如认同公司文化、愿意在公司长期发展的应聘者，而自动滤除对公司认同感低等不符合应聘要求的人员，这样的好处在于，一来可以减轻人力资源部门人员的工作量，节省人力资源部门的人员的工作时间，二来将面试者的面试内容表现结合数据挖掘技术智能学习应聘者的面试数据，可以更加准确地得到面试者的入职意愿，将其主观的意愿情感表现出来，为人力资源预测和决策提供前瞻性的分析洞见，为公司获得真正能长期培养的人才，将公司利益最大化。
图2-4详细介绍了本发明的面试数据智能分析方法，下面结合图5和图6，对实现所述面试数据智能分析方法的软件系统的功能模块以及实现所述面试数据智能分析方法的硬件装置架构进行介绍。应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
请参阅图5，为本发明一实施方式提供的面试数据智能分析系统的功能模块结构图。
在一些实施方式中，所述面试数据智能分析系统500运行于计算机装置1中。所述面试数据智能分析系统500可以包括多个由程序代码段所组成的功能模块。所述面试数据智能分析系统500中的各个程序段的程序代码可以存储于计算机装置的存储器中，并由计算机装置中的至少一个处理器所执行，以实现如前所述的面试数据智能分析功能。
本实施方式中，面试数据智能分析系统500根据其所执行的功能，可以被划分为多个功能模块。所述面试数据智能分析系统500的功能模块可以包括：面试语音信息获取模块501、文本转换模块502、情感分析模块503、推荐模块504。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。各个功能模块的功能将在下面的实施例中进行详述。
面试语音信息获取模块501用于获取面试语音信息，所述面试语音信息中包括应聘者的语音信息和面试官的语音信息。
文本转换模块502用于从所述面试语音信息中提取所述应聘者的面试语音信息，并将所述应聘者的面试语音信息转换为面试文本信息。提取所述应聘者的面试语音信息并将所述应聘者的面试语音信息转换为面试文本信息的方法如前所述。
一实施方式中，文本转换模块502从所述面试语音信息中提取所述应聘者的语音信息的方法包括：
将面试语音信息进行声音分帧；
从所述面试语音信息中提取相互重叠的滑动窗口，并从非重叠的各个滑动窗口中提取声纹特征信息；
根据每个滑动窗口对应的声纹特征信息分别确定面试官及应聘者对应的滑动窗口，；
提取出所述应聘者对应的所有滑动窗口，并将所有滑动窗口按照顺序拼接成为应聘者单人的语音信息。
其中，通过长短期记忆(Long Short-term Memory,LSTM)网络模型结合频谱聚类(spectral clustering)的方法确定面试官及应聘者分别对应的滑动窗口，具体包括：基于LSTM的d-vectory音频特征提取方法，将每个滑动窗口中的语音信息输入长短期记忆网络LSTM，然后将长短期记忆网络的输出作为该滑动窗口对应的声纹特征(d-vector)表示。然后利用频谱聚类算法对每个滑动窗口的声纹特征信息计算相似性，将相似性高的滑动窗口作为同一个说话者对应的语音信息。其中，频谱聚类是建立在图论中谱图理论基础上的，其本质是将聚类问题转化为图的最优切割问题，在频谱空间中相似性大于预设值的分割片所对应的投影分布较为集中，而相似性低于预设值的分布则比较分散。将每个滑动窗口对应的声音频谱进行频谱聚类，以得到相似性大于预设值的若干个滑动窗口，从而将相似性较高的若干个滑动窗口作为同一个说话者对应的语音信息，进而得到滑动窗口与说话者之间的对应关系，提取出应聘者对应的所有滑动窗口。
一实施方式中，所述文本转换模块502将应聘者的语音信息转换为文本信息的方法包括：
对应聘者的语音信息进行分帧处理；
提取所述应聘者语音信息的每一帧中的声纹特征向量，其中，所述所述声纹特征向量具体为声学特征中的线性预测倒谱系数特征或梅尔频率倒谱系数特征中的至少一种；
将所述声纹特征向量输入预设的声学模型，得到所述声纹特征向量对应的音素信息；
在预先存储的音素字典中查找与所述应聘者音素信息匹配的文字信息，并根据音素字典中音素与文字的映射关系，将所述应聘者的音素信息转换为目标文字；
将所述目标文字转换成面试文本信息。
情感分析模块503用于将所述面试文本信息输入至预设的情感分析模型，对所述文本信息中的文字内容进行情感分析，得到情感分类结果。
一实施方式中，所述情感分析模块503通过所述情感分析模型对所述文本信息进行情感分析的方法包括：
获取所述应聘者的面试文本信息，确定所述面试文本信息中的每一目标元素；
将所述每一目标元素输入所述情感分析模型，输出每个目标元素的情感分类结果；
将每个目标元素的情感分类结果进行汇总，确定整个面试文本信息的情感分类结果。
其中，所述情感分类结果包括正向情感、负向情感以及中性情感。对文本内容进行情感分析在人力资源招聘中的运用主要是对应聘者语言中所表现的主观意愿(例如对公司的评价，是否愿意在公司长远发展等)进行分析挖掘，以获得应聘者的情感分类结果，例如，当应聘者面试文本中的语句为“我非常认同公司的经营理念”、“我很喜欢这家公司”对应的情感倾向是正向的，那么对应的情感分类结果为正向情感。如果应聘者面试文本中的语句为“我不太喜欢公司的加班情况”对应的情感倾向是负向。那些对公司评价正面、愿意在公司长远发展的应聘者是人力资源招聘中所希望录取的，而那些主观上对公司有比较负面的评价、不太会在公司长期发展的，将不是人力资源招聘中所希望录取的。
在一个实施方式中，判断整个面试文本信息中情感分类结果为正向的目标元素所占比例是否超过第一预设值，例如超过70％，若超过预设值，则确定整个面试文本的情感分类为正向，若整个面试文本信息中情感分类结果为正向的目标元素所占比例低于第二预设值，例如50％，则确定整个面试文本的情感分类为负向，若介于第一和第二预设值之间，则确定整个面试文本的情感分类为中性。
另一个实施方式中，还对每个目标元素的情感分类结果计算权重，根据每个目标元素情感分类结果乘以权重值的总和确定整个面试文本的情感分类结果。例如，“我很希望加入公司”这一正向情感分类的权重要大于“公司环境挺好的”，通过权重值可以更准确的计算出情感分类的结果。
本实施方式中，所述情感分析模型可以是双向长短期记忆网络、卷积神经网络模型、支持向量机模型、决策树、线性回归等深度学习模型中的任一种，通过大量的有监督训练，可以获得鲁棒性较好的情感分析模型。
推荐模块504用于根据所述情感分类结果确定应聘者是否符合录取条件，并输出结果。
具体地，将面试文本信息对应的情感分类为正向的应聘者确定为符合录取条件，向人力资源部门推荐所述应聘者，而对于面试文本信息对应的情感分类结果为负向的应聘者不进行推荐，中性情感的作为备选者。这样，可以有效地、智能地筛选出对公司有正向情感的应聘者，例如认同公司文化、愿意在公司长期发展的应聘者，而自动滤除对公司认同感低等不符合应聘要求的人员，这样的好处在于，一来可以减轻人力资源部门人员的工作量，节省人力资源部门的人员的工作时间，二来将面试者的面试内容表现结合数据挖掘技术智能学习应聘者的面试数据，可以更加准确地得到面试者的入职意愿，将其主观的意愿情感表现出来，为人力资源预测和决策提供前瞻性的分析洞见，为公司获得真正能长期培养的人。
图6为本发明一实施方式提供的计算机装置的功能模块示意图。所述计算机装置1包括存储器101、处理器102以及存储在所述存储器101中并可在所述处理器102上运行的计算机程序103，例如面试数据智能分析程序。所述处理器102执行所述计算机程序103时实现上述方法实施例中面试数据智能分析方法，例如步骤S21-S24。或者，所述处理器102执行所述计算机程序103实现上述系统实施例中各模块/单元的功能，例如实现图5中的各个模块的功能。
本领域技术人员可以理解，所述示意图6仅仅是计算机装置1的示例，并不构成对计算机装置1的限定，计算机装置1可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机装置1还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器102逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机装置1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
在一些实施例中，所称处理器102可以是中央处理单元(Central ProcessingUnit，CPU)，还可以包括其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一些实施例中，所述存储器101可用于存储所述计算机程序103和/或模块/单元，所述处理器102通过运行或执行存储在所述存储器101内的计算机程序和/或模块/单元，以及调用存储在存储器101内的数据，实现所述计算机装置1的各种功能。存储器101可以包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
所述计算机装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种面试数据分析方法，其特征在于，所述方法包括：
获取应聘者的面试语音信息；
将所述应聘者的面试语音信息转换为面试文本信息；
将所述面试文本信息输入至预设的情感分析模型，对所述文本信息中的文字内容进行情感分析，得到情感分类结果；
根据所述情感分类结果确定所述应聘者是否符合录取条件。
2.如权利要求1所述的面试数据分析方法，其特征在于，在获取所述应聘者的面试语音信息之前，所述方法还包括：
获取面试语音信息，所述面试语音信息中包括面试官的语音信息和应聘者的面试语音信息；
从所述面试语音信息中分离出所述应聘者的语音信息，其中，从面试语音信息中分离所述应聘者的语音信息包括：
将所述面试语音信息进行声音分帧；
从所述面试语音信息中提取相互重叠的滑动窗口，并从非重叠的各个滑动窗口中提取声纹特征信息；
根据每个滑动窗口对应的声纹特征信息分别确定面试官及应聘者对应的滑动窗口；
提取出所述应聘者对应的所有滑动窗口，并将所有滑动窗口按照顺序拼接成为应聘者单人的语音信息，作为从所述面试语音信息中提取出的应聘者的语音信息。
3.如权利要求2所述的面试数据分析方法，其特征在于，“从非重叠的各个滑动窗口中提取声纹特征信息；根据每个滑动窗口对应的声纹特征信息分别确定面试官及应聘者对应的滑动窗口”包括：
基于长短期记忆网络的d-vectory音频特征提取方法，将每个滑动窗口中的语音信息输入长短期记忆网络，然后将长短期记忆网络的输出作为该滑动窗口对应的声纹特征表示，再利用频谱聚类算法对每个滑动窗口的声纹特征信息计算相似性，将相似性大于预设值的滑动窗口作为同一个说话者对应的语音信息。
4.如权利要求1所述的面试数据分析方法，其特征在于，“将应聘者的语音信息转换为文本信息”的方法包括：
对所述应聘者的语音信息进行分帧处理；
提取所述应聘者语音信息的每一帧中的声纹特征向量；
将所述声纹特征向量输入预设的声学模型，得到所述声纹特征向量对应的音素信息；
在预先存储的音素字典中查找与所述应聘者音素信息匹配的文字信息，并根据音素字典中音素与文字的映射关系，将所述应聘者的音素信息转换为目标文字；
将所述目标文字转换成面试文本信息。
5.如权利要求4所述的面试数据分析方法，其特征在于，所述声纹特征向量为声学特征中的线性预测倒谱系数、梅尔频率倒谱系数中的任一种或两种。
6.如权利要求1所述的面试数据分析方法，其特征在于，所述情感分析模型的生成方法包括：
获取面试文本信息作为训练数据，并对训练数据中的语句分别进行情感类型标注，所述训练数据分为训练样本集和验证样本集；
构建情感分析模型，将所述训练样本集输入所述情感分析模型，对所述情感分析模型进行训练；
通过所述验证样本集对所述训练完成的情感分析模型进行验证。
7.如权利要求6所述的面试数据分析方法，其特征在于，所述情感分析模型为双向长短期记忆网络模型、支持向量机模型、决策树、线性回归模型中的任一种。
8.如权利要求1所述的面试数据分析方法，其特征在于，所述情感分类结果包括正向情感、负向情感和中性情感，当所述面试文本信息的情感分类为正向情感时，确定所述应聘者符合录取条件，当所述面试文本信息的情感分类为负向情感时，确定所述应聘者不符合录取条件，当所述面试文本信息的情感分类为中性情感时，确定所述应聘者作为备选人员。
9.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-8中任一项所述的面试数据分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的面试数据分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551036.1A CN110211591B (zh) | 2019-06-24 | 2019-06-24 | 基于情感分类的面试数据分析方法、计算机装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551036.1A CN110211591B (zh) | 2019-06-24 | 2019-06-24 | 基于情感分类的面试数据分析方法、计算机装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110211591A true CN110211591A (zh) | 2019-09-06 |
| CN110211591B CN110211591B (zh) | 2021-12-21 |
Family
ID=67794408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910551036.1A Active CN110211591B (zh) | 2019-06-24 | 2019-06-24 | 基于情感分类的面试数据分析方法、计算机装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110211591B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675891A (zh) * | 2019-09-25 | 2020-01-10 | 电子科技大学 | 一种基于多层注意力机制的语音分离方法、模块 |
| CN110782221A (zh) * | 2019-09-19 | 2020-02-11 | 丁玥 | 一种面试智能评测系统及方法 |
| CN110827796A (zh) * | 2019-09-23 | 2020-02-21 | 平安科技（深圳）有限公司 | 基于语音的面试者判定方法、装置、终端及存储介质 |
| CN110874716A (zh) * | 2019-09-23 | 2020-03-10 | 平安科技（深圳）有限公司 | 面试测评方法、装置、电子设备及存储介质 |
| CN111222837A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 智能化面试的方法、系统、设备及计算机存储介质 |
| CN111339776A (zh) * | 2020-02-17 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 简历解析方法、装置、电子设备和计算机可读存储介质 |
| CN112786054A (zh) * | 2021-02-25 | 2021-05-11 | 深圳壹账通智能科技有限公司 | 基于语音的智能面试评估方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102770912A (zh) * | 2010-01-13 | 2012-11-07 | 沃伊斯亚吉公司 | 使用线性预测滤波的前向时域混叠消除 |
| US20150134328A1 (en) * | 2008-11-26 | 2015-05-14 | Electronics And Telecommunications Research Institute | Unified speech/audio codec (usac) processing windows sequence based mode switching |
| EP3048812A1 (en) * | 2015-01-22 | 2016-07-27 | Acer Incorporated | Voice signal processing apparatus and voice signal processing method |
| CN106056061A (zh) * | 2016-05-26 | 2016-10-26 | 南京大学 | 一种基于可穿戴设备的日常抽烟行为检测方法 |
| CN108564940A (zh) * | 2018-03-20 | 2018-09-21 | 平安科技（深圳）有限公司 | 语音识别方法、服务器及计算机可读存储介质 |
| CN109241864A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 情感预测方法、装置、计算机设备和存储介质 |
| CN109325541A (zh) * | 2018-09-30 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置 |
| CN109326302A (zh) * | 2018-11-14 | 2019-02-12 | 桂林电子科技大学 | 一种基于声纹比对和生成对抗网络的语音增强方法 |
| CN109766917A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 面试视频数据处理方法、装置、计算机设备和存储介质 |
| CN109918650A (zh) * | 2019-02-03 | 2019-06-21 | 北京大学 | 自动生成采访稿的采访智能机器人装置及智能采访方法 |
-
2019
- 2019-06-24 CN CN201910551036.1A patent/CN110211591B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150134328A1 (en) * | 2008-11-26 | 2015-05-14 | Electronics And Telecommunications Research Institute | Unified speech/audio codec (usac) processing windows sequence based mode switching |
| CN102770912A (zh) * | 2010-01-13 | 2012-11-07 | 沃伊斯亚吉公司 | 使用线性预测滤波的前向时域混叠消除 |
| EP3048812A1 (en) * | 2015-01-22 | 2016-07-27 | Acer Incorporated | Voice signal processing apparatus and voice signal processing method |
| CN106056061A (zh) * | 2016-05-26 | 2016-10-26 | 南京大学 | 一种基于可穿戴设备的日常抽烟行为检测方法 |
| CN108564940A (zh) * | 2018-03-20 | 2018-09-21 | 平安科技（深圳）有限公司 | 语音识别方法、服务器及计算机可读存储介质 |
| CN109241864A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 情感预测方法、装置、计算机设备和存储介质 |
| CN109325541A (zh) * | 2018-09-30 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置 |
| CN109326302A (zh) * | 2018-11-14 | 2019-02-12 | 桂林电子科技大学 | 一种基于声纹比对和生成对抗网络的语音增强方法 |
| CN109766917A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 面试视频数据处理方法、装置、计算机设备和存储介质 |
| CN109918650A (zh) * | 2019-02-03 | 2019-06-21 | 北京大学 | 自动生成采访稿的采访智能机器人装置及智能采访方法 |
Non-Patent Citations (2)
| Title |
|---|
| DEGER AYATA: ""Emotion Recognition Via random forest and galvanic skin response"", 《IEEE》 * |
| 王小佳: ""基于特征选择的语音情感识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782221A (zh) * | 2019-09-19 | 2020-02-11 | 丁玥 | 一种面试智能评测系统及方法 |
| CN110827796A (zh) * | 2019-09-23 | 2020-02-21 | 平安科技（深圳）有限公司 | 基于语音的面试者判定方法、装置、终端及存储介质 |
| CN110874716A (zh) * | 2019-09-23 | 2020-03-10 | 平安科技（深圳）有限公司 | 面试测评方法、装置、电子设备及存储介质 |
| WO2021057146A1 (zh) * | 2019-09-23 | 2021-04-01 | 平安科技（深圳）有限公司 | 基于语音的面试者判定方法、装置、终端及存储介质 |
| CN110827796B (zh) * | 2019-09-23 | 2024-05-24 | 平安科技（深圳）有限公司 | 基于语音的面试者判定方法、装置、终端及存储介质 |
| CN110675891A (zh) * | 2019-09-25 | 2020-01-10 | 电子科技大学 | 一种基于多层注意力机制的语音分离方法、模块 |
| CN111222837A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 智能化面试的方法、系统、设备及计算机存储介质 |
| CN111339776A (zh) * | 2020-02-17 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 简历解析方法、装置、电子设备和计算机可读存储介质 |
| CN112786054A (zh) * | 2021-02-25 | 2021-05-11 | 深圳壹账通智能科技有限公司 | 基于语音的智能面试评估方法、装置、设备及存储介质 |
| CN112786054B (zh) * | 2021-02-25 | 2024-06-11 | 深圳壹账通智能科技有限公司 | 基于语音的智能面试评估方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110211591B (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211591A (zh) | 基于情感分类的面试数据分析方法、计算机装置及介质 | |
| US11361770B2 (en) | Detecting user identity in shared audio source contexts | |
| US8914285B2 (en) | Predicting a sales success probability score from a distance vector between speech of a customer and speech of an organization representative | |
| US20200143288A1 (en) | Training of Chatbots from Corpus of Human-to-Human Chats | |
| US8676586B2 (en) | Method and apparatus for interaction or discourse analytics | |
| US9418652B2 (en) | Automated learning for speech-based applications | |
| CN109388701A (zh) | 会议记录生成方法、装置、设备和计算机存储介质 | |
| Weninger et al. | The voice of leadership: Models and performances of automatic analysis in online speeches | |
| US8781880B2 (en) | System, method and apparatus for voice analytics of recorded audio | |
| CN110633912A (zh) | 监测服务人员服务质量的方法及系统 | |
| Yang et al. | Predicting user satisfaction in spoken dialog system evaluation with collaborative filtering | |
| CN109902158A (zh) | 语音交互方法、装置、计算机设备及存储介质 | |
| CN110475032A (zh) | 多业务界面切换方法、装置、计算机装置及存储介质 | |
| US20200046285A1 (en) | Detection of a sign of cognitive decline focusing on change in topic similarity over conversations | |
| Sapru et al. | Automatic recognition of emergent social roles in small group interactions | |
| US11349989B2 (en) | Systems and methods for sensing emotion in voice signals and dynamically changing suggestions in a call center | |
| CN112235470B (zh) | 基于语音识别的来电客户跟进方法、装置及设备 | |
| Shahin et al. | Talking condition recognition in stressful and emotional talking environments based on CSPHMM2s | |
| Ntalampiras | Toward language-agnostic speech emotion recognition | |
| CN113505606B (zh) | 一种培训信息获取方法、装置、电子设备及存储介质 | |
| CN110473548B (zh) | 一种基于声学信号的课堂交互网络分析方法 | |
| CN113326678A (zh) | 会议纪要的生成方法、装置、终端设备及计算机存储介质 | |
| CN116828109A (zh) | 一种电话客服服务质量智能评估方法及系统 | |
| Vicsi et al. | Problems of the automatic emotion recognitions in spontaneous speech; an example for the recognition in a dispatcher center | |
| CN116071032A (zh) | 基于深度学习的人力资源面试识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |