CN110246519A - 情绪识别方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种情绪识别方法、设备及计算机可读存储介质。其中，所述情绪识别方法包括以下步骤：获取用户发出的语音信息，对所述语音信息进行分析得到文本特征和语调特征；将所述文本特征与文本数据库匹配，得到文本匹配结果；将所述语调特征与语调数据库匹配，得到语调匹配结果；根据所述文本匹配结果与所述语调匹配结果分析得到用户的情绪。通过将文本特征与语调特征拆分开来，并通过文本匹配结果与语调匹配结果综合分析，得出语音信息的真实情绪，判定准确，不易出现错误。

Description

情绪识别方法、设备及计算机可读存储介质

技术领域

本发明涉及人工智能的技术领域，特别涉及一种情绪识别方法、设备及计算机可读存储介质。

背景技术

在看护机器人的应用中，为了能全方位的照顾用户，需要看护机器人能及时反映用户的情绪，以在用户出现负面情绪时，能够马上得到反馈，并及时进行处理。目前，相关技术中，看护机器人的情绪识别方法是，通过与用户进行对话，获取用户的对话片段，将用户的对话片段与已存储在数据库的关键词对比，当用户的对话片段出现关键词或近义词时，进而对用户的情绪进行判定，以及时反馈，方便快速处理。但是，上述仅能判定用户的表层情绪，用户在说话时，其真实情绪以及语意是和说话的内容和声音的语调相关的，因而上述所给出的情绪判断并不准确，极容易造成失误而未能及时照顾用户。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的是提供一种情绪识别方法，旨在提供一种能准确识别用户情绪的方法。

为实现上述目的，本发明提出的一种情绪识别方法，所述情绪识别方法包括以下步骤：

获取用户发出的语音信息，对所述语音信息进行分析得到文本特征和语调特征；

将所述文本特征与文本数据库匹配，得到文本匹配结果；

将所述语调特征与语调数据库匹配，得到语调匹配结果；

根据所述文本匹配结果与所述语调匹配结果分析得到用户的情绪。

可选地，所述情绪识别方法还包括：

当所述文本匹配结果为文本特征与文本数据库匹配上时，根据所述文本匹配结果调出第一语调数据库，将所述第一语调数据库作为语调数据库。

可选地，所述情绪识别方法还包括：

当所述文本匹配结果为文本特征与文本数据库未匹配上时，调设出第二语调数据库，将所述第二语调数据库作为语调数据库。

可选地，根据所述文本匹配结果与所述语调匹配结果分析得到用户的情绪的步骤包括：

根据所述文本匹配结果调出所述语调数据库；

从所述语调数据库调出情绪数据库；

将所述语调匹配结果与所述情绪数据库匹配，得到用户的情绪。

可选地，对所述语音信息进行分析得到文本特征和语调特征的步骤包括：

当获取用户的语音信息后，从所述语音信息中提取文本信息得到文本特征；

从所述语音信息中提取音频信息得到语调特征。

可选地，从所述语音信息中提取文本信息得到文本特征的步骤包括：

从所述语音信息中提取文本信息，对所述文本信息进行分词操作，得到词序列；

根据词序列获取所述词序列中的词对应的同义词；

根据所述词序列中的词及其所对应的同义词生成所述文本特征。

可选地，从所述语音信息中提取音频信息得到语调特征的步骤包括：

将所述语音信息的音频生成声谱；

根据所述声谱生成相邻声波波峰的间隔时间t，根据多个相邻声波波峰的间隔时间t生成一个t的范围区间；

根据所述t的范围区间生成所述语调特征。

可选地，将所述语调特征与语调数据库匹配，得到语调匹配结果的步骤包括：

根据所述语调数据库内预存的t范围区间与所述语调特征进行匹配，得到所述语调匹配结果。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有情绪识别程序，所述情绪识别程序被处理器执行时实现上述的情绪识别方法。

本发明还提供了一种情绪识别设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的情绪识别程序，所述处理器执行所述情绪识别程序时实现上述的情绪识别方法。

本发明技术方案通过采用将文本特征与语调特征拆分开来，并通过文本匹配结果与语调匹配结果综合分析，得出语音信息的真实情绪，判定准确，不易出现错误。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明情绪识别方法第一实施例的流程示意图；

图2为本发明情绪识别方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明提出一种情绪识别方法，通过将文本特征与语调特征拆分开来，并通过文本匹配结果与语调匹配结果综合分析，得出语音信息的真实情绪，判定准确，不易出现错误。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参照图1和图2，在本发明实施例中，提出了一种情绪识别方法，情绪识别方法包括以下步骤：

步骤S10，获取用户发出的语音信息，对语音信息进行分析得到文本特征和语调特征；

将语音信息分拆开来，以便分别进行分析，如，当用户说出的语音信息为“hello”时，文本特征为“hello”这个单词，而音调特征则为用户发出声音的轻重缓急。

步骤S20，将文本特征与文本数据库匹配，得到文本匹配结果；

如，将上述“hello”与文本数据库内容匹配，从而得到一个文本匹配结果，该匹配结果可以是在文本数据库内存在与之对应的单词，或者不存在。

步骤S50，将语调特征与语调数据库匹配，得到语调匹配结果；

如，将上述“hello”的音调的轻重缓急与语调数据库内预存的语调对比，通过对比分析，将上述“hello”的语调归入语调数据库内的某一类，从而得到语调匹配结果。

步骤S60，根据文本匹配结果与语调匹配结果分析得到用户的情绪。

通过文本匹配结果与语调匹配结果来调出对应的情绪数据库，通过与情绪数据库的对比分析，进而得到用户的情绪。

即，将用户所说的语音信息的内容与音调拆分开来，即文本特征与语调特征，并分别与文本数据库和语音数据库进行对比，得到了两种匹配结果，即文本匹配结果和语调匹配结果，不再仅依靠其中某一项对用户的情绪进行判定，通过两种匹配结果一起分析，从而对用户的情绪判定更加准确。同时，将文本匹配结果和语调匹配结果结合后，通过文本特征的内容与语调特征的轻重缓急，进而可以分析得到用户的真实意图和真实情绪。

用户的情绪不能仅依靠某一匹配结果进行判断的，如，从文本特征上来看“hello”表示用户处于开心或兴奋状态，但是若用户的语调特征较为小而缓慢时，即声音低沉并且慢，则表明用户是表里不一，此时用户则处于不开心或难过的状态，需要及时进行反馈。

参照图1，图1为本发明情绪识别方法第一实施例的流程示意图，该情绪识别方法还包括：

步骤S30，当文本匹配结果为文本特征与文本数据库匹配上时，根据文本匹配结果调出第一语调数据库，将第一语调数据库作为语调数据库。

即，每个文本匹配结果均有一个独立的第一语调数据库，只有当文本特征与文本数据库匹配上时，调出与该文本匹配结果对应的第一语调数据库，第一语调数据库作为语调数据库供后续语调匹配结构调用对比。

由于在说不同的话语时，即使处于同一情绪状态下，其语调也会发生变化，或是，即使语调特征不同，其情绪也可能相同。这样，通过不同的文本匹配结果生成不同的第一语调数据库，在情绪判定时更加准确，同时，在判定用户的额外含义时，也更加容易。

如，在用户说出“hello”等一些积极性文本时，如果用户的语调特征判定为消极，则判定为消极；在用户说出“die”等一些消极性文本时，即使用户的语调特征判定为积极状态，仍然判定为消极，以及时反馈，快速处理。

这样，根据文本匹配结果调出第一语调数据库，并将第一语调数据库作为语调数据库之后：

从语调数据库调出情绪数据库，语调数据库内的语调特征分别对应情绪数据库不同的情绪；

将语调匹配结果与情绪数据库匹配，得到用户的情绪。

语调匹配结果显示语调特征与语调数据库内的某一语调特征对应时，直接将语调数据库内的语调特征与情绪数据库内的情绪对应，得到用户情绪，判定准确快速。

另外，参考图2，图2为本发明情绪识别方法第二实施例的流程示意图，该情绪识别方法还包括：

步骤S40，当所述文本匹配结果为文本特征与文本数据库未匹配上时，调设出第二语调数据库，将所述第二语调数据库作为语调数据库，第二语调数据库与文本匹配结果不关联。

即，文本数据库内没有对应的文本特征时，则调设出第二语调数据，即仅根据语调特征判定用户的情绪。

根据文本匹配结果调出第二语调数据库，将第二语调数据库作为语调数据库后：

从语调数据库调出情绪数据库；

将语调匹配结果与情绪数据库匹配，得到用户的情绪。

此时，仅根据用户的语调特征来对用户的情绪进行判断，即语调为开心这情绪判断为开心。

之后，根据用户的反馈，将文本特征纳入新的文本数据库中，这样，随着时间的累积，文本数据库逐渐扩大，其判定的也更加准确。

本发明的一实施例中，所判定的情绪至少有以下四种：开心、悲伤、生气以及普通。在第二语调数据库中，当语调特征过高或过于急促时，判定为生气；当语调特征高或快时，判定为开心；当语调特征低或缓慢时，判定为悲伤；当语调特征为中间值时，即不属于上述值的范围，则判定为普通。

上述步骤S10中，对语音信息进行分析得到文本特征和语调特征的步骤包括：

当获取用户的语音信息后，从语音信息中提取文本信息得到文本特征；

从语音信息的提取音频提得到语调特征。

即，语音信息中提取的文本信息即为文本特征，而去除文本的音频即为语调特征。

另外，本发明的一实施例中，获取用户的语音后，从语音信息中提取文本信息得到文本特征的步骤包括；

对文本信息进行分词操作，得到词序列；

根据词序列获取词序列中的词对应的同义词；

根据词序列中的词及其所对应的同义词生成文本特征。

即将文本信息拆分为多个单词，形成词序列，词序列中的各个词又衍生到相关同义词，通过这多个单词所组成的文本特征，涉及范围广，以便于在数据库中寻找相关关键词，从而能以最快速度找出与用户的文本特征对应的文本匹配结果。

此外，在对文本信息进行分词操作，得到词序列之前：

直接将文本信息与文本数据库匹配，若文本信息与文本数据库预存信息匹配上时，则不再进行分词操作，文本信息直接生成文本特征；若文本信息与文本数据库没有匹配上时，则进行分词操作，并按上述步骤依序生成文本特征。

这样，直接对整句文本信息进行匹配，所得到的文本匹配结果更加准确，后续情绪的识别也更加复合用户的真实情况。

另外，将语音信息的音频提取出来，得到语调特征的步骤包括：

将所述语音信息的音频生成声谱，声谱可以反映声音在发生过程中的某一段时间内力度及音高随时间的变化。它的横坐标是时间，纵坐标是力度或音高；

根据声谱生成相邻声波波峰的间隔时间t，根据多个相邻声波波峰的间隔时间t生成一个t的范围区间；

根据t的范围区间生成语调特征。

即，本发明的一实施例中，根据声谱生成相邻声波波峰的间隔时间t，从而得到一个t的范围区间，t的范围区间即为上述语调特征，在用户在处于某一情绪说话时，上述语调特征在一句话内的变化一般较小，也较稳定，因此容易判断人的隐藏情绪。同时，对于不同的人来说，该语调特征的区别也较小，因而易于判断不同用户的隐藏情绪。

当然，在其他实施例中，上述语调特征也可以为在语音信息持续时间段内的声谱的波数，或是声谱内音高的范围值。

步骤S50，将语调特征与语调数据库匹配，得到语调匹配结果的步骤包括：

根据语调数据库内预存的t范围区间与语调特征进行对比，得到语调匹配结果。

本发明的一实施例中，语调数据库内预存有各个范围区间，分别对应有用户不同的情绪，这样，将上述语调特征与语调数据库内预存的范围区间对比，当语调特征的值纳入语调数据库预存的范围区间时，即可判定该用户处于某一情绪中，这样，上述语调数据库是涵盖了所有的t的，得到的语调匹配结果均可以对应到语调数据库中，因而最终均会分析得到结果的。

此外，获取用户发出的语音信息的步骤之前：

对用户说出的话进行降噪处理得到语音信息。

通过降噪处理，使得用户的语音信息更加清晰，更加便于清晰判定。

本发明的一实施例中，文本数据库和语调数据库均为云端数据库。

即，用户在说话时，本地进行降噪等清晰化处理，使得语音信息清晰，再通过网络将语音信息上传到云端，通过与文本数据库和语调数据库的对比匹配，得出结果，再传输至本地反馈给用户。这样，可通过网络不断的扩大文本数据库和语调数据库，使之不断学习，更加准确，同时，通过云端处理更加方便，处理速度更快。

本发明还提出了一种计算机可读存储介质，计算机可读存储介质存储有情绪识别程序，情绪识别程序被处理器执行时实现上述情绪识别方法。

本发明的计算机可读存储介质的具体实施例与上述情绪的识别方法的实施例基本相同，不再赘述。

本发明还提出了一种情绪识别设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的情绪识别程序，处理器执行情绪识别程序时实现上述的情绪识别方法。

本发明的情绪识别设备的具体实施例与上述情绪的识别方法的实施例基本相同，不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程和流程图中的流程的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发

明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种情绪识别方法，其特征在于，所述情绪识别方法包括以下步骤：

获取用户发出的语音信息，对所述语音信息进行分析得到文本特征和语调特征；

将所述文本特征与文本数据库匹配，得到文本匹配结果；

将所述语调特征与语调数据库匹配，得到语调匹配结果；

根据所述文本匹配结果与所述语调匹配结果分析得到用户的情绪。

2.如权利要求1所述情绪识别方法，其特征在于，所述情绪识别方法还包括：

当所述文本匹配结果为文本特征与文本数据库匹配上时，根据所述文本匹配结果调出第一语调数据库，将所述第一语调数据库作为语调数据库。

3.如权利要求1所述情绪识别方法，其特征在于，所述情绪识别方法还包括：

当所述文本匹配结果为文本特征与文本数据库未匹配上时，调设出第二语调数据库，将所述第二语调数据库作为语调数据库。

4.如权利要求2或3所述情绪识别方法，其特征在于，根据所述文本匹配结果与所述语调匹配结果分析得到用户的情绪的步骤包括：

根据所述文本匹配结果调出所述语调数据库；

从所述语调数据库调出情绪数据库；

将所述语调匹配结果与所述情绪数据库匹配，得到用户的情绪。

5.如权利要求1所述的情绪识别方法，其特征在于，对所述语音信息进行分析得到文本特征和语调特征的步骤包括：

当获取用户的语音信息后，从所述语音信息中提取文本信息得到文本特征；

从所述语音信息中提取音频信息得到语调特征。

6.如权利要求5所述的情绪识别方法，其特征在于，从所述语音信息中提取文本信息得到文本特征的步骤包括：

从所述语音信息中提取文本信息，对所述文本信息进行分词操作，得到词序列；

根据词序列获取所述词序列中的词对应的同义词；

根据所述词序列中的词及其所对应的同义词生成所述文本特征。

7.如权利要求5所述的情绪识别方法，其特征在于，从所述语音信息中提取音频信息得到语调特征的步骤包括：

将所述语音信息的音频生成声谱；

根据所述声谱生成相邻声波波峰的间隔时间t，根据多个相邻声波波峰的间隔时间t生成一个t的范围区间；

根据所述t的范围区间生成所述语调特征。

8.如权利要求7所述的情绪识别方法，其特征在于，将所述语调特征与语调数据库匹配，得到语调匹配结果的步骤包括：

根据所述语调数据库内预存的t范围区间与所述语调特征进行匹配，得到所述语调匹配结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有情绪识别程序，所述情绪识别程序被处理器执行时实现权利要求1-8任一所述的情绪识别方法。

10.一种情绪识别设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的情绪识别程序，所述处理器执行所述情绪识别程序时实现权利要求1-8任一所述的情绪识别方法。