CN105096943B - 信号处理的方法与装置 - Google Patents

Abstract

本发明实施例涉及一种信号处理的方法与装置。所述方法包括：所述第一终端获取麦克风采集的用户当前语音信号，所述麦克风与所述第一终端连接；所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态；所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态。

Description

信号处理的方法与装置

技术领域

本发明涉及通讯技术领域，尤其涉及一种信号处理的方法与装置。

背景技术

目前，大部分用户都会出现不同程度的心理情感问题，心里情感问题主要表现为烦躁，焦虑，抑郁等等。用户的语音包含了丰富的情感信息，是理解心理情感的重要途径，因此，通过对用户的语音可快速地判别用户当前的情感状态。

现有技术中，可将判别用户当前的情感状态应用在考察服务类人员的工作中，进而对服务类人员的工作状态进行考核。

例如，在一种实现场景中，呼控中心考察话务员为客户提供服务时的服务状态，具体过程为：呼控中心建立关键语音库，关键语音库包括传统词库中具有攻击性、污蔑性等语音词汇；话务员与客户进行语音通话，呼控中心启动录音，将话务员与客户之间的语音通话进行录音；呼控中心搜索语音通话的语音信息是否与关键语音库中包括的语音词汇匹配，如果匹配，则呼控中心根据匹配的语音词汇，判别话务员当前的情感状态；呼控中心根据话务员当前的情感状态，对话务员的工作状态进行考核。

但是，现有技术中提供的技术方案也暴露出以下问题：1)当前网络词汇的快速普及和流行，使得具有攻击性、污蔑性的词汇越来越多，现有技术中将传统词库中的此类词语作为关键词汇也仅可识别出部分词汇，使得现有技术方案存在检测遗漏的缺陷；2)由于个体通话说话方式、语音语调的不同，不同个体对同一个词汇由的表达存在差异性，现有技术中仅将语音词汇进行匹配，使得现有技术方案存在一定程度的误判的缺陷；3)客户与话务员的通话过程中，呼控中心无法实时呈现双方的情感状态，以使得双方被对方的情感状态造成影响。

发明内容

本发明实施例提供了一种信号处理的方法与装置，解决了现有技术方案中检测遗漏、误判且无法实时呈现双方的情感状态，以使得双方被对方的情感状态造成影响的问题。

在第一方面，本发明实施例提供了一种信号处理的方法，所述方法包括：

所述第一终端获取麦克风采集的用户当前语音信号，所述麦克风与所述第一终端连接；

所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态；

所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态。

在第一种可能的实现方式中，所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态具体包括：

所述第一终端将所述用户当前语音信号与多个所述参考语音信号分别进行相减处理，得到多个差值语音信号，每个所述差值语音信号与每个所述参考语音信号所表征的用户情感状态一一对应；

所述第一终端获取多个所述差值语音信号的能量值；

所述第一终端确定多个所述能量值中的次小能量值与最小能量值的差值；

当所述差值大于预设的能量阈值时，所述第一终端将与能量值最小的差值语音信号匹配的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态具体包括：

所述第一终端将所述用户当前语音信号与多个所述参考语音信号分别进行相减处理，得到多个差值语音信号，每个所述差值语音信号与每个所述参考语音信号所表征的用户情感状态一一对应；

所述第一终端获取多个所述差值语音信号的能量值；

所述第一终端确定多个所述能量值中的次小能量值与最小能量值的差值；

当所述差值大于预设的能量阈值时，所述第一终端将与能量值最小的差值语音信号匹配的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述均方值具体为：

Q＝[(Kδ_i)²+(S-S_i)²+(S′-S′_i)²]^1/2

其中，所述Q为均方值；所述K为固定系数；所述δ_i为所述差值语音信号的能量值；所述S、所述S′为特征值；所述S_i、所述S′_i为参考特征值。

在第四种可能的实现方式中，所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态具体包括：

所述第一终端向所述第二终端发送通知信息，所述通知信息包括与所述用户当前语音信号匹配的所述用户情感状态，以使得所述第二终端将所述用户情感状态进行显示处理。

在第五种可能的实现方式中，所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态具体包括：

根据所述用户情感状态，所述第一终端显示输出与所述用户情感状态对应的提示信息。

在第二方面，本发明实施例提供了一种信号处理的装置，所述装置包括：

第一获取单元，用于获取麦克风采集的用户当前语音信号，所述麦克风与所述装置连接；

确定单元，用于将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态；

输出单元，用于输出与所述用户当前语音信号匹配的所述用户情感状态。

在第一种可能的实现方式中，所述确定单元具体用于，

将所述用户当前语音信号与多个所述参考语音信号分别进行相减处理，得到多个差值语音信号，每个所述差值语音信号与每个所述参考语音信号所表征的用户情感状态一一对应；

获取多个所述差值语音信号的能量值；

确定多个所述能量值中的次小能量值与最能量值的差值；

当所述差值大于预设的能量阈值时，将与能量值最小的差值语音信号匹配的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述装置还包括：第二获取单元，用于获取摄像头采集的用户当前图像信号，所述摄像头与所述第一终端连接；

所述确定单元还用于，确定所述用户当前图像信号中脸部图像的第一特征区域的第一特征值和第二特征区域的第二特征值；

所述第二获取单元还用于，当所述差值不大于所述能量阈值时，获取与能量值最小的差值语音信号对应的用户情感状态所匹配的第一参考特征区域的第一参考特征值和第二参考特征区域的第二参考特征值，以及与能量值次小的差值语音信号对应的用户情感状态所匹配的第三参考特征区域的第三参考特征值和第四参考特征区域的第四参考特征值；

所述确定单元还用于，利用所述最小能量值、所述第一特征值、所述第二特征值、所述第一参考特征值和所述第二参考特征值，确定能量值最小的差值语音信号的第一均方值；

所述确定单元还用于，利用所述次小能量值、所述第一特征值、所述第二特征值、所述第三参考特征值和所述第四参考特征值，确定能量值次小的差值语音信号的第二均方值；

所述确定单元还用于，当所述第一均方值小于所述第二均方值时，将与能量值最小的差值语音信号对应的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

结合第二方面的第二种可能的方式，在第三种可能的实现方式中，所述确定单元确定的所述均方值具体为：

Q＝[(Kδ_i)²+(S-S_i)²+(S′-S′_i)²]^1/2

其中，所述Q为均方值；所述K为固定系数；所述δ_i为所述差值语音信号的能量值；所述S、所述S′为特征值；所述S_i、所述S′_i为参考特征值。

在第四种可能的实现方式中，所述输出单元具体用于，

向所述第一终端发送通知信息，所述通知信息包括与所述用户当前语音信号匹配的所述用户情感状态，以使得所述第一终端将所述用户情感状态进行显示处理。

在第五种可能的实现方式中，所述输出单元具体用于，根据所述用户情感状态，显示输出与所述用户情感状态对应的提示信息。

因此，通过应用本发明实施例提供的信号处理的方法与装置，第一终端将麦克风采集的用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，并输出与用户当前语音信号匹配的用户情感状态。解决了现有技术方案中检测遗漏、误判且无法实时呈现双方的情感状态，以使得双方被对方的情感状态造成影响的问题。本发明实施例提供的信号处理的方法与装置，第一终端将用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，降低了检测遗漏、误判的几率；第一终端输出与用户当前语音信号匹配的用户情感状态，第一终端对应的用户根据用户情感状态控制自身的情绪，第二终端的用户根据第一终端输出的用户情感状态，知晓对方情绪并作出通话继续还是结束的决策，提高了用户情感状态呈现的实时性，通话双方均可互相知晓自身和对方的情感状态。

附图说明

图1为本发明实施例一提供的信号处理的方法流程图；

图2为本发明实施例提供的第一终端确定与用户当前语音信号匹配的用户情感状态示意图；

图3为本发明实施例提供的第二终端显示第一终端对应的用户的情感状态图标示意图；

图4为本发明实施例提供的第一终端确定特征区域的特征值示意图；

图5为本发明实施例二提供的信号处理的装置结构示意图；

图6为本发明实施例三提供的信号处理的装置硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

实施例一

下面以图1为例详细说明本发明实施例一提供的信号处理的方法，图1为本发明实施例一提供的信号处理的方法流程图，在本发明实施例中实施主体为第一终端，且第一终端与第二终端已处于语音通信中，其中，第一终端、第二终端可具体为具有视频功能的智能手机、电脑、IP电话或iPAD等等。如图1所示，该实施例具体包括以下步骤：

步骤110、所述第一终端获取麦克风采集的用户当前语音信号，所述麦克风与所述第一终端连接。

具体地，第一终端与第二终端处于语音通信中，第一终端连接的麦克风采集用户当前语音信号，第一终端获取麦克风采集的用户当前语音信号。

第一终端将获取的用户当前语音信号存储在本地缓存。

步骤120、所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态。

具体地，第一终端每隔T时间(例如，1s)从本地缓存中取t(例如，20ms)时长的用户当前语音信号，将用户当前语音信号分别与已存储的多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态。

进一步地，所述多个参考语音信号存储在第一终端的参考数据库中，其中，作为示例而非限定，参考数据库中存储了7个参考语音信号，且每个参考语音信号表征1个用户情感状态。如表1所示。

表1语音信号与情感状态对应表

情感状态	语音信号
		1：高兴	语音1：Y<sub>1</sub>

2：愤怒	语音2：Y<sub>2</sub>
		3：悲伤	语音3：Y<sub>3</sub>
4：厌恶	语音4：Y<sub>4</sub>
		5：恐惧	语音5：Y<sub>5</sub>
6：惊讶	语音6：Y<sub>6</sub>
		7：中性	语音7：Y<sub>7</sub>

如表1所示，每个参考语音信号表征1个用户情感状态。在本发明实施例中，所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态具体包括，如图2所示：

第一终端将用户当前语音信号Y₀与多个参考语音信号(例如：Y₁、Y₂、Y₃、Y₄、Y₅、Y₆、Y₇)分别进行相减处理，得到多个差值语音信号(例如：V₁、V₂、V₃、V₄、V₅、V₆、V₇)，每个差值语音信号与每个参考语音信号所表征的用户情感状态一一对应；第一终端获取多个差值语音信号的能量值。

需要说明的是，麦克风采集的用户当前语音信号Y₀为模拟语音信号，第一终端将用户当前语音信号Y₀与多个参考语音信号分别进行相减处理后，得到的多个差值语音信号也同为模拟语音信号。

所述第一终端获取多个差值语音信号的能量值具体包括：第一终端对得到的多个差值语音信号进行A/D转换，得到多个数字语音信号；第一终端启动计数器，计数器分别统计每个数字语音信号中“1”的个数，计数器统计出的每个数字语音信号中“1”的个数即为差值语音信号的能量值(例如：δ₁、δ₂、δ₃、δ₄、δ₅、δ₆、δ₇)。

例如，第一终端对差值语音信号Y₁进行AD转换，得到第一数字语音信号(011011100110...10...)，计数器统计第一数字语音信号中“1”的个数，即δ₁＝8，差值语音信号Y₁的能量值为8。可以理解的是，第一终端按照前述方式获取其他差值语音信号的能量值，在此不再复述。

在本发明实施例中，差值语音信号的能量值越小，也即是“1”的个数越少，“0”的个数越多。则表示该差值语音信号越接近参考语音信号，也即是差值语音信号越接近参考语音信号所表征的用户情感状态。

第一终端获取多个差值语音信号的能量值后，确定多个能量值中的次小能量值与最小能量值的差值；第一终端判断次小能量值与最小能量值的差值是否大于预设的能量阈值；如果次小能量值与最小能量值的差值大于能量阈值，则第一终端将与能量值最小的差值语音信号匹配的用户情感状态作为与用户当前语音信号匹配的用户情感状态。

例如，预设的能量阈值为β＝30；次小能量值为δ₅＝45，最小能量值为δ₃＝10，则次小能量值与最小能量值的差值为35，次小能量值与最小能量值的差值大于能量阈值，则第一终端将与能量值最小的差值语音信号Y₃匹配的用户情感状态“悲伤”作为与用户当前语音信号匹配的用户情感状态。

步骤130、所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态。

具体地，根据步骤120的处理，第一终端确定用户当前语音信号匹配的用户情感状态，第一终端输出与用户当前语音信号匹配的用户情感状态。

进一步地，所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态具体包括：

在一种实现方式中，第一终端向第二终端发送通知信息，所述通知信息包括与用户当前语音信号匹配的用户情感状态，以使得第二终端将用户情感状态进行显示处理，根据通知信息，使用第二终端的用户可决定是否还与第一终端对应的用户继续通话。可以理解的是，第二终端接收到第一终端发送的通知信息后，从通知信息中获取用户情感状态，第二终端将获取的用户情感状态，显示在第二终端的通讯录中对应的用户前面。例如：第二终端根据用户情感状态，如：“高兴”，生成表示用户情感状态的图标，如“笑脸”，在第一终端对应的用户的名字前添加标识该用户情感状态的图标，该图标可自定义，如图3所示。

在另一种实现方式中，根据用户情感状态，第一终端显示输出与用户情感状态对应的提示信息，所述提示信息用于提醒用户其当前的情感状态，以使得用户平复或者维持当前的情感状态。可以理解的是，第一终端确定用户当前语音信号匹配的用户情感状态后，第一终端可从自身的存储器中获取可以代表用户情感状态心情的桌面图片、或者更新第一终端系统的肤色；如果用户情感状态为“愤怒”或者“恐惧”时，则，此时，第一终端还可通过语音提示信息，提醒用户平复当前情感状态。

需要说明的是，在第一终端与第二终端结束语音通信后，当第一终端对应的用户平复情感状态时，第一终端可再时间T′后，将代表用户的用户情感状态心情的桌面图片、或者第一终端系统的肤色进行更新，并将更新后的用户情感状态发送至第二终端，以使得第二终端对第一终端对应的用户的情感状态图标进行更新。

因此，通过应用本发明实施例提供的信号处理的方法，第一终端将麦克风采集的用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，并输出与用户当前语音信号匹配的用户情感状态。解决了现有技术方案中检测遗漏、误判且无法实时呈现双方的情感状态，以使得双方被对方的情感状态造成影响的问题。本发明实施例提供的信号处理的方法与装置，第一终端将用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，降低了检测遗漏、误判的几率；第一终端输出与用户当前语音信号匹配的用户情感状态，第一终端对应的用户根据用户情感状态控制自身的情绪，第二终端的用户根据第一终端输出的用户情感状态，知晓对方情绪并作出通话继续还是结束的决策，提高了用户情感状态呈现的实时性，通话双方均可互相知晓自身和对方的情感状态。

可选地，在本发明实施例步骤110之后还包括第一终端获取用户当前图像信号，根据用户当前语音信号以及用户当前图像信号一同确定用户情感状态的步骤。通过该步骤，使得第一终端在利用用户当前语音信号的基础上，还结合用户当前图像信号共同确定用户情感状态，更加准确、快速地确定用户情感状态。具体步骤如下：

所述第一终端获取摄像头采集的用户当前图像信号，所述摄像头与所述第一终端连接；

所述第一终端确定所述用户当前图像信号中脸部图像的第一特征区域的第一特征值和第二特征区域的第二特征值；

当所述差值不大于所述能量阈值时，所述第一终端获取与能量值最小的差值语音信号对应的用户情感状态所匹配的第一参考特征区域的第一参考特征值和第二参考特征区域的第二参考特征值，以及与能量值次小的差值语音信号对应的用户情感状态所匹配的第三参考特征区域的第三参考特征值和第四参考特征区域的第四参考特征值；

利用所述最小能量值、所述第一特征值、所述第二特征值、所述第一参考特征值和所述第二参考特征值，所述第一终端确定能量值最小的差值语音信号的第一均方值；

利用所述次小能量值、所述第一特征值、所述第二特征值、所述第三参考特征值和所述第四参考特征值，所述第一终端确定能量值次小的差值语音信号的第二均方值；

当所述第一均方值小于所述第二均方值时，所述第一终端将与能量值最小的差值语音信号对应的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

具体地，第一终端获取麦克风采集的用户当前语音信号后，还获取与第一终端连接的摄像头采集的用户当前图像信号。

在本发明实施例中，第一终端利用现有技术的脸部识别技术将用户当前图像信号中的脸部图像提取出，并将提取出的脸部图像的图像分辨率进行标准格式的转换。在本发明实施例中，第一终端将脸部图像的图像分辨率转换为QCIF格式，其像素为176×144像素。

第一终端确定用户当前图像信号中脸部图像的第一特征区域的第一特征值和第二特征区域的第二特征值，所述第一特征区域具体为脸部图像中用户眉毛、眼睛区域，所述第一特征值具体为用户眉毛、眼睛区域的面积值S，所述第二特征区域具体为脸部图像中用户嘴巴区域，所述第二特征值具体为用户嘴巴区域的面积值S′；

进一步地，第一终端确定第一特征值和第二特征值具体包括：第一终端利用现有技术的脸部识别技术，获取脸部图像中脸部边缘的坐标信息，并将脸部图像所占的区域分为上下两个区域，上部分区域为用户眼睛、眉毛所占区域，下部分区域为用户嘴巴所占区域。

第一终端在上部分区域中分别获取每个像素点的亮度信息Y′和色度信息Cr′、Cb′，获取相邻像素点的亮度信息差值ΔY′，相邻像素点的色度差值ΔCr′、ΔCb′；由于用户的眉毛、眼睛、嘴巴与周边皮肤在亮度和色度上明显不一样，因此，用户的眉毛、眼睛、嘴巴对应的像素点和周边皮肤的像素点之间的亮度信息差值ΔY′，色度差值ΔCr′、ΔCb′较大。第一终端利用现有技术基于局部的锐化能量检测技术，分别确定表征用户眉毛、眼睛的第一特征区域和表征用户嘴巴的第二特征区域，也即是获取第一特征区域、第二特征区域的边界坐标信息。

可以理解的是，第一终端确定的第一特征区域的数量可为1个或两个。在本发明实施例中，以第一终端确定的第一特征区域的数量为1个进行后续说明。

第一终端确定第一特征区域后，第一终端计算第一特征区域所占的面积值S，第一终端利用第一特征区域的边界坐标信息(例如：如图4所示，最高点A点、最低点D点、最左边点B点和最右边点C点对应坐标)，计算第一特征区域的面积值S。所述第一特征区域的面积值S具体通过公式一确定：

S＝(c一b)*(a′一d′) (公式一)

其中，c为最右边点横坐标；b为最左边点横坐标；a′为最高点纵坐标；d′为最低点纵坐标。

同理，第一终端利用公式一计算第二特征区域的面积值S′，在此不再复述。

根据步骤120的判断，第一终端判断次小能量值与最小能量值的差值是否大于预设的能量阈值；如果次小能量值与最小能量值的差值不大于能量阈值，则第一终端获取与能量值最小的差值语音信号对应的用户情感状态所匹配的第一参考特征区域的第一参考特征值和第二参考特征区域的第二参考特征值，以及与能量值次小的差值语音信号对应的用户情感状态所匹配的第三参考特征区域的第三参考特征值和第四参考特征区域的第四参考特征值。

需要说明的是，在本发明实施例中，参考数据库中还存储了与每个用户情感状态一一对应的脸部图像，且每个脸部图像与每个参考语音信号一一对应。其中，作为示例而非限定，参考数据库中存储了7个脸部图像，且每个脸部图像表征1个参考语音信号以及用户情感状态。如表2所示。

表2语音信号、情感状态与脸部图像对应表

情感状态	语音信号	脸部图像
			1：高兴	语音1：Y<sub>1</sub>	图像1(S1，S′1)
2：愤怒	语音2：Y<sub>2</sub>	图像2(S2，S′2)
			3：悲伤	语音3：Y<sub>3</sub>	图像3(S3，S′3)
4：厌恶	语音4：Y<sub>4</sub>	图像4(S4，S′4)
			5：恐惧	语音5：Y<sub>5</sub>	图像5(S5，S′5)
6：惊讶	语音6：Y<sub>6</sub>	图像6(S6，S′6)

7：中性

语音7：Y<sub>7</sub>

图像7(S7，S′7)

如表2所示，每个脸部图像与1个参考语音信号以及用户情感状态对应。在表2中，图像1为“高兴”情感状态的参考图像，其包括的S1为“高兴”情感状态下第一参考特征区域的参考特征值；S′1为“高兴”情感状态下第二参考特征区域的参考特征值。同理，图像2-图像7所包括的特征值不再复述。

可以理解的是，图像1中第一参考特征区域的参考特征值可为1个第一参考特征区域的参考特征值，也可为两个第一参考特征区域的参考特征值之和。在表2中，以第一参考特征区域的参考特征值为1个第一参考特征区域的参考特征值为例进行后续说明。

例如，预设的能量阈值为β＝30；次小能量值为δ₅＝25，最小能量值为δ₃＝10，则次小能量值与最小能量值的差值为15，次小能量值与最小能量值的差值不大于能量阈值，则第一终端获取与能量值最小的差值语音信号Y₃对应的用户情感状态“悲伤”所匹配的图像3中第一参考特征区域的第一参考特征值S3和第二参考特征区域的第二参考特征值S′3，以及与能量值次小的差值语音信号Y₅对应的用户情感状态“恐惧”所匹配的图像5中第三参考特征区域的第三参考特征值S5和第四参考特征区域的第四参考特征值S′5。

第一终端利用最小能量值、第一特征值、第二特征值、第一参考特征值和第二参考特征值，第一终端确定能量值最小的差值语音信号的第一均方值；利用次小能量值、第一特征值、第二特征值、第三参考特征值和第四参考特征值，第一终端确定能量值次小的差值语音信号的第二均方值。

根据前述的例子，第一终端利用最小能量值δ₃、第一特征值S、第二特征值S′、第一参考特征值S3和第二参考特征值S′3确定能量值最小的差值语音信号Y₃的第一均方值Q3。所述第一均方值Q3具体通过公式二确定：

Q＝[(Kδ_i)²+(S-S_i)²+(S′-S′_i)²]^1/2 (公式二)

其中，所述Q为第一均方值；所述K为固定系数；所述δ_i为所述差值语音信号的能量值；所述S、所述S′为特征值；所述S_i、所述S′_i为参考特征值。

同理，第一终端确定能量值次小的差值语音信号Y₅的第二均方值Q5。

第一终端判断第一均方值Q3是否小于第二均方值Q5，如果第一均方值Q3小于第二均方值Q5，则第一终端将与能量值最小的差值语音信号Y₃对应的用户情感状态“悲伤”作为与用户当前语音信号匹配的用户情感状态；如果第二均方值Q5小于第二均方值Q3，则第一终端将与能量值次小的差值语音信号Y₅对应的用户情感状态“恐惧”作为与用户当前语音信号匹配的用户情感状态。

可选地，在本发明实施例步骤110之前还包括第一终端创建参考库的步骤。

第一终端在执行步骤110之前收集多个用户的语音信号和脸部图像特征，进而建立参考库。例如，第一终端收集的用户的语音信号包括用户在愤怒、高兴、悲伤、惊讶、厌恶、恐惧或中性等几种状态下的语音信号和脸部图像(所述脸部图像：用户眉毛、眼睛嘴巴等特征区域的面积)。

需要说明的是，参考库中的脸部图像的图像格式为QCIF，其像素为176×144像素。为减少脸部图像占用的内存，第一终端将脸部图像的特征区域的特征值进行存储后，将原始脸部图像删除。

实施例二

相应地，本发明实施例二还提供了一种信号处理的的装置，用以实现前述实施例一提供的信号处理的方法，如图5所示，所述装置与第一终端处于语音通信中，所述装置包括：第一获取单元510，确定单元520以及输出单元530。

所述装置包括的第一获取单元510，用于获取麦克风采集的用户当前语音信号，所述麦克风与所述装置连接；

确定单元520，用于将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态；

输出单元530，用于输出与所述用户当前语音信号匹配的所述用户情感状态。

所述确定单元520具体用于，将所述用户当前语音信号与多个所述参考语音信号分别进行相减处理，得到多个差值语音信号，每个所述差值语音信号与每个所述参考语音信号所表征的用户情感状态一一对应；

获取多个所述差值语音信号的能量值；

确定多个所述能量值中的次小能量值与最能量值的差值；

当所述差值大于预设的能量阈值时，将与能量值最小的差值语音信号匹配的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

所述装置还包括：第二获取单元540，用于获取摄像头采集的用户当前图像信号，所述摄像头与所述第一终端连接；

所述确定单元520还用于，确定所述用户当前图像信号中脸部图像的第一特征区域的第一特征值和第二特征区域的第二特征值；

所述第二获取单元540还用于，当所述差值不大于所述能量阈值时，获取与能量值最小的差值语音信号对应的用户情感状态所匹配的第一参考特征区域的第一参考特征值和第二参考特征区域的第二参考特征值，以及与能量值次小的差值语音信号对应的用户情感状态所匹配的的第三参考特征区域的第三参考特征值和第四参考特征区域的第四参考特征值；

所述确定单元520还用于，利用所述最小能量值、所述第一特征值、所述第二特征值、所述第一参考特征值和所述第二参考特征值，确定能量值最小的差值语音信号的第一均方值；

所述确定单元520还用于，利用所述次小能量值、所述第一特征值、所述第二特征值、所述第三参考特征值和所述第四参考特征值，确定能量值次小的差值语音信号的第二均方值；

所述确定单元520还用于，当所述第一均方值小于所述第二均方值时，将与能量值最小的差值语音信号对应的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

所述确定单元520确定的所述均方值具体为：

Q＝[(Kδ_i)²+(S-S_i)²+(S′-S′_i)²]^1/2

其中，所述Q为均方值；所述K为固定系数；所述δ_i为所述差值语音信号的能量值；所述S、所述S′为特征值；所述S_i、所述S′_i为参考特征值。

所述输出单元530具体用于，

向所述第一终端发送通知信息，所述通知信息包括与所述用户当前语音信号匹配的所述用户情感状态，以使得所述第一终端将所述用户情感状态进行显示处理。

所述输出单元530具体用于，根据所述用户情感状态，显示输出与所述用户情感状态对应的提示信息。

因此，通过应用本发明实施例提供的信号处理的装置，所述装置将麦克风采集的用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，并输出与用户当前语音信号匹配的用户情感状态。解决了现有技术方案中检测遗漏、误判且无法实时呈现双方的情感状态，以使得双方被对方的情感状态造成影响的问题。本发明实施例提供的信号处理的方法与装置，所述装置将用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，降低了检测遗漏、误判的几率；所述装置输出与用户当前语音信号匹配的用户情感状态，所述装置对应的用户根据用户情感状态控制自身的情绪，第一终端的用户根据第一终端输出的用户情感状态，知晓对方情绪并作出通话继续还是结束的决策，提高了用户情感状态呈现的实时性，通话双方均可互相知晓自身和对方的情感状态。

实施例三

另外，本发明实施例二提供的信号处理的装置还可以采用的实现方式如下，用以实现前述本发明实施例一中的信号处理的方法，如图6所示，所述装置与第一终端处于语音通信中，所述信号处理的装置包括：网络接口610、处理器620和存储器630。系统总线640用于连接网络接口610、处理器620和存储器630。

网络接口610用于与第一终端进行交互通信。

存储器630可以是永久存储器，例如硬盘驱动器和闪存，存储器630用于存储应用程序，所述应用程序包括可用于使处理器620访问并执行如下指令：

获取麦克风采集的用户当前语音信号，所述麦克风与所述装置连接；

将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态；

输出与所述用户当前语音信号匹配的所述用户情感状态。

进一步地，所述存储器630存储的应用程序还包括可用于使所述处理器620执行将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态过程的指令：

将所述用户当前语音信号与多个所述参考语音信号分别进行相减处理，得到多个差值语音信号，每个所述差值语音信号与每个所述参考语音信号所表征的用户情感状态一一对应；

获取多个所述差值语音信号的能量值；

确定多个所述能量值中的次小能量值与最小能量值的差值；

当所述差值大于预设的能量阈值时，将与能量值最小的差值语音信号匹配的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

进一步地，所述存储器630存储的应用程序还包括可用于使所述处理器620执行以下过程的指令：

获取摄像头采集的用户当前图像信号，所述摄像头与所述装置连接；

确定所述用户当前图像信号中脸部图像的第一特征区域的第一特征值和第二特征区域的第二特征值；

当所述差值不大于所述能量阈值时，获取与能量值最小的差值语音信号对应的用户情感状态所匹配的第一参考特征区域的第一参考特征值和第二参考特征区域的第二参考特征值，以及与能量值次小的差值语音信号对应的用户情感状态所匹配的第三参考特征区域的第三参考特征值和第四参考特征区域的第四参考特征值；

利用所述最小能量值、所述第一特征值、所述第二特征值、所述第一参考特征值和所述第二参考特征值，确定能量值最小的差值语音信号的第一均方值；

利用所述次小能量值、所述第一特征值、所述第二特征值、所述第三参考特征值和所述第四参考特征值，确定能量值次小的差值语音信号的第二均方值；

当所述第一均方值小于所述第二均方值时，将与能量值最小的差值语音信号对应的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

进一步地，所述均方值具体为：

Q＝[(Kδ_i)²+(S-S_i)²+(S′-S′_i)²]^1/2

其中，所述Q为均方值；所述K为固定系数；所述δ_i为所述差值语音信号的能量值；所述S、所述S′为特征值；所述S_i、所述S′_i为参考特征值。

进一步地，所述存储器630存储的应用程序还包括可用于使所述处理器620执行输出与所述用户当前语音信号匹配的所述用户情感状态过程的指令：

向所述第一终端发送通知信息，所述通知信息包括与所述用户当前语音信号匹配的所述用户情感状态，以使得所述第一终端将所述用户情感状态进行显示处理。

进一步地，所述存储器630存储的应用程序还包括可用于使所述处理器620执行输出与所述用户当前语音信号匹配的所述用户情感状态过程的指令：

根据所述用户情感状态，显示输出与所述用户情感状态对应的提示信息。

因此，通过应用本发明实施例提供的信号处理的装置，所述装置将麦克风采集的用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，并输出与用户当前语音信号匹配的用户情感状态。解决了现有技术方案中检测遗漏、误判且无法实时呈现双方的情感状态，以使得双方被对方的情感状态造成影响的问题。本发明实施例提供的信号处理的方法与装置，所述装置将用户当前语音信号分别与多个参考语音信号进行比对处理，确定与用户当前语音信号匹配的参考语音信号所表征的用户情感状态，降低了检测遗漏、误判的几率；所述装置输出与用户当前语音信号匹配的用户情感状态，所述装置对应的用户根据用户情感状态控制自身的情绪，第一终端的用户根据第一终端输出的用户情感状态，知晓对方情绪并作出通话继续还是结束的决策，提高了用户情感状态呈现的实时性，通话双方均可互相知晓自身和对方的情感状态。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种信号处理的方法，第一终端与第二终端处于语音通信中，其特征在于，所述方法包括：

所述第一终端获取麦克风采集的用户当前语音信号，所述麦克风与所述第一终端连接；

所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态；

所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态；

其中，所述第一终端将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态具体包括：

所述第一终端将所述用户当前语音信号与多个所述参考语音信号分别进行相减处理，得到多个差值语音信号，每个所述差值语音信号与每个所述参考语音信号所表征的用户情感状态一一对应；

所述第一终端获取多个所述差值语音信号的能量值；

所述第一终端确定多个所述能量值中的次小能量值与最小能量值的差值；

当所述差值大于预设的能量阈值时，所述第一终端将与能量值最小的差值语音信号匹配的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

2.根据权利要求1所述的方法，其特征在于，所述第一终端获取麦克风采集的用户当前语音信号，所述麦克风与所述第一终端连接之后还包括：

所述第一终端获取摄像头采集的用户当前图像信号，所述摄像头与所述第一终端连接；

所述第一终端确定所述用户当前图像信号中脸部图像的第一特征区域的第一特征值和第二特征区域的第二特征值；

当所述差值不大于所述能量阈值时，所述第一终端获取与能量值最小的差值语音信号对应的用户情感状态所匹配的第一参考特征区域的第一参考特征值和第二参考特征区域的第二参考特征值，以及与能量值次小的差值语音信号对应的用户情感状态所匹配的第三参考特征区域的第三参考特征值和第四参考特征区域的第四参考特征值；

利用所述最小能量值、所述第一特征值、所述第二特征值、所述第一参考特征值和所述第二参考特征值，所述第一终端确定能量值最小的差值语音信号的第一均方值；

利用所述次小能量值、所述第一特征值、所述第二特征值、所述第三参考特征值和所述第四参考特征值，所述第一终端确定能量值次小的差值语音信号的第二均方值；

当所述第一均方值小于所述第二均方值时，所述第一终端将与能量值最小的差值语音信号对应的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

3.根据权利要求2所述的方法，其特征在于，所述均方值具体为：

Q＝[(Kδ_i)²+(S-S_i)²+(S'-S_i')²]^1/2

其中，所述Q为均方值；所述K为固定系数；所述δ_i为所述差值语音信号的能量值；所述S和所述S'为特征值；所述S_i和所述S_i'为参考特征值。

4.根据权利要求1所述的方法，其特征在于，所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态具体包括：

所述第一终端向所述第二终端发送通知信息，所述通知信息包括与所述用户当前语音信号匹配的所述用户情感状态，以使得所述第二终端将所述用户情感状态进行显示处理。

5.根据权利要求1所述的方法，其特征在于，所述第一终端输出与所述用户当前语音信号匹配的所述用户情感状态具体包括：

根据所述用户情感状态，所述第一终端显示输出与所述用户情感状态对应的提示信息。

6.一种信号处理的装置，所述装置与第一终端处于语音通信中，其特征在于，所述装置包括：

第一获取单元，用于获取麦克风采集的用户当前语音信号，所述麦克风与所述装置连接；

确定单元，用于将所述用户当前语音信号与所述第一终端已存储的多个参考语音信号分别进行比对处理，确定与所述用户当前语音信号匹配的所述参考语音信号所表征的用户情感状态；

输出单元，用于输出与所述用户当前语音信号匹配的所述用户情感状态；

其中，所述确定单元具体用于，

将所述用户当前语音信号与多个所述参考语音信号分别进行相减处理，得到多个差值语音信号，每个所述差值语音信号与每个所述参考语音信号所表征的用户情感状态一一对应；

获取多个所述差值语音信号的能量值；

确定多个所述能量值中的次小能量值与最小能量值的差值；

当所述差值大于预设的能量阈值时，将与能量值最小的差值语音信号匹配的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：第二获取单元，用于获取摄像头采集的用户当前图像信号，所述摄像头与所述第一终端连接；

所述确定单元还用于，确定所述用户当前图像信号中脸部图像的第一特征区域的第一特征值和第二特征区域的第二特征值；

所述第二获取单元还用于，当所述差值不大于所述能量阈值时，获取与能量值最小的差值语音信号对应的用户情感状态所匹配的第一参考特征区域的第一参考特征值和第二参考特征区域的第二参考特征值，以及与能量值次小的差值语音信号对应的用户情感状态所匹配的第三参考特征区域的第三参考特征值和第四参考特征区域的第四参考特征值；

所述确定单元还用于，利用所述最小能量值、所述第一特征值、所述第二特征值、所述第一参考特征值和所述第二参考特征值，确定能量值最小的差值语音信号的第一均方值；

所述确定单元还用于，利用所述次小能量值、所述第一特征值、所述第二特征值、所述第三参考特征值和所述第四参考特征值，确定能量值次小的差值语音信号的第二均方值；

所述确定单元还用于，当所述第一均方值小于所述第二均方值时，将与能量值最小的差值语音信号对应的用户情感状态作为与所述用户当前语音信号匹配的用户情感状态。

8.根据权利要求7所述的装置，其特征在于，所述确定单元确定的所述均方值具体为：

Q＝[(Kδ_i)²+(S-S_i)²+(S'-S_i')²]^1/2

其中，所述Q为均方值；所述K为固定系数；所述δ_i为所述差值语音信号的能量值；所述S和所述S'为特征值；所述S_i和所述S_i'为参考特征值。

9.根据权利要求6所述的装置，其特征在于，所述输出单元具体用于，

向所述第一终端发送通知信息，所述通知信息包括与所述用户当前语音信号匹配的所述用户情感状态，以使得所述第一终端将所述用户情感状态进行显示处理。

10.根据权利要求6所述的装置，其特征在于，所述输出单元具体用于，根据所述用户情感状态，显示输出与所述用户情感状态对应的提示信息。