CN104780091A - 一种具有语音音频处理功能的即时通信方法和系统 - Google Patents

Abstract

本发明提供一种具有语音音频处理功能的即时通信方法和系统，方法包括以下步骤：接收原始语音信号，并将原始语音信号实时存入缓存中；读取已设定的音频处理参数，根据音频处理参数，实时从缓存中读取所述原始语音信号，并对原始语音信号进行音频处理，得到处理后的语音信号；对处理后的语音信号进行编码压缩处理，然后，通过即时通信网络，将编码压缩后的语音信号发送到即时通信接收端。以语音即时通信作为基础，通过使用语音音频处理技术，将单纯发送语音原声的语音即时通信服务改变为可以使用户方便进行语音音频处理的语音即时通信服务，从而提高用户体验；还具有结构简单、操作方便、容易的优点，具有很好的推广应用前景。

Description

一种具有语音音频处理功能的即时通信方法和系统

技术领域

本发明属于即时通信技术领域，具体涉及一种具有语音音频处理功能的即时通信方法和系统。

背景技术

随着互联网的发展以及即时通信软件产品的普及，使用即时通信软件产品进行语音聊天、语音消息留言已经成为越来越受欢迎的通信和沟通方式。随着移动通信网络及其相关技术的快速发展，移动通信终端也在迅速普及、其功能得到不断增强，很多即时通信系统均已开发出适用于移动通信终端的客户端软件，从而方便用户随时随地通过移动通信网络使用即时通信服务，包括语音即时通信服务。

但是，目前流行的即时通信服务中，只是单纯对语音原声进行记录与发送，也就是说，用户在使用这些服务时，只能录制和发送自己的语音原声。该种方式主要存在以下不足：一方面，所传输的语音消息效果单一，另一方面，在用户录制语音原声时，会同时录制环境噪声，从而降低了接收端用户体验。

发明内容

为解决上述问题，本发明提供一种具有语音音频处理功能的即时通信方法和系统，融合即时通信服务和语音音频处理服务，提升了用户体验。

本发明采用的技术方案如下：

本发明提供一种具有语音音频处理功能的即时通信方法，包括以下步骤：

S1，接收原始语音信号，并将所述原始语音信号实时存入缓存中；

S2，读取已设定的音频处理参数，根据所述音频处理参数，实时从所述缓存中读取所述原始语音信号，并对所述原始语音信号进行音频处理，得到处理后的语音信号；

S3，对所述处理后的语音信号进行编码压缩处理，然后，通过即时通信网络，将编码压缩后的语音信号发送到即时通信接收端。

优选的，S2中，所述音频处理参数包括：音调调整参数、节拍节奏调整参数和特殊效果改变参数。

优选的，S2中，对所述原始语音信号进行音频处理，得到处理后的语音信号，具体为：

根据所设定的音频处理参数，调整所述原始语音信号的音调和/或调整所述原始语音信号的节奏节拍和/或对所述原始语音信号进行特殊效果处理，从而得到处理后的语音信号。

优选的，调整所述原始语音信号的音调具体为：

通过基频放缩方式对所述原始语音信号进行处理，具体为：对所述原始语音信号进行分帧、快速离散傅里叶变换、频率缩放以及相位合成、逆快速离散傅里叶变换和迭接相加操作，进而得到被改变音调的语音信号。

优选的，调整所述原始语音信号的节奏节拍具体为：

通过改变所述原始语音信号的节拍节奏时长的方式调整所述原始语音信号，具体为：对所述原始语音信号进行分帧，在部分或全部帧片段后插入或删除至少一段信息单元，进而得到延长或缩短音频时长的语音信号。

优选的，对所述原始语音信号进行特殊效果处理具体为：

通过音频同步剪辑方法，向所述原始语音信号中加入背景环境音、起始音效和/或结束音效，得到处理后的语音信号；和/或

对所述原始语音信号进行滤波处理，过滤掉背景噪音，得到处理后的语音信号。

本发明还提供一种具有语音音频处理功能的即时通信系统，包括：

音频接收模块、音频参数设定\选择界面模块、音频处理模块、音频编码压缩模块以及即时通信网络模块；其中，所述音频接收模块包括音频捕获子模块和音频缓存子模块；

所述音频捕获子模块用于捕获原始语音信号；

所述音频缓存子模块用于缓存所述音频捕获子模块所捕获到的原始语音信号；

所述音频参数设定\选择界面模块可提供供用户进行友好设定\选择音频处理参数的软件图形界面，用于接收所设定的音频处理参数；

所述音频处理模块用于：读取已设定的音频处理参数，根据所述音频处理参数，实时从所述音频缓存子模块中读取所述原始语音信号，并对所述原始语音信号进行音频处理，得到处理后的语音信号；

所述音频编码压缩模块用于对所述音频处理模块处理后的语音信号进行编码压缩处理；

所述即时通信网络模块用于：通过即时通信网络，将编码压缩后的语音信号发送到即时通信接收端。

优选的，所述音频处理模块包括：音调调整子模块、节拍节奏调整子模块和特殊效果改变子模块；

所述音调调整子模块用于：调整所述原始语音信号的音调；具体为：通过基频放缩方式对所述原始语音信号进行处理，更具体为：对所述原始语音信号进行分帧、快速离散傅里叶变换、频率缩放以及向位合成、逆快速离散傅里叶变换和迭接相加操作，进而得到被改变音调的语音信号；

所述节拍节奏调整子模块用于：调整所述原始语音信号的节奏节拍；具体为：通过改变所述原始语音信号的节拍节奏时长的方式调整所述原始语音信号，更具体为：对所述原始语音信号进行分帧，在部分或全部帧片段后插入或删除至少一段信息单元，进而得到延长或缩短音频时长的语音信号；

所述特殊效果改变子模块用于：对所述原始语音信号进行特殊效果处理；具体为：通过音频同步剪辑方法，向所述原始语音信号中加入背景环境音、起始音效和/或结束音效，得到处理后的语音信号；和/或对所述原始语音信号进行滤波处理，过滤掉背景噪音，得到处理后的语音信号。

优选的，所述音频编码压缩模块包括音频数据编码子模块和音频数据压缩子模块。

优选的，所述即时通信网络模块包括数据接收子模块和数据发送子模块。

本发明的有益效果如下：

本发明提供的具有语音音频处理功能的即时通信方法和系统，以语音即时通信作为基础，通过使用语音音频处理技术，将单纯发送语音原声的语音即时通信服务改变为可以使用户方便进行语音音频处理的语音即时通信服务，即其同时具有语音即时通信功能和语音音频处理功能，从而提高用户体验；另外还可以使用户根据需求选择预设的语音效果，具有结构简单、操作方便、容易的优点，具有很好的推广应用前景。

附图说明

图1为本发明提供的具有语音音频处理功能的即时通信方法的流程示意图；

图2为本发明提供的具有语音音频处理功能的即时通信系统的结构示意图。

具体实施方式

以下结合附图对本发明进行详细说明：

如图1所示，本发明提供一种具有语音音频处理功能的即时通信方法，包括以下步骤：

S1，接收原始语音信号，并将所述原始语音信号实时存入缓存中；

S2，读取已设定的音频处理参数，音频处理参数包括但不限于：音调调整参数、节拍节奏调整参数和特殊效果改变参数。然后，根据所述音频处理参数，实时从所述缓存中读取所述原始语音信号，并对所述原始语音信号进行音频处理，得到处理后的语音信号；

本步骤中，对原始语音信号进行音频处理，包括但不限于以下三种处理方式：

（1）调整原始语音信号的音调

具体方法为：通过基频放缩方式对所述原始语音信号进行处理，具体为：对所述原始语音信号进行分帧、快速离散傅里叶变换、频率缩放以及相位合成、逆快速离散傅里叶变换和迭接相加操作，进而得到被改变音调的语音信号。

（2）调整所述原始语音信号的节奏节拍

具体方法为：通过改变所述原始语音信号的节拍节奏时长的方式调整所述原始语音信号，具体为：对所述原始语音信号进行分帧，在部分或全部帧片段后插入或删除至少一段信息单元，进而得到延长或缩短音频时长的语音信号。

（3）对原始语音信号进行特殊效果处理

具体方法为：通过音频同步剪辑方法，向所述原始语音信号中加入背景环境音、起始音效和/或结束音效，得到处理后的语音信号；和/或对原始语音信号进行滤波处理，过滤掉背景噪音，得到处理后的语音信号。

S3，对所述处理后的语音信号进行编码压缩处理，然后，通过即时通信网络，将编码压缩后的语音信号发送到即时通信接收端。

如图2所示，本发明还提供一种具有语音音频处理功能的即时通信系统，包括：

音频接收模块、音频参数设定\选择界面模块、音频处理模块、音频编码压缩模块以及即时通信网络模块；其中，所述音频接收模块包括音频捕获子模块和音频缓存子模块；音频接收模块、音频参数设定\选择界面模块分别连接至音频处理模块上；音频处理模块、音频编码压缩模块以及即时通信网络模块依次连接。

所述音频捕获子模块用于捕获原始语音信号；具体实现上，音频捕获子模块可通过智能手机与各种移动终端设备提供的开发库以及语音功能模块对接，或者，与各种移动终端设备提供的数字音频采样硬件模块和系统音频服务层提供的API对接，达到快速准确捕获接收用户语音数据的目的；

所述音频缓存子模块用于缓存所述音频捕获子模块所捕获到的原始语音信号，可以通过I/O系统API将捕获到的原始语音信号存储于存储器中，视硬件特性而定可选择内部或外部存储器中，便于后续过程使用。

所述音频参数设定\选择界面模块可提供供用户进行友好设定\选择音频处理参数的软件图形界面，用于接收所设定的音频处理参数；该模块中用户或应用层程序通过选择或指定一系列音频处理所需参数，并将其存储于内部存储器中，便于后续过程使用。

所述音频处理模块用于：读取已设定的音频处理参数，根据所述音频处理参数，实时从所述音频缓存子模块中读取所述原始语音信号，并对所述原始语音信号进行音频处理，得到处理后的语音信号；然后，可将处理后的语音信号存储于存储器中，后续音频编码压缩模块可从存储器中分块读取处理后的语音信号，通过相关编码压缩算法生成压缩数据，并将编码压缩后的数据放入即时通信网络模块发送队列中，进行网络传输。当然，音频处理模块处理后的语音信号也可以不进行存储，直接传输到音频编码压缩模块进行后续处理。

音频处理模块包括以下子模块：音调调整子模块、节拍节奏调整子模块和特殊效果改变子模块；其中，音调调整子模块用于：调整所述原始语音信号的音调；具体为：通过基频放缩方式对所述原始语音信号进行处理，更具体为：对所述原始语音信号进行分帧、快速离散傅里叶变换、频率缩放以及向位合成、逆快速离散傅里叶变换和迭接相加操作，进而得到被改变音调的语音信号；节拍节奏调整子模块用于：调整所述原始语音信号的节奏节拍；具体为：通过改变所述原始语音信号的节拍节奏时长的方式调整所述原始语音信号，更具体为：对所述原始语音信号进行分帧，在部分或全部帧片段后插入或删除至少一段信息单元，进而得到延长或缩短音频时长的语音信号；特殊效果改变子模块用于：对所述原始语音信号进行特殊效果处理；具体为：通过音频同步剪辑方法，向所述原始语音信号中加入背景环境音、起始音效和/或结束音效，得到处理后的语音信号；和/或对所述原始语音信号进行滤波处理，过滤掉背景噪音，得到处理后的语音信号。

所述音频编码压缩模块用于对所述音频处理模块处理后的语音信号进行编码压缩处理；具体包括：音频数据编码子模块和音频数据压缩子模块。其中，，音频数据编码子模块对音频处理模块处理后的音频数据进行编码；音频数据压缩子模块对编码后的音频数据进行压缩。

所述即时通信网络模块用于：通过即时通信网络，将编码压缩后的语音信号发送到即时通信接收端。具体包括：数据接收子模块和数据发送子模块，用于对音频处理模块处理后的音频数据进行网络传输。

该具有语音音频处理功能的即时通信系统，工作过程具体为：通过音频接收模块进行音频录制，在录制过程中对语音片段缓存，然后根据用户使用音频参数设定\选择界面模块选择或设定的音频处理参数，通过音频处理模块进行相应处理，如：变调、修改节拍节奏时长等，之后通过音频编码压缩模块对处理后的语音片段缓存数据进行压缩编码并进行存储；当音频数据处理并存储完成后，通过即时通信网络模块进行传输。

综上所述，本发明提供的具有语音音频处理功能的即时通信方法和系统，以语音即时通信作为基础，通过使用语音音频处理技术，将单纯发送语音原声的语音即时通信服务改变为可以使用户方便进行语音音频处理的语音即时通信服务，即其同时具有语音即时通信功能和语音音频处理功能，用户既可以通过语音即时通信功能发送语音原声消息，同时，因本发明具有语音音频处理功能，所以，又具有在发送语音消息的同时进行语音音频处理的功能，如改变语音的音调、节奏节拍及特殊效果等，从而提高用户体验；另外还可以使用户根据需求选择预设的语音效果，具有结构简单、操作方便、容易的优点，具有很好的推广应用前景。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种具有语音音频处理功能的即时通信方法，其特征在于，包括以下步骤：

S1，接收原始语音信号，并将所述原始语音信号实时存入缓存中；

S2，读取已设定的音频处理参数，根据所述音频处理参数，实时从所述缓存中读取所述原始语音信号，并对所述原始语音信号进行音频处理，得到处理后的语音信号；

S3，对所述处理后的语音信号进行编码压缩处理，然后，通过即时通信网络，将编码压缩后的语音信号发送到即时通信接收端。

2.根据权利要求1所述的具有语音音频处理功能的即时通信方法，其特征在于，S2中，所述音频处理参数包括：音调调整参数、节拍节奏调整参数和特殊效果改变参数。

3.根据权利要求2所述的具有语音音频处理功能的即时通信方法，其特征在于，S2中，对所述原始语音信号进行音频处理，得到处理后的语音信号，具体为：

根据所设定的音频处理参数，调整所述原始语音信号的音调和/或调整所述原始语音信号的节奏节拍和/或对所述原始语音信号进行特殊效果处理，从而得到处理后的语音信号。

4.根据权利要求3所述的具有语音音频处理功能的即时通信方法，其特征在于，调整所述原始语音信号的音调具体为：

通过基频放缩方式对所述原始语音信号进行处理，具体为：对所述原始语音信号进行分帧、快速离散傅里叶变换、频率缩放以及相位合成、逆快速离散傅里叶变换和迭接相加操作，进而得到被改变音调的语音信号。

5.根据权利要求3所述的具有语音音频处理功能的即时通信方法，其特征在于，调整所述原始语音信号的节奏节拍具体为：

通过改变所述原始语音信号的节拍节奏时长的方式调整所述原始语音信号，具体为：对所述原始语音信号进行分帧，在部分或全部帧片段后插入或删除至少一段信息单元，进而得到延长或缩短音频时长的语音信号。

6.根据权利要求3所述的具有语音音频处理功能的即时通信方法，其特征在于，对所述原始语音信号进行特殊效果处理具体为：

通过音频同步剪辑方法，向所述原始语音信号中加入背景环境音、起始音效和/或结束音效，得到处理后的语音信号；和/或

对所述原始语音信号进行滤波处理，过滤掉背景噪音，得到处理后的语音信号。

7.一种具有语音音频处理功能的即时通信系统，其特征在于，包括：

音频接收模块、音频参数设定\选择界面模块、音频处理模块、音频编码压缩模块以及即时通信网络模块；其中，所述音频接收模块包括音频捕获子模块和音频缓存子模块；

所述音频捕获子模块用于捕获原始语音信号；

所述音频缓存子模块用于缓存所述音频捕获子模块所捕获到的原始语音信号；

所述音频参数设定\选择界面模块可提供供用户进行友好设定\选择音频处理参数的软件图形界面，用于接收所设定的音频处理参数；

所述音频处理模块用于：读取已设定的音频处理参数，根据所述音频处理参数，实时从所述音频缓存子模块中读取所述原始语音信号，并对所述原始语音信号进行音频处理，得到处理后的语音信号；

所述音频编码压缩模块用于对所述音频处理模块处理后的语音信号进行编码压缩处理；

所述即时通信网络模块用于：通过即时通信网络，将编码压缩后的语音信号发送到即时通信接收端。

8.根据权利要求7所述的具有语音音频处理功能的即时通信系统，其特征在于，所述音频处理模块包括：音调调整子模块、节拍节奏调整子模块和特殊效果改变子模块；

所述音调调整子模块用于：调整所述原始语音信号的音调；具体为：通过基频放缩方式对所述原始语音信号进行处理，更具体为：对所述原始语音信号进行分帧、快速离散傅里叶变换、频率缩放以及向位合成、逆快速离散傅里叶变换和迭接相加操作，进而得到被改变音调的语音信号；

所述节拍节奏调整子模块用于：调整所述原始语音信号的节奏节拍；具体为：通过改变所述原始语音信号的节拍节奏时长的方式调整所述原始语音信号，更具体为：对所述原始语音信号进行分帧，在部分或全部帧片段后插入或删除至少一段信息单元，进而得到延长或缩短音频时长的语音信号；

所述特殊效果改变子模块用于：对所述原始语音信号进行特殊效果处理；具体为：通过音频同步剪辑方法，向所述原始语音信号中加入背景环境音、起始音效和/或结束音效，得到处理后的语音信号；和/或对所述原始语音信号进行滤波处理，过滤掉背景噪音，得到处理后的语音信号。

9.根据权利要求7所述的具有语音音频处理功能的即时通信系统，其特征在于，所述音频编码压缩模块包括音频数据编码子模块和音频数据压缩子模块。

10.根据权利要求7所述的具有语音音频处理功能的即时通信系统，其特征在于，所述即时通信网络模块包括数据接收子模块和数据发送子模块。