CN109872719A - 一种分级式智能语音系统及其语音处理方法 - Google Patents

Abstract

本发明提出一种分级式智能语音系统，包括麦克风阵列、一级语音处理器和二级语音处理器；所述一级语音处理器包括语音预处理装置和第一传输装置，所述二级语音处理器包括语音处理装置和第二传输装置；所述第一传输装置和第二传输装置之间进行数据传输，所述语音预处理装置和所述麦克风阵列相连，用于对所述麦克风阵列获取的音频信号进行预处理后通过所述第一传输装置发送给所述二级语音处理器；所述二级语音处理器用于对所述一级语音处理器发送来的所述音频信号进行处理。可以有效降低终端设备智能语音交互的接入成本。

Description

一种分级式智能语音系统及其语音处理方法

技术领域

本发明涉及多媒体技术领域，尤其涉及一种分级式智能语音系统及其语音处理方法。

背景技术

随着语音人机交互界面的出现，越来越多的产品需要智能语音的交互。而语音处理算法，特别是多麦克风远场处理算法需要的处理能力都各不相同。目前需要远场语音识别处理的机器，都需要在机器本身配置完整的语音采集、预处理、识别和回放功能，这样单个产品的成本或价格会显著增加。所以现有技术下，如果在各个终端产品上都增加完整的智能语音的采集，预处理，识别和音频回放系统的成本会非常高，而且也是一种极大的资源浪费。

发明内容

基于以上问题，本发明提出一种分级式智能语音系统，可以降低终端设备智能语音交互的接入成本。

本发明是这样实现的，一种分级式智能语音系统，包括麦克风阵列、一级语音处理器和二级语音处理器；所述一级语音处理器包括语音预处理装置和第一传输装置，所述二级语音处理器包括语音处理装置和第二传输装置；所述第一传输装置和第二传输装置之间进行数据传输，所述语音预处理装置和所述麦克风阵列相连，用于对所述麦克风阵列获取的音频信号进行预处理后通过所述第一传输装置发送给所述二级语音处理器；所述二级语音处理器用于对所述一级语音处理器发送来的所述音频信号进行处理。

进一步地，所述分级式智能语音系统进一步包括三级语音处理器，所述三级语音处理器包括第三传输装置和云服务器，所述第三传输装置用于与所述二级语音处理器进行远程通信并获取二级语音处理器发送的所述音频信号，所述云服务器包括智能处理器，用于对所述音频信号进行处理。

进一步地，所述麦克风阵列为模拟麦克风阵列或数字麦克风阵列，所述麦克风阵列包括1～8个麦克风。

进一步地，所述第一传输装置和所述第二传输装置为无线传输装置，所述无线传输装置为蓝牙或者WLAN。

进一步地，所述第一传输装置和所述第二传输装置为有线传输装置，所述有线传输装置为电力线通信装置，所述电力线通信装置与市电连接。

进一步地，所述第二传输装置和所述第三传输装置之间通过无线网络进行数据传输。

进一步地，所述一级语音处理器进一步包括：唤醒装置，与所述麦克风阵列连接，用于唤醒所述语音预处理装置和第一传输装置；降噪装置，连接在所述麦克风阵列和所述第一传输装置之间，用于对采集到的所述音频信号进行降噪处理；波束形成装置，与所述麦克风阵列连接，用于加强特定方向的语音采集；回声消除装置，连接在所述降噪装置和所述第一传输装置之间，用于对采集到的所述音频信号进行回声消除处理。

进一步地，所述二级语音处理器进一步包括：唤醒装置，用于唤醒所述语音预处理装置和第一传输装置；降噪装置，用于对采集到的所述音频信号进行降噪处理；波束形成装置，用于加强特定方向的语音采集。

根据本发明实施例的另一方面，本发明实施例还提出一种用于分级式智能语音系统中的语音处理方法，基于上述智能语音系统的语音识别方法，可以有效降低终端设备智能语音交互的接入成本。

本发明实施例是这样实现的，一种用于分级式智能语音系统中的语音识别方法，包括如下步骤：(1)麦克风阵列获取音频信号并发送给一级语音处理器；(2)一级语音处理器经过预处理后将所述音频信号传输至二级语音处理器；(3)二级语音处理器对所述音频信号处理后返回控制信号到所述一级语音处理器。

进一步地，所述步骤(3)进一步包括，(301)所述二级语音处理器将所述音频信号发送三级语音处理器；(302)所述三级语音处理器对所述音频信号进行处理后返回控制信号到所述二级语音处理器；(303)所述二级语音处理器将所述三级语音处理器发送的所述控制信号返回到所述一级语音处理器。

采用上述技术方案，具有以下有益效果：在智能终端上设置一级语音处理器直接对麦克风阵列采集到的音频信号进行预处理后，将信号传给本地二级语音处理器进行识别处理，对于更为复杂的语音信号，如果二级语音处理器无法进行识别，则进一步传送给云端服务器中的处理器进行处理，这种分级式的语音识别处理方案，可以有效的降低终端语音交互的接入成本。

附图说明

图1是根据本发明一个实施例提供的智能语音系统的结构框图；

图2是根据本发明另一实施例提供的智能语音系统的结构框图；

图3是根据本发明另一实施例提供的智能语音系统的结构框图；

图4是根据本发明另一实施例提供的智能语音系统的结构框图；

图5是根据本发明另一实施例提供的语音处理方法的流程图。

图6是根据本发明另一实施例提供的语音处理方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出一种分级式智能语音系统，参考图1，为本发明实施例提出的分级式智能语音系统的结构框图，包括麦克风阵列4、一级语音处理器1和二级语音处理器2；所述一级语音处理器1包括语音预处理装置101和第一传输装置102，所述二级语音处理器2包括语音处理装置201和第二传输装置202；所述第一传输装置102和第二传输装置202之间进行数据传输，所述语音预处理装置101和所述麦克风阵列4相连，用于对所述麦克风阵列4获取的音频信号进行预处理后通过所述第一传输装置102发送给所述二级语音处理器2；所述二级语音处理器2用于对所述一级语音处理器1发送来的所述音频信号进行处理。所述分级式智能语音系统进一步包括三级语音处理器3，所述三级语音处理器3包括第三传输装置302和云服务器301，所述第三传输装置302用于与所述二级语音处理器2进行远程通信并获取二级语音处理器2发送的所述音频信号，所述云服务器301包括智能处理器，用于对所述音频信号进行处理。

根据本发明提供的实施例，一级语音处理器处于整个系统的最前端，与音频信号采集的麦克风阵列形成在一个设备或产品中，二级语音处理器配置在本地，可以是短距离(例如1～10米左右)的通过无线或者有线连接，三级语音处理器一般是云端服务器。根据语音计算量的大小，通常简单的语音处理在本地的二级语音处理器可以完成，可以满足大部分前端设备的语音识别功能应用，但是在本地二级语音处理器仍不能满足运算或处理的情况下，可以利用三级语音处理器进行完成，可以发现，这个流程体现了分级式智能语音系统的特点及优势。所以参考图2，在上述实施例的基础上，本发明实施例提供的分级式智能语音系统可以没有三级语音处理器，也就是没有云服务器，智能语音功能通过二级语音处理器完成。

本发明实施例中，第一传输装置可以是有线的也可以是无线的传输方式，如果是无线传输，可以为蓝牙或者WLAN，如果设置为有线传输装置，可采用电力线通信装置，所述电力线通信装置与市电连接。第二传输装置用于与第一传输装置进行数据传输；语音处理器，用于对进行编码后的音频信号进行语音识别处理，第二传输装置可以是有线的也可以是无线的传输方式，如果是无线传输，可以为蓝牙或者WLAN，如果设置为有线传输装置，可采用电力线通信装置，所述电力线通信装置与市电连接，总之第二传输装置与第一传输装置相匹配。在此基础上，第二传输装置具有网络连接功能，其通过网络连接与三级语音处理器进行连接进行远程通信，网络可以是宽带网络也可以是数据网络。

根据本发明实施例，通常麦克风阵列包括1～8个麦克风，这是标准的远场语音采集的配置，通常状态下一般会使用2个麦克风组成麦克风阵列，在某些安静情况下的只使用1个麦克风也可以。

本发明提供的实施例，为了提供更进一步的高级的语音处理，如图3所示，一级语音处理器1进一步包括唤醒装置105，与所述麦克风阵列4连接，用于唤醒所述一级语音预处理装置101和第一传输装置102。所述一级语音处理器1进一步包括降噪装置106，连接在所述麦克风阵列4和所述第一传输装置之间102，用于对采集到的所述音频信号进行降噪处理。所述一级语音处理器1进一步包括波束形成装置104，与所述麦克风阵列4连接，用于麦克风阵列4加强特定方向的语音采集。所述一级语音处理器1进一步包括回声消除装置103，连接在所述降噪装置106和所述语音预处理装置101之间，用于对采集到的所述音频信号进行回声消除处理。上述唤醒装置用于麦克风阵列采集的语音信号，根据能量，或人声的特征(过零点检测，频谱分析等)，确定开启语音唤醒的算法，对比输入的语音和之前大批量训练序列的最大似然算法，确定语音输入是否为唤醒词，如果是则开启后续处理。上述波束形成装置104，用于对有多麦克语音输入时候的各麦克的语音数据的时延和相位差，来判断声音信号相对麦克阵列的输入方向，并依据此信息，确定降噪装置的参数。上述降噪装置106，根据波束形成算法的降噪参数，或预定的降噪方向图曲线，对不同方向上的信号做加强或减弱，突出最近一次方向上的信号强度。同时根据人声和环境音(周期噪声，音乐)的频谱差异，和时域相关性的差异，对信号做频域或时域的处理，将人声从背景音，或噪声中提取和加强出来。上述回声消除装置103，当回放模块存在时，从回放解码出来的数据，加上预定，或预测的传递函数的处理，在麦克采集的数据中将喇叭放出的声音的反射部分消除掉，得到无回声的干净人声。

可以理解，为了实现分级处理，参考图4，当一级语音预处理装置不适于进行上述处理时，可以将唤醒装置205、降噪装置203、波束形成装置设置204在二级语音处理器2中，降低语音预处理装置101的运算量。

本发明提供另一实施例，本发明实施例提出一种用于分级式智能语音系统中的语音处理方法，在上述实施例中的分级式智能语音系统中实现语音处理的方法，参考图5，包括如下步骤:(S101)麦克风阵列获取音频信号并发送给一级语音处理器；(S102)一级语音处理器经过预处理后将所述音频信号传输至二级语音处理器；(S103)二级语音处理器对所述音频信号处理后返回控制信号到所述一级语音处理器。可以理解，本发明实施例使用二级语音处理器完成语音处理过程，所有语音处理在本地即可完成。

本发明提供另一实施例，当本地二级语音处理器已无法完成语音识别处理的要求时，需要进一步使用云服务器的语音识别功能，参考图6，包括如下步骤:(S201)麦克风阵列获取音频信号并发送给一级语音处理器；(S202)一级语音处理器经过预处理后将所述音频信号传输至二级语音处理器；(S203)所述二级语音处理器将所述音频信号发送三级语音处理器；(S204)所述三级语音处理器对所述音频信号进行处理后返回控制信号到所述二级语音处理器；(S205)所述二级语音处理器将所述三级语音处理器发送的所述控制信号返回到所述一级语音处理器。

下面以家用电器环境中的几个实例对上述分级式智能语音架构的电路结构和流程进行进一步的说明。

以家用空调为例，按照房间三室一厅的标准来配置空调，一般三个卧室会分别安装一台壁挂式空调，主卧安装一台立柜式空调，通常来说壁挂式空调的价格会远低于客厅使用的立柜式空调。为了实现远场语音对空调的控制，卧室中的空调可以定义为上述的前端设备，在每台卧室空调上设置麦克风阵列和一级语音处理器，在立柜机式空调的第二空调上设置二级语音处理器，当然可以理解，立柜式空调上同样也配置了阵列麦克风和一级语音处理器，这样的配置使得卧室的空调只需配置语音采集所有的麦克风以及简单的一级语音处理器即可。而进行语音识别算法和处理的处理器是设置在立柜式空调中，这样在一个三室一厅的房间中，在卧室的壁挂式空调中无需设置高性能语音处理器，只需配置简单的语音采集，将采集到的数据传输到立柜式空调，使用立柜式空调上的二级语音处理器完成语音处理，然后返回控制指令到壁挂式空调，这样，整个4台空调仅仅需要一个高性能的二级语音处理器即可实现全屋房间空调的远场语音功能。当需要进行复杂的语音计算时，空调厂家可以设置云服务器配置三级语音处理器，由二级语音处理器与三级语音处理器进行远程通信连接，将算法交由云服务器进行处理。

以电视机/机顶盒为例，在家用使用时，将一级语音处理器和麦克风阵列作为一个独立的装置放置在比如沙发或者茶几上，置于一个离用户较近的距离上，当然也可以放置在例如电视或者机顶盒的旁边；由于智能电视/机顶盒中本身就具有传输和高性能处理器，可以作就是本发明实例中的二级语音处理器。在具体使用时，麦克风阵列可以随时采集用户发出的语音指令，并通过语音预处理后发送到电视机，电视机/机顶盒的处理器具有将强的数据处理能力，电视机对语音指令进行识别处理后直接对电视机进行控制，以达到用户的目的。当需要进行复杂的语音计算时，电视机/机顶盒厂家可以设置云服务器配置三级语音服务器，由二级语音处理器与三级语音处理器进行远程通信连接，将算法交由云服务器进行处理。

以蓝牙音箱为例，手机中的音乐通过蓝牙传输到蓝牙音箱通过解码后输出到喇叭进行播放；蓝牙音箱配置一级语音处理器和麦克风阵列，音箱识别到语音信号后，进行预处理后通过蓝牙发送到手机，由手机的语音处理器，也就是本发明实施例提到的二级语音处理器进行处理，并反馈控制信号给音箱，这里手机中的语音处理器可以是手机本身的处理器，由于手机中本身的处理器具有较强性能的语音处理能力，这样的处理方法并不会增加任何成本，即可实现蓝牙音箱的远场语音处理功能。

上述具体应用实例仅为举例说明，通常家用智能路由器或者其他智能产品都可以实现该功能。

本发明实施例提出一种应用于家庭的智能语音系统的分级式计算的系统架构的解决方案，可以降低终端设备语音识别的接入成本。把语音采集和一部分的语音预处理分离出来，可以在多个智能语音设备的系统中有效的降低产品在终端产品上的成本增加。降低单台语音处理设备的智能语音的成本增加，特别是多麦克语音处理的平台，系统性降低多个智能语音设备的使用成本。更重要的是针对智能语音的使用场景的进行了分级式算法的分割。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种分级式智能语音系统，其特征在于，包括麦克风阵列、一级语音处理器和二级语音处理器；所述一级语音处理器包括语音预处理装置和第一传输装置，所述二级语音处理器包括语音处理装置和第二传输装置；所述第一传输装置和第二传输装置之间进行数据传输，所述语音预处理装置和所述麦克风阵列相连，用于对所述麦克风阵列获取的音频信号进行预处理后通过所述第一传输装置发送给所述二级语音处理器；所述二级语音处理器用于对所述一级语音处理器发送来的所述音频信号进行处理。

2.根据权利要求1所述的分级式智能语音系统，其特征在于，所述分级式智能语音系统进一步包括三级语音处理器，所述三级语音处理器包括第三传输装置和云服务器，所述第三传输装置用于与所述二级语音处理器进行远程通信并获取二级语音处理器发送的所述音频信号，所述云服务器包括智能处理器，用于对所述音频信号进行处理。

3.根据权利要求1所述的分级式智能语音系统，其特征在于，所述麦克风阵列为模拟麦克风阵列或数字麦克风阵列，所述麦克风阵列包括1～8个麦克风。

4.根据权利要求3所述的分级式智能语音系统，所述第一传输装置和所述第二传输装置为无线传输装置，所述无线传输装置为蓝牙或者WLAN。

5.根据权利要求3所述的分级式智能语音系统，所述第一传输装置和所述第二传输装置为有线传输装置，所述有线传输装置为电力线通信装置，所述电力线通信装置与市电连接。

6.根据权利要求3所述的分级式智能语音系统，所述第二传输装置和所述第三传输装置之间通过无线网络进行数据传输。

7.根据权利要求4～6任一所述的分级式智能语音系统，所述一级语音处理器进一步包括：

唤醒装置，与所述麦克风阵列连接，用于唤醒所述语音预处理装置和第一传输装置；

降噪装置，连接在所述麦克风阵列和所述第一传输装置之间，用于对采集到的所述音频信号进行降噪处理；

波束形成装置，与所述麦克风阵列连接，用于加强特定方向的语音采集；

回声消除装置，连接在所述降噪装置和所述第一传输装置之间，用于对采集到的所述音频信号进行回声消除处理。

8.根据权利要求4～6任一所述的分级式智能语音系统，所述二级语音处理器进一步包括：

唤醒装置，用于唤醒所述语音预处理装置和第一传输装置；

降噪装置，用于对采集到的所述音频信号进行降噪处理；

波束形成装置，用于加强特定方向的语音采集。

9.一种用于分级式智能语音系统中的语音处理方法，其特征在于，包括如下步骤：

(1)麦克风阵列获取音频信号并发送给一级语音处理器；

(2)一级语音处理器经过预处理后将所述音频信号传输至二级语音处理器；

(3)二级语音处理器对所述音频信号处理后返回控制信号到所述一级语音处理器。

10.根据权利要求9所述的语音处理方法，其特征在于，所述步骤(3)进一步包括，

(301)所述二级语音处理器将所述音频信号发送三级语音处理器；

(302)所述三级语音处理器对所述音频信号进行处理后返回控制信号到所述二级语音处理器；

(303)所述二级语音处理器将所述三级语音处理器发送的所述控制信号返回到所述一级语音处理器。