CN113411698B - 音频信号处理方法及智能音箱 - Google Patents

Abstract

本发明公开一种音频信号处理方法及智能音箱，该智能音箱包括壳体及设置于壳体内的扬声器、骨传导传感器及修正麦克风，音频信号处理方法包括以下步骤：获取骨传导传感器接收到的第一音频信号以及修正麦克风接收到的第二音频信号；根据第一音频信号及第二音频信号确定扬声器当前播放的音频信号；根据扬声器当前播放的音频信号，对输出至扬声器的待播放音频信号进行动态调节。本发明提高了智能音箱的音频播放和语音通话质量。

Description

音频信号处理方法及智能音箱

技术领域

本发明涉及音箱技术领域，特别涉及一种音频信号处理方法及智能音箱。

背景技术

近年智能音箱产品快速发展，随着智能家居产品增多，5G通信快速发展，智能音箱作为物联网的重要人机交互入口，在未来具有巨大的发展潜力和市场需求，其使用场景也越来越广泛，例如音乐聆听，语音通话等。但现有智能音响实现优质音乐播放的能力和清晰的语音通话能力较低，不利于智能音箱的应用和推广。

发明内容

本发明的主要目的是提出一种音频信号处理方法及智能音箱，旨在提高智能音箱的音频播放和语音通话质量。

为实现上述目的，本发明提出一种音频信号处理方法，所述音频信号处理方法应用于智能音箱，所述智能音箱包括壳体及设置于壳体内的扬声器、骨传导传感器及修正麦克风，所述音频信号处理方法包括以下步骤：

获取骨传导传感器接收到的第一音频信号以及修正麦克风接收到的第二音频信号；

根据所述第一音频信号及所述第二音频信号确定扬声器当前播放的音频信号；

根据所述扬声器当前播放的音频信号，对输出至所述扬声器的待播放音频信号进行动态调节。

可选地，所述智能音箱还包括麦克风阵列；

在所述获取骨传导传感器接收到的第一音频信号以及麦克风接收到的第二音频信号的步骤之后，所述音频信号处理方法还包括：

获取麦克风阵列接收到的第三音频信号；以及，

将所述第一音频信号、所述第二音频信号以及所述第三音频信号进行回音消除处理，以获得待发送语音信号。

可选地，所述将所述第一音频信号、所述第二音频信号以及所述第三音频信号进行回音消除处理，以获得当前通话语音信号的步骤具体包括：

根据所述第一音频信号及所述第二音频信号得到扬声器播放的语音信号；

根据所述扬声器播放的语音信号确定所述智能音箱接收到的语音信号；以及，

滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号。

可选地，在确定所述智能音箱工作于语音通话模式时，所述滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号的步骤之后还包括：

对所述待发送语音信号进行信号处理后，输出至外部终端。

可选地，所述智能音箱具有音频播放模式及语音通话模式；

在所述获取骨传导传感器接收到的第一音频信号以及修正麦克风接收到的第二音频信号的步骤之前，所述音频信号处理方法的步骤还包括：

获取所述智能音箱的当前工作模式；

在所述智能音箱工作于音频播放模式时，接收外部终端输出的音频信号，并对所述音频信号进行信号处理后，输出至所述扬声器，以进行音频播放；

在所述智能音箱工作于语音通话模式时，接收外部终端输出的语音信号，并对所述语音信号进行信号处理后输出至所述扬声器，以进行语音播放。

本发明还提出一种音频信号处理方法，所述音频信号处理方法应用于智能音箱，所述智能音箱包括壳体及设置于壳体内的扬声器、麦克风阵列、骨传导传感器及修正麦克风，所述音频信号处理方法包括以下步骤：

获取骨传导传感器接收到的第一音频信号、修正麦克风接收到的第二音频信号，以及麦克风整列接收到的第三音频信号；

将所述第一音频信号、所述第二音频信号以及所述第三音频信号进行回音消除处理，以获得待发送语音信号。

可选地，所述将所述第一音频信号、所述第二音频信号以及所述第三音频信号进行回音消除处理，以获得当前通话语音信号的步骤具体包括：

根据所述第一音频信号及所述第二音频信号得到扬声器当前播放的语音信号；

根据所述扬声器播放的语音信号确定所述智能音箱接收到的语音信号；以及，

滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号。

本发明还提出一种智能音箱，所述智能音箱包括：存储器、处理器；其中，所述存储器上存储有音频信号处理方法，所述音频信号处理方法被所述处理器执行时实现如上所述的音频信号处理方法的步骤；

和/或，所述音频信号处理方法被所述处理器执行时实现如权利要求6或7所述的音频信号处理方法的步骤。

可选地，所述智能音箱还包括：

壳体及设置于壳体内的扬声器，所述壳体上设置有扬声器出音孔及麦克风拾音孔，所述扬声器的前腔朝向所述扬声器出音孔；

骨传导传感器，设置于壳体内，用以接收第一音频信号；

修正麦克风，所述麦克风拾音孔朝向所述扬声器后腔，用以接收扬声器播放的音频信号，以获得第二音频信号；

麦克风阵列，所述麦克风整列与所述麦克风拾音孔连通，用以接收第三音频信号。

可选地，所述智能音箱还包括：

主控板，设置于所述壳体内，且与所述壳体固定连接；

所述骨传导传感器、修正麦克风及所述麦克风阵列均设置于所述主控板上，所述扬声器与所述主控板电连接；其中，

所述骨传导传感器通过所述主控板和/或所述壳体接收所述扬声器播放的音频信号，以获得所述第一音频信号。

本发明通过在音箱内部使用骨传导传感器拾取产品本身发出的低频声音，与修正麦克风拾取的高频信号相结合，能够得到产品内部全频段的声音信号，该信号无外部杂音干扰，将该信号作为参考信号用于调节音箱的输出，能够对音箱全频段输出进行动态调节，增大音频输出动态调节范围，大幅度音箱提高低频性能。本发明可以获取扬声器播放的音频信号，动态跟踪扬声器的状态并感知其所处环境的变化，在适应后给出改变，为智能音箱带来更高的音量、更浑厚的低音与更出色的音质。本发明修正麦克风和骨传导传感器采集到的信号也可以用于扬声器输出的动态控制，通过实时采集音箱内部的声场信号，实时修正输出信号，得到优化的声音输出效果。同时，与麦克风阵列配合，本发明还可以将全频段语音信号作为待消除回音信号，在第三音频信号中滤除全频段语音信号即可得到无回音信号的本方语音信号。第一音频信号和第二音频信号作为待消除的回音信号，与未经扬声器播放的对方语音信号相比，更加接近于麦克风阵列获取第三音频信号中，混杂有待消除的回音信号，不需要在处理器中设置自适应滤波器进行复杂运算后，即可消除回音信号，可以降低功耗，同时还提高回音消除效果，提高通话质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明音频信号处理方法一实施例的流程示意图；

图2为本发明音频信号处理方法另一实施例的流程示意图；

图3为图2中步骤S200一实施例的细化流程示意图；

图4为本发明音频信号处理方法又一实施例的流程示意图；

图5为本发明智能音箱一实施例的结构示意图。

附图标号说明：

标号	名称	标号	名称
				10	壳体	50	修正麦克风
20	扬声器	60	主控板
				30	麦克风阵列	20a	扬声器出音孔
40	骨传导传感器	30a	麦克风拾音孔

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明提出一种音频信号处理方法。

该音频信号处理方法应用于智能音箱，所述智能音箱包括壳体及设置于壳体内的扬声器、骨传导传感器及修正麦克风。近年智能音箱产品快速发展，随着智能家居产品增多，5G通信快速发展，智能音箱作为物联网的重要人机交互入口，在未来具有巨大的发展潜力和市场需求，其使用场景也越来越广泛，例如音乐聆听，电话会议，物联网控制，语音助手等功能。

为了实现优质的音乐播放能力和清晰的语音通话能力，本发明音频信号处理方法可以实现实时音频输出动态调节功能和回音消除功能。具体而言，在硬件设置上，通常需要音箱设置传感器以采集声音信号，智能音箱内置的控制音频处理器根据采集到的信号进行运算，实现动态音效调节和回音消除。

参照图1，在本发明一实施例中，所述音频信号处理方法包括以下步骤：

步骤S100、获取骨传导传感器接收到的第一音频信号以及修正麦克风接收到的第二音频信号；

本实施例中，智能音箱多使用麦克风采集声音信号以实现音频输出反馈，智能音箱的音频计算芯片根据麦克风采集到的声音信号进行实时输出调整，调节效果取决于麦克风采集到的信号质量，如果麦克风放置在音箱外部进行声音拾取，会受到环境音或者反射音的干扰，无法准确得到扬声器的工作状态，因此本实施例将修正麦克风放置在智能音箱内部(扬声器后腔)，同时由于智能音箱的内部声压级很高，会造成麦克风在低频发生削波而无法采集到正常的低频信号，为此本实施例还在音箱内部设置了骨传导传感器，通过骨传导传感器来获取低频信号，有利于音效的调节。骨传导传感器可以是VPU(Voice Pick-Up)传感器、骨声纹ID检测传感器(G-Sensor)等以声音骨传导为原理进行音频采集的音频拾取器件。骨传导传感器能够采集固体传导的振动信号，其采集频率可达到4～5KHz，同时较强的抗削波能力，与修正麦克风结合使用可以弥补修正麦克风低频削波的缺陷，实现音箱内部全频段声音信号采集。修正麦克风和骨传导传感器采集到的信号也可以用于喇叭输出的动态控制，通过实时采集音箱内部的声场信号，实时修正输出信号，得到优化的声音输出效果，也可以用于语音通话过程中的回音消除，提高通话质量。修正麦克风可以是以声音空气传播为原理进行音频采集的任意类型的麦克风，包括但不限于电动式、电容式、压电式、电磁式、碳粒式以及半导体式等类型麦克风。其中，第一音频信号为由骨传导传感器获取的骨导信号，第二音频信号为由修正麦克风获取的气导信号。并且，第一音频信号具有低频音频信号，第二音频信号具有中高频音频信号。骨传导传感器可以拾取扬声器发出的低频声音信号后转化为电信号，修正麦克风可以拾取扬声器发出的中高频信号并转换为电信号。骨传导传感器能够采集固体传导的振动信号，其采集频率可达到4～5KHz，同时较强的抗削波能力，与修正麦克风结合使用可以弥补修正麦克风低频削波的缺陷，实现音箱内部全频段声音信号采集。在实际应用时，骨传导传感器和修正麦克风可以尽可能的靠近设置，使得通过骨传导传感器和麦克风对同一音频信号同时采集两路传导介质不同的音频信号(骨传导音频信号和气导音频信号)。

步骤S120、根据所述第一音频信号及所述第二音频信号确定扬声器当前播放的音频信号；

扬声器中可以设置有高音发生装置、中音发生装置和低音发生装置，在播放音频信号时，各个发生装置根据接收到的音频信号自动发出对应频段的音频信号，以使智能音箱具有较好的音质。为了得到全频段的音频信号，对全频段的音频信号参数进行动态调节，在进行音频信号的动态调节前，本实施例还可以进一步地将第一音频信号和第二音频信号进行叠加处理，得到所述扬声器当前播放的音频信号，也即将VPU传感器或者利用G-Sensor检测佩扬声器播放音频时产生的震动(骨导)信号，将与修正麦克风检测到的气导信号叠加在一起，以提取出扬声器播放音频信号时的全频段的音频信号。当然在其他实施例中，若需要对每对各个频段的音频信号参数进行调节，也可以直接以第一音频信号和第二音频信号作为参考信号，无需叠加为全频段的音频信号，具体可以根据需要调节的参数进行处理。

步骤S130、根据所述扬声器当前播放的音频信号，对输出至所述扬声器的待播放音频信号进行动态调节。

本实施例中，扬声器播放的音频信号可以作为待播放音频信号的参考信号，对输出至扬声器的待播放音频信号，也即扬声器要播放的音频信号进行动调节。具体而言，可以接收到的音频信号进行分频处理，例如进行三分频，从而得到高频音频信号、中频音频信号和低频音频信号，并将获得的扬声器播放后的音频信号作为参考信号，对高频音频信号、中频音频信号和低频音频信号分别进行相应的调整，例如高频音频信号、中频音频信号和低频音频信号的幅值(增益)进行调整，可以增大(正值)也可以减小(负值)，实现自适应增益调节，然后，将处理后的信号组合在一起生成将被输出到扬声器的待播放音频信号。如此，可以使得低频鼓声突出或高频弦乐突出，实现EQ均衡，提高听觉舒适度，可以欣赏更多类型的音频文件。

可以理解的是，扬声器的振膜的振幅与两个因素有关，一个是播放的音频数据的频率，一个是功率放大器输出的电压值，由于扬声器本身的特性，对于不同频段的信号，振膜的振幅是不同的，在音频信号的频率固定情况下，调整功率放大器输出的电压值，可以改变振膜的振幅，基于这个原理，预先建立音频信号频率、电压所对应的振幅的模型。在播放音频数据的过程中，将播放的音频信号全频段频率、反馈的播放的音频与预先建立的模型进行分析，可以确定扬声器的振膜的振幅，采用相应的算法通过调整功率放大器的输出电压实现对振幅的调整，如此，根据扬声器输出的音频信号对功率放大器的功率电源电压进行自适应调节，可以设置不同的低音、中音或高音，以提高音频效率，获得更好的音频效率和性能。

还可以理解的是，本发明根据所述第一音频信号及所述第二音频信号确定扬声器当前播放的音频信号之后，可以同时对音频信号的增益(幅值)和电压进行调整，或者仅调整两者中的一种，当然也可以对待播放音频信号的其他音频参数进行调整，例如，根据环境噪音的不同，自动调节音频信号的音量等，此处不再一一列举。

本发明通过在音箱内部使用骨传导传感器拾取产品本身发出的低频声音，与修正麦克风拾取的高频信号相结合，能够得到产品内部全频段的声音信号，将该信号作为参考信号用于调节音箱的输出，能够对音箱全频段输出进行动态调节，增大音频输出动态调节范围，大幅度音箱提高低频性能。本发明可以获取扬声器播放的音频信号，动态跟踪扬声器的状态并感知其所处环境的变化，在适应后给出相应的改变，为智能音箱带来更高的音量、更浑厚的低音与更出色的音质。

参照图4，在一实施例中，所述智能音箱具有音频播放模式及语音通话模式；

在所述获取骨传导传感器接收到的第一音频信号以及修正麦克风接收到的第二音频信号的步骤之前，所述音频信号处理方法的步骤还包括：

步骤S140、获取所述智能音箱的当前工作模式；

步骤S150、在所述智能音箱工作于音频播放模式时，接收外部终端输出的音频信号，并对所述音频信号进行信号处理后，输出至所述扬声器，以进行音频播放；

步骤S160、在所述智能音箱工作于语音通话模式时，接收外部终端输出的语音信号，并对所述语音信号进行信号处理后输出至所述扬声器，以进行语音播放。

可以理解的是，智能音箱内集成多个控制系统，各个控制系统具有能够实现对应工作模式的硬件架构和软件程序，例如音频播放模式、语音通话模式、语音助手、物联网控制、多个音箱级联等，智能音箱可以根据实际应用的需求切换智能音箱控制系统，从而使智能音箱工作于对应的工作模式。例如在音频播放模式下，智能音箱可以与外部终端如手机、智能手表、智能手环、平板电脑等通讯连接，智能音箱接收外部终端发送的音频数据，经过数据处理后，输出至扬声器进行音频播放。在这个过程中，可以骨传导传感器拾取的第一音频信号及修正麦克风拾取的第二音频信号确定扬声器当前播放的音频信号，并根据扬声器当前播放的音频信号，对外部终端发送的音频数据进行动态调节，以对扬声器的待播放音频信号进行自适应调节。在该工作模式下，用户不需要通过智能音箱与外部终端进行人机交互，麦克风阵列可以不工作，智能音箱也不需要对接收到的音频信号进行回音消除。在语音通话模式下，例如双方语音对话、多方语音会议等时，麦克风阵列会拾取本方用户的语音信号，骨传导传感器和修正麦克风分别拾取的第一音频信号和第二音频信号，并将第一音频信号和第二音频信号进行叠加后得到全频段语音信号，也即得到扬声器播放的对方语音信号，以及由麦克风阵列拾取到的混合有对方语音信号和本方语音信号的第三音频信号。在这个过程中，麦克风阵列、骨传导传感器和修正麦克风同时工作。在物联网控制模式下，用户可以向智能音箱发送语音控制指令，也可以通过设置在智能音箱上的机械按键、触摸按键等向智能音箱发送控制指令，以通过智能音箱实现空调、洗衣机、饮水机等物联网控制，在这个过程中，智能音箱可以与用户进行人机交互，例如在通过语音控制时，麦克风阵列工作，接收用户发送的语音控制指令，智能音箱还可以通过扬声器发出应答响应。在这个过程中，骨传导传感器和修正麦克风可以不工作。智能音箱不工作时，可以处于待机状态，而在工作时，对应当前的工作模式，可以控制智能音箱内的电源电路给对应电路模块供电，在未启动的电路模块则继续维持待机状态，以降低智能音箱的功耗。

在一实施例中，在确定所述智能音箱工作于语音通话模式时，所述滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号的步骤之后还包括：

对所述待发送语音信号进行信号处理后，输出至外部终端。

本实施例中，智能音箱的主板上还可以设置有音频处理器及通讯模块；音频处理器与麦克风阵列电连接，音频处理器和通讯模块连接；通讯模块可以使蓝牙、WIFI、红外收发模块、射频模块中的任意一种或者多种组合，通过通讯模块，处理器可以实现与外部终端实现通讯连接，还可以实现与物联网模块中的电器设备实现通讯连接。在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风阵列接收声音(语音信号)，处理器可以将这样的语音信号处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元发送到移动通信基站的格式输出。或者在语音会议模式下，转换为可经WIFI等无线的宽带互联网发送的格式输出。处理器还可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

本发明还提出一种音频信号处理方法，所述音频信号处理方法应用于智能音箱，所述智能音箱包括壳体及设置于壳体内的扬声器、麦克风阵列、骨传导传感器及修正麦克风。

可以理解的是，智能音箱除了播放音频信号，也即音乐之外，还可以进行电话会议，物联网控制，语音助手等，在进行电话会议时，双方进行语音通话，对方的音频，也即语音信号通过扬声器进行播放，而通话本方发出的语音信号被设置在智能音箱上的麦克风拾取，并经信号处理后再发给对方设备，如此实现语音通话。在语音通话过程中，通话本方的智能音箱的扬声器首先输出通话对方的话音，该话音来自通话对方的外部终端。由通话本方的智能音箱的扬声器输出的通话对方的话音再次被通话本方的智能音箱的麦克风拾取，并被发送给通话对方的外部终端。通话对方的外部终端的扬声器又输出在通话本方一侧拾取的所述通话对方的话音。当这一过程重复发生时，会造成对方听到自身设备播放自己的语音，极大的干扰了语音通话过程。因此语音通话设备通常具有回音抵消器来实现回音消除功能。本方的智能音箱在接收到对方的声音信号以后，将该声音信号输入回音抵消器，该信号称为伪回音信号，该语音信号被本方的扬声器播放后的声信号被本方设备的麦克风拾取到后得到的信号即为需要消除的回音信号。伪回音信号和真正的回音信号之间存在一定的差异，伪回音消除时使用的是从对方传输过来的未经过本方通信设备重放过的信号，与实际的回音消除信号存在较大差异，需要自适应滤波器进行复杂运算后才能部分消除回音信号。

参照图2和图3，为了解决上述问题，所述音频信号处理方法包括以下步骤：

步骤S210、获取骨传导传感器接收到的第一音频信号、修正麦克风接收到的第二音频信号，以及麦克风整列接收到的第三音频信号；

本实施例中，第一音频信号为由骨传导传感器获取的骨导信号，第二音频信号为由修正麦克风获取的气导信号。并且，第一音频信号具有低频音频信号，第二音频信号具有中高频音频信号。骨传导传感器可以拾取扬声器发出的低频声音信号后转化为电信号，修正麦克风可以拾取扬声器发出的中高频信号并转换为电信号。在语音通话的实际应用时，由骨传导传感器和修正麦克风共同获取，并进行叠加后得到的全频段语音信号即为对方语音信号。

其中，骨传导传感器和修正麦克风的具体实施例可以参照上述实施例，此处不再赘述。麦克风阵列的各个麦克风I2S麦克风、PDM麦克风、TDM麦克风、模拟麦克风中的一种或多种组合，其的数量可以是两个，或者两个以上，例如三个，三个麦克风可以分布在音箱内的主板上并通过拾音孔与音箱的壳体外界连通，用于形成麦克风阵列进行语音拾取，当然在其他实施例中，根据扬声器的壳体大小，麦克风的数量可以为五个或者以上，每一个麦克风可以对应设置有一个拾音孔。麦克风阵列可以用于滤除本方，也即音箱传递给对方用户声音中的噪声，也即利用多个麦克风降噪，处理器可以处理多个麦克风采集的多路音频信号，进行环境噪音等滤除后，得到一路待发送语音信号。第三音频信号为由麦克风阵列获取的气导信号。第三音频信号包含了外界噪音、本方用户发出的语音信号，以及对方设备发送，且被扬声器播放后的语音信号，这些信号在通话的过程中均会被麦克风阵列获取，转换成电信号之后，即产生了第三音频信号。

步骤S220、将所述第一音频信号、所述第二音频信号以及所述第三音频信号进行回音消除处理，以获得待发送语音信号。具体而言，步骤S220包括：

步骤S221、根据所述扬声器播放的语音信号确定所述智能音箱接收到的语音信号；以及，

步骤S222、滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号。

本实施例中，音频处理器接收扬声器播放的对方语音信号，具体为骨传导传感器和修正麦克风分别拾取的第一音频信号和第二音频信号，并将第一音频信号和第二音频信号进行叠加后得到全频段语音信号，以及由麦克风阵列拾取到的混合有对方语音信号和本方语音信号的第三音频信号。将全频段语音信号作为待消除回音信号，在第三音频信号中滤除全频段语音信号即可得到无回音信号的本方语音信号。在这个过程中，可以通过集成在音频处理器中等的滤波器、算法等对语音信号进行滤波，回音消除等处理。

本发明通过获取骨传导传感器接收到的第一音频信号、修正麦克风接收到的第二音频信号，以及麦克风整列接收到的第三音频信号，并根据所述扬声器播放的语音信号确定所述智能音箱接收到的语音信号，滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号。本发明获取的第一音频信号和第二音频信号为扬声器在智能音箱内发出的对方语音信号，将其作为待消除的回音信号，与未经扬声器播放的对方语音信号相比，更加接近于麦克风阵列获取第三音频信号中，混杂有待消除的回音信号，不需要在处理器中设置自适应滤波器进行复杂运算后，消除回音信号，可以降低功耗，同时还提高回音消除效果。

本发明还提出一种智能音箱，所述智能音箱包括：存储器、处理器；其中，所述存储器上存储有音频信号处理方法，所述音频信号处理方法被所述处理器执行时实现如上所述的音频信号处理方法的步骤。

本实施例中，存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能音箱的使用所创建的数据(比如音频数据、电话本等)等。可选地，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器是智能音箱的控制中心，利用各种接口和线路连接整个智能音箱的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行智能音箱的各种功能和处理数据，从而对智能音箱进行整体监控。处理器可包括一个或多个处理单元；可选地，处理器可集成音频处理器、应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。其中，音频处理器可以实现上述音频处理方法中的回音消除功能和音频输出自动调节功能。

参照图5，在一实施例中，所述智能音箱还包括：

壳体10及设置于壳体10内的扬声器20，所述壳体10上设置有扬声器出音孔20a及麦克风拾音孔30a，所述扬声器20的前腔朝向所述扬声器出音孔20a；

骨传导传感器40，设置于壳体10内，用以接收第一音频信号；

修正麦克风50，所述麦克风拾音孔30a朝向所述扬声器20后腔，用以接收扬声器20播放的音频信号，以获得第二音频信号；

麦克风阵列30，所述麦克风整列与所述麦克风拾音孔30a连通，用以接收第三音频信号。

进一步地，所述智能音箱还包括：

主控板60，设置于所述壳体10内，且与所述壳体10固定连接；

所述骨传导传感器40、修正麦克风50及所述麦克风阵列30均设置于所述主控板60上，所述扬声器20与所述主控板60电连接；其中，

所述骨传导传感器40通过所述主控板60和/或所述壳体10接收所述扬声器20播放的音频信号，以获得所述第一音频信号。

本实施例中，壳体10的形状可以是圆柱形，方形，棱柱形等，壳体10设置有容置空间，壳体10上开设有多个扬声器出音孔20a，麦克风拾音孔30a等，壳体10上还可以设置有数据接口，充电接口等。扬声器20具有前腔和后腔，前腔朝向壳体10的扬声器出音孔20a，扬声器20的后腔被密封在壳体10内。骨传导传感器40、修正麦克风50及麦克风阵列30均设置在于壳体10的电控板上，其中，骨传导传感器40可以通过壳体10和/或扬声器20自身对扬声器20发出的音频信号进行拾取，修正麦克风50和麦克风阵列30则设置有拾音孔，其中，修正麦克风50朝向扬声器20，用于拾取扬声器20在壳体10内发出的音频信号，而麦克风阵列30的拾音孔则设置在壳体10上，朝向外部，以获取环境中的音频信号。电控板上还设置有功率放大器、电源电路等，其中，修正麦克风50的拾音孔可以在主控板60上形成，具体而言，可以在主控板60上设置通孔，通孔的位置与修正麦克风50的位置和扬声器20后腔的位置对应。电源电路为主控板60上的各个功能电路模块供电。编译码器可以对接入的数字音频信号或者模拟音频信号进行处理，并输出至编译码器，编译码器可以对音频信号进行A/D和D/A转换。A/D可以将人耳能听到的模拟信号(Analog)转换为电脑能够处理的数字(Digital)信号的编码过程；D/A则可以将处理后的数字信号转换为人耳能够听到的模拟信号的解码过程，编译码器内可以集成有上述两种功能的处理芯片。本实施例中，音频处理器将音频处理后的数字音频信号发送至编译码器，编译码器再对音频信号进行编码后通过通讯模块输出至对方设备。功率放大器设置于扬声器20与编译码器之间，用于对编译码器输出的音频信号进行功率放大处理之后输出至扬声器20。在其他实施例中，编译码器还可以将数字音频信号数模转化为模拟音频信号后发送至功率放大器，由功率放大器对接入模拟音频信号，进行功率放大、滤波等处理后输出至扬声器20，从而使得本方能够听到各个麦克风阵列30采集到的声音信号。

本发明通过在音箱内部使用骨传导传感器40拾取产品本身发出的低频声音，与修正麦克风50拾取的高频信号相结合，能够得到产品内部全频段的声音信号，该信号无外部杂音干扰，将该信号作为参考信号用于调节音箱的输出，能够对音箱全频段输出进行动态调节，增大音频输出动态调节范围，大幅度音箱提高低频性能。本发明可以获取扬声器20播放的音频信号，动态跟踪扬声器20的状态并感知其所处环境的变化，在适应后给出改变，为智能音箱带来更高的音量、更浑厚的低音与更出色的音质。本发明修正麦克风和骨传导传感器采集到的信号也可以用于扬声器输出的动态控制，通过实时采集音箱内部的声场信号，实时修正输出信号，得到优化的声音输出效果。同时，与麦克风阵列30配合，本发明还可以将全频段语音信号作为待消除回音信号，在第三音频信号中滤除全频段语音信号即可得到无回音信号的本方语音信号。第一音频信号和第二音频信号作为待消除的回音信号，与未经扬声器20播放的对方语音信号相比，更加接近于麦克风阵列30获取第三音频信号中，混杂有待消除的回音信号，不需要在处理器中设置自适应滤波器进行复杂运算后，即可消除回音信号，可以降低功耗，同时还提高回音消除效果，提高通话质量。

本发明还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的音频信号处理方法的步骤。在本发明提供的智能音箱和计算机可读存储介质的实施例中，包含了上述音频信号处理方法各实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种音频信号处理方法，其特征在于，所述音频信号处理方法应用于智能音箱，所述智能音箱包括壳体及设置于壳体内的扬声器、骨传导传感器及修正麦克风，所述音频信号处理方法包括以下步骤：

获取骨传导传感器通过所述壳体拾取扬声器发出的第一音频信号以及修正麦克风拾取扬声器发出的第二音频信号；并且，所述第一音频信号具有低频音频信号，所述第二音频信号具有中高频音频信号；

以所述第一音频信号和所述第二音频信号作为动态调节待播放音频信号的参考信号，根据所述第一音频信号及所述第二音频信号确定扬声器当前播放的音频信号；

根据所述扬声器当前播放的音频信号，对输出至所述扬声器的待播放音频信号进行动态调节。

2.如权利要求1所述的音频信号处理方法，其特征在于，所述智能音箱还包括麦克风阵列；

在所述获取骨传导传感器接收到的第一音频信号以及麦克风接收到的第二音频信号的步骤之后，所述音频信号处理方法还包括：

获取麦克风阵列接收到的第三音频信号；以及，

将所述第一音频信号、所述第二音频信号以及所述第三音频信号进行回音消除处理，以获得待发送语音信号。

3.如权利要求2所述的音频信号处理方法，其特征在于，所述将所述第一音频信号、所述第二音频信号以及所述第三音频信号进行回音消除处理，以获得当前通话语音信号的步骤具体包括：

根据所述第一音频信号及所述第二音频信号得到扬声器播放的语音信号；

根据所述扬声器播放的语音信号确定所述智能音箱接收到的语音信号；以及，

滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号。

4.如权利要求3所述的音频信号处理方法，其特征在于，在确定所述智能音箱工作于语音通话模式时，所述滤除所述第三音频信号中的智能音箱接收到的语音信号，以产生待发送语音信号的步骤之后还包括：

对所述待发送语音信号进行信号处理后，输出至外部终端。

5.如权利要求1至4任意一项所述的音频信号处理方法，其特征在于，所述智能音箱具有音频播放模式及语音通话模式；

在所述获取骨传导传感器接收到的第一音频信号以及修正麦克风接收到的第二音频信号的步骤之前，所述音频信号处理方法的步骤还包括：

获取所述智能音箱的当前工作模式；

在所述智能音箱工作于音频播放模式时，接收外部终端输出的音频信号，并对所述音频信号进行信号处理后，输出至所述扬声器，以进行音频播放；

在所述智能音箱工作于语音通话模式时，接收外部终端输出的语音信号，并对所述语音信号进行信号处理后输出至所述扬声器，以进行语音播放。

6.一种智能音箱，其特征在于，所述智能音箱包括：存储器、处理器；其中，所述存储器上存储有音频信号处理方法，所述音频信号处理方法被所述处理器执行时实现如权利要求2至5中任一项所述的音频信号处理方法的步骤。

7.如权利要求6所述的智能音箱，其特征在于，所述智能音箱还包括：

壳体及设置于壳体内的扬声器，所述壳体上设置有扬声器出音孔及麦克风拾音孔，所述扬声器的前腔朝向所述扬声器出音孔；

骨传导传感器，设置于壳体内，用以接收第一音频信号；

修正麦克风，所述麦克风拾音孔朝向所述扬声器后腔，用以接收扬声器播放的音频信号，以获得第二音频信号；

麦克风阵列，所述麦克风阵列与所述麦克风拾音孔连通，用以接收第三音频信号。

8.如权利要求7所述的智能音箱，其特征在于，所述智能音箱还包括：

主控板，设置于所述壳体内，且与所述壳体固定连接；

所述骨传导传感器、修正麦克风及所述麦克风阵列均设置于所述主控板上，所述扬声器与所述主控板电连接；其中，

所述骨传导传感器通过所述主控板和/或所述壳体接收所述扬声器播放的音频信号，以获得所述第一音频信号。

Images