CN113542960B - 音频信号处理方法、系统、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种音频信号处理方法、系统、装置、电子设备和存储介质，包括终端设备采集第一音频信号，对第一音频信号进行语音识别处理，得到参考环境噪声信号，根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号。在本方法中，终端设备对第一音频信号进行语音识别处理，得到参考环境噪声信号，终端便可以基于识别得到的参考环境噪声信号对耳部可穿戴设备发送的第二音频信号中的环境噪声信号进行降噪处理，从而得到降噪处理之后的语音信号，该语音信号经过降噪处理输出至耳部可穿戴设备中，具有较好的音质效果。

Description

音频信号处理方法、系统、装置、电子设备和存储介质

技术领域

本申请涉及通信技术领域，特别是涉及一种音频信号处理方法、系统、装置、电子设备和存储介质。

背景技术

随着短距离移动通信技术的发展，耳机、智能头盔等耳部可穿戴设备的使用越来越广泛。为了提高终端设备与耳部可穿戴设备通信过程中的语音质量，常常需要对语音信号进行降噪处理。例如，可以依靠耳机自身的上行降噪性能对上行语音信号进行降噪处理，以向终端设备输出语音质量较好的上行语音信号。但是，受限于耳机的系统处理能力，导致耳机降噪后的上行语音信号的语音质量仍然较差。

发明内容

本申请实施例提供了一种音频信号处理方法、装置、电子设备、计算机可读存储介质，可以根据不同的应用场景对音频信息进行适应的处理，从而提高该场景下音频的音质效果。

第一方面，提供一种音频信号处理方法，包括：、

采集第一音频信号；

对第一音频信号进行语音识别处理，得到参考环境噪声信号；

根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号。

第二方面，提供一种音频信号处理方法，包括：

采集初始音频信号；

根据耳部可穿戴设备的当前模式对应的调制参数处理所述初始音频信号，得到第二音频信号；调制参数用于对不同频率的音频信号的增益进行调节；

将第二音频信号发送终端设备，以使终端设备根据参考环境噪声信号对第二音频信号进行降噪处理，参考环境噪声信号为终端设备对自身采集到的第一音频信号进行语音识别处理得到的。

第三方面，提供一种音频信号处理系统，音频信号处理系统包括耳部可穿戴设备和终端设备；

耳部可穿戴设备，用于采集初始音频信号；并根据耳部可穿戴设备的当前模式对应的调制参数处理第二音频信号，将第二音频信号发送至终端设备；其中，调制参数用于对不同频率的音频信号的增益进行调节；

终端设备，用于采集第一音频信号；对第一音频信号进行语音识别处理，得到参考环境噪声信号；根据参考环境噪声信号对第二音频信号进行降噪处理，得到语音信号。

第四方面，提供一种音频信号处理装置，包括：

采集模块，用于采集第一音频信号；

处理模块，用于对第一音频信号进行语音识别处理，得到参考环境噪声信号；

发送模块，用于根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号。

第五方面，提供一种音频信号处理装置，包括：

采集模块，用于采集初始音频信号；

处理模块，用于根据耳部可穿戴设备的当前模式对应的调制参数处理所述初始音频信号，得到第二音频信号；调制参数用于对不同频率的音频信号的增益进行调节；

发送模块，用于将第二音频信号发送终端设备，以使终端设备根据参考环境噪声信号对第二音频信号进行降噪处理，参考环境噪声信号为终端设备对自身采集到的第一音频信号进行语音识别处理得到的。

第六方面，提供一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面、第二方面任一所述的音频信号处理方法。

第七方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面、第二方面任一所述的音频信号处理方法。

上述音频信号处理方法、系统、装置、电子设备和存储介质，终端设备采集第一音频信号，对第一音频信号进行语音识别处理，得到参考环境噪声信号，根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号。在本方法中，终端设备对第一音频信号进行语音识别处理，得到参考环境噪声信号，终端便可以基于识别得到的参考环境噪声信号对耳部可穿戴设备发送的第二音频信号中的环境噪声信号进行降噪处理，从而得到降噪处理之后的语音信号，该语音信号经过降噪处理输出至耳部可穿戴设备中，具有较好的音质效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中音频信号处理方法的应用环境图；

图2为一个实施例中音频信号处理方法的流程图；

图3为一个实施例中终端设备得到环境噪声信号的流程图；

图4为一个实施例中音频信号处理方法的流程图；

图5为一个实施例中耳部可穿戴设备得到第一音频信号的流程图；

图6为一个实施例中音频信号处理方法的流程图；

图7为一个实施例中第一音频信号为上行音频信号时的信号处理流程图；

图8为一个实施例中第一音频信号为下行音频信号时的信号处理流程图；

图9为一个实施例中音频信号处理方法的流程图；

图10为一个实施例中音频信号处理方法中终端设备与耳部可穿戴设备的交互流程图；

图11为一个实施例中音频信号处理装置的结构框图；

图12为一个实施例中音频信号处理装置的结构框图；

图13为一个实施例中音频信号处理装置的结构框图；

图14为一个实施例中音频信号处理装置的结构框图；

图15为一个实施例中音频信号处理装置的结构框图；

图16为一个实施例中电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中音频信号处理方法的应用环境示意图。如图1所示，该应用环境包括耳部可穿戴设备1和终端设备2。耳部可穿戴设备可以为蓝牙耳机、智能头盔等具有数据传输、音频信号处理功能的耳部可穿戴设备。终端设备可以为手机、电脑、平板电脑等终端设备。耳部可穿戴设备与终端设备通信连接，其中，在不同的场景下，耳部可穿戴设备与终端设备采用不同的协议进行数据传输。例如，终端在处于游戏运行状态时，在没有打开语音通话的情况下，终端设备通过蓝牙音频传输模型协议(Advanced Audio DistributionProfile，A2DP)将游戏声音信号传输至蓝牙耳机上播放；在打开游戏语音通话的情况下，耳部可穿戴设备通过HFP协议与终端设备进行语音通话信号的上下行数据传输。

图2为一个实施例中音频信号处理方法的流程图。本实施例中的音频信号处理方法，以运行于图1中的终端设备上为例进行描述。如图2所示，音频信号处理方法包括步骤201至步骤203。

步骤201，采集第一音频信号。

在本实施例中，第一音频信号包括终端设备的至少一个麦克采集的语音信号、环境噪声信号、以及终端设备的扬声器输出的音频信号。终端设备采集上述多种信号作为第一音频信号。第一音频信号可以包括环境噪声信号、参考语音信号、用户语音信号等。

步骤202，对第一音频信号进行语音识别处理，得到参考环境噪声信号。

在本实施例中，终端设备可以根据环境噪声信号的声纹、频率、幅度等特征对终端设备采集到的第一音频信号进行识别，确定出参考环境噪声信号，例如，可以采用语音识别模型对第一音频信号中的环境噪音信号进行识别，得到参考环境噪声信号。

步骤203，根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号。

其中，第二音频信号可以包括语音信号、环境噪声信号等，第二音频信号为耳部可穿戴设备采集到的音频信号，也可以是耳部可穿戴设备对采集的音频信号进行处理后得到的信号，例如，耳部可穿戴设备根据当前模式对应的调制参数对自身采集到音频信号进行处理得到的，该调制参数可以对音频信号的增益、频段等进行处理。可选地，第一音频信号和第二音频信号所处的场景可以相同，也即，第一音频信号和第二音频信号是不同的设备对同一音源采集到的信号。

在本实施例中，考虑用户在进行语音通话时与设备终端的距离，用户与耳部可穿戴设备的距离，均属于较小的距离，例如，该距离一般为10cm～30cm；而环境噪声源与终端设备的距离，环境噪声源与耳部可穿戴设备的距离，都属于较大的距离，且，环境噪声源与终端设备、耳部可穿戴设备远远大于用户与终端设备、耳部可穿戴设备的距离，因此，在第一音频信号和第二音频信号所处的场景相同的情况下，可认为，第一音频信号中的环境噪声和第二音频信号中的环境噪声几乎相等。在这种前提下，终端设备根据通过第一音频信号识别到的参考环境噪声信号，对第二音频信号中的环境噪声信号进行降噪处理，将环境噪声信号衰弱之后得到语音信号，本实施例对此不做限定。

上述音频信号处理方法，终端设备采集第一音频信号，对第一音频信号进行语音识别处理，得到参考环境噪声信号，根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号。在本方法中，终端设备对第一音频信号进行语音识别处理，得到参考环境噪声信号，终端便可以基于识别得到的参考环境噪声信号对耳部可穿戴设备发送的第二音频信号中的环境噪声信号进行降噪处理，从而得到降噪处理之后的语音信号，该语音信号经过降噪处理输出至耳部可穿戴设备中，具有较好的音质效果。

终端设备所接收到的第二音频信号为耳部可穿戴设备对采集到的音频信号进行处理之后的信号，在其中一个可选的实施例中，第二音频信号为耳部可穿戴设备根据当前模式对应的调制参数对自身采集到初始音频信号进行处理得到的，调制参数用于对不同频率的音频信号的增益进行调节。

在本实施例中，耳部可穿戴设备针对不同模式设置不同的调制参数来处理采集到的音频信号，不同的调制参数在处理音频信号的高频、中频、低频的信号均对应不同的增益调节方式。

可选地，若当前模式为游戏模式，则调制参数为游戏调制参数。在本实施中，在游戏场景模式下，耳部可穿戴设备可以根据游戏场景模式对应的调制参数对音频信号进行处理，以得到更贴合游戏场景、游戏环境、以及游戏效果的音质。

此外，不同模式还可以包括游戏场景模式、视频播放模式、多人共享影音模式等其他场景模式，这些不同模式对音频信号有特殊的需求，因此，不同的模式对应不同的调制参数来处理第一音频信号。例如，在音乐播放模式下，耳部可穿戴设备可以根据音乐播放模式对应的调制参数对音频信号进行处理；在通话模式下，耳部可穿戴设备可以根据通话模式对应的调制参数对音频信号进行处理；在视频播放模式下，耳部可穿戴设备可以根据视频播放模式对应的调制参数对第一音频信号进行处理，以得到更贴合视频场景、更具有视频代入感的音质，从而得到经过增益调节之后的第二音频信号，用于传输至终端设备。

在本实施例中，针对不同模式配置对应的调制参数来对初始音频信号进行处理，与模式适配的调制参数可以对初始音频信号的对不同频率的音频信号的增益进行调节，在提高处理后的第二音频信号的音质效果的同时，增强了耳部可穿戴设备的场景模式适用性。

终端设备可以向耳部可穿戴设备发送模式指令，以使耳部可穿戴设备处于设定的一种模式下，在其中一个可选的实施例中，该方法还包括：向耳部可穿戴设备发送模式指令，模式指令用于指示耳部可穿戴设备设置为游戏模式。

其中，模式指令为终端设备识别出当前应用为预设的游戏应用时触发的指令；或者，模式设定指令为通过终端设备上的与耳部可穿戴设备连接的应用触发的指令。

在本实施例中，在终端设备识别到进入游戏应用时，或者与耳部可穿戴设备连接的应用被触发时，产生模式指令，并将该模式指令发送给耳部可穿戴设备，耳部可穿戴设备根据该模式指令进入游戏模式，本实施例对此不做限定。

示例性的，可以在手机、电脑等设备终端上建立游戏APP名单，在终端设备使用APP时，判断正在使用的APP是否为游戏APP名单上的APP，如果是，则终端设备向耳机发送模式指令，告知耳机处于游戏模式。或者，当用户玩游戏时，可以通过在终端设备上与耳机连接的APP中进行设置，以生成模式指令发送至耳机，告知耳机处于游戏模式。

在本实施例中，终端设备可以基于识别到的应用触发向耳部可穿戴设备发送模式指令的操作，该方式简单地可以使耳部可穿戴设备设置为游戏模式。

终端设备可以通过预设的识别算法识别得到参考环境噪声信号，在其中一个可选的实施例中，对第一音频信号进行语音识别处理，得到参考环境噪声信号，包括：根据人工智能AI识别模型对第一音频信号进行语音识别，得到参考环境噪声信号。

在本实施例中，第一音频信号包括终端设备的至少一个麦克风采集到的语音信号、终端设备的扬声器播放的参考语音信号、以及环境噪声信号。终端设备将第一音频信号进行信号处理，如图3所示，终端设备将第一音频信号经过前端处理，例如，经过模数转换器(Analog to Digital converter，ADC)、增益放大(Gain)、回声消除(Acoustic EchoCancellation，AEC)等操作，再根据预设的人工智能AI识别模型对第一音频信号进行AI降噪处理，最终通过数字处理模块(如均衡器EQ、自动增益控制AGC等)后，得到参考环境噪声信号。

那么，终端设备在得到参考环境噪声信号之后，进一步地，在其中一个可选的实施例中，如图4所示，根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号，包括：

步骤301，根据参考环境噪声信号确定第二音频信号中的目标环境噪声信号。

在本实施例中，该第二音频信号为耳部可穿戴设备传输的信号处理之后的音频信号，其中，第二音频信号的处理过程如图5所示，包括耳部可穿戴设备通过至少一个麦克风MIC采集包括用户的语音信号和环境噪声信号的音频信号，对音频信号进行前端处理，例如，经过模数转换器(Analog to Digital converter，ADC)、增益放大(Gain)、回声消除(Acoustic Echo Cancellation， AEC)等操作，再识别音频信号的到达角，提取到达角对应的候选音频信号Spatial Filtering，经过空间滤波器Post Filtering对候选音频信号进行处理，再通过数字处理模块(如均衡器EQ、自动增益控制AGC等)处理后，得到包括用户的语音信号和环境噪声信号的第二音频信号。可选地，第二音频信号和终端设备采集到的第一音频信号所处的场景可以相同，以此，我们认为参考环境噪声信号和第二音频信号中的目标环境噪声信号的信号频率、信号幅度一致。基于此，终端设备在确定参考环境噪声信号之后，就可以将第二音频信号中与参考环境噪声信号一致的信号确定为目标环境噪声信号。

步骤302，对第二音频信号中的目标环境噪声信号进行衰减处理，得到语音信号。

在本实施例中，终端设备通过降噪算法，例如谱减法等，把耳部可穿戴设备传输的第二音频信号中的目标环境噪声信号衰减处理，从而可得出人声还原度高且环境噪声小的高质量的语音信号。

可选地，还存在另外一种场景，无论是在哪种模式下，均可能存在多个终端设备进行通话的情况，在这种情况下，多个终端设备或多个耳部可穿戴设备的至少一个麦克风将采集到的用户的语音信号进行数据传输时，容易形成多人啸叫的问题。

在本实施例中，终端设备对采集到的音频信号进行识别得到的参考环境噪声信号中可以包括啸叫形成的音频信号，因此，在对第二音频信号中的目标参考噪声信号进行降噪时也会将啸叫音频信号进行降噪，以减少由于多人啸叫问题而引起的第二音频信号音质效果差的问题。当然，这里需要说明的是，第二音频信号中也可以包括其他属于噪声信号的音频信号，终端设备均可以基于该音频信号的音频特征，对第二音频信号做进一步地的降噪处理，从而得到音质效果更好的第二音频信号。

在本实施例中，终端设备可以基于参考环境噪声信号对第二环境噪声信号进行衰减处理，从而对第二音频信号实现降噪处理，进一步提高了第二音频信号的音质。此外，终端设备对于第二音频信号的降噪处理方法，可以不局限在仅仅对环境噪声的衰减处理，还可以对多人啸叫引起的啸叫音频信号进行衰减处理，从不同维度上对第二音频信号进行了进一步地的优化处理，提高了第二音质信号的音质效果。

上述图2-图5的实施例中给出了在终端设备一侧，针对耳部可穿戴设备发送的第二音频信号进行降噪处理的过程，以得到音质效果更好的音频信号。但是，耳部可穿戴设备还可以基于自身的信号处理模块，对采集到的初始音频信号进行初步的增益调节处理。下述实施例中提供了一种耳部可穿戴设备对采集到的初始音频信号进行增益调节的方法。

图6为一个实施例中音频信号处理方法的流程图。本实施例中的音频信号处理方法，以运行于图1中的耳部可穿戴设备上为例进行描述。如图2所示，音频信号处理方法包括步骤401至步骤403。

步骤401，获取初始音频信号。

其中，初始音频信号可以为耳部可穿戴设备自己采集到的上行音频信号；也可以为耳部可穿戴设备接收到的终端设备传输的下行音频信号。其中，上行音频信号可以包括语音信号、环境噪声信号等；下行音频信号可以包括语音信号、环境噪声信号、游戏音频信号、影音音频信号等。

在本实施例中，耳部可穿戴设备通过HFP协议或者A2DP协议获取终端设备传输的下行音频信号。可选地，耳部可穿戴设备在获取到初始音频信号之后可以将该音频信号存储至指定的存储空间中。

步骤402，根据耳部可穿戴设备的当前模式对应的调制参数处理初始音频信号，得到第二音频信号；调制参数用于对不同频率的音频信号的增益进行调节。

其中，不同模式对应不同的调制参数，例如，音乐模式对应音乐调制参数，游戏模式对应游戏调制参数，通话模式对应通话调制参数等。不同模式还包括地图导航模式、电台播放模式或其他模式。

在本实施例中，耳部可穿戴设备针对不同模式设置不同的调制参数来处理初始音频信号，不同的调制参数在处理初始音频信号的高频、中频、低频的信号均对应不同的增益调节方式。可选地，在游戏模式下，耳部可穿戴设备可以根据游戏模式对应的游戏调制参数对初始音频信号进行处理，以得到更贴合游戏场景、游戏环境、以及游戏效果的音质。

S403、将第二音频信号发送终端设备，以使终端设备根据参考环境噪声信号对第二音频信号进行降噪处理，参考环境噪声信号为终端设备对自身采集到的第一音频信号进行语音识别处理得到的。

在本实施例中，耳部可穿戴设备在对初始音频信号进行信号处理之后，得到第二音频信号，将该第二音频信号发送给终端设备，以使终端设备对第二音频信号进行降噪处理，其中，降噪处理的过程可参考上述图2-图5给出的实施例，本实施例不做赘述。

上述音频信号处理方法，耳部可穿戴设备采集初始音频信号，根据耳部可穿戴设备的当前模式对应的调制参数处理初始音频信号，得到第二音频信号；并将第二音频信号发送终端设备，以使终端设备根据参考环境噪声信号对所述第二音频信号进行降噪处理。在本方法中，由于耳部可穿戴设备可以根据不同模式对应的调制参数对不同频率的音频信号的增益进行调节处理，信号处理之后得到的音频可以满足其对应模式下的音质效果需求，并且，将第二音频信号发送至终端设备进行降噪处理，进一步提高了第二音频信号的音质，优化了用户体验。

耳部可穿戴设备可以响应于其接收到的模式指令，将自身状态配置处于指定的模式下，在其中一个可选的实施例中，该方法还包括：响应于模式指令，将耳部可穿戴设备设置为游戏模式；其中，模式指令为在游戏场景下触发的指令。

其中，模式指令指的是需要耳部可穿戴设备进入游戏模式下时触发的指令；该指令中可以携带游戏模式的标识，可选地，模式指令还可以用于指示耳部可穿戴设备进入其他特殊场景模式，例如，多人共享影音模式。

在本实施例中，耳部可穿戴设备在接收到模式指令之后，根据模式指令中的游戏模式的标识，将自身的状态设置为游戏模式。

进一步地，耳部可穿戴设备获取模式指令的方式包括多种，在一种场景下，可以通过耳部可穿戴设备触发该模式指令，在其中一个可选的实施例中，该方法还包括：

获取通过耳部可穿戴设备上的按键触发的模式指令；或者，

获取用户对耳部可穿戴设备的特定操作触发的模式指令；或者，

获取通过语音信号触发的模式指令。

其中，耳部可穿戴设备上的按键可以为机械按键，也可以触控按键；用户通过按键来触发模式指令，耳部可穿戴设备在检测到按键被触发时，生成该模式指令，可选的，耳部可穿戴设备检测到按键一次，获取携带特殊场景模式的标识为1的模式指令，标识为1的模式为游戏模式；耳部可穿戴设备检测到长按键操作，获取携带特殊场景模式的标识为2的模式指令，标识为1的模式为影音模式；其中，长按键操作可以为时长大于5秒的按键操作，不同的标识对应不同的特殊场景模式。

另外，耳部可穿戴设备还可以在检测到产生特定操作时获取模式指令，其中特定操作可以为连续点击耳部可穿戴设备指定部位多次，其中多次可以为两次、三次等；或者，特定操作还可以触摸耳部可穿戴设备指定部位一段时间，其中一段时间可以为大于3秒的时间。

此外，耳部可穿戴设备还可以通过接收语音信号来获取模式指令，其中，针对游戏模式来举例说明，耳部可穿戴设备对接收到的语音信号进行语义解析，若确定语音信号中包括用于指示打开的语义和用于指示游戏模式的语义，则根据语义信息确定当前模式指令，示例地，在确定语音信号中包括“打开”、“开启”、“启动”中任意一个，以及“游戏模式”、“游戏场景模式”、“游戏场景”中任意一个，耳部可穿戴设备则确定当前语音信号用于指示耳部可穿戴设备进入游戏模式，则获取该模式指令，本实施例对此不做限定。

在另外一种场景下，可以通过终端将耳部可穿戴设备设定为游戏模式，在其中一个可选的实施例中，该方法还包括：

接收终端设备发送的模式指令；

其中，模式指令为终端设备识别出当前应用为游戏应用时触发的指令；或者，模式指令为用户通过终端设备上的与耳部可穿戴设备连接的应用触发的指令。

示例性的，可以在手机、电脑等设备终端上建立游戏APP名单，在终端设备使用APP时，判断正在使用的APP是否为游戏APP名单上的APP，如果是，则终端设备向耳机发送模式指令，告知耳机处于游戏模式。或者，当用户玩游戏时，可以通过在终端设备上与耳机连接的APP中进行设置，以生成模式指令发送至耳机，告知耳机处于游戏模式。

在本实施例中，耳部可穿戴设备可以基于上述多种方法获取模式指令，并响应于模式指令，将耳部可穿戴设备设置为游戏模式下，游戏模式的设置灵活、简单、易操作。

与模式指令对应的，若不需要耳部可穿戴设备处于游戏模式下，可以响应模式退出指令，使得耳部可穿戴设备退出游戏模式。在其中一个可选的实施例中，该方法还包括：

响应于模式退出指令，控制耳部可穿戴设备退出游戏模式。

其中，模式退出指令指的是想要耳部可穿戴设备退出游戏模式下所触发的指令。在本实施例中，耳部可穿戴设备在接收到模式退出指令之后，控制耳部可穿戴设备退出游戏模式。其中接收模式退出指令的方式与接收模式指令的方式类似，这里不做赘述。

在本实施例中，耳部可穿戴设备可以基于与获取模式指令类似的多种方法获取模式退出指令，并响应于模式退出指令，控制耳部可穿戴设备退出游戏模式，该方法简单、有效地实现了游戏模式的退出切换。

耳部可穿戴设备可以根据不同模式选择不同调制参数对初始音频信号的不同频率下的增益进行调节，即实现对初始音频信号的信号处理，在其中一个可选的实施例中，根据耳部可穿戴设备的当前模式对应的调制参数处理初始音频信号，包括：

若当前模式为普通模式，则调用普通模式对应的调制参数处理初始音频信号；若当前模式为特殊模式，则调用特殊模式对应的调制参数处理初始音频信号。

其中，特殊模式包括游戏模式、影音模式等；普通模式为除了游戏模式之外的模式，例如，音乐模式、通话模式。

在本实施例中，以普通模式为通话模式、特殊模式为游戏模式来举例说明。当前模式为游戏模式时，可以禁用通话模式对应调制参数，并调用游戏模式对应的调制参数来处理第一音频信号。

可选地，初始音频信号为耳部可穿戴设备上的至少一个麦克风采集到的上行音频信号；或者，初始音频信号为终端设备发送的下行音频信号。

下面通过图7和图8，以耳机为例，分别对处理上行音频信号和下行音频信号的过程进行介绍。其中，上行音频信号可以包括麦克风采集到的语音信号和环境噪声信号；在初始音频信号为上行音频信号时，如图7所示，耳机对上行音频信号的处理过程包括：

a.通过耳机的MIC采集上行音频信号；

b.通过功率放大器(PowerAmplifier，PA)对上行音频信号进行放大处理；

c.通过模数转换器(Analog to Digital converter，ADC)对放大处理后的上行音频信号进行数字处理；

d.通过第一均衡器对应的调制参数或第二均衡器对应的调制参数对数字音频信号进行处理；

在本实施例中，若耳部可穿戴设备的当前模式为普通场景模式，那么上述步骤d为通过使能第一均衡器，基于第一均衡器对应的调制参数对数字音频信号进行处理，禁用第二均衡器；若耳部可穿戴设备的当前模式为特殊场景模式，那么上述步骤d为通过使能第二均衡器，基于第二均衡器对应的调制参数对数字音频信号进行处理，禁用第一均衡器。

e.最终通过射频调制解调器(Radio Frequency modem，RF Modem)进行调制处理后射频发送至终端设备。

其中，下行音频信号包括终端设备发送的音频信号；在初始音频信号为下行音频信号时，如图8所示，耳部可穿戴设备对下行音频信号的处理过程包括：

f.耳部可穿戴设备射频接收下行音频信号，通过RF Modem射频调制解调器对下行音频信号进行解调处理；

g.通过数字信号处理器对解调处理后的音频信号进行数字处理；

h.通过第一均衡器对应的调制参数或第二均衡器对应的调制参数对数字音频信号进行处理；

在本实施例中，若耳部可穿戴设备的当前模式为普通场景模式，那么上述步骤h为通过使能第一均衡器，基于第一均衡器对应的调制参数对数字音频信号进行处理，禁用第二均衡器；若耳部可穿戴设备的当前模式为特殊场景模式，那么上述步骤h为通过使能第二均衡器，基于第二均衡器对应的调制参数对数字音频信号进行处理，禁用第一均衡器，本实施例对此不做限定。

i.通过数模转换器(Digital to analog converter，DAC)、功率放大器PA 对上行音频信号进行放大转换处理；

g.最终通过耳部可穿戴设备的扬声器播放音频。

在本实施例中，耳部可穿戴设备根据不同的场景模式，针对不同类型的初始音频信号，使能不同的均衡器和信号处理方式，对初始音频信号进行对应的信号处理，使得初始音频信号更能满足不同场景模式下的音质需求，优化用户体验。

耳部终端设备针对上行音频信号和下行音频信号，分别采用不同的信号处理方式进行信号处理。在对上行音频信号进行信号处理之后，耳部穿戴设别可以将上行音频信号发送至终端。

为了获取音质较好的上行语音信号，目前主要是通过耳机的上行降噪性能对采集到的上行音频信号进行降噪，以向终端提供音质较好的上行语音信号，但是，由于耳机系统处理能力较小使得耳机上行降噪性能较差，导致上行语音质量较差。因此，本申请实施例中提供的音频信号处理方法还包括：

若初始音频信号为上行音频信号，则将初始音频信号经过信号处理后的第二音频信号发送至终端设备，以使终端设备根据参考环境噪声信号对处理后的第二音频信号进行降噪处理，参考环境噪声信号为终端设备对自身采集到的第一音频信号中的语音信号进行衰减后得到的信号。可选地，第一音频信号和第二音频信号所处的场景相同。

其中，若第二音频信号为上行音频信号，那么第二音频信号包括耳部可穿戴设备基于至少一个麦克风MIC采集到的用户的语音信号和环境噪声信号。为了进一步地提高第二音频信号的音质效果，耳部可穿戴设备可以将第二音频信号发送至终端设备，以使终端设备对其进行降噪处理，其中终端设备对第二语音信号进行降噪处理的过程可参考步骤203，这里不做赘述。

在本实施例中，在本实施例中，耳部可穿戴设备将处理后的第二音频信号通过HFP传输至终端设备，以使终端设备根据参考环境噪声信号对处理后的第二音频信号进行降噪处理，在对第二音频信号采用适应均衡器进行均衡处理的基础上，进一步地提高了第二音频信号的音质效果。

耳部可穿戴设备处于普通场景模式下，还可以通过判断是否处于通话状态，来确定使能哪一种均衡器对音频信号进行处理，在其中一个可选的实施例中，如图9所示，根据耳部可穿戴设备的当前模式对应的均衡器处理初始音频信号，包括：

步骤501，当当前模式为普通场景模式时，判断语音通话功能是否开启。

在本实施例中，耳部可穿戴设备在处于普通场景模式下的时候，还可以判断当前是否处于语音通话中，也即判断语音通话功能是否开启。

步骤502，若语音通话功能开启，则将第一均衡器的调制参数设置为通话调制参数，并采用通话调制参数处理初始音频信号。

步骤503，若语音通话功能未开启，则确定第一均衡器的调制参数设置为音乐调制参数，并采用音乐调制参数处理初始音频信号。

在本实施例中，耳部可穿戴设备在确定语音通话功能开启的状态下，则基于通话调制参数对第一音频信号进行均衡处理，例如，提高初始音频信号的人声清晰度；耳部可穿戴设备在确定语音通话功能未开启的情况下，则基于音乐调制参数对第一音频信号进行均衡处理，例如，提高初始音频信号的空间感，本实施例对此不做限定。

在本实施例中，耳部可穿戴设备在普通场景模式下也可以通过判断是否开启语音通话功能，来确定第一均衡器的调制参数到底为通话调制参数还是音乐调制参数，从而对初始音频信号进行更为细致的均衡处理，提高初始音频信号的音质效果，优化用户体验。

在一个实施例中，提供一种音频信号处理系统，音频信号处理系统包括耳部可穿戴设备和终端设备。

其中，耳部可穿戴设备，用于采集初始音频信号；并根据耳部可穿戴设备的当前模式对应的调制参数处理第二音频信号，将第二音频信号发送至终端设备；其中，调制参数用于对不同频率的音频信号的增益进行调节。

终端设备，用于采集第一音频信号；对第一音频信号进行语音识别处理，得到参考环境噪声信号；根据参考环境噪声信号对第二音频信号进行降噪处理，得到语音信号。

在本实施例中耳部可穿戴设备所实现的方法、终端设备所实现的方法均在上述实施例中已经说明，这里不做赘述。

可选地，本实施例提供一种耳部可穿戴设备和终端设备的交互实施例，如图11所示，包括：

步骤101，耳部可穿戴设备获取模式指令；

步骤102，耳部可穿戴设备响应模式指令，将耳部可穿戴设备设置为游戏模式；

步骤103，耳部可穿戴设备采集初始音频信号；

步骤104，耳部可穿戴设备基于游戏模式对应的调制参数对初始音频信号进行信号处理，得到上行音频信号；

步骤105，耳部可穿戴设备将上行音频信号传输至终端设备；

步骤106，终端设备采集第一音频信号；

步骤107，终端设备对第一音频信号进行语音识别处理，得到参考环境噪声信号；

步骤108，终端设备根据参考环境噪声信号对耳部可穿戴设备发送的上行音频信号进行降噪处理，得到下行语音信号；

步骤109，终端设备将下行音频信号传输至耳部可穿戴设备；

步骤110，耳部可穿戴设备基于游戏模式对应的调制参数对下行音频信号进行信号处理，得到处理后的语音信号；

步骤111，耳部可穿戴设备获取模式退出指令；

步骤112，耳部可穿戴设备响应于模式退出指令，控制耳部可穿戴设备退出游戏模式。

在本实施例中，由于耳部可穿戴设备可以基于不同模式对应的调制参数对语音信号的增益进行调节处理，信号处理之后得到的音频可以满足其对应的模式下的音质效果需求，提高了第二音频信号的音质，此外，终端设备还可以对接收到的第二音频信号进行降噪处理，进一步地提高了第二音频信号的音质，优化了用户体验。

应该理解的是，虽然图2-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图11为一个实施例的音频信号处理装置的结构框图。如图11所示，音频信号处理装置包括：

采集模块11，用于采集第一音频信号；

识别模块12，用于对第一音频信号进行语音识别处理，得到参考环境噪声信号；

处理模块13，用于根据参考环境噪声信号对耳部可穿戴设备发送的第二音频信号进行降噪处理，得到语音信号。

在其中一个可选的实施例中，第二音频信号为耳部可穿戴设备根据当前模式对应的调制参数对自身采集到初始音频信号进行处理得到的，调制参数用于对不同频率的音频信号的增益进行调节。

在其中一个可选的实施例中，当前模式为游戏模式，则调制参数为游戏调制参数。

在其中一个可选的实施例中，如图12所示，该音频信号处理装置还包括：

发送模块14，用于向耳机耳部可穿戴设备发送模式指令，模式指令用于指示将耳部可穿戴设备设置为游戏模式。

在其中一个可选的实施例中，模式指令为终端设备识别出当前应用为游戏应用时触发的指令；或者，模式指令为用户通过终端设备上的与耳部可穿戴设备连接的应用触发的指令。

在其中一个可选的实施例中，识别模块12，用于根据人工智能AI识别模型对第一音频信号进行语音识别，得到参考环境噪声信号。

在其中一个可选的实施例中，处理模块13，用于根据参考环境噪声信号确定第二音频信号中的目标环境噪声信号；对第二音频信号中的目标环境噪声信号进行衰减处理，得到语音信号。

图13为一个实施例的音频信号处理装置的结构框图。如图13所示，音频信号处理装置包括：

获取模块01，用于采集初始音频信号；

处理模块02，用于根据耳部可穿戴设备的当前模式对应的调制参数处理初始音频信号，得到第二音频信号；调制参数用于对不同频率的音频信号的增益进行调节；

发送模块03，用于将第二音频信号发送终端设备，以使终端设备根据参考环境噪声信号对第二音频信号进行降噪处理，参考环境噪声信号为终端设备对自身采集到的第一音频信号进行语音识别处理得到的。

在其中一个可选的实施例中，若当前模式为游戏模式，则调制参数为游戏调制参数。

在其中一个可选的实施例中，如图14所示，该音频信号处理装置还包括：

设置模块04，用于响应于模式指令，将耳部可穿戴设备设置为游戏模式；其中，模式设定指令为在游戏场景下触发的指令。

在其中一个可选的实施例中，如图15所示，该音频信号处理装置还包括：

指令获取模块05，用于获取通过耳部可穿戴设备上的按键触发的模式指令；或者，获取用户对耳部可穿戴设备的特定操作触发的模式指令；或者，获取通过语音信号触发的模式指令。

在其中一个可选的实施例中，指令获取模块05，还用于接收终端设备发送的模式指令；

其中，模式指令为终端设备识别出当前应用为游戏应用时触发的指令；或者，模式指令为用户通过终端设备上的与耳部可穿戴设备连接的应用触发的指令。

在其中一个可选的实施例中，指令获取模块05，还用于响应于模式退出指令，控制耳部可穿戴设备退出游戏模式。

上述音频信号处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将音频信号处理装置按照需要划分为不同的模块，以完成上述音频信号处理装置的全部或部分功能。

关于音频信号处理装置的具体限定可以参见上文中对于音频信号处理方法的限定，在此不再赘述。上述音频信号处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图16为一个实施例中电子设备的内部结构示意图。如图16所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种音频信号处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。

本申请实施例中提供的音频信号处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行音频信号处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行音频信号处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种音频信号处理方法，其特征在于，所述方法应用于终端设备，所述方法包括：

采集第一音频信号；其中，所述第一音频信号包括所述终端设备的至少一个麦克采集的用户语音信号、环境噪声信号、以及所述终端设备的扬声器输出的音频信号；

对所述第一音频信号进行前端处理得到处理后的第一音频信号；其中，所述前端处理包括以下至少一项：模数转化、增益放大、回声消除；

根据人工智能AI识别模型对所述处理后的第一音频信号进行AI降噪处理，并通过数字处理模块处理后得到参考环境噪声信号；

根据所述参考环境噪声信号确定耳部可穿戴设备发送的第二音频信号中的目标环境噪声信号，并对所述第二音频信号中的目标环境噪声信号进行衰减处理，得到语音信号。

2.根据权利要求1所述的方法，其特征在于，所述第二音频信号为所述耳部可穿戴设备根据当前模式对应的调制参数对自身采集到初始音频信号进行处理得到的，所述调制参数用于对不同频率的音频信号的增益进行调节。

3.根据权利要求2所述的方法，其特征在于，若所述当前模式为游戏模式，则所述调制参数为游戏调制参数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

向所述耳部可穿戴设备发送模式指令；所述模式指令用于指示将所述耳部可穿戴设备设置为所述游戏模式。

5.根据权利要求4所述的方法，其特征在于，所述模式指令为终端设备识别出当前应用为游戏应用时触发的指令；或者，所述模式指令为用户通过所述终端设备上的与所述耳部可穿戴设备连接的应用触发的指令。

6.一种音频信号处理方法，其特征在于，所述方法应用于耳部可穿戴设备，所述方法包括：

采集初始音频信号；

根据耳部可穿戴设备的当前模式对应的调制参数处理所述初始音频信号，得到第二音频信号；所述调制参数用于对不同频率的音频信号的增益进行调节；

将所述第二音频信号发送终端设备，以使所述终端设备根据参考环境噪声信号确定所述第二音频信号中的目标环境噪声信号，并对所述第二音频信号中的目标环境噪声信号进行衰减处理得到语音信号，所述参考环境噪声信号为所述终端设备在对自身采集到的第一音频信号进行前端处理得到处理后的第一音频信号的情况下，根据人工智能AI识别模型对所述处理后的第一音频信号进行AI降噪处理，并通过数字处理模块处理后得到的；其中，所述第一音频信号包括所述终端设备的至少一个麦克采集的用户语音信号、环境噪声信号、以及所述终端设备的扬声器输出的音频信号；所述前端处理包括以下至少一项：模数转化、增益放大、回声消除。

7.根据权利要求6所述的方法，其特征在于，若所述当前模式为游戏模式，则所述调制参数为游戏调制参数。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

响应于模式指令，将所述耳部可穿戴设备设置为所述游戏模式；其中，所述模式设定指令为在游戏场景下触发的指令。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

获取通过所述耳部可穿戴设备上的按键触发的所述模式指令；或者，

获取用户对所述耳部可穿戴设备的特定操作触发的所述模式指令；或者，

获取通过语音触发的所述模式指令。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收终端设备发送的所述模式指令；

其中，所述模式指令为所述终端设备识别出当前应用为游戏应用时触发的指令；或者，所述模式指令为用户通过所述终端设备上的与所述耳部可穿戴设备连接的应用触发的指令。

11.根据权利要求7-10中任一项所述的方法，其特征在于，所述方法还包括：

响应于模式退出指令，控制所述耳部可穿戴设备退出所述游戏模式。

12.一种音频信号处理系统，其特征在于，所述音频信号处理系统包括耳部可穿戴设备和终端设备；

所述耳部可穿戴设备，用于采集初始音频信号；根据耳部可穿戴设备的当前模式对应的调制参数处理第二音频信号，并将所述第二音频信号发送至所述终端设备；其中，所述调制参数用于对不同频率的音频信号的增益进行调节；

所述终端设备，用于采集第一音频信号；对所述第一音频信号进行前端处理得到处理后的第一音频信号；根据人工智能AI识别模型对所述处理后的第一音频信号进行AI降噪处理，并通过数字处理模块处理后得到参考环境噪声信号；根据所述参考环境噪声信号确定所述第二音频信号中的目标环境噪声信号，并对所述第二音频信号中的目标环境噪声信号进行衰减处理，得到语音信号；其中，所述第一音频信号包括所述终端设备的至少一个麦克采集的用户语音信号、环境噪声信号、以及所述终端设备的扬声器输出的音频信号；所述前端处理包括以下至少一项：模数转化、增益放大、回声消除。

13.一种音频信号处理装置，其特征在于，包括：

采集模块，用于采集第一音频信号；其中，所述第一音频信号包括终端设备的至少一个麦克采集的用户语音信号、环境噪声信号、以及所述终端设备的扬声器输出的音频信号；

第一处理模块，用于对所述第一音频信号进行前端处理得到处理后的第一音频信号；其中，所述前端处理包括以下至少一项：模数转化、增益放大、回声消除；

第二处理模块，用于根据人工智能AI识别模型对所述处理后的第一音频信号进行AI降噪处理，并通过数字处理模块处理后得到参考环境噪声信号；

第三处理模块，用于根据所述参考环境噪声信号确定耳部可穿戴设备发送的第二音频信号中的目标环境噪声信号，并对所述第二音频信号中的目标环境噪声信号进行衰减处理，得到语音信号。

14.一种音频信号处理装置，其特征在于，包括：

采集模块，用于采集初始音频信号；

处理模块，用于根据耳部可穿戴设备的当前模式对应的调制参数处理所述初始音频信号，得到第二音频信号；所述调制参数用于对不同频率的音频信号的增益进行调节；

发送模块，用于将所述第二音频信号发送终端设备，以使所述终端设备根据参考环境噪声信号确定所述第二音频信号中的目标环境噪声信号，并对所述第二音频信号中的目标环境噪声信号进行衰减处理得到语音信号，所述参考环境噪声信号为所述终端设备在对自身采集到的第一音频信号进行前端处理得到处理后的第一音频信号的情况下，根据人工智能AI识别模型对所述处理后的第一音频信号进行AI降噪处理，并通过数字处理模块处理后得到的；其中，所述第一音频信号包括所述终端设备的至少一个麦克采集的用户语音信号、环境噪声信号、以及所述终端设备的扬声器输出的音频信号；所述前端处理包括以下至少一项：模数转化、增益放大、回声消除。

15.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的音频信号处理方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的音频信号处理方法。

Images