CN117714581A - 音频信号的处理方法和电子设备 - Google Patents

Abstract

本申请实施例提供了一种音频信号的处理方法和电子设备，该方法应用于电子设备，电子设备包括N个目标音频播放器件，N为大于或等于2的整数，该方法包括：获取目标音频信号，目标音频信号为需要通过N个目标音频播放器件播放的音频信号；根据目标音频信号，生成掩蔽信号；对目标音频信号和掩蔽信号分别进行声场控制处理之后进行叠加处理，得到与N个目标音频播放器件一一对应的N路待播放信号；通过N个目标音频播放器件分别播放对应的待播放信号；待播放信号在第一空间区域形成的声场的能量大于待播放信号在第二空间区域形成的声场的能量，第一空间区域相较于第二空间区域更靠近目标音频播放器件。该方法能够保护用户隐私，提高用户体验。

Description

音频信号的处理方法和电子设备

技术领域

本申请涉及电子技术领域，具体涉及一种音频信号的处理方法和电子设备。

背景技术

通过手机等电子设备等通话，是人们生活中常见的应用场景。然而，在通话过程中，手机漏音会造成用户的谈话内容泄露，不利于用户的隐私保护。

发明内容

本申请提供了一种音频信号的处理方法和电子设备，能够减小漏音，保护用户隐私，提高用户体验。

第一方面，本申请提供一种音频信号的处理方法，应用于电子设备，电子设备包括N个目标音频播放器件，N为大于或等于2的整数，该方法包括：获取目标音频信号，目标音频信号为需要通过N个目标音频播放器件播放的音频信号；根据目标音频信号，生成掩蔽信号；对目标音频信号和掩蔽信号分别进行声场控制处理之后进行叠加处理，得到与N个目标音频播放器件一一对应的N路待播放信号；通过N个目标音频播放器件分别播放对应的待播放信号；待播放信号在第一空间区域形成的声场的能量大于待播放信号在第二空间区域形成的声场的能量，其中，第一空间区域相较于第二空间区域更靠近N个目标音频播放器件。

可选的，电子设备结构和音频系统设置的不同，目标音频播放器件可以不同。在一个具体的实施例中，电子设备包括受话器(即听筒)和扬声器，扬声器用于在免提或是下播放音频，受话器用于在手持模式下播放音频。这种情况下，目标音频播放器件为受话器。在另一个具体的实施例中，电子设备仅包括扬声器，扬声器既用于在手持模式下播放音频，又用于在听免提模式下播放音频。这种情况下，目标音频播放器件为扬声器。

可选的，目标音频信号可以为通话应用输出的通话下行信号，也可以为即时通讯应用输出的语音音频信号，还可以为其他应用输出的音频信号，例如录音应用输出的录音音频信号等。本申请实施例对于目标音频信号的具体来源不做任何限定。

可选的，第一空间区域可以为耳内区域，第二控件区域可以为漏音区域。

本申请第一方面提供的音频信号的处理方法，基于目标音频信号生成掩蔽信号，并对目标音频信号和掩蔽信号分别进行声场控制处理之后进行叠加处理，得到的N路待播放信号；N路待播放信号通过N个目标音频播放器件播放后，在第一空间区域形成的声场的能量大于待播放信号在第二空间区域形成的声场的能量，由于第一空间区域相较于第二空间区域更靠近N个目标音频播放器件，用户使用电子设备收听音频(例如接听电话)时，相较于周围的人更靠近目标音频播放器件，因而，周围人听到的声音(即漏音)相较于用户听到声音较小，所以能够减小漏音，保护用户隐私，提高用户体验。另外，掩蔽信号能够对目标音频信号进行心理学掩蔽，降低声音可懂度，因而能够进一步保护用户隐私，提高用户体验。

一种可能的实现方式中，第一空间区域为N个目标音频播放器件周围预设范围内的空间区域，第二空间区域与第一空间区域不重叠，且第二空间区域位于第一空间区域远离电子设备的一侧。

第一空间区域可以为耳内区域，即：电子设备的目标音频播放器件靠近人耳时，电子设备周围包含人耳耳道及耳朵周围预设范围的区域。第二空间区域可以为漏音区域，即：第一空间区域周围，远离电子设备一侧的区域。

也就是说，待播放信号在耳内区域形成的声场(即耳内声场)的能量大于待播放信号在漏音区域形成的声场(即漏音声场)的能量，这样，周围人听到的声音小于用户听到的声音，减小漏音，保护用户隐私，提高用户体验。

一种可能的实现方式中，对目标音频信号和掩蔽信号分别进行声场控制处理之后进行叠加处理，得到与N个目标音频播放器件一一对应的N路待播放信号，包括：对目标音频信号进行第一声场控制处理，得到与N个目标音频播放器件一一对应的N路目标输出信号，目标输出信号在第一空间区域形成的声场的能量大于在第二空间区域形成的声场的能量；对掩蔽信号进行第二声场控制处理，得到与N个目标音频播放器件一一对应的N路掩蔽输出信号，掩蔽输出信号在第二空间区域形成的声场的能量大于在第一空间区域形成的声场的能量；将各个目标音频播放器件对应的目标输出信号与对应的掩蔽输出信号叠加，得到与N个目标音频播放器件一一对应的N路待播放信号。

该实现方式中，一方面，通过对目标音频信号进行声场控制，使目标音频信号最终在第一空间区域形成的声场的能量大于在第二空间区域形成的声场的能量。如此，减小漏音，保护用户隐私，提高用户体验。另一方面，通多对掩蔽信号进行声场控制，使掩蔽信号最终在在第二空间区域形成的声场的能量大于在第一空间区域形成的声场的能量。如此，对第一空间区域的目标音频信号进行较小程度的心理声学掩蔽，对第二空间区域的目标音频信号进行较大程度的心理学掩蔽，从而在降低第二空间区域声音可懂度的同时，尽可能减小对第一空间区域的影响，也即，在保护用户隐私的同时，减小对用户听感的影响，提高用户体验。

一种可能的实现方式中，电子设备包括第一滤波器组和第二滤波器组；对目标音频信号进行第一声场控制处理，得到与N个目标音频播放器件一一对应的N路目标输出信号，包括：通过第一滤波器组，对目标音频信号进行第一声场控制处理，得到N路目标输出信号；对掩蔽信号进行第二声场控制处理，得到与N个目标音频播放器件一一对应的N路掩蔽输出信号，包括：通过第二滤波器组，对掩蔽信号进行第二声场控制处理，得到N路掩蔽输出信号。

也即，第一滤波器组为用于对目标音频信号进行声场控制的滤波器组，第二滤波器组为用于对掩蔽信号进行声场控制的滤波器组。第一滤波器组中包括N个与目标音频播放器件一一对应的第一滤波器。第二滤波器组中包括N个与目标音频播放器件一一对应的第二滤波器。

一种可能的实现方式中，第一滤波器组是将第一空间区域作为亮区，将第二空间区域作为暗区，进行声场控制测试或仿真，最大化亮区和暗区的声场能量比并求解滤波器系数生成的滤波器组；第二滤波器组是将第二空间区域作为亮区，将第一空间区域作为暗区，进行声场控制测试或仿真，最大化亮区和暗区的声场能量比并求解滤波器系数生成的滤波器组。

也就是说，第一滤波器组和第二滤波器组在求解生成时，对亮区和暗区进行了对调。这样生成的第一滤波器组能够使目标音频信号在第一空间区域形成的生成的声场(目标音频信号的耳内声场)的能量较大，目标音频信号在第二空间区域形成的生成的声场(掩蔽信号的漏音声场)的能量较小；这样生成的第二滤波器组能够使掩蔽信号在第一空间区域生成的声场(掩蔽信号的耳内声场)的能量较小，掩蔽信号在第二空间区域生成的声场(掩蔽信号的漏音声场)的能量较大。如此，目标音频信号与掩蔽信号叠加后，最终输出的声音的耳内声场可懂度不受影响，而漏音声场的可懂度降低，从而使用户的听感不受影响的情况下有效保护用户隐私，提高用户体验。

一种可能的实现方式中，掩蔽信号与目标音频信号的频谱一致。这样，掩蔽信号对目标音频信号的掩蔽效果更好，对用户隐私的保护效果也更好。

一种可能的实现方式中，根据目标音频信号，生成掩蔽信号，包括：根据目标音频信号，生成与目标音频信号频谱一致的初始掩蔽信号；对初始掩蔽信号进行频谱校正，得到掩蔽信号。

该实现方式中，对初始掩蔽信号进行频谱校正后生成掩蔽信号，再对掩蔽信号进行声场控制，这样能够对声场控制时的频谱失真进行校正，提高掩蔽效果，进而提高最终隐私保护的效果。

一种可能的实现方式中，根据目标音频信号，生成与目标音频信号频谱一致的初始掩蔽信号，包括：缓存时长为预设掩蔽帧长的目标音频信号，得到当前帧待掩蔽信号；对当前帧待掩蔽信号加窗处理后进行时间反转，得到当前帧反转信号；获取上一帧反转信号，上一帧反转信号是指当前帧反转信号之前最近的一帧反转信号；将当前帧反转信号与上一帧反转信号叠加，得到当前帧基础掩蔽信号；根据预设能量比阈值和当前帧待掩蔽信号的能量，调整当前帧基础掩蔽信号的能量，得到当前帧初始掩蔽信号。

可选的，预设掩蔽帧长大于目标音频信号的帧长，例如预设掩蔽帧可以为50ms至300ms之间的值。

该实现方式中，对目标音频信号进行实时处理，得到初始掩蔽信号，使最终得到的掩蔽信号与目标音频信号的频谱一致性更高，提高掩蔽信号的掩蔽效果，从而提高隐私保护的效果。而且，将当前帧反转信号与上一帧反转信号叠加，能够提高得到的当前基础掩蔽信号的平滑性，进而提高最终得到的掩蔽信号的平滑性。

一种可能的实现方式中，根据预设能量比阈值和当前帧待掩蔽信号的能量，调整当前帧基础掩蔽信号的能量，得到当前帧初始掩蔽信号，包括：调整当前帧基础掩蔽信号的能量，得到当前帧掩蔽调整信号，当前帧待掩蔽信号与当前帧掩蔽调整信号的能量比等于预设能量比阈值；分别确定当前帧待掩蔽信号与当前帧掩蔽调整信号中是否存在有效信号；若当前帧待掩蔽信号中不存在有效信号，则降低当前帧掩蔽调整信号的幅值，得到当前帧初始掩蔽信号，或者，将0或空值作为当前帧初始掩蔽信号；若当前帧待掩蔽信号中存在有效信号，且当前帧掩蔽调整信号中不存在有效信号，则从预设的掩蔽信号库中获取预设信号，根据当前帧待掩蔽信号的频谱调整预设信号的频谱，得到当前帧初始掩蔽信号。

该实现方式中，若当前帧待掩蔽信号中不存在有效信号，则降低当前帧掩蔽调整信号的幅值，得到当前帧初始掩蔽信号，或者，将0或空值作为当前帧初始掩蔽信号，后续不对待掩蔽帧信号进行掩蔽。如此，防止对无声音或者声音较小的信号的目标音频信号进行过度掩蔽，防止影响用户听感。若当前帧待掩蔽信号中存在有效信号，且当前帧掩蔽调整信号中不存在有效信号，则从预设的掩蔽信号库中获取预设信号，根据当前帧待掩蔽信号的频谱调整预设信号的频谱，得到当前帧初始掩蔽信号。当前帧掩蔽调整信号不存在有效信号，说明该信号为无声信号或声音较小的信号，该信号无法对待掩蔽帧信号进行有效掩蔽。因而，从预设的掩蔽信号库中直接获取预设信号，将该预设信号的频谱调整至与当前帧待掩蔽信号的频谱一致，得到当前帧初始掩蔽信号。这样能够防止无效掩蔽现象的出现，提高掩蔽效果。

一种可能的实现方式中，分别确定当前帧待掩蔽信号与当前帧掩蔽调整信号中是否存在有效信号，包括：确定当前帧待掩蔽信号的能量是否大于或等于第一能量阈值；若当前帧待掩蔽信号的能量大于或等于第一能量阈值，则确定当前帧待掩蔽信号中存在有效信号；若当前帧待掩蔽信号的能量小于第一能量阈值，则确定当前帧待掩蔽信号中不存在有效信号；确定当前帧掩蔽调整信号的能量是否大于或等于第二能量阈值；若当前帧掩蔽调整信号的能量大于或等于第二能量阈值，则确定当前帧掩蔽调整信号中存在有效信号；若当前帧掩蔽调整信号的能量小于第二能量阈值，则确定当前帧掩蔽调整信号中不存在有效信号。

一种可能的实现方式中，根据目标音频信号，生成掩蔽信号，包括：从预设的掩蔽信号库中获取预设信号；根据目标音频信号的频谱调整预设信号的频谱，得到掩蔽信号。

该实现方式中，从预设的掩蔽信号库中获取信号生成掩蔽信号，能够简单、快速地得到掩蔽信号，简化算法。

第二方面，本申请提供一种装置，该装置包含在电子设备中，该装置具有实现上述第一方面及上述第一方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，接收模块或单元、处理模块或单元等。

第三方面，本申请提供一种电子设备，电子设备包括：处理器、存储器和接口；处理器、存储器和接口相互配合，使得电子设备执行第一方面的技术方案中任意一种方法。

第四方面，本申请提供一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法。

可选的，芯片还包括存储器，存储器与处理器通过电路或电线连接。

进一步可选的，芯片还包括通信接口。

第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得该处理器执行第一方面的技术方案中任意一种方法。

第六方面，本申请提供一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码在电子设备上运行时，使得该电子设备执行第一方面的技术方案中任意一种方法。

附图说明

图1是本申请实施例提供的一例电子设备100的结构示意图；

图2是本申请实施例提供的一例电子设备100的音频系统架构图；

图3是本申请实施例提供的一例音频信号的处理方法的流程示意图；

图4是本申请实施例提供的一例音频信号的处理方法的原理示意图；

图5是本申请实施例提供的另一例音频信号的处理方法的流程示意图；

图6是本申请实施例提供的又一例音频信号的处理方法的流程示意图；

图7是本申请实施例提供的一例声场采样点分布示意图；

图8是本申请实施例提供的一例第一滤波器组和第二滤波器组在求解生成时的声场对应关系图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本申请说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

为更好地理解本申请实施例，以下对实施例中可能涉及的术语或概念进行解释说明。

声场(sound field)，是指有声波存在的弹性媒质所占有的空间，也即有声波在其中传播的那部分媒质范围。

声场控制，是指通过调控各个音频播放器件的输入信号的幅值和相位进行空间声场重放，或者控制空间声场分布模式。

TMR，是目标信号与掩蔽信号的能量比(target-to-masker ratio，缩写为TMR)。

本申请实施例提供的音频信号的处理方法可以应用于手机、平板电脑、可穿戴设备、个人数字助理(personal digital assistant，PDA)等具有听筒(受话器)和/或扬声器的电子设备上。或者，本申请实施例提供的音频信号的处理方法还可以应用于耳机等音频播放设备上。本申请实施例对电子设备的具体类型不作任何限制，以下主要以手机为例进行说明。

示例性的，图1是本申请实施例提供的一例电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，音频处理器(audio signalprocessor，ADSP)，基带处理器，和/或神经网络处理器(neural-network processingunit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频播放器件(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及ADSP等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A播放音乐，或播放免提通话或语音信息，也即在免提模式下播放音频。可选的，扬声器170A也可以用于在手持模式下播放音频。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100在手持模式下接听电话或语音信息时，用户可以通过将受话器170B靠近人耳接听语音。即，受话器170B可以用于在手持模式下播放音频。

可以理解，在一些实施例中，电子设备100也可以不包括受话器170B，仅包括扬声器170。这种情况下，扬声器170A可以既可以用于在手持模式下播放音频，又可以用于在听免提模式下播放音频。这种扬声器也称为“二合一扬声器”。

本申请实施例中，能够用于在手持模式下播放音频的扬声器170A和/或受话器170B的数量为至少两个。至少两个扬声器170A和/或受话器170B位于电子设备100的不同位置。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

图2是本申请实施例的一例电子设备100的音频系统架构图。应理解，系统的分层架构可以包括若干个层，每一层都有清晰的角色和分工，且层与层之间通过软件接口通信。

本申请实施例中，将基于Android系统的音频(Audio)架构称为“Android音频系统架构”、或“Android音频框架”，后续简称为“音频系统”。具体地，该音频系统能够实现音频数据的采集和输出、音频流的控制、音频设备的管理、音量调节等功能。

应理解，电子设备100可以基于音频系统，播放不同应用的音频。该音频系统对外的播放接口是音轨(Audiotrack)，每一个应用会在应用程序框架层创建一个对应的Audiotrack，每一个Audiotrack可以进一步调用音频系统引擎(Audio Flinger)，以实现音频播放。下面结合图2进行详细说明。

示例性的，如图2所示，本申请实施例的Android音频系统架构从上至下，包括应用程序层、应用程序框架层(framework)、硬件抽象层和内核层。

如图2所示，应用程序层可以包括一系列应用程序包。例如通话、即时通讯、音乐等应用程序对应的应用程序包。其中，即时通讯应用例如可以为等。

应用程序框架层可以为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架，即“音频系统框架”。应用程序框架层还可以包括一些预先定义的函数、类或接口。

如图2所示，在本申请实施例中，应用程序框架层可以进一步被划分为Java层和本地(Native)层。具体地，Java层可以包括Java类应用程序的编程接口(applicationprogramming interface，API)，换言之，Java层可以包括多种不同的应用程序对应的JavaAPI，用于控制音频流的回放，例如通话应用的Java API、即时通讯应用的Java API和音乐的Java API等。

Native层包括各个应用对应的Audio track、音频系统引擎(Audio Flinger)和音频策略服务(Audio Policy Service)。Native层可以解析并编译rc文件。示例性的，当用户接通通话，触发启动音频系统，具体的，触发启动该音频系统的一个音频服务(Audioserver)。音频服务的文件为audioserver.rc文件。Native层可以解析audioserver.rc文件，并可以将audioserver.rc文件编译成音频可执行程序。每一个应用可以在Native层创建一个对应的Audio track，该Audio track可以输出解码后的音频数据。

在该音频系统启动时，音频服务可以加载音频系统引擎。在该过程中，音频服务可以分别调用该音频系统引擎和音频策略服务，并对音频系统引擎和音频策略服务进行初始化。

应理解，音频策略服务与音频系统引擎是该音频系统的两大基本服务。其中，音频策略服务是音频系统策略的制定者，负责音频设备切换的策略抉择、音量调节策略等，例如音频策略服务可以起到路由的作用，它有权决定某一个Audio Track所产生的音频流最终会传输到哪个音频播放器件(扬声器、听筒或耳机等)。例如，本申请实施例中，音频决策服务根据用户在通话应用中的选择，确定通话模式为手持模式时，决策音频播放器件为用于在手持模式下播放音频的扬声器和/或受话器(以下称为目标音频播放器件)，则通话应用对应的Audio Track所产生的音频流最终传输至目标音频播放器件。

音频系统引擎是该音频系统播放音频策略的执行者，负责管理输入音频流的设备、管理输出音频流的设备，以及音频模式的切换、音频参数的加载、音频流数据的处理传输等。音频系统引擎初始化的过程中，可以获取该音频系统的初始化默认音量参数，例如获取包括通话流、系统流、铃声流、警告流(闹钟)、通知流、拨号按键流等分别对应的音量等级。

应理解，音频策略服务初始化的过程中，可以解析出了设置中的音频配置，并利用音频系统引擎提供的接口完成了整个音频系统的部署，从而为后面上层应用使用音频设备提供了底层支撑。

还应理解，音频策略服务才是真正调用音频系统引擎的地方，音频策略服务可以通过粘合剂(Binder)机制调用音频系统引擎里面的函数，即调用音频系统引擎接口。

示例性的，在本申请实施例中，当某一个应用程序输出音频流时，该音频流包括的音频信号都可以被标识为某种流类型，并通过该应用程序对应的Audio track向音频系统引擎输出解码后的音频流数据。音频系统引擎可以根据音频流类型，加载对应于该音频流类型的音量。

本申请实施例中，音频系统引擎还可以根据音频决策服务的决策结果，在确定语音的输出模式为手持模式时，对相应的Audio track输出的音频信号进行声场控制和心理声学掩蔽处理，以向各个扬声器和/或受话器输出不同参数(例如幅值和相位)的音频信号。

具体的，参见图2，音频系统引擎可以包括掩蔽生成模块、频谱校正模块、声场控制模块和音频叠加模块。掩蔽生成模块用于根据目标音频信号生成初始掩蔽信号。频谱校正模块用于对初始掩蔽信号进行频谱校正，得到掩蔽信号。可选的，频谱校正模块可以通过有限脉冲响应(finite impulse response，FIR)滤波器或无限脉冲响应(infinite impulseresponse，IIR)滤波器等实现。

声场控制模块用于对目标音频信号和掩蔽信号分别进行声场控制。目标音频信号是指需要通过目标音频播放器件输出的音频信号。可选的，目标音频信号可以为通话应用输出的通话下行信号，也可以为即时通讯应用输出的语音音频信号，还可以为其他应用输出的音频信号，例如录音应用输出的录音音频信号等。本申请实施例对于目标音频信号的具体来源不做任何限定。

声场控制模块用于基于目标音频播放器件的分布位置，分区域对目标音频信号和掩蔽信号的声场分别进行控制。具体的，声场控制模块可以包括第一滤波器组和第二滤波器组。第一滤波器组包括N个第一控制滤波器。第二滤波器组中分别包括N个第二控制滤波器。其中，N为图1中所示的目标音频播放器件的数量，N为大于或等于2的整数。N个第一控制滤波器与N个第二控制滤波器一一对应，并与N个目标音频播放器件一一对应。N个第一控制滤波器用于对目标音频信号分别进行处理，输出N路不同参数的目标输出信号，实现对目标音频信号的声场控制。第二滤波器组中的N个控制滤波器用于对掩蔽信号分别进行处理，输出N路不同参数的掩蔽输出信号，实现对掩蔽信号的声场控制。

音频叠加模块用于将每一个第一控制滤波器输出的目标音频信号与对应的第二控制滤波器输出的掩蔽输出信号叠加，得到一路待播放信号。每一路待播放信号最终由对应的目标音频播放器件播放。

可以理解的是，本申请实施例中，频谱校正模块、声场控制模块、音频叠加模块等可以为软件模块，也可以为软件与硬件结合的模块，本申请实施例对此不做任何限定。

如图2所示，在本申请实施例中，硬件抽象层可以包括音频硬件抽象层(Audiohardware abstraction layer，Audio HAL)。该音频硬件抽象层可以负责与音频硬件设备的交互，该音频硬件抽象层可以由音频系统引擎直接调用。

该音频硬件抽象层可以选择该类型的音频流的音频硬件设备，并访问内核层的该硬件设备的驱动程序，从而驱动该音频硬件设备按照音频系统引擎加载的对应于该音频流类型的音量进行播放。

内核层是硬件和软件之间的层。内核层至少包含音频驱动等。具体的，音频驱动可以包括听筒驱动、扬声器驱动、耳机接口驱动等。其中，听筒驱动可以包括1个，也可以包括多个。听筒驱动可以包括1个时，由该1个听筒驱动可以包括1个驱动至少两个听筒。听筒驱动包括多个时，可以由1个听筒驱动负责驱动1个听筒。本申请实施例对此不做任何限定。

此外，该音频系统还可以包括该电子设备100的音频硬件设备，该音频硬件设备可以被内核层的相应的驱动程序调用。手机的扬声器、听筒等硬件设备基于音频系统引擎加载的音量进行播放。

其中，电子设备100的音频硬件设备可以包括图1中示出的扬声器170A和/或听筒(受话器170B)、通过耳机接口170D连接的有线耳机等能够播放音频的播放器件，本申请实施例对此不作限定。

为了便于理解，本申请以下实施例将以具有图1和图2所示结构的电子设备为例，结合附图，以通话场景为例，对本申请实施例提供的音频信号的处理方法进行具体阐述。

图3是本申请实施例提供的一例音频信号的处理方法的流程示意图，图4是本申请实施例提供的一例音频信号的处理方法的原理示意图，请一并参见图3和图4，该方法包括：

S101、通话应用向音频系统引擎中的声场控制模块和掩蔽生成模块输出通话下行信号。

通话下行信号也即通话应用接收到对端设备传输的音频信号。通话应用在应用程序框架层创建一个对应的Audio track。在通话过程中，通话应用对应的Audio track调用音频系统引擎，将通话下行信号输出至音频系统引擎。具体的，通话应用可以将通话下行信号分别输出至音频系统引擎中的声场控制模块和掩蔽生成模块。

可以理解，通话下行信号为音频流，通话应用可以逐帧向声场控制模块输出该信号。在一个具体的实施例中，通话下行信号的帧长例如可以为1ms或20ms等。

S102、声场控制模块中的第一滤波器组对通话下行信号进行声场控制，得到N路下行输出信号。

可以理解，用户使用目标音频播放器件通话时，声场可以分为耳内声场和漏音声场。耳内声场也称为耳道声场、目标声场等，是指用户耳道及周围预设范围的声场。漏音声场也称为耳外声场，是指耳内声场之外(远离目标音频播放器件的一侧)的声场。本申请实施例中，耳内声场的声音是需要被用户听到的声音，即用户感兴趣的声音，也即耳内声场声音的可懂度要尽可能高。漏音声场的声音为漏音，为不期望被周围的人听到的声音，也即漏音声场声音的可懂度要尽可能低。

基于此，本申请实施例中，预先将电子设备周围的区域划分为耳内区域(也称为第一空间区域)和漏音区域(也称为第二空间区域)。耳内区域即为耳内声场对应的区域，即电子设备的目标音频播放器件周围预设范围内的区域。漏音区域即为漏音声场对应的区域，即耳内区域之外(远离目标音频播放器件的一侧)的区域。可以理解，耳内区域与漏音区域的具体范围可以根据实际需要划分。

声场控制模块对耳内区域和漏音区域进行分区域声场控制。该步骤中，第一滤波器组是将耳内区域作为亮区，将漏音区域作为暗区，进行声场控制测试或仿真，最大化亮区和暗区的能量比求解滤波器系数生成的滤波器组。第一滤波器组能够对通话下行信号进行声场控制，使耳内区域尽可能产生能量较大的通话下行信号声场，使漏音区域尽可能产生能量小的通话下行信号声场。也就是说，第一滤波器组控制通话下行信号的声场，使通话下行信号在耳内区域形成的耳内声场与在漏音区域形成的漏音声场的能量比尽可能大。如此，使用户听到的通话声音可懂度和清晰度高，而使周围人听到的通话声音可懂度和清晰度低，有效防止漏音，保护用户通话隐私。

具体的，参见图4，声场控制模块包括第一滤波器组和第二滤波器组。第一滤波器组包括N个第一控制滤波器：第一控制滤波器1、第一控制滤波器2……第一控制滤波器N。第二滤波器组包括N个第二控制滤波器：第二控制滤波器1、第二控制滤波器2……第二控制滤波器N。其中，第一控制滤波器1与第二控制滤波器1对应，为目标音频播放器件1对应的控制滤波器，用于对输入目标音频播放器件1的音频信号的幅值和相位等进行控制。第一控制滤波器2与第二控制滤波器2对应，为目标音频播放器件2对应的控制滤波器，用于对输入目标音频播放器件2的音频信号的幅值和相位等进行控制……第一控制滤波器N与第二控制滤波器N对应，为目标音频播放器件N对应的控制滤波器，用于对输入目标音频播放器件N的音频信号的幅值和相位等进行控制。

参见图4，通话应用可以将通话下行信号分别输入第一滤波器组中的各个第一控制滤波器，其中，第一控制滤波器1对通话下行信号处理后得到的信号称为下行输出信号1，第一控制滤波器2对通话下行信号处理后得到的信号称为下行输出信号2……第一控制滤波器N对通话下行信号处理后得到的信号称为下行输出信号N。

也就是说，第一滤波器组中的N个第一控制滤波器用于对通话下行信号进行声场控制，使不同的目标音频播放器件最终输出的通话下行信号的参数(包括幅值、相位)等不同，从而使通话下行信号的耳内声场与漏音声场的能量比尽可能大。

S103、声场控制模块将N路下行输出信号分别输出至音频叠加模块。

S104、掩蔽生成模块根据通话下行信号生成初始掩蔽信号，初始掩蔽信号的频谱与通话下行信号的频谱一致。

可选的，掩蔽生成模块可以从预设的掩蔽信号库中获取预设信号，并根据通话下行信号调整预设信号的频谱，得到初始掩蔽信号。可选的，预设的掩蔽信号库中的预设信号例如可以为白噪音、音乐或海浪音等，本申请实施例对此不做任何限定。

可选的，掩蔽生成模块也可以对通话下行信号进行处理后生成初始掩蔽信号，具体的将在后续实施例中进行进一步详细说明。

可以理解，本申请实施例中，频谱一致可以是频谱完全相同，也可以是频谱相关性高于预设的阈值。

S105、掩蔽生成模块将初始掩蔽信号输出至频谱校正模块。

S106、频谱校正模块对初始掩蔽信号进行频谱校正，得到掩蔽信号。

S107、频谱校正模块将掩蔽信号输出至声场控制模块。

S108、声场控制模块中的第二滤波器组对掩蔽信号进行声场控制，得到N路掩蔽输出信号。

该步骤中，第二滤波器组是将漏音区域作为亮区，将耳内区域作为暗区，进行声场控制测试或仿真，最大化亮区和暗区的声场能量比并求解滤波器系数生成的滤波器。也就是说，第二滤波器组在声场控制时，将第一滤波器组对应的亮暗区对调。这样，第二滤波器组对掩蔽信号进行声场控制，能够使耳内区域尽可能产生能量较小的掩蔽信号声场，使漏音区域尽可能产生能量小的掩蔽信号声场。也即，第二滤波器组控制掩蔽信号的声场，使掩蔽信号的漏音声场与耳内声场的能量比尽可能大。如此，最终掩蔽信号对耳内区域的通话下行信号的掩蔽力度较小，不影响用户听到的通话声音的可懂度和清晰度，而掩蔽信号对漏音区域的通话下行信号的掩蔽力度更大，有效降低漏音区域声音的可懂度和清晰度低，从而有效防止漏音，保护用户通话隐私。

具体的，参见图4，频谱校正模块可以将掩蔽信号分别输入第二滤波器组中的各个第二控制滤波器，其中，第二控制滤波器1对掩蔽信号处理后得到的信号称为掩蔽输出信号1，第二控制滤波器2对掩蔽信号处理后得到的信号称为掩蔽输出信号2……第二控制滤波器N对掩蔽信号处理后得到的信号称为掩蔽输出信号N。

也就是说，第二滤波器组中的N个第二控制滤波器用于对掩蔽信号进行声场控制，使不同的目标音频播放器件最终输出的掩蔽信号的参数(包括幅值、相位)等不同，从而使掩蔽信号在漏音区域形成的漏音声场与掩蔽信号在耳内区域形成的耳内声场的能量比尽可能大。

S109、声场控制模块将N路掩蔽输出信号分别输出至音频叠加模块。

S110、音频叠加模块将各路下行输出信号与对应的掩蔽输出信号叠加，得到各个目标音频播放器件对应的待播放信号。

如上所述，N个第一控制滤波器与N个第二控制滤波器一一对应。因而，N路下行输出信号与N路掩蔽输出信号一一对应。

具体的，参见图4，音频叠加模块将下行输出信号1与屏蔽输出信号1叠加，得到目标音频播放器件1对应的待播放信号1；将下行输出信号2与屏蔽输出信号2叠加，得到目标音频播放器件2对应的待播放信号2……下行输出信号N与屏蔽输出信号N叠加，得到目标音频播放器件N对应的待播放信号N。

可以理解，声场控制模块对于通话下行信号和掩蔽信号可以逐帧处理，而音频叠加模块一次可以对多帧信号进行叠加。具体的，掩蔽信号的帧长一般大于通话下行信号，可以为通话下行信号的n倍，n为正整数。因而屏蔽输出信号的帧长为下行输出信号的帧长的n倍。音频叠加模块在叠加信号时，将n帧通话下行信号对应的下行输出信号与该n帧通话下行信号对应的掩蔽输出信号进行叠加。例如，将第1帧至第50帧通话下行信号对应的下行输出信号，与第1帧至第50帧通话下行信号对应的掩蔽输出信号进行叠加，得到待播放信号。

如上所述，第一滤波器组使得通话下行信号在耳内区域形成的耳内声场与在漏音区域形成的漏音声场的能量比尽可能大，也即，通话下行信号形成的耳内声场的能量大于通话下行信号形成的漏音声场的能量。第二滤波器组使得掩蔽信号在漏音区域形成的漏音声场与掩蔽信号在耳内区域形成的耳内声场的能量比尽可能大，也即，掩蔽信号形成的耳内声场的能量小于掩蔽信号形成的漏音声场的能量。因此，将通话下行信号与掩蔽信号叠加后得到的待播放信号，其在耳内区域形成的声场的能量远大于在漏音区域形成的声场的能量。如此，能够保证用户耳道内的听感，降低漏音可懂度，保护用户隐私。

S111、音频叠加模块将各路待播放信号输出至音频硬件抽象层。

S112、音频硬件抽象层访问内核层对应目标音频播放器件的驱动程序，从而驱动各个目标音频播放器件播放对应的待播放信号。

具体的，参见图4，目标音频播放器件1播放待播放信号1；目标音频播放器件2播放待播放信号2……目标音频播放器件N播放待播放信号N。

总而言之，本申请实施例提供的音频信号的处理方法，一方面通过声场控制模块对通话下行信号进行声场控制，使通话下行信号的耳内声场与通话下行信号的漏音声场的能量比尽可能大。如此，减小漏音，保护用户隐私，提高用户体验。另一方面，生成掩蔽信号，并通过声场控制模块对掩蔽信号进行声场控制，使掩蔽信号的漏音声场与掩蔽信号的耳内声场的能量比尽可能大。如此，对耳内区域的通话下行信号进行较小程度的心理声学掩蔽，对漏音区域的通话下行信号进行较大程度的心理学掩蔽，从而在降低漏音区域声音可懂度的同时，尽可能减小对耳内区域的影响，也即，在保护用户隐私的同时，减小对用户听感的影响，提高用户体验。第三方面，由于声场控制时，第二控制滤波器会引入频谱失真，因而本实施例中，对初始掩蔽信号进行频谱校正后生成掩蔽信号，再将掩蔽信号输入声场控制模块，这样能够对声场控制时的频谱失真进行校正，提高掩蔽效果，进而提高最终隐私保护的效果。

可选的，在一些实施例中，对初始掩蔽信号的频谱校正也可以在声场控制之后进行，本申请实施例对此不做任何限定。

可以理解，电子设备执行上述步骤的顺序可以不作限定，例如，在一个具体的实施例中，上述步骤S102与上述S103至S108可以同时执行。

下面对初始掩蔽信号的生成过程进行说明。

示例性的，图5为本申请实施例提供的另一例音频信号的处理方法的流程示意图。如图5所示，上述步骤“S104、掩蔽生成模块根据通话下行信号生成初始掩蔽信号”可以包括下述步骤。下述步骤的执行主体为掩蔽生成模块，不再赘述。

S201、缓存时长为预设掩蔽帧长的通话下行信号，得到当前帧待掩蔽信号。

预设掩蔽帧长也即最终生成的掩蔽信号的帧长。可选的，预设掩蔽帧长可以大于50ms小于300ms，如此能够使掩蔽信号具有较好的掩蔽效果。

具体的，掩蔽生成模块从接收到通话应用输出的通话下行信号开始，按照预设掩蔽帧长缓存通话下行信号，缓存的每一段时长为预设掩蔽帧长的通话下行信号称为一帧待掩蔽信号。为了便于区分，本申请实施例中，将距离当前时刻最近的一次缓存得到的一帧待掩蔽信号称为当前帧待掩蔽信号。将当前帧待掩蔽信号之前的最近一帧待掩蔽信号称为前一帧待掩蔽信号(或称为上一帧待掩蔽信号)。

如上所述，通话应用可以逐帧将通话下行信号输出至掩蔽生成模块，通话下行信号的帧长例如可以为1ms、20ms等。以通话下行信号的帧长为1ms，预设掩蔽帧长为50ms为例，掩蔽生成模块按照预设掩蔽帧长缓存通话下行信号，每缓存50ms(即50帧)的通话下行信号后，得到一段时长为50ms的通话下行信号，该50ms的通话下行信号称为一帧待掩蔽信号。

可以理解，当前帧待掩蔽信号也即同时输入声场控制模块中第一滤波器组的信号，实质为最终掩蔽信号需要掩蔽的信号，也即目标音频信号，也称为当前待掩蔽帧信号。

S202、对当前帧待掩蔽信号加窗处理后进行时间反转，得到当前帧反转信号。

可选的，加窗处理时可以采用汉明窗、矩形窗或汉宁窗等，本申请实施例对此不做任何限定。

对待掩蔽信号加窗处理并进行时间反转后得到的信号称为反转信号。为了便于区分，对当前帧待掩蔽信号加窗处理和时间反转后得到的信号称为当前帧反转信号，对前一帧待掩蔽信号加窗处理和时间反转后得到的信号称为前一帧反转信号(或称为上一帧反转信号)。

S203、将当前帧反转信号与前一帧反转信号进行叠加，得到当前帧基础掩蔽信号。

该步骤中，将当前帧反转信号与前一帧反转信号叠加，能够提高得到的基础掩蔽信号的平滑性，进而提高最终得到的掩蔽信号的平滑性。

可选的，当前帧反转信号为首帧反转信号时，可以默认前一帧反转信号为0，叠加得到当前帧基础掩蔽信号。

S204、根据预设TMR阈值(也称为预设能量比阈值)和当前帧待掩蔽信号的能量，调整当前帧基础掩蔽信号的能量，得到当前帧初始掩蔽信号。

可选的，预设TMR阈值例如可以为0dB。

可以理解，掩蔽信号对目标音频信号的掩蔽效果与TMR相关。通过调整基础掩蔽信号的能量，使当前帧待掩蔽信号与基础掩蔽信号的能量比为预设阈值，能够提高掩蔽信号的掩蔽效果，进而提高通话隐私保护的效果。

重复执行上述步骤S201至S204即可实现根据通话下行信号持续生成对应的初始掩蔽信号。

本实施例中，对通话下行信号进行实时处理，得到初始掩蔽信号，使最终得到的掩蔽信号与通话下行信号的频谱一致性更高，提高掩蔽信号的掩蔽效果，从而提高通话隐私保护的效果。

如上所述，预设掩蔽帧长较大时，能够提高掩蔽信号的掩蔽效果。然而，在实际通信时，预设掩蔽帧长较大可能造成掩蔽信号与通话下行信号之间存在时延(时间差)，导致生成的掩蔽信号与实际通话下行信号频谱不对应，存在时延，进而导致漏音未被掩蔽，出现无效掩蔽现象；或者导致对用户期望听到的通话下行信号进行了过度掩蔽，降低用户听感，从而影响用户体验。基于此，本申请实施例中，在生成初始掩蔽信号时，可以结合声能量检测，生成有效准确的初始掩蔽信号，以提高最终掩蔽信号的掩蔽效果。以下结合附图进行说明。

示例性的，图6为本申请实施例提供的又一例音频信号的处理方法的流程示意图。如图6所示，上述步骤“S204、根据预设TMR阈值和当前帧待掩蔽信号的能量，调整当前帧基础掩蔽信号的能量，得到当前帧初始掩蔽信号”包括：

S301、调整当前帧基础掩蔽信号的能量，得到当前帧掩蔽调整信号，当前帧待掩蔽信号与当前帧掩蔽调整信号的能量比等于预设TMR阈值。

也就是说，调整当前帧基础掩蔽信号的能量，使当前帧待掩蔽信号与当前帧基础掩蔽信号的能量比等于预设TMR阈值，调整后的当前帧基础掩蔽信号称为当前帧掩蔽调整信号。

S302、根据通话能量阈值，确定当前帧待掩蔽信号中是否存在有效信号；若否，则执行步骤S303；若是，则执行步骤S304。

可选的，通话能量阈值可以为预设值，也可以由电子设备中相关模块根据语音活动检测确定，本申请实施例对此不做任何限定。

判断当前帧待掩蔽信号的能量是否大于或等于通话能量阈值，若是，则确定当前帧待掩蔽信号中存在有效信号；若否，则确定当前帧待掩蔽信号中不存在有效信号。

可以理解，某一帧声音信号中存在有效信号，说明该帧声音信号为较大声音的信号；不存在有效信号，说明该帧信号为无声音或者声音较小的信号。当前帧待掩蔽信号中存在有效信号，说明待掩蔽帧信号为较大声音的信号，该待掩蔽帧信号需要被掩蔽；不存在有效信号，说明待掩蔽帧信号为无声音或者声音较小的信号，该待掩蔽帧信号无需被掩蔽或者需要较小程度的掩蔽。可以理解，若对不存在有效信号的通话下行信号进行正常掩蔽，会降低用户通话时的可懂度，影响用户的听感。

S303、降低当前帧掩蔽调整信号的幅值，得到当前帧初始掩蔽信号，或者，删除当前帧掩蔽调整信号，将当前帧初始掩蔽信号设置为空或0。

若当前帧待掩蔽信号中不存在有效信号，则执行该步骤。当前待掩蔽帧信号中不存在有效信号，说明待掩蔽帧信号为无声音或者声音较小的信号，该待掩蔽帧信号无需被掩蔽或者需要较小程度的掩蔽。因而降低当前帧掩蔽调整信号的幅值，得到当前帧初始掩蔽信号，后续通过该当前帧初始掩蔽信号频谱校正后得到的掩蔽信号对待掩蔽帧信号进行较小程度的掩蔽。或者，删除当前帧掩蔽调整信号，将当前帧初始掩蔽信号设置为空或0，后续不对待掩蔽帧信号进行掩蔽。如此，防止对无声音或者声音较小的信号的通话下行信号进行过度掩蔽，防止影响用户听感。

S304、根据掩蔽能量阈值，确定当前帧掩蔽调整信号中是否存在有效信号；若否，则执行步骤S305，若是，则不作处理。

可选的，掩蔽能量阈值可以根据通话能量阈值和步骤S301中能量的调整值确定。具体的，掩蔽能量阈值可以为通话能量阈值与能量调整值的和。其中，能量调整值也即当前帧掩蔽调整信号与当前帧基础掩蔽信号的能量差。能量调整值为具有正负的值，步骤S301中，若将当前帧基础掩蔽信号的能量调大(即当前帧掩蔽调整信号的能量＞当前帧基础掩蔽信号的能量)，则该能量调整值为正值；若将当前帧基础掩蔽信号的能量调小(即当前帧掩蔽调整信号的能量＜当前帧基础掩蔽信号的能量)，则该能量调整值为负值。

判断当前帧掩蔽调整信号的能量是否大于或等于掩蔽能量阈值，若是，则确定当前帧掩蔽调整信号中存在有效信号；若否，则确定当前帧掩蔽调整信号中不存在有效信号。

S305、从预设的掩蔽信号库中获取预设信号，根据当前帧待掩蔽信号的频谱调整预设信号的频谱，得到当前帧初始掩蔽信号。

也就是说，若当前帧待掩蔽信号中存在有效信号，且当前帧掩蔽调整信号中不存在有效信号，则执行该步骤。当前帧掩蔽调整信号不存在有效信号，说明该信号为无声信号或声音较小的信号，该信号无法对待掩蔽帧信号进行有效掩蔽。因而，从预设的掩蔽信号库中直接获取预设信号，将该预设信号的频谱调整至与当前帧待掩蔽信号的频谱一致，得到当前帧初始掩蔽信号。这样能够防止无效掩蔽现象的出现，提高掩蔽效果。

可以理解，若不按照上述步骤S201至S204所示的过程生成初始掩蔽信号，而是直接基于预设的掩蔽信号库中预设信号生成初始掩蔽信号，这种情况下，也可以按照与上述步骤S301至S304过程类似的过程进行声能量检测，生成有效准确的初始掩蔽信号，以提高掩蔽信号的掩蔽效果。不同点在于，这种情况下，根据预设信号生成的信号均存在有效信号，因而不存在步骤S305的情况，不执行步骤S305。

下面对声场控制模块的生成过程进行说明。

如上所述，可以预先划分耳内区域与漏音区域。在生成声场控制模块时，可以在耳内区域和漏音区域分别设置预设数量的声场采样点，基于声场采样点进行声场控制的仿真或测试，从而求最优解滤波器系数，得到滤波器组，进而得到声场控制模块。可选的，可以采取声能量对比度法、声压匹配法等求解滤波器系数，得到滤波器组，或者通过声能量对比度法与声压匹配法融合算法求解滤波器系数，得到滤波器组，本实施例主要以声能量对比度法为例进行说明。

示例性的，图7为本申请实施例提供的一例声场采样点分布示意图。如图7所示，耳内区域的采样点示为黑色圆点，用户持电子设备接听电话时，该采样点为用户耳道及耳朵周围预设范围内的点。漏音区域的采样点示为三角形。漏音区域的采样点分布于耳内区域之外(即远离电子设备的方向)。

在一个实施例中，以图7所示的声场采样点为例，第一滤波器组和第二滤波器组可以按照下述过程求解生成：

1)第一滤波器组的求解生成

将耳内区域采样点作为亮区，将漏音区域采样点作为暗区，最大化亮区与暗区的能量比值，求解最优滤波器系数，得到第一滤波器组。具体的求解过程包括：

a、设置第一滤波器组的目标频段。

第一滤波器组的目标频段是指第一滤波器能够处理的频率范围，例如，目标频段可以为f1至f2。f1例如可以为100Hz，f2例如可以为4kHz。

b、确定目标频段内的音频信号在亮区和暗区的传输函数矩阵。

可选的，可以通过测试或仿真的方式，确定处于目标频段内的音频信号从各个目标音频播放器件传输至亮区NB个采样点的传输函数矩阵(称为亮区传输函数矩阵G_B)；确定处于目标频段内的音频信号从各个目标音频播放器件传输至暗区ND个采样点的传输函数矩阵(称为暗区传输函数矩阵G_D)。

其中，NB为亮区采样点的个数，ND为暗区采样点的个数。本实施例中，亮区采样点的个数也即耳内区域采样点的个数，暗区采样点的个数也即漏音区域采样点的个数。以图6示出的声场采样点为例，NB为3，ND为12。

那么，亮区传输函数矩阵G_B的大小为NFFTxNBxN，暗区传输函数矩阵G_D的大小为NFFTxNDxN。其中，NFFT为目标频段内的傅里叶变换频点数，N表示目标音频播放器件的数量。

c、根据亮区和暗区的传输函数矩阵，确定亮区和暗区的空间相关矩阵。

具体的，根据亮区传输函数矩阵G_B，基于公式(1)确定亮区空间相关矩阵R_B：

其中，H表示共轭转置。

根据暗区传输函数矩阵G_D，基于公式(2)确定亮区空间相关矩阵R_D：

d、根据亮区和暗区的空间相关矩阵，求解第一滤波器组。

具体的，第一滤波器组Q表示为公式(3)：

可以理解，第一滤波器组Q的大小为NFFTxN。其中，第i个目标音频播放器件对应的第一控制滤波器为Q(:,i)。

2)第二滤波器组的求解生成

将漏音区域采样点作为亮区，将耳内区域采样点作为暗区，最大化亮区与暗区的能量比值，求解最优滤波器系数，得到第二滤波器组。也就是说，第一滤波器组和第二滤波器组在求解生成时，对亮区和暗区进行了对调。

示例性的，图8示出了第一滤波器组和第二滤波器组在求解生成时的声场对应关系。如图8所示，将耳内区域采样点作为亮区，将漏音区域采样点作为暗区进行声场控制，求解滤波器系数得到第一滤波器组。将漏音区域采样点作为亮区，将耳内区域采样点作为暗区进行声场控制，求解滤波器系数得到第二滤波器组。

这样，后续通过第一滤波器组对目标音频信号(例如通话下行信号)进行声场控制，能够使目标音频信号的耳内声场的能量较大，目标音频信号的漏音声场的能量较小；通过第二滤波器组对掩蔽信号进行声场控制，能够使掩蔽信号的耳内声场的能量较小，掩蔽信号的漏音声场的能量较大。目标音频信号与掩蔽信号叠加后，最终输出的声音的耳内声场可懂度不受影响，而漏音声场的可懂度降低，从而使用户的听感不受影响的情况下有效保护用户隐私，提高用户体验。

第二滤波器组的求解过程参见上述步骤a至d，不再赘述。

上文详细介绍了本申请实施例提供的音频信号的处理方法的示例。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分为各个功能模块，例如检测单元、处理单元、显示单元等，也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的电子设备，用于执行上述音频信号的处理方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备还可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得处理器执行上述任一实施例的音频信号的处理方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的音频信号的处理方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的音频信号的处理方法。

其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种音频信号的处理方法，应用于电子设备，所述电子设备包括N个目标音频播放器件，N为大于或等于2的整数，其特征在于，所述方法包括：

获取目标音频信号，所述目标音频信号为需要通过所述N个目标音频播放器件播放的音频信号；

根据所述目标音频信号，生成掩蔽信号；

对所述目标音频信号和所述掩蔽信号分别进行声场控制处理之后进行叠加处理，得到与所述N个目标音频播放器件一一对应的N路待播放信号；

通过所述N个目标音频播放器件分别播放对应的所述待播放信号；所述待播放信号在第一空间区域形成的声场的能量大于所述待播放信号在第二空间区域形成的声场的能量，其中，所述第一空间区域相较于所述第二空间区域更靠近所述N个目标音频播放器件。

2.根据权利要求1所述的方法，其特征在于，所述第一空间区域为所述N个目标音频播放器件周围预设范围内的空间区域，所述第二空间区域与所述第一空间区域不重叠，且所述第二空间区域位于所述第一空间区域远离所述电子设备的一侧。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述目标音频信号和所述掩蔽信号分别进行声场控制处理之后进行叠加处理，得到与所述N个目标音频播放器件一一对应的N路待播放信号，包括：

对所述目标音频信号进行第一声场控制处理，得到与所述N个目标音频播放器件一一对应的N路目标输出信号，所述目标输出信号在所述第一空间区域形成的声场的能量大于在所述第二空间区域形成的声场的能量；

对所述掩蔽信号进行第二声场控制处理，得到与所述N个目标音频播放器件一一对应的N路掩蔽输出信号，所述掩蔽输出信号在所述第二空间区域形成的声场的能量大于在所述第一空间区域形成的声场的能量；

将各个所述目标音频播放器件对应的所述目标输出信号与对应的所述掩蔽输出信号叠加，得到与所述N个目标音频播放器件一一对应的所述N路待播放信号。

4.根据权利要求3所述的方法，其特征在于，所述电子设备包括第一滤波器组和第二滤波器组；

所述对所述目标音频信号进行第一声场控制处理，得到与所述N个目标音频播放器件一一对应的N路目标输出信号，包括：

通过所述第一滤波器组，对所述目标音频信号进行第一声场控制处理，得到所述N路目标输出信号；

所述对所述掩蔽信号进行第二声场控制处理，得到与所述N个目标音频播放器件一一对应的N路掩蔽输出信号，包括：

通过所述第二滤波器组，对所述掩蔽信号进行第二声场控制处理，得到所述N路掩蔽输出信号。

5.根据权利要求4所述的方法，其特征在于，所述第一滤波器组是将所述第一空间区域作为亮区，将所述第二空间区域作为暗区，进行声场控制测试或仿真，最大化亮区和暗区的声场能量比并求解滤波器系数生成的滤波器组；

所述第二滤波器组是将所述第二空间区域作为亮区，将所述第一空间区域作为暗区，进行声场控制测试或仿真，最大化亮区和暗区的声场能量比并求解滤波器系数生成的滤波器组。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述掩蔽信号与所述目标音频信号的频谱一致。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标音频信号，生成掩蔽信号，包括：

根据所述目标音频信号，生成与所述目标音频信号频谱一致的初始掩蔽信号；

对所述初始掩蔽信号进行频谱校正，得到所述掩蔽信号。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标音频信号，生成与所述目标音频信号频谱一致的初始掩蔽信号，包括：

缓存时长为预设掩蔽帧长的所述目标音频信号，得到当前帧待掩蔽信号；

对所述当前帧待掩蔽信号加窗处理后进行时间反转，得到当前帧反转信号；

获取上一帧反转信号，所述上一帧反转信号是指所述当前帧反转信号之前最近的一帧反转信号；

将所述当前帧反转信号与所述上一帧反转信号叠加，得到当前帧基础掩蔽信号；

根据预设能量比阈值和所述当前帧待掩蔽信号的能量，调整所述当前帧基础掩蔽信号的能量，得到所述当前帧初始掩蔽信号。

9.根据权利要求8所述的方法，其特征在于，所述根据预设能量比阈值和所述当前帧待掩蔽信号的能量，调整所述当前帧基础掩蔽信号的能量，得到所述当前帧初始掩蔽信号，包括：

调整所述当前帧基础掩蔽信号的能量，得到当前帧掩蔽调整信号，所述当前帧待掩蔽信号与所述当前帧掩蔽调整信号的能量比等于所述预设能量比阈值；

分别确定所述当前帧待掩蔽信号与所述当前帧掩蔽调整信号中是否存在有效信号；

若所述当前帧待掩蔽信号中不存在有效信号，则降低所述当前帧掩蔽调整信号的幅值，得到所述当前帧初始掩蔽信号，或者，将0或空值作为所述当前帧初始掩蔽信号；

若所述当前帧待掩蔽信号中存在有效信号，且所述当前帧掩蔽调整信号中不存在有效信号，则从预设的掩蔽信号库中获取预设信号，根据所述当前帧待掩蔽信号的频谱调整所述预设信号的频谱，得到所述当前帧初始掩蔽信号。

10.根据权利要求9所述的方法，其特征在于，所述分别确定所述当前帧待掩蔽信号与所述当前帧掩蔽调整信号中是否存在有效信号，包括：

确定所述当前帧待掩蔽信号的能量是否大于或等于第一能量阈值；

若所述当前帧待掩蔽信号的能量大于或等于所述第一能量阈值，则确定所述当前帧待掩蔽信号中存在有效信号；

若所述当前帧待掩蔽信号的能量小于所述第一能量阈值，则确定所述当前帧待掩蔽信号中不存在有效信号；

确定所述当前帧掩蔽调整信号的能量是否大于或等于第二能量阈值；

若所述当前帧掩蔽调整信号的能量大于或等于所述第二能量阈值，则确定所述当前帧掩蔽调整信号中存在有效信号；

若所述当前帧掩蔽调整信号的能量小于所述第二能量阈值，则确定所述当前帧掩蔽调整信号中不存在有效信号。

11.根据权利要求6所述的方法，其特征在于，所述根据所述目标音频信号，生成掩蔽信号，包括：

从预设的掩蔽信号库中获取预设信号；

根据所述目标音频信号的频谱调整所述预设信号的频谱，得到所述掩蔽信号。

12.一种电子设备，其特征在于，包括：处理器、存储器和接口；

所述处理器、所述存储器和所述接口相互配合，使得所述电子设备执行如权利要求1至11中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储了计算机程序，当所述计算机程序被处理器执行时，所述处理器调用指令，使得所述电子设备执行权利要求1至11中任一项所述的方法。