CN113259826B - 在电子终端中实现助听的方法和装置 - Google Patents

Abstract

本公开关于一种在电子终端中实现助听的方法和装置。所述方法包括：在电子终端中播放音频内容时，获取电子终端周围的环境音；在所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理；输出混音后的音频信号；其中，所述将所述环境音的音频信号与所述音频内容的音频信号执行混音处理，包括：确定所述环境音的音频信号的响度；在所述环境音的音频信号的响度小于预定响度阈值的情况下，对所述环境音的音频信号执行响度增益处理，并将经过响应增益处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理；否则将所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

Description

在电子终端中实现助听的方法和装置

技术领域

本公开涉及数字音频技术领域，更具体地说，涉及一种在电子终端中实现助听的方法和装置。

背景技术

现有的助听器，需要用户佩戴专门的助听设备来拾取周围的声音，然后通过对拾取的声音进行放大和降噪，并向用户的耳朵输出处理后的声音。然而，现有的助听器都为独立装置，需单独购买佩戴，无法与目前流行的智能手机和耳机实现功能复用，并且当用户佩戴耳机收听手机内容时，便无法再佩戴助听器。此外，在使用现有的音频或音乐类APP时，在佩戴耳机收听时，可能会因为APP本身播放音频导致用户（尤其有听觉障碍的用户）听不清周围的有用的环境音（例如另一个人的说话声，或者汽车喇叭音等），从而造成不便。

发明内容

本公开提供一种在电子终端中实现助听的方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

根据本公开实施例的第一方面，提供一种在电子终端中实现助听的方法，包括：在电子终端中播放音频内容时，获取电子终端周围的环境音；在所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理；输出混音后的音频信号；其中，所述将所述环境音的音频信号与所述音频内容的音频信号执行混音处理，包括：确定所述环境音的音频信号的响度；在所述环境音的音频信号的响度小于预定响度阈值的情况下，对所述环境音的音频信号执行响度增益处理，并将经过响应增益处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理；在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

可选地，对所述环境音的音频信号执行响度增益处理，可包括：通过WebRTC AGC自动增益控制算法来对所述环境音的音频信号执行响度增益处理；或者通过增大所述环境音的音频信号的音量来执行响度增益处理。

可选地，所述将所述环境音的音频信号与所述音频内容的音频信号执行混音处理，可包括：确定所述环境音的音频信号的语音活度值；在所述环境音的音频信号的语音活度值大于预定活度阈值的情况下，确定所述环境音的音频信号的响度和所述音频内容的音频信号的响度；基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理。

可选地，所述基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理，可包括：确定所述环境音的音频信号的响度与所述音频内容的音频信号的响度之间的响度差值；在所述响度差值小于预定响度差阈值的情况下，减小所述音频内容的音频信号的音量，使得执行减小音量后的所述响度差值达到所述预定响度差阈值；在所述响度差值等于或大于预定响度差阈值的情况下， 保持所述音频内容的音频信号的音量。

可选地，所述基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理，可包括：在所述环境音的音频信号的响度小于所述音频内容的音频信号的响度的情况下，减小所述音频内容的音频信号的音量，使得所述环境音的音频信号的响度大于或等于所述音频内容的音频信号的响度。

可选地，可通过以下方式来确定所述环境音是否属于预定类型的环境音：利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，其中，所述音频特征模型库包括多个音频特征模型，每个音频特征模型用于分析一种类型的音频信号。

可选地，所述利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，可包括：将所述环境音的音频信号的特征数据输入所述音频特征模型库中的音频特征模型，得到所述音频特征模型的输出结果；根据所述音频特征模型的输出结果，确定所述环境音的音频信号是否属于与所述音频特征模型对应的类型的音频信号。

可选地，所述方法还可包括：在获取电子终端周围的环境音之后，对所述环境音的音频信号执行降噪相关处理；其中，所述在确定所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理，可包括：在确定经过降噪相关处理的所述环境音的音频信号属于预定类型的环境音的情况下，将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

可选地，所述方法还可包括：在所述环境音的音频信号的响度小于预定响度阈值的情况下，在对所述环境音的音频信号执行响度增益处理之后，对经过响度增益处理后的所述环境音的音频信号执行降噪相关处理，其中，经过降噪相关处理后的所述环境音的音频信号被用于与所述音频内容的音频信号执行混音处理；或者在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，对所述环境音的音频信号执行降噪相关处理，其中，经过降噪相关处理后的所述环境音的音频信号被用于与所述音频内容的音频信号执行混音处理。

可选地，所述降噪相关处理可包括回声消除、降噪处理和静场检测中的至少一个。

可选地，所述方法还可包括：在播放所述音频内容的软件的界面中显示助听模式的开启选项；在接收到用户经由所述开启选项选择开启助听模式的输入信号时，执行根据本公开的在电子终端中实现助听的方法。

可选地，所述方法还可包括：在播放所述音频内容的软件的界面中显示助听模式浮窗，其中，在所述助听模式浮窗中提供助听音量调节选项以供用户调节所述环境音音量的增量大小。

可选地，所述方法还可包括：在播放所述音频内容的软件的界面中显示助听模式的设置选项；在接收到用户经由所述设置选项选择设置助听模式的输入信号时，显示助听模式的设置界面；其中，所述设置界面包括以下功能项中的至少一项：助听模式开启选项、助听音量调节选项、助听模式浮窗开启选项；其中，所述助听模式开启选项用于供用户选择开启或关闭助听模式，其中，当助听模式开启时，执行根据本公开的在电子终端中实现助听的方法；其中，所述助听音量调节选项用于供用户调节所述环境音音量的增量大小；其中，所述助听模式浮窗开启选项用于供用户选择开启或关闭助听模式浮窗，其中，在所述助听模式浮窗中提供所述助听音量调节选项。

根据本公开实施例的第二方面，提供一种在电子终端中实现助听的装置，包括：环境音获取单元，被配置为：在电子终端中播放音频内容时，获取电子终端周围的环境音；混音处理单元，被配置为：在所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理；音频输出单元，被配置为：输出混音后的音频信号；其中，混音处理单元可被配置为：确定所述环境音的音频信号的响度；在所述环境音的音频信号的响度小于预定响度阈值的情况下，对所述环境音的音频信号执行响度增益处理，并将经过响应增益处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理；在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

可选地，混音处理单元可被配置为：通过WebRTC AGC自动增益控制算法来对所述环境音的音频信号执行响度增益处理；或者通过增大所述环境音的音频信号的音量来执行响度增益处理。

可选地，混音处理单元可被配置为：确定所述环境音的音频信号的语音活度值；在所述环境音的音频信号的语音活度值大于预定活度阈值的情况下，确定所述环境音的音频信号的响度和所述音频内容的音频信号的响度；基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理。

可选地，混音处理单元可被配置为：确定所述环境音的音频信号的响度与所述音频内容的音频信号的响度之间的响度差值；在所述响度差值小于预定响度差阈值的情况下，减小所述音频内容的音频信号的音量，使得执行减小音量后的所述响度差值达到所述预定响度差阈值；在所述响度差值等于或大于预定响度差阈值的情况下， 保持所述音频内容的音频信号的音量。

可选地，混音处理单元可被配置为：在所述环境音的音频信号的响度小于所述音频内容的音频信号的响度的情况下，减小所述音频内容的音频信号的音量，使得所述环境音的音频信号的响度大于或等于所述音频内容的音频信号的响度。

可选地，可通过以下方式来确定所述环境音是否属于预定类型的环境音：利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，其中，所述音频特征模型库包括多个音频特征模型，每个音频特征模型用于分析一种类型的音频信号。

可选地，所述利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，可包括：将所述环境音的音频信号的特征数据输入所述音频特征模型库中的音频特征模型，得到所述音频特征模型的输出结果；根据所述音频特征模型的输出结果，确定所述环境音的音频信号是否属于与所述音频特征模型对应的类型的音频信号。

可选地，所述装置还可包括：降噪处理单元，被配置为：在获取电子终端周围的环境音之后，对所述环境音的音频信号执行降噪相关处理；其中，混音处理单元被配置为：在确定经过降噪相关处理的所述环境音的音频信号属于预定类型的环境音的情况下，将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

可选地，所述装置还可包括：降噪处理单元；其中，在所述环境音的音频信号的响度小于预定响度阈值的情况下，在混音处理单元对所述环境音的音频信号执行响度增益处理之后，降噪处理单元对经过响度增益处理后的所述环境音的音频信号执行降噪相关处理，混音处理单元将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理；或者在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，降噪处理单元对所述环境音的音频信号执行降噪相关处理，混音处理单元将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

可选地，所述降噪相关处理可包括回声消除、降噪处理和静场检测中的至少一个。

可选地，所述装置还可包括：显示单元，被配置为：在播放所述音频内容的软件的界面中显示助听模式的开启选项；接收单元，被配置为：接收用户经由所述开启选项选择开启助听模式的输入信号；其中，在接收到用户经由所述开启选项选择开启助听模式的输入信号时，环境音获取单元、混音处理单元和音频输出单元执行操作。

可选地，所述装置还可包括：显示单元，被配置为：在播放所述音频内容的软件的界面中显示助听模式浮窗，其中，在所述助听模式浮窗中提供助听音量调节选项以供用户调节所述环境音音量的增量大小。

可选地，所述装置还可包括：显示单元，被配置为：在播放所述音频内容的软件的界面中显示助听模式的设置选项；接收单元，被配置为：接收用户经由所述设置选项选择设置助听模式的输入信号；其中，在接收单元接收到用户经由所述设置选项选择设置助听模式的输入信号时，显示单元显示助听模式的设置界面；其中，所述设置界面包括以下功能项中的至少一项：助听模式开启选项、助听音量调节选项、助听模式浮窗开启选项；其中，所述助听模式开启选项用于供用户选择开启或关闭助听模式，其中，当助听模式开启时，环境音获取单元、混音处理单元和音频输出单元执行操作；其中，所述助听音量调节选项用于供用户调节所述环境音音量的增量大小；其中，所述助听模式浮窗开启选项用于供用户选择开启或关闭助听模式浮窗，其中，在所述助听模式浮窗中提供所述助听音量调节选项。

根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的在电子终端中实现助听的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的在电子终端中实现助听的方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的在电子终端中实现助听的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的在电子终端中实现助听的方法和装置，可在用户使用电子终端中安装的APP听音频时，收集周围环境音，并将有用的周围环境音（例如，人声、车辆鸣笛、地铁公交报站、门铃/敲门等）与音频内容混音，向用户输出混音后的音频，从而实现了利用日常生活中常用的电子终端+耳机+APP的形式实现助听功能，而无需增加任何硬件元器件或单独购买佩戴助听设备，使用户可以在使用耳机收听音频的同时享受环境音助听功能。

此外，根据本公开的在电子终端中实现助听的方法和装置，在助听过程中，通过计算有用的周围环境音的窗口响度，选择性地对有用的周围环境音进行增益处理，例如，对响度较小的有用周围环境音进行响度增益处理，而本身较大音频成分及使用者本身的说话声音不进行响度增益处理，从而既避免了APP播放音频对用户产生听觉掩蔽效应，对正常沟通、日常生活、人身安全等造成的影响，同时又可避免助听时部分音频响度过大而给用户带来不好的体验。例如，可避免周围本身较大音量经放大后对使用者产生音量过大的听觉刺激；避免用户自己说话时由于声源距助听器较近而使得自己声音被过分放大；未被降噪功能处理掉的某些环境噪音被助听功能放大。

此外，根据本公开的在电子终端中实现助听的方法和装置，在用户使用APP收听音频节目的过程中，判断环境音中有较长时间的语音信号的情况下，对APP播放音频执行响度负增益处理，保障用户在收听音频节目时可以听清周围说话声，帮助用户进行正常沟通。

此外，根据本公开的在电子终端中实现助听的方法和装置，建立完善的音频特征模型库，在实现语音信号助听功能的同时，对环境中语音以外有用的音频信号（如车辆鸣笛、地铁公交报站、门铃/敲门等）通过音频特征模型比对，筛选出来进行增益，保障用户在使用APP收听音频节目或使用助听模式进行交谈时，不会错过环境中各类有用音频信息。

此外，根据本公开的在电子终端中实现助听的方法和装置还可以实现通过电子终端中安装的APP来控制助听功能的参数设置，UI交互友好，便于用户操作，为用户提供了良好的助听体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是示出根据本公开的示例性实施例的在电子终端中实现助听的方法的流程图。

图2是示出根据本公开的示例性实施例的助听模式浮窗的示意图。

图3是示出根据本公开的示例性实施例的助听模式的设置界面的示意图。

图4是示出根据本公开的在电子终端中实现助听的方法的第一具体实施例。

图5是示出根据本公开的在电子终端中实现助听的方法的第二具体实施例。

图6是示出根据本公开的示例性实施例的在电子终端中实现助听的装置的框图。

图7是根据本公开的示例性实施例的电子设备700的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：（1）包括A；（2）包括B；（3）包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：（1）执行步骤一；（2）执行步骤二；（3）执行步骤一和步骤二。

现有助听器存在以下几点不足之处：（1）现有的助听器都为独立装置，需单独购买佩戴，无法与目前流行的智能手机+耳机实现功能复用，并且当用户佩戴耳机收听手机内容时，便无法再佩戴助听器。（2）现有助听设备的UI操作不友好，无法使用智能手机大屏幕进行控制。（3）现有助听器集成小型芯片，其本身处理能力有限，无法对特定音频特征的声音信号进行选择性增益。具体地说，现有助听器无法抑制周围响度较大的声音成分（包括使用者本身的说话声音），从而给使用者带来不好的体验，例如，周围较大声音经放大后对使用者产生音量过大的听觉刺激，又例如，自己说话时由于声源距助听器较近而使得自己声音被过分放大。（4）现有助听设备对于环境音中较小的有用音频信号放大能力不足，被当做噪音或者静场环境滤除掉。具体地说，现有助听器有时在实现降噪功能的同时，无法对有用的声音（例如，车辆鸣笛、地铁公交报站、门铃/敲门等）进行选择性提升，或是该有用的声音被认为是噪声而被进行降噪处理，导致无法听见。

此外，市场上现有的音频或音乐类APP在用户使用过程中，由于APP通过耳机输出声音可能会对其他有用的音频信息产生了掩蔽效应，导致用户（尤其有听觉障碍的用户）听不清周围的有用的环境音（例如另一个人的说话声，或者汽车喇叭音等），从而造成不便，而APP软件本身却无法解决此类问题。

为了解决上述问题，本公开提出了一种在电子终端中实现助听的方法和装置，可在用户使用电子终端中安装的APP听音频时，收集周围环境音，并将有用的周围环境音（例如，人声、车辆鸣笛、地铁公交报站、门铃/敲门等）与音频内容混音，向用户输出混音后的音频，从而实现了利用日常生活中常用的电子终端+耳机+APP的形式实现助听功能，而无需增加任何硬件元器件或单独购买佩戴助听设备，使用户可以在使用耳机收听音频的同时享受环境音助听功能。

此外，本公开提出的在电子终端中实现助听的方法和装置还可以在助听过程中，通过计算有用的周围环境音的窗口响度，选择性地对有用的周围环境音进行增益处理，例如，对响度较小的有用周围环境音进行响度增益处理，而本身较大音频成分及使用者本身的说话声音不进行响度增益处理，从而既避免了APP播放音频对用户产生听觉掩蔽效应，对正常沟通、日常生活、人身安全等造成的影响，同时又可避免助听时部分音频响度过大而给用户带来不好的体验。例如，可避免周围本身较大音量经放大后对使用者产生音量过大的听觉刺激；避免用户自己说话时由于声源距助听器较近而使得自己声音被过分放大；未被降噪功能处理掉的某些环境噪音被助听功能放大。

此外，本公开提出的在电子终端中实现助听的方法和装置还可以在用户使用APP收听音频节目的过程中，判断环境音中有较长时间的语音信号的情况下，对APP播放音频执行响度负增益处理，保障用户在收听音频节目时可以听清周围说话声，帮助用户进行正常沟通。

此外，本公开提出的在电子终端中实现助听的方法和装置还可以建立完善的音频特征模型库，在实现语音信号助听功能的同时，对环境中语音以外有用的音频信号（如车辆鸣笛、地铁公交报站、门铃/敲门等）通过音频特征模型比对，筛选出来进行增益，保障用户在使用APP收听音频节目或使用助听模式进行交谈时，不会错过环境中各类有用音频信息。

此外，本公开提出的在电子终端中实现助听的方法和装置还可以实现通过电子终端中安装的APP来控制助听功能的参数设置，UI交互友好，便于用户操作，为用户提供了良好的助听体验。

根据本公开的在电子终端中实现助听的方法和装置可适用于通过与电子终端关联的耳机收听在电子终端中的APP（例如，音乐类APP、视频类APP、音频类APP等）播放音频内容的场景，当然，也可适用于任何可能的场景。这里，电子终端可包括，但不限于，手机、平板装置、个人计算机、笔记本电脑、上网本、个人数字助理等任何可播放音频内容的装置。下面，将参照图1至图7来详细描述根据本公开的在电子终端中实现助听的方法和装置。

图1是示出根据本公开的示例性实施例的在电子终端中实现助听的方法的流程图。

参照图1，在步骤101，可在电子终端中播放音频内容时，获取电子终端周围的环境音。例如，可通过电子终端上内置或外接的传声器（例如，麦克风）拾取电子终端周围的环境音，并通过对拾取的环境音进行采样、量化、编码（PCM）处理，将拾取的环境音转为数字音频信号，可获取此数字音频信号作为电子终端周围的环境音。

在步骤202，可在所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理。例如，可采用多通道混音算法执行混音处理。

根据本公开的示例性实施例，预定类型的环境音可以是预先确定的对用户有用的各种类型的环境音，包括，但不限于，人声、车辆鸣笛、地铁公交报站、门铃/敲门等。也就是说，当获取的环境音属于预先确定的对用户有用的环境音时，可将环境音的音频信号与音频内容的音频信号执行混音处理，使得用户能够听到有用的环境音的声音，从而在无需增加任何硬件元器件或单独购买佩戴助听设备的同时，使用户可以在使用耳机收听音频的同时享受环境音助听功能。

根据本公开的示例性实施例，可利用预先建立的音频特征模型库，对获取的环境音的音频信号进行特征分析，来确定获取的环境音是否属于预定类型的环境音。这里，音频特征模型库包括多个音频特征模型，每个音频特征模型用于分析一种类型的音频信号。也就是说，每个音频特征模型用于分辨一种有用的音频信号，其输入可以是环境音的音频信号提取的音频特征，输出可以是关于所述环境音是否属于该音频特征模型对应类型的有用的音频信号的相关信息。例如，关于汽车鸣笛的音频特征模型，可输出所述环境音是否属于汽车鸣笛的概率或音频标签等。而音频特征模型库可存储针对生活中常见的多种有用音频的多个音频特征模型。因此，可将环境音的音频信号的特征数据输入音频特征模型库中的音频特征模型，得到该音频特征模型的输出结果，并根据该音频特征模型的输出结果，确定环境音的音频信号是否属于与该音频特征模型对应的类型的音频信号。

根据本公开的示例性实施例，音频特征模型库中的音频特征模型可通过以下方式训练得到：（1）对于每一类有用音频信号（如汽车鸣笛）的音频特征模型，收集一批该类音频信号的音频样本，将其分为两个集合，一个为“样本集”，一个为“测试集”；（2）提取样本集每个音频样本的特征数据（例如，梅尔频率倒谱系数（MFCC），并转换成MFCC图片）。（3）对特征数据进行处理，得到音频特征数据集（例如，对MFCC图片进行切片，以960ms为一个切片，一个切片包括96个图片帧，一帧10ms，每一帧都包括了64个mel频带，得到音频特征数据集）；（4）运用例如，但不限于，MLP（多层感知器）神经网络作为训练模型，将音频特征数据集作为训练的输入，将音频标签（如汽车鸣笛等）作为训练输出；（5）运用测试集验证声音信号识别的正确性，若符合标准，则完成本次音频特征建模；若不符合标准，则调整MLP神经网络中激活函数、学习率、隐藏层神经单元数、最大迭代次数等参数，重新进行训练。

根据本公开的示例性实施例，预先建立的音频特征模型库可集成在用于播放音频内容的APP内，当APP播放音频内容的同时获取到环境音时，可利用集成在APP内的音频特征模型库来确定获取到的环境音是否属于预定类型的环境音。根据本公开的另一示例性实施例，预先建立的音频特征模型库可保存在云端，当APP播放音频内容的同时获取到环境音时，可将环境音的相关数据发送到云端，在云端利用音频特征模型库来确定获取到的环境音是否属于预定类型的环境音，并将确定结果返回到电子终端或APP中。

根据本公开的音频特征模型库可包括针对丰富完善的有用音频的多个音频特征模型，在实现语音信号助听功能的同时，对环境中语音以外有用的音频信号（如车辆鸣笛、地铁公交报站、门铃/敲门等）通过音频特征模型比对，筛选出来进行增益，保障用户在使用APP收听音频节目或使用助听模式进行交谈时，不会错过环境中各类有用音频信息。当然，根据本公开的用于确定获取的环境音是否属于预定类型的环境音的方法不限于上述利用音频特征模型库的方法，还可以使用其它可行的方法来确定获取的环境音是否属于预定类型的环境音。

根据本公开的示例性实施例，在获取的环境音属于预定类型的环境音的情况下，可不直接将获取的环境音的音频信号与音频内容的音频信号执行混音处理，而是首先确定获取的环境音的音频信号的响度（或音量），根据确定的响度来判断是否需要对获取的环境音进行响度增益处理。具体地说，可确定环境音的音频信号的响度；在环境音的音频信号的响度小于预定响度阈值的情况下，对环境音的音频信号执行响度增益处理，并将经过响应增益处理后的环境音的音频信号与音频内容的音频信号执行混音处理；在环境音的音频信号的响度等于或大于预定响度阈值的情况下，不执行响度增益处理而直接将环境音的音频信号与音频内容的音频信号执行混音处理。因此，可通过根据环境音的响度选择性地对有用的周围环境音进行增益处理，例如，对响度较小的有用周围环境音进行响度增益处理，而本身较大音频成分及使用者本身的说话声音不进行响度增益处理，从而既避免了APP播放音频对用户产生听觉掩蔽效应，对正常沟通、日常生活、人身安全等造成的影响，同时又可避免助听时部分音频响度过大而给用户带来不好的体验。

根据本公开的示例性实施例，可通过WebRTC AGC自动增益控制算法来对环境音的音频信号执行响度增益处理。例如，（1）可预处理用于采集环境音的麦克风音量。也就是说，可检查麦克风音量值，将其粗调至可供环境音的音频信号的自适应增益控制的范围内。（2）可根据环境音的音频信号的能量包络计算环境音的音频信号是否饱和，根据计算结果调整饱和电平值、功率谱自相关系数、各区间的自适应调整阈值。（3）可对环境音的音频信号的包络进行低能量检查，若低于低能量阈值，适当提高麦克风音量。（4）近端语音活度检查，通过近端输入信号的方差来调节活度阈值，例如长时间静音会导致阈值变低，该阈值决定是否进入调节主流程。（5）计算环境音的音频信号子带低频全帧能量和总能量，并根据计算结果判断是否进入调节流程。（6）自适应调节流程：将计算得来的低频全帧能量，根据4个阈值划分为5个区间。针对于落在5个区间内的环境音的音频信号，有5套不同的处理流程，其核心是保证每一帧的能量值最终落在第3区间内。其中对于能量较高的帧进行了重置高能量标志、调节最大幅度、降低麦克风音量、限制音量降低速度等处理；对于能量较低的帧进行了重置低能量标志、计算衰减曲线及增益权系数、增加低频能量、增加麦克风音量、限制音量增加速度等处理。

根据本公开的另一示例性实施例，可通过增大环境音的音频信号的音量来执行响度增益处理。例如，可根据预定规则来增大环境音的音频信号的音量，例如，可将环境音的音频信号的音量增大到所述预定响度阈值，又例如，可基于音频内容的音频信号的响度来适当地增大环境音的音频信号的音量，使得环境音的音频信号的响度保持在基于音频内容的音频信号的响度确定的预定范围内。

当然，根据本公开的响度增益处理不限于上述响度增益处理方法，还可以使用任何可行的响度增益处理方法。

根据本公开的示例性实施例，在将环境音的音频信号与音频内容的音频信号执行混音处理之前，可根据音频内容的音频信号的响度值及当前收集的有用环境音的分析结果，来对音频内容的音频信号执行响度负增益处理。例如，可确定当前环境音的音频信号的语音活度（例如，语音持续时间长度），例如，语音活度越高，说明正在发生越有效的语音沟通，因此可根据语音活度来适当地降低音频内容的音频信号的响度，以保证用户在收听音频节目时可以听清周围说话声，帮助用户进行正常沟通。具体地说，可确定环境音的音频信号的语音活度值；在环境音的音频信号的语音活度值大于预定活度阈值的情况下，确定环境音的音频信号的响度和音频内容的音频信号的响度；基于环境音的音频信号的响度和音频内容的音频信号的响度，对音频内容的音频信号执行响度负增益处理。例如，可对环境音的音频信号执行语音活动检测（Voice Activity Detection, VAD）处理，并根据环境音的音频信号的能量值及方差来计算语音信号窗口响度值及语音活度值，从而得到环境音的音频信号的响度及环境音的音频信号的语音活度值。此外，可对电子终端中播放的带音频的节目进行数字音频解码处理，并计算其窗口响度值，从而得到音频内容的音频信号的响度。

根据本公开的示例性实施例，可通过下述方法来执行响度负增益处理：确定环境音的音频信号的响度与音频内容的音频信号的响度之间的响度差值；在响度差值小于预定响度差阈值的情况下，减小音频内容的音频信号的音量，使得执行减小音量后的响度差值达到预定响度差阈值；在响度差值等于或大于预定响度差阈值的情况下，保持音频内容的音频信号的音量。

例如，可判断环境音的音频信号的语音活度，如果语音活度大于预定活度阈值，则进入音频节目负增益处理，否则不进入音频节目负增益处理。在进入音频节目负增益处理之后，将每个窗口长度（例如，500ms）的音频内容的音频信号与语音信号（即，环境音的音频信号）的响度值进行比较，如果语音信号响度值减去音频内容的音频信号的响度值之差小于预定响度差阈值（例如，6dB），则对音频内容的音频信号的响度进行负增益处理，使两者之差达到预定响度差阈值，如果语音信号响度值减去音频内容的音频信号的响度值之差大于或等于预定响度差阈值，则不对音频内容的音频信号的响度进行负增益处理。也就是说，在语音活度大于预定活度阈值的情况下，语音信号越小，音频内容的音频信号负增益越大，使得两者之差始终大于或等于预定响度差阈值，保障用户在收听音频内容时可以听清周围有用环境音。

根据本公开的另一示例性实施例，在环境音的音频信号的响度小于音频内容的音频信号的响度的情况下，可减小音频内容的音频信号的音量，使得环境音的音频信号的响度大于或等于音频内容的音频信号的响度。

当然，根据本公开的响度负增益处理不限于上述方法，还可使用任何可能的方法来执行响度负增益处理。

根据本公开的示例性实施例，可在获取电子终端周围的环境音之后，对环境音的音频信号执行降噪相关处理，在经过降噪相关处理的环境音的音频信号属于预定类型的环境音的情况下，将经过降噪相关处理后的环境音的音频信号与音频内容的音频信号执行混音处理。这里，降噪相关处理可包括，但不限于，回声消除（AEC）、降噪处理、静场检测（VAD）。其中，静场检测根据输入的噪声门限值，滤除不到门限值的音频信息，对音频信号进行进一步降噪处理。

根据本公开的另一示例性实施例，可在获取电子终端周围的环境音之后，在环境音的音频信号属于预定类型的环境音且环境音的音频信号的响度小于预定响度阈值的情况下，对环境音的音频信号执行响度增益处理，对经过响度增益处理后的环境音的音频信号执行降噪相关处理，并对经过降噪相关处理后的环境音的音频信号与音频内容的音频信号执行混音处理。或者，可在获取电子终端周围的环境音之后，在环境音的音频信号属于预定类型的环境音且环境音的音频信号的响度等于或大于预定响度阈值的情况下，对环境音的音频信号执行降噪相关处理，并对经过降噪相关处理后的环境音的音频信号与音频内容的音频信号执行混音处理。也就是说，该方案是将确定环境音的音频信号是否属于预定类型的环境音和/或响度增益处理可在降噪相关处理之前执行，可以更好地放大有用信号（例如，车辆鸣笛、地铁公交报站、门铃/敲门等），而使有用信号不会被认为噪声进行降噪相关处理，因此该方案更适用于交通出行等对特定的有用音频信号有更高要求的场景。

在步骤203，输出混音后的音频信号。例如，输出的混音后的音频信号可通过与电子终端关联的耳机输出给用户。

此外，根据本公开的在电子终端中实现助听的方法可在用户在电子终端中选择开启助听模式之后执行。根据本公开的示例性实施例，可在播放音频内容的软件的界面中显示助听模式的开启选项；在接收到用户经由开启选项选择开启助听模式的输入信号时，执行根据本公开的在电子终端中实现助听的方法。

此外，在助听模式下，还可提供助听模式浮窗来方便用户操作。根据本公开的示例性实施例，可在在播放音频内容的软件的界面中提供助听模式浮窗，其中，在助听模式浮窗中提供助听音量调节选项以供用户调节环境音音量的增量大小。也就是说，在助听模式下，可由用户通过助听音量调节选项来调节在对环境音的音频信号执行响度增益处理时环境音的增幅大小。图2是示出根据本公开的示例性实施例的助听模式浮窗的示意图。如图2所示，可在助听模式浮窗中提供条形栏供用户拖拽以调节环境音的增幅大小。在助听模式浮窗处于最小化状态下，当用户点击助听模式浮窗时，可展开助听模式浮窗并显示助听音量调节的条形栏。在助听模式浮窗处于展开状态下，当用户点击屏幕其它区域时，可使助听模式浮窗变为最小化状态。

此外，用户还可对助听模式进行一些设置。根据本公开的示例性实施例，可在播放音频内容的软件的界面中提供助听模式的设置选项；在接收到用户经由所述设置选项选择设置助听模式的输入信号时，显示助听模式的设置界面；其中，设置界面可包括以下功能项中的至少一项：助听模式开启选项、助听音量调节选项、助听模式浮窗开启选项；其中，助听模式开启选项可用于供用户选择开启或关闭助听模式，其中，当助听模式开启时，执行根据本公开的在电子终端中实现助听的方法；其中，助听音量调节选项用于供用户调节所述环境音音量的增量大小；其中，助听模式浮窗开启选项用于供用户选择开启或关闭助听模式浮窗，其中，在助听模式浮窗中提供助听音量调节选项。图3是示出根据本公开的示例性实施例的助听模式的设置界面的示意图。如图3所示，助听模式的设置界面可包括助听模式开启选项、助听音量调节选项、助听模式浮窗开启选项、关于助听模式的信息选项、新手引导选项。

通过上述方法，用户可通过电子终端来控制助听功能的参数设置，还可通过软件界面实现更为友好、便捷、可定制化的UI操作，提升用户体验。

下面，将参照图4和图5来描述根据本公开的在电子终端中实现助听的方法的具体实施例。

图4是示出根据本公开的在电子终端中实现助听的方法的第一具体实施例。

参照图4，展示出根据本公开的示例性实施例的在电子终端中播放网络音频流时实现助听的过程。对于环境音这一路信号，可通过与电子终端关联的麦克风采集环境音，并对采集的环境音执行采样/量化/编码（PCM处理）来获取环境音的数字音频信号（也可称为环境音的音频信号）。随后，对环境音的音频信号执行降噪相关处理，例如，顺序地执行回声消除处理、降噪处理、静场检测处理。随后，对经过降噪相关处理后的环境音的音频信号执行有用信号音频特征模型检测，例如，使用根据本公开的音频特征模型库中的音频特征模型来检测经过降噪相关处理后的环境音的音频信号是否属于预定类型的有用音频。随后，在确定经过降噪相关处理后的环境音的音频信号属于预定类型的有用音频的情况下，计算经过降噪相关处理后的环境音的音频信号的窗口响度，当计算出的窗口响度小于预定响度阈值的情况下，对经过降噪相关处理后的环境音的音频信号执行自适应响度增益（例如，WebRTC AGC），否则，不对经过降噪相关处理后的环境音的音频信号执行自适应响度增益。对于网络音频流这一路信号，可对网络音频流进行解码，解码后对其进行窗口响度值计算，根据其窗口响度值及当前收集的有用环境音的分析结果，对网络音频内容的音频信号执行响度负增益处理。最后，可将两路信号执行混音处理，并输出混音后的音频信号。

图5是示出根据本公开的在电子终端中实现助听的方法的第二具体实施例。

参照图5，展示出根据本公开的另一示例性实施例的在电子终端中播放网络音频流时实现助听的过程。对于环境音这一路信号，可通过与电子终端关联的麦克风采集环境音，并对采集的环境音执行采样/量化/编码（PCM处理）来获取环境音的数字音频信号（也可称为环境音的音频信号）。随后，对经过环境音的音频信号执行有用信号音频特征模型检测，例如，使用根据本公开的音频特征模型库中的音频特征模型来检测环境音的音频信号是否属于预定类型的有用音频。随后，在确定环境音的音频信号属于预定类型的有用音频的情况下，计算环境音的音频信号的窗口响度，当计算出的窗口响度小于预定响度阈值的情况下，对环境音的音频信号执行自适应响度增益（例如，WebRTC AGC），并对经过自适应响度增益后的环境音的音频信号执行降噪相关处理，例如，顺序地执行回声消除处理、降噪处理、静场检测处理；否则，不对环境音的音频信号执行自适应响度增益，并对环境音的音频信号执行降噪相关处理，例如，顺序地执行回声消除处理、降噪处理、静场检测处理。对于网络音频流这一路信号，可对网络音频流进行解码，解码后对其进行窗口响度值计算，根据其窗口响度值及当前收集的有用环境音的分析结果，对网络音频内容的音频信号执行响度负增益处理。最后，可将两路信号执行混音处理，并输出混音后的音频信号。在第二具体实施例中，将有用信号音频特征模型检测和/或响度增益处理可在降噪相关处理之前执行，可以更好地放大有用信号（例如，车辆鸣笛、地铁公交报站、门铃/敲门等），而使有用信号不会被认为噪声进行降噪相关处理，相比于传统助听设备，更适用于交通出行等对特定的有用音频信号有更高要求的场景。

图6是示出根据本公开的示例性实施例的在电子终端中实现助听的装置的框图。

参照图6，根据本公开的示例性实施例的在电子终端中实现助听的装置600可包括环境音获取单元601、混音处理单元602和音频输出单元603。

环境音获取单元601可在电子终端中播放音频内容时，获取电子终端周围的环境音。例如，可通过电子终端上内置或外接的传声器（例如，麦克风）拾取电子终端周围的环境音，并通过对拾取的环境音进行采样、量化、编码（PCM）处理，将拾取的环境音转为数字音频信号。环境音获取单元601可获取此数字音频信号作为电子终端周围的环境音。

混音处理单元602可在所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理。例如，混音处理单元602可采用多通道混音算法执行混音处理。

根据本公开的示例性实施例，预定类型的环境音可以是预先确定的对用户有用的各种类型的环境音，包括，但不限于，人声、车辆鸣笛、地铁公交报站、门铃/敲门等。也就是说，当获取的环境音属于预先确定的对用户有用的环境音时，混音处理单元602可将环境音的音频信号与音频内容的音频信号执行混音处理，使得用户能够听到有用的环境音的声音，从而在无需增加任何硬件元器件或单独购买佩戴助听设备的同时，使用户可以在使用耳机收听音频的同时享受环境音助听功能。

根据本公开的示例性实施例，可利用预先建立的音频特征模型库，对获取的环境音的音频信号进行特征分析，来确定获取的环境音是否属于预定类型的环境音。这里，音频特征模型库包括多个音频特征模型，每个音频特征模型用于分析一种类型的音频信号。也就是说，每个音频特征模型用于分辨一种有用的音频信号，其输入可以是环境音的音频信号提取的音频特征，输出可以是关于所述环境音是否属于该音频特征模型对应类型的有用的音频信号的相关信息。例如，关于汽车鸣笛的音频特征模型，可输出所述环境音是否属于汽车鸣笛的概率或音频标签等。而音频特征模型库可存储针对生活中常见的多种有用音频的多个音频特征模型。因此，可将环境音的音频信号的特征数据输入音频特征模型库中的音频特征模型，得到该音频特征模型的输出结果，并根据该音频特征模型的输出结果，确定环境音的音频信号是否属于与该音频特征模型对应的类型的音频信号。

根据本公开的示例性实施例，音频特征模型库中的音频特征模型可通过以下方式训练得到：（1）对于每一类有用音频信号（如汽车鸣笛）的音频特征模型，收集一批该类音频信号的音频样本，将其分为两个集合，一个为“样本集”，一个为“测试集”；（2）提取样本集每个音频样本的特征数据（例如，梅尔频率倒谱系数（MFCC），并转换成MFCC图片）。（3）对特征数据进行处理，得到音频特征数据集（例如，对MFCC图片进行切片，以960ms为一个切片，一个切片包括96个图片帧，一帧10ms，每一帧都包括了64个mel频带，得到音频特征数据集）；（4）运用例如，但不限于，MLP（多层感知器）神经网络作为训练模型，将音频特征数据集作为训练的输入，将音频标签（如汽车鸣笛等）作为训练输出；（5）运用测试集验证声音信号识别的正确性，若符合标准，则完成本次音频特征建模；若不符合标准，则调整MLP神经网络中激活函数、学习率、隐藏层神经单元数、最大迭代次数等参数，重新进行训练。

根据本公开的示例性实施例，预先建立的音频特征模型库可集成在用于播放音频内容的APP内，当APP播放音频内容的同时获取到环境音时，可利用集成在APP内的音频特征模型库来确定获取到的环境音是否属于预定类型的环境音。根据本公开的另一示例性实施例，预先建立的音频特征模型库可保存在云端，当APP播放音频内容的同时获取到环境音时，可将环境音的相关数据发送到云端，在云端利用音频特征模型库来确定获取到的环境音是否属于预定类型的环境音，并将确定结果返回到电子终端或APP中。

根据本公开的音频特征模型库可包括针对丰富完善的有用音频的多个音频特征模型，在实现语音信号助听功能的同时，对环境中语音以外有用的音频信号（如车辆鸣笛、地铁公交报站、门铃/敲门等）通过音频特征模型比对，筛选出来进行增益，保障用户在使用APP收听音频节目或使用助听模式进行交谈时，不会错过环境中各类有用音频信息。当然，根据本公开的用于确定获取的环境音是否属于预定类型的环境音的方法不限于上述利用音频特征模型库的方法，还可以使用其它可行的方法来确定获取的环境音是否属于预定类型的环境音。

根据本公开的示例性实施例，在获取的环境音属于预定类型的环境音的情况下，混音处理单元602可不直接将获取的环境音的音频信号与音频内容的音频信号执行混音处理，而是首先确定获取的环境音的音频信号的响度（或音量），根据确定的响度来判断是否需要对获取的环境音进行响度增益处理。具体地说，混音处理单元602可确定环境音的音频信号的响度；在环境音的音频信号的响度小于预定响度阈值的情况下，对环境音的音频信号执行响度增益处理，并将经过响应增益处理后的环境音的音频信号与音频内容的音频信号执行混音处理；在环境音的音频信号的响度等于或大于预定响度阈值的情况下，不执行响度增益处理而直接将环境音的音频信号与音频内容的音频信号执行混音处理。因此，可通过根据环境音的响度选择性地对有用的周围环境音进行增益处理，例如，对响度较小的有用周围环境音进行响度增益处理，而本身较大音频成分及使用者本身的说话声音不进行响度增益处理，从而既避免了APP播放音频对用户产生听觉掩蔽效应，对正常沟通、日常生活、人身安全等造成的影响，同时又可避免助听时部分音频响度过大而给用户带来不好的体验。

根据本公开的示例性实施例，混音处理单元602可通过WebRTC AGC自动增益控制算法来对环境音的音频信号执行响度增益处理。例如，混音处理单元602可执行以下处理：（1）可预处理用于采集环境音的麦克风音量。也就是说，可检查麦克风音量值，将其粗调至可供环境音的音频信号的自适应增益控制的范围内。（2）可根据环境音的音频信号的能量包络计算环境音的音频信号是否饱和，根据计算结果调整饱和电平值、功率谱自相关系数、各区间的自适应调整阈值。（3）可对环境音的音频信号的包络进行低能量检查，若低于低能量阈值，适当提高麦克风音量。（4）近端语音活度检查，通过近端输入信号的方差来调节活度阈值，例如长时间静音会导致阈值变低，该阈值决定是否进入调节主流程。（5）计算环境音的音频信号子带低频全帧能量和总能量，并根据计算结果判断是否进入调节流程。（6）自适应调节流程：将计算得来的低频全帧能量，根据4个阈值划分为5个区间。针对于落在5个区间内的环境音的音频信号，有5套不同的处理流程，其核心是保证每一帧的能量值最终落在第3区间内。其中对于能量较高的帧进行了重置高能量标志、调节最大幅度、降低麦克风音量、限制音量降低速度等处理；对于能量较低的帧进行了重置低能量标志、计算衰减曲线及增益权系数、增加低频能量、增加麦克风音量、限制音量增加速度等处理。

根据本公开的另一示例性实施例，混音处理单元602可通过增大环境音的音频信号的音量来执行响度增益处理。例如，混音处理单元602可根据预定规则来增大环境音的音频信号的音量，例如，可将环境音的音频信号的音量增大到所述预定响度阈值，又例如，可基于音频内容的音频信号的响度来适当地增大环境音的音频信号的音量，使得环境音的音频信号的响度保持在基于音频内容的音频信号的响度确定的预定范围内。

当然，根据本公开的响度增益处理不限于上述响度增益处理方法，还可以使用任何可行的响度增益处理方法。

根据本公开的示例性实施例，在将环境音的音频信号与音频内容的音频信号执行混音处理之前，混音处理单元602可根据音频内容的音频信号的响度值及当前收集的有用环境音的分析结果，来对音频内容的音频信号执行响度负增益处理。例如，可确定当前环境音的音频信号的语音活度（例如，语音持续时间长度），例如，语音活度越高，说明正在发生越有效的语音沟通，因此可根据语音活度来适当地降低音频内容的音频信号的响度，以保证用户在收听音频节目时可以听清周围说话声，帮助用户进行正常沟通。具体地说，混音处理单元602可确定环境音的音频信号的语音活度值；在环境音的音频信号的语音活度值大于预定活度阈值的情况下，确定环境音的音频信号的响度和音频内容的音频信号的响度；基于环境音的音频信号的响度和音频内容的音频信号的响度，对音频内容的音频信号执行响度负增益处理。例如，混音处理单元602可对环境音的音频信号执行语音活动检测（VoiceActivity Detection, VAD）处理，并根据环境音的音频信号的能量值及方差来计算语音信号窗口响度值及语音活度值，从而得到环境音的音频信号的响度及环境音的音频信号的语音活度值。此外，混音处理单元602可对电子终端中播放的带音频的节目进行数字音频解码处理，并计算其窗口响度值，从而得到音频内容的音频信号的响度。

根据本公开的示例性实施例，混音处理单元602可通过下述方法来执行响度负增益处理：确定环境音的音频信号的响度与音频内容的音频信号的响度之间的响度差值；在响度差值小于预定响度差阈值的情况下，减小音频内容的音频信号的音量，使得执行减小音量后的响度差值达到预定响度差阈值；在响度差值等于或大于预定响度差阈值的情况下，保持音频内容的音频信号的音量。

例如，混音处理单元602可判断环境音的音频信号的语音活度，如果语音活度大于预定活度阈值，则进入音频节目负增益处理，否则不进入音频节目负增益处理。在进入音频节目负增益处理之后，混音处理单元602将每个窗口长度（例如，500ms）的音频内容的音频信号与语音信号（即，环境音的音频信号）的响度值进行比较，如果语音信号响度值减去音频内容的音频信号的响度值之差小于预定响度差阈值（例如，6dB），则对音频内容的音频信号的响度进行负增益处理，使两者之差达到预定响度差阈值，如果语音信号响度值减去音频内容的音频信号的响度值之差大于或等于预定响度差阈值，则不对音频内容的音频信号的响度进行负增益处理。也就是说，在语音活度大于预定活度阈值的情况下，语音信号越小，音频内容的音频信号负增益越大，使得两者之差始终大于或等于预定响度差阈值，保障用户在收听音频内容时可以听清周围有用环境音。

根据本公开的另一示例性实施例，在环境音的音频信号的响度小于音频内容的音频信号的响度的情况下，混音处理单元602可减小音频内容的音频信号的音量，使得环境音的音频信号的响度大于或等于音频内容的音频信号的响度。

当然，根据本公开的响度负增益处理不限于上述方法，还可使用任何可能的方法来执行响度负增益处理。

根据本公开的示例性实施例，根据本公开的示例性实施例的在电子终端中实现助听的装置600还可包括降噪处理单元（未示出）。在环境音获取单元601获取电子终端周围的环境音之后，降噪处理单元可对环境音的音频信号执行降噪相关处理，在经过降噪相关处理的环境音的音频信号属于预定类型的环境音的情况下，混音处理单元602将经过降噪相关处理后的环境音的音频信号与音频内容的音频信号执行混音处理。这里，降噪相关处理可包括，但不限于，回声消除（AEC）、降噪处理、静场检测（VAD）。其中，静场检测根据输入的噪声门限值，滤除不到门限值的音频信息，对音频信号进行进一步降噪处理。

根据本公开的另一示例性实施例，根据本公开的示例性实施例的在电子终端中实现助听的装置600还可包括降噪处理单元（未示出）。在环境音获取单元601获取电子终端周围的环境音之后，在环境音的音频信号属于预定类型的环境音且环境音的音频信号的响度小于预定响度阈值的情况下，混音处理单元602对环境音的音频信号执行响度增益处理，降噪处理单元对经过响度增益处理后的环境音的音频信号执行降噪相关处理，并混音处理单元602对经过降噪相关处理后的环境音的音频信号与音频内容的音频信号执行混音处理。或者，在环境音获取单元601获取电子终端周围的环境音之后，在环境音的音频信号属于预定类型的环境音且环境音的音频信号的响度等于或大于预定响度阈值的情况下，降噪处理单元对环境音的音频信号执行降噪相关处理，并混音处理单元602对经过降噪相关处理后的环境音的音频信号与音频内容的音频信号执行混音处理。也就是说，该方案是将确定环境音的音频信号是否属于预定类型的环境音和/或响度增益处理可在降噪相关处理之前执行，可以更好地放大有用信号（例如，车辆鸣笛、地铁公交报站、门铃/敲门等），而使有用信号不会被认为噪声进行降噪相关处理，因此该方案更适用于交通出行等对特定的有用音频信号有更高要求的场景。

音频输出单元603可输出混音后的音频信号。例如，输出的混音后的音频信号可通过与电子终端关联的耳机输出给用户。

此外，根据本公开的在电子终端中实现助听的方法可在用户在电子终端中选择开启助听模式之后执行。根据本公开的示例性实施例，根据本公开的在电子终端中实现助听的装置600还可包括显示单元（未示出）和接收单元（未示出）。显示单元可在播放音频内容的软件的界面中显示助听模式的开启选项；接收单元可接收用户经由所述开启选项选择开启助听模式的输入信号。在接收到用户经由开启选项选择开启助听模式的输入信号时，执行根据本公开的在电子终端中实现助听的方法，即，环境音获取单元601、混音处理单元602、音频输出单元603和/或降噪处理单元（未示出）执行操作。

此外，在助听模式下，还可提供助听模式浮窗来方便用户操作。根据本公开的示例性实施例，根据本公开的在电子终端中实现助听的装置600还可包括显示单元（未示出）。显示单元可在在播放音频内容的软件的界面中提供助听模式浮窗，其中，在助听模式浮窗中提供助听音量调节选项以供用户调节环境音音量的增量大小。也就是说，在助听模式下，可由用户通过助听音量调节选项来调节在对环境音的音频信号执行响度增益处理时环境音的增幅大小。

此外，用户还可对助听模式进行一些设置。根据本公开的示例性实施例，在电子终端中实现助听的装置600还可包括显示单元（未示出）和接收单元（未示出）。显示单元可在播放音频内容的软件的界面中提供助听模式的设置选项；接收单元可接收用户经由所述设置选项选择设置助听模式的输入信号。在接收到用户经由所述设置选项选择设置助听模式的输入信号时，显示单元显示助听模式的设置界面；其中，设置界面可包括以下功能项中的至少一项：助听模式开启选项、助听音量调节选项、助听模式浮窗开启选项；其中，助听模式开启选项可用于供用户选择开启或关闭助听模式，其中，当助听模式开启时，执行根据本公开的在电子终端中实现助听的方法，即，环境音获取单元601、混音处理单元602、音频输出单元603和/或降噪处理单元（未示出）执行操作；其中，助听音量调节选项用于供用户调节所述环境音音量的增量大小；其中，助听模式浮窗开启选项用于供用户选择开启或关闭助听模式浮窗，其中，在助听模式浮窗中提供助听音量调节选项。

通过上述方法，用户可通过电子终端来控制助听功能的参数设置，还可通过软件界面实现更为友好、便捷、可定制化的UI操作，提升用户体验。

图7是根据本公开的示例性实施例的电子设备700的框图。

参照图7，电子设备700包括至少一个存储器701和至少一个处理器702，所述至少一个存储器701中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器702执行时，执行根据本公开的示例性实施例的在电子终端中实现助听的方法。

作为示例，电子设备700可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备700并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令（或指令集）的装置或电路的集合体。电子设备700还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程（例如，经由无线传输）以接口互联的便携式电子设备。

在电子设备700中，处理器702可包括中央处理器（CPU）、图形处理器（GPU）、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器702可运行存储在存储器701中的指令或代码，其中，存储器701还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器701可与处理器702集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器701可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器701和处理器702可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器702能够读取存储在存储器中的文件。

此外，电子设备700还可包括视频显示器（诸如，液晶显示器）和用户交互接口（诸如，键盘、鼠标、触摸输入装置等）。电子设备700的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的在电子终端中实现助听的方法。这里的计算机可读存储介质的示例包括：只读存储器（ROM）、随机存取可编程只读存储器（PROM）、电可擦除可编程只读存储器（EEPROM）、随机存取存储器（RAM）、动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器（HDD）、固态硬盘（SSD）、卡式存储器（诸如，多媒体卡、安全数字（SD）卡或极速数字（XD）卡）、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的在电子终端中实现助听的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (26)

1.一种在电子终端中实现助听的方法，其特征在于，包括：

在电子终端中播放音频内容时，获取电子终端周围的环境音；

在所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理；

输出混音后的音频信号；

其中，所述将所述环境音的音频信号与所述音频内容的音频信号执行混音处理，包括：

确定所述环境音的音频信号的响度；

在所述环境音的音频信号的响度小于预定响度阈值的情况下，对所述环境音的音频信号执行响度增益处理，并将经过响应增益处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理；

在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理；

其中，所述将所述环境音的音频信号与所述音频内容的音频信号执行混音处理，包括：

确定所述环境音的音频信号的语音活度值；

在所述环境音的音频信号的语音活度值大于预定活度阈值的情况下，确定所述环境音的音频信号的响度和所述音频内容的音频信号的响度；

基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理。

2.如权利要求1所述的方法，其特征在于，对所述环境音的音频信号执行响度增益处理，包括：

通过WebRTC AGC自动增益控制算法来对所述环境音的音频信号执行响度增益处理；或者

通过增大所述环境音的音频信号的音量来执行响度增益处理。

3.如权利要求1所述的方法，其特征在于，所述基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理，包括：

确定所述环境音的音频信号的响度与所述音频内容的音频信号的响度之间的响度差值；

在所述响度差值小于预定响度差阈值的情况下，减小所述音频内容的音频信号的音量，使得执行减小音量后的所述响度差值达到所述预定响度差阈值；

在所述响度差值等于或大于预定响度差阈值的情况下，保持所述音频内容的音频信号的音量。

4.如权利要求1所述的方法，其特征在于，所述基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理，包括：

在所述环境音的音频信号的响度小于所述音频内容的音频信号的响度的情况下，减小所述音频内容的音频信号的音量，使得所述环境音的音频信号的响度大于或等于所述音频内容的音频信号的响度。

5.如权利要求1所述的方法，其特征在于，通过以下方式来确定所述环境音是否属于预定类型的环境音：

利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，其中，所述音频特征模型库包括多个音频特征模型，每个音频特征模型用于分析一种类型的音频信号。

6.如权利要求5所述的方法，其特征在于，所述利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，包括：

将所述环境音的音频信号的特征数据输入所述音频特征模型库中的音频特征模型，得到所述音频特征模型的输出结果；

根据所述音频特征模型的输出结果，确定所述环境音的音频信号是否属于与所述音频特征模型对应的类型的音频信号。

7.如权利要求1所述的方法，其特征在于，还包括：

在获取电子终端周围的环境音之后，对所述环境音的音频信号执行降噪相关处理；

其中，在确定所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理，包括：

在确定经过降噪相关处理的所述环境音的音频信号属于预定类型的环境音的情况下，将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

8.如权利要求1所述的方法，其特征在于，还包括：

在所述环境音的音频信号的响度小于预定响度阈值的情况下，在对所述环境音的音频信号执行响度增益处理之后，对经过响度增益处理后的所述环境音的音频信号执行降噪相关处理，其中，经过降噪相关处理后的所述环境音的音频信号被用于与所述音频内容的音频信号执行混音处理；或者

在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，对所述环境音的音频信号执行降噪相关处理，其中，经过降噪相关处理后的所述环境音的音频信号被用于与所述音频内容的音频信号执行混音处理。

9.如权利要求7或8所述的方法，其特征在于，所述降噪相关处理包括回声消除、降噪处理和静场检测中的至少一个。

10.如权利要求1所述的方法，其特征在于，还包括：

在播放所述音频内容的软件的界面中显示助听模式的开启选项；

在接收到用户经由所述开启选项选择开启助听模式的输入信号时，执行如权利要求1所述的方法。

11.如权利要求1所述的方法，其特征在于，还包括：

在播放所述音频内容的软件的界面中显示助听模式浮窗，其中，在所述助听模式浮窗中提供助听音量调节选项以供用户调节所述环境音音量的增量大小。

12.如权利要求1所述的方法，其特征在于，还包括：

在播放所述音频内容的软件的界面中显示助听模式的设置选项；

在接收到用户经由所述设置选项选择设置助听模式的输入信号时，显示助听模式的设置界面；

其中，所述设置界面包括以下功能项中的至少一项：助听模式开启选项、助听音量调节选项、助听模式浮窗开启选项；

其中，所述助听模式开启选项用于供用户选择开启或关闭助听模式，其中，当助听模式开启时，执行如权利要求1所述的方法；

其中，所述助听音量调节选项用于供用户调节所述环境音音量的增量大小；

其中，所述助听模式浮窗开启选项用于供用户选择开启或关闭助听模式浮窗，其中，在所述助听模式浮窗中提供所述助听音量调节选项。

13.一种在电子终端中实现助听的装置，其特征在于，包括：

环境音获取单元，被配置为：在电子终端中播放音频内容时，获取电子终端周围的环境音；

混音处理单元，被配置为：在所述环境音属于预定类型的环境音的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理；

音频输出单元，被配置为：输出混音后的音频信号；

其中，混音处理单元被配置为：

确定所述环境音的音频信号的响度；

在所述环境音的音频信号的响度小于预定响度阈值的情况下，对所述环境音的音频信号执行响度增益处理，并将经过响应增益处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理；

在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，将所述环境音的音频信号与所述音频内容的音频信号执行混音处理；

其中，混音处理单元被配置为：

确定所述环境音的音频信号的语音活度值；

在所述环境音的音频信号的语音活度值大于预定活度阈值的情况下，确定所述环境音的音频信号的响度和所述音频内容的音频信号的响度；

基于所述环境音的音频信号的响度和所述音频内容的音频信号的响度，对所述音频内容的音频信号执行响度负增益处理。

14.如权利要求13所述的装置，其特征在于，混音处理单元被配置为：

通过WebRTC AGC自动增益控制算法来对所述环境音的音频信号执行响度增益处理；或者

通过增大所述环境音的音频信号的音量来执行响度增益处理。

15.如权利要求13所述的装置，其特征在于，混音处理单元被配置为：

确定所述环境音的音频信号的响度与所述音频内容的音频信号的响度之间的响度差值；

在所述响度差值小于预定响度差阈值的情况下，减小所述音频内容的音频信号的音量，使得执行减小音量后的所述响度差值达到所述预定响度差阈值；

在所述响度差值等于或大于预定响度差阈值的情况下，保持所述音频内容的音频信号的音量。

16.如权利要求13所述的装置，其特征在于，混音处理单元被配置为：

在所述环境音的音频信号的响度小于所述音频内容的音频信号的响度的情况下，减小所述音频内容的音频信号的音量，使得所述环境音的音频信号的响度大于或等于所述音频内容的音频信号的响度。

17.如权利要求13所述的装置，其特征在于，通过以下方式来确定所述环境音是否属于预定类型的环境音：

利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，其中，所述音频特征模型库包括多个音频特征模型，每个音频特征模型用于分析一种类型的音频信号。

18.如权利要求17所述的装置，其特征在于，所述利用预先建立的音频特征模型库，对所述环境音的音频信号进行特征分析，包括：

将所述环境音的音频信号的特征数据输入所述音频特征模型库中的音频特征模型，得到所述音频特征模型的输出结果；

根据所述音频特征模型的输出结果，确定所述环境音的音频信号是否属于与所述音频特征模型对应的类型的音频信号。

19.如权利要求13所述的装置，其特征在于，还包括：

降噪处理单元，被配置为：在获取电子终端周围的环境音之后，对所述环境音的音频信号执行降噪相关处理；

其中，混音处理单元被配置为：

在确定经过降噪相关处理的所述环境音的音频信号属于预定类型的环境音的情况下，将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

20.如权利要求13所述的装置，其特征在于，还包括：降噪处理单元；

其中，在所述环境音的音频信号的响度小于预定响度阈值的情况下，在混音处理单元对所述环境音的音频信号执行响度增益处理之后，降噪处理单元对经过响度增益处理后的所述环境音的音频信号执行降噪相关处理，混音处理单元将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理；或者

在所述环境音的音频信号的响度等于或大于所述预定响度阈值的情况下，降噪处理单元对所述环境音的音频信号执行降噪相关处理，混音处理单元将经过降噪相关处理后的所述环境音的音频信号与所述音频内容的音频信号执行混音处理。

21.如权利要求19或20所述的装置，其特征在于，所述降噪相关处理包括回声消除、降噪处理和静场检测中的至少一个。

22.如权利要求13所述的装置，其特征在于，还包括：

显示单元，被配置为：在播放所述音频内容的软件的界面中显示助听模式的开启选项；

接收单元，被配置为：接收用户经由所述开启选项选择开启助听模式的输入信号；

其中，在接收到用户经由所述开启选项选择开启助听模式的输入信号时，环境音获取单元、混音处理单元和音频输出单元执行操作。

23.如权利要求13所述的装置，其特征在于，还包括：

显示单元，被配置为：在播放所述音频内容的软件的界面中显示助听模式浮窗，其中，在所述助听模式浮窗中提供助听音量调节选项以供用户调节所述环境音音量的增量大小。

24.如权利要求13所述的装置，其特征在于，还包括：

显示单元，被配置为：在播放所述音频内容的软件的界面中显示助听模式的设置选项；

接收单元，被配置为：接收用户经由所述设置选项选择设置助听模式的输入信号；

其中，在接收单元接收到用户经由所述设置选项选择设置助听模式的输入信号时，显示单元显示助听模式的设置界面；

其中，所述设置界面包括以下功能项中的至少一项：助听模式开启选项、助听音量调节选项、助听模式浮窗开启选项；

其中，所述助听模式开启选项用于供用户选择开启或关闭助听模式，其中，当助听模式开启时，环境音获取单元、混音处理单元和音频输出单元执行操作；

其中，所述助听音量调节选项用于供用户调节所述环境音音量的增量大小；

其中，所述助听模式浮窗开启选项用于供用户选择开启或关闭助听模式浮窗，其中，在所述助听模式浮窗中提供所述助听音量调节选项。

25.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到12中的任一权利要求所述的在电子终端中实现助听的方法。

26.一种计算机可读存储介质，其特征在于，当述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到12中的任一权利要求所述的在电子终端中实现助听的方法。

Images