CN113115190B - 音频信号处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种音频信号处理方法、装置、设备及存储介质；在本发明中，助听器在对音频信号处理时，如果检测到骨传导信号中包含语音信号，则认定佩戴者正在说话，此时需采用预设放大增益对音频信号进行处理，由于该预设放大增益小于正常工作状态下的放大增益，所以可防止因助听器放大佩戴者自己说话的语音，导致音量及音色发生改变的现象出现，使得助听器佩戴者对自身语音的佩戴前后主观感受一致，提升助听器佩戴者的佩戴体验。

Description

音频信号处理方法、装置、设备及存储介质

技术领域

本发明涉及信号处理技术领域，更具体地说，涉及一种音频信号处理方法、装置、设备及存储介质。

背景技术

助听器是帮助人耳聆听的工具，它是一种提高声音强度的装置，可帮助某些听力障碍患者充分利用残余听力，进而补偿耳聋的听力损失。作为一种听力康复手段，它不能使听力障碍患者的听力恢复至正常，但能将声音放大到患者能够听见的水平，帮助听力障碍患者更好地与人交流。

目前，部分助听器配戴者在助听器开机状态下开口讲话时，感觉自己发出的声音不正常。这是因为助听器不仅会放大别人的讲话声，也会放大配戴者自己的语音。由于助听器的麦克风离配戴者的口腔更近，即使用相同声压的声音讲话，助听器配戴者听到自己说话声音比他人说话声更大，有一种扩音的感觉，另外这种放大气导的方式，与人通常通过骨传导感受自说话声音的方式有差异，会导致佩戴者主观感受自身音色的改变，影响助听器佩戴者的体验，导致部分听损患者不愿意佩戴助听器。

发明内容

本发明的目的在于提供一种音频信号处理方法、装置、设备及存储介质，以避免助听器佩戴者因同时通过气导和骨导两种方式听到自己说话声音，导致其主观感受到音量或者音色改变，影响助听器的佩戴体验。

为实现上述目的，本发明提供一种音频信号处理方法，能够用于助听设备，包括：

获取骨传导信号；

检测所述骨传导信号中是否包含语音信号；

若所述骨传导信号中包含语音信号，则利用预设放大增益对音频信号进行处理；其中，所述预设放大增益小于正常工作状态下的放大增益。

其中，若所述骨传导信号中不包含语音信号，则所述音频信号处理方法还包括：利用正常工作状态下的放大增益对音频信号进行处理。

其中，所述利用正常工作状态下的放大增益对音频信号进行处理之前，还包括：

确定当前工作状态；

若所述当前工作状态为正常工作状态，则执行所述利用正常工作状态下的放大增益对音频信号进行处理的步骤；

若所述当前工作状态为原声处理状态，则将当前工作状态调整为正常工作状态，并执行所述利用正常工作状态下的放大增益对音频信号进行处理的步骤。

其中，所述利用预设放大增益对音频信号进行处理之前，还包括：

确定当前工作状态；

若所述当前工作状态为原声处理状态，则执行所述利用预设放大增益对音频信号进行处理的步骤；

若所述当前工作状态为正常工作状态，则将当前工作状态调整为原声处理状态，并执行所述利用预设放大增益对音频信号进行处理的步骤。

其中，所述获取骨传导信号包括：以预定时长为周期，通过助听器的骨传导传感器获取骨传导信号。

其中，所述检测所述骨传导信号中是否包含语音信号，包括：通过语音活动检测算法检测所述骨传导信号中是否包含语音信号。

为实现上述目的，本发明还提供了一种音频信号处理装置，能够用于助听设备，包括：

获取模块，用于获取骨传导信号；

检测模块，用于检测所述骨传导信号中是否包含语音信号；

第一处理模块，用于在所述骨传导信号中包含语音信号时，利用预设放大增益对音频信号进行处理；其中，所述预设放大增益小于正常工作状态下的放大增益。

其中，所述装置还包括：

第二处理模块，用于在所述骨传导信号中不包含语音信号时，利用正常工作状态下的放大增益对音频信号进行处理。

为实现上述目的，本发明还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述音频信号处理方法的步骤。

为实现上述目的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述音频信号处理方法的步骤。

通过以上方案可知，本发明实施例提供的一种音频信号处理方法，包括：获取骨传导信号；检测骨传导信号中是否包含语音信号；若骨传导信号中包含语音信号，则利用预设放大增益对音频信号进行处理；其中，预设放大增益小于正常工作状态下的放大增益。

可见，本方案中的助听器在对音频信号处理时，如果检测到骨传导信号中包含语音信号，则认定佩戴者正在说话，此时需采用预设放大增益对音频信号进行处理，由于该预设放大增益小于正常工作状态下的放大增益，所以可防止因助听器放大佩戴者自己说话的语音，导致音量及音色发生改变的现象出现，使得助听器佩戴者对自身语音的佩戴前后主观感受一致，提升助听器佩戴者的佩戴体验。本发明还公开了一种音频信号处理装置、设备及存储介质，同样能实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种音频信号处理方法流程示意图；

图2为本发明实施例公开的另一种音频信号处理方法流程示意图；

图3为本发明实施例公开的一种音频信号处理装置结构示意图；

图4为本发明实施例公开的一种电子设备结构示意图。

具体实施方式

需要说明的是，由于助听器在放大音频信号时，不仅仅放大其他人的音频信号，还放大了佩戴者自身的音频信号，从而导致助听器佩戴者主观感受到自身音频的音量及音色均发生改变，带来了不好的佩戴体验。为了解决该问题，在传统处理方式中，具体是通过原声处理技术(own voice process，OVP)将自己说话的声音和他人说话的声音进行区别处理，但是该方式中，在如何区分自己说话声音和他人说话声音这一问题上，存在辨别困难。

在本发明中，提出了一种基于骨传导传感器(Voice Pick-up Sensor，VPU)的原声处理技术，用以高效解决助听器原声处理问题。具体来说，本方案通过骨传导信号来辨别用户是否说话，从而控制助听器的音频处理效果，当用户自说话时，通过减小增益来减小/关闭助听器的声音放大功能，避免助听器放大自己声音产生音色改变。当用户不说话时，开启助听器的声音放大能力，用户可以充分享受助听器带来的益处。并且，本方案通过骨传导信号来辨别用户是否在自说话的方式，比起使用声纹等纯粹的语音信号处理来说，更加简便、实时、准确，真正地使得原声处理技术能够实用化。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供的一种音频信号处理方法流程示意图，该方法能够用于助听设备，具体包括如下步骤：

S101、获取骨传导信号；

需要说明的是，由于用户在说话时，语音信号通过两种路径到达内耳，一种是通过颅骨、颌骨等的振动传到内耳，称为骨传导。另一种是声波经耳廓由外耳道传递到中耳，再经听骨链传到内耳，称为气传导。并且，由于用户自己的说话声音主要是通过骨传导传到内耳形成听觉，因此本方案在辨别佩戴者是否在说话时，可通过对骨传导信号的分析来确定佩戴者是否在说话。

在本方案中，音频信号处理方法的执行主体为助听器，助听器通过骨传导信号确定佩戴者是否在说话，从而调整助听器的信号放大增益，使得佩戴者在说话时，通过降低信号放大增益，防止因助听器放大佩戴者自己说话的语音，导致音量及音色发生改变的现象出现。并且，由于骨传导传感器对气导传过来的语音信号不敏感，因此本方案可通过骨传导传感器来获取骨传导信号，从而提高骨传导信号的准确度。

本方案在获取骨传导信号时，若考虑到助听器的资源消耗情况，则可在接收到用户主动触发的打开指令后，再通过本方案对信号放大增益进行调整。当然，若考虑到增益调整的实时性，也可以为以预定时长为周期通过助听器的骨传导传感器获取骨传导信号，周期性的对信号放大增益进行调整，上述两种方式，佩戴者可根据实际情况灵活选择。其中，该预定时长为两次获取骨传导信号之间的时间间隔，如：若设置该预定时长为2秒，则获取骨传导信号后，间隔2秒后再次获取骨传导信号，每次获取骨传导信号后均通过本方案对音频信号进行处理，本实施例中仅以预定时长为2秒为例进行说明，在实际使用过程中，可根据实际经验进行自定义设置。并且，本方案获取的骨传导信号，为骨传导传感器连续采集的骨传导信号，若设置采集时长为10毫秒，则每次骨传导传感器均连续采集10毫秒的骨传导信号，当然，该采集时长也可以自定义设置，在此并不具体限定。

S102、检测该骨传导信号中是否包含语音信号；

可以理解的是，若佩戴者在说话，则骨传导传感器获取的骨传导信号中必然包括佩戴者的语音信号，因此，本方案通过检测骨传导信号中是否包含语音信号来判断佩戴者是否在说话。在本实施例中，可通过信号处理算法来检测骨传导信号中是否包含语音信号，如：通过语音活动检测算法(Voice Activity Detection，VAD)检测骨传导信号中是否包含语音信号，该语音活动检测算法的作用是从音频信号中识别出语音片段与非语音片段，具体包括以下步骤：

a、计算指定带宽的频谱能量：

如：将音频信号经过FFT(fast Fourier transform，快速傅立叶变换)计算后，将8khz带宽分为128个子带，根据如下公式计算低24个子带能量E_g。

其中，k表示子带序号，Y₂(K)表示第k个子带的骨传导信号的频域信号；

b、计算指定带宽内的相干系数，公式定义如下：

其中，Y₁(K)表示第k个子带的麦克风信号的频域信号；

c、根据相干系数及频谱能量判定骨传导信号中是否包含语音信号，该过程包括如下步骤：

判断相干系数是否小于k1；

若是，则设置Vad＝0；若否，则判断频谱能量是否小于k2；

若是，则设置Vad＝0；若否，则设置Vad＝1。

其中，上述k1和k2为预先设定的常数，若Vad＝0，则判定骨传导信号中不包含语音信号，若Vad＝1，则判定骨传导信号中包含语音信号。

S103、若骨传导信号中包含语音信号，则利用预设放大增益对音频信号进行处理；其中，该预设放大增益小于正常工作状态下的放大增益。

需要说明的是，助听器的信号放大增益是指输出与输入声级的差值，表示助听器的放大功能，调整助听器增益可以改变助听器的音量。因此，本方案通过骨传导传感器采集骨传导信号，根据骨传导信号确定用户是否在自说话后，可根据用户是否在自说话这一信息，控制助听器的信号放大增益的变化，如：在自说话时段，降低助听器增益或关闭助听器，在非自说话时段，正常开启助听器。

在本方案中，为了在佩戴者说话或者未说话时，自动调整助听器的信号放大增益，可预先设置两个信号放大增益，即：预设放大增益和正常工作状态下的放大增益，预设放大增益小于正常工作状态下的放大增益，正常工作状态下的放大增益主要用于在用户未说话时对音频信号进行处理，预设放大增益主要用于在用户说话时对音频信号进行处理。该预设放大增益和正常工作状态下的放大增益可根据用户的需求预先配置，因此，本申请通过设置两个信号放大增益的数值，可产生不同的效果，例如：若设置预设放大增益大于零，且小于正常工作状态下的放大增益，则说明助听器目前的效果为减小助听器的音频放大功能，佩戴者此时不仅能通过骨传导方式听到自己的声音，也能通过助听器听到放大的音频，但是此时佩戴者听到的助听器放大的音频的音量要小于佩戴者未说话时放大的音频的音量，因此可减小佩戴者通过骨导听到自己说话声音，避免佩戴者主观感受到音量或者音色改变，影响助听器的佩戴体验。若设置预设放大增益为零，则相当于关闭了助听器的音频放大功能，此时将不会对外界的音频进行放大，这样佩戴者通过骨传导方式听到自己的声音，便不会发生音色及音量的改变。

综上可见，本方案基于骨传导传感器获取骨传导语音信号的精确性，可精确判断当前佩戴者是否在自说话，从而自动控制助听器降低原声气导信号的增益，使得用户佩戴助听器后，对自身语音的佩戴前后主观感受一致，提升助听器佩戴者的佩戴体验，具有重要的社会意义与价值。

参见图2，本发明实施例提供的另一种音频信号处理方法流程示意图，该方法能够用于助听设备，具体包括如下步骤：

S201、以预定时长为周期，通过助听器的骨传导传感器获取骨传导信号；

S202、通过语音活动检测算法检测骨传导信号中是否包含语音信号；

若否，则执行S203；若是，则执行S206；

S203、确定当前工作状态；

S204、若当前工作状态为正常工作状态，则利用正常工作状态下的放大增益对音频信号进行处理；

S205、若当前工作状态为原声处理状态，则将当前工作状态调整为正常工作状态，并利用正常工作状态下的放大增益对音频信号进行处理；

S206、确定当前工作状态；

S207、若当前工作状态为原声处理状态，则利用预设放大增益对音频信号进行处理；

S208、若当前工作状态为正常工作状态，则将当前工作状态调整为原声处理状态，并利用预设放大增益对音频信号进行处理；其中，预设放大增益小于正常工作状态下的放大增益。

在本实施例中，将佩戴者自说话的语音称为原声，并预先设置两个工作状态，即：正常工作状态和原声处理状态，若骨传导信号中不包含语音信号，则将助听器的工作状态设置为正常工作状态，若骨传导信号中包含语音信号，则将助听器的工作状态设置为原声处理状态。助听器在对信号进行处理时，可直接根据助听器的工作状态来选择对应的信号放大增益对音频信号处理。

因此，本方案在每个检测周期获取骨导信号数据后，若检测到该骨传导信号未包含语音信号，则检测助听器的当前工作状态，如果助听器处于正常工作状态，则本周期处理结束，在正常工作状态下助听器通过正常工作状态下的放大增益对信号进行处理，然后继续下一检测周期的处理；如果助听器处于原声处理状态，则将助听器的工作状态更改为正常工作状态，并将助听器的信号放大增益从预设放大增益恢复至助听器在正常工作状态下的放大增益，本周期处理结束，并进行下一周期的处理。

同样的，若检测到该骨传导信号包含语音信号，则检测当前助听器的当前工作状态，如果助听器处于原声处理状态，则本周期处理结束，在原声处理状态下，助听器会通过预设放大增益对信号进行处理，并进行下一周期处理。如果助听器处于正常工作状态，则将助听器的当前工作状态调整为原声处理状态，并减小或关闭助听器信号放大增益，将助听器的信号放大增益从正常工作状态下的放大增益调整至预设放大增益，本周期处理结束，继续进行下一周期处理。

综上可见，本方案在每个检测周期，均对骨传导传感器获取的骨传导信号进行检测，若未检测到语音信号，则认定佩戴者未说话，此时设置助听器为正常工作状态，否则，设置助听器为原声处理状态；在正常工作状态，助听器采用正常工作状态下的放大增益对音频信号进行处理，在原声处理状态，助听器采用小于正常工作状态下的预设放大增益对音频信号进行处理，从而防止因助听器放大佩戴者自己说话的语音，导致音量及音色发生改变的现象出现，使得助听器佩戴者对自身语音的佩戴前后主观感受一致，提升助听器佩戴者的佩戴体验。

下面对本发明实施例提供的信号处理装置、设备及介质进行介绍，下文描述的信号处理装置、设备及介质与上文描述的信号处理方法可以相互参照。

参见图3，本发明实施例提供的一种音频信号处理装置结构示意图；该装置能够用于助听设备，该装置具体包括：

获取模块100，用于获取骨传导信号；

检测模块200，用于检测所述骨传导信号中是否包含语音信号；

第一处理模块300，用于在所述骨传导信号中包含语音信号时，利用预设放大增益对音频信号进行处理；其中，所述预设放大增益小于正常工作状态下的放大增益。

其中，所述装置还包括：

第二处理模块，用于在所述骨传导信号中不包含语音信号时，利用正常工作状态下的放大增益对音频信号进行处理。

其中，所述装置还包括：

第一状态确定模块，用于确定当前工作状态；若所述当前工作状态为正常工作状态，则触发所述第二处理模块；

第一调整模块，用于在所述当前工作状态为原声处理状态时，将当前工作状态调整为正常工作状态，并触发所述第二处理模块。

其中，所述装置还包括：

第二状态确定模块，用于确定当前工作状态；若所述当前工作状态为原声处理状态，则触发第一处理模块；

第二调整模块，用于在所述当前工作状态为正常工作状态时，将当前工作状态调整为原声处理状态，并触发第一处理模块。

其中，获取模块具体用于：以预定时长为周期，通过助听器的骨传导传感器获取骨传导信号。

其中，检测模块具体用于：通过语音活动检测算法检测所述骨传导信号中是否包含语音信号。

参见图4，为本发明实施例提供的一种电子设备结构示意图，包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现上述任意方法实施例所述的音频信号处理方法的步骤。

在本实施例中，该电子设备为助听器设备。该设备可以包括存储器11、处理器12，以及总线13、网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如执行音频信号处理方法的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行音频信号处理方法的程序代码等。

该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该设备与其他电子设备之间建立通信连接。

图4仅示出了具有组件11-14的设备，本领域技术人员可以理解的是，图4示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本发明实施例提供还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例所述的音频信号处理方法的步骤。

其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种音频信号处理方法，能够用于助听设备，其特征在于，包括：

接收用户主动触发的打开指令，获取骨传导信号；

检测所述骨传导信号中是否包含语音信号；

若所述骨传导信号中包含语音信号，则确定当前工作状态；若所述当前工作状态为原声处理状态，则利用预设放大增益对音频信号进行处理；若所述当前工作状态为正常工作状态，则将当前工作状态调整为原声处理状态，并利用预设放大增益对音频信号进行处理；其中，所述预设放大增益小于正常工作状态下的放大增益；

若所述骨传导信号中不包含语音信号，则确定当前工作状态；若所述当前工作状态为正常工作状态，则利用正常工作状态下的放大增益对音频信号进行处理；若所述当前工作状态为原声处理状态，则将当前工作状态调整为正常工作状态，并利用正常工作状态下的放大增益对音频信号进行处理。

2.根据权利要求1所述的音频信号处理方法，其特征在于，所述获取骨传导信号包括：

以预定时长为周期，通过助听器的骨传导传感器获取骨传导信号。

3.根据权利要求1所述的音频信号处理方法，其特征在于，所述检测所述骨传导信号中是否包含语音信号，包括：

通过语音活动检测算法检测所述骨传导信号中是否包含语音信号。

4.一种音频信号处理装置，能够用于助听设备，其特征在于，包括：

获取模块，用于接收用户主动触发的打开指令，获取骨传导信号；

检测模块，用于检测所述骨传导信号中是否包含语音信号；

第一处理模块，用于在所述骨传导信号中包含语音信号时，利用预设放大增益对音频信号进行处理；其中，所述预设放大增益小于正常工作状态下的放大增益；

第二处理模块，用于在所述骨传导信号中不包含语音信号时，利用正常工作状态下的放大增益对音频信号进行处理；

第一状态确定模块，用于在所述骨传导信号中包含语音信号时，确定当前工作状态；若所述当前工作状态为正常工作状态，则触发所述第二处理模块；若所述当前工作状态为原声处理状态，则触发第一调整模块；

第一调整模块，用于将当前工作状态调整为正常工作状态，并触发所述第二处理模块；

第二状态确定模块，用于在所述骨传导信号中不包含语音信号时，确定当前工作状态；若所述当前工作状态为原声处理状态，则触发所述第一处理模块；若所述当前工作状态为正常工作状态，则触发第二调整模块；

第二调整模块，用于将当前工作状态调整为原声处理状态，并触发所述第一处理模块。

5.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的音频信号处理方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的音频信号处理方法的步骤。

Images