CN115691533A - 风噪声污染程度估算方法及风噪声抑制方法、介质、终端 - Google Patents
风噪声污染程度估算方法及风噪声抑制方法、介质、终端 Download PDFInfo
- Publication number
- CN115691533A CN115691533A CN202211356576.2A CN202211356576A CN115691533A CN 115691533 A CN115691533 A CN 115691533A CN 202211356576 A CN202211356576 A CN 202211356576A CN 115691533 A CN115691533 A CN 115691533A
- Authority
- CN
- China
- Prior art keywords
- wind noise
- microphone
- signal
- noise pollution
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
一种风噪声污染程度估算方法及风噪声抑制方法、介质、终端,所述风噪声污染程度估算方法,包括:获取多帧采集信号,每帧采样信号包括由所述多麦克风设备中的各个麦克风分别采集的信号,至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号;对各个麦克风采集的信号进行风噪检测,从所述多帧采集信号中筛选出风噪帧;针对风噪帧,根据第一麦克风采集的第一信号的低频能量以及第二麦克风采集的第二信号的低频能量之间的关系,估算第一麦克风的风噪污染程度,第一麦克风为主麦克风,所述风噪污染程度用于指示麦克风受风噪声的影响程度。采用上述方案,能够基于风噪污染程度确定对风噪帧的风噪声抑制程度,以提高风噪抑制效果。
Description
技术领域
本发明实施例涉及语音处理技术领域,尤其涉及一种风噪声污染程度估算方法及风噪声抑制方法、介质、终端。
背景技术
在语音通话场景以及助听器的应用中,当麦克风处于有风的情况下时,气流扰动会引起麦克风振膜的非稳态振动,引起音量较大且在主观听感上令人极其不适的噪声,这种噪声一般称为风噪声(也可以称为风噪)。风噪声对通话质量有很大的负面影响,会降低语音可懂度。
目前,以双麦克风设备为例,通常会利用幅值平方相干性的方法,计算双麦克风情况下在频谱上各个频点的风噪抑制增益。采用风噪抑制增益对各个麦克风采集的信号进行风噪抑制处理,然而,对于主麦克风,若采集的信号有语音无风噪声,而辅麦克风采集的信号有风噪声,采用相干性的方法得到的风噪抑制增益对主麦克风的信号进行处理,容易造成语音损失,导致风噪抑制效果较差。
发明内容
本发明实施例解决的技术问题是风噪抑制效果较差。
为解决上述技术问题,本发明实施例提供一种多麦克风设备的风噪声污染程度估算方法,包括:获取多帧采集信号,每帧采样信号包括由所述多麦克风设备中的各个麦克风分别采集的信号,至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号;对各个麦克风采集的信号进行风噪检测,从所述多帧采集信号中筛选出风噪帧;针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,所述第一麦克风为主麦克风,所述风噪污染程度用于指示麦克风受风噪声的影响程度。
可选的,所述根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,包括:根据所述第一信号的低频能量以及所述第二信号的低频能量中的最大值,确定参照值;根据所述第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度。
可选的,所述根据所述第一信号的低频能量以及所述第二信号的低频能量中的最大值,确定参照值,包括:获取第一调节系数,采用所述第一调节系数对最大值进行修正,根据修正后的值得到所述参照值。
可选的,所述根据修正后的值得到所述参照值,包括:获取第二调节系数,采用所述第二调节系数对所述修正后的值进行修正得到所述参照值。
可选的,所述根据所述第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度,包括:获取第三调节系数,采用所述第三调节系数对所述第一信号的低频能量进行修正,得到修正后的第一信号的低频能量;根据所述修正后的第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度。
可选的,采用如下公式估算所述第一麦克风的风噪污染程度:其中,P1(m)为第一麦克风第m帧的风噪污染程度;ELow1(m)为在低频截止频点NLow1所限定的低频范围内第一麦克风的第一信号的低频能量;e1为第三调节系数;β为第一调节系数;e2为第二调节系数;max(ELow1(m),ELow2(m))为取ELow1(m)和ELow2(m)中的最大值;ELow2(m)为在低频截止频点NLow2所限定的低频范围内第二麦克风的第二信号的低频能量。
可选的,所述多麦克风设备的风噪声污染程度估算方法还包括:根据所述第二信号的低频能量与所述参照值的比值,估算所述第二麦克风的风噪污染程度。
可选的,所述针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,包括:计算所述第一信号的低频能量和所述第二信号的低频能量的总能量;计算所述第一信号的低频能量与所述总能量的能量占比;根据所述能量占比,估算所述第一麦克风的风噪污染程度。
可选的,所述根据所述能量占比估算所述第一麦克风的风噪污染程度,包括:当所述能量占比小于占比阈值时,根据预设的正相关系数,确定所述第一麦克风的风噪污染程度;当所述能量占比大于等于所述占比阈值,将设定的风噪污染程度作为所述第一麦克风的风噪污染程度。
可选的,所述根据所述能量占比估算所述第一麦克风的风噪污染程度,包括:采用如下公式计算根据所述能量占比估算所述第一麦克风的风噪污染程度:其中,ELow1(m)为第一信号的低频能量;ELow2(m)为第二信号的低频能量;γ1(m)为所述能量占比;P1(m)为所述第一麦克风的风噪污染程度;η、σ及b为调节系数。
可选的,所述多麦克风设备的风噪声污染程度估算方法,还包括:当所述多麦克风设备包括的麦克风数目大于等于三个时,根据所述各个麦克风分别采集的信号,将信号的低频能量最小的麦克风作为所述第一麦克风;将所述多麦克风设备中的其他麦克风分别与所述第一麦克风进行组合,并估算其他麦克风的风噪污染程度,所述其他麦克风为所述多麦克风设备中除所述第一麦克风之外的麦克风;其中,所述第二麦克风为其他麦克风中的风噪污染程度最小的麦克风。
本发明实施例还提供一种多麦克风设备的风噪声抑制方法,包括:采用如上述任一多麦克风设备的风噪声污染程度估算方法估算得到所述第一麦克风的风噪污染程度;针对每个风噪帧,根据所述第一麦克风的风噪污染程度确定风噪抑制增益;针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
可选的,所述根据所述第一麦克风的风噪污染程度确定风噪抑制增益,包括:针对每个风噪帧,根据所述第一麦克风与所述第二麦克风的相干系数,计算每个风噪帧的初始风噪抑制增益;采用所述第一麦克风的风噪污染程度对所述初始风噪抑制增益进行修正,将修正后的风噪抑制增益作为所述风噪抑制增益。
可选的,所述采用所述第一麦克风的风噪污染程度对所述初始风噪抑制增益进行修正,将修正后的风噪抑制增益作为所述风噪抑制增益,包括:针对每个风噪帧,计算1与所述初始风噪抑制增益的差值;采用所述第一麦克风的风噪污染程度与所述差值进行乘法运算,得到乘法运算结果;将1与所述乘法运算结果之差作为是第一麦克风对应的修正后的风噪抑制增益。
可选的,采用所述第二麦克风对应的修正后的风噪抑制增益对所述第二麦克风采集的信号进行风噪声抑制处理。
可选的,所述多麦克风设备的风噪声抑制方法,还包括:针对所述风噪帧,根据第一麦克风采集的第一信号的低频能量、设定的风噪边界阈值以及转换系数,估算所述第一麦克风的风噪污染范围,所述风噪污染范围用于指示被风噪声污染的频段,所述转换系数用于表征风噪能量和风噪污染范围的关系。
可选的,针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理,包括:在估算得到所述第一麦克风的风噪污染范围内,采用所述第一麦克风对应的风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
本发明实施例还提供一种多麦克风设备的风噪声污染程度估算装置,包括:获取单元,用于获取多帧采集信号,每帧采样信号包括由所述多麦克风设备中的各个麦克风分别采集的信号,至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号;风噪检测单元,用于对各个麦克风采集的信号进行风噪检测,从所述多帧采集信号中筛选出风噪帧;风噪污染程度估算单元,用于针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,所述第一麦克风为主麦克风,所述风噪污染程度用于指示麦克风受风噪声的影响程度。
本发明实施例还提供一种多麦克风设备的风噪声抑制装置,包括:上述的多麦克风设备的风噪声污染程度估算装置;计算单元,用于针对每个风噪帧,计算每个风噪帧的风噪抑制增益;风噪抑制增益确定单元,用于针对每个风噪帧,根据所述第一麦克风的风噪污染程度确定风噪抑制增益;风噪声抑制处理单元,用于针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一种多麦克风设备的风噪声污染程度估算方法的步骤,或者上述任一种多麦克风设备的风噪声抑制方法的步骤。
本发明实施例还提供一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述任一种多麦克风设备的风噪声污染程度估算方法的步骤,或者上述任一种多麦克风设备的风噪声抑制方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
在本发明实施例提供的多麦克风设备的风噪声污染程度估算方法,通过对多帧采集信号中的各个麦克风采集的信号进行风噪检测,确定风噪帧。每帧采样信号至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号。针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度。其中,风速大小可以体现在低频能量上,低频能量能够反映风噪的能量大小,而风噪声的能量可以表征风噪声的污染程度。第一麦克风为主麦克风,通过第一信号的低频能量和第二信号的低频能量的之间的关系,可以确定第一麦克风的风噪污染程度。在后续对风噪帧进行风噪抑制时,可以基于风噪污染程度确定对风噪帧的风噪声抑制程度,以提高风噪抑制效果。
附图说明
图1是本发明实施例中的一种多麦克风设备的风噪声污染程度估算方法的流程图;
图2是本发明实施例中的一种多麦克风设备的风噪声抑制方法的流程图;
图3是一种相干系数与初始风噪抑制增益的映射关系示意图;
图4是一种相干系数与初始风噪抑制增益的映射关系示意图;
图5是本发明实施例中的一种多麦克风设备的风噪声污染程度估算装置的结构示意图;
图6是本发明实施例中的一种多麦克风设备的风噪声抑制装置的结构示意图。
具体实施方式
如上所述,以双麦克风设备为例,目前,通常会利用幅值平方相干性的方法,计算双麦克风情况下在频谱上各个频点的风噪抑制增益。采用风噪抑制增益对各个麦克风采集的信号进行风噪抑制处理。由于相干系数大小只反应两个麦克风信号的相干程度,并不反应哪一个麦克风受风噪影响更大。因此,针对同一帧的同一频点,两个麦克风的风噪抑制增益相同。然而,对于主麦克风,若采集的信号有语音而无风噪声,而辅麦克风采集的信号有风噪声,采用相干性的方法得到的风噪抑制增益对主麦克风的信号进行处理,容易造成语音损失,导致风噪抑制效果较差。
为解决上述问题,在本发明实施例中,通过对多帧采集信号中的各个麦克风采集的信号进行风噪检测,确定风噪帧。每帧采样信号至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号。针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度。其中,风速大小可以体现在低频能量上,低频能量能够反映风噪的能量大小,而风噪声的能量可以表征风噪声的污染程度。第一麦克风为主麦克风,通过第一信号的低频能量和第二信号的低频能量的之间的关系,可以确定第一麦克风的风噪污染程度。在后续对风噪帧进行风噪抑制时,可以基于风噪污染程度确定对风噪帧的风噪声抑制程度,以提高风噪抑制效果。
为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供一种多麦克风设备的风噪声污染程度估算方法,多麦克风设备的风噪声污染程度估算方法可以由终端执行,也可以由终端中具有风噪声污染程度估算功能的芯片或芯片模组执行,也可以由终端中具有数据处理功能的芯片或芯片模组执行,还可以由终端中的基带芯片执行。终端可以为多麦克风设备,也可以为用于控制多麦克风设备的手机、计算机、平板电脑、服务器、云平台等其他终端设备。多麦克风设备可以包括通讯设备、车载终端、耳机、助听器等具有多个麦克风的设备。
参照图1,给出了本发明实施例中的一种多麦克风设备的风噪声污染程度估算方法的流程图,所述风噪声污染程度估算方法具体可以包括如下步骤:
步骤11,获取多帧采集信号,每帧采样信号包括由所述多麦克风设备中的各个麦克风分别采集的信号,至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号;
步骤12,对各个麦克风采集的信号进行风噪检测,从所述多帧采集信号中筛选出风噪帧;
步骤13,针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,所述第一麦克风为主麦克风,所述风噪污染程度用于指示麦克风受风噪声的影响程度(污染程度)。
风噪污染程度越大表征受风噪声影响程度越大。
风噪声是来自于气流的涡流与湍流,是非稳态不可预测的,与周围其它任何声源都不同,属于独立发生的事件。周围其它的人声或者噪声,都是由某个特定的声源振动产生的。经研究发现,对于多麦克风设备而言,可以利用这种由“同一个声源产生的”相干性,以及风噪声的“独立产生”的非相干特性,将风噪声与其它噪声进行区别。然后在有风噪声、无风噪声两种情况下,使用不同的信号处理方法降噪。
基于风噪声产生的机制,针对某帧采集信号,针对每帧采集信号,将该帧采集信号中第一麦克风采集的信号记为第一路信号,将第二麦克风采集的信号记为第二路信号。针对某帧采集信号,若是存在风噪声,则该帧采集信号中的第一路信号及第二路信号的相干性较差。相应地,若是不存在风噪声,则该帧采集信号中的第一路信号及第二路信号的相干性较好。
在本发明一些实施例中,步骤12中,可以采用幅值平方相干性检测风噪。具体而言,采用幅值平方相干性检测风噪,并得到对应的相干系数。相干系数越大,表征采样信号受风噪声影响越小,也即采样信号中包含的风噪声对应的信号越少;若相干系数越小,则表征采样信号受风噪声影响越大,也即采样信号中包含的风噪声对应的信号越多。
为便于理解,下面以多麦克风设备包括两个麦克风为例对步骤12的具体实现方式进行举例说明。
以第m帧采集信号为例,第m帧采集信号包括第一路信号及第二路信号。对第一路信号及第二路信号进行时域至频域转换,得到第一路信号对应的第一频域信号,第二路信号对应的第二频域信号。采用幅值平方相干性方法对基于第一频域信号及第二频域信号进行相干性检测,得到第m帧采集信号在设定的低频范围内的相干系数。其中低频范围内的相干系数用于表征第一路信号及第二路信号在低频范围内的显著频域相干性。通过相干系数可以判断采集信号是否包括风噪声,由此可以判断各帧采集信号是否为风噪帧,也即实现从各帧采集信号中筛选出风噪帧。其中,低频范围为频率低于设定的低频截止频点的频率。作为一个优选的实施例,设定的低频截止频点的频率为120Hz。可以理解的是,根据实际需求,还可以选取其他频率作为设定的低频截止频点。
每帧采集信号通常指设定时长内的信号,在对采集信号进行时域转成频域时,设定多个频点。例如,针对每帧中的各个频点,分别计算第一频域信号及第二频域信号的相干系数。根据每帧的各个频点的相干系数,得到每帧采集信号的相干系数。
在计算第一频域信号及第二频域信号的相干系数时,可以对第一频域信号及第二频域信号进行处理,得到第一频域信号对应的第一复频谱,以及第二频域信号对应的第二复频谱。计算第一复频谱及第二复频谱的相干系数。可以理解的是,也可以基于其他类型的频域信号计算第一频域信号及第二频域信号的相干系数。
在一些非限制性实施例中,针对每帧采集信号,可以将每帧采集信号的各个频点的相干系数的平均值,作为每帧采集信号的相干系数。
在一些非限制性实施例中,继续以第m帧采集信号为例,第一频域信号处理之后得到第一复频谱X1,第二频域信号处理之后得到第二复频谱X2,根据第一复频谱X1和第二复频谱X2计算第一路信号与第二路信号的相干系数。
例如,采用幅值平方相干性检测风噪,并计算得到相干系数。具体可以采用如下公式(1)至(5)计算得到相干系数,此处,每帧采样信号的相干系数为每帧采样信号中的多个频点对应的相干系数的均值。
其中,coh_mean(m)为第m帧的相干系数;Φ11为第一麦克风的自谱密度;Φ11(m,k)为第一麦克风的第m帧第k个频点的自谱密度;α为平滑系数,取值范围可以为[0.5,0.95];X1(m,k)为第一麦克风的第m帧第k个频点的复频谱;Φ12为第一麦克风与第二麦克风之间的互谱密度;Φ12(m,k)为第一麦克风和第二麦克风的第m帧第k个频点之间的互谱密度;Φ12(m-1,k)为第一麦克风和第二麦克风的第m-1帧第k个频点之间的互谱密度;Φ22为第二麦克风的自谱密度;Φ22(m,k)为第二麦克风的第m帧第k个频点的自谱密度;Φ22(m-1,k)为第二麦克风的第m-1帧第k个频点的自谱密度;X2(m,k)为第二麦克风的第m帧第k个频点的复频谱;coh(m,k)为第m帧第k频点的相干系数;coh_mean(m)为第m帧在低频范围内的相干系数均值;NLow为设定低频截止频点;[1,NLow]为设定的低频范围;为计算在[1,NLow]上的频点k的coh(m,k)均值;为X1(m,k)对应的共轭变量;为X2(m,k)对应的共轭变量;为Φ12(m,k)对应的共轭变量。其中,m为大于1的正整数,k为正整数。
在具体实施中,得到每帧采集信号的相干系数之后,可以根据每帧采集信号的相干系数与设定的相干系数阈值的关系,判断每帧采集信号是否为风噪帧。例如,若采集信号的相干系数小于设定的相干系数阈值,则判定该帧采集信号为风噪帧。
在具体实施中,相干系数阈值可以根据对降噪处理精度要求进行配置,此处不做限定。
经研究发现,有源噪声在低频处的信号能量差异不大。但风噪声作为主要能量集中在低频的非相干、非稳态噪声,风速大小可以体现在低频能量上。而风速大小可以表征风噪污染程度。
在步骤13中,可以采用如下方式估算第一麦克风的风噪污染程度。具体而言:根据所述第一信号的低频能量以及所述第二信号的低频能量中的最大值,确定参照值;根据所述第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度。
进一步,获取第一调节系数,采用所述第一调节系数对最大值进行修正,将修正后的值作为所述参照值。
进一步,采用所述第一调节系数对最大值进行修正包括将第一调节系数与最大值进行乘法运算,根据乘法运算结果得到参照值。
在一些实施例中,第一调节系数为预设的值。
在另一些实施例中,第一调节系数与各个麦克风采集的信号的低频能量相关。可以根据各个麦克风采集的信号的低频能量自适应调整第一调节系数。其中,第一调节系数与各个麦克风采集的信号的低频能量反相关。
为便于理解,以第一麦克风采集的第一信号的低频能量为例进行说明,若第一信号的低频能量较大,则表征第一信号中的风噪声很大,此时,可以选取相对较小的第一调节系数,以增大风噪占比,进而可以得到的风噪污染程度较大,在基于风噪污染程度进行风噪抑制时,风噪抑制强度更大。相应地,若第一信号的低频能量较小,则表征第一信号中的风噪声相对较小,此时,可以选取相对较大的第一调节系数,以减小风噪占比,进而可以得到的风噪污染程度较小,在基于风噪污染程度进行风噪抑制时,风噪抑制强度较小,以减少语音损失。
进一步,获取第二调节系数,采用所述第二调节系数对所述修正后的值进行修正得到所述参照值。
在一个非限制性实施例中,将所述修正后的值与第二调节系数做减法运算,将减法运算结果作为参照值。第二调节系数用于表征第一信号及第二信号中具有较大低频能量的信号中的背景噪声能量大小。采用第二调节系数对参照值进行修改正之后,可以修正背景噪音,使得得到的参照值能够更为准确的表征风噪声的能量,进而提高风噪声污染程度估算的精度。
在一些实施例中,第二调节系数为预设的值。
在另一些实施例中,第二调节系数根据第一信号和第二信号中具有较大低频能量的信号中的背景平均噪声水平进行自适应调整。这里假设第二信号具有较大低频能量,具体而言,计算第二信号的中高频段相应的背景平均噪声能量,将第二信号的中高频段相应的背景平均噪声能量转换成低频范围(如1~NLow2)内对应的能量e2,第二调节系数可以为能量e2。
进一步,获取第三调节系数,采用所述第三调节系数对所述第一信号的低频能量进行修正,得到修正后的第一信号的低频能量;根据所述修正后的第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度。第三调节系数用于表征第一信号的低频能量中的背景噪声的能量。
在一些非限制性实施例中,可以将第一信号的低频能量与第三调节系数做减法运算,将减法运算结果作为修正后的第一信号的低频能量。采用第三调节系数对第一信号的低频能量进行修改正之后,可以修正背景噪音,使得修正后的第一信号的低频能量能够更为准确的表征风噪声的能量,进而提高风噪声污染程度估算的精度。
在一些实施例中,第三调节系数可以为设定的值。
在另一些实施例中,第三调节系数可以根据第一信号中的背景平均噪声水平进行自适应调整。具体而言,计算第一信号的中高频段相应的背景平均噪声能量,将第一信号的中高频段相应的背景平均噪声能量转换成低频范围(如1~NLow2)内对应的能量e1,第三调节系数可以为能量e1。
其中,NLow2为低频范围的低频截止频点。中高频段指高于某一设定开始频点的频率范围,且中高频段的开始频点大于低频范围的低频截止频点。
作为一个非限制性实施例中,以可以采用如下公式(6)估算所述第一麦克风的风噪污染程度。
其中,P1(m)为第一麦克风第m帧的风噪污染程度;ELow1(m)为在低频截止频点NLow1所限定的低频范围内第一麦克风的第一信号的低频能量;e1为第三调节系数;β为第一调节系数;e2为第二调节系数;max(ELow1(m),ELow2(m))为取ELow1(m)和ELow2(m)中的最大值;ELow2(m)为在低频截止频点NLow2所限定的低频范围内第二麦克风的第二信号的低频能量。
在步骤13中,也可以采用如下方式估算第一麦克风的风噪污染程度。具体而言,计算所述第一信号的低频能量和所述第二信号的低频能量的总能量;计算所述第一信号的低频能量与所述总能量的能量占比;根据所述能量占比,估算所述第一麦克风的风噪污染程度。
在一些实施例中,当所述能量占比小于占比阈值时,根据预设的正相关系数,确定所述第一麦克风的风噪污染程度;当所述能量占比大于等于所述占比阈值,将设定的风噪污染程度作为所述第一麦克风的风噪污染程度。
例如,当占比阈值为0.5,正相关系数为2,设定的风噪污染程度为1。也即当能量占比小于0.5时,第一麦克风的风噪污染程度是能量占比的两倍。当能量占比大于等于0.5时,第一麦克风的风噪污染程度为1。需要说明的是,上述占比阈值为0.5,正相关系数为2,设定的风噪污染程度为1仅为便于理解做出的示例,在实际中还可以为其他取值。
在另一些实施例中,采用如下公式(7)及(8)计算根据所述能量占比估算所述第一麦克风的风噪污染程度:
其中,ELow1(m)为第一信号的低频能量;ELow2(m)为第二信号的低频能量;γ1(m)为所述能量占比;P1(m)为所述第一麦克风的风噪污染程度;η、σ及b为调节系数。
关于η、σ及b为调节系数可以预先设定。调节系数η、σ及b取值不同时,得到的风噪污染程度不同。例如,如果希望对于语音数据中的语音有更好的保护,可使η更小,或使σ更小,或使b更大等。此外,当γ1(m)较小时也有较小的P1(m)。
在具体实施中,低频能量可以采用频谱能量或者频谱幅度等进行表征。
在一些非限制性实施例中,频谱幅度可以采用低频幅度谱来表征。
进一步,频谱幅度采用低频平均幅度谱,其中,低频平均幅度谱为在设定的低频范围内的每帧中各个频点的低频幅度谱的均值。采用低频平均幅度谱可以减少波动带来的误差,提高低频能量预估的准确性,进而有助于提高风噪污染程度的估算准确性。
在具体实施中,第m帧采集信号为例,可以采用如下公式(9)计算得到第一麦克风采集的第m帧信号的低频平均幅度谱,采用如下公式(10)计算第二麦克风采集的第m帧信号的低频平均幅度谱。
其中,ELow1(m)为第一麦克风的第m帧的低频平均幅度谱,反映的是风噪在低频的能量大小;X1(m,k)为第一麦克风的第m帧第k个频点的复频谱;ELow2(m)为第二麦克风的第m帧的低频平均幅度谱;X2(m,k)为第二麦克风的第m帧第k个频点的复频谱;NLow1为计算第一麦克风的低频平均幅度谱时的低频范围的低频截止频点;NLow2为计算第二麦克风的低频范围的低频平均幅度谱时的低频截止频点;|X2(m,k)|为取X2(m,k)的绝对值;|X1(m,k)|为取X1(m,k)的绝对值。
需要说明的是,低频平均幅度谱定义在对数谱上,对数可以以自然对数e、10或者其他其它数字为底,不同底的数字相互之间通过换底公式建立联系。上述公式(9)及(10)以2为底举例,并采用求均值的方法得到低频平均幅度谱,减少波动带来的误差。
以第一麦克风为例,在计算低频平均幅度谱时,一般取前若干个频点对应的低频幅度谱的均值,上述公式取1~NLow1范围内的频点的低频幅度谱的均值。在实际中,也可以取2~NLow1范围内的频点的低频幅度谱的均值。NLow1的定义是计算第一麦克风的低频平均幅度谱时的低频范围的低频截止频点。例如,NLow1其对应频率一般可选在200赫兹(Hz)左右。需要说明是,根据实际需求,NLow1还可以取其他频率,此处不做限定。
可以理解的是,也可以利用非对数谱下的低频能量。例如,以第一麦克风为例,采用如下公式(11)计算得到第一麦克风的第m帧的低频平均幅度谱。
其中,ELow1(m)为第一麦克风的第m帧的低频平均幅度谱,反映的是风噪在低频的能量大小;X1(m,k)为第一麦克风的第m帧第k个频点的复频谱;NLow1为计算第一麦克风的低频平均幅度谱时的低频范围的低频截止频点。
由上述方案可知,通过对多帧采集信号中的各个麦克风采集的信号进行风噪检测,确定风噪帧。每帧采样信号至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号。针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度。其中,风速大小可以体现在低频能量上,低频能量能够反映风噪的能量大小,而风噪声的能量可以表征风噪声的污染程度。第一麦克风为主麦克风,通过第一信号的低频能量和第二信号的低频能量的之间的关系,可以确定第一麦克风的风噪污染程度。在后续对风噪帧进行风噪抑制时,可以基于风噪污染程度确定对风噪帧的风噪声抑制程度,以提高风噪抑制效果。
在具体实施中,根据所述第二信号的低频能量与所述参照值的比值,估算所述第二麦克风的风噪污染程度。
进一步,关于第二麦克风的风噪污染程度的具体估算方案可以与上述实施例提供的第一麦克风的风噪污染程度的估算方案相同,具体可以参见上述实施例中关于第一麦克风的风噪污染程度的估算方案中的相关描述,此处不再赘述。
在具体实施中,所述多麦克风设备包括麦克风的数目大于等于三个时,根据所述各个麦克风分别采集的信号,将信号的低频能量最小的麦克风作为所述第一麦克风;将所述多麦克风设备中的其他麦克风分别与所述第一麦克风进行组合,并估算其他麦克风的风噪污染程度,所述其他麦克风为所述多麦克风设备中除所述第一麦克风之外的麦克风。其中,所述第二麦克风为其他麦克风中的风噪污染程度最小的麦克风,也即所有麦克风中风噪污染程度次小的麦克风。
由于各个麦克风采集的信号的低频能量能够表征各个麦克风受风噪污染的程度,从而将信号的低频能量最小的麦克风作为所述第一麦克风,也即作为主麦克风,此时第一麦克风受风噪声影响最小,采集的信号中的语音清晰度最佳。由于第一麦克风受风噪影响程度较小,以第一麦克风作为参照,将其他麦克风分别与所述第一麦克风进行组合,并估算其他麦克风的风噪污染程度,可以较为准确的估算得到其他麦克风的风噪污染程度,进而得到其它麦克风受风噪影响程度的排序,并令第二麦克风为其他麦克风中的风噪污染程度最小的麦克风,即第二麦克风为所有麦克风中受风噪影响次小的麦克风。
例如,其他麦克风包括第三麦克风和第四麦克风。将第三麦克风与第一麦克风进行组合,根据第三麦克风采集的第三信号的低频能量和第一麦克风采集的第一信号的低频能量之间的关系,估算第三麦克风的风噪污染程度。将第四麦克风与第一麦克风进行组合,根据第四麦克风采集的第四信号的低频能量和第一麦克风采集的第一信号的低频能量之间的关系,估算第四麦克风的风噪污染程度。
确定第一麦克风、第二麦克风之后,可按照如下规则确定各个麦克风的风噪抑制增益。
在后续进行风噪声抑制时,当第一麦克风与第二麦克风组合时,由第一麦克风与第二麦克风的相干系数得到初始风噪抑制增益,采用上述得到的第一麦克风与第二麦克风的风噪污染程度对初始风噪抑制增益进行修正。即采用第一麦克风的风噪污染程度修正初始风噪抑制增益得到第一麦克风的风噪抑制增益,采用第二麦克风的风噪污染程度修正初始风噪抑制增益为得到第二麦克风的风噪抑制增益。
当考虑多于2个麦克风的设备时,较优的,其它麦克风均与第一麦克风组合,并获得各个组合对应的初始风噪抑制增益。针对各个组合,根据其它麦克风相对第一麦克风的风噪污染程度,修正初始风噪抑制增益以得到其它麦克风的风噪抑制增益。
在进行风噪声抑制时,可以根据系统所需的输出通道数目,并根据上述得到的每一个麦克风的风噪抑制增益对每一个麦克风采集的信号进行风噪声抑制处理。
例如,输入信号为多通道,但输出信号的通道数目为单个,则针对风噪帧,采用第一麦克风作为输出通道,风噪抑制增益采用如上所述的第一麦克风的风噪抑制增益,即第一麦克风与第二麦克风组合时根据第一麦克风的风噪污染程度修正初始风噪抑制增益后所获得的风噪抑制增益。
又如,输出的通道数目为两个,则针对风噪帧,采用第一麦克风的所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理,采用第二麦克风的所述风噪抑制增益对所述第二麦克风采集的第二信号进行风噪声抑制处理。其中,第二麦克风为其他麦克风中的风噪污染程度最小的麦克风。
再如,输出的通道数目为三个。基于上述风噪声污染程度估算方法,按照风噪声污染程度从小至大选取出受风噪污染影响最小的三个麦克风,分别为第一麦克风、第二麦克风及第三麦克风。将第一麦克风与第二麦克风组合,计算得到第一麦克风的风噪抑制增益和第二麦克风的风噪抑制增益。将第一麦克风与第三麦克风组合,计算得到第三麦克风的风噪抑制增益。针对风噪帧,采用采用第一麦克风的所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理,采用第二麦克风的所述风噪抑制增益对所述第二麦克风采集的第二信号进行风噪声抑制处理,采用第三麦克风的所述风噪抑制增益对所述第三麦克风采集的第三信号进行风噪声抑制处理。
本发明实施例还提供一种多麦克风设备的风噪声抑制方法,多麦克风设备的风噪声抑制方法可以由终端执行,也可以由终端中具有风噪声抑制功能的芯片或芯片模组执行,也可以由终端中具有数据处理功能的芯片或芯片模组执行,还可以由终端中的基带芯片执行。终端可以为多麦克风设备,也可以为用于控制多麦克风设备的手机、计算机、平板电脑、服务器、云平台等其他终端设备。多麦克风设备可以包括通讯设备、耳机、车载设备以及助听器等具有多个麦克风的设备。
参照图2,给出了本发明实施例中的一种多麦克风设备的风噪声抑制方法的流程图,多麦克风设备的风噪声抑制方法具体可以包括如下步骤:
步骤21,估算得到所述第一麦克风的风噪污染程度;
步骤22,针对每个风噪帧,根据所述第一麦克风的风噪污染程度确定风噪抑制增益;
步骤23,针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
在具体实施中,上述步骤21可以采用上述任一实施例提供的多麦克风设备的风噪声污染程度估算方法估算得到第一麦克风的风噪污染程度。关于第一麦克风的风噪污染程度的具体实现方案参照上述图1以及相关实施例中的描述即可,此处不再赘述。
在具体实施中,上述步骤22可以通过如下方式实现,具体而言:针对每个风噪帧,根据所述第一麦克风与所述第二麦克风的相干系数,计算每个风噪帧的初始风噪抑制增益;采用所述第一麦克风的风噪污染程度对所述初始风噪抑制增益进行修正,将修正后的风噪抑制增益作为所述风噪抑制增益。
在一些实施例中,可以基于相干权重的方法,计算每个风噪帧的初始风噪抑制增益。也即基于相干系数映射得到初始风噪抑制增益。
参照图3,给出了一种相干系数与初始风噪抑制增益的映射关系示意图。结合图3,在一些实施例中,可以采用梯度函数表征相干系数和初始风噪抑制增益的映射关系。例如,当相干系数处于[0,a]时,初始风噪抑制增益取A。当相干系数处于[a,b]时,初始风噪抑制增益取其中,B为相干系数为b时对应的初始风噪抑制增益为B,n为[a,b]之间的任一相干系数。当相干系数处于[b,1]时,初始风噪抑制增益取B。
参照图4,给出了另一种相干系数与初始风噪抑制增益的映射关系示意图。在另一些实施例中,可以采用曲线函数表征相干系数与初始风噪抑制增益的映射关系。
在又一些实施例中,将每帧采样信号的相干系数作为各帧采样信号的初始风噪抑制增益。
需要说明的是,还可以采用其他类型的函数来表征相干系数与初始风噪抑制增益的映射关系,此处不再一一举例。
在一些实施例中,修正后的风噪抑制增益以及初始风噪抑制增益的范围均可以为[0,1]。相干系数的范围可以为[0,1]。
在具体实施中,关于采用所述第一麦克风的风噪污染程度对所述初始风噪抑制增益进行修正,将修正后的风噪抑制增益作为所述风噪抑制增益,具体可以包括:针对每个风噪帧,计算1与所述初始风噪抑制增益的差值;采用所述第一麦克风的风噪污染程度与所述差值进行乘法运算,得到乘法运算结果;将1与所述乘法运算结果之差作为是第一麦克风对应的修正后的风噪抑制增益。
在一些非限制性实施例中,可以采用如下公式(12)得到第一麦克风对应的修正后的风噪抑制增益。
gain1(m,k)=1-(1-gain'1(m,k))*P1(m); (12)
其中,gain1(m,k)为第一麦克风对应的修正后的风噪抑制增益;gain'1(m,k)为初始风噪抑制增益;P1(m)为第一麦克风的风噪污染程度。
需要说明的是,可以对主麦克风进行风噪声抑制,也可以对多麦克风设备中的其他麦克风进行可以风噪声抑制。当需要对其他麦克风进行风噪声抑制时,可以采用与第一麦克风的风噪抑制增益相同的计算方式得到其他麦克风的风噪抑制增益。
在一些非限制性实施例中,采用所述第二麦克风对应的修正后的风噪抑制增益对所述第二麦克风采集的信号进行风噪声抑制处理。
关于其他麦克风对应的修正后的风噪抑制增益的计算方案,可以参见上述实施例中关于第一麦克风对应的修正后的风噪抑制增益的相关部分的描述,此处不再赘述。
在具体实施中,针对每帧采样信号,可以采用每帧采样信号对应的风噪抑制增益对采样信号实施增益,得到风噪抑制处理后的采样信号,将风噪抑制处理后的采样信号,从频域转换至时域,得到风噪抑制后的信号,实现对风噪声抑制。
在一些实施例中,以第一麦克风为例,在得到风噪抑制增益,可以风噪抑制增益对第一麦克风采集的第一信号施加增益,得到风噪抑制处理后的结果。
对采样信号进行处理,得到频域信号,采用每帧采样信号对应的风噪抑制增益对频域信号实施增益,可以为将风噪抑制增益与频域信号进行乘法运算。其中,频域信号可以为频谱信号。
采用上述方案,针对每个风噪帧,根据主麦克风(第一麦克风)的风噪污染程度确定风噪抑制增益,进而在基于风噪抑制增益对第一麦克风采集的第一信号进行风噪声抑制时,能够结合第一麦克风实际被风噪污染程度进行相应程度的风噪抑制,较好的兼顾风噪声抑制程度以及并减小语音损失,提高风噪抑制效果,进而提高语音处理效果。
在步骤23的一个具体实施中,可以在固定截止频率范围内,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
在步骤23的另一个具体实施中,可以是在全频带宽内,用所述风噪抑制增益对所述第一麦克风采集的第一信号在全频带内进行风噪声抑制处理。
在步骤23的又一个具体实施中,可以估算得到所述第一麦克风的风噪污染范围。在估算得到所述第一麦克风的风噪污染范围内,采用所述第一麦克风对应的风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
在具体实施中,针对所述风噪帧,根据第一麦克风采集的第一信号的低频能量、设定的风噪边界阈值以及转换系数,估算所述第一麦克风的风噪污染范围,所述风噪污染范围用于指示被风噪声污染的频段,所述转换系数用于表征风噪能量和风噪污染范围的关系。
在具体实施中,可以针对各个麦克风,计算所述各个麦克风采集的信号的低频能量与设定的风噪边界阈值的差值;计算所述差值与所述转换系数的商,根据所得到的商确定所述风噪污染范围。
在一些非限制性实施例中,可以采用如下公式(13)估算风噪污染范围:
其中,fR(m)为第一麦克风的风噪污染范围的右边界;ELow1(m)为第一麦克风的低频平均幅度谱;thr2为风噪边界阈值;k(m)为转换系数。
在一些实施例中,在得到风噪污染范围的右边界之后,风噪污染范围可以为[0,fR(m)]。
当确定第一麦克风的风噪污染范围时,thr2取第一麦克风对应的风噪边界阈值,k(m)取第一麦克风对应的转换系数。
相应地,当确定第二麦克风的风噪污染范围时,将ELow1(m)替换成第二麦克风的低频平均幅度谱ELow2(m)即可,thr2取第二麦克风对应的风噪边界阈值,k(m)取第二麦克风对应的转换系数。
其中,当多麦克风设备的数目为三个或以上时,可以根据各个麦克风采集的信号的低频能量,将低频能量最小的麦克风作为第一麦克风(也即主麦克风),将其他麦克风分别与第一麦克风进行组合,计算其他麦克风的风噪污染程度。针对每个组合,分别计算其他麦克风与第一麦克风的初始风噪抑制增益,然后根据其他麦克风的风噪污染程度对初始风噪抑制增益进行修正,得到其他麦克风的风噪抑制增益。
在进行风噪声抑制时,可以根据系统所需的输出通道数目,并根据每一个麦克风对应的风噪抑制增益对每一个麦克风采集的信号进行风噪声抑制处理。
例如,输入信号为多通道,但输出信号的通道数目为单个,则针对风噪帧,采用第一麦克风作为输出通道,风噪抑制增益采用如上所述的第一麦克风的风噪抑制增益,即第一麦克风与第二麦克风组合时根据第一麦克风的风噪污染程度修正初始风噪抑制增益后所获得的风噪抑制增益。
又如,输出的通道数目为两个,按照风噪声污染程度从小至大选取出受风噪污染影响最小的两个麦克风,分别为第一麦克风和第二麦克风。将第一麦克风和第二麦克风作为输出通道。则针对风噪帧,采用第一麦克风的所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理,采用第二麦克风的所述风噪抑制增益对所述第二麦克风采集的第二信号进行风噪声抑制处理。其中,第二麦克风为其他麦克风中的风噪污染程度最小的麦克风。
再如,输出的通道数目为三个。按照风噪声污染程度从小至大选取出受风噪污染影响最小的三个麦克风,分别为第一麦克风、第二麦克风及第三麦克风。将第一麦克风、第二麦克风及第三麦克风作为输出通道。将第一麦克风与第二麦克风组合,计算得到第一麦克风的风噪抑制增益和第二麦克风的风噪抑制增益。将第一麦克风与第三麦克风组合,计算得到第三麦克风的风噪抑制增益。针对风噪帧,采用采用第一麦克风的所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理,采用第二麦克风的所述风噪抑制增益对所述第二麦克风采集的第二信号进行风噪声抑制处理,采用第三麦克风的所述风噪抑制增益对所述第三麦克风采集的第三信号进行风噪声抑制处理。
进一步,可以采用如下方式确定风噪边界阈值:针对各个麦克风,根据各个麦克风采集的信号,确定各个麦克风采集的信号包括的所有噪声的能量以及其他噪声信号的能量,所述其他噪声指所述所有噪声中除风噪声之外的噪声;根据所述其他噪声的能量与所述所有噪声的能量的占比关系,对所述风噪边界阈值进行修正。
在一些实施例中,对所述风噪边界阈值进行修正可以指,根据所述其他噪声的能量与所述所有噪声的能量的占比关系,对预设的风噪边界阈值进行增大或者减小。
例如,若其他噪声较大,如其他噪声的能量与所述所有噪声的能量的占比关系大于设定的占比阈值,可以对预设的风噪边界阈值进行增大修正,也即修正后的风噪边界阈值大于预设的风噪边界阈值。又如,若其他噪声较小,如其他噪声的能量与所述所有噪声的能量的占比关系小于设定的占比阈值,可以对预设的风噪边界阈值进行减小修正,也即修正后的风噪边界阈值小于预设的风噪边界阈值。再如,如其他噪声的能量与所述所有噪声的能量的占比关系等于设定的占比阈值,不对预设的风噪边界阈值进行修正。
需要说明的是,在上述风噪抑制方法的基础上,还可以配合其它传统降噪算法或人工智能(AI)降噪算法,以进一步提高降噪效果。
需要指出的是,上述实施例估算得到所述第一麦克风的风噪污染程度出了能够用于修正初始风噪增益外,还能作为降噪或回声模块的参数更新依据,例如风噪更大的时候同时加大后处理中的降噪力度等。
本发明实施例还提供一种多麦克风设备的风噪声污染程度估算装置,多麦克风设备的风噪声污染程度估算装置可以用于实现上述任一实施例提供的多麦克风设备的风噪声污染程度估算方法。参照图5,给出了本发明实施例中的一种多麦克风设备的风噪声污染程度估算装置的结构示意图。多麦克风设备的风噪声污染程度估算装置50包括:
获取单元51,用于获取多帧采集信号,每帧采样信号包括由所述多麦克风设备中的各个麦克风分别采集的信号,至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号;
风噪检测单元52,用于对各个麦克风采集的信号进行风噪检测,从所述多帧采集信号中筛选出风噪帧;
风噪污染程度估算单元53,用于针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,所述第一麦克风为主麦克风,所述风噪污染程度用于指示麦克风受风噪声的影响程度。
在具体实施中,多麦克风设备的风噪声污染程度估算装置50的具体工作原理及工作流程,可以参见上述实施例中的提供的多麦克风设备的风噪声污染程度估算方法中的描述,此处不再赘述。
在具体实施中,上述多麦克风设备的风噪声污染程度估算装置50可以对应于多麦克风设备中具有风噪声污染程度估算功能的芯片,例如SOC(System-On-a-Chip,片上系统)、基带芯片等;或者对应于多麦克风设备中包括具有风噪声污染程度估算功能的芯片模组;或者对应于具有数据处理功能芯片的芯片模组,或者对应于多麦克风设备。
本发明实施例还提供一种多麦克风设备的风噪声抑制装置,多麦克风设备的风噪声抑制装置可以用于实现上述任一实施例提供的多麦克风设备的风噪声抑制方法。参照图6,给出了本发明实施例中的一种多麦克风设备的风噪声抑制装置的结构示意图,多麦克风设备的风噪声抑制装置60包括:
上述任一实施例提供的多麦克风设备的风噪声污染程度估算装置50;
计算单元61,用于针对每个风噪帧,计算每个风噪帧的风噪抑制增益;
风噪抑制增益确定单元62,用于针对每个风噪帧,根据所述第一麦克风的风噪污染程度确定风噪抑制增益;
风噪声抑制处理单元63,用于针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
在具体实施中,多麦克风设备的风噪声抑制装置60的具体工作原理及工作流程等更多介绍,可以参见上述任一实施例提供的多麦克风设备的风噪声污染程度估算方法、风噪声抑制方法中的相关描述,此处不再赘述。
在具体实施中,上述多麦克风设备的风噪声抑制装置60可以对应于多麦克风设备中具有风噪声抑制功能的芯片,例如SOC(System-On-a-Chip,片上系统)、基带芯片等;或者对应于多麦克风设备中包括具有风噪声抑制功能的芯片模组;或者对应于具有数据处理功能芯片的芯片模组,或者对应于多麦克风设备。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行本发明上述任一实施例提供的多麦克风设备的风噪声污染程度估算方法的步骤,或者上述任一实施例提供的多麦克风设备的风噪声抑制方法的步骤。
所述计算机可读存储介质可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器,还可以包括光盘、机械硬盘、固态硬盘等。
具体地,在本发明实施例中,所述处理器可以为中央处理单元(centralprocessing unit,简称CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,简称DSP)、专用集成电路(application specificintegrated circuit,简称ASIC)、现场可编程门阵列(field programmable gate array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,简称ROM)、可编程只读存储器(Programmable ROM,简称PROM)、可擦除可编程只读存储器(Erasable PROM,简称EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random AccessMemory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(Random Access Memory,简称RAM)可用,例如静态随机存取存储器(StaticRAM,简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SynchronousDRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,简称DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,简称DR RAM)。
本发明实施例还提供一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述任一实施例提供的多麦克风设备的风噪声污染程度估算方法的步骤,或者上述任一实施例提供的多麦克风设备的风噪声抑制方法的步骤。。
所述存储器和所述处理器耦合,存储器可以位于终端内,也可以位于终端外。所述存储器和所述处理器可以通过通信总线连接。
终端可以包括但不限于耳机、助听器、车载终端、手机、计算机、平板电脑等终端设备,还可以为服务器、云平台等。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和系统,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的;例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式;例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二、第三等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
需要指出的是,本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (21)
1.一种多麦克风设备的风噪声污染程度估算方法,其特征在于,包括:
获取多帧采集信号,每帧采样信号包括由所述多麦克风设备中的各个麦克风分别采集的信号,至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号;
对各个麦克风采集的信号进行风噪检测,从所述多帧采集信号中筛选出风噪帧;
针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,所述第一麦克风为主麦克风,所述风噪污染程度用于指示麦克风受风噪声的影响程度。
2.如权利要求1所述的多麦克风设备的风噪声污染程度估算方法,其特征在于,所述根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,包括:
根据所述第一信号的低频能量以及所述第二信号的低频能量中的最大值,确定参照值;
根据所述第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度。
3.如权利要求2所述的多麦克风设备的风噪声污染程度估算方法,其特征在于,所述根据所述第一信号的低频能量以及所述第二信号的低频能量中的最大值,确定参照值,包括:
获取第一调节系数,采用所述第一调节系数对最大值进行修正,根据修正后的值得到所述参照值。
4.如权利要求3所述的多麦克风设备的风噪声污染程度估算方法,所述根据修正后的值得到所述参照值,包括:
获取第二调节系数,采用所述第二调节系数对所述修正后的值进行修正得到所述参照值。
5.如权利要求2所述的多麦克风设备的风噪声污染程度估算方法,其特征在于,所述根据所述第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度,包括:
获取第三调节系数,采用所述第三调节系数对所述第一信号的低频能量进行修正,得到修正后的第一信号的低频能量;
根据所述修正后的第一信号的低频能量与所述参照值的比值,估算所述第一麦克风的风噪污染程度。
7.如权利要求2所述的多麦克风设备的风噪声污染程度估算方法,其特征在于,还包括:
根据所述第二信号的低频能量与所述参照值的比值,估算所述第二麦克风的风噪污染程度。
8.如权利要求1所述的多麦克风设备的风噪声污染程度估算方法,其特征在于,所述针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,包括:
计算所述第一信号的低频能量和所述第二信号的低频能量的总能量;
计算所述第一信号的低频能量与所述总能量的能量占比;
根据所述能量占比,估算所述第一麦克风的风噪污染程度。
9.如权利要求8所述的多麦克风设备的风噪声污染程度估算方法,其特征在于,所述根据所述能量占比估算所述第一麦克风的风噪污染程度,包括:
当所述能量占比小于占比阈值时,根据预设的正相关系数,确定所述第一麦克风的风噪污染程度;
当所述能量占比大于等于所述占比阈值,将设定的风噪污染程度作为所述第一麦克风的风噪污染程度。
11.如权利要求1所述的多麦克风设备的风噪声污染程度估算方法,其特征在于,还包括:
当所述多麦克风设备包括的麦克风数目大于等于三个时,根据所述各个麦克风分别采集的信号,将信号的低频能量最小的麦克风作为所述第一麦克风;
将所述多麦克风设备中的其他麦克风分别与所述第一麦克风进行组合,并估算其他麦克风的风噪污染程度,所述其他麦克风为所述多麦克风设备中除所述第一麦克风之外的麦克风;
其中,所述第二麦克风为其他麦克风中的风噪污染程度最小的麦克风。
12.一种多麦克风设备的风噪声抑制方法,其特征在于,包括:
采用如权利要求1至11任一项所述的多麦克风设备的风噪声污染程度估算方法估算得到所述第一麦克风的风噪污染程度;
针对每个风噪帧,根据所述第一麦克风的风噪污染程度确定风噪抑制增益;针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
13.如权利要求12所述的多麦克风设备的风噪声抑制方法,其特征在于,所述根据所述第一麦克风的风噪污染程度确定风噪抑制增益,包括:
针对每个风噪帧,根据所述第一麦克风与所述第二麦克风的相干系数,计算每个风噪帧的初始风噪抑制增益;
采用所述第一麦克风的风噪污染程度对所述初始风噪抑制增益进行修正,将修正后的风噪抑制增益作为所述风噪抑制增益。
14.如权利要求13所述的多麦克风设备的风噪声抑制方法,其特征在于,所述采用所述第一麦克风的风噪污染程度对所述初始风噪抑制增益进行修正,将修正后的风噪抑制增益作为所述风噪抑制增益,包括:
针对每个风噪帧,计算1与所述初始风噪抑制增益的差值;
采用所述第一麦克风的风噪污染程度与所述差值进行乘法运算,得到乘法运算结果;
将1与所述乘法运算结果之差作为是第一麦克风对应的修正后的风噪抑制增益。
15.如权利要求12所述的多麦克风设备的风噪声抑制方法,其特征在于,还包括:
采用所述第二麦克风对应的修正后的风噪抑制增益对所述第二麦克风采集的信号进行风噪声抑制处理。
16.如权利要求12所述的多麦克风设备的风噪声抑制方法,其特征在于,还包括:
针对所述风噪帧,根据第一麦克风采集的第一信号的低频能量、设定的风噪边界阈值以及转换系数,估算所述第一麦克风的风噪污染范围,所述风噪污染范围用于指示被风噪声污染的频段,所述转换系数用于表征风噪能量和风噪污染范围的关系。
17.如权利要求15所述的多麦克风设备的风噪声抑制方法,其特征在于,针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理,包括:
在估算得到所述第一麦克风的风噪污染范围内,采用所述第一麦克风对应的风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
18.一种多麦克风设备的风噪声污染程度估算装置,其特征在于,包括:
获取单元,用于获取多帧采集信号,每帧采样信号包括由所述多麦克风设备中的各个麦克风分别采集的信号,至少包括第一麦克风采集的第一信号以及第二麦克风采集的第二信号;
风噪检测单元,用于对各个麦克风采集的信号进行风噪检测,从所述多帧采集信号中筛选出风噪帧;
风噪污染程度估算单元,用于针对所述风噪帧,根据所述第一麦克风采集的第一信号的低频能量以及所述第二麦克风采集的第二信号的低频能量之间的关系,估算所述第一麦克风的风噪污染程度,所述第一麦克风为主麦克风,所述风噪污染程度用于指示麦克风受风噪声的影响程度。
19.一种多麦克风设备的风噪声抑制装置,其特征在于,包括:
如权利要求18所述的多麦克风设备的风噪声污染程度估算装置;
计算单元,用于针对每个风噪帧,计算每个风噪帧的风噪抑制增益;
风噪抑制增益确定单元,用于针对每个风噪帧,根据所述第一麦克风的风噪污染程度确定风噪抑制增益;
风噪声抑制处理单元,用于针对每个风噪帧,采用所述风噪抑制增益对所述第一麦克风采集的第一信号进行风噪声抑制处理。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至11任一项所述的多麦克风设备的风噪声污染程度估算方法的步骤,或者执行权利要求12至17任一项所述的多麦克风设备的风噪声抑制方法的步骤。
21.一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至11任一项所述的多麦克风设备的风噪声污染程度估算方法的步骤,或者执行权利要求12至17任一项所述的多麦克风设备的风噪声抑制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211356576.2A CN115691533A (zh) | 2022-11-01 | 2022-11-01 | 风噪声污染程度估算方法及风噪声抑制方法、介质、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211356576.2A CN115691533A (zh) | 2022-11-01 | 2022-11-01 | 风噪声污染程度估算方法及风噪声抑制方法、介质、终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115691533A true CN115691533A (zh) | 2023-02-03 |
Family
ID=85047631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211356576.2A Pending CN115691533A (zh) | 2022-11-01 | 2022-11-01 | 风噪声污染程度估算方法及风噪声抑制方法、介质、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115691533A (zh) |
-
2022
- 2022-11-01 CN CN202211356576.2A patent/CN115691533A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI463817B (zh) | 可適性智慧雜訊抑制系統及方法 | |
CN103871421B (zh) | 一种基于子带噪声分析的自适应降噪方法与系统 | |
KR100860805B1 (ko) | 음성 강화 시스템 | |
US9113241B2 (en) | Noise removing apparatus and noise removing method | |
JP6169849B2 (ja) | 音響処理装置 | |
GB2577824A (en) | Earbud speech estimation | |
US8391471B2 (en) | Echo suppressing apparatus, echo suppressing system, echo suppressing method and recording medium | |
US8126176B2 (en) | Hearing aid | |
US20110188671A1 (en) | Adaptive gain control based on signal-to-noise ratio for noise suppression | |
KR101837331B1 (ko) | 보청기 시스템을 동작시키는 방법 및 보청기 시스템 | |
JP2001134287A (ja) | 雑音抑圧装置 | |
WO2022174727A1 (zh) | 啸叫抑制方法、装置、助听器及存储介质 | |
CN111868826B (zh) | 一种回声消除中的自适应滤波方法、装置、设备及存储介质 | |
CN112272848A (zh) | 使用间隙置信度的背景噪声估计 | |
KR20240007168A (ko) | 소음 환경에서 음성 최적화 | |
US11978468B2 (en) | Audio signal processing method and system for noise mitigation of a voice signal measured by a bone conduction sensor, a feedback sensor and a feedforward sensor | |
CN112997249B (zh) | 语音处理方法、装置、存储介质及电子设备 | |
CN115691533A (zh) | 风噪声污染程度估算方法及风噪声抑制方法、介质、终端 | |
JP2012163682A (ja) | 音声処理装置及び方法 | |
JP5228903B2 (ja) | 信号処理装置および方法 | |
US20180158447A1 (en) | Acoustic environment understanding in machine-human speech communication | |
CN115691532A (zh) | 风噪声污染范围估算方法及抑制方法、装置、介质、终端 | |
US20230253002A1 (en) | Audio signal processing method and system for noise mitigation of a voice signal measured by air and bone conduction sensors | |
US10109291B2 (en) | Noise suppression device, noise suppression method, and computer program product | |
US11227622B2 (en) | Speech communication system and method for improving speech intelligibility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |