CN115529537A - 一种差分波束形成方法、装置及存储介质 - Google Patents

一种差分波束形成方法、装置及存储介质 Download PDF

Info

Publication number
CN115529537A
CN115529537A CN202211214181.9A CN202211214181A CN115529537A CN 115529537 A CN115529537 A CN 115529537A CN 202211214181 A CN202211214181 A CN 202211214181A CN 115529537 A CN115529537 A CN 115529537A
Authority
CN
China
Prior art keywords
wind noise
value
threshold
forming
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211214181.9A
Other languages
English (en)
Inventor
万成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202211214181.9A priority Critical patent/CN115529537A/zh
Publication of CN115529537A publication Critical patent/CN115529537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开是关于一种差分波束形成方法、装置及存储介质。差分波束形成方法包括：基于多个麦克风的连线方向，在多个麦克风中确定目标麦克风，所述目标麦克风为所述多个麦克风中距离目标方向指向最近的麦克风，其中，所述多个麦克风在一条连线上，所述目标方向为所述多个麦克风连线方向的最前方；基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中风噪的风噪强度；根据所述风噪强度，形成差分波束。通过本公开可以在差分波束形成时有效地降低风噪声，增强声音信号。

Description

一种差分波束形成方法、装置及存储介质
技术领域
本公开涉及信号处理技术领域，尤其涉及一种差分波束形成方法、装置及存储介质。
背景技术
基于差分麦克风阵列(Differential Microphone Array，DMA)信号处理的语音增强技术被广泛应用，如何鲁棒地降低环境噪声并不损伤目标声音信号是关键问题。
相关技术中，基于差分波束形成的信号处理方法中，基于一阶和二阶差分波束形成进行语音增强，针对的环境是散射噪声场，噪声判断过于单一，而是增加了阶数，即在物理层面增加传感器数量。
发明内容
为克服相关技术中存在的问题，本公开提供一种差分波束形成方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种差分波束形成方法，所述方法包括：
基于多个麦克风的连线方向，在多个麦克风中确定目标麦克风，所述目标麦克风为所述多个麦克风中距离目标方向最近的麦克风，其中，所述多个麦克风在一条连线上，所述目标方向为所述多个麦克风连线方向的最前方；基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度；根据所述风噪强度，形成差分波束。
一种实施方式中，所述基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度，包括：
确定所述当前帧音频信号的自功率谱密度函数；确定所述自功率谱密度函数所对应的低频能量值和频谱子带质心值；基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度。
一种实施方式中，所述基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度，包括：
若所述低频能量值和所述频谱子带质心值存在任意一个大于第一风噪门限，则确定风噪强度为第一风噪强度；若所述低频能量值和所述频谱子带质心值存在任意一个大于第二风噪门限，且小于所述第一风噪门限，则确定风噪强度为第二风噪强度；若所述低频能量值和所述频谱子带质心值均小于第二风噪门限，则确定风噪强度为0；其中，所述第一风噪门限大于所述第二风噪门限，所述第一风噪强度大于所述第二风噪强度；所述第一风噪门限和所述第二风噪门限中各自包括有低频能量门限值和频谱子带质心对应的门限值。
一种实施方式中，根据所述风噪强度，形成差分波束，包括：
若所述风噪强度为0，则使用一阶差分波束形成算法，形成差分波束；若所述风噪强度为第二风噪强度，则使用一阶差分波束形成算法，形成差分波束，并将一定范围以下的所述音频信号在短时傅里叶逆转换之前置为0；若所述风噪强度为第一风噪强度，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到。
一种实施方式中，所述方法还包括：
统计基于形成差分波束之后连续第一帧数内的低频能量值和频谱子带质心值；若所述第一帧数内存在连续第二帧数的低频能量值高于低频能量阈值，且频谱子带质心值低于频谱子带质心阈值，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到；所述低频能量阈值和所述频谱子带质心阈值基于形成差分波束之前的所述当前帧音频信号确定。
根据本公开实施例的第二方面，提供一种差分波束形成装置，所述装置包括：
确定单元，用于基于多个麦克风的连线方向，在多个麦克风中确定目标麦克风，所述目标麦克风为所述多个麦克风中距离目标方向指向最近的麦克风，其中，所述多个麦克风在一条连线上，所述目标方向为所述多个麦克风连线方向的最前方；还用于基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度；波束形成单元，用于根据所述风噪强度，形成差分波束。
一种实施方式中，所述确定单元采用如下方式基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度：
确定所述当前帧音频信号的自功率谱密度函数；确定所述自功率谱密度函数所对应的低频能量值和频谱子带质心值；基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度。
一种实施方式中，所述确定单元采用如下方式基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度：
若所述低频能量值和所述频谱子带质心值存在任意一个大于第一风噪门限，则确定风噪强度为第一风噪强度；若所述低频能量值和所述频谱子带质心值存在任意一个大于第二风噪门限，且小于所述第一风噪门限，则确定风噪强度为第二风噪强度；若所述低频能量值和所述频谱子带质心值均小于第二风噪门限，则确定风噪强度为0；其中，所述第一风噪门限大于所述第二风噪门限，所述第一风噪强度大于所述第二风噪强度；所述第一风噪门限和所述第二风噪门限中各自包括有低频能量门限值和频谱子带质心对应的门限值。
一种实施方式中，所述波束形成单元采用如下方式根据所述风噪强度，形成差分波束：
若所述风噪强度为0，则使用一阶差分波束形成算法，形成差分波束；若所述风噪强度为第二风噪强度，则使用一阶差分波束形成算法，形成差分波束，并将一定范围以下的所述音频信号在短时傅里叶逆转换之前置为0；若所述风噪强度为第一风噪强度，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到。
一种实施方式中，所述装置还包括：
统计单元，用于统计基于形成差分波束之后连续第一帧数内的低频能量值和频谱子带质心值；调整单元，用于在所述第一帧数内存在连续第二帧数的低频能量值高于低频能量阈值，且频谱子带质心值低于频谱子带质心阈值的情况下，在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到；所述低频能量阈值和所述频谱子带质心阈值基于形成差分波束之前的所述当前帧音频信号确定。
根据本公开实施例第三方面，提供一种差分波束形成装置，包括：
处理器；用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行第一方面或第一方面任意一种实施方式中所述的方法。
根据本公开实施例第四方面，提供一种存储介质，所述存储介质中存储有指令，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行第一方面或第一方面任意一种实施方式中所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：在多个麦克风中确定目标方向指向的的目标麦克风，并确定目标麦克风所处环境风噪的风噪强度。根据风噪强度，形成差分波束，从而在风噪存在的环境中进行差分波束形成时，使用适配风噪强度的差分波束方法，以降低风噪声，增强声音信号，避免目标麦克风的声音信号被掩盖，提高差分波束处理的声音信号的系统鲁棒性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的麦克风阵列形成差分波束的场景示意图。
图2是根据一示例性实施例示出的一种双麦克风差分波束形成方法的流程图。
图3是根据一示例性实施例示出的基于频域数据确定风噪强度的流程图。
图4是根据一示例性实施例示出的基于低频能量和频谱子带质心确定风噪强度的流程图。
图5是根据一示例性实施例示出的根据风噪强度形成差分波束的流程图。
图6是本公开实施例提供的一阶差分波束形成的示意图。
图7是本公开实施例提供的不同波束形成方法处理结果的语谱图。
图8是根据一示例性实施例示出的一种双麦克风差分波束形成方法的流程图。
图9是本公开实施例提供的不同波束形成方法处理后每一帧的能量折线图。
图10是本公开实施例提供的不同波束形成方法处理后每一帧的SSC折线图。
图11是本公开实施例提供的双麦克风差分波束形成的应用场景示意图。
图12是根据一示例性实施例示出的一种双麦克风差分波束形成方法的流程图。
图13是根据一示例性实施例示出的一种双麦克风差分波束形成装置框图。
图14是根据一示例性实施例示出的一种双麦克风差分波束形成装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
基于麦克风阵列信号处理的语音增强技术被广泛应用于手机、耳机和智能电视等电子设备，如何鲁棒地降低环境噪声并不损伤目标声音信号是关键问题。
图1是本公开实施例提供的麦克风阵列形成差分波束的场景示意图，如图1所示，麦克风阵列，结合波束形成方法，可以对来自空间不同方向的信号产生不同的响应，这一特性可以用来增强阵列输出信号的信噪比。在噪声均来自空间声场的情况下，如果使得阵列在其它方向的响应都要小于期望声源方向的响应，阵列输出信号的信噪比相对单个麦克风观测信号的信噪比自然会得到提升。具有双麦克风的电子设备经常用于非常复杂声学环境中，一个令人头疼的因素是在通话期间麦克风会拾取的各种噪声，包括背景噪声、风噪、平稳干扰、非平稳干扰、回声等，其中风噪声是一种特殊类型的干扰。进一步的，由于风噪声是由设备边缘周围气流中的湍流产生的，导致快速变化的非平稳噪声信号。
有鉴于此，本公开实施例提供一种差分波束形成方法，该差分波束形成方法中基于环境中存在风噪声的风噪强度，进行差分波束形成，以增强目标声音信号。
其中，本公开实施例提供的差分波束形成方法适用于使用多个麦克风形成的麦克风阵列中进行声音信号增强的场景。例如本公开实施例提供的差分波束形成方法可以应用于包括麦克风阵列的电子设备，电子设备可以为有线或无线的头戴式设备、耳机或者助听器，短吊杆头戴式耳麦(诸如用于企业电话中心、工业和一般移动电话的音频头戴式耳麦)、安装在眼镜框架上或者内的具有输入线(导线、线缆或者其他连接器)的内嵌式“耳塞”头戴式耳麦、近眼(near to eye,NTE)头戴式耳麦显示器或者头戴式耳麦计算设备、用于非常嘈杂的环境的长吊杆头戴式耳麦(诸如用于工业、军事和航空)、以及可以用于提供影院或交响乐厅类型品质声学的鹅颈式桌面麦克风等。多麦克风阵列包括一组或多组麦克风，每组麦克风包括两个麦克风。
本公开实施例提供的差分波束形成方法涉及多个麦克风，该多个麦克风在一条连线上，该连线具有连线方向。该连线方向包括零点方向和目标方向。其中，零点方向为多个麦克风连线方向的最后方(正后方)，目标方向为多个麦克风连线方向的最前方(正前方)。
本公开实施例的一典型应用场景为包括双麦克风阵列的真无线立体声(TrueWireless Stereo,TWS)耳机场景。其中，TWS耳机中双麦克风阵列包括通话麦克风和前馈麦克风。本公开实施例以下以TWS耳机为例进行说明。例如，TWS耳机中通话麦克风和前馈麦克风的连线方向为指向佩戴者嘴巴的方向，嘴巴所处位置的方向为目标方向。换言之，目标方向上为前馈麦克风指向通话麦克风的方向。距离目标方向最近的麦克风为通话麦克风。
本公开实施例提供的差分波速形成方法的一种实施方式中，确定麦克风阵列中多个麦克风的目标方向，并确定目标方向指向的麦克风的风噪强度，基于风噪强度对目标方向指向的麦克风的声音信号进行声音信号增强。
图2是根据一示例性实施例示出的一种差分波束形成方法的流程图，如图2所示，包括以下步骤。
在步骤S11中，基于多个麦克风的连线方向，在多个麦克风中确定目标麦克风，目标麦克风为多个麦克风中距离目标方向最近的麦克风，其中，多个麦克风在一条连线上，目标方向为多个麦克风连线方向的最前方。
在步骤S12中，基于目标麦克风采集当前帧音频信号，确定目标麦克风所处环境中的风噪强度。
在步骤S13中，根据风噪强度，形成差分波束。
本公开实施例中，根据目标麦克风采集的当前帧音频信号检测得到目标麦克风所处环境风噪的风噪强度。根据风噪强度，形成差分波束，从而在风噪存在的环境中进行差分波束形成时，使用适配风噪强度的差分波束方法，以降低风噪声，增强声音信号，避免目标麦克风的声音信号被掩盖，提高差分波束处理的声音信号的系统鲁棒性。
本公开实施例中，基于多个麦克风的连线方向，在多个麦克风中确定目标麦克风，目标麦克风为多个麦克风中距离目标方向最近的麦克风，其中，多个麦克风在一条连线上，目标方向为多个麦克风连线方向的最前方。其中，两个麦克风做一阶差分波束形成，其目标方向是这两个麦克风中前馈麦克风指向通话麦克风的连线方向。
本公开实施例中目标方向为双麦克风连线的正前方，即目标语音信号来源方向，零点方向为双麦克风连线的正后方。
在两个麦克风采集目标声源的输入信号后，会对两个麦克风分别采集的输入信号进行傅里叶变换，将各麦克风的输入信号由时域信号变换为频域信号，作为进行差分波束形成的待处理信号。
本公开实施例中，以TWS耳机为例进行说明。TWS耳机内有前馈麦克风和通话麦克风，接收两路声音信号。前馈麦克风和通话麦克风采集到音频信号分别为f(n)和t(n)，对于声音信号处理系统采样率fs一般为16kHz、44.1kHz或48kHz。由于硬件和算力的限制，本公开使用的是16kHz采样率。由于声音信号在10-40ms之间近似满足短时平稳特性，可以使用其二阶统计量等信息，所以要对接收信号进行短时傅里叶变换(Short-Time FourierTransform,STFT)，即分帧加窗和快速傅里叶变换(fast Fourier transform,FFT)。本公开选择每一帧为32ms，则帧长L＝512；窗函数w(n)为汉宁窗，其长度与帧长相同；帧移为帧长的50％，即inc＝256。可以得到分帧加窗后的两通道信号sf(n,m)、st(n,m)为公式(1)和(2)：
sf(n,m)＝f((m-1)*inc+n)*w(n),0≤n≤(L-1) (1)
st(n,m)＝t((m-1)*inc+n)*w(n),0≤n≤(L-1) (2)
其中，m表示帧数索引，n表示第m帧音频数据的数据点索引。然后再分别对sf(n,m)和st(n,m)进行FFT即可得到前馈麦克风和通话麦克风的频谱数据F(k,m)和T(k,m)，其中，k表示频点的索引。
本公开实施例对多个麦克风采集的声音信号进行如上STFT预处理后，得到分帧加窗后的两通道声音信号后，可确定两通道声音信号对应的自功率谱密度函数，后续基于自功率谱密度函数确定风噪的风噪强度以及进行差分波束形成。
本公开实施例中仍以TWS耳机为例进行说明。基于如上预处理方式计算得到F(k,m)和T(k,m)。计算F(k,m)和T(k,m)的自功率谱密度φff(k,m)和φtt(k,m)。
本公开采用自回归时间平滑的方式计算F(k,m)和T(k,m)的自功率谱密度φff(k,m)和φtt(k,m)。一示例中，采用公式(3)和(4)计算F(k,m)和T(k,m)的自功率谱密度φff(k,m)和φtt(k,m)：
φff(k,m)＝αφff(k,m-1)+(1-α)F(k,m)F*(k,m) (3)
φtt(k,m)＝αφtt(k,m-1)+(1-α)T(k,m)T*(k,m) (4)
其中，(·)*表示复共轭，α为平滑因子(α<1)，本公开取α<0.7。
本公开实施例中，由于目标方向为前馈麦克风指向通话麦克风，且受限于设备的计算能力，故使用单通道风噪检测。本公开实施例中，在进行差分波束目标麦克风的声音信号进行增强时，可以确定目标麦克风当前帧音频信号的自功率谱密度函数，并基于目标麦克风当前帧音频信号的自功率谱密度函数，确定目标麦克风所处环境风噪的风噪强度。
本公开实施例以下对确定目标麦克风所处环境风噪的风噪强度确定过程进行说明。
本公开实施例中，一种实施方式中，可以使用频谱子带质心值(spectral subbandcentroids,SSC)进行单通道的风噪检测。其中，SSC可以理解为是声音信号和风噪的平均频率值。
本公开实施例中，结合当前帧的低频能量与SSC进行共同判断，以提高了风噪检测的准确性。
图3是根据一示例性实施例示出的一种确定目标麦克风所处环境风噪的风噪强度的流程图，如图3所示，包括以下步骤。
在步骤S21中，确定目标麦克风当前帧音频信号的自功率谱密度函数。
一示例中，以TWS耳机为例进行说明。TWS耳机中目标麦克风为通话麦克风。基于如上实施例可以确定，通话麦克风的自功率谱密度函数φtt(k,m)。
在步骤S22中，确定自功率谱密度函数所对应的低频能量值和SSC。
以通话麦克风为例，SSC可以采用如公式(5)所示方式确定：
Figure BDA0003876133160000081
其中，k1和k2分别表示统计的频率索引下限和上限，这个值与FFT点数有关，一般不作归一化。
其中，低频能量值可以理解为风噪的能量，由于风噪的能量主要分布在0-1kHz的低频，故称之为低频能量。
在步骤S23中，基于低频能量值和频谱子带质心值，确定风噪强度。
本公开实施例中，风噪的能量主要分布在低频，尤其是0-1kHz的低频，而风噪的SSC集中在100Hz以下。因此结合低频能量与SSC共同进行风噪大小的判断，提高了风噪检测的准确性。本申请依据大量的实验结果得到小风噪门限和大风噪门限。若当前帧的低频能量和SSC中有一项大于大风噪门限，则认为当前帧为大风噪场景；若当前帧的低频能量和SSC中有一项大于小风噪门限，则认为当前帧为小风噪场景；只有若当前帧的低频能量和SSC中均小于小风噪门限，才认为当前帧为无风噪场景。通过设定不同的风噪门限，可以将当前麦克风获取的音频信号区分为不同的风噪场景，根据不同的风噪场景选择不同的波束形成方法，提升了系统的稳定性。
本公开实施例以下对基于低频能量值和频谱子带质心值，确定目标麦克风所处环境风噪的风噪强度的实施过程进行说明。
本公开实施例中设置用于确定风噪强度的风噪门限值。其中，风噪门限值包括低频能量门限值和频谱子带质心对应的门限值。在基于低频能量值和频谱子带质心值，确定目标麦克风所处环境风噪的风噪强度时，可以基于低频能量值、频谱子带质心值以及风噪门限值，确定风噪强度。
本公开实施例中基于风噪强度可以确定当前风噪场景为无风噪场景(风噪强度为0)，大风噪场景(风噪强度大于设定的风噪强度(后续称为第一风噪强度))以及小风噪场景(风噪强度低于设定的风噪强度(后续称为第二风噪强度))。
其中，本公开实施例对应第一风噪强度设置第一风噪门限，对应第二风噪强度设置第二风噪门限。第一风噪门限和所述第二风噪门限中各自包括有低频能量门限值和频谱子带质心对应的门限值。例如，第二风噪强度对应的小风噪门限为φ1和SSC1，第一风噪强度对应的大风噪门限为φ2和SSC2。
图4是根据一示例性实施例示出的基于低频能量和频谱子带质心确定风噪强度的流程图，如图4所示，包括以下步骤。
在步骤S31中，确定低频能量值、频谱子带质心值、第一风噪门限和第二风噪门限。
本公开实施例中，风噪的能量主要分布在低频，因此提取音频信号的低频能量值进行判断。通过判断低频能量值和频谱子带质心值与第一风噪门限和第二风噪门限关系，确定音频信号当前帧为无风噪场景、小风噪场景或大风噪场景。
在步骤S32a中，若低频能量值和频谱子带质心值存在任意一个大于第一风噪门限，则确定风噪强度为第一风噪强度。
本公开实施例中，若当前帧的低频能量和SSC中有一项大于大风噪门限，则认为当前帧为大风噪场景。
在步骤S32b中，若低频能量值和频谱子带质心值存在任意一个大于第二风噪门限，且小于第一风噪门限，则确定风噪强度为第二风噪强度。
本公开实施例中，若当前帧的低频能量和SSC中有一项大于小风噪门限，则认为当前帧为小风噪场景。
在步骤S32c中，若低频能量值和频谱子带质心值均小于第二风噪门限，则确定风噪强度为0。
本公开实施例中，只有若当前帧的低频能量和SSC中均小于小风噪门限，才认为当前帧为无风噪场景。
其中，本公开依据大量的实验结果得到第二风噪强度对应的小风噪门限为φ1和SSC1，第一风噪强度对应的大风噪门限为φ2和SSC2。
若当前帧的低频能量和SSC中有一项大于大风噪门限，则认为当前帧为大风噪场景；若当前帧的低频能量和SSC中有一项大于小风噪门限，则认为当前帧为小风噪场景；只有若当前帧的低频能量和SSC中均小于小风噪门限，才认为当前帧为无风噪场景。
本公开实施例中确定了风噪强度后，可以基于不同的风噪强度采用不同的差分波束形成算法进行差分波束形成。
图5是根据一示例性实施例示出的根据风噪强度形成差分波束的流程图，如图5所示，包括以下步骤。
在步骤S41中，确定风噪强度。
在步骤S42a中，若风噪强度为0，则使用一阶差分波束形成算法，形成差分波束。
本公开实施例中，若风噪检测结果为无风噪，则使用标准的一阶DMA进行波束形成。图6是本公开实施例提供的一阶差分波束形成的示意图。如图6所示，首先将第2号麦克风的观测信号进行一定的延时(用于控制波束形状和指向性因子)，然后将第1号麦克风的观测信号和延时后的第2号麦克风的信号进行相减，最后将相减的结果通过一个均衡器(补偿差分带来的高通效应)就得到一阶差分波束形成的输出。
在步骤S42b中，若风噪强度为第二风噪强度，则使用一阶差分波束形成算法，形成差分波束，并将一定范围以下的音频信号在短时傅里叶逆转换之前置为0。
本公开实施例中，若为小风噪，则使用标准的一阶DMA进行波束形成，且将100-150Hz以下的信号在ISTFT之前置为0。因为此时DMA对低频噪声的放大效应较弱，而100-150Hz以下的信号置为零对声音信号几乎没有影响，且这样可以有效避免时域波形截幅。
在步骤S42c中，若风噪强度为第一风噪强度，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束。其中，第一频段与第二频段的分界点由频谱子带质心值估算得到。
本公开实施例中，若为大风噪，则在低频段使用延时叠加(delay-and-sum,DAS)波束形成，高频段使用DMA波束形成方法。针对不同强度的风噪，采用不同的波束形成方法。当大风噪场景时，采用较为保守的波束形成方法；当小风噪场景时，采用较为激进的波束形成方法，这样对风噪的抑制效果更好。
本公开实施例中，差分波束形成前需对其权系数进行求解。差分波束形成的权系数求解方式有很多，最为经典的是零点信息设计法，对于两个麦克风的1阶DMA而言：1、目标方向必须是端射方向，即θg＝0°或180°，一般默认为空间直角坐标系的0°，此方向信号无失真、归一化波束响应为1；2、最小值方向为θnull＝cos-1α1,1(-1≤α1,1<1)，该方向的波束响应为β1,1，一般取β1,1＝0。则使用线性方程组表示为公式(6)：
Figure BDA0003876133160000101
其中，(·)H表示复共轭转置，
Figure BDA0003876133160000102
为双麦克风线阵的导向矢量，表示频点。通过求逆运算和等价无穷小近似求解得到权系数，如公式(7)所示：
Figure BDA0003876133160000111
其中，C表示一个常数项，ωk＝2πfk，τ1＝τ0(1-α1,1)，τ2＝τ0α1,1，τ0＝d/c。利用权向量h(k)双麦克风阵列接收信号向量t(k,m)进行滤波，就可以得到增强后的信号out(k,m)，见公式(8)
out(k,m)＝hH(k)t(k,m) (8)
增强后的信号out(k,m)还需要经过ISTFT变换得到时域输出结果。
在本公开的使用场景中，目标方向为双麦克风连线的正前方，零点方向为双麦克风连线的正后方，此时一阶DMA的波束图为心脏型，白噪声增益较大，符合场景的需求。由上面的分析可知，此时α1,1＝-1、β1,1＝0，将其带入公式(7)得到hDMA(k)。此外，最常用的延时求和波束形成的权向量为hDAS(k)＝d(k)。
进一步的，本公开实施例中，其中，第一频段与第二频段的分界点由频谱子带质心值估算得到。
一示例中，第一频段与第二频段的分界点kDAS(m)由SSC，采用公式(9)估算得到：
Figure BDA0003876133160000112
本公开实施例中，若风噪检测结果为无风噪，则使用标准的一阶DMA进行波束形成；此时选择激进的波束形成方法，因为DMA有众多优点：1、阵列响应不会随频率变换而发生改变；2、用较少的阵元可以得到较大的阵列指向性，也即是说阵列的指向性高，阵列能够容易地识别干扰信号和噪声信号对它们进行干扰抑制，同时增加有用语音信号；3、N阶DMA最多有N个零点，可对零点方向的干扰信号进行抑制。若为小风噪，则使用标准的一阶DMA进行波束形成，且将100-150Hz以下的信号在ISTFT之前置为0；此时选择较为激进的波束形成方法，在语音高频段使用标准的一阶DMA进行波束形成，由于100-150Hz以下的信号置为零对语音信号几乎没有影响，将100-150Hz风噪声频段的信号置为0。若为大风噪，则在低频段使用DAS波束形成，高频段使用DMA波束形成方法；此时选择保守的波束形成方法，使用不同的波束形成方法，可以有效增强语音信号，抑制风噪声。
图7是本公开实施例提供的不同波束形成方法处理结果的语谱图，如图7所示，图(a)-(d)分别为实录信号、DMA处理结果、DAS结合DMA处理结果(2kHz以下为DAS)、100Hz以下信号置为零的DMA处理结果。其中，实录信号是未经处理真实声音。1、由图(b)可以看出DMA处理有风噪的信号会对低频进行异常放大，对比图(d)可知若将100Hz以下置为零可以改善改缺点，且不影响声音信号；由此可知，当风噪检测为小风噪场景，使用标准的一阶DMA进行波束形成，且将100-150Hz以下的信号在ISTFT之前置为0效果较好。2、由图(c)可知若在低频段使用DAS波束形成，那么低频段的降噪性能很差，但不会损伤声音信号，适合在风噪较大的场景使用。
本公开实施例中为了确保不同场景使用适配当前场景的波束形成方法，可以基于形成差分波束之后连续第一帧数内的低频能量值和频谱子带质心值进行波束形成处理后的声音信号的反馈判断。
图8是根据一示例性实施例示出的一种差分波束形成方法的流程图，如图8所示，包括以下步骤。
在步骤S51中，统计基于形成差分波束之后连续第一帧数内的低频能量值和频谱子带质心值。
本公开实施例中，图9是本公开实施例提供的不同波束形成方法处理后每一帧的能量折线图，图10是本公开实施例提供的不同波束形成方法处理后每一帧的SSC折线图，如图9和10所示，可以看到不同方法处理后每一帧的能量和SSC结果，其中Ori、DMA1、DMA+DAS和DMA2分别表示图7中的(a)-(d)的结果，能量统计只计算10-1000Hz的低频段结果。可以得到：1、低频段能量由小到大依次为Ori、DMA+DAS、DMA2和DMA1。2、SSC由大到小依次为Ori、DMA+DAS、DMA2和DMA1。四种处理方式一致，说明上述结果是符合预期的处理结果。其中，风噪相比声音信号的SSC小，低频能量大，经过波束形成处理后，SSC上升，低频能量下降，说明处理结果符合预期，如果反之，说明处理结果没有达到预期，故本公开增加一条反馈之路进行处理结果的判断。
在步骤S52中，若第一帧数内存在连续第二帧数的低频能量值高于低频能量阈值，且频谱子带质心值低于频谱子带质心阈值，则在第一频段使用延时叠加波束形成算法形成差分波束，在第二频段使用差分波束形成算法形成差分波束。
其中，第一频段与第二频段的分界点由频谱子带质心值估算得到。
本公开实施例中，如果波束形成处理结果符合预期，不做进一步调整。但在实际使用中，一般不会得到如图7所示处理结果的反馈，故本公开增加一条反馈之路进行处理结果的判断，具体为：连续统计15帧的(约0.25秒)低频能量和SSC的结果，若其中连续7帧或者平均结果的低频段能量高于处理前的结果且SSC低于处理前的结果，则认为前一帧使用的波束形成方法造成了不可接受的低频放大，下一帧应使用DMA+DAS的波束形成方法。连续统计的帧数小会导致判断不准，且不能延时过长，故选取统计连续15帧。
本公开实施例提供的差分波束形成方法，对于低频环境噪声的异常放大，提高了了系统的鲁棒性和实用性。并且本公开实施例提供的差分波束形成方法，增加了反馈支路确保对风噪声的判断，同时引入了不同的波束形成方法和信号处理方法进行噪声的抑制。
其中，本公开实施例提供的差分波束形成方法，通过对当前低频能量和SSC的逻辑判断，使用不同的差分波束形成方法增强声音信号，提高了系统的鲁棒性。此外还增加一路反馈判断支路，确保不同场景使用合适的波束形成方法。
本公开实施例以下以包括双麦克风阵列的真无线立体声(True WirelessStereo,TWS)耳机场景为例，对应用本公开上述实施例涉及的差分波束形成方法进行示例性说明。
图11是本公开实施例提供的双麦克风差分波束形成的应用场景示意图，如图2所示，以包括双麦克风阵列的TWS耳机场景为例就那些说明。正常佩戴时，TWS耳机的通话和前馈麦克风的连线指向佩戴者的嘴巴，首先通过单通道风噪检测方法判断当前有无风噪、风噪大小，然后选择相应的波束形成方法，接着对波束形成的结果再进行统计判断以辅助波束形成方法的选择，以此增强了系统的鲁棒性。
图12是根据一示例性实施例示出的一种双麦克风差分波束形成方法的流程图，如图12所示，包括如下步骤：(1)数据预处理。输入前馈麦克风和通话麦克风的音频数据，进行STFT，即分帧加窗和FFT，得到相应的频域信号。(2)风噪检测与判断。使用单通道风噪检测系数判断当前帧有无风噪和风噪的大小。(3)波束形成方法选择。依据步骤(2)的结果使用不同的DMA方法或与延时求和波束形成结合的方法。(4)统计结果判断。对步骤(3)的结果进行检测，与步骤(2)相应的系数对比，判断处理结果是否符合预期，是否需要改变波束形成方法。
本公开通过在多个麦克风中确定目标方向指向的目标麦克风，基于目标麦克风采集当前帧音频信号，确定目标麦克风所处环境风噪的风噪强度，根据风噪强度的大小，形成不同的差分波束，并判断处理结果，进而重新选择波束形成方法。此方法使用不同的波束形成方法，可以有效增强语音信号，抑制风噪声，提高了系统的稳定性。
基于相同的构思，本公开实施例还提供一种差分波束形成装置。
可以理解的是，本公开实施例提供的双麦克风差分波束形成装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图13是根据一示例性实施例示出的一种差分波束形成装置框图100。参照图13，该装置包括确定单元101、波束形成单元102、统计单元103和调整单元104。
确定单元101，用于在多个麦克风中确定目标麦克风，目标麦克风为多个麦克风中目标方向指向的麦克风；还用于基于目标麦克风采集当前帧音频信号，确定目标麦克风所处环境风噪的风噪强度。
波束形成单元102，用于根据风噪强度，形成差分波束。
统计单元103，用于统计基于形成差分波束之后连续第一帧数内的低频能量值和频谱子带质心值。
调整单元104，用于若第一帧数内存在连续第二帧数的低频能量值高于低频能量阈值，且频谱子带质心值低于频谱子带质心阈值，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，第一频段与第二频段的分界点由频谱子带质心值估算得到，低频能量阈值和频谱子带质心阈值基于形成差分波束之前的当前帧音频信号确定。
一种实施方式中，确定单元101采用如下方式基于目标麦克风采集当前帧音频信号，确定目标麦克风所处环境风噪的风噪强度：
确定当前帧音频信号的自功率谱密度函数；确定自功率谱密度函数所对应的低频能量值和频谱子带质心值；基于低频能量值和频谱子带质心值，确定目标麦克风所处环境风噪的风噪强度。
一种实施方式中，确定单元101采用如下方式基于低频能量值和频谱子带质心值，确定目标麦克风所处环境风噪的风噪强度：
若低频能量值和频谱子带质心值存在任意一个大于第一风噪门限，则确定风噪强度为第一风噪强度；若低频能量值和频谱子带质心值存在任意一个大于第二风噪门限，且小于第一风噪门限，则确定风噪强度为第二风噪强度；若低频能量值和频谱子带质心值均小于第二风噪门限，则确定风噪强度为0；其中，第一风噪门限大于第二风噪门限，第一风噪强度大于第二风噪强度；第一风噪门限和第二风噪门限中各自包括有低频能量门限值和频谱子带质心对应的门限值。
一种实施方式中，波束形成单元102采用如下方式根据风噪强度，形成差分波束：
若风噪强度为0，则使用一阶差分波束形成算法，形成差分波束；若风噪强度为第二风噪强度，则使用一阶差分波束形成算法，形成差分波束，并将一定范围以下的音频信号在短时傅里叶逆转换之前置为0；若风噪强度为第一风噪强度，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，第一频段与第二频段的分界点由频谱子带质心值估算得到。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图14是根据一示例性实施例示出的一种用于差分波束形成方法的装置200的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图14，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)接口212，传感器组件214，以及通信组件216。
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。

Claims (12)

1.一种差分波束形成方法，其特征在于，所述方法包括：
基于多个麦克风的连线方向，在多个麦克风中确定目标麦克风，所述目标麦克风为所述多个麦克风中距离目标方向最近的麦克风，其中，所述多个麦克风在一条连线上，所述目标方向为所述多个麦克风连线方向的最前方；基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度；
根据所述风噪强度，形成差分波束。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度，包括：
确定所述当前帧音频信号的自功率谱密度函数；
确定所述自功率谱密度函数所对应的低频能量值和频谱子带质心值；
基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度。
3.根据权利要求2所述的方法，其特征在于，所述基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度，包括：
若所述低频能量值和所述频谱子带质心值存在任意一个大于第一风噪门限，则确定风噪强度为第一风噪强度；
若所述低频能量值和所述频谱子带质心值存在任意一个大于第二风噪门限，且小于所述第一风噪门限，则确定风噪强度为第二风噪强度；
若所述低频能量值和所述频谱子带质心值均小于第二风噪门限，则确定风噪强度为0；
其中，所述第一风噪门限大于所述第二风噪门限，所述第一风噪强度大于所述第二风噪强度；
所述第一风噪门限和所述第二风噪门限中各自包括有低频能量门限值和频谱子带质心对应的门限值。
4.根据权利要求3所述的方法，其特征在于，根据所述风噪强度，形成差分波束，包括：
若所述风噪强度为0，则使用一阶差分波束形成算法，形成差分波束；
若所述风噪强度为第二风噪强度，则使用一阶差分波束形成算法，形成差分波束，并将一定范围以下的所述音频信号在短时傅里叶逆转换之前置为0；
若所述风噪强度为第一风噪强度，则在第一频段使用延时叠加波束形成算法形成差分波束，在第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述方法还包括：
统计基于形成差分波束之后连续第一帧数内的低频能量值和频谱子带质心值；
若所述第一帧数内存在连续第二帧数的低频能量值高于低频能量阈值，且频谱子带质心值低于频谱子带质心阈值，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到；
所述低频能量阈值和所述频谱子带质心阈值基于形成差分波束之前的所述当前帧音频信号确定。
6.一种差分波束形成装置，其特征在于，包括：
确定单元，用于基于多个麦克风的连线方向，在多个麦克风中确定目标麦克风，所述目标麦克风为所述多个麦克风中距离目标方向指向最近的麦克风，其中，所述多个麦克风在一条连线上，所述目标方向为所述多个麦克风连线方向的最前方；还用于基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度；
波束形成单元，用于根据所述风噪强度，形成差分波束。
7.根据权利要求6所述的装置，其特征在于，所述确定单元采用如下方式基于所述目标麦克风采集当前帧音频信号，确定所述目标麦克风所处环境中的风噪强度：
确定所述当前帧音频信号的自功率谱密度函数；
确定所述自功率谱密度函数所对应的低频能量值和频谱子带质心值；
基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度。
8.根据权利要求7所述的装置，其特征在于，所述确定单元采用如下方式基于所述低频能量值和所述频谱子带质心值，确定所述风噪强度：
若所述低频能量值和所述频谱子带质心值存在任意一个大于第一风噪门限，则确定风噪强度为第一风噪强度；
若所述低频能量值和所述频谱子带质心值存在任意一个大于第二风噪门限，且小于所述第一风噪门限，则确定风噪强度为第二风噪强度；
若所述低频能量值和所述频谱子带质心值均小于第二风噪门限，则确定风噪强度为0；
其中，所述第一风噪门限大于所述第二风噪门限，所述第一风噪强度大于所述第二风噪强度；
所述第一风噪门限和所述第二风噪门限中各自包括有低频能量门限值和频谱子带质心对应的门限值。
9.根据权利要求8所述的装置，其特征在于，所述波束形成单元采用如下方式根据所述风噪强度，形成差分波束：
若所述风噪强度为0，则使用一阶差分波束形成算法，形成差分波束；
若所述风噪强度为第二风噪强度，则使用一阶差分波束形成算法，形成差分波束，并将一定范围以下的所述音频信号在短时傅里叶逆转换之前置为0；
若所述风噪强度为第一风噪强度，则在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到。
10.根据权利要求6至9中任意一项所述的装置，其特征在于，所述装置还包括：
统计单元，用于统计基于形成差分波束之后连续第一帧数内的低频能量值和频谱子带质心值；
调整单元，用于在所述第一帧数内存在连续第二帧数的低频能量值高于低频能量阈值，且频谱子带质心值低于频谱子带质心阈值的情况下，在第一频段使用延时叠加波束形成算法形成差分波束，第二频段使用差分波束形成算法形成差分波束，其中，所述第一频段与所述第二频段的分界点由所述频谱子带质心值估算得到；
所述低频能量阈值和所述频谱子带质心阈值基于形成差分波束之前的所述当前帧音频信号确定。
11.一种差分波束形成装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至5中任意一项所述的方法。
12.一种存储介质，其特征在于，所述存储介质中存储有指令，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行权利要求1至5中任意一项所述的方法。
CN202211214181.9A 2022-09-30 2022-09-30 一种差分波束形成方法、装置及存储介质 Pending CN115529537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211214181.9A CN115529537A (zh) 2022-09-30 2022-09-30 一种差分波束形成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211214181.9A CN115529537A (zh) 2022-09-30 2022-09-30 一种差分波束形成方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115529537A true CN115529537A (zh) 2022-12-27

Family

ID=84701171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211214181.9A Pending CN115529537A (zh) 2022-09-30 2022-09-30 一种差分波束形成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115529537A (zh)

Similar Documents

Publication Publication Date Title
US11109163B2 (en) Hearing aid comprising a beam former filtering unit comprising a smoothing unit
US10535362B2 (en) Speech enhancement for an electronic device
CN111418010B (zh) 一种多麦克风降噪方法、装置及终端设备
US11134330B2 (en) Earbud speech estimation
US10269369B2 (en) System and method of noise reduction for a mobile device
US9197974B1 (en) Directional audio capture adaptation based on alternative sensory input
US8180067B2 (en) System for selectively extracting components of an audio input signal
US9313572B2 (en) System and method of detecting a user&#39;s voice activity using an accelerometer
KR101444100B1 (ko) 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
KR102352927B1 (ko) 상관 기반 근접장 검출기
US10176823B2 (en) System and method for audio noise processing and noise reduction
EP3422736B1 (en) Pop noise reduction in headsets having multiple microphones
US20080201138A1 (en) Headset for Separation of Speech Signals in a Noisy Environment
Braun et al. Dereverberation in noisy environments using reference signals and a maximum likelihood estimator
KR20090056598A (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
JP2011527025A (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
CN102970638B (zh) 处理信号
CN115529537A (zh) 一种差分波束形成方法、装置及存储介质
CN111292760B (zh) 发声状态检测方法及用户设备
EP4199541A1 (en) A hearing device comprising a low complexity beamformer
CN113470675B (zh) 音频信号处理方法及装置
CN116320872A (zh) 耳机的模式切换方法、装置、电子设备及存储介质
JP2011182292A (ja) 収音装置、収音方法及び収音プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination