CN116887103A - 抑制麦克风的风噪的方法和电子装置 - Google Patents

抑制麦克风的风噪的方法和电子装置 Download PDF

Info

Publication number
CN116887103A
CN116887103A CN202311003401.8A CN202311003401A CN116887103A CN 116887103 A CN116887103 A CN 116887103A CN 202311003401 A CN202311003401 A CN 202311003401A CN 116887103 A CN116887103 A CN 116887103A
Authority
CN
China
Prior art keywords
audio signals
signal
audio
wind noise
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311003401.8A
Other languages
English (en)
Inventor
李艳红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Semiconductor China R&D Co Ltd, Samsung Electronics Co Ltd filed Critical Samsung Semiconductor China R&D Co Ltd
Priority to CN202311003401.8A priority Critical patent/CN116887103A/zh
Publication of CN116887103A publication Critical patent/CN116887103A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开了抑制麦克风的风噪的方法和电子装置。所述方法包括：接收来自多个麦克风的多个音频信号；对所述多个音频信号中的风噪的存在和语音的存在进行检测；基于检测风噪和语音的存在的结果，将所述多个音频信号中的一个音频信号确定为参考信号，所述多个音频信号包括所述多个音频信号中的所述一个音频信号和其余的音频信号；基于确定的参考信号，对其余的音频信号中的每个执行补偿操作；以及基于被执行补偿操作后的其余的音频信号，获得修正的音频信号。

Description

抑制麦克风的风噪的方法和电子装置
技术领域
一些示例实施例涉及音频处理领域。更具体地讲，涉及一种抑制麦克风的风噪的方法和/或电子装置。
背景技术
随着技术的发展，便携式终端被广泛使用。很多便携式终端都支持音频采集功能。便携式终端可通过麦克风来采集音频信号，然后对采集的音频信号进行处理。然而，在通过麦克风采集音频信号(例如，语音信号)时，由于麦克风表面的气体湍流，音频信号有时会不可避免受到风噪的影响，这会影响采集的音频信号的质量。
然而，现有的风噪抑制技术会导致音频信号的失真。
发明内容
提供本发明内容以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或/或必要特征，也不意在用于帮助确定要求保护的主题的范围。
根据一些示例实施例，一种抑制麦克风的风噪的方法包括：接收来自多个麦克风的多个音频信号；对所述多个音频信号中的风噪的存在和语音的存在进行检测；基于检测风噪和语音的存在的结果，将所述多个音频信号中的一个音频信号确定为参考信号，所述多个音频信号包括所述多个音频信号中的所述一个音频信号和其余的音频信号；基于确定的参考信号，对其余的音频信号中的每个执行补偿操作；以及基于被执行补偿操作后的其余的音频信号，获得修正的音频信号。
对所述多个音频信号中的风噪的存在和语音的存在进行检测的步骤可包括：获得所述多个音频信号中的每个的频谱和功率谱；基于频谱和功率从所述多个音频信号谱提取特征；以及基于提取的特征来检测所述多个音频信号中的风噪的存在和语音的存在。
提取的特征可包括低频带能量、过零率、子频带质心、高频带能量、高频带能量占比和幅值平方相干性系数中的至少一个，其中，幅值平方相干性系数是高频带的幅值平方相干性系数的平均值。
基于提取的特征来检测所述多个音频信号中的风噪的存在和语音的存在的步骤可包括：针对所述多个音频信号中的每个音频信号，基于低频带能量、过零率、子频带质心的至少一个来检测是否存在风噪，并且基于高频带能量、高频带能量占比和幅值平方相干性系数中的至少一个来检测是否存在语音。
确定参考信号的步骤可包括：响应于仅在所述多个音频信号之中的一个音频信号中未检测到风噪的存在，将所述一个音频信号确定为参考信号；响应于在所述多个音频信号之中的至少两个音频信号中未检测到风噪的存在，则基于所述至少两个音频信号中语音的存在来确定参考信号，其中，响应于在所述至少两个音频信号中均未检测到语音的存在，将所述至少两个音频信号中的任意一个音频信号确定为参考信号，其中，响应于在所述至少两个音频信号中均检测到语音的存在，将所述至少两个音频信号中的高频带能量最高的一个音频信号确定为参考信号；响应于在所述多个音频信号中均检测到风噪的存在，则基于所述多个音频信号中语音的存在来确定参考信号，其中，响应于在所述多个音频信号中均检测到语音的存在，将所述多个音频信号中的低频带信噪比最低的音频信号确定为参考信号；响应于在所述多个音频信号中均未检测到语音的存在，将所述多个音频信号中的低频带能量最低的音频信号确定为参考信号。
对所述其余的音频信号中的每个执行补偿操作的步骤可包括：使用自适应滤波器来获得增强的信号，其中，自适应滤波器的输入信号是所述多个音频信号中的将被执行补偿操作的音频信号，并且自适应滤波器的参考输入信号是参考信号；确定音量增益系数；基于增强的信号和音量增益系数，获得所述多个音频信号中的被执行补偿操作后的音频信号。
确定音量增益系数的步骤可包括：通过自适应滤波器的输入信号的高频带能量与增强的信号的高频带能量之比来计算音量增益系数；其中，响应于计算出的音量增益系数大于第一阈值，将第一阈值确定为音量增益系数，其中，响应于计算出的音量增益系数小于第二阈值，将第二阈值确定为音量增益系数，第二阈值小于第一阈值。
自适应滤波器可采用步长可变的归一化最小均方算法，并且自适应滤波器的参数可与自适应滤波器的残差信号的功率谱相关联，自适应滤波器的残差信号基于自适应滤波器的输入信号与输出信号之差来计算。
根据一些示例实施例，一种电子装置包括：麦克风单元，被配置为采集多个音频信号，其中，麦克风单元包括多个麦克风，每个麦克风采集所述多个音频信号之一；以及音频处理器，被配置为：接收来自所述多个麦克风的所述多个音频信号，对所述多个音频信号中的风噪的存在和语音的存在进行检测，基于检测风噪和语音的存在的结果，将所述多个音频信号中的一个音频信号确定为参考信号，所述多个音频信号包括所述多个音频信号中的所述一个音频信号和其余的音频信号，基于确定的参考信号，对其余的音频信号中的每个执行补偿操作；以及基于被执行补偿操作后的其余的音频信号，获得修正的音频信号。
音频处理器可被配置为：获得所述多个音频信号中的每个的频谱和功率谱；基于频谱和功率谱从所述多个音频信号提取特征；以及基于提取的特征来检测所述多个音频信号中的风噪的存在和语音的存在。
提取的特征可包括低频带能量、过零率、子频带质心、高频带能量、高频带能量占比和幅值平方相干性系数中的至少一个，其中，幅值平方相干性系数是高频带的幅值平方相干性系数的平均值。
音频处理器可被配置为：针对所述多个音频信号中的每个音频信号，基于低频带能量、过零率、子频带质心的至少一个来检测是否存在风噪，并且基于高频带能量、高频带能量占比和幅值平方相干性系数中的至少一个来检测是否存在语音。
音频处理器可被配置为：响应于仅在一个音频信号中未检测到风噪的存在，将所述一个音频信号确定为参考信号；响应于在所述多个音频信号之中的至少两个音频信号中未检测到风噪的存在，基于所述至少两个音频信号中语音的存在来确定参考信号，其中，响应于在所述至少两个音频信号中均未检测到语音的存在，将所述至少两个音频信号中的任意一个音频信号确定为参考信号，其中，响应于在所述至少两个音频信号中均检测到语音的存在，将所述至少两个音频信号中的高频带能量最高的一个音频信号确定为参考信号；响应于在所述多个音频信号中均检测到风噪的存在，基于所述多个音频信号中语音的存在来确定参考信号，其中，响应于在所述多个音频信号中均检测到语音的存在，将所述多个音频信号中的低频带信噪比最低的音频信号确定为参考信号；响应于在所述多个音频信号中均未检测到语音的存在，将所述多个音频信号中的低频带能量最低的音频信号确定为参考信号。
音频处理器可被配置为：使用自适应滤波器来获得增强的信号，其中，自适应滤波器的输入信号是所述多个音频信号中的将被执行补偿操作的音频信号，并且自适应滤波器的参考输入信号是参考信号；确定音量增益系数；基于增强的信号和音量增益系数，获得所述多个音频信号中的被执行补偿操作后的音频信号。
音频处理器可被配置为：通过自适应滤波器的输入信号的高频带能量与增强的信号的高频带能量之比来计算音量增益系数；其中，响应于计算出的音量增益系数大于第一阈值，将第一阈值确定为音量增益系数，其中，响应于计算出的音量增益系数小于第二阈值，将第二阈值确定为音量增益系数，第二阈值小于第一阈值。
自适应滤波器可采用步长可变的归一化最小均方算法，并且自适应滤波器的参数与自适应滤波器的残差信号的功率谱相关联，自适应滤波器的残差信号基于自适应滤波器的输入信号与输出信号之差来计算。
根据一些示例实施例，一种非暂时性计算机可读存储介质存储指令，所述指令在被处理器执行时，使处理器执行上面公开的方法。
根据本发明构思的一些示例实施例的抑制麦克风的风噪的方法和电子装置可在抑制风噪的同时有效保留音频信号的低频谐波，降低音频信号的失真。
将在接下来的描述中部分阐述本发明构思另外的方面和/或优点，还有一部分通过描述将是清楚的，和/或可通过各种示例实施例的实施而得知。
附图说明
通过下面结合附图进行的详细描述，本公开的上述和其它目的、特点和优点将会变得更加清楚，其中：
图1是示出根据一些示例实施例的电子装置的框图。
图2是示出根据一些示例实施例的抑制麦克风的风噪的方法的流程图。
图3示出根据一些示例实施例的执行补偿操作的方法的流程图。
图4是示出根据一些示例实施例的自适应滤波器的示例结构的框图。
图5示出根据一些示例实施例的移动终端的框图。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，除了必须以特定顺序发生的操作之外，在此描述的操作顺序仅是示例，并不限于在此阐述的那些顺序，而是可如在理解本申请的公开之后将是清楚地那样被改变。此外，为了更加清楚和简要，可省略本领域已知的特征的描述。
在此描述的特征可以以不同的形式被实现，而不应被解释为限于在此描述的示例。相反，在此描述的示例已被提供，以仅示出实现在理解本申请的公开之后将是清楚的在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
下面在这里公开的示例的结构性或功能性描述仅意在出于描述示例的目的，并且示例可以以各种形式被实现。示例并不意在限制，而是意在各种修改、等同物和替代物也被涵盖在权利要求的范围内。
尽管术语“第一”或“第二”用于解释各种组件，但是组件不限于术语。这些术语应当仅用于将一个组件与另一组件区分开。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
将理解，当组件被称为“连接到”另一组件时，所述组件可直接连接到或结合到另一组件，或者可存在中间组件。
如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还应当理解，当在本说明书中使用术语“包括”和/或“包含”时，表明存在陈述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。如在此所用的，术语“和/或”包括相关所列项中的一个或多个的任何和全部组合。例如，表述“A和/或B”表示A，B，或者A和B。诸如“……中的至少一个”的表述在位于一列元素之后时，修饰整列元素，而不修饰列中的单个元素。例如，表述“a、b或c中的至少一个”、“a、b和c中的至少一个”、以及“从由a、b和c组成的组中选择的至少一个”指示：仅a、仅b、仅c、a和b二者、a和c二者、b和c二者、全部的a、b和c或者它们的变型。
除非另外定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与示例所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于形式化的含义进行解释。
在下文中，将参照附图详细描述示例。关于分配给附图中的元件的参考标号，应当注意，相同的元件将由相同的参考标号表示，并且将省略其冗余描述。
图1是示出根据一些示例实施例的电子装置的框图。
根据本公开的各种示例实施例的电子装置例如可包括移动电话、无线耳机、录音笔、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、增强现实设备、虚拟现实设备、各种可穿戴装置(例如，智能手表、智能眼镜、智能手环等)中的至少一者。但示例实施例不限于此，根据本发明构思的电子装置可以是具有音频采集功能的任何电子装置。
如图1所示，根据一些示例实施例的电子装置100至少包括麦克风单元110和音频处理器120。
麦克风单元110可从外部采集声音并可将采集的声音转换为电信号作为音频信号。这里，麦克风单元110可包括多个麦克风。例如，麦克风单元110可包括麦克风1至麦克风N，其中，N是大于1的自然数。根据需要和/或设计，麦克风单元110可输出模拟形式的音频信号(例如，模拟音频信号)和/或数字形式的音频信号(例如，数字音频信号)。
音频处理器120可对音频信号进行处理，以进行风噪消除操作或风噪降低操作。
在麦克风单元110输出模拟形式的音频信号的情况下，音频处理器120可将从麦克风单元110接收的模拟形式的音频信号转换为数字形式的音频信号。在麦克风单元110输出数字形式的音频信号的情况下，音频处理器120可直接对从麦克风单元110接收的数字形式的音频信号进行处理或直接处理，例如，音频处理器120可在不基于对模拟信号进行处理的情况下处理音频信号。
音频处理器120接收来自麦克风单元110的多个音频信号，对多个音频信号中的每个(或者可选地，中的至少一个)的风噪的存在和语音的存在进行检测，根据或基于检测风噪和语音的存在的结果，将多个音频信号中的一个音频信号确定为参考信号，基于确定的参考信号对多个音频信号中的其余的音频信号中的每个(或者可选地，中的至少一个)执行补偿操作，并且基于补偿后的信号，获得修正的音频信号(例如，消除了风噪的音频信号)。音频处理器120可输出修正的音频信号。
音频处理器120可被实现为通用处理器、应用处理器(AP)、专用于音频处理的集成电路、现场可编程门阵列等硬件、或者硬件与软件的结合。
在一些示例实施例中，电子装置100还可包括存储器(未示出)。存储器可存储数据和/或用于实现根据一些示例实施例的抑制麦克风的风噪的方法的软件。当音频处理器120执行该软件时，实现根据一些示例实施例的抑制麦克风的风噪的方法。此外，存储器也可用于存储修正后的音频信号；然而，示例实施例不限于此，修正后的音频信号可不被存储在电子装置100中。
在一些示例实施例中，麦克风单元110和音频处理器120可安装在不同的装置中。例如，麦克风单元110可通过有线通信和/或无线通信的方式将音频信号提供给音频处理器120进行处理。
下面结合图2描述根据一些示例实施例的抑制麦克风的风噪的方法。
图2是示出根据一些示例实施例的抑制麦克风的风噪的方法的流程图。尽管图2示出各种步骤，但是步骤的顺序不必须限于图2中示出的顺序。
参照图2，在步骤210，音频处理器120接收来自麦克风单元110的多个麦克风的多个音频信号。
在步骤220，音频处理器120对多个音频信号中的每个(或者可选地，中的至少一个)的风噪的存在和语音的存在进行检测。
例如，音频处理器120可获得多个音频信号中的每个(或者可选地，中的至少一个)的频谱和功率谱，基于频谱和功率谱提取特征，并且基于提取的特征来检测风噪的存在和语音的存在。
例如，可通过傅里叶变换来获得采集的音频信号的频谱和/或功率谱。例如，傅里叶变换可以是或对应于离散傅里叶变换、快速傅里叶变换、离散余弦变换、离散正弦变换和小波变换中的至少一个。如果音频信号以模拟信号被获得，则模数转换器(未示出)可将音频信号转换为数字信号；然而，示例实施例不限于此。
音频处理器120可从音频信号的频谱和功率谱来提取特征。例如，提取的特征可包括低频带能量、时域中的过零率、子频带质心、高频带能量、高频带能量占比和幅值平方相干性系数中的至少一个。
在一些示例实施例中，可根据或基于音频信号在时域中的过零率、音频信号的子频带质心(或称为，子带频谱质心)和音频信号的低频带能量(例如，上限小于第一阈值的固定、可变或预定的频带的能量)中的至少一个来检测音频信号中是否存在风噪。例如，当过零率、子频带质心和低频带能量都大于各自对应的阈值时，可确定音频信号中存在风噪。但是，示例实施例不限于此，可通过其他的各种风噪检测技术来检测音频信号中是否存在风噪。
在一些示例实施例中，可根据或基于音频信号的高频带能量(例如，下限大于第二阈值的固定、可变或预定的频带的能量，第一阈值小于第二阈值)和高频带能量占比(例如，高频带能量与总能量之比)中的至少一个来检测音频信号中是否存在语音。
此外，由于多个麦克风在空间布置上的差异性，多个麦克风的风噪能量会存在差异。换言之，从多个麦克风获得的音频信号中的风噪信号具有较小的相干性，而语音信号具有较大的相干性。因此，还可基于多个音频信号之间的相干性来检测语音的存在。
例如，可基于下面的等式(1)-(3)来计算多个音频信号中的两个音频信号的幅值平方相干性系数Cxy(λ，μ)。对于从一个麦克风获得的音频信号，可基于其他麦克风的位置从(或者可选地，包括至少一个)其他音频信号中选择另一个音频信号来计算这两个音频信号之间的幅值平方相干性系数MSC(λ)，以用于检测语音的存在。例如，可选择与所述一个麦克风最邻近的麦克风的音频信号来计算MSC(λ)。然而，这仅是示例，选择用于计算MSC(λ)的音频信号的方式不限于此。
在等式(1)-(3)中，X(λ，μ)和Y(λ，μ)分别表示从多个麦克风中的两个麦克风获得的音频信号的频谱，λ表示帧号，μ表示频点，和/>分别表示两个音频信号的自相关功率谱(例如，平滑后的自相关功率谱)，/>表示两个音频信号的互相关功率谱(例如，平滑后的互相关功率谱)，X*和Y*分别表示X和Y的共轭，α表示平滑系数，并且α的范围为0至1。例如，α＝0.95。
由于风噪的大部分能量分布在低频带，所以可计算高频带(例如，500Hz至3000Hz)的幅值平方相干性系数的平均值作为幅值平方相干性系数MSC(λ)。低频带可以是低于第一阈值频率的频带，高频带可高于第二频率。
例如，可参照下面的等式(4)获得两个音频信号的幅值平方相干性系数MSC(λ)。在等式(4)中，μ500和μ3000分别表示与500Hz和3000Hz对应的频点索引。
例如，当高频带能量、高频带能量占比和幅值平方相干性系数都大于各自对应的阈值时，可确定音频信号中存在语音。但是，示例实施例不限于此，可通过其他的语音活性检测技术来检测音频信号中是否存在语音。
在步骤230，音频处理器120根据或基于检测风噪和语音的存在的结果，将多个音频信号中的一个音频信号确定为参考信号。音频处理器120可利用低频段能量、高频段能量和信噪比，将多个音频信号中的具有较低风噪的音频信号确定为参考信号。
以麦克风单元包括两个麦克风为例，如果仅在一个音频信号中检测到风噪的存在，则可将两个音频信号中的未检测到风噪的存在的另一个音频信号确定为参考信号。如果在两个音频信号中均检测到风噪的存在和语音的存在，则可将两个音频信号中的具有较低的低频带信噪比(例如，小于300Hz的范围)的音频信号确定为参考信号。如果在两个音频信号中均检测到风噪的存在并且在两个音频信号中均未检测到语音的存在，则可将两个音频信号中的低频带能量(例如，小于100Hz的范围)较低的音频信号确定为参考信号。如果在两个音频信号中均未检测到风噪的存在，则不执行补偿操作。
当麦克风单元包括多于两个的麦风风时，可如下来确定参考信号。
如果仅在一个音频信号中未检测到风噪的存在，则可将该音频信号确定为参考信号。
如果在至少两个音频信号中未检测到风噪的存在，则可基于所述至少两个音频信号中语音的存在来确定参考信号。例如，如果在所述至少两个音频信号中均未检测到语音的存在，则可将所述至少两个音频信号中的任意一个音频信号确定为参考信号。例如，如果在所述至少两个音频信号中均检测到语音的存在，则可将所述至少两个音频信号中的高频带能量最高的一个音频信号确定为参考信号。
如果在多个音频信号中均检测到风噪的存在，则可基于多个音频信号中语音的存在来确定参考信号。例如，如果在多个音频信号中均检测到语音的存在，则可将低频带信噪比最低的音频信号确定为参考信号。例如，如果在多个音频信号中均未检测到语音的存在，则可将低频带能量最低的音频信号确定为参考信号。
如果在多个音频信号中均未检测到风噪的存在，则不执行补偿操作。
在步骤240，音频处理器120基于确定的参考信号，对多个音频信号中的其余的音频信号中的每个(或者可选地，中的至少一个)执行补偿操作。
由于多个麦克风在空间布置上的差异性，多个麦克风的风噪能量会存在差异。换言之，多个麦克风的风噪信号具有较小的相干性，而多个麦克风的语音信号具有较大的相干性。因此，音频处理器120可例如采用自适应滤波器，使用具有较低风噪的一个音频信号作为参考信号对其余的具有较高风噪的音频信号中的每个(或者可选地，中的至少一个)进行补偿。
由于多个音频信号的语音信号的相干性高，随着滤波器逐渐收敛，滤波器的输出信号中语音信号的能量谱会逐渐逼近输入信号(例如，具有较高风噪的音频信号)的能量谱，而输出信号中风噪信号的能量谱却远小于输入信号中风噪信号的能量谱。因此，相对于输入信号而言，输出信号中的风噪被显著抑制。
后面将结合图3和图4详细描述补偿操作的处理。
在步骤250，音频处理器120基于被执行补偿操作后的音频信号，获得修正的音频信号。例如，音频处理器120可对被执行补偿操作后的音频信号进行逆傅里叶变换来得到时域的音频信号。
例如，音频处理器120可执行逆离散傅里叶变换、逆快速傅里叶变换、逆离散余弦变换、逆离散正弦变换和逆小波变换中的至少一个。然而，示例实施例不限于此。
在一些示例实施例中，可将采集的音频信号划分为多个帧(例如，固定的、可变的或预定的时间长度的音频信号)，以帧为单位来执行图2的抑制麦克风的风噪方法从而对每个帧进行修正，并将修正后的帧进行组合和/或叠加来得到最终的音频信号。
图3示出根据一些示例实施例的执行补偿操作的方法的流程图，图4是示出根据一些示例实施例的自适应滤波器的示例结构的框图。尽管图3示出各种步骤，但是步骤的顺序不必须限于图3中示出的顺序。
可针对多个音频信号中除被确定为参考信号的音频信号之外的剩余音频信号中的每个执行图3中的步骤。
参照图3，在步骤310，音频处理器120可使用自适应滤波器来获得增强的信号。
参照图4，自适应滤波器(图4中虚线框内的部分)的输入信号input是多个音频信号中具有较高的风噪的音频信号(例如，将被执行补偿操作的一个音频信号)，自适应滤波器的参考输入信号ref是在步骤230中确定的参考信号(例如，多个音频信号中具有较低的风噪或无风噪的音频信号)，并且自适应滤波器的输出信号ext是增强的信号。
自适应滤波器可采用步长可变的归一化最小均方NLMS算法。参照图4，可基于残差信号res，根据NLMS算法来更新滤波器的参数H(λ，μ)，其中，残差信号res是自适应滤波器的输入信号input与输出信号est之差。
下面的等式(5)-(9)示出NLMS算法的示例，而本公开不限于此，还可采用其他算法来更新自适应滤波器的参数。
est(λ，μ)＝ref(λ，μ)*H(λ，μ) (5)
res(λ，μ)＝fft(input(n)-ifft(est(λ，μ))) (6)
Pxx(λ，μ)＝|ref(λ，μ)| 2 (8)
Prr(λ，μ)＝Prr(λ-1，μ)+θ×(|res(λ，μ)|2-Prr(λ-1，μ)) (9)
在上面的等式中，H(λ，μ)表示滤波器的参数，λ表示帧号，μ表示频点，fft和ifft分别表示傅里叶变换和逆傅里叶变换，η表示滤波器更新步长，erl是滤波器更新系数，Pxx(λ，μ)表示参考信号ref的功率谱，Prr(λ，μ)表示残差信号res的功率谱。可根据等式(9)对Prr(λ，μ)进行平滑，其中，θ表示平滑系数，并且Prr(λ，μ)的初始值可以是0。
参照等式(7)，与常规NLMS算法不同，滤波器的参数除了与参考信号的功率谱Pxx(λ，μ)相关联，还与残差信号的功率谱Prr(λ，μ)相关联。通过这样的设计，在残差信号res较大时，滤波器的更新速率可被降低，从而可优化或改善滤波器的收敛。
在步骤320，音频处理器120可确定音量增益系数。
例如，可基于滤波器的输入信号的高频带能量与滤波器的输出信号(例如，增强的信号)的高频带能量之比来计算音量增益系数。作为示例，可计算滤波器的输入信号和输出信号在200Hz至4000Hz范围内的高频带能量之比，而本公开不限于此。
此外，可将计算出的音量增益系数限制在预定(或者可选地，期望的)阈值范围内。例如，当计算出的音量增益系数大于第一增益阈值时，可将第一增益阈值确定为音量增益系数，当计算出的音量增益系数小于第二增益阈值，可将第二增益阈值确定为音量增益系数，第二增益阈值小于第一增益阈值。在一个示例中，预定(或者可选地，期望的)阈值范围可以是从1至5的范围。例如，当如上所述计算出的音量增益系数小于1时，可将音量增益系数确定为1；当如上所述计算出的音量增益系数大于5时，可将音量增益系数确定为5。然而，这仅是示例，可任意选择音量增益系数的阈值范围。
在步骤330，音频处理器120可基于增强的信号和音量增益系数，获得被执行补偿操作后的音频信号。
例如，可将被执行补偿操作后的每个(或者可选地，中的至少一个)音频信号计算为增强的信号与音量增益系数的乘积。
根据基于发明构思的一些示例实施例的抑制风噪的方法，通过考虑多个麦克风的音频信号的相干性(例如，风噪的低相干性和语音的高相关性)，可使用具有较低风噪的音频信号作为参考信号来补偿其他的具有较高风噪的音频信号，从而能够在抑制风噪的同时保留音频信号的低频分量，降低语音失真。
图5示出根据一些示例实施例的移动终端的框图。
如图5所示，根据一些示例实施例的移动终端500包括通信单元510、输入单元520、音频处理单元530、显示单元540、存储单元550、控制单元560、麦克风单元570以及扬声器580。
通信单元510可执行移动终端的通信操作。通信单元510可建立到通信网络的通信信道和/或可执行与例如语音通话、视频通话和/或数据通话关联的通信。通信单元510可包括收发器、天线、硬连线端口和/或其他通信硬件。通信单元510可将具有降低的风噪的输出信号传送到另一电子装置。
输入单元520被配置为接收输入的各种信息以及各种控制信号，并将输入的信息和控制信号发送到控制单元560。输入单元520可通过诸如键区和/或键盘、触摸屏和/或触控笔、麦克风等各种输入装置来实现；然而，示例实施例不限于此。
音频处理单元530连接到麦克风单元570以及扬声器580。麦克风单元570用于例如在通话和/或录音期间采集外部的音频信号。在此，麦克风单元570可包括至少两个麦克风。音频处理单元530对麦克风单元570采集的音频信号进行处理(例如，使用图2所示的抑制麦克风的风噪的方法)，并将处理后的音频信号发送给控制单元560。控制单元560可将处理后的音频信号以数字形式经由通信单元510进行发送，和/或可将音频信号存储在存储单元550。音频处理单元530将来自控制单元560的数字音频信号转换为模拟音频信号以通过扬声器580输出到外部。音频处理单元530可类似于图1的音频处理器120或与图1的音频处理器120相同。扬声器580可输出具有降低的风噪的输出信号。
显示单元540用于显示各种信息，可例如通过触摸屏实现，然而，示例实施例不限于此。
存储单元550可包括易失性存储器和/或非易失性存储器。存储单元550可存储由移动终端生成和使用的各种数据。例如，存储单元550可存储用于控制移动终端的操作的操作系统、应用程序(例如，与发明构思的方法关联的应用程序)。控制单元560可控制移动终端的整体操作，并可控制移动终端的内部元件的部分或全部。控制单元560可被实现为通用处理器、应用处理器(AP)、专用集成电路、现场可编程门阵列等，但示例实施例不限于此。存储单元550可在其上存储具有降低的风噪的输出音频信号。
在一些示例实施例中，音频处理单元530与控制单元560可由同一器件实现和/或集成在单个芯片中。
在此描述的设备、单元、模块和其他组件由硬件组件实现。可用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或者被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件、或多种类型的处理元件、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可由一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可由一个或多个其他处理器、或者另一处理器和另一控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
执行在本申请中描述的操作的方法由计算硬件(例如，由一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述执行指令或软件以执行在本申请中描述的由所述方法执行的操作。例如，单个操作、或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另一处理器和另一控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作、或者两个或更多个操作。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置处理器或计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令和/或软件包括由处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域普通技术人员或程序员可基于附图中示出的框图和流程图以及说明书中的相应描述容易地编写指令和/或软件，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡式存储器(诸如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置中的至少一者，任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机，使得处理器或计算机能够执行指令。
以上公开的任何元件和/或功能块可包括处理电路(诸如，包括逻辑电路的硬件；硬件/软件组合(诸如，执行软件的处理器)；或它们的组合)，或以处理电路实现。例如，控制单元560和音频处理单元530可被实现为处理电路。处理电路具体可包括但不限于中央处理器(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。处理电路可包括诸如晶体管、电阻器、电容器等中的至少一者的电气元件。处理电路可包括诸如逻辑门(包括与门、或门、与非门、非门等中的至少一者)的电气元件。
处理器、控制器和/或处理电路可被配置为通过(诸如，利用FPGA或ASIC)被专门编程以执行动作或步骤来执行动作或步骤，或者可被配置为通过执行从存储器接收的指令来执行动作或步骤，或者通过它们的组合来执行动作或步骤。
尽管已经描述了各种示例实施例，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (10)

1.一种抑制麦克风的风噪的方法，包括：
接收来自多个麦克风的多个音频信号；
对所述多个音频信号中的风噪的存在和语音的存在进行检测；
基于检测风噪和语音的存在的结果，将所述多个音频信号中的一个音频信号确定为参考信号，所述多个音频信号包括所述多个音频信号中的所述一个音频信号和其余的音频信号；
基于确定的参考信号，对其余的音频信号中的每个执行补偿操作；以及
基于被执行补偿操作后的其余的音频信号，获得修正的音频信号。
2.根据权利要求1所述的方法，其中，对所述多个音频信号中的风噪的存在和语音的存在进行检测的步骤包括：
获得所述多个音频信号中的每个的频谱和功率谱；
基于频谱和功率谱从所述多个音频信号提取特征；以及
基于提取的特征来检测所述多个音频信号中的风噪的存在和语音的存在。
3.根据权利要求2所述的方法，其中，提取的特征包括低频带能量、过零率、子频带质心、高频带能量、高频带能量占比和幅值平方相干性系数中的至少一个，
其中，幅值平方相干性系数是高频带的幅值平方相干性系数的平均值。
4.根据权利要求3所述的方法，其中，基于提取的特征来检测所述多个音频信号中的风噪的存在和语音的存在的步骤包括：
针对所述多个音频信号中的每个音频信号，基于低频带能量、过零率、子频带质心的至少一个来检测是否存在风噪，并且基于高频带能量、高频带能量占比和幅值平方相干性系数中的至少一个来检测是否存在语音。
5.根据权利要求1所述的方法，其中，确定参考信号的步骤包括：
响应于仅在所述多个音频信号之中的一个音频信号中未检测到风噪的存在，将所述一个音频信号确定为参考信号；
响应于在所述多个音频信号之中的至少两个音频信号中未检测到风噪的存在，基于所述至少两个音频信号中语音的存在来确定参考信号，其中，响应于在所述至少两个音频信号中均未检测到语音的存在，将所述至少两个音频信号中的任意一个音频信号确定为参考信号，其中，响应于在所述至少两个音频信号中均检测到语音的存在，将所述至少两个音频信号中的高频带能量最高的一个音频信号确定为参考信号；
响应于在所述多个音频信号中均检测到风噪的存在，基于所述多个音频信号中语音的存在来确定参考信号，其中，响应于在所述多个音频信号中均检测到语音的存在，将所述多个音频信号中的低频带信噪比最低的音频信号确定为参考信号；响应于在所述多个音频信号中均未检测到语音的存在，将所述多个音频信号中的低频带能量最低的音频信号确定为参考信号。
6.根据权利要求1所述的方法，其中，对所述其余的音频信号中的每个执行补偿操作的步骤包括：
使用自适应滤波器来获得增强的信号，其中，自适应滤波器的输入信号是所述多个音频信号中的将被执行补偿操作的音频信号，并且自适应滤波器的参考输入信号是参考信号；
确定音量增益系数；
基于增强的信号和音量增益系数，获得所述多个音频信号中的被执行补偿操作后的音频信号。
7.根据权利要求6所述的方法，其中，确定音量增益系数的步骤包括：
通过自适应滤波器的输入信号的高频带能量与增强的信号的高频带能量之比来计算音量增益系数；
其中，响应于计算出的音量增益系数大于第一阈值，将第一阈值确定为音量增益系数，
其中，响应于计算出的音量增益系数小于第二阈值，将第二阈值确定为音量增益系数，第二阈值小于第一阈值。
8.根据权利要求6所述的方法，其中，自适应滤波器采用步长可变的归一化最小均方算法，并且自适应滤波器的参数与自适应滤波器的残差信号的功率谱相关联，自适应滤波器的残差信号基于自适应滤波器的输入信号与输出信号之差来计算。
9.一种电子装置，包括：
麦克风单元，被配置为采集多个音频信号，其中，麦克风单元包括多个麦克风，每个麦克风采集所述多个音频信号之一；以及
音频处理器，被配置为：接收来自所述多个麦克风的所述多个音频信号，对所述多个音频信号中的风噪的存在和语音的存在进行检测，基于检测风噪和语音的存在的结果，将所述多个音频信号中的一个音频信号确定为参考信号，所述多个音频信号包括所述多个音频信号中的所述一个音频信号和其余的音频信号，基于确定的参考信号，对所述多个音频信号中的其余的音频信号中的每个执行补偿操作；以及基于被执行补偿操作后的其余的音频信号，获得修正的音频信号。
10.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使处理器执行根据权利要求1至权利要求8中的任意一项所述的方法。
CN202311003401.8A 2023-08-10 2023-08-10 抑制麦克风的风噪的方法和电子装置 Pending CN116887103A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311003401.8A CN116887103A (zh) 2023-08-10 2023-08-10 抑制麦克风的风噪的方法和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311003401.8A CN116887103A (zh) 2023-08-10 2023-08-10 抑制麦克风的风噪的方法和电子装置

Publications (1)

Publication Number Publication Date
CN116887103A true CN116887103A (zh) 2023-10-13

Family

ID=88268306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311003401.8A Pending CN116887103A (zh) 2023-08-10 2023-08-10 抑制麦克风的风噪的方法和电子装置

Country Status (1)

Country Link
CN (1) CN116887103A (zh)

Similar Documents

Publication Publication Date Title
CN109767783B (zh) 语音增强方法、装置、设备及存储介质
CN102421050B (zh) 使用麦克风的非均匀布局来增强音频质量的设备和方法
US8874441B2 (en) Noise suppression using multiple sensors of a communication device
CN103180900B (zh) 用于话音活动检测的系统、方法和设备
CN104854878B (zh) 使用双麦克风阵列抑制空间干扰的设备、方法和计算机介质
CN110148422B (zh) 基于传声器阵列确定声源信息的方法、装置及电子设备
US9721584B2 (en) Wind noise reduction for audio reception
TW202322106A (zh) 抑制麥克風及電子裝置的風切聲的方法
CN103247298B (zh) 一种灵敏度校准方法和音频设备
JP2010224321A (ja) 信号処理装置
GB2562518A (en) Spatial audio processing
US10089998B1 (en) Method and apparatus for processing audio signals in a multi-microphone system
US9767829B2 (en) Speech signal processing apparatus and method for enhancing speech intelligibility
CN108461081A (zh) 语音控制的方法、装置、设备和存储介质
US9966081B2 (en) Method and apparatus for synthesizing separated sound source
JP6348427B2 (ja) 雑音除去装置及び雑音除去プログラム
KR20090037845A (ko) 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치
US9601124B2 (en) Acoustic matching and splicing of sound tracks
CN112951263B (zh) 语音增强方法、装置、设备和存储介质
JP5443547B2 (ja) 信号処理装置
WO2017045512A1 (zh) 一种语音识别的方法、装置、终端及语音识别设备
CN116887103A (zh) 抑制麦克风的风噪的方法和电子装置
CN116110421A (zh) 语音活动检测方法、系统、语音增强方法以及系统
CN109074817B (zh) 语音增强方法、装置、设备及存储介质
JP7159767B2 (ja) 音声信号処理プログラム、音声信号処理方法及び音声信号処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination