CN113613112B - 抑制麦克风的风噪的方法和电子装置 - Google Patents

抑制麦克风的风噪的方法和电子装置 Download PDF

Info

Publication number
CN113613112B
CN113613112B CN202111116519.2A CN202111116519A CN113613112B CN 113613112 B CN113613112 B CN 113613112B CN 202111116519 A CN202111116519 A CN 202111116519A CN 113613112 B CN113613112 B CN 113613112B
Authority
CN
China
Prior art keywords
wind noise
frequency
audio signal
power spectrum
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111116519.2A
Other languages
English (en)
Other versions
CN113613112A (zh
Inventor
李艳红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Semiconductor China R&D Co Ltd, Samsung Electronics Co Ltd filed Critical Samsung Semiconductor China R&D Co Ltd
Priority to CN202111116519.2A priority Critical patent/CN113613112B/zh
Priority to US17/503,668 priority patent/US11575989B1/en
Publication of CN113613112A publication Critical patent/CN113613112A/zh
Priority to TW111135682A priority patent/TW202322106A/zh
Application granted granted Critical
Publication of CN113613112B publication Critical patent/CN113613112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02163—Only one microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

提供抑制麦克风的风噪的方法和电子装置。抑制麦克风的风噪的方法包括：接收音频信号；获得接收的音频信号的频谱和功率谱；基于所述功率谱，确定音频信号的风噪功率谱；基于所述风噪功率谱和所述功率谱，确定风噪抑制增益；根据确定的风噪抑制增益，对所述频谱进行修正；以及将修正后的频谱转换到时域，以得到修正的音频信号。

Description

抑制麦克风的风噪的方法和电子装置
技术领域
一些示例实施例涉及音频处理领域。更具体地讲，涉及一种抑制麦克风的风噪的方法和/或电子装置。
背景技术
随着技术的发展，便携式终端被广泛使用。很多便携式终端都支持音频采集功能。便携式终端可通过麦克风来采集音频信号，然后对采集的音频信号进行处理。然而，在通过麦克风采集音频信号时，当外部环境中存在风时，音频信号有时会不可避免受到风噪的影响，这会影响采集的音频信号的质量。
因此，正在追求一种用于抑制或降低麦克风的风噪的技术。
发明内容
提供本发明内容以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或/或必要特征，也不意在用于帮助确定要求保护的主题的范围。
根据一些示例实施例，一种抑制麦克风的风噪的方法包括：接收音频信号；获得音频信号的频谱和音频信号的功率谱；基于所述功率谱，确定音频信号的风噪功率谱；基于所述风噪功率谱和所述功率谱，确定风噪抑制增益；根据确定的风噪抑制增益，对所述频谱进行修正；以及将修正后的频谱转换到时域，以得到修正的音频信号。
基于所述功率谱确定音频信号的风噪功率谱的步骤可包括：从所述功率谱检测低频能量，其中，低频能量表示与基音对应的频率之下的频率的能量；确定功率谱中的每个频点的衰减系数；基于所述低频能量和所述衰减系数，来得到所述风噪功率谱。
确定功率谱中的每个频点的衰减系数的步骤可包括：基于每个频点的频率以及衰减因子(诸如，预定衰减因子)来确定每个频点的衰减系数。
每个频点的衰减系数可被表示为：每个频点的频率的-v次幂，其中，v表示衰减因子。
低频能量可表示与基音对应的频率之下的各个频点处的能量之中的最大能量、与基音对应的频率之下的各个频点处的能量的平均值、和与基音对应的频率之下的各个频点处的能量之和中的至少一者。
所述方法还可包括：对音频信号中的风噪和语音的存在进行检测，其中，从所述功率谱检测低频能量的步骤包括：根据检测风噪和语音的存在的结果，确定所述功率谱中的低频能量。
确定所述功率谱中的低频能量的步骤可包括：响应于在音频信号中检测到风噪和语音两者，低频能量表示与基音对应的频率之下的各个频点处的能量之中的最大能量、和/或与基音对应的频率之下的各个频点处的能量的平均值；响应于在音频信号中仅检测到风噪而在音频信号中没有检测到语音，低频能量表示与基音对应的频率之下的各个频点处的能量之和。
所述方法还可包括：从音频信号检测基音。
可通过将所述低频能量与所述衰减系数相乘，来得到所述风噪功率谱。
确定风噪抑制增益的步骤可包括：根据所述风噪功率谱和所述功率谱，估计后验信噪比；基于后验信噪比估计先验信噪比；基于先验信噪比计算风噪抑制增益。
基于先验信噪比计算风噪抑制增益的步骤可包括：计算先验信噪比与先验信噪比+1之比，作为风噪抑制增益。
所述方法还可包括：基于在音频信号的前一帧中的低频能量，对当前帧中检测的低频能量进行平滑。
根据一些示例实施例，一种电子装置包括：麦克风，被配置为采集音频信号；音频处理器，被配置为：获得采集的音频信号的频谱和功率谱。音频处理器基于所述功率谱，确定采集的音频信号的风噪功率谱，基于所述风噪功率谱和所述功率谱，确定风噪抑制增益，根据确定的风噪抑制增益，对所述频谱进行修正，以及将修正后的频谱转换到时域，以得到修正的音频信号。电子装置还可包括扬声器，被配置为输出修正的音频信号。
音频处理器可被配置为：从所述功率谱检测低频能量，其中，低频能量表示与基音对应的频率之下的频率的能量；确定功率谱中的每个频点的衰减系数；基于所述低频能量和所述衰减系数，来得到所述风噪功率谱。
音频处理器可被配置为：基于每个频点的频率以及衰减因子来确定每个频点的衰减系数。
每个频点的衰减系数可被表示为：每个频点的频率的-v次幂，其中，v表示衰减因子。
低频能量可表示与基音对应的频率之下的各个频点处的能量之中的最大能量、与基音对应的频率之下的各个频点处的能量的平均值、和与基音对应的频率之下的各个频点处的能量之和中的至少一者。
音频处理器还可被配置为：对采集的音频信号中的风噪和语音的存在进行检测；根据检测的结果，确定所述功率谱中的低频能量，其中，响应于在采集的音频信号中检测到风噪和语音两者，低频能量表示与基音对应的频率之下的各个频点处的能量之中的最大能量、或者与基音对应的频率之下的各个频点处的能量的平均值；响应于在采集的音频信号中仅检测到风噪而在采集的音频信号中没有检测到语音，低频能量表示与基音对应的频率之下的各个频点处的能量之和。
音频处理器还可被配置为：从采集的音频信号检测基音。
音频处理器可被配置为：通过将所述低频能量与所述衰减系数相乘，来得到所述风噪功率谱。
音频处理器可被配置为：根据所述风噪功率谱和所述功率谱，估计后验信噪比；基于后验信噪比估计先验信噪比；基于先验信噪比计算风噪抑制增益。
音频处理器可被配置为：将先验信噪比与先验信噪比+1之比，作为风噪抑制增益。
音频处理器可被配置为：基于在音频信号的前一帧中的低频能量，对当前帧中检测的低频能量进行平滑。
根据一些示例实施例，一种非暂时性计算机可读存储介质存储指令，所述指令在被处理器执行时，使处理器执行上面公开的方法。
根据本发明构思的一些示例实施例的抑制麦克风的风噪的方法和电子装置可以具有更好的风噪抑制效果。
将在接下来的描述中部分阐述本发明构思另外的方面和/或优点，还有一部分通过描述将是清楚的，和/或可以通过各种示例实施例的实施而得知。
附图说明
通过下面结合附图进行的详细描述，本公开的上述和其它目的、特点和优点将会变得更加清楚，其中：
图1是示出根据一些示例实施例的电子装置的框图。
图2是示出根据一些示例实施例的抑制麦克风的风噪的方法的流程图。
图3示出根据一些示例实施例的确定采集的音频信号的风噪功率谱的方法的流程图。
图4示出根据一些示例实施例的确定风噪抑制增益的方法的流程图。
图5示出根据一些示例实施例的移动终端的框图。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，除了必须以特定顺序发生的操作之外，在此描述的操作顺序仅是示例，并不限于在此阐述的那些顺序，而是可如在理解本申请的公开之后将是清楚地那样被改变。此外，为了更加清楚和简要，可省略本领域已知的特征的描述。
在此描述的特征可以以不同的形式被实现，而不应被解释为限于在此描述的示例。相反，在此描述的示例已被提供，以仅示出实现在理解本申请的公开之后将是清楚的在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
下面在这里公开的示例的结构性或功能性描述仅意在出于描述示例的目的，并且示例可以以各种形式被实现。示例并不意在限制，而是意在各种修改、等同物和替代物也被涵盖在权利要求的范围内。
尽管术语“第一”或“第二”用于解释各种组件，但是组件不限于术语。这些术语应当仅用于将一个组件与另一组件区分开。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
将理解，当组件被称为“连接到”另一组件时，所述组件可直接连接到或结合到另一组件，或者可存在中间组件。
如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还应当理解，当在本说明书中使用术语“包括”和/或“包含”时，表明存在陈述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
除非另外定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与示例所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于形式化的含义进行解释。
在下文中，将参照附图详细描述示例。关于分配给附图中的元件的参考标号，应当注意，相同的元件将由相同的参考标号表示，并且将省略其冗余描述。
图1是示出根据一些示例实施例的电子装置的框图。
根据本公开的各种示例实施例的电子装置例如可包括移动电话、无线耳机、录音笔、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、增强现实设备、虚拟现实设备、各种可穿戴装置(例如，智能手表、智能眼镜、智能手环等)中的至少一者。但示例实施例不限于此，根据本发明构思的电子装置可以是具有音频采集功能的任何电子装置。
如图1所示，根据一些示例实施例的电子装置100至少包括麦克风110和音频处理器120。
麦克风110可从外部采集声音并可将采集的声音转换为电信号作为音频信号。这里，麦克风110是单麦克风。根据需要和/或设计，麦克风110可输出模拟形式的音频信号(例如，模拟音频信号)和/或数字形式的音频信号(例如，数字音频信号)。
音频处理器120可以对音频信号进行处理，以进行风噪消除操作或风噪降低操作。
在麦克风110输出模拟形式的音频信号的情况下，音频处理器120可将从麦克风110接收的模拟形式的音频信号转换为数字形式的音频信号。在麦克风110输出数字形式的音频信号的情况下，音频处理器120可直接对从麦克风110接收的数字形式的音频信号进行处理或直接处理，例如，音频处理器120可在不基于对模拟信号处理的情况下处理音频信号。
音频处理器120获得采集的音频信号的频谱和功率谱，基于获得的功率谱确定采集的音频信号的风噪功率谱，基于获得的风噪功率谱和获得的功率谱确定风噪抑制增益，根据确定的风噪抑制增益对频谱进行修正，并将修正后的频谱转换到时域以得到修正的音频信号(例如，消除了风噪的音频信号)。音频处理器120可输出修正的音频信号。
音频处理器120可以被实现为通用处理器、应用处理器(AP)、专用于音频处理的集成电路、现场可编程门阵列等硬件、或者硬件与软件的结合。
在一些示例实施例中，电子装置100还可包括存储器(未示出)。存储器可存储数据和/或用于实现根据一些示例实施例的抑制麦克风的风噪的方法的软件。当音频处理器120执行该软件时，实现根据一些示例实施例的抑制麦克风的风噪的方法。此外，存储器也可以用于存储修正后的音频信号；然而，示例实施例不限于此，修正后的音频信号可不被存储在电子装置100中。
在一些示例实施例中，麦克风110和音频处理器120可安装在不同的装置中。例如，麦克风110可通过有线通信和/或无线通信的方式将音频信号提供给音频处理器120进行处理。
下面结合图2描述根据一些示例实施例的抑制麦克风的风噪的方法。
图2是示出根据一些示例实施例的抑制麦克风的风噪的方法的流程图。尽管图2示出各种步骤，但是步骤的顺序不必须限于图2中示出的顺序。
参照图2，在步骤210，音频处理器120接收麦克风110采集的音频信号。
在步骤220，音频处理器120获得采集的音频信号的频谱和功率谱。例如，可以通过傅里叶变换来获得采集的音频信号的频谱和/或功率谱。
例如，傅里叶变换可以是或对应于离散傅里叶变换、快速傅里叶变换、离散余弦变换、离散正弦变换和小波变换中的至少一个。如果音频信号以模拟信号被获得，则模数转换器(未示出)可将音频信号转换为数字信号；然而，示例实施例不限于此。
在步骤230，音频处理器120基于采集的音频信号的功率谱，确定采集的音频信号的风噪功率谱。
音频处理器120根据从功率谱确定的音频信号的低频能量和每个频点的衰减系数，来得到风噪功率谱。
后面将结合图3更详细地描述确定采集的音频信号的风噪功率谱的处理。
在步骤240，音频处理器120基于所述风噪功率谱和所述功率谱，确定风噪抑制增益。
音频处理器120可估计每个频点的后验信噪比和每个频点的先验信噪比。可根据风噪功率谱和功率谱，估计后验信噪比和先验信噪比。音频处理器120可基于每个频点的先验信噪比计算每个频点的风噪抑制增益。
后面将结合图4详细描述确定风噪抑制增益的处理。
在步骤250，音频处理器120根据确定的风噪抑制增益，对所述频谱进行修正。例如，音频处理器120利用每个频点的风噪抑制增益对频谱中的每个频点的幅度进行加权。例如，音频处理器120可将频谱中的每个频点的幅度与每个频点的风噪抑制增益相乘来对频谱进行修正。
在步骤260，音频处理器120将修正后的频谱转换到时域，以得到修正的音频信号。例如，音频处理器120可对修正后的频谱进行逆傅里叶变化来得到时域的信号。
例如，音频处理器120可执行逆离散傅里叶变换、逆快速傅里叶变换、逆离散余弦变换、逆离散正弦变换和逆小波变换中的至少一个；然而，示例实施例不限于此。
在一些示例实施例中，可以将采集的音频信号划分为多个帧(例如，固定的、可变的或预定的时间长度的音频信号)，以帧为单位来执行图2的抑制麦克风的风噪方法从而对每个帧进行修正，并将修正后的帧进行组合和/或叠加来得到最终的音频信号。
图3示出根据一些示例实施例的确定采集的音频信号的风噪功率谱的方法的流程图。
在步骤310，音频处理器120从音频信号的功率谱检测低频能量。音频处理器120可检测音频信号的基音，然后可基于与基音对应的频率(或者称为，基音的频率)来检测低频能量。这里，低频能量表示与音频信号的基音对应的频率之下的频率的能量。
可通过各种基音检测技术和/方法来实现音频信号的基音的检测。例如，音频信号的基音可以通过过零率算法、平均幅度差函数、平均平方均差函数和/或其他自相关算法和/或频域方法(诸如但不限于谐波乘积频谱方法、倒谱分析和/或最大似然估计分析技术)中的至少一种获得。
在一些示例实施例中，低频能量可表示或基于下述参数中的至少一个：与基音对应的频率之下的各个频点处的能量之中的最大能量、与基音对应的频率之下的各个频点处的能量的平均值、与基音对应的频率之下的各个频点处的能量之和。
如所使用的，“最大能量”可以指对应于局部或全局最大值的能量。如这里使用的，“能量的平均值”可对应于与集中趋势的量度相关的能量，例如，在对应于基音的频率以下的频率点的平均能量、中值能量或模态(mode)能量中的至少一者。
在一些示例实施例中，音频处理器120对采集的音频信号中的风噪和语音的存在进行检测(例如，检测采集的音频信号中是否存在风噪和/或语音)，并基于检测结果来确定低频能量。
例如，当在采集的音频信号中检测到存在风噪和语音两者时，选择与基音对应的频率之下的各个频点处的能量之中的最大能量、和/或与基音对应的频率之下的各个频点处的能量的平均值、和/或它们的函数，作为低频能量。例如，当在采集的音频信号中检测到存在风噪和语音两者时，低频能量表示与基音对应的频率之下的各个频点处的能量之中的最大能量、和/或与基音对应的频率之下的各个频点处的能量的平均值。
当在采集的音频信号中检测到仅存在风噪(没有语音)时，选择与基音对应的频率之下的各个频点处的能量之和作为低频能量。例如，当在采集的音频信号中检测到仅存在风噪时，低频能量表示与基音对应的频率之下的各个频点处的能量之和。
在一些示例实施例中，可以根据音频信号在时域中的过零率、音频信号的子频带质心(或称为，子带频谱质心)和音频信号的低频带能量(例如，上限小于第一阈值的固定、可变或预定的频带的能量)中的至少一个来检测音频信号中是否存在风噪。例如，当过零率、子频带质心和低频带能量都大于各自对应的阈值时，确定音频信号中存在风噪。但是，示例实施例不限于此，可以通过其他的各种风噪检测技术来检测音频信号中是否存在风噪。
在一些示例实施例中，可以根据音频信号的高频带能量(例如，下限大于第二阈值的固定、可变或预定的频带的能量，第一阈值小于第二阈值)和高频带能量占比(例如，高频带能量与总能量之比)中的至少一个来检测音频信号中是否存在语音。例如，当高频带能量和高频带能量占比都大于各自对应的阈值时，确定音频信号中存在语音。但是，示例实施例不限于此，可以通过其他的语音活性检测技术来检测音频信号中是否存在语音。
在步骤320，音频处理器120确定功率谱中的每个频点的衰减系数。
音频处理器120可基于功率谱中的每个频点的频率以及固定、可变或预定的衰减因子来确定每个频点的衰减系数。例如，可在获得音频信号之前确定和/或在获得音频信号之前固定衰减因子。
每个频点的衰减系数被表示为或对应于每个频点的频率的-v次幂，例如，1/fv。这里，f表示频点的频率，v表示固定、可变或预定的衰减因子。
在步骤330，音频处理器120基于在步骤310确定的低频能量和在步骤320确定的衰减系数，来得到音频信号的风噪功率谱。
可通过将低频能量与每个频点的衰减系数相乘，来得到风噪功率谱。例如，在以帧为单位执行抑制风噪的方法的情况下，风噪功率谱可被表示为下面的等式(1)：
Φ(λ，μ)＝β(λ)·f(λ，μ)-v (1)
这里，Φ(λ，μ)表示第λ帧音频信号的第μ频点的风噪功率，β(λ)表示第λ帧音频信号的低频能量，f(λ，μ)表示第λ帧音频信号的第μ频点的频率，v表示固定、可变或预定的衰减因子。
根据发明构思的一些示例实施例的确定采集的音频信号的风噪功率谱的方法，可以更为准确地估计出风噪功率谱。
图4示出根据一些示例实施例的确定风噪抑制增益的方法的流程图。
在步骤410，音频处理器120根据所述风噪功率谱和所述功率谱，估计后验信噪比。
音频处理器120可利用风噪功率谱中的每个频点的功率和利用功率谱中的每个频点的功率，估计每个频点的后验信噪比。每个频点的后验信噪比可表示为下面的等式(2)：
其中，γ(λ，μ)表示频点(例如，第λ帧音频信号的第μ频点)的后验信噪比，E(λ，μ)表示频点(例如，第λ帧音频信号的第μ频点)的功率，Φ(λ，μ)表示频点(例如，第λ帧音频信号的第μ频点)的风噪功率。
在步骤420，音频处理器120基于后验信噪比估计先验信噪比。
音频处理器120可基于每个频点的后验信噪比，估计每个频点的先验信噪比。
在一些示例实施例中，每个频点的先验信噪比可表示为下面的等式(3)：
ξ(λ，μ)＝min(max(γ(λ，μ)-1，0)，ξmin) (3)
其中，ξ(λ，μ)表示频点(例如，第λ帧音频信号的第μ频点)的先验信噪比，ξmin表示固定、可变或预定的最小先验信噪比。
应该理解，如在此使用的，估计先验信噪比的方案不限于等式(3)，也可利用其他的估计先验信噪比的方案来基于后验信噪比估计先验信噪比。
在步骤430，音频处理器120基于先验信噪比计算风噪抑制增益。
音频处理器120可基于每个频点的先验信噪比计算每个频点的风噪抑制增益。例如，可以将先验信噪比与(先验信噪比+1)之比，作为或对应于风噪抑制增益。每个频点的风噪抑制增益可表示为下面的等式(4)：
其中，G(λ，μ)表示频点(例如，第λ帧音频信号的第μ频点)的风噪抑制增益。
根据基于发明构思的一些示例实施例的抑制风噪的方法，由于考虑了音频信号中的风噪和/或语音的存在情况来确定音频信号中的低频能量，并以此计算风噪功率谱和风噪抑制增益，从而能够在保证语音质量或帮助保证语音质量的情况下，更好地(例如，最大程度地)抑制风噪和/或音频信号可被生成和/或输出。
在一些示例实施例中，在以帧为单位执行抑制风噪的方法的情况下，音频处理器120基于在音频信号的前一帧中的低频能量，对当前帧中检测的低频能量进行平滑，并使用平滑后的低频能量而非未平滑的低频能量来执行后续处理(例如，在图2-图4中的步骤中，使用平滑后的低频能量代替非未平滑的低频能量)。例如，可根据或基于下面的等式(5)来执行帧间平滑：
其中，是平滑后的第λ帧音频信号的低频能量，/>是平滑后的第λ-1帧音频信号的低频能量，α表示平滑系数，且0＜α＜1。
图5示出根据一些示例实施例的移动终端的框图。
如图5所示，根据一些示例实施例的移动终端500包括通信单元510、输入单元520、音频处理单元530、显示单元540、存储单元550、控制单元560、麦克风570以及扬声器580。
通信单元510可执行移动终端的通信操作。通信单元510可建立到通信网络的通信信道和/或可执行与例如语音通话、视频通话和/或数据通话关联的通信。
输入单元520被配置为接收输入的各种信息以及各种控制信号，并将输入的信息和控制信号发送到控制单元560。输入单元520可通过诸如键区和/或键盘、触摸屏和/或触控笔、麦克风等各种输入装置来实现；然而，示例实施例不限于此。
音频处理单元530连接到麦克风570以及扬声器580。麦克风570用于例如在通话和/或录音期间采集外部的音频信号。音频处理单元530对麦克风570采集的音频信号进行处理(例如，使用图2所示的抑制麦克风的风噪的方法)，并将处理后的音频信号发送给控制单元560。控制单元560可将处理后的音频信号以数字形式经由通信单元510进行发送，和/或可将音频信号存储在存储单元550。音频处理单元530将来自控制单元560的数字音频信号转换为模拟音频信号以通过扬声器580输出到外部。音频处理单元530可类似于图1的音频处理器120。
显示单元540用于显示各种信息，可例如通过触摸屏实现，然而，示例实施例不限于此。
存储单元550可包括易失性存储器和/或非易失性存储器。存储单元550可存储由移动终端生成和使用的各种数据。例如，存储单元550可存储用于控制移动终端的操作的操作系统、应用程序(例如，与发明构思的方法关联的应用程序)。控制单元560可控制移动终端的整体操作，并可控制移动终端的内部元件的部分或全部。控制单元560可被实现为通用处理器、应用处理器(AP)、专用集成电路、现场可编程门阵列等，但示例实施例不限于此。
在一些示例实施例中，音频处理单元530与控制单元560可由同一器件实现和/或集成在单个芯片中。
在此描述的设备、单元、模块和其他组件由硬件组件实现。可用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或者被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件、或多种类型的处理元件、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可由一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可由一个或多个其他处理器、或者另一处理器和另一控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
执行在本申请中描述的操作的方法由计算硬件(例如，由一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述执行指令或软件以执行在本申请中描述的由所述方法执行的操作。例如，单个操作、或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另一处理器和另一控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作、或者两个或更多个操作。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置处理器或计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令和/或软件包括由处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域普通技术人员或程序员可基于附图中示出的框图和流程图以及说明书中的相应描述容易地编写指令和/或软件，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡式存储器(诸如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置中的至少一者，任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机，使得处理器或计算机能够执行指令。
尽管已经描述了各种示例实施例，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (9)

1.一种抑制麦克风的风噪的方法，包括：
接收音频信号；
获得音频信号的频谱和获得音频信号的功率谱；
基于所述功率谱，确定音频信号的风噪功率谱；
基于所述风噪功率谱和所述功率谱，确定风噪抑制增益；
根据确定的风噪抑制增益，对所述频谱进行修正；以及
将修正后的频谱转换到时域，以得到修正的音频信号，
其中，基于所述功率谱确定音频信号的风噪功率谱的步骤包括：
从所述功率谱检测低频能量，其中，低频能量表示与基音对应的频率之下的频率的能量；
确定功率谱中的每个频点的衰减系数；
基于所述低频能量和所述衰减系数，来得到所述风噪功率谱。
2.根据权利要求1所述的方法，其中，确定功率谱中的每个频点的衰减系数的步骤包括：基于每个频点的频率以及衰减因子来确定每个频点的衰减系数。
3.根据权利要求1所述的方法，其中，每个频点的衰减系数被表示为：每个频点的频率的-v次幂，
其中，v表示衰减因子，
其中，基于所述低频能量与所述衰减系数的相乘，来得到所述风噪功率谱。
4.根据权利要求1所述的方法，其中，低频能量对应于与基音对应的频率之下的各个频点处的能量之中的最大能量、与基音对应的频率之下的各个频点处的能量的平均值、和与基音对应的频率之下的各个频点处的能量之和中的至少一者。
5.根据权利要求1所述的方法，还包括：对音频信号中的风噪的存在和音频信号中的语音的存在进行检测，
其中，从所述功率谱检测低频能量的步骤包括：
根据检测风噪和语音的存在的结果，确定所述功率谱中的低频能量，
其中，确定所述功率谱中的低频能量的步骤包括：
响应于在音频信号中检测到风噪和语音两者，低频能量表示与基音对应的频率之下的各个频点处的能量之中的最大能量和与基音对应的频率之下的各个频点处的能量的平均值中的至少一者；
响应于在音频信号中检测到风噪而在音频信号中没有检测到语音，低频能量表示与基音对应的频率之下的各个频点处的能量之和。
6.根据权利要求1所述的方法，其中，确定风噪抑制增益的步骤包括：
根据所述风噪功率谱和所述功率谱，估计后验信噪比；
基于后验信噪比估计先验信噪比；
基于先验信噪比计算风噪抑制增益。
7.根据权利要求6所述的方法，其中，基于先验信噪比计算风噪抑制增益的步骤包括：
基于先验信噪比与先验信噪比+1之比，计算风噪抑制增益，
其中，所述方法还包括：基于在音频信号的前一帧中的低频能量，对当前帧中检测的低频能量进行平滑。
8.一种电子装置，包括：
麦克风，被配置为采集音频信号；
音频处理器，被配置为执行权利要求1至7中的任意一项所述的方法。
9.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使处理器执行根据权利要求1所述的方法。
CN202111116519.2A 2021-09-23 2021-09-23 抑制麦克风的风噪的方法和电子装置 Active CN113613112B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111116519.2A CN113613112B (zh) 2021-09-23 2021-09-23 抑制麦克风的风噪的方法和电子装置
US17/503,668 US11575989B1 (en) 2021-09-23 2021-10-18 Method of suppressing wind noise of microphone and electronic device
TW111135682A TW202322106A (zh) 2021-09-23 2022-09-21 抑制麥克風及電子裝置的風切聲的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111116519.2A CN113613112B (zh) 2021-09-23 2021-09-23 抑制麦克风的风噪的方法和电子装置

Publications (2)

Publication Number Publication Date
CN113613112A CN113613112A (zh) 2021-11-05
CN113613112B true CN113613112B (zh) 2024-03-29

Family

ID=78343194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111116519.2A Active CN113613112B (zh) 2021-09-23 2021-09-23 抑制麦克风的风噪的方法和电子装置

Country Status (3)

Country Link
US (1) US11575989B1 (zh)
CN (1) CN113613112B (zh)
TW (1) TW202322106A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11930333B2 (en) * 2021-10-26 2024-03-12 Bestechnic (Shanghai) Co., Ltd. Noise suppression method and system for personal sound amplification product
CN114264365B (zh) * 2021-12-14 2024-04-30 歌尔科技有限公司 风噪检测方法、装置、终端设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888049B1 (ko) * 2008-01-25 2009-03-10 재단법인서울대학교산학협력재단 부분 마스킹 효과를 도입한 음성 강화 방법
CN101582264A (zh) * 2009-06-12 2009-11-18 瑞声声学科技(深圳)有限公司 语音增强的方法及语音增加的声音采集系统
CN103871421A (zh) * 2014-03-21 2014-06-18 厦门莱亚特医疗器械有限公司 一种基于子带噪声分析的自适应降噪方法与系统
CN104637489A (zh) * 2015-01-21 2015-05-20 华为技术有限公司 声音信号处理的方法和装置
CN107205183A (zh) * 2016-03-16 2017-09-26 中航华东光电（上海）有限公司 风噪声消除系统及其消除方法
CN108986832A (zh) * 2018-07-12 2018-12-11 北京大学深圳研究生院 基于语音出现概率和一致性的双耳语音去混响方法和装置
CN111128213A (zh) * 2019-12-10 2020-05-08 展讯通信（上海）有限公司 一种分频段进行处理的噪声抑制方法及其系统
CN111968662A (zh) * 2020-08-10 2020-11-20 北京小米松果电子有限公司 音频信号的处理方法及装置、存储介质
CN112700787A (zh) * 2021-03-24 2021-04-23 深圳市中科蓝讯科技股份有限公司 一种降噪方法、非易失性可读存储介质及电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
JP4767166B2 (ja) * 2004-06-16 2011-09-07 パナソニック株式会社 ハウリング抑圧装置、プログラム、集積回路、およびハウリング抑圧方法
US7876918B2 (en) * 2004-12-07 2011-01-25 Phonak Ag Method and device for processing an acoustic signal
US8428275B2 (en) * 2007-06-22 2013-04-23 Sanyo Electric Co., Ltd. Wind noise reduction device
WO2009078105A1 (ja) * 2007-12-19 2009-06-25 Fujitsu Limited 雑音抑圧装置、雑音抑圧制御装置、雑音抑圧方法及び雑音抑圧プログラム
US8914282B2 (en) * 2008-09-30 2014-12-16 Alon Konchitsky Wind noise reduction
US8433564B2 (en) * 2009-07-02 2013-04-30 Alon Konchitsky Method for wind noise reduction
US8600073B2 (en) * 2009-11-04 2013-12-03 Cambridge Silicon Radio Limited Wind noise suppression
US20120163622A1 (en) * 2010-12-28 2012-06-28 Stmicroelectronics Asia Pacific Pte Ltd Noise detection and reduction in audio devices
JP5919647B2 (ja) 2011-05-11 2016-05-18 富士通株式会社 風雑音抑圧装置、半導体集積回路及び風雑音抑圧方法
WO2013164029A1 (en) * 2012-05-03 2013-11-07 Telefonaktiebolaget L M Ericsson (Publ) Detecting wind noise in an audio signal
US9210507B2 (en) * 2013-01-29 2015-12-08 2236008 Ontartio Inc. Microphone hiss mitigation
JP6339896B2 (ja) * 2013-12-27 2018-06-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 雑音抑圧装置および雑音抑圧方法
KR20160050186A (ko) * 2014-10-28 2016-05-11 현대엠엔소프트 주식회사 풍음 잡음 경감 장치와 방법
US10582293B2 (en) * 2017-08-31 2020-03-03 Bose Corporation Wind noise mitigation in active noise cancelling headphone system and method
CN109905793B (zh) * 2019-02-21 2021-01-22 电信科学技术研究院有限公司 一种风噪声抑制方法、装置及可读存储介质
US11562724B2 (en) 2019-08-26 2023-01-24 Knowles Electronics, Llc Wind noise mitigation systems and methods
US11217269B2 (en) * 2020-01-24 2022-01-04 Continental Automotive Systems, Inc. Method and apparatus for wind noise attenuation
CN113257268B (zh) * 2021-07-02 2021-09-17 成都启英泰伦科技有限公司 结合频率跟踪和频谱修正的降噪和单频干扰抑制方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888049B1 (ko) * 2008-01-25 2009-03-10 재단법인서울대학교산학협력재단 부분 마스킹 효과를 도입한 음성 강화 방법
CN101582264A (zh) * 2009-06-12 2009-11-18 瑞声声学科技(深圳)有限公司 语音增强的方法及语音增加的声音采集系统
CN103871421A (zh) * 2014-03-21 2014-06-18 厦门莱亚特医疗器械有限公司 一种基于子带噪声分析的自适应降噪方法与系统
CN104637489A (zh) * 2015-01-21 2015-05-20 华为技术有限公司 声音信号处理的方法和装置
CN107205183A (zh) * 2016-03-16 2017-09-26 中航华东光电（上海）有限公司 风噪声消除系统及其消除方法
CN108986832A (zh) * 2018-07-12 2018-12-11 北京大学深圳研究生院 基于语音出现概率和一致性的双耳语音去混响方法和装置
CN111128213A (zh) * 2019-12-10 2020-05-08 展讯通信（上海）有限公司 一种分频段进行处理的噪声抑制方法及其系统
WO2021114733A1 (zh) * 2019-12-10 2021-06-17 展讯通信（上海）有限公司 一种分频段进行处理的噪声抑制方法及其系统
CN111968662A (zh) * 2020-08-10 2020-11-20 北京小米松果电子有限公司 音频信号的处理方法及装置、存储介质
CN112700787A (zh) * 2021-03-24 2021-04-23 深圳市中科蓝讯科技股份有限公司 一种降噪方法、非易失性可读存储介质及电子设备

Also Published As

Publication number Publication date
CN113613112A (zh) 2021-11-05
US11575989B1 (en) 2023-02-07
TW202322106A (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN109767783B (zh) 语音增强方法、装置、设备及存储介质
CN113613112B (zh) 抑制麦克风的风噪的方法和电子装置
JP4950930B2 (ja) 音声／非音声を判定する装置、方法およびプログラム
US20120179458A1 (en) Apparatus and method for estimating noise by noise region discrimination
EP3479377A1 (en) Speech recognition
CN109801646B (zh) 一种基于融合特征的语音端点检测方法和装置
JP6272433B2 (ja) ピッチ周期の正確性を検出するための方法および装置
CN109616098B (zh) 基于频域能量的语音端点检测方法和装置
US9520138B2 (en) Adaptive modulation filtering for spectral feature enhancement
CN110503940B (zh) 语音增强方法、装置、存储介质、电子设备
US9583120B2 (en) Noise cancellation apparatus and method
US9601124B2 (en) Acoustic matching and splicing of sound tracks
US8559656B2 (en) System and method for automatic microphone volume setting
CN105224844A (zh) 验证方法、系统和装置
CN108053834B (zh) 音频数据处理方法、装置、终端及系统
US20140142933A1 (en) Device and method for processing vocal signal
CN110415722B (zh) 语音信号处理方法、存储介质、计算机程序和电子设备
JPS628800B2 (zh)
CN116057628A (zh) 用于语音和音乐录音的嗡嗡噪声检测和去除
CN116887103A (zh) 抑制麦克风的风噪的方法和电子装置
JP6542705B2 (ja) 発話検出装置、発話検出方法、プログラム、記録媒体
US10600432B1 (en) Methods for voice enhancement
CN116504264B (zh) 音频处理方法、装置、设备及存储介质
JP6257537B2 (ja) 顕著度推定方法、顕著度推定装置、プログラム
JP2019090930A (ja) 音源強調装置、音源強調学習装置、音源強調方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant