CN107274907A - 双麦克风设备上实现指向性拾音的方法和装置 - Google Patents

双麦克风设备上实现指向性拾音的方法和装置 Download PDF

Info

Publication number
CN107274907A
CN107274907A CN201710533786.7A CN201710533786A CN107274907A CN 107274907 A CN107274907 A CN 107274907A CN 201710533786 A CN201710533786 A CN 201710533786A CN 107274907 A CN107274907 A CN 107274907A
Authority
CN
China
Prior art keywords
signal
audio signal
mrow
directional microphone
spectrum energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710533786.7A
Other languages
English (en)
Inventor
邓滨
宋晨枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaodu Technology Co Ltd
Original Assignee
Beijing Fish In Home Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Fish In Home Technology Co Ltd filed Critical Beijing Fish In Home Technology Co Ltd
Priority to CN201710533786.7A priority Critical patent/CN107274907A/zh
Publication of CN107274907A publication Critical patent/CN107274907A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Abstract

本发明公开了双麦克风设备上实现指向性拾音的方法和装置，涉及音频处理技术。所述方法包括：分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理；对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号；对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。在具有双麦克风的电子设备上，通过对两个麦克风的音频信号进行分析和处理，保留其中一个麦克风的有效音频信号，滤除其他方向声音的干扰以及环境噪声；本发明能够指定输出麦克风其中一个拾音方向的音频，以获得更清晰的目标声源，适用于声源位置变化或者需要定向拾音的情况。

Description

双麦克风设备上实现指向性拾音的方法和装置
技术领域
本发明涉及音频处理技术，尤其涉及双麦克风设备上实现指向性拾音的方法和装置。
背景技术
全向式麦克风对于来自不同角度的声音，其灵敏度是相同的。常见于需要收录整个环境声音的录音工程，或是声源在移动时，希望能保持良好收音的情况。全向式的缺点在于容易收到四周环境的噪音，而在价格方面相对较为便宜。
现有技术中的一些便携式拾音设备(如录音笔、头戴式耳麦等)上，通常在设备两端分别设置麦克风，两个麦克风之间有一定的距离(例如超过10cm)且朝向不同的方向，此时，该拾音设备可以拾取到至少两个朝向的声音以及环境噪声，适用于会议、采访等需要全向拾音但是对设备体积有要求的情况。双麦克风设备最终输出的是两个麦克风拾取到的声音的混合。此时，如果希望实现仅保留来自于某一麦克风的临近发声源的声音，那么就需要去除其它有影响的干扰信号，实现指向性拾音，即本发明要解决的问题。
发明内容
本发明的目的在于提出双麦克风设备上实现指向性拾音的方法和装置，能够使双麦克风设备输出其中一个麦克风拾取的声音。
为达此目的，本发明采用以下技术方案：
一方面，本发明提供一种双麦克风设备上实现指向性拾音的方法，包括：
分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理；
对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号；
对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
其中，对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号，包括：
若指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号包括有效信号和环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量小于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号为环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量等于非指向麦克风拾取的音频信号的频谱能量，则指向麦克风的音频信号和非指向麦克风的音频信号为环境噪声信号。
其中，对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号，包括：
从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，获得有效信号的频谱能量；
当指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量时，计算所述无效信号的平均信号能量作为增益因子；
所述有效信号的频谱能量乘以所述增益因子进行增益补偿。
进一步的，分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理之后，还包括：
分别对分帧后的所述音频信号进行傅里叶变换，得到频谱分量；
计算并保存每一帧所述指向麦克风的音频信号的频谱分量的相位角。
其中，音频信号X(k)的频谱分量采用复数形式表示为Re(X(k))+Im(X(k))，其中，Re(X(k))为实部，Im(X(k))为虚部，k为帧号；
所述指向麦克风的音频信号X0(k)中频谱分量的相位角为：
其中，对分帧后的所述音频信号进行频谱能量分析，包括：
计算指向麦克风的音频信号X0(k)的频谱能量：
|X0(k)|2＝Re(X0(k))2+Im(X0(k))2；
计算非指向麦克风的音频信号X1(k)的频谱能量：
|X1(k)|2＝Re(X1(k))2+Im(X1(k))2；
相应的，从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，获得有效信号的频谱能量，具体为：
有效信号的频谱能量
进一步的，获得有效信号的频谱能量之后，还包括：
将所述有效信号的频谱能量开方后得到有效信号的频谱分量的复数的模
结合所述相位角，可得所述频谱分量满足：
所述频谱分量经过傅里叶逆变换处理，生成频减处理后的有效信号的时域信号并输出。
进一步的，区分出有效信号、无效信号和环境噪声信号之后，还包括：
对所述环境噪声信号进行衰减处理；
相应的，对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号之后，还包括：
将衰减后的环境噪声信号添加到所述有效信号中，获得目标音频信号。
另一方面，本发明提供一种双麦克风设备上实现指向性拾音的装置，包括：
加窗分帧模块，用于分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理；
频谱能量分析模块，用于对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号；
频减处理模块，用于对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
其中，所述频谱能量分析模块具体用于判断：
若指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号包括有效信号和环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量小于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号为环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量等于非指向麦克风拾取的音频信号的频谱能量，则指向麦克风的音频信号和非指向麦克风的音频信号为环境噪声信号。
其中，所述频减处理模块包括：
频减单元，用于从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，获得有效信号的频谱能量；
增益单元，用于当指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量时，计算所述无效信号的平均信号能量作为增益因子；所述有效信号的频谱能量乘以所述增益因子进行增益补偿。
进一步的，所述装置还包括：
傅里叶变换模块，用于分别对分帧后的所述音频信号进行傅里叶变换，得到频谱分量；
相位角计算模块，用于计算并保存每一帧所述指向麦克风的音频信号的频谱分量的相位角。
其中，音频信号X(k)的频谱分量采用复数形式表示为Re(X(k))+Im(X(k))，其中，Re(X(k))为实部，Im(X(k))为虚部，k为帧号；
所述指向麦克风的音频信号X0(k)中频谱分量的相位角为：
其中，所述频谱能量分析模块具体用于：
计算指向麦克风的音频信号X0(k)的频谱能量：
|X0(k)|2＝Re(X0(k))2+Im(X0(k))2；
计算非指向麦克风的音频信号X1(k)的频谱能量：
|X1(k)|2＝Re(X1(k))2+Im(X1(k))2；
相应的，所述频减单元具体用于计算有效信号的频谱能量
进一步的，所述频减处理模块还包括：
频谱分量计算单元，用于将所述有效信号的频谱能量开方后得到有效信号的频谱分量的复数的模结合所述相位角，可得所述频谱分量满足：
傅里叶逆变换单元，用于对所述频谱分量进行傅里叶逆变换处理，生成频减处理后的有效信号的时域信号并输出。
进一步的，所述装置还包括：舒适噪声添加模块，用于在区分出有效信号、无效信号和环境噪声信号之后，对所述环境噪声信号进行衰减处理；
相应的，还用于在对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号之后，将衰减后的环境噪声信号添加到所述有效信号中，获得目标音频信号。
本发明的有益效果为：
在具有双麦克风的电子设备上，通过对两个麦克风的音频信号进行分析和处理，保留其中一个麦克风的有效音频信号，滤除其他方向声音的干扰以及环境噪声；本发明能够指定输出麦克风其中一个拾音方向的音频，以获得更清晰的目标声源，适用于声源位置变化或者需要定向拾音的情况。
附图说明
图1是本发明实施例一提供的双麦克风设备上实现指向性拾音的方法的流程图；
图2是本发明实施例一中采用双麦克风设备拾取的音频信号波形图；
图3是本发明实施例一中实现指向性拾音后的音频信号波形对比图；
图4是本发明实施例二提供的双麦克风设备上实现指向性拾音的方法的流程图；
图5是本发明实施例三提供的双麦克风设备上实现指向性拾音的方法的流程图；
图6是本发明实施例四提供的双麦克风设备上实现指向性拾音的装置的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
本实施例提供一种双麦克风设备上实现指向性拾音的方法，适用于需要指定拾音方向的情况，由一种双麦克风设备上实现指向性拾音的装置来执行，该装置由软件和/或硬件实现，一般集成于各种拾音设备和音频处理设备的内部。
图1是本实施例提供的双麦克风设备上实现指向性拾音的方法的流程图，如图1所示，该方法包括如下步骤：
S11，分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理。
图2是本实施例中采用双麦克风设备拾取的音频信号。以信号201为指向麦克风拾取的音频信号，信号202为非指向麦克风拾取的音频信号为例，进行解释说明。
由于音频信号的短时平稳特性，通常需要将音频信号切分成若干时长的帧并以帧为单位进行后续处理。帧长依据不同的音频采样率有着一些常用值，也可以是任意方便处理的值。根据预设的帧长，分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理。
S12，对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号。
若指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号包括有效信号和环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号。如图2中的d区间，信号202的信号能量(波形振幅)明显强于信号201。
若指向麦克风的音频信号的频谱能量小于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号为环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号。如图2中的b区间，信号201的信号能量明显强于信号202。
若指向麦克风的音频信号的频谱能量等于非指向麦克风拾取的音频信号的频谱能量，则指向麦克风的音频信号和非指向麦克风的音频信号为环境噪声信号。如图2所示，区间a、c、e具备同样的特性，两个麦克风所拾取的音频信号的信号能量非常近似，这部分音频信号代表着外界的环境噪声。并且区间b和d的音频信号中也包括环境噪声信号。
S13，对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
根据步骤S12的频谱能量分析即可看出，从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，即可获得有效信号的频谱能量。
图3是本发明实施例一中实现指向性拾音后的音频信号波形对比图。信号203是从信号201中去除信号202之后得到的有效信号。
频减处理使得最终获得的有效信号的能量减弱，因此，当指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量时，计算所述无效信号的平均信号能量作为增益因子；将所述有效信号的频谱能量乘以所述增益因子进行增益补偿，以使所述有效信号恢复到原有的能量水平。增益因子的单位为dB。
输出所述增益补偿后的有效信号，即为需要获得的指向性拾音信号。
本实施例通过对两个麦克风拾取的音频信号进行能量分析，明确需要去除的部分和需要保留部分，并且对减弱的信号能量进行补偿，使得最终输出的有效信号更清晰，在音色和音量上改变不会很明显，达到较好的保真效果。
实施例二
本实施例在实施例一的基础上进行改进，基于人类听觉的特点和习惯，绝对无噪音的信号会让听众觉得怪异，相当于破坏了正常的听觉感受；可通过给频减后获得的有效信号添加舒适噪声，使信号更自然。
图4是本发明实施例二提供的双麦克风设备上实现指向性拾音的方法的流程图。如图4所示，该方法包括如下步骤：
S110，分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理。
S120，对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号。
S121，对所述环境噪声信号进行衰减处理。
从所述环境噪声信号中提取噪声特性，根据一定的衰减因子对所述环境噪声信号进行衰减处理，形成低能量的噪声信号。此类信号属于舒适噪声，不会使人烦躁、不会影响对其他声音的识别，也不会对人体产生伤害。
S130，对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
S131，将衰减后的环境噪声信号添加到所述有效信号中，获得目标音频信号。
将衰减后的环境噪声信号于所述有效信号进行频谱能量的叠加，获得目标信号并输出，此时输出的声音使人听起来十分的舒服、自然。
本实施例通过对频减后的有效信号进行舒适噪声添加，使得输出的音频信号更接近自然的状态，更符合听众的感受，能够很好的提升用户体验。
实施例三
本实施例在上述实施例的基础上，针对频谱能量分析和频减处理，作出具体算法的说明。
图5是本发明实施例三提供的双麦克风设备上实现指向性拾音的方法的流程图。如图5所示，该方法包括如下步骤：
S210，分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理。
S211，分别对分帧后的所述音频信号进行傅里叶变换，得到频谱分量。
音频信号X(k)的频谱分量采用复数形式表示为Re(X(k))+Im(X(k))，其中，Re(X(k))为实部，Im(X(k))为虚部，k为帧号。
S212，计算并保存每一帧所述指向麦克风的音频信号的频谱分量的相位角。
所述指向麦克风的音频信号X0(k)中频谱分量的相位角为：
S213，对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号。
S214，对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
计算指向麦克风的音频信号X0(k)的频谱能量：
|X0(k)|2＝Re(X0(k))2+Im(X0(k))2。
计算非指向麦克风的音频信号X1(k)的频谱能量：
|X1(k)|2＝Re(X1(k))2+Im(X1(k))2。
从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，获得有效信号的频谱能量
将所述有效信号的频谱能量开平方后得到有效信号的频谱分量的复数的模
S215，结合所述相位角进行计算，可得所述有效信号的频谱分量
所述频谱分量用复数表示为满足：
S216，所述频谱分量经过傅里叶逆变换处理，生成频减处理后的有效信号的时域信号并输出。
所述时域信号即为需要输出的音频信号。可根据实施例二中的步骤对该时域信号进行舒适噪声处理，使得听敢更好。
本实施例提供了具体的实现指向性拾音的算法，只是作为实施例一所述的方法的其中一种实现方式，其他采用相同处理思路的算法均在本发明的保护范围之内。
实施例四
本发明提供一种双麦克风设备上实现指向性拾音的装置，用于执行上述实施例的双麦克风设备上实现指向性拾音的方法，解决相同的技术问题，达到相同的技术效果。该装置一般集成于拾音设备上，如录音笔、头戴式耳麦、会议麦克风等具有两个分开设置的麦克风的设备，或者集成于音频处理设备上，可对上述具备两个麦克风的拾音设备所拾取的音频信号进行处理。
图6是本发明实施例四提供的双麦克风设备上实现指向性拾音的装置的结构示意图。该装置包括：加窗分帧模块、频谱能量分析模块和频减处理模块。
加窗分帧模块，用于分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理。
频谱能量分析模块，用于对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号。
频减处理模块，用于对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
其中，所述频谱能量分析模块具体用于判断：
若指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号包括有效信号和环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量小于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号为环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量等于非指向麦克风拾取的音频信号的频谱能量，则指向麦克风的音频信号和非指向麦克风的音频信号为环境噪声信号。
其中，所述频减处理模块包括：频减单元，部分情况下还包括增益单元。
频减单元，用于从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，获得有效信号的频谱能量；
增益单元，用于当指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量时，计算所述无效信号的平均信号能量作为增益因子；所述有效信号的频谱能量乘以所述增益因子进行增益补偿。
进一步的，所述装置还包括：傅里叶变换模块和相位角计算模块。
傅里叶变换模块，用于分别对分帧后的所述音频信号进行傅里叶变换，得到频谱分量；
相位角计算模块，用于计算并保存每一帧所述指向麦克风的音频信号的频谱分量的相位角。
其中，音频信号X(k)的频谱分量采用复数形式表示为Re(X(k))+Im(X(k))，其中，Re(X(k))为实部，Im(X(k))为虚部，k为帧号；
所述指向麦克风的音频信号X0(k)中频谱分量的相位角为：
相应的，所述频谱能量分析模块具体用于：计算指向麦克风的音频信号X0(k)的频谱能量：|X0(k)|2＝Re(X0(k))2+Im(X0(k))2；计算非指向麦克风的音频信号X1(k)的频谱能量：|X1(k)|2＝Re(X1(k))2+Im(X1(k))2。
相应的，所述频减单元具体用于计算有效信号的频谱能量
进一步的，所述频减处理模块还包括：频谱分量计算单元和傅里叶逆变换单元。
频谱分量计算单元，用于将所述有效信号的频谱能量开方后得到有效信号的频谱分量的复数的模结合所述相位角，可得所述频谱分量满足：
傅里叶逆变换单元，用于对所述频谱分量进行傅里叶逆变换处理，生成频减处理后的有效信号的时域信号并输出。
进一步的，所述装置还包括：舒适噪声添加模块，用于在区分出有效信号、无效信号和环境噪声信号之后，对所述环境噪声信号进行衰减处理；然后在对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号之后，将衰减后的环境噪声信号添加到所述有效信号中，获得目标音频信号。
本实施例提供的装置，能够从双麦克风设备拾取的音频信号中分离出其中一个拾音方向的音频，以获得更气你的目标音频，并且通过舒适噪声添加，使听众的听觉感受更好。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (10)

1.一种双麦克风设备上实现指向性拾音的方法，其特征在于：
分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理；
对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号；
对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
2.根据权利要求1所述的方法，其特征在于，对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号，包括：
若指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号包括有效信号和环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量小于非指向麦克风的音频信号的频谱能量，则指向麦克风的音频信号为环境噪声信号，非指向麦克风的音频信号包括无效信号和环境噪声信号；
若指向麦克风的音频信号的频谱能量等于非指向麦克风拾取的音频信号的频谱能量，则指向麦克风的音频信号和非指向麦克风的音频信号为环境噪声信号。
3.根据权利要求2所述的方法，其特征在于，对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号，包括：
从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，获得有效信号的频谱能量；
当指向麦克风的音频信号的频谱能量大于非指向麦克风的音频信号的频谱能量时，计算所述无效信号的平均信号能量作为增益因子；
所述有效信号的频谱能量乘以所述增益因子进行增益补偿。
4.根据权利要求3所述的方法，其特征在于，分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理之后，还包括：
分别对分帧后的所述音频信号进行傅里叶变换，得到频谱分量；
计算并保存每一帧所述指向麦克风的音频信号的频谱分量的相位角。
5.根据权利要求4所述的方法，其特征在于：
音频信号X(k)的频谱分量采用复数形式表示为Re(X(k))+Im(X(k))，其中，Re(X(k))为实部，Im(X(k))为虚部，k为帧号；
所述指向麦克风的音频信号X0(k)中频谱分量的相位角为：
<mrow> <msub> <mi>Angle</mi> <msub> <mi>X</mi> <mn>0</mn> </msub> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>arctan</mi> <mfrac> <mrow> <mi>Im</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mn>0</mn> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <mrow> <mi>Re</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mn>0</mn> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>.</mo> </mrow>
6.根据权利要求5所述的方法，其特征在于，对分帧后的所述音频信号进行频谱能量分析，包括：
计算指向麦克风的音频信号X0(k)的频谱能量：
|X0(k)|2＝Re(X0(k))2+Im(X0(k))2；
计算非指向麦克风的音频信号X1(k)的频谱能量：
|X1(k)|2＝Re(X1(k))2+Im(X1(k))2；
相应的，从所述指向麦克风的音频信号的频谱能量中去除所述非指向麦克风的音频信号的频谱能量，获得有效信号的频谱能量，具体为：
有效信号的频谱能量
7.根据权利要求6所述的方法，其特征在于，获得有效信号的频谱能量之后，还包括：
将所述有效信号的频谱能量开方后得到有效信号的频谱分量的复数的模
结合所述相位角，可得所述频谱分量满足：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>Re</mi> <mrow> <mo>(</mo> <mrow> <msub> <mover> <mi>X</mi> <mo>&amp;OverBar;</mo> </mover> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <msub> <mover> <mi>X</mi> <mo>&amp;OverBar;</mo> </mover> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&amp;CenterDot;</mo> <mi>cos</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>Angle</mi> <msub> <mi>X</mi> <mn>0</mn> </msub> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Im</mi> <mrow> <mo>(</mo> <mrow> <msub> <mover> <mi>X</mi> <mo>&amp;OverBar;</mo> </mover> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <msub> <mover> <mi>X</mi> <mo>&amp;OverBar;</mo> </mover> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&amp;CenterDot;</mo> <mi>sin</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>Angle</mi> <msub> <mi>X</mi> <mn>1</mn> </msub> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
所述频谱分量经过傅里叶逆变换处理，生成频减处理后的有效信号的时域信号并输出。
8.根据权利要求1至7任一项所述的方法，其特征在于，区分出有效信号、无效信号和环境噪声信号之后，还包括：
对所述环境噪声信号进行衰减处理；
相应的，对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号之后，还包括：
将衰减后的环境噪声信号添加到所述有效信号中，获得目标音频信号。
9.一种双麦克风设备上实现指向性拾音的装置，其特征在于，包括：
加窗分帧模块，用于分别对指向麦克风和非指向麦克风拾取的音频信号进行加窗分帧处理；
频谱能量分析模块，用于对分帧后的所述音频信号进行频谱能量分析，区分出有效信号、无效信号和环境噪声信号；
频减处理模块，用于对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号。
10.根据权利要求9所述的装置，其特征在于，还包括：舒适噪声添加模块，
用于在区分出有效信号、无效信号和环境噪声信号之后，对所述环境噪声信号进行衰减处理；
相应的，还用于在对所述指向麦克风的音频信号进行频减处理，去除所述无效信号和所述环境噪声信号，保留有效信号之后，将衰减后的环境噪声信号添加到所述有效信号中，获得目标音频信号。
CN201710533786.7A 2017-07-03 2017-07-03 双麦克风设备上实现指向性拾音的方法和装置 Pending CN107274907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710533786.7A CN107274907A (zh) 2017-07-03 2017-07-03 双麦克风设备上实现指向性拾音的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710533786.7A CN107274907A (zh) 2017-07-03 2017-07-03 双麦克风设备上实现指向性拾音的方法和装置

Publications (1)

Publication Number Publication Date
CN107274907A true CN107274907A (zh) 2017-10-20

Family

ID=60069830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710533786.7A Pending CN107274907A (zh) 2017-07-03 2017-07-03 双麦克风设备上实现指向性拾音的方法和装置

Country Status (1)

Country Link
CN (1) CN107274907A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495235A (zh) * 2018-05-02 2018-09-04 北京小鱼在家科技有限公司 一种重低音的分离方法、装置、计算机设备及存储介质
CN109767751A (zh) * 2019-01-15 2019-05-17 广州爱听贝科技有限公司 婴儿安抚音乐的制作方法、装置、计算机设备及存储装置
CN110718238A (zh) * 2018-07-12 2020-01-21 阿里巴巴集团控股有限公司 串音数据检测方法、客户端和电子设备
WO2020051841A1 (en) * 2018-09-13 2020-03-19 Alibaba Group Holding Limited Human-machine speech interaction apparatus and method of operating the same
CN111935593A (zh) * 2020-08-09 2020-11-13 天津讯飞极智科技有限公司 录音笔及录音控制方法
WO2020238703A1 (zh) * 2019-05-28 2020-12-03 晶晨半导体(上海)股份有限公司 获取语音信号的方法及装置
CN112804620A (zh) * 2019-11-14 2021-05-14 浙江宇视科技有限公司 回声处理方法、装置、电子设备及可读存储介质
WO2021114953A1 (zh) * 2019-12-12 2021-06-17 华为技术有限公司 语音信号的采集方法、装置、电子设备以及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561667A (en) * 1991-06-21 1996-10-01 Gerlach; Karl R. Systolic multiple channel band-partitioned noise canceller
CN1420261A (zh) * 2001-09-19 2003-05-28 通用电气公司 采用校正信号抑制压力波的系统和方法
CN101203063A (zh) * 2007-12-19 2008-06-18 北京中星微电子有限公司 麦克风阵列的噪声消除方法及装置
CN101466055A (zh) * 2008-12-31 2009-06-24 瑞声声学科技(常州)有限公司 小型麦克风阵列装置及其波束形成方法
CN102097099A (zh) * 2009-12-11 2011-06-15 冲电气工业株式会社 使用通过线性组合的频谱分析的源声分离器及其方法
CN102169693A (zh) * 2004-03-01 2011-08-31 杜比实验室特许公司 多信道音频编码
CN102800324A (zh) * 2012-07-30 2012-11-28 东莞宇龙通信科技有限公司 用于移动终端的音频处理系统和方法
WO2013067714A1 (zh) * 2011-11-12 2013-05-16 Liv Runchun 一种降低突发噪音的方法
US20150081287A1 (en) * 2013-09-13 2015-03-19 Advanced Simulation Technology, inc. ("ASTi") Adaptive noise reduction for high noise environments
US9202454B2 (en) * 2012-03-28 2015-12-01 Samsung Electronics Co., Ltd. Method and apparatus for audio encoding for noise reduction
CN105493518A (zh) * 2013-06-18 2016-04-13 创新科技有限公司 具有端射麦克风阵列的头戴式耳机以及端射阵列的自动校准
CN106358135A (zh) * 2016-10-14 2017-01-25 广州酷狗计算机科技有限公司 一种立体声还原方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561667A (en) * 1991-06-21 1996-10-01 Gerlach; Karl R. Systolic multiple channel band-partitioned noise canceller
CN1420261A (zh) * 2001-09-19 2003-05-28 通用电气公司 采用校正信号抑制压力波的系统和方法
CN102169693A (zh) * 2004-03-01 2011-08-31 杜比实验室特许公司 多信道音频编码
CN101203063A (zh) * 2007-12-19 2008-06-18 北京中星微电子有限公司 麦克风阵列的噪声消除方法及装置
CN101466055A (zh) * 2008-12-31 2009-06-24 瑞声声学科技(常州)有限公司 小型麦克风阵列装置及其波束形成方法
CN102097099A (zh) * 2009-12-11 2011-06-15 冲电气工业株式会社 使用通过线性组合的频谱分析的源声分离器及其方法
WO2013067714A1 (zh) * 2011-11-12 2013-05-16 Liv Runchun 一种降低突发噪音的方法
US9202454B2 (en) * 2012-03-28 2015-12-01 Samsung Electronics Co., Ltd. Method and apparatus for audio encoding for noise reduction
CN102800324A (zh) * 2012-07-30 2012-11-28 东莞宇龙通信科技有限公司 用于移动终端的音频处理系统和方法
CN105493518A (zh) * 2013-06-18 2016-04-13 创新科技有限公司 具有端射麦克风阵列的头戴式耳机以及端射阵列的自动校准
US20150081287A1 (en) * 2013-09-13 2015-03-19 Advanced Simulation Technology, inc. ("ASTi") Adaptive noise reduction for high noise environments
CN106358135A (zh) * 2016-10-14 2017-01-25 广州酷狗计算机科技有限公司 一种立体声还原方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENDY VAN MOER ET AL.: "《A novel spectral subtraction technique for cognitive radios》", 《2013 IEEE INTERNATIONAL INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE (I2MTC)》 *
于永强: "《基于改进型噪声对消的语音窄带干扰抑制技术》", 《军事通信技术》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495235B (zh) * 2018-05-02 2020-10-09 北京小鱼在家科技有限公司 一种重低音的分离方法、装置、计算机设备及存储介质
CN108495235A (zh) * 2018-05-02 2018-09-04 北京小鱼在家科技有限公司 一种重低音的分离方法、装置、计算机设备及存储介质
CN110718238A (zh) * 2018-07-12 2020-01-21 阿里巴巴集团控股有限公司 串音数据检测方法、客户端和电子设备
CN110718238B (zh) * 2018-07-12 2023-08-18 阿里巴巴集团控股有限公司 串音数据检测方法、客户端和电子设备
WO2020051841A1 (en) * 2018-09-13 2020-03-19 Alibaba Group Holding Limited Human-machine speech interaction apparatus and method of operating the same
CN109767751B (zh) * 2019-01-15 2021-03-30 广州爱听贝科技有限公司 婴儿安抚音乐的制作方法、装置、计算机设备及存储装置
CN109767751A (zh) * 2019-01-15 2019-05-17 广州爱听贝科技有限公司 婴儿安抚音乐的制作方法、装置、计算机设备及存储装置
WO2020238703A1 (zh) * 2019-05-28 2020-12-03 晶晨半导体(上海)股份有限公司 获取语音信号的方法及装置
CN112804620A (zh) * 2019-11-14 2021-05-14 浙江宇视科技有限公司 回声处理方法、装置、电子设备及可读存储介质
CN112804620B (zh) * 2019-11-14 2022-07-19 浙江宇视科技有限公司 回声处理方法、装置、电子设备及可读存储介质
WO2021114953A1 (zh) * 2019-12-12 2021-06-17 华为技术有限公司 语音信号的采集方法、装置、电子设备以及存储介质
CN112992169A (zh) * 2019-12-12 2021-06-18 华为技术有限公司 语音信号的采集方法、装置、电子设备以及存储介质
CN111935593B (zh) * 2020-08-09 2022-04-29 天津讯飞极智科技有限公司 录音笔及录音控制方法
CN111935593A (zh) * 2020-08-09 2020-11-13 天津讯飞极智科技有限公司 录音笔及录音控制方法

Similar Documents

Publication Publication Date Title
CN107274907A (zh) 双麦克风设备上实现指向性拾音的方法和装置
CN105869651B (zh) 基于噪声混合相干性的双通道波束形成语音增强方法
CN104810024A (zh) 一种双路麦克风语音降噪处理方法及系统
US20070127748A1 (en) Sound enhancement for hearing-impaired listeners
CN107221336A (zh) 一种增强目标语音的装置及其方法
CN109121057A (zh) 一种智能助听的方法及其系统
CN102456351A (zh) 一种语音增强的系统
CN108122559B (zh) 一种数字助听器中基于深度学习的双耳声源定位方法
CN104038880B (zh) 一种双耳助听器语音增强方法
CN103761974B (zh) 一种人工耳蜗
CN108597505A (zh) 语音识别方法、装置及终端设备
CN107547983A (zh) 用于提高目标声音的可分离性的方法和听力装置
CN110992967A (zh) 一种语音信号处理方法、装置、助听器及存储介质
DE102020114146A1 (de) Sprechernachbildung eines mikrofons zur winddetektion
CN106653044A (zh) 追踪噪声源和目标声源的双麦克风降噪系统和方法
CN108597532A (zh) 基于mvdr的隐声方法
CN107293305A (zh) 一种基于盲源分离算法改善录音质量的方法及其装置
CN108337605A (zh) 基于差分波束形成的隐声方法
CN116343756A (zh) 人声透传方法、装置、耳机、存储介质及程序产品
Mesgarani et al. Speech enhancement based on filtering the spectrotemporal modulations
Dixit et al. Review on speech enhancement techniques
US20170056654A1 (en) Signal processing method in cochlear implant
CN104036783B (zh) 磁共振成像扫描设备自适应语音增强系统
CN106782588A (zh) 一种基于听觉小波包的毫米波生物雷达语音增强方法
CN106658323A (zh) 人工耳蜗及助听器的双麦克风降噪系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210518

Address after: 201210 4 / F, building 1, 701 Naxian Road, Shanghai pilot Free Trade Zone, Pudong New Area, Shanghai, China

Applicant after: Shanghai Xiaodu Technology Co.,Ltd.

Address before: 100012 3rd floor, building 10, No.18 ziyue Road, Chaolai science and Technology Industrial Park, No.1, Laiguangying middle street, Chaoyang District, Beijing

Applicant before: AINEMO Inc.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020