CN102077277B - 音频处理 - Google Patents

音频处理 Download PDF

Info

Publication number
CN102077277B
CN102077277B CN2009801240387A CN200980124038A CN102077277B CN 102077277 B CN102077277 B CN 102077277B CN 2009801240387 A CN2009801240387 A CN 2009801240387A CN 200980124038 A CN200980124038 A CN 200980124038A CN 102077277 B CN102077277 B CN 102077277B
Authority
CN
China
Prior art keywords
signal
audio
sound signal
input audio
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801240387A
Other languages
English (en)
Other versions
CN102077277A (zh
Inventor
S.斯里尼瓦桑
D.A.C.M.鲁弗斯
C.P.詹斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
MediaTek Inc
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102077277A publication Critical patent/CN102077277A/zh
Application granted granted Critical
Publication of CN102077277B publication Critical patent/CN102077277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

一种音频处理装置（200）包括：生成输入音频信号的多个音频源（101，102）；处理电路（110），用于从输入音频信号导出经过处理的音频信号；组合电路（120），用于从所述经过处理的音频信号导出组合的音频信号；以及控制电路（130），用于控制所述处理电路以便使所述组合的音频信号的功率度量最大化，并且用于将所述经过处理的音频信号的增益的函数限制为预定值。根据本发明，所述音频处理装置（200）包括预处理电路（140），用于从输入音频信号导出经过预处理的音频信号，从而使包括在输入音频信号中的干扰的互相关最小化。代替输入音频信号，将所述经过预处理的信号提供给处理电路（110）。

Description

音频处理
技术领域
本发明涉及一种音频处理装置，包括：用于生成输入音频信号的多个音频源，用于从所述输入音频信号导出经过处理的音频信号的处理电路，用于从所述经过处理的音频信号导出组合的音频信号的组合电路，以及用于控制所述处理电路以便使所述组合的音频信号的功率度量最大化并且用于将所述经过处理的音频信号的增益的函数限制为预定值的控制电路。本发明还涉及一种音频处理方法。
背景技术
在包括例如电信、内容分发等等的许多领域中，音频信号的高级处理变得越来越重要。例如，在诸如电话会议之类的一些应用中，对于来自多个麦克风的输入的复杂处理已经被用于为包括各麦克风的麦克风阵列提供可配置的方向敏感度。具体地，对于来自麦克风阵列的信号的处理可以生成具有可以简单地通过改变各个麦克风信号的组合的特性来改变的方向的音频波束。
典型地，波束形成系统被控制，以使得干扰源（interferer）的衰减最大化。例如，可以控制波束形成系统，以在从主要干扰源接收的信号的方向上提供最大的衰减（优选地为不存在）。
在许多实施例中提供特别有利的性能的波束形成系统是在WO 99/27522中公开的滤波-和波束形成器（Filtered-Sum Beamformer, FSB）。
与许多其它的波束形成系统形成对照，FSB系统设法使朝向期望的信号的麦克风阵列的敏感度最大化，而不是使朝向干扰源的衰减最大化。FSB系统的示例在图1中例示。
该FSB系统设法对于麦克风阵列标识来自期望源的声学脉冲响应的特性，所述期望源包括直达场和第一次反射。FSB通过相干地将麦克风信号的期望部分相加来产生增强的输出信号z，所述相干地添将麦克风信号的期望部分相加的步骤是通过对前向匹配滤波器中的所接收的信号进行滤波并且将经过滤波的输出相加而进行的。而且，在对于前向滤波器具有共轭滤波器响应（在频域中对应于时域中的逆时脉冲响应）的后向自适应滤波器中对输出信号进行滤波。作为输入信号与后向自适应滤波器的输出之间的差而生产误差信号，并且滤波器系数被适配为使误差信号最小化，从而导致音频波束导向主导信号（dominant signal）。所生成的误差信号可以被视为特别适于对于增强的输出信号z执行额外的噪声降低的噪声参考信号。
对于音频信号处理来说特别重要的领域是助听器领域。近年来，助听器越来越多地应用复杂音频处理算法来提供改进的用户体验以及对于用户的辅助。例如，音频处理算法已经被用于提供期望的声音源和干扰声音源之间的改进的信号噪声比，从而向用户提供更清楚并且更易感的信号。特别地，已经开发了包括多于一个麦克风的助听器，其中麦克风的音频信号被动态地组合以为麦克风装置提供方向性。作为另一个示例，噪声消除系统可以被应用来降低由不期望的声音源和背景噪声导致的干扰。
FSB系统有望对于诸如助听器之类的应用是有利的，因为FSB系统许诺朝向期望的信号（而不是针对干扰信号的衰减）的高效的波束形成。已经发现这在助听器应用中特别有利，在所述助听器应用中，FSB系统已经被发现向用户提供便利并且帮助对于期望的信号的感知的信号。另外，FSB系统提供特别适于对于所生成的信号进行噪声降低/补偿的噪声参考信号。
然而，已经发现FSB系统在用于诸如助听器之类的应用时具有一些相关联的缺点。特别地，已经发现对于麦克风阵列中的各麦克风之间的短距离，FSB系统的性能降级。例如，对于具有间隔为15 mm的两个全向麦克风的典型的端射阵列的助听器配置，FSB已经被发现具有次最优的性能。实际上，已经发现在许多情况下，FSB系统未能够朝向期望的信号收敛。
因此，改进的音频波束形成将是有利的，特别地，允许用于麦克风之间的距离相当小的助听器的改进的适用性的波束形成将是有利的。
发明内容
本发明的一个目的是提供一种适于麦克风阵列中的各麦克风之间的短距离的增强的音频处理装置。
根据本发明，此目的在如上所述的音频处理装置中实现，所述音频处理装置的特征在于：所述音频处理装置包括用于从输入音频信号中导出经过预处理的音频信号的预处理电路。代替输入音频信号，将经过预处理的信号提供给处理电路。所述预处理电路被布置为使包括在输入音频信号中的干扰的互相关最小化。
在一个实施例中，所述预处理电路保证：在包括在一个输入音频信号中的干扰与包括在其它输入音频信号中的干扰相关的情况下，输出信号中仅期望信号的功率被最大化。在没有预处理电路、并且处理电路和控制电路例如使用被配置为使组合的音频信号中的期望的输出功率最大化的自适应滤波器系数的情况下，如果音频信号中的干扰相关的话，包括在处理电路和控制电路中的自适应滤波器的误差信号包含与自适应滤波器的输入相关的干扰。这将导致自适应滤波器系数背离最优解。这里，所述背离意味着使组合的信号的输出功率最大化不导致使期望的信号的输出功率最大化。
在一个实施例中，在预处理电路中执行的预处理确保：例如利用由处理电路和控制电路使用的、被配置为使组合的音频信号中的期望的输出功率最大化的自适应滤波器系数，自适应滤波器的误差信号与输入中的干扰分量之间的相关被最小化。
以此方式，所述音频处理装置在应用于具有相关的干扰的麦克风阵列时提供鲁棒的性能。这种情况的一个示例是混响情况下端射配置中的小麦克风阵列。
在一个实施例中，所述预处理电路通过将输入音频信号乘以调节矩阵的逆矩阵的电路来使干扰的互相关最小化。所述调节矩阵是相关矩阵的函数，其中相关矩阵中的元是包含在音频源中多个干扰中的相应对的干扰之间的相关度量。
例如包括在处理电路和控制电路中的自适应滤波器分别对于其中自适应滤波器收敛到期望的语音信号的情况的背离是由音频信号中的干扰的相关造成的，特别是由自适应滤波器的误差信号中的干扰和自适应滤波器的输入中的干扰的相关造成的。这里，到期望的信号的收敛确保自适应滤波器系数被配置为使组合的音频信号中的期望的输出功率最大化。将输入音频信号乘以调节矩阵的逆矩阵确保自适应滤波器的误差信号和输入中的干扰之间的相关被最小化。
在另一个实施例中，调节矩阵是相关矩阵。相关矩阵的元可以是标量或者滤子（filter）。当元是标量时，则在时域中处理问题是有利的。如果元是滤子，则在频域中处理问题是有利的。在频域中，对于每个频率分量                                                
Figure 2009801240387100002DEST_PATH_IMAGE001
，相关矩阵
Figure 2009801240387100002DEST_PATH_IMAGE002
具有标量元，并且因此标量的情况可被应用于每个单独的频率分量。
在另一个实施例中，调节矩阵由下式给出：
Figure 2009801240387100002DEST_PATH_IMAGE003
其中
Figure 2009801240387100002DEST_PATH_IMAGE004
是调节矩阵，是相关矩阵，
Figure 2009801240387100002DEST_PATH_IMAGE006
是预定参数，
Figure 2009801240387100002DEST_PATH_IMAGE007
是单位矩阵，是径向频率（radial frequency）。
上面的调节矩阵的选择的优点是使得音频处理装置的操作对于诸如例如麦克风自身噪声之类的不相关的噪声较不敏感。
在另一个实施例中，参数
Figure 328575DEST_PATH_IMAGE006
由下式给出：
Figure 2009801240387100002DEST_PATH_IMAGE009
其中是输入音频信号中的相关干扰（期望的语音信号的声学噪声和/或混响）的方差，且是包含在音频信号中的不相关电子噪声（白噪声，例如麦克风自身噪声）的方差。
Figure 2009801240387100002DEST_PATH_IMAGE012
等效于包括相关干扰和不相关电子干扰的组合的干扰信号的数据相关矩阵。利用参数
Figure 728201DEST_PATH_IMAGE006
的这种定义，调节矩阵的元更精确地反映干扰之间的实际相关。
在另一个实施例中，参数
Figure 995234DEST_PATH_IMAGE006
取预定的固定值。利用
Figure 194134DEST_PATH_IMAGE006
的预定的固定值，不需要测量
Figure 535117DEST_PATH_IMAGE010
和的值，而是可以取
Figure 220493DEST_PATH_IMAGE006
的平均值，从而导致减少相关。此实施例的优点是确定调节矩阵的元非常简单。将参数
Figure 957505DEST_PATH_IMAGE006
当作控制对于扩散噪声的鲁棒性与麦克风自身噪声的放大之间的折衷的设计参数。参数
Figure 917108DEST_PATH_IMAGE006
的典型值是0.99。
在另一个实施例中，调节矩阵的元(p, q)由下式给出：
其中是输入音频信号p中的干扰，
Figure DEST_PATH_IMAGE015
是输入音频信号q中的干扰，
Figure 284636DEST_PATH_IMAGE008
是径向频率，E是期望算子。上面的实施例的优点是调节矩阵的元相当精确。
在另一个实施例中，相关矩阵的元(p, q)由下式给出：
Figure DEST_PATH_IMAGE016
其中
Figure DEST_PATH_IMAGE017
是麦克风p和q之间的距离，c是声音在空气中的速度，且
Figure 401628DEST_PATH_IMAGE008
是径向频率。矩阵
Figure DEST_PATH_IMAGE018
是属于（理想）扩散声场的数据相关矩阵。扩散声场可以是扩散噪声场或者由于期望的语音的混响导致的场。特别是对于后者，难以测量数据相关矩阵，这是因为混响与期望的（直达）语音相联系，即混响在非语音活动期间不可得。上面的公式提供了扩散噪声场中的相干函数的良好估计。
在另一个实施例中，处理电路包括用于从预处理的音频信号导出经过处理的音频信号的多个可调节滤波器，以及控制电路包括具有作为可调节滤波器的传递函数的共轭的传递函数的多个另外的可调节滤波器。所述另外的可调节滤波器从组合的音频信号导出经过滤波的组合的音频信号。控制电路通过控制所述可调节滤波器以及所述另外的可调节滤波器的传递函数来将经过处理的音频信号的增益的函数限制为预定值，以便使输入音频信号与对应于输入音频信号的经过滤波的组合的音频信号之间的差度量最小化。
通过将可调节滤波器用作处理电路，可以进一步增强语音信号的质量。通过使输入音频信号与对应的经过滤波的组合的音频信号之间的差度量最小化，得到了：在对于每频率分量可调节滤波器的增益的函数等于预定常数的约束下，组合的音频信号的功率度量被最大化。或者，换言之，控制电路隐含地限制增益的函数，以使得输出中干扰的功率保持恒定。使输出的功率最大化于是导致使输出信号中的期望的信号的功率最大化，由此增强输出信号中的信噪比。
由于使用可调节滤波器，不需要诸如在延迟和波束形成器中使用的可调节延迟元件之类的可调节延迟元件。
在另一个实施例中，音频处理装置包括固定延迟元件，用于补偿在输入音频信号中存在的共用音频信号的延迟差。来自声音源的音频信号可能在不同的时间到达音频源，因此导致由这些音频源生成的输入音频信号之间的延迟。这些差由延迟元件补偿。
根据本发明的另一方面，提供了一种音频处理方法。应当理解：上述特征、优点、注释等等相等地适用于本发明的此方面。
本发明还提供一种音频信号处理装置以及包括根据本发明的音频信号处理装置的助听器。
本发明的这些和其它方面、特征和优点将根据下文中描述的实施例而显而易见，并且将参照下文中描述的实施例而被阐明。
附图说明
图1示出了能够进行波束形成的现有技术音频处理装置的例示；
图2示出了根据本发明的一些实施例的音频处理装置的示例的例示；
图3示出了具有包括多个可调节滤波器的处理电路和控制电路的、根据本发明的一些实施例的音频处理装置的示例的例示；
图4示出了具有延迟元件的、根据本发明的一些实施例的音频处理装置的示例的例示。
遍布各附图，相同的参考标号指示相似或者对应的特征。图中指示的特征中的一些特征典型地以软件实现，并且由此表示软件实体，诸如软件模块或者对象。
具体实施方式
以下的描述集中于适用于助听器并且特别适用于包括两个音频源的助听器的本发明的实施例。音频源可以是麦克风。麦克风优选地是全向的。然而，将理解：本发明不限于此应用，而是可以应用于许多其它的音频应用。特别地，将理解：所描述的原理可以容易地扩展到基于多于两个音频源的实施例。
图1示出了诸如在WO 99/27522中公开的、能够进行波束形成的现有技术音频处理装置的例示。音频处理装置将音频波束适配为朝向期望的声音源，所述期望的声音源可以是助听器的用户正在利用其讲话的扬声器。在特定的示例中，助听器包括如图1所示的音频处理装置100。即使存在不相关噪声，由音频处理装置100使用的FSB也使期望的声音源（例如语音）的功率最大化。
[0037] 第一音频源101（这里是麦克风101）的输出连接到音频处理装置100的第一输入，并且第二音频源（这里是麦克风102）的输出连接到音频处理装置100的第二输入。
第一输入音频信号
Figure DEST_PATH_IMAGE019
以及第二输入音频信号
Figure DEST_PATH_IMAGE020
：
Figure DEST_PATH_IMAGE021
分别由音频源101和102生成，被音频处理装置处理以生成音频波束形成103。这里，s是期望的声音源（例如语音），称为传递因数的a是常数，n1和n2是不相关噪声干扰。此外，假定：
这意味着n1和n2彼此不相关，具有单位方差，并且与期望的声音源s不相关。
处理电路110包括第一缩放电路111和第二缩放电路112，每个缩放电路利用预定缩放因数缩放其输入音频信号。第一缩放电路使用缩放因数
Figure DEST_PATH_IMAGE023
。第二缩放电路使用缩放因数
Figure DEST_PATH_IMAGE024
。第一缩放电路生成第一经过处理的音频信号。第二缩放电路生成第二经过处理的音频信号。
然后，在组合电路120中对第一和第二经过处理的信号相加，以生成组合的（定向的）音频信号103：
Figure DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE026
具体地，通过修改第一和第二缩放电路111和112的缩放因数，音频波束的方向可以被指向期望的方向。
更新缩放因数，以使得整个组合的音频信号的功率估计被最大化。此外，在维持缩放电路111和112的相加能量恒定的约束下，进行缩放因数的适配。
上面的结果是缩放因数被更新，以使得组合的音频信号的期望的源分量的功率度量被最大化，尽管组合的信号包含不相关噪声。
在该特定示例中，电路111和112的缩放因数不被直接更新。代之，音频处理装置100包括控制电路130，其确定要由处理电路110使用的缩放因数的值。控制电路包括另外缩放电路131和132，用于对组合的音频信号进行缩放，以分别生成第三经过处理的音频信号以及第四经过处理的音频信号。
将第三经过处理的音频信号馈送到第一减法电路133，其生成第三经过处理的音频信号与第一输入音频信号x1之间的第一残留信号。将第四经过处理的音频信号馈送到第二减法电路134，其生成第四经过处理的音频信号与第二输入音频信号x2之间的第二残留信号。
在该装置中，在存在来自期望的声音源的主导信号的情况下，所述另外缩放电路131和132的缩放因数分别被控制元件135和136适配，以使得残留信号的功率被减小并且具体地被最小化。下面，更详细地解释控制电路的操作。
组合的音频信号103的功率是：
当在
Figure DEST_PATH_IMAGE028
的约束下P y 被最大化时，P y 中的噪声的功率保持恒定并且P y 中的信噪比被最大化。然后，可以使用拉格朗日乘子方法来在理论上计算缩放因数，其产生：
Figure DEST_PATH_IMAGE029
并且
然而，在实践中，优选地使用最小均方（LMS）适配解来获得缩放因数，如在控制元件135和136中进行的。由此，拉格朗日乘子方法用于理论计算。
对于选择为
Figure DEST_PATH_IMAGE031
并且
Figure DEST_PATH_IMAGE032
的
Figure 299920DEST_PATH_IMAGE023
和
Figure 881074DEST_PATH_IMAGE024
，这两个缩放因数在音频处理装置100中被分别应用于电路111、131以及112、132中。换言之，由缩放电路111使用的缩放因数与由所述另外缩放电路131使用的缩放因数相同。可以看出：在
Figure 153924DEST_PATH_IMAGE031
并且
Figure 882845DEST_PATH_IMAGE032
的情况下，对于第一缩放电路111，在其残留信号中不存在剩余的期望的声音信号s，并且残留信号与第一缩放电路111的输入之间的互相关为零。
被馈送到控制电路130的组合的音频信号被表达为：
Figure DEST_PATH_IMAGE033
于是，第一残留信号
Figure DEST_PATH_IMAGE034
被表达为：
Figure DEST_PATH_IMAGE035
对于
Figure 601140DEST_PATH_IMAGE031
并且
Figure 99118DEST_PATH_IMAGE032
并且
Figure 870765DEST_PATH_IMAGE028
，上面的第一残留信号减小到：
Figure DEST_PATH_IMAGE036
于是，
Figure DEST_PATH_IMAGE038
与
Figure DEST_PATH_IMAGE039
之间的互相关给出为：
Figure DEST_PATH_IMAGE040
在平衡时，在参考信号中不存在期望的声音信号，并且由于噪声而引起的为零。
控制元件135和136分别优选地根据下面的表达式更新：
并且
Figure DEST_PATH_IMAGE043
其中k是时间索引，
Figure DEST_PATH_IMAGE044
是第二残留信号，并且其中是适配常数。因为在并且
Figure 625280DEST_PATH_IMAGE032
的情况下，由于噪声引起的
Figure DEST_PATH_IMAGE046
为零，所以f 1将保持平衡。上述对于f 2也成立。
上面的内容可以被容易地一般化以用于每个具有传递因数（其中
Figure DEST_PATH_IMAGE048
）的N个输入音频信号。对于包括在处理电路110中的、每个对应于输入音频信号的N个缩放电路，每个缩放电路的缩放因数可以被表达为：
Figure DEST_PATH_IMAGE050
发明人认识到：所描述的音频处理装置100的性能在存在相关噪声的情况下显著降级并且因此不适于许多其中使用紧密间隔的麦克风从而导致增加的相关噪声（诸如混响噪声）的应用。具体地，发明人认识到：相关噪声的存在可能导致算法朝向对应于次最优的波束形成/方向的次最优的缩放因数收敛，或者可能导致算法不收敛。由此，如由发明人认识到的，对于包括期望的信号分量、不相关噪声分量以及相关噪声分量的输入信号，不相关噪声分量将仅增加所生成的滤波器系数估计的方差，但将不向估计引入偏差，而相关噪声将趋于使适配偏移离开滤波器系数的正确值。具体地，已经发现：对于混响房间中的小麦克风阵列，混响可以完全防止波束形成单元100朝向正确的解收敛。如果混响的等级等于或大于包括早期反射的直达声音，即如果源与麦克风之间的距离超出混响半径，则尤其是这样的情况。当然，这样的情况典型地是用于助听器应用的情况，在所述助听器应用中，麦克风之间的距离较低，而到期望的声音源（例如扬声器）的距离大得多。
图2示出了根据本发明的一个实施例的音频处理装置200的例示。该音频处理装置200是扩展有预处理电路140的音频处理装置100。该预处理电路140从输入音频信号导出经过预处理的音频信号。代替输入音频信号，将该经过预处理的信号提供到处理电路。该预处理电路140被布置为使包括在输入音频信号中的干扰的互相关最小化。
在一个示例中解释预处理电路140的操作。在n1和n2之间存在非零互相关：
Figure DEST_PATH_IMAGE051
组合的音频信号103的功率现在是：
Figure DEST_PATH_IMAGE052
其中
Figure 164715DEST_PATH_IMAGE028
，清楚的是：使P y最大化不一定意味着信噪比被最大化。对于
Figure DEST_PATH_IMAGE053
，使P y最大化就使
Figure DEST_PATH_IMAGE054
最大化（其中
Figure DEST_PATH_IMAGE055
Figure DEST_PATH_IMAGE056
），除非
Figure DEST_PATH_IMAGE057
，否则这不是正确的解。
在控制电路130中，表达式
Figure 504602DEST_PATH_IMAGE028
被优化，并且对于并且
Figure 300836DEST_PATH_IMAGE032
的情况，对于残留出现问题，因为期望
Figure DEST_PATH_IMAGE059
于是为：
Figure DEST_PATH_IMAGE060
由此，
Figure 147307DEST_PATH_IMAGE059
在不等于1时具有非零值。结果，由于在控制元件135中使用的缩放因数的更新规则，
Figure DEST_PATH_IMAGE061
是不平衡的，并且将收敛到不同的（不期望的）解。
由此，期望去除干扰的互相关的影响，如在预处理电路140中进行的。用于上述示例的数据相关矩阵被定义为：
Figure DEST_PATH_IMAGE063
其逆矩阵为：
Figure DEST_PATH_IMAGE064
于是，预处理电路140的输出处的经过预处理的信号由下式给出：
Figure DEST_PATH_IMAGE065
于是，组合电路120的输出处的组合的信号y为：
Figure DEST_PATH_IMAGE066
于是，y的功率为：
Figure DEST_PATH_IMAGE067
为了优化信噪比，必须应用使P y中的噪声贡献独立于f 1和f 2的约束，即：
Figure DEST_PATH_IMAGE068
按照矩阵符号其可被等效地表达为：
Figure DEST_PATH_IMAGE069
应用拉格朗日乘子方法导致f 1和f 2以下的值：
Figure DEST_PATH_IMAGE070
并且
Figure DEST_PATH_IMAGE071
上面的约束在图2所示的结构中实现。利用最优的缩放电路111和112以及另外缩放电路131和132，再一次在参考信号中不存在期望的声音源，并且残留信号中的噪声分量与所述另外缩放电路的输入之间的互相关等于零。
y中期望的声音源分量为：
Figure DEST_PATH_IMAGE073
中期望的声音源分量为：
Figure DEST_PATH_IMAGE074
类似地，对于y中的噪声分量：
Figure DEST_PATH_IMAGE075
Figure 385391DEST_PATH_IMAGE073
中的噪声分量：
Figure DEST_PATH_IMAGE076
使
Figure DEST_PATH_IMAGE077
和相关并插入所得到的
Figure 684523DEST_PATH_IMAGE023
和
Figure 908831DEST_PATH_IMAGE024
导致：
Figure DEST_PATH_IMAGE079
在平衡时，由于在预处理电路140中执行的预处理，互相关的影响被去除。
在一个实施例中，所述预处理电路140通过将输入音频信号乘以调节矩阵的逆矩阵的电路来使干扰的互相关最小化。所述调节矩阵是相关矩阵的函数。相关矩阵中的元是多个音频源中相应对的音频源之间的相关度量。
可以进行调节矩阵的各种选择，只要调节矩阵保证包括在输入音频信号中的干扰的互相关被最小化。
优选地，调节矩阵由下式给出：
Figure DEST_PATH_IMAGE080
其中V p (ω)是输入音频信号p中的干扰，
Figure DEST_PATH_IMAGE081
是输入音频信号q中的干扰，
Figure DEST_PATH_IMAGE082
是径向频率，且E是期望算子。其中可以如上地计算调节矩阵的示例是当干扰来自噪声来源时，并且当期望的声音源不活动时，可以估计上面的矩阵。可以通过对数据样本进行平均来计算期望。
然而，当干扰是混响时，上面的用于计算调节矩阵的方式是不可能的，因为混响仅在期望的源活动时存在并且由此不能被测量。在此情况下，可以利用用于相关矩阵的模型。
在另一个实施例中，调节矩阵是相关矩阵。
在另一个实施例中，相关矩阵的元（p, q）基于用于扩散噪声的模型，并且由下式给出：
Figure DEST_PATH_IMAGE083
其中
Figure DEST_PATH_IMAGE084
是麦克风p与q之间的距离，c是声音在空气中的速度，且
Figure 783377DEST_PATH_IMAGE082
是径向频率。
如果调节矩阵是相关矩阵，其使相关干扰去相关，而之前不相关的噪声（例如白噪声，传感器噪声）现在变为相关。由此，存在折衷：相关干扰可以被去相关，但是代价是在之前不相关的噪声之间引入相关。在另一个实施例中，上面提及的折衷可以通过选择下式的调节矩阵而被控制：
Figure 503946DEST_PATH_IMAGE003
其中
Figure 916473DEST_PATH_IMAGE004
是调节矩阵，
Figure 882155DEST_PATH_IMAGE005
是相关矩阵，
Figure 63737DEST_PATH_IMAGE006
是预定参数，且是单位矩阵。
一种更精确的控制上面提及的折衷的方式是基于相关和不相关噪声的相对功率来调节
Figure 90916DEST_PATH_IMAGE006
。
在另一个实施例中，参数
Figure 657027DEST_PATH_IMAGE006
由下式给出：
Figure 896378DEST_PATH_IMAGE009
其中
Figure 693171DEST_PATH_IMAGE010
是输入音频信号中的干扰的方差，
Figure 80290DEST_PATH_IMAGE011
是包含在音频信号中的电子噪声的方差。
在另一个实施例中，参数
Figure 653353DEST_PATH_IMAGE006
取预定的固定值。
Figure 543949DEST_PATH_IMAGE006
的优选值为0.98或0.99。
通常，电子噪声的功率
Figure 13108DEST_PATH_IMAGE011
是固定的并且可以被测量。当期望的源不活动时，量
Figure 621944DEST_PATH_IMAGE010
+也可以被测量。一旦这两个量已知，就可以计算参数
Figure 743800DEST_PATH_IMAGE006
。
图3示出了根据本发明的一个实施例的音频处理装置200的例示。处理电路140包括用于从经过预处理的音频信号导出经过处理的音频信号的多个可调节滤波器113和114。控制电路130包括具有作为可调节滤波器的传递函数的共轭的传递函数的多个可调节滤波器137和138。所述可调节滤波器137和138被布置为从组合的音频信号导出经过滤波的组合的音频信号。控制电路130被布置为通过控制所述可调节滤波器以及所述另外的可调节滤波器的传递函数来将经过处理的音频信号的增益的函数限制为预定值，以便使输入音频信号与对应于输入音频信号的经过滤波的组合的音频信号之间的差度量最小化。
另外，音频处理装置200包括固定延迟元件151和152。第一音频源101的输出连接到第一延迟元件151的输入。第一延迟元件151的输出连接到减法电路133的第一输入。第二音频源102的输出连接到第二延迟元件152的输入。第二延迟元件152的输出连接到第二减法电路134。延迟元件151和152使得可调节滤波器的脉冲响应相对于所述另外的可调节滤波器的脉冲响应来说是相对无因果的（ anti-causal）（在时间上更早）。
在存在可调节滤波器而不是如在之前考虑的示例中的标量（增益）因数的情况下，在频域中看待该问题是有利的。类似于先前考虑的示例，于是在频域中具有如下式表达的第一输入音频信号
Figure DEST_PATH_IMAGE085
以及第二输入音频信号
Figure DEST_PATH_IMAGE086
：
Figure DEST_PATH_IMAGE087
上面的系统可以被当作用于每个频率分量（
Figure DEST_PATH_IMAGE088
）的标量的情况，并且可以如在先前的示例中那样导出对应的增益因数
Figure DEST_PATH_IMAGE089
和。量和
Figure 57156DEST_PATH_IMAGE090
对应于可调节滤波器的传递函数。
图4示出了具有延迟元件141、142的、根据本发明的一个实施例的音频处理装置200的例示。所述延迟元件补偿在输入音频信号中存在的共用音频信号的延迟差。来自期望的（物理）声音源的音频信号可能在不同的时间到达音频源101和102，因此导致由这些音频源生成的输入音频信号之间的延迟。这些差由延迟元件141和142补偿。如图4中所示的音频处理装置200因此在其中用于补偿路径延迟的延迟元件的延迟值尚未调节为它们的最优值的过渡时间段期间也给出改进的性能。
尽管已经结合一些实施例描述了本发明，但是本发明并不意在限于本文阐述的特定形式。相反地，本发明的范围仅由所附权利要求书限制。此外，虽然特征可能看起来是结合特定实施例描述的，但是本领域技术人员应当认识到，根据本发明可以组合所描述的实施例的各种特征。在权利要求书中，措词“包括”不排除其他元件或步骤的存在。
此外，尽管单独地被列出，但是多个电路、元件或方法步骤可以由例如单个单元或适当编程的处理器实现。此外，尽管单独的特征可以包含于不同的权利要求中，但是这些特征可以有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。而且，特征包含于一种权利要求类别中并不意味着限于该类别，而是表示该特征同样可适当地应用于其他权利要求类别。此外，权利要求中特征的顺序并不意味着其中特征必须起作用的任何特定顺序，并且特别地，方法权利要求中各个步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用不排除复数。因此，对于“一”、“第一”、“第二”等等的引用不排除复数。权利要求中的附图标记仅仅作为澄清示例而被提供，并且不应当以任何方式被解释为限制权利要求的范围。

Claims (12)

1.一种音频处理装置（200），包括：
预处理电路（140），用于从输入音频信号导出经过预处理的音频信号，从而使包括在输入音频信号中的干扰的互相关最小化；
处理电路（110），用于从经过预处理的输入音频信号导出经过处理的音频信号，
组合电路（120），用于从所述经过处理的音频信号导出组合的音频信号，以及
控制电路（130），用于控制所述处理电路以便使所述组合的音频信号的功率度量最大化，并且用于将所述经过处理的音频信号的增益的函数限制为预定值，其中所述预处理电路（140）被布置为通过将输入音频信号乘以调节矩阵的逆矩阵的电路来使干扰的互相关最小化，其中所述调节矩阵是相关矩阵的函数，并且其中所述相关矩阵中的元是多个音频源中相应对的音频源之间的相关度量。
2.根据权利要求1所述的音频处理装置，其中所述调节矩阵是所述相关矩阵。
3.根据权利要求1所述的音频处理装置，其中所述调节矩阵由下式给出：
其中
Figure 2009801240387100001DEST_PATH_IMAGE002
是所述调节矩阵，
Figure DEST_PATH_IMAGE003
是所述相关矩阵，
Figure DEST_PATH_IMAGE004
是预定参数，
Figure DEST_PATH_IMAGE005
是单位矩阵，
Figure DEST_PATH_IMAGE006
是径向频率。
4.根据权利要求3所述的音频处理装置，其中所述参数
Figure 216046DEST_PATH_IMAGE004
由下式给出：
Figure DEST_PATH_IMAGE007
其中是所述输入音频信号中的相关干扰的方差，
Figure DEST_PATH_IMAGE009
是包含在所述输入音频信号中的不相关电子噪声的方差。
5.根据权利要求3所述的音频处理装置，其中所述参数是预定的固定值。
6.根据权利要求1所述的音频处理装置，其中所述调节矩阵的元(p, q)由下式给出：
Figure DEST_PATH_IMAGE010
其中
Figure DEST_PATH_IMAGE011
是输入音频信号p中的干扰，
Figure DEST_PATH_IMAGE012
是输入音频信号q中的干扰，
Figure 99874DEST_PATH_IMAGE006
是径向频率，E是期望算子。
7.根据权利要求1所述的音频处理装置，其中所述相关矩阵的元(p, q)由下式给出：
Figure DEST_PATH_IMAGE013
其中
Figure DEST_PATH_IMAGE014
是麦克风p和q之间的距离，c是声音在空气中的速度，
Figure 619717DEST_PATH_IMAGE006
是径向频率。
8.根据权利要求1所述的音频处理装置，其中所述处理电路（110）包括用于从所述经过预处理的音频信号导出经过处理的音频信号的多个可调节滤波器（113，114），所述控制电路（130）包括用于从所述组合的音频信号导出经过滤波的组合的音频信号的多个另外可调节滤波器（137,138），所述另外可调节滤波器具有作为所述可调节滤波器的传递函数的共轭的传递函数，以及所述控制电路（130）被布置为通过控制所述可调节滤波器以及所述另外可调节滤波器的传递函数来将所述经过处理的音频信号的增益的函数限制为所述预定值，以便使所述输入音频信号与对应于所述输入音频信号的经过滤波的组合的音频信号之间的差度量最小化。
9.根据权利要求1所述的音频处理装置，其中所述音频处理装置（200）包括用于补偿在所述输入音频信号中存在的共用音频信号的延迟差的延迟元件（141,142）。
10.一种音频信号处理装置，包括：
生成输入音频信号的多个音频源（101,102），以及
如权利要求1所述的音频处理装置（200）。
11.一种音频处理方法，包括：
从多个音频源（101，102）接收多个输入音频信号，
从所述输入音频信号导出经过预处理的音频信号，从而使包括在所述输入音频信号中的干扰的互相关最小化，其中通过将输入音频信号乘以调节矩阵的逆矩阵来使干扰的互相关最小化，其中所述调节矩阵是相关矩阵的函数，并且其中所述相关矩阵中的元是多个音频源中相应对的音频源之间的相关度量，
从所述经过预处理的音频信号导出经过处理的音频信号，从所述经过处理的音频信号导出组合的音频信号，
控制经过处理的音频信号的导出，以便使所述组合的音频信号的功率度量最大化，以及
控制将所述经过处理的音频信号的增益的函数限制为预定值的处理。
12.一种助听器，包括根据权利要求10所述的音频信号处理装置。
CN2009801240387A 2008-06-25 2009-06-17 音频处理 Active CN102077277B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08158970 2008-06-25
EP08158970.7 2008-06-25
PCT/IB2009/052580 WO2009156906A1 (en) 2008-06-25 2009-06-17 Audio processing

Publications (2)

Publication Number Publication Date
CN102077277A CN102077277A (zh) 2011-05-25
CN102077277B true CN102077277B (zh) 2013-06-12

Family

ID=40940139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801240387A Active CN102077277B (zh) 2008-06-25 2009-06-17 音频处理

Country Status (7)

Country Link
US (1) US8472655B2 (zh)
EP (1) EP2308044B1 (zh)
JP (1) JP5331201B2 (zh)
KR (1) KR101572793B1 (zh)
CN (1) CN102077277B (zh)
AT (1) ATE528752T1 (zh)
WO (1) WO2009156906A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859590B (zh) * 2010-02-24 2015-08-19 弗劳恩霍夫应用研究促进协会 产生增强下混频信号的装置、产生增强下混频信号的方法以及计算机程序
CN102859591B (zh) * 2010-04-12 2015-02-18 瑞典爱立信有限公司 用于语音编码器中的噪声消除的方法和装置
WO2012107561A1 (en) * 2011-02-10 2012-08-16 Dolby International Ab Spatial adaptation in multi-microphone sound capture
WO2012140818A1 (ja) * 2011-04-11 2012-10-18 パナソニック株式会社 補聴器および振動検出方法
DE102011116282B4 (de) * 2011-10-19 2013-07-04 Krohne Messtechnik Gmbh Verfahren zum Betrieb eines Vortexdurchflussmessgeräts
AU2013260672B2 (en) * 2011-11-14 2014-01-16 Google Inc. Automatic gain control
US8185387B1 (en) 2011-11-14 2012-05-22 Google Inc. Automatic gain control
CN103841521A (zh) * 2012-11-22 2014-06-04 苏州朗捷通智能科技有限公司 一种基于2.4g的无线数字会议系统
US9774960B2 (en) * 2014-12-22 2017-09-26 Gn Hearing A/S Diffuse noise listening
CN108028984B (zh) * 2015-09-10 2021-02-26 雅玉玛音频公司 调节使用电声换能器的音频系统的方法
US10244317B2 (en) 2015-09-22 2019-03-26 Samsung Electronics Co., Ltd. Beamforming array utilizing ring radiator loudspeakers and digital signal processing (DSP) optimization of a beamforming array
US9807501B1 (en) 2016-09-16 2017-10-31 Gopro, Inc. Generating an audio signal from multiple microphones based on a wet microphone condition
EP3566463B1 (en) * 2017-01-03 2020-12-02 Koninklijke Philips N.V. Audio capture using beamforming
US10771894B2 (en) * 2017-01-03 2020-09-08 Koninklijke Philips N.V. Method and apparatus for audio capture using beamforming
CN110267160B (zh) * 2019-05-31 2020-09-22 潍坊歌尔电子有限公司 声音信号处理方法、装置及设备
GB202008547D0 (en) * 2020-06-05 2020-07-22 Audioscenic Ltd Loudspeaker control
KR20220041432A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 음향 신호를 이용한 거리 측정 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999027522A2 (en) * 1997-11-22 1999-06-03 Koninklijke Philips Electronics N.V. Audio processing arrangement with multiple sources

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3986785B2 (ja) * 2001-09-20 2007-10-03 日本放送協会 音源分離収音マイクロホン装置および方法
JP4247037B2 (ja) * 2003-01-29 2009-04-02 株式会社東芝 音声信号処理方法と装置及びプログラム
US7039200B2 (en) 2003-03-31 2006-05-02 Microsoft Corporation System and process for time delay estimation in the presence of correlated noise and reverberation
US7330556B2 (en) * 2003-04-03 2008-02-12 Gn Resound A/S Binaural signal enhancement system
US8150683B2 (en) * 2003-11-04 2012-04-03 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus, method, and computer program for comparing audio signals
DE602004015987D1 (de) * 2004-09-23 2008-10-02 Harman Becker Automotive Sys Mehrkanalige adaptive Sprachsignalverarbeitung mit Rauschunterdrückung
US7869606B2 (en) * 2006-03-29 2011-01-11 Phonak Ag Automatically modifiable hearing aid
US8078456B2 (en) * 2007-06-06 2011-12-13 Broadcom Corporation Audio time scale modification algorithm for dynamic playback speed control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999027522A2 (en) * 1997-11-22 1999-06-03 Koninklijke Philips Electronics N.V. Audio processing arrangement with multiple sources

Also Published As

Publication number Publication date
US8472655B2 (en) 2013-06-25
JP2011526114A (ja) 2011-09-29
KR20110040855A (ko) 2011-04-20
JP5331201B2 (ja) 2013-10-30
KR101572793B1 (ko) 2015-12-01
US20110103625A1 (en) 2011-05-05
EP2308044B1 (en) 2011-10-12
WO2009156906A1 (en) 2009-12-30
ATE528752T1 (de) 2011-10-15
EP2308044A1 (en) 2011-04-13
CN102077277A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
CN102077277B (zh) 音频处理
US9031257B2 (en) Processing signals
US9264805B2 (en) Method for determining a set of filter coefficients for an acoustic echo compensator
US8229129B2 (en) Method, medium, and apparatus for extracting target sound from mixed sound
CN103000185B (zh) 处理信号
CN102947685B (zh) 用于减少环境噪声对收听者的影响的方法和装置
US20100290615A1 (en) Echo canceller operative in response to fluctuation on echo path
US8615392B1 (en) Systems and methods for producing an acoustic field having a target spatial pattern
US9363598B1 (en) Adaptive microphone array compensation
CN103503477A (zh) 使用成对传声器抑制噪声
WO2017158338A1 (en) Sound reproduction system
CN102143426A (zh) 用于抑制听力设备中的声学反馈的方法及对应的听力设备
CN111128210A (zh) 具有声学回声消除的音频信号处理
KR20110034329A (ko) 마이크로폰 어레이의 이득 조정 장치 및 방법
CN102968999B (zh) 处理音频信号
US8014517B2 (en) Method and apparatus for enhanced convergence of the normalized LMS algorithm
EP3934272B1 (en) Method and system for compensating frequency response of a microphone array
US20040101147A1 (en) Feedback compensation device and method, and hearing aid device employing same
JP2010245984A (ja) マイクロホンアレイにおけるマイクロホンの感度を補正する装置、この装置を含んだマイクロホンアレイシステム、およびプログラム
EP3225037B1 (en) Method and apparatus for generating a directional sound signal from first and second sound signals
EP4184943A1 (en) Audio system
AU2004310722B2 (en) Method and apparatus for producing adaptive directional signals

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 5, 5656 Hi-tech Park, Einhofen, Netherlands

Patentee after: KONINKLIJKE PHILIPS N.V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190508

Address after: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee after: MEDIATEK Inc.

Address before: No. 5, 5656 Hi-tech Park, Einhofen, Netherlands

Patentee before: KONINKLIJKE PHILIPS N.V.