CN115398934A - 再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序 - Google Patents

再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序 Download PDF

Info

Publication number
CN115398934A
CN115398934A CN202180027212.7A CN202180027212A CN115398934A CN 115398934 A CN115398934 A CN 115398934A CN 202180027212 A CN202180027212 A CN 202180027212A CN 115398934 A CN115398934 A CN 115398934A
Authority
CN
China
Prior art keywords
speech
microphone
component
signal
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180027212.7A
Other languages
English (en)
Inventor
J.法布里
S.利比奇
P.贾克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rheinisch Westlische Technische Hochschuke RWTH
Original Assignee
Rheinisch Westlische Technische Hochschuke RWTH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rheinisch Westlische Technische Hochschuke RWTH filed Critical Rheinisch Westlische Technische Hochschuke RWTH
Publication of CN115398934A publication Critical patent/CN115398934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827—Desired external signals, e.g. pass-through audio such as music or speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/05—Electronic compensation of the occlusion effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Headphones And Earphones (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

在根据本发明的用于在利用耳机(10)或助听器再现音频信号时主动抑制闭塞效应的方法中，利用耳机或助听器的至少一个外部麦克风(11)采集(20)从外部出现的声音信号。利用至少一个附加麦克风(12，17)采集(21)语音信号。对所采集的语音信号的干分量进行估计(22)，其中所采集的语音信号的干分量是所采集的语音信号中没有由周围空间引起的混响或环境噪声的部分。通过滤波器从利用至少一个外部麦克风所采集的外部声音中提取语音分量，其中基于所采集的语音信号的所估计的干分量来确定(23)滤波器的滤波器系数，或者对所采集的语音信号的所估计的干分量机进行滤波，使得产生(23)语音分量，该语音分量具有与外部麦克风处的语音分量相似的空间性。通过耳机或助听器的扬声器输出(24)所提取或产生的语音分量。

Description

再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算 机程序
技术领域
本发明涉及一种在利用耳机或助听器再现音频信号时主动抑制闭塞效应的方法。本发明还涉及一种用于执行该方法的装置。此外，本发明涉及一种耳机，该耳机被设置用于执行根据本发明的方法或具有根据本发明的装置，以及涉及一种计算机程序，该计算机程序具有指令，该指令促使计算机执行该方法的步骤。
背景技术
佩戴耳机、助听器或头戴式耳机时对自身语音的沉闷和不自然的感知被这些设备的佩戴者认为是干扰的。当这种耳机或助听器的佩戴者的耳道被该设备部分地或完全地封闭时，就会发生这种效应，其称为封闭效应或闭塞效应。因此，闭塞效应在所谓的入耳式(In-Ear)设备中也特别明显，其中耳机或助听器插入耳道的开口区域中并且贴靠在耳道的内壁上。对自身语音的沉闷感知在此一方面基于以下事实：通过空气声音传输的自身语音的高频分量由于封闭耳道的耳机或助听器而明显减弱。另一方面，尤其是自身语音的低频分量也通过身体声音、尤其是通过头部的软骨或骨骼的声音传输被传输到耳道中，并且由于封闭而不能或只能部分地从耳道逸出，从而甚至出现低频分量的放大。
已知用于通过在安静的环境中校正空气声音分量和身体声音分量来补偿闭塞效应的方法。这些方法包括通过基于麦克风信号的反馈控制回路对身体声音分量的衰减，该麦克风信号反映来自耳道的声音信号并且利用内部麦克风进行记录。空气声音分量由外部麦克风记录、滤波并通过内部扬声器再现，以产生来自外部的声音信号的声学透明的感觉。
然而，空气声音分量不仅包括自身语音，还包括来自周围环境的干扰声音。由于当前的技术解决方案在高噪声水平的环境中不起作用，即使在这种条件下也能够实现尽可能自然地感知自身语音的措施是当前研究的主题。
此外，不同的入耳式耳机和头戴式耳机已经具有“侧音(Sidetone)”或“穿耳(Hear-through)”功能。在“侧音”方法中，可以例如在利用这种耳机或头戴式耳机进行的电话呼叫期间听到自身语音。为此，利用麦克风记录语音信号，该语音信号虽然能够实现清晰的语音再现，但是在此丢失空间和双耳信息。“穿耳”方法可以实现对周围环境的感知，例如能够在不摘下耳机的情况下进行交谈。为此，每个耳机侧使用一个或多个外部麦克风，由此保持自身语音的空间信息，然而在这种情况下信号包含不期望的环境噪声。
在EP 3 188 495 A1中描述了一种耳机，该耳机首先在“噪声消除”模式下工作，然后一旦语音活动识别装置确定用户处于呼叫中就切换到“穿耳”模式。类似地，EP 2 362678 A1也描述了一种具有在透明模式与通信模式之间切换功能的通信头戴式耳机。
此外，US 10,034,092 B1中描述了数字音频信号处理技术，其用于在耳机中提供声学透明功能。在此，针对不同的用户或人造头考虑多个声学路径，以便确定透明滤波器，该透明滤波器对于大多数用户提供良好的结果。
发明内容
因此，本发明要解决的技术问题是，提供一种用于在具有高干扰噪声水平的环境中利用耳机或助听器再现音频信号时主动抑制闭塞效应的方法和装置，以及提供一种相应的耳机和用于执行该方法的计算机程序。
上述技术问题通过具有权利要求1的特征的方法、根据权利要求8的相应的装置、根据权利要求10的相应的耳机和根据权利要求11的计算机程序来解决。本发明的优选设计方案是从属权利要求的主题。
在根据本发明的用于在利用耳机或助听器再现音频信号时主动抑制闭塞效应的方法中，利用耳机或助听器的至少一个外部麦克风采集从外部出现的声音信号形式的外部声音。利用至少一个附加麦克风采集语音信号。估计所采集的语音信号的干分量，其中所采集的语音信号的干分量是所采集的语音信号中没有由周围空间引起的混响或环境噪声的部分。通过滤波器从利用至少一个外部麦克风采集的外部声音中提取语音分量，其中，滤波器的滤波器系数基于所采集的语音信号的所估计的干分量来确定，或者对所采集的语音信号的所估计的干分量进行滤波，使得产生语音分量，该语音分量具有与外部麦克风处的语音分量相似的空间性。通过耳机或助听器的扬声器输出所提取或产生的语音分量。
通过这种方式，对自身语音进行更自然和不受干扰的感知。这导致显著的舒适性提高，这不仅导致这种耳机或助听器的提高的接受度，而且还在使用这些产品时开辟了新的用户体验的可能性。
根据本发明的实施方式，利用指向用户嘴部的至少一个麦克风或麦克风阵列和/或耳机或助听器的内部麦克风采集语音信号。这种嘴部麦克风和内部麦克风都提供了非常好的信噪比，这要么是因为它们的方向特性，要么是因为它们的空间接近，或者是因为屏蔽。
特别地，根据所采集的语音信号估计单耳干分量，其中基于此从左右耳机或左右助听器的至少两个外部麦克风的信号中提取双耳语音信号。替换地，也可以对所估计的单耳的干语音分量进行滤波，使得产生具有与外部麦克风处的语音分量相似的空间性的双耳语音信号。
这结合了“侧音”和“穿耳”方法的优点，从而在再现声音信号时保留了空间和双耳信息，同时抑制了不期望的环境噪声。
根据本发明的实施方式，在相应的输出之前，通过左右耳机或左右助听器的扬声器对双耳语音信号进行滤波。
有利地，通过利用嘴部麦克风或麦克风阵列与外部麦克风之间的相应相对脉冲响应以及随后的平均形成进行滤波，来估计外部麦克风处的干语音分量。
此外，用于基于所采集的外部声音和所估计的干语音提取或产生语音分量的滤波器优选是维纳滤波器(Wiener-Filter)、自适应滤波器或模拟空间脉冲响应的滤波器。
根据本发明的另外的实施方式，对所采集的语音信号的所估计的干分量和所提取或产生的语音分量进行线性加权，然后相加。
相应地，根据本发明的用于在通过设置有至少一个外部麦克风的耳机或助听器的扬声器再现音频信号时主动抑制闭塞效应的装置包括，
-用于采集用户的语音信号的至少一个附加麦克风；
-数字信号处理器，该数字信号处理器被设置用于：
-估计利用至少一个附加麦克风采集的语音信号的干分量，其中，所采集的语音信号的干分量是所采集的语音信号中没有由周围空间引起的混响或环境噪声的部分；
-利用滤波器从利用至少一个外部麦克风采集的外部声音中提取语音分量，其中，基于所采集的语音信号的所估计的干分量来确定滤波器的滤波器系数，或者对所采集的语音信号的所估计的干分量进行滤波，使得产生语音分量，该语音分量具有与外部麦克风处的语音分量相似的空间性；和
-通过扬声器输出所提取或产生的语音分量。
根据本发明的实施方式，附加地设置数字滤波器，所提取或产生的语音分量在通过扬声器输出之前被馈送给该数字滤波器。
本发明还涉及一种耳机，该耳机被设置用于执行根据本发明的方法或具有根据本发明的装置，以及一种具有指令的计算机程序，该指令促使计算机执行根据本发明的方法的步骤。
附图说明
本发明的其他特征根据下面的说明书和权利要求书并结合附图变得显而易见。
图1示意性示出了具有用户的耳道封闭的入耳式耳机；
图2示出了根据本发明的用于主动抑制闭塞效应的方法的流程图；
图3示出了根据本发明的耳机的第一实施方式的框图；
图4示出了根据本发明的耳机的第二实施方式的框图；和
图5示意性示出了用于执行根据本发明的方法的通信头戴式耳机。
具体实施方式
为了更好地理解本发明的原理，下面根据附图更详细地解释本发明的实施方式。应当理解的是，本发明不限于这些实施方式，并且所描述的特征也可以组合或修改，而不脱离如权利要求书所限定的本发明的保护范围。
根据本发明的方法例如可以用于减小入耳式耳机中的闭塞效应，如图1中示意性示出的那样。在这种情况下，入耳式耳机10位于用户的耳朵上，其中入耳式耳机的耳插入件14被引入外耳道15中，以便将其保持在原位。根据在耳道中的特殊位置和材料，耳道在一定程度上通过耳插入件被密封。这导致外部干扰噪声至少部分地被屏蔽，使得这些干扰噪声随后仅以降低的电平到达用户的耳膜16。因此，一方面通过耳机的音乐再现较少地受到干扰，或在借助耳机进行的电话通话的情况下，来电者的语音的再现较少地受到干扰。另一方面，用户的语音也通过耳插入件而被衰减，从而导致上文已经提到的闭塞效应。
从周围环境到达耳机上的干扰声音信号x(t)，其尤其可以包含用户的语音，但同样也可以包含环境噪声，利用远离耳道朝向耳机周围环境的方向定向的外部麦克风11来采集。此外，入耳式耳机10具有朝向用户的耳道或耳膜指向耳道15的内部麦克风12和位于内部麦克风12附近的扬声器13。借助扬声器13可以输出补偿信号u(t)，利用该补偿信号尽可能全面地抑制闭塞效应，但至少减小闭塞效应，从而理想地给用户传达他没有佩戴耳机的印象。
在此，借助外部麦克风11采集干扰声音信号的空气声音分量并且为此产生补偿信号。附加地，内部麦克风12在通过次级路径S(s)滤波的补偿信号u(t)与通过初级路径P(s)滤波的干扰声音信号x(t)叠加之后采集剩余信号e(t)，并且尤其能够实现，也采集身体声音分量并且在补偿信号中考虑身体声音分量。声学初级路径P(s)在此描述了用于从外部麦克风11到内部麦克风12的声学传输的传递函数，并且例如可以利用外部扬声器结构来测量。声学次级路径S(s)描述了从内部扬声器13到内部麦克风12的传递函数，并且可以在使用该扬声器和内部麦克风的情况下来测量。
所示入耳式耳机仅具有一个外部麦克风，但也可以使用布置在麦克风阵列中的多个麦克风。此外，闭塞效应也可以出现在其他耳机中，例如具有包围耳朵的耳垫的弓形耳机，该耳垫通过封闭的构造方式封闭耳道，或者可以出现在助听器中，并且如下面所描述的那样得到补偿。
图2示意性示出了用于主动抑制闭塞效应的方法的基本概念，该方法例如可以在使用图1中的入耳式耳机再现音频信号时执行。在此，在第一步骤20中，利用耳机或助听器的至少一个外部麦克风11采集外部声音。所采集的外部声音还包括声学语音分量，该声学语音分量来自佩戴耳机的用户的语音输出。在随后的步骤21中，利用至少一个附加麦克风、例如利用通信头戴式耳机的指向用户嘴部的麦克风(下面也简称为嘴部麦克风)采集相应于用户的语音输出的语音信号。
接着，在步骤22中估计利用附加麦克风采集的语音信号的干分量。如本领域技术人员已知的那样，所记录的干音频信号被理解为纯声音信号，如最初在产生时存在的那样，也就是说，没有由所产生的声波在封闭的空间中或在自然受限的区域中的反射而产生的混响并且没有环境的声学干扰。因此，在该步骤中估计语音信号，如其直接通过用户的声道产生的那样。
基于所采集的语音信号的所估计的干分量，在接下来的步骤23中，针对相应的外部麦克风的麦克风信号，估计以及利用滤波器提取所包含的双耳语音信号，其中基于所采集的语音信号的所估计的干分量确定滤波器的滤波器系数。替换地，也可以对所估计的干语音信号进行滤波，使得其具有与外部麦克风处的语音分量相似的空间性。然后在步骤24中，通过耳机或助听器的相应的扬声器输出所提取或产生的双耳语音分量，其中，事先借助前向(“前馈”)滤波器调整信号，使得语音信号的声学上尽可能透明的再现是可能的。
图3示出了根据本发明的装置的框图，该装置尤其可以在耳机中实现，但同样也可以在助听器中实现。尽管通常在耳机或助听器中为用户的两只耳朵设置声音转换器，但在附图中为了提高清晰度仅示出了关于一只耳朵的概念结构。同样地，对于数字信号处理，虽然需要用于将利用麦克风采集的声音信号数字化的模数转换器和用于转换经处理的信号以经由扬声器输出的数模转换器，但是为了简化，在附图中未示出。基于数字信号处理，在下文中在具有离散的时间标记n的时域中观察信号，标记z相应地代表时间离散的信号和滤波器的频域表示。
如已经结合图1提到的，除了扬声器13还设置外部麦克风11以及内部麦克风12，所述外部麦克风以及内部麦克风可以分别布置在听筒或耳机罩中。在此，提供信号x(n)的外部麦克风11安装在耳机的外侧上。另一方面，扬声器13和内部麦克风12布置在耳机内部并且朝向耳膜定向。
此外，设置嘴部麦克风17。其例如可以是通信头戴式耳机的一部分并且安装在可枢转的弓形件上，以便布置在用户的嘴前方并且对准嘴。但同样也可以设置由多个麦克风组成的麦克风阵列，该麦克风阵列布置在耳机或助听器的外侧上并且例如通过波束成形方法对准嘴部。除了表示从外部麦克风到内部麦克风的声学传输的初级路径P(z)和用于从扬声器到内部麦克风的传输的次级路径S(z)之外，在此也注意到嘴部麦克风与外部参考麦克风之间的传输路径B(z)，该传输路径例如在通信头戴式耳机中通过枢转麦克风在嘴部前方相对于外部麦克风的位置的预定义的位置给出。传输路径在此也包含其他部件的影响，例如未示出的模数转换器和数模转换器。
如果通过耳机或助听器的用户进行语音输出，则通过外部麦克风11采集与该语音输出相对应的语音信号xv(n)。所采集的语音信号xv(n)在此包含空间脉冲响应，该空间脉冲响应包含关于当前声学空间特性的所有相关信息。然而，除了该语音信号之外，由于外麦克风11安装在耳机的外侧，外麦克风11还采集由环境噪声引起的干扰信号xa(n)。由这两个信号分量组成的音频信号x(n)然后如下面描述的那样基于干语音信号的估计来处理，以便通过经由耳机或助听器的扬声器13输出经处理的语音信号u(n)来实现针对自身语音的声学透明。在此，从外部到达耳机的语音信号不仅通过初级路径P(z)从外部传输到内部麦克风，而且通过次级路径S(z)以信号的形式传输，该信号主动地通过扬声器13输出。通过这种方式，缺少的空气声音部分又被添加到自身语音中。通过这两个路径传输的声音信号的声学干扰于是导致对于语音信号的声学透明。
在示出的实施例中，不仅将由嘴部麦克风17测量的语音信号v(n)而且将内部麦克风的误差信号e(n)馈送给估计单元30，在该估计单元30中估计纯的干语音信号
Figure BDA0003879574070000071
如其在声道中产生的那样并且在没有由周围空间引起的混响以及没有环境的声学干扰的情况下存在的那样。根据该单耳估计
Figure BDA0003879574070000072
通过第二估计单元31从利用左耳机或右耳机的外部麦克风所采集的信号中提取双耳语音信号。替换地，也可以对所估计的干语音信号进行滤波，使得其具有与外部麦克风处的语音分量相似的空间性。双耳语音信号xv(n)然后通过具有否定传递函数(negierte
Figure BDA0003879574070000076
)的数字滤波器单元32进行滤波，并且最后作为扬声器信号u(n)馈送给声音转换器以通过耳机输出。数字滤波器单元32在此尤其被设计为前向滤波器(“前馈滤波器”)。
为了在估计单元30中估计干语音信号
Figure BDA0003879574070000073
可以通过嘴部麦克风17测量语音信号V(n)并且然后将其用作语音参考。外部麦克风处的干语音分量的估计例如可以通过利用附加麦克风与外部麦克风之间的相应的相对脉冲响应对附加信号进行滤波以及随后的平均形成来进行。为此，嘴部麦克风信号v(n)例如可以通过嘴部麦克风与外部麦克风之间的相对传输路径B(z)的估计
Figure BDA0003879574070000074
来滤波。在此，语音信号v(n)被认为是单耳源，然而该单耳源随后被用于两个耳机或耳朵。
同样地，可以通过内部麦克风12采集误差信号e(n)，该误差信号同样可以用于干语音信号
Figure BDA0003879574070000075
的估计并且为此可以被馈送给估计单元30。由于耳朵被耳机封闭，因此自身语音通过身体强烈地耦合到耳道中，因此借助内部麦克风的麦克风信号也可以获得关于自身语音的信息。误差信号e(n)包括基于语音信号的误差分量ev(n)和另外的误差分量eb(n)，该另外的误差分量eb(n)基于其他干扰，例如经由用户身体传输到耳道中的脚步声。在此，针对两个耳机或耳朵中的每个产生单独的误差信号。例如，当耳机的配合不同时，误差信号可以不同。然而，单独的误差信号必要时也可以被平均，以便再次获得单耳信号。
嘴部麦克风和内部麦克风的信号可以例如通过数字滤波来调整，并且可以通过随后的平均来组合，以便进一步改善信噪比。在此需要注意的是，通过耳机扬声器播放的信号分别与相应的次级路径的估计值进行卷积并且从相应的内部麦克风信号中减去，以便禁止信号反馈。
因为内部麦克风主要记录自身语音的身体声音分量，该身体声音分量不允许例如摩擦音(Frikativen)的分解(Aufschlüsselung)，所以还可以想到内部麦克风的信号的带宽扩展。
因为嘴部麦克风和内部麦克风都提供良好的信噪比，所以也可以规定，代替基于两个麦克风的信号的组合进行估计，仅基于利用嘴部麦克风测量的信号或内部麦克风的信号来执行估计。最后，在特别有利的比例下，这些已经可以提供语音的干参考，而不必进行附加的估计。
在第二估计单元31中，通过以下方式估计双耳语音信号：基于对干语音的估计，从外部麦克风信号的受到环境噪声干扰的信号中提取双耳语音，或者可以产生具有与外部麦克风处的语音分量相似的空间性的语音信号。在此重要的是，处理具有短的且恒定的延迟，从而可以考虑用于计算前向滤波器W(z)的延迟。
为此，例如可以使用维纳滤波器或其它用于抑制干扰噪声的算法。在维纳滤波器中，评估所采集的信号的幅度谱，以便利用语音信号的估计和当前干扰信号的估计来计算滤波器，利用该滤波器可以最优地提取语音信号。因此，例如可以将嘴部麦克风的幅度谱与内部麦克风的幅度谱组合，以便由此估计干语音信号的幅度谱，然后从外部麦克风的信号中提取语音分量。在这种情况下，传递函数B(z)可以用于估计干语音如何从嘴部麦克风到达外部麦克风，从而补偿直接声音的传播时间。
由于在通信头戴式耳机中，传递函数B(z)对于不同的人也非常相似，因此可以例如通过针对特定头戴式耳机的测量系列来确定脉冲响应，并且随后用于该结构形式的头戴式耳机的应用。
一种可能性是“滤波器组均衡器”结构中的维纳滤波。该结构以原型低通滤波器为前提，该原型低通滤波器具有恒定的组运行时间。维纳滤波器的频谱权重的前提条件是对有用信号和干扰信号的估计。对于有用信号分量的估计，可以使用干语音的估计。
替换地，可以使用自适应滤波器a(n)来估计双耳语音。假设外部麦克风信号x(n)＝xa(n)+xv(n)由环境噪声xa(n)和与干语音的估计
Figure BDA0003879574070000091
相干的语音分量xv(n)组成，可以使用自适应滤波器来基于
Figure BDA0003879574070000092
以x(n)再现语音分量xv(n)。利用自适应滤波器的输出
Figure BDA0003879574070000093
可以基于以下成本函数找到自适应滤波器的调整规则：
Figure BDA0003879574070000094
其中
Figure BDA0003879574070000095
此外，估计单元31可以分析空间对自身语音的声学影响，并且基于此选择或设计滤波器，该滤波器可以应用于所估计的干语音信号，以便产生语音信号，该语音信号具有与外部麦克风处的语音分量相似的空间性。
前向滤波器W(z)可以例如通过求解维纳-霍普夫(Wiener-Hopf)方程来确定。
Figure BDA0003879574070000096
为此，需要一次或多次测量初级路径P(z)和次级路径S(z)。这些测量可以例如在人造头上或在受试者上进行。在此重要的是，用于计算前向滤波器的次级路径考虑在相应的外部麦克风和耳机扬声器之间的分支中的由处理引起的任何延迟。因此，如果在估计双耳语音时，例如信号x(n)或随后通过扬声器播放的任何由此导出的信号发生延迟，则次级路径必须考虑该延迟。这在上面的维纳-霍普夫方程中用撇号表示。
从外部麦克风到内部麦克风的期望的传输特性通过z域中的H(z)或者通过脉冲响应h(n)来描述，并且对于维纳-霍普夫方程也是必需的，该内部麦克风用于自然感知自身语音，通常特征在于平坦的幅度响应。
图4示出了另外的根据本发明的装置的框图。除了图3中的根据本发明的装置的单元之外，在此还设置有用于控制两个加权单元41和42的控制单元40。因为在所示情况下
Figure BDA0003879574070000097
和xv(n)是相干的，即在时域中彼此不偏移或至少不明显地彼此偏移，所以两个信号可以用线性加权因子α和1-α，其中0≤α≤1加权，然后相加。加权单元41和42由此为用户实现干语音和双耳语音的混合的个性化。因此，用户可以自己决定和设定他如何感知他的语音，例如混响的音量与他自身语音的音量应该是何种比例。然而，同样地，控制也可以自动地进行。
如上所述，闭塞效应的后果是，自身语音的低频分量被放大。为了补偿这种情况，可以附加地利用反馈控制器对内部麦克风信号进行滤波，从而降低自身语音的低频分量。以这种方式，在佩戴耳机的情况下对自身语音的感知就显得更加自然了。
在此，估计单元30和31以及控制单元40可以是处理器单元的一部分，该处理器单元具有一个或多个数字信号处理器，但是也可以包含不同类型的处理器或其组合。此外，数字滤波器32的滤波器系数可以通过数字信号处理器来调整。该滤波器可以实现为时不变滤波器，其计算一次，加载到耳机的固件上并且以这种形式使用，而在运行时不进行任何更改。也可以使用自适应滤波器，该自适应滤波器在运行时改变并且适配于当前存在的情况。
根据本发明的装置优选完全集成在耳机中，因为由于自身语音通过身体声音的传输造成的延迟非常小。在这种情况下，嘴部麦克风也可以是耳机的一部分，例如在所谓的通信头戴式耳机的情况下，其固定在安装在嘴前的弓形件上，或者作为具有方向特性的麦克风阵列集成在头部罩中。然而，单独的麦克风也可以用作嘴部麦克风。但是原则上，所述装置的部件也可以是外部设备、例如智能手机的组成部分。
图5示意性地示出了通信头戴式耳机的应用，在该通信头戴式耳机中可以执行根据本发明的方法并且该通信头戴式耳机为此具有上述装置。在此，为用户的两只耳朵分别设置耳机10，在耳机中分别集成外部麦克风11、内部麦克风12和扬声器13。此外，设置有嘴部麦克风17，该嘴部麦克风安装在可枢转的弓形件上。此外，处理器单元50被布置在两个耳机中的一个中，通过该处理器单元实现估计单元以及可能的控制单元40。各个部件在此与处理器单元50连接，但为了提高清晰度，该处理器单元在附图中未示出。
本发明可以用于在利用任意耳机或助听器再现音频信号时抑制闭塞效应，例如在利用通信头戴式耳机/可听设备进行电话业务或通信时，在所谓的入耳式监听时，其用于在现场演出、增强/虚拟现实应用的情况下检查自身语音，或者在助听器中使用时。
附图标记列表
10 单个耳机，单个助听器
11 外部麦克风
12 内部麦克风
13 扬声器
14 耳插入件
15 耳道
16 耳膜
17 嘴部麦克风
20-24 方法步骤
30 第一估计单元
31 第二估计单元
32 数字前向滤波器
40 控制单元
41，42 加权单元
50 处理器单元

Claims (11)

1.一种用于在利用耳机(10)或助听器再现音频信号时主动抑制闭塞效应的方法，其中，
-利用所述耳机或助听器的至少一个外部麦克风(11)采集(20)从外部出现的声音信号形式的外部声音；
-利用至少一个附加麦克风(12，17)采集(21)语音信号；
-估计(22)所采集的语音信号的干分量，其中所采集的语音信号的干分量是所采集的语音信号中没有由周围空间引起的混响或环境噪声的部分；
-通过滤波器从利用所述至少一个外部麦克风采集的外部声音中提取语音分量，其中，基于所采集的语音信号的所估计的干分量确定(23)所述滤波器的滤波器系数，或者对所采集的语音信号的所估计的干分量进行滤波，使得产生(23)具有与在所述至少一个外部麦克风处的语音分量相似的空间性的语音分量；和
-通过所述耳机或助听器的扬声器输出(24)所提取或产生的语音分量。
2.根据权利要求1所述的方法，其中，所述语音信号利用至少一个指向用户嘴部的麦克风或麦克风阵列(17)和/或所述耳机或助听器的内部麦克风来采集(21)。
3.根据权利要求2所述的方法，其中，根据所采集的语音信号估计单耳干分量，并且基于此从左和右耳机或左和右助听器的至少两个外部麦克风的信号中提取双耳语音信号，或者对所估计的单耳干分量进行滤波，使得产生具有与外部麦克风处的语音分量相似的空间性的双耳语音信号。
4.根据权利要求2或3所述的方法，其中，所述双耳语音信号在相应的输出之前通过左和右耳机或左和右助听器的扬声器(13)进行滤波。
5.根据权利要求2至4中任一项所述的方法，其中，通过利用嘴部麦克风或麦克风阵列(17)与所述外部麦克风(11)之间的相应的相对脉冲响应以及随后的平均形成进行滤波，来估计所述外部麦克风(11)处的干语音分量。
6.根据前述权利要求中任一项所述的方法，其中，用于基于所采集的外部声音和所估计的干语音来提取或产生语音分量的滤波器(31)是维纳滤波器、自适应滤波器或模拟空间脉冲响应的滤波器。
7.根据前述权利要求中任一项所述的方法，其中，对所采集的语音信号的所估计的干分量和所提取或产生的语音分量进行线性加权，并且然后相加。
8.一种用于在通过设置有至少一个外部麦克风(11)的耳机(10)或助听器的扬声器(13)再现音频信号时主动抑制闭塞效应的装置，所述装置具有：
-至少一个附加麦克风(17)，用于采集用户的语音信号；
-数字信号处理器(50)，所述数字信号处理器被设置用于：
-对利用所述至少一个附加麦克风(17)采集的语音信号的干分量进行估计，其中所采集的语音信号的干分量是所采集的语音信号中没有由周围空间引起的混响或环境噪声的部分；
-利用滤波器从利用所述至少一个外部麦克风(11)采集的外部声音中提取语音分量，其中，基于所采集的语音信号的所估计的干分量来确定所述滤波器的滤波器系数，或者对所采集的语音信号的所估计的干分量进行滤波，使得产生具有与在所述外部麦克风处的语音分量相似的空间性的语音分量；和
-利用所述滤波器(32)来提取或产生语音分量，并通过所述扬声器(13)来输出结果。
9.根据权利要求8所述的装置，其中，附加地设置数字滤波器(32)，所提取或产生的语音分量在通过所述扬声器(13)输出之前被馈送给所述数字滤波器。
10.一种耳机(10)，所述耳机被设置为执行根据权利要求1至7中任一项所述的方法或具有根据权利要求8或9所述的装置。
11.一种具有指令的计算机程序，所述指令促使计算机执行根据权利要求1至7中任一项所述的方法的步骤。
CN202180027212.7A 2020-05-29 2021-05-27 再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序 Pending CN115398934A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020114429.6A DE102020114429A1 (de) 2020-05-29 2020-05-29 Verfahren, vorrichtung, kopfhörer und computerprogramm zur aktiven unterdrückung des okklusionseffektes bei der wiedergabe von audiosignalen
DE102020114429.6 2020-05-29
PCT/EP2021/064168 WO2021239864A1 (de) 2020-05-29 2021-05-27 Verfahren, vorrichtung, kopfhörer und computerprogramm zur aktiven unterdrückung des okklusionseffektes bei der wiedergabe von audiosignalen

Publications (1)

Publication Number Publication Date
CN115398934A true CN115398934A (zh) 2022-11-25

Family

ID=76217864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180027212.7A Pending CN115398934A (zh) 2020-05-29 2021-05-27 再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序

Country Status (5)

Country Link
US (1) US20230328462A1 (zh)
EP (1) EP4158901A1 (zh)
CN (1) CN115398934A (zh)
DE (1) DE102020114429A1 (zh)
WO (1) WO2021239864A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022111300A1 (de) 2022-05-06 2023-11-09 Elevear GmbH Vorrichtung zur Reduzierung des Rauschens bei der Wiedergabe eines Audiosignals mit einem Kopfhörer oder Hörgerät und entsprechendes Verfahren

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2362678B1 (en) 2010-02-24 2017-07-26 GN Audio A/S A headset system with microphone for ambient sounds
US9020160B2 (en) * 2012-11-02 2015-04-28 Bose Corporation Reducing occlusion effect in ANR headphones
DK2920980T3 (en) * 2012-11-15 2016-12-12 Sonova Ag Formation of own voice in a hearing-aid / own voice shaping in a hearing instrument
US9654855B2 (en) * 2014-10-30 2017-05-16 Bose Corporation Self-voice occlusion mitigation in headsets
EP3188495B1 (en) 2015-12-30 2020-11-18 GN Audio A/S A headset with hear-through mode
US10034092B1 (en) 2016-09-22 2018-07-24 Apple Inc. Spatial headphone transparency
US10595151B1 (en) * 2019-03-18 2020-03-17 Cirrus Logic, Inc. Compensation of own voice occlusion

Also Published As

Publication number Publication date
WO2021239864A1 (de) 2021-12-02
DE102020114429A1 (de) 2021-12-02
US20230328462A1 (en) 2023-10-12
EP4158901A1 (de) 2023-04-05

Similar Documents

Publication Publication Date Title
US11657793B2 (en) Voice sensing using multiple microphones
US10957301B2 (en) Headset with active noise cancellation
KR102266080B1 (ko) 주파수 의존 측음 교정
JP6017825B2 (ja) 特に「ハンズフリー」電話システム向けの近接音声信号を雑音除去するための手段を有するマイクロホンとイヤホンの組合せ型のオーディオ・ヘッドセット
US11330358B2 (en) Wearable audio device with inner microphone adaptive noise reduction
CN110996203B (zh) 一种耳机降噪方法、装置、系统及无线耳机
CN109218912B (zh) 多麦克风爆破噪声控制
CN112954530B (zh) 一种耳机降噪方法、装置、系统及无线耳机
Kumar et al. Acoustic Feedback Noise Cancellation in Hearing Aids Using Adaptive Filter
EP3840402B1 (en) Wearable electronic device with low frequency noise reduction
CN115398934A (zh) 再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序
US11533555B1 (en) Wearable audio device with enhanced voice pick-up
CN118355674A (zh) 主动抑制噪声和/或堵塞的设备、相应的方法和计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination