CN104883636A - 仿生听力耳麦 - Google Patents

仿生听力耳麦 Download PDF

Info

Publication number
CN104883636A
CN104883636A CN201510089116.1A CN201510089116A CN104883636A CN 104883636 A CN104883636 A CN 104883636A CN 201510089116 A CN201510089116 A CN 201510089116A CN 104883636 A CN104883636 A CN 104883636A
Authority
CN
China
Prior art keywords
signal
microphone
microphone array
earphone
hrtf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510089116.1A
Other languages
English (en)
Other versions
CN104883636B (zh
Inventor
U.霍巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104883636A publication Critical patent/CN104883636A/zh
Application granted granted Critical
Publication of CN104883636B publication Critical patent/CN104883636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Headphones And Earphones (AREA)
  • Stereophonic Arrangements (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

一种仿生听力耳麦，其用于增强来自外部音频源的定向声。所述耳麦包括一对耳机，每个耳机具有麦克风阵列，所述麦克风阵列甚至在收听在听筒上呈现来自电子音频源的内容时通过多个麦克风将听者连接到环境。所述麦克风阵列信号首先被转换成波束成型的定向信号。扩散信号分量可以使用共同的降噪掩码来抑制。可随后使用多个头部相关传输函数(HRTF)对将所述音频信号转换成双耳格式。

Description

仿生听力耳麦
技术领域
本申请涉及一种仿生听力耳麦，其增强外部源的定向声，同时抑制扩散声。
背景技术
仿生听力涉及被设计来增强对音乐与语音的感知的电子设备。常见的仿生听力设备包括人工耳蜗、助听器和向听力受损的人提供听觉的其它设备。目前，许多耳机包括抗噪特征，其阻挡或抑制对用户收听从连接到耳机的外部设备播放的音频的注意力或能力具有破坏性的外部噪音。这些抗噪特征通常抑制所有的外部声，其包括扩散声和定向声二者)，并且还有效帮助听力受损的耳机佩戴者。
发明内容
本公开的一个或多个实施方案涉及一种包括一对耳机的耳麦，所述耳机对包括具有左扬声器的左耳机和具有右扬声器的右耳机。所述麦克风阵列对可包括与左耳机整合的左麦克风阵列和与右耳机整合的右麦克风阵列。所述麦克风阵列对中的每个可至少包括用于从外部源接收外部音频的前麦克风和后麦克风。所述耳麦还可包括被配置来接收与外部音频相关联的左和右麦克风阵列信号的数字信号处理器。数字信号处理器还可被配置来：从左和右麦克风阵列信号中的每个产生定向信号对；抑制来自所述定向信号对的扩散声；将头部相关传输函数(HRTF)对的参数化模型应用到每一对定向信号；以及使来自HRTF对中的每一对的HTRF输出信号相加，以产生左耳机输出信号和右耳机输出信号。
所述耳机对可重播来自电子音频源的音频内容。每一对定向信号可包括前和后指向的波束信号。数字信号处理器可使用共同掩码将降噪应用到定向信号对，以抑制不相关的信号分量。
左麦克风阵列信号可至少包括左前麦克风信号矢量和左后麦克风信号矢量。此外，数字信号处理器可从左前和左后麦克风信号矢量计算左心型信号对。进一步地，数字信号处理器可基于左心型信号对和左麦克风阵列信号计算实值的时间相关和频率相关的掩码，并且将时间相关和频率相关的掩码乘以相应的左前和左后麦克风信号矢量，以获取左前和左后指向的波束信号。
右麦克风阵列信号至少包括右前麦克风信号矢量和右后麦克风信号矢量。此外，数字信号可从右前和右后麦克风信号矢量计算右心型信号对。进一步地，数字信号处理器可基于右心型信号对和右麦克风阵列信号计算实值的时间相关和频率相关的掩码，并且将时间相关和频率相关的掩码乘以相应的右前和右后麦克风信号矢量，以获取右前和右后指向的波束信号。
本公开的一个或多个额外实施方案涉及一种用于增强来自耳麦外部的音频源的定向声的方法。耳麦可包括具有左麦克风阵列的左耳机和具有右麦克风阵列的右耳机。所述方法可包括接收与外部音频源对应的一对麦克风阵列信号。所述麦克风阵列信号对可包括左麦克风阵列信号和右麦克风阵列信号。所述方法还可包括：从所述麦克风阵列信号对中的每个产生定向信号对，以及抑制来自定向信号对的扩散信号分量。所述方法还可包括将头部相关传输函数(HRTF)对的参数化模型应用到每对定向信号，并且使来自HRTF对中的每一对的HTRF输出信号相加，以产生左耳机输出信号和右耳机输出信号。
抑制来自定向信号对的扩散信号分量可包括：使用共同掩码将降噪应用到定向信号对来抑制不相关的信号分量。
左麦克风阵列信号可至少包括左前麦克风信号矢量和左后麦克风信号矢量。从左麦克风阵列信号产生定向信号对可包括：从左前和左后麦克风信号矢量计算左心型信号对。其还可包括：基于所述左心型信号对和左麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及将时间相关和频率相关的掩码乘以相应的左前和左后麦克风信号矢量，以获取左前和左后指向的波束信号。
右麦克风阵列信号可至少包括右前麦克风信号矢量和右后麦克风信号矢量。从右麦克风阵列信号产生定向信号对可包括：从右前和右后麦克风信号矢量计算右心型信号对。其还可包括：基于所述右心型信号对和右麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及将时间相关和频率相关的掩码乘以相应的右前和右后麦克风信号矢量，以获取右前和右后指向的波束信号。
抑制来自定向信号对的扩散信号分量可包括：使用共同掩码将降噪应用到定向信号对来抑制不相关的信号分量。
本公开的再一个或多个额外实施方案涉及一种用于增强来自耳麦外部的音频源的定向声的方法。耳麦可包括具有左麦克风阵列的左耳机和具有右麦克风阵列的右耳机。每个麦克风阵列可至少包括前麦克风和后麦克风。对于每个麦克风阵列，所述方法可包括接收与外部音频源对应的麦克风阵列信号。所述麦克风阵列信号可至少包括与前麦克风对应的前麦克风信号矢量和与后麦克风对应的后麦克风信号矢量。所述方法还可包括：从所述前和后麦克风信号矢量计算朝前指向的波束信号和朝后指向的波束信号；以及将降噪掩码应用到朝前指向和朝后指向的波束信号，以抑制不相关的信号分量并获取降噪的朝前指向的波束信号和降噪的朝后指向的波束信号。所述方法还可包括：将前头部相关传输函数(HRTF)对应用到降噪的朝前指向的波束信号，以获取前直接的HRTF输出信号和前非直接的HRTF输出信号；以及将后HRTF对应用到降噪的朝后指向的波束信号，以获取后直接的HRTF输出信号和后非直接的HRTF输出信号。进一步地，所述方法可包括：使前直接的HRTF输出信号和后直接的HRTF输出信号相加，以获取第一耳机信号的至少一部分；以及使前非直接的HRTF输出信号和后非直接的HRTF输出信号相加，以获取第二耳机信号的至少一部分。
所述方法还可包括：使与左麦克风阵列相关联的第一耳机信号和与右麦克风阵列相关联的第二耳机信号相加，以形成左耳机输出信号；以及使与右麦克风阵列相关联的第一耳机信号和与左麦克风阵列相关联的第二耳机信号相加，以形成右耳机输出信号。
从所述前和后麦克风信号矢量计算朝前指向的波束信号和朝后指向的波束信号可包括：从所述前和后麦克风信号矢量计算心型信号对。其还可包括：基于所述心型信号对和麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及将时间相关和频率相关的掩码乘以相应的前和后麦克风信号矢量，以获取朝前指向和朝后指向的指向波束信号。
所述时间相关和频率相关的掩码可被计算为通过时间平均法计算出的前和后麦克风信号矢量的标准化交叉谱密度的绝对值。此外，还可使用非线性映射来修改时间相关和频率相关的掩码以缩小或加大朝前指向和朝后指向的波束信号。
附图说明
图1是根据本公开的一个或多个实施方案的示出由人佩戴的示例性仿生听力耳麦的环境视图；
图2是根据本公开的一个或多个实施方案的仿生听力耳麦的简化示例性示意图；
图3是根据本公开的一个或多个实施方案的示例性信号处理框图；
图4是根据本公开的一个或多个实施方案的另一示例性信号处理框图；
图5是根据本公开的一个或多个实施方案的麦克风阵列信号处理方法的简化示例性处理流程图；
图6是根据本公开的一个或多个实施方案的麦克风阵列信号处理方法的另一简化示例性处理流程图。
具体实施方式
在以下具体实施方式中，参考形成其部分的附图。在图示中，类似的符号通常识别类似的组件，除非文中另有明确指定。图示中示出的将实例划分为功能块、模块或单元不被理解为指示这些功能块、模块或单元必须被实施为物理上独立的单元。示出或描述的功能块、模块或单元被实施为独立的单元、电路、芯片、功能、模块或电路元件。一个或多个功能块或单元还可在共同电路、芯片、电路元件或单元中实施。
在具体实施方式、图示和权利要求书中描述的说明性实施方案并不意图限制。在不脱离本文呈现的主题的精神或范围的情况下，可利用其它实施方案，且可做出其它改变。将容易理解，如在本文中一般描述且在图示中图示，本公开的方面可在各种不同的配置下布置、替换、组合并设计，所有的这些是明确预期的并且构成本公开的部分。
图1描绘根据本公开的一个或多个实施方案的表示由具有左耳104和右耳106的人102佩戴的示例性仿生听力耳麦100的环境视图。耳麦100可包括一对耳机108，其包括左耳机108a和右耳机108b，所述耳机将声波110、112传送到人102的各个相应的耳朵104、106。每个耳机108可包括麦克风阵列114，使得当耳麦100被佩戴时，左麦克风阵列114a被放置在用户的头部的左侧上，并且右麦克风阵列114b被放置在用户的头部的右侧上。麦克风阵列114可与其相应的耳机108整合。进一步而言，每个麦克风阵列114可包括多个麦克风116(其至少包括前麦克风和后麦克风)。例如，左麦克风阵列114a可至少包括左前麦克风116a和左后麦克风116c，而右麦克风阵列114b可至少包括右前麦克风116b和左后麦克风116d。多个麦克风116可以是全定向的，然而具有不同极性模式(polar pattern)的其它类型的定向麦克风可用作诸如非定向或定向麦克风。
所述对耳机108可以是良好密封的抗噪的耳挂式耳机、头戴式耳机、耳塞式耳机等。因此，听者可很好地与外部世界隔离，且仅通过麦克风116可听见地连接到外部世界，同时收听在耳机108上呈现的来自电子音频源118的内容，诸如音乐或语音。可将信号处理应用到麦克风信号，以保留期望的外部源的自然听力，诸如来自某个方向的声音，同时抑制不需要的扩散声，诸如听众或人群噪音、飞机内部噪音、交通噪音等。根据一个或多个实施方案，例如，可通过自然听力增强方向性听力，以从将不被正常听见的噪音识别远距离音频源。以此方式，仿生听力耳麦100可提供“超人听力”或“声音放大器”。
图2是根据本公开的一个或多个实施方案的耳麦100的简化示例性示意图。如在图2中示出，耳麦100可包括与每个麦克风116相关联的模拟数字转换器(ADC)210，以将模拟音频信号转换成数字格式。耳麦还可包括用于处理数字化麦克风信号的数字信号处理器(DSP)212。为了便于解释，如在本公开通篇使用，对麦克风信号或麦克风阵列的类指可指代这些信号是模拟格式或数字格式且在时域或频域中，除非另有规定。
每个耳机108可包括扬声器214，其用于响应于传入的音频信号而产生声波110、112。例如，左耳机108a可包括用于从DSP 212接收左耳机输出信号LH的左扬声器214a，且右耳机108b可包括用于从DSP 212接收右耳机输出信号RH的右扬声器214b。因此，耳麦100还可包括数字模拟转换器DAC和/或与每个扬声器214相关联的扬声器驱动器(未示出)。耳机扬声器214还可被配置来接收来自电子音频源118(诸如音频重播设备、移动电话等)的音频信号。耳麦100可包括线120(图1)和适配器(未示出)，其可连接到电子音频源118以用于接收来自电子音频源118的音频信号。此外或替代地，耳麦100可无线地接收来自电子音频源118的音频信号。虽然未图示，但是来自电子音频源的音频信号可在被递送到扬声器214之前经历其本身的信号处理。耳麦100可被配置来同时传送表示来自外部源216的音频和来自电子音频源118的音频的声波。因此，耳麦100对于希望收听音乐或电话交谈且同时保持连接到环境的任何用户来说通常可用。
图3描绘可至少部分在DSP 212中实施以处理麦克风阵列信号v的示例性信号处理框图。ADC 210在图3中未示出，以便强调DSP信号处理块。对每个耳朵采用相同的信号处理块，并且相同的信号处理块在输出端成对相加，以形成最终的耳机信号。如示出，将信号处理块分成相同的信号处理段308，其包括左麦克风阵列信号处理段308a和右麦克风阵列信号处理段308b。为了便于解释，应用到麦克风阵列信号中的一个的信号处理算法的相同段308将在下文进行一般性描述(即，没有左或右标记)，除非另有指示。对与麦克风阵列114相关联的信号的引用的通用符号一般包括：(A)在信号标识符的下标处的“F”或“+”标记，其表示前或向前；或(B)在信号标识符的下标处的“R”或“-”标记，其表示后或向后。相反，对与左麦克风阵列114a相关联的信号的特定引用包括在信号标识符的下标处的额外“L”标记，其表示其指代左耳位置。类似地，对与右麦克风阵列114b相关联的信号的特定引用包括在信号标识符的下标处的“R”标记，其表示其指代右耳位置。
使用该符号，针对任何麦克风阵列114的前麦克风信号可通常标记有vF，而对与左麦克风阵列114a相关联的左前麦克风信号的特定引用可标记有vLF，以及对与右麦克风阵列114b相关联的右前麦克风信号矢量的特定引用可标记有vRF。因为下文定义的示例性等式中的许多等式同样适用于从左麦克风阵列114a或右麦克风阵列114b接收的信号，通用的引用符号用于合适范围内。然而，图3中标记的信号使用特定的引用符号，如示出的左侧和右侧信号处理段308a、308b两者。
麦克风116产生时域信号流。参考图3，麦克风阵列信号v至少包括前麦克风信号矢量vF和后麦克风信号矢量vR。使用短时傅里叶变换(STFT)306在频域中运行算法。左STFT 306a在频域中形成左麦克风阵列信号V，而右STFT 306b在频域中形成右麦克风阵列信号V。频域麦克风阵列信号V至少包括前麦克风信号矢量VF和后麦克风信号矢量VR。在第一信号处理阶段，前麦克风处理块310(例如，左前麦克风处理块310a或右前麦克风处理块310b)和后麦克风处理块312(例如，左后麦克风处理块312a或右后麦克风处理块312b)各自接收前麦克风信号矢量VF和后麦克风信号矢量VR两者。每个麦克风处理块310、312实质上作为波束成型器，所述波束成型器用于从每个麦克风阵列114中的两个麦克风116产生朝前指向定向信号UF和朝后指向定向信号UR。为了产生针对麦克风阵列114a的定向信号，可首先使用已知的减延迟(subtract-delay)公式来计算心型信号对X+/-，如下文等式1和等式2中示出：
   (等式1)
   (等式2)
为了获取心型响应模式，可选择延迟值来匹配声信号在阵列轴上的传播时间。DSP的延迟可由单个采样周期量化。例如，在48kHz的采样率下，最小延迟约为21μs。空气中的声速度随温度而变化。使用70℉作为实例，空气中的声速度约为344m/s。因此，声波在21μs中传播约7mm。以此方式，在48kHz的采样率下的4-5个样本的延迟可用于约28mm到35mm的麦克风之间的距离。有关波束成型的定向信号的心型反应模式的形状可通过改变延迟或麦克风之间的距离来操作。
在某些实施方案中，心型信号X+/-可分别用作前向和朝后指向定向信号UF、UR。根据一个或多个额外实施方案，不是直接使用心型信号X+/-，而是可应用实值的时间和频率相关的掩码m+/-。应用掩码是非线性信号处理的形式。根据一个或多个实施方案，可计算实值的时间和频率相关的掩码m+/-，例如，使用以下等式3：
m + / - = | V ‾ X + / - * ‾ V 2 ‾ | ,    (等式3)
其中表示递归推导出的时间平均值V，α＝0.01…0.05，i＝时间索引，且其中是复共轭X+/-
如示出，DSP 212可计算实值的时间和频率相关的掩码m+/-作为通过时间平均法计算出的标准化交叉谱密度的绝对值。在等式3中，V可以是VF或VR。前向和朝后指向定向信号UF、UR可随后通过将各个麦克风信号矢量V按元素(element-wise)乘以有关朝前指向的波束的m+或有关朝后指向的波束的m-来获取：
UF＝VF·m+   (等式4)
UR＝VR·m-   (等式5)
以此方式，掩码m+/-、0与1之间的数字可充当空间滤波器，以在空间上强调或不强调某些信号。此外，通过使用该方法，可使用非线性映射F来进一步修改掩码函数，如下文通过等式6表示：
m ~ = F { m }    (等式6)
例如，如果与标准的心型(例如，超定向性波束成型)相比，需要更狭窄的波束，那么所述函数还可衰减指示原始麦克风信号V与不同信号X之间的低相关性的低值m。在极端情况下可采用“二值掩码(binary mask)”，二值掩码可表示为将低于阈值的所有值设置为零的阶跃函数。操作掩码函数以缩小波束可增加失真，而加大波束可降低失真。
图3中的后续降噪块314(例如，左降噪块314a或右降噪块314b)可将第二共同掩码mNR应用到得出的前向和朝后指向定向信号UF、UR，以便抑制指示扩散(即，非定向)声的不相关信号分量。可根据下文示出的等式7计算共同的降噪掩码mNR：
m NR = | U F U R * ‾ U F 2 ‾ U R 2 ‾ |    (等式7)
对于扩散声，共同掩码mNR的值可接近零。对于离散声，共同掩码mNR的值可接近1。一旦获取共同掩码mNR，则可随后应用共同掩码mNR以产生波束成型且降噪的定向信号，包括降噪的朝前指向的波束信号YF和降噪的朝后指向的波束信号YR，如在等式8和等式9中示出：
YF＝UF·mNR   (等式8)
YR＝UR·mNR   (等式9)
针对左和右麦克风阵列114a、114b两者得出的降噪朝前指向的波束信号YF和降噪的朝后指向的波束信号YR可随后使用反向STFT 315(包括左反向STFT 315a和右STFT 315b)转换回时域。反向STFT 315在时域中产生朝前指向的波束信号yF和朝后指向的波束信号yR。随后可使用头部相关传输函数对316将时域波束信号空间化。头部相关传输函数(HRTF)是对表征耳朵如何从空间中的点接收声音的响应。用于两个耳朵的一对HRTF可用来合成看似来自空间中的特定点的双耳声。作为实例，可采用-45°(前)和-135°(后)的左耳HRTF以及+45°(前)和+135°(后)的右耳HRTF的参数化模型。
每个HRTF对316可包括直接的HRTF和非直接的HRTF。具体参考图3中示出的左麦克风阵列信号处理段308a，左前HRTF对316a可应用到左降噪的朝前指向的波束信号yLF，以获取左前直接的HRTF输出信号HD,LF和左前非直接的HRTF输出信号HI,LF。同样，左后HRTF对316c可应用到左降噪的朝后指向的波束信号yLR，以获取左后直接的HRTF输出信号HD,LR和左后非直接的HRTF输出信号HI,LR。左前直接的HRTF输出信号HD,LF和左后直接的HRTF输出信号HD,LR可相加，以获取左麦克风输出信号LH的至少一部分。同时，左前非直接的HRTF输出信号HI,LF和左后非直接的HRTF输出信号HI,LR可相加，以获取右麦克风输出信号RH的至少一部分。
具体参考右麦克风阵列信号处理段308b，右前HRTF对316b可应用到右降噪的朝前指向的波束信号yRF，以获取右前直接的HRTF输出信号HD,RF和右前非直接的HRTF输出信号HI,RF。同样，右后HRTF对316d可应用到右降噪的朝后指向的波束信号yRR，以获取右后直接的HRTF输出信号HD,RR和右后非直接的HRTF输出信号HI,RR。右前直接的HRTF输出信号HD,RF和右后直接的HRTF输出信号HD,RR可相加，以获取右麦克风输出信号RH的至少一部分。同时，右前非直接的HRTF输出信号HI,RF和右后非直接的HRTF输出信号HI,RR可相加，以获取左耳机输出信号LH的至少一部分。
共同地，由相应的左和右耳机扬声器214a、214b发送的最终左和右耳机输出信号LH、RH可使用以下等式10和等式11来表示：
LH＝HD,LF+HD,LR+HI,RF+HI,RR   (等式10)
RH＝HD,RF+HD,RR+HI,LF+HI,LR   (等式11)
图4示出采用根据2013年9月19日公开的美国专利申请公布号2013/0243200 A1(其通过引用的方式并入本文)中公开的参数化模型的HRTF对416a-d的示例性信号处理应用。如示出，每个HRTF对416a-d可包括一个或多个累加滤波器(例如，“Hs后”)、交叉滤波器(例如，“Hc前”、“Hc后”等)或耳间的延迟滤波器(例如，“T前”、“T后”等)，以将定向信号yLF、yLR、yRF、yRR转换成相应的直接和非直接的HRTF输出信号。
图5是根据本公开的一个或多个实施方案的麦克风阵列信号处理方法500的简化处理流程图。在步骤505处，耳麦100可接收麦克风阵列信号v。更具体而言，DSP 212可接收左麦克风阵列信号vLF、vLR和右麦克风阵列信号vRF、vRR，并且将信号转换成频域。从麦克风阵列信号，DSP 212随后可针对每个麦克风阵列114产生一对波束成型的定向信号UF、UR，如在步骤510处提供。在步骤515处，DSP 212可通过应用共同掩码mNR执行降噪以抑制扩散声。可将得出的降噪定向信号Y转换回频域(未示出)。接下来，HRTF对316可应用到相应的降噪定向信号y，以将音频信号转换成双耳格式，如在步骤520处提供。在步骤525处，通过成对相加来自相应的左麦克风阵列和右麦克风阵列信号处理段308a、308b的信号输出，可产生最终的左和右耳机输出信号LH、RH，如上文参考图3描述。
图6是根据本公开的一个或多个实施方案的麦克风阵列信号处理方法600的更详细的示例性过程流程图。如上文参考图3描述，可在处理左麦克风阵列信号和右麦克风阵列信号二者中采用相同的步骤。在步骤605处，耳麦100可接收左麦克风阵列信号vLF、vLR和右麦克风阵列信号vRF、vRR。左麦克风阵列信号vLF,vLR可表示在左前和后麦克风116a、116c处从外部源216接收到的音频。同样，右麦克风阵列信号vRF,vRR可表示在右前和后麦克风116b、116d处从外部源216接收到的音频。每个传入的麦克风信号可从模拟格式转换成数字格式，如在步骤610处提供。进一步地，在步骤615处，例如，可使用短时傅里叶变换(STFT)306将数字化的左和右麦克风阵列信号转换成频域。作为转换成频域的结果，可分别获取左前和后麦克风信号矢量VLF、VLR和右前和后麦克风信号矢量VRF、VRR。
在步骤620处，DSP 212可针对左前和后麦克风信号矢量VLF、VLR和右前和后麦克风信号矢量VRF、VRR计算一对心型信号X+/-。心型信号X+/-可使用减延迟波束成型器来计算，如在等式1和等式2中指示。时间和频率相关的掩码m+/-可随后针对每对心型信号X+/-计算，如在步骤625处提供。例如，DSP 212可使用左心型信号和左麦克风信号矢量计算时间和频率相关的掩码m+/-，如通过等式3示出。DSP 212还可使用右心型信号和右麦克风信号矢量计算独立的时间和频率相关的掩码m+/-。时间和频率相关的掩码m+/-可随后应用到它们相应的麦克风信号矢量V，以使用等式4和等式5产生左侧前和后指向的波束信号ULF、ULR和右侧前和后指向的波束信号URF、URR，如在步骤630处所示。波束成型的信号可在步骤635处经历降噪，以抑制不相关的信号分量。为了此目的，可使用等式8和等式9将共同掩码mNR应用到左侧前和后指向的波束信号ULF、ULR和右侧前和后指向的波束信号URF、URR。共同掩码mNR可抑制扩散声，从而强调定向声，并且可如上文关于等式7描述来计算。
在步骤640处，可使用反向STFT 315将得出的降噪波束信号Y转换回时域。在步骤645处，得出的时域波束信号y可随后使用HRTF对316的参数化模型转换成双耳格式。例如，DSP 212可应用左耳HRTF对316a、316c的参数化模型，以将针对左麦克风阵列114a的降噪左侧前和后指向的波束信号yLF、yLR空间化。类似地，DSP 212可应用右耳HRTF对316b、316d的参数化模型，以将针对右麦克风阵列114b的降噪右侧前和后指向的波束信号yRF、yRR空间化。在步骤650处，各种左侧HRTF输出信号和右侧HRTF输出信号可随后成对相加(如上文关于等式10和等式11描述)，以产生相应的左和右耳机输出信号LH、RH。
虽然上文描述了示例性实施方案，但不意味着这些实施方案描述了本发明的所有可能的形式。相反，在说明书中使用的词是描述性的而非限制性的词，且应理解，在不脱离本文呈现的主题的精神和范围的情况下，可做出各种改变。此外，可组合各种实施方案的特征以形成本公开的进一步实施方案。

Claims (20)

1.一种耳麦，其包括：
一对耳机，其包括具有左扬声器的左耳机和具有右扬声器的右耳机；
一对麦克风阵列，其包括与所述左耳机整合的左麦克风阵列和与所述右耳机整合的右麦克风阵列，所述麦克风阵列对中的每个至少包括用于从外部源接收外部音频的前麦克风和后麦克风；和
数字信号处理器，其被配置来接收与所述外部音频相关联的左和右麦克风阵列信号，所述数字信号处理器还被配置来：
从所述左和右麦克风阵列信号中的每个产生定向信号对；
抑制来自所述定向信号对的扩散声；
将头部相关传输函数(HRTF)对的参数化模型应用到每一对定向信号；以及
将来自HRTF对中的每一对的HTRF输出信号相加，以产生左耳机输出信号和右耳机输出信号。
2.根据权利要求1所述的耳麦，其中所述耳机对还被配置来重播来自电子音频源的音频内容。
3.根据权利要求1所述的耳麦，其中每一对定向信号包括前和后指向的波束信号。
4.根据权利要求1所述的耳麦，其中所述左麦克风阵列信号至少包括左前麦克风信号矢量和左后麦克风信号矢量。
5.根据权利要求4所述的耳麦，其中所述数字信号处理器被配置来从所述左麦克风阵列信号产生所述定向信号对包括所述数字信号处理器被配置来：
从所述左前和左后麦克风信号矢量计算左心型信号对；
基于所述左心型信号对和所述左麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及
将所述时间相关和频率相关的掩码乘以所述相应的左前和左后麦克风信号矢量，以获取左前和左后指向的波束信号。
6.根据权利要求1所述的耳麦，其中所述右麦克风阵列信号至少包括右前麦克风信号矢量和右后麦克风信号矢量。
7.根据权利要求6所述的耳麦，其中所述数字信号处理器被配置来从所述右麦克风阵列信号产生所述定向信号对包括所述数字信号处理器被配置来：
从所述右前和右后麦克风信号矢量计算右心型信号对；
基于所述右心型信号对和所述右麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及
将所述时间相关和频率相关的掩码乘以所述相应的右前和右后麦克风信号矢量，以获取右前和右后指向的波束信号。
8.根据权利要求1所述的耳麦，其中所述数字信号处理器被配置来抑制来自所述定向信号对的扩散声包括所述数字信号处理器被配置来：
使用共同掩码将降噪应用到所述定向信号对，以抑制不相关的信号分量。
9.一种用于增强来自耳麦外部的音频源的定向声的方法，所述耳麦包括具有左麦克风阵列的左耳机和具有右麦克风阵列的右耳机，所述方法包括：
接收与所述外部音频源对应的一对麦克风阵列信号，所述麦克风阵列信号对包括左麦克风阵列信号和右麦克风阵列信号；
从所述麦克风阵列信号对的每个中产生定向信号对；
抑制来自所述定向信号对的扩散信号分量；
将头部相关传输函数(HRTF)对的参数化模型应用到每对定向信号；以及
将来自HRTF对中的每对的HTRF输出信号相加，以产生左耳机输出信号和右耳机输出信号。
10.根据权利要求9所述的方法，其中所述左麦克风阵列信号至少包括左前麦克风信号矢量和左后麦克风信号矢量。
11.根据权利要求10所述的方法，其中从所述左麦克风阵列信号产生所述定向信号对包括：
从所述左前和左后麦克风信号矢量计算左心型信号对；
基于所述左心型信号对和所述左麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及
将所述时间相关和频率相关的掩码乘以所述相应的左前和左后麦克风信号矢量，以获取左前和左后指向的波束信号。
12.根据权利要求9所述的方法，其中所述右麦克风阵列信号至少包括右前麦克风信号矢量和右后麦克风信号矢量。
13.根据权利要求12所述的方法，其中从所述右麦克风阵列信号产生所述定向信号对包括：
从所述右前和右后麦克风信号矢量计算右心型信号对；
基于所述右心型信号对和所述右麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及
将所述时间相关和频率相关的掩码乘以所述相应的右前和右后麦克风信号矢量，以获取右前和右后指向的波束信号。
14.根据权利要求9所述的方法，其中抑制来自所述定向信号对的扩散信号分量包括：
使用共同掩码将降噪应用到所述定向信号对，以抑制不相关的信号分量。
15.根据权利要求9所述的方法，其中每对定向信号包括前和后指向的波束信号。
16.一种用于增强来自耳麦外部的音频源的定向声的方法，所述耳麦包括具有左麦克风阵列的左耳机和具有右麦克风阵列的右耳机，每个麦克风阵列至少包括前麦克风和后麦克风，对于每个麦克风阵列，所述方法包括：
接收与所述外部音频源对应的麦克风阵列信号，所述麦克风阵列信号至少包括与所述前麦克风对应的前麦克风信号矢量和与所述后麦克风对应的后麦克风信号矢量；
从所述前和后麦克风信号矢量计算朝前指向的波束信号和朝后指向的波束信号；
将降噪掩码应用到所述朝前指向和朝后指向的波束信号，以抑制不相关的信号分量并获取降噪的朝前指向的波束信号和降噪的朝后指向的波束信号；
将前头部相关传输函数(HRTF)对应用到所述降噪的朝前指向的波束信号，以获取前直接的HRTF输出信号和前非直接的HRTF输出信号；
将后HRTF对应用到所述降噪的朝后指向的波束信号，以获取后直接的HRTF输出信号和后非直接的HRTF输出信号；
使所述前直接的HRTF输出信号和所述后直接的HRTF输出信号相加，以获取第一耳机信号的至少一部分；以及
使所述前非直接的HRTF输出信号和所述后非直接的HRTF输出信号相加，以获取第二耳机信号的至少一部分。
17.根据权利要求16所述的方法，其还包括：
将与所述左麦克风阵列相关联的所述第一耳机信号加到与所述右麦克风阵列相关联的所述第二耳机信号，以形成左耳机输出信号；以及
将与所述右麦克风阵列相关联的所述第一耳机信号加到与所述左麦克风阵列相关联的所述第二耳机信号，以形成右耳机输出信号。
18.根据权利要求16所述的方法，其中从所述前和后麦克风信号矢量计算所述朝前指向的波束信号和朝后指向的波束信号包括：
从所述前和后麦克风信号矢量计算心型信号对；
基于所述心型信号对和所述麦克风阵列信号来计算实值的时间相关和频率相关的掩码；以及
将所述时间相关和频率相关的掩码乘以所述相应的前和后麦克风信号矢量，以获取所述朝前指向和朝后指向的指向波束信号。
19.根据权利要求18所述的方法，其中所述时间相关和频率相关的掩码被计算为通过时间平均法计算出的所述前和后麦克风信号矢量的标准化交叉谱密度的绝对值。
20.根据权利要求18所述的方法，其中还使用非线性映射修改所述时间相关和频率相关的掩码，以缩小或加大所述朝前指向和朝后指向的波束信号。
CN201510089116.1A 2014-02-28 2015-02-27 仿生听力耳麦 Active CN104883636B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/193,402 US9681246B2 (en) 2014-02-28 2014-02-28 Bionic hearing headset
US14/193,402 2014-02-28

Publications (2)

Publication Number Publication Date
CN104883636A true CN104883636A (zh) 2015-09-02
CN104883636B CN104883636B (zh) 2019-06-21

Family

ID=52444226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510089116.1A Active CN104883636B (zh) 2014-02-28 2015-02-27 仿生听力耳麦

Country Status (4)

Country Link
US (1) US9681246B2 (zh)
EP (1) EP2914016A1 (zh)
JP (1) JP6616946B2 (zh)
CN (1) CN104883636B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426643A (zh) * 2017-07-31 2017-12-01 歌尔股份有限公司 上行降噪耳机
CN108683975A (zh) * 2018-05-14 2018-10-19 维沃移动通信有限公司 一种音频设备
CN110136732A (zh) * 2019-05-17 2019-08-16 湖南琅音信息科技有限公司 双通道智能音频信号处理方法、系统及音频设备
WO2023061130A1 (zh) * 2021-10-12 2023-04-20 Oppo广东移动通信有限公司 耳机、用户设备及处理信号的方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11750965B2 (en) 2007-03-07 2023-09-05 Staton Techiya, Llc Acoustic dampening compensation system
JP6829693B2 (ja) 2014-12-23 2021-02-10 ティモシー デグレイ オーディオ共有のための方法及びシステム
FR3052622B1 (fr) * 2016-06-13 2020-02-28 Elno Casque acoustique
EP3322200A1 (en) * 2016-11-10 2018-05-16 Nokia Technologies OY Audio rendering in real time
US10555106B1 (en) 2017-01-27 2020-02-04 Facebook Technologies, Llc Gaze-directed audio enhancement
US10366708B2 (en) 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
US10424315B1 (en) 2017-03-20 2019-09-24 Bose Corporation Audio signal processing for noise reduction
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10311889B2 (en) * 2017-03-20 2019-06-04 Bose Corporation Audio signal processing for noise reduction
WO2018180024A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10249323B2 (en) 2017-05-31 2019-04-02 Bose Corporation Voice activity detection for communication headset
KR20230015513A (ko) 2017-12-07 2023-01-31 헤드 테크놀로지 에스아에르엘 음성인식 오디오 시스템 및 방법
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
US11457308B2 (en) 2018-06-07 2022-09-27 Sonova Ag Microphone device to provide audio with spatial context
WO2020033595A1 (en) 2018-08-07 2020-02-13 Pangissimo, LLC Modular speaker system
EP3668123A1 (en) * 2018-12-13 2020-06-17 GN Audio A/S Hearing device providing virtual sound
EP3873105B1 (en) 2020-02-27 2023-08-09 Harman International Industries, Incorporated System and methods for audio signal evaluation and adjustment
US11290837B1 (en) 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
US11259139B1 (en) * 2021-01-25 2022-02-22 Iyo Inc. Ear-mountable listening device having a ring-shaped microphone array for beamforming

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102947878A (zh) * 2010-06-01 2013-02-27 高通股份有限公司 用于音频均衡的系统、方法、装置、设备和计算机程序产品
CN103026733A (zh) * 2010-07-26 2013-04-03 高通股份有限公司 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体
US20130243200A1 (en) * 2012-03-14 2013-09-19 Harman International Industries, Incorporated Parametric Binaural Headphone Rendering

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001097558A2 (en) * 2000-06-13 2001-12-20 Gn Resound Corporation Fixed polar-pattern-based adaptive directionality systems
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
JP2007036608A (ja) * 2005-07-26 2007-02-08 Yamaha Corp ヘッドホン装置
US20080152167A1 (en) 2006-12-22 2008-06-26 Step Communications Corporation Near-field vector signal enhancement
JP5549299B2 (ja) * 2010-03-23 2014-07-16 ヤマハ株式会社 ヘッドフォン
JP5920922B2 (ja) * 2012-08-04 2016-05-18 株式会社コルグ 音響効果装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102947878A (zh) * 2010-06-01 2013-02-27 高通股份有限公司 用于音频均衡的系统、方法、装置、设备和计算机程序产品
CN103026733A (zh) * 2010-07-26 2013-04-03 高通股份有限公司 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体
US20130243200A1 (en) * 2012-03-14 2013-09-19 Harman International Industries, Incorporated Parametric Binaural Headphone Rendering

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426643A (zh) * 2017-07-31 2017-12-01 歌尔股份有限公司 上行降噪耳机
CN107426643B (zh) * 2017-07-31 2019-08-23 歌尔股份有限公司 上行降噪耳机
CN108683975A (zh) * 2018-05-14 2018-10-19 维沃移动通信有限公司 一种音频设备
CN110136732A (zh) * 2019-05-17 2019-08-16 湖南琅音信息科技有限公司 双通道智能音频信号处理方法、系统及音频设备
WO2023061130A1 (zh) * 2021-10-12 2023-04-20 Oppo广东移动通信有限公司 耳机、用户设备及处理信号的方法

Also Published As

Publication number Publication date
JP2015165658A (ja) 2015-09-17
EP2914016A1 (en) 2015-09-02
JP6616946B2 (ja) 2019-12-04
CN104883636B (zh) 2019-06-21
US20150249898A1 (en) 2015-09-03
US9681246B2 (en) 2017-06-13

Similar Documents

Publication Publication Date Title
CN104883636A (zh) 仿生听力耳麦
JP6977050B2 (ja) 両側性マイクロホンアレイにおける風雑音を制御すること
US8184823B2 (en) Headphone device, sound reproduction system, and sound reproduction method
US9949053B2 (en) Method and mobile device for processing an audio signal
EP3157268B1 (en) A hearing device and a hearing system configured to localize a sound source
JP6864109B2 (ja) 二重用途の両側性マイクロホンアレイ
EP3468228B1 (en) Binaural hearing system with localization of sound sources
JP2008017469A (ja) 音声処理システムおよび方法
CN104429096A (zh) 音频信号输出装置和处理音频信号的方法
JP2014174430A (ja) 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン
WO2022105690A1 (zh) 耳机及降噪方法
EP3668123A1 (en) Hearing device providing virtual sound
Guiraud et al. An introduction to the speech enhancement for augmented reality (spear) challenge
CN107465984A (zh) 用于操作双耳听觉系统的方法
JP2020102835A (ja) バイノーラル補聴器の空間聴覚を改善するための方法
JP4790559B2 (ja) 音響再生装置及び音響再生方法
Farmani et al. Sound source localization for hearing aid applications using wireless microphones
CN107113516A (zh) 扩散噪声收听
EP4181529A1 (en) Acoustic output device and control method for acoustic output device
Wu et al. Hearing aid system with 3D sound localization
CN116546416B (zh) 通过两个通道模拟三维环绕声音效的音频处理方法及系统
US20220078571A1 (en) 3d recording and playing method and laptop with function of 3d recording and playing
CN111327984B (zh) 基于零陷滤波的耳机辅听方法和耳戴式设备
WO2021129196A1 (zh) 一种语音信号处理方法及装置
CN104980869A (zh) 改进的单声道信号源定位的助听器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant