CN109155802B - 用于产生音频输出的装置 - Google Patents

用于产生音频输出的装置 Download PDF

Info

Publication number
CN109155802B
CN109155802B CN201780028354.9A CN201780028354A CN109155802B CN 109155802 B CN109155802 B CN 109155802B CN 201780028354 A CN201780028354 A CN 201780028354A CN 109155802 B CN109155802 B CN 109155802B
Authority
CN
China
Prior art keywords
sound
signal
filter
audio signal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780028354.9A
Other languages
English (en)
Other versions
CN109155802A (zh
Inventor
金莱轩
朴贤真
埃里克·维瑟
拉格胡佛·沛瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109155802A publication Critical patent/CN109155802A/zh
Application granted granted Critical
Publication of CN109155802B publication Critical patent/CN109155802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/05—Electronic compensation of the occlusion effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Headphones And Earphones (AREA)
  • Stereophonic System (AREA)

Abstract

头戴式耳机装置(100)包含经配置以接收参考声音且基于所述参考声音产生第一参考音频信号(111)的第一耳机(108)。所述头戴式耳机装置(100)进一步包含经配置以接收所述参考声音且基于所述参考声音产生第二参考音频信号(121)的第二耳机(118)。所述头戴式耳机装置(100)进一步包含耦合到所述第一耳机(108)且耦合到所述第二耳机(118)的控制器(102)。所述控制器(102)经配置以基于所述第一参考音频信号(111)与所述第二参考音频信号(121)之间的相位关系产生第一信号(107)和第二信号(117)。所述控制器(102)进一步经配置以将所述第一信号(107)输出到所述第一耳机(108)并且将所述第二信号(117)输出到所述第二耳机(118)。

Description

用于产生音频输出的装置
相关申请案的交叉参考
本申请主张在2016年5月18日提交的共同拥有的第15/158,505号美国非临时专利申请的优先权，所述申请的内容以全文引用的方式明确地并入本文中。
技术领域
本发明大体上涉及产生音频输出的装置。
背景技术
技术进步已经产生更小且更强大的计算装置。举例来说，各种便携式个人计算装置(包含例如移动和智能电话的无线电话、平板计算机和膝上型计算机)体积小、重量轻且便于用户携带。这些装置可通过无线网络传送语音和数据包。另外，许多此类装置并入有额外功能性，例如，数字静态相机、数码摄像机、数字记录器和音频文件播放器。并且，此类装置可处理可执行指令，包含可用于接入因特网的软件应用程序，例如，网络浏览器应用程序。因而，这些装置可包含相当大的计算和联网能力。
一些计算装置被并入到虚拟现实系统中。这种系统可以向用户呈现虚拟(例如，计算机产生的)感觉信息(例如，视觉信息、音频信息等)。举例来说，虚拟现实系统可以包含向用户显示虚拟(例如，计算机产生的)对象连同现实世界对象的显示装置。相应地，用户可以感知虚拟对象以及现实世界对象。另外或在替代方案中，虚拟现实系统可以包含向用户呈现虚拟(例如，计算机产生的)声音的音频输出装置。举例来说，虚拟声音可以对应于虚拟对象。为了说明，虚拟声音可以对应于与虚拟字符相关联的计算机产生的话语。然而，开放型音频系统(例如，并不完全覆盖个人的耳朵的音频系统)可以将声音广播到除用户之外的个人。另外，闭合型音频系统(例如，完全地覆盖个人的耳朵的音频系统)可以阻塞或部分阻塞用户的耳朵。由闭合型音频系统所引起的用户的耳朵的阻塞可以使来自现实世界环境的行进到用户的耳朵的声音失真。
发明内容
在特定方面中，头戴式耳机装置包含经配置以接收参考声音且基于参考声音产生第一参考音频信号的第一耳机。头戴式耳机装置进一步包含经配置以接收参考声音且基于参考声音产生第二参考音频信号的第二耳机。头戴式耳机装置进一步包含耦合到第一耳机且耦合到第二耳机的控制器。控制器经配置以基于第一参考音频信号与第二参考音频信号之间的相位关系产生第一信号和第二信号。控制器进一步经配置以将第一信号输出到第一耳机并且将第二信号输出到第二耳机。
在特定方面中，头戴式耳机装置包含第一耳机。第一耳机包含经配置以基于来自第一耳机外部的来源的参考声音产生第一参考音频信号的第一参考麦克风。第一耳机进一步包含第一扬声器和经配置以基于第一扬声器的输出产生第一反馈音频信号的第一反馈麦克风。头戴式耳机装置进一步包含第二耳机和自适应滤波器。自适应滤波器经配置以将滤波后的音频信号提供到第一扬声器，滤波后的音频信号基于第一参考音频信号和第一反馈音频信号并且基于在第二耳机处检测到的声音的指示。
在特定方面中，头戴式耳机装置包含第一耳机。第一耳机包含经配置以基于来自第一耳机外部的来源的参考声音产生第一参考音频信号的第一参考麦克风。第一耳机进一步包含经配置以基于第一参考音频信号产生第一定制音频信号的第一用户定制滤波器。第一耳机进一步包含第一扬声器和第一反馈麦克风。第一反馈麦克风经配置以基于第一扬声器的输出产生第一反馈音频信号。头戴式耳机装置进一步包含经配置以对第一定制音频信号进行滤波以将滤波后的音频信号提供到第一扬声器的自适应滤波器。滤波后的音频信号是基于第一反馈音频信号且基于在第二耳机处检测到的声音的指示滤波的。
在特定方面中，头戴式耳机装置包含用于产生第一音频输出的装置。所述用于产生第一音频输出的装置经配置以基于参考声音产生第一参考音频信号。头戴式耳机装置进一步包含用于产生第二音频输出的装置。所述用于产生第二音频输出的装置经配置以基于参考声音产生第二参考音频信号。头戴式耳机装置进一步包含用于基于第一参考音频信号与第二参考音频信号之间的相位关系产生第一信号和第二信号的装置。所述用于产生第一信号和第二信号的装置经配置以将第一信号输出到所述用于产生第一音频输出的装置并且将第二信号输出到所述用于产生第二音频输出的装置。
本发明的其它方面、优点和特征将在审阅整个申请之后变得显而易见，所述整个申请包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1是头戴式耳机装置的说明性实例的图式；
图2是头戴式耳机装置的另一说明性实例的图式；
图3是头戴式耳机装置的另一说明性实例的图式；
图4是头戴式耳机装置的另一说明性实例的图式；
图5是头戴式耳机装置的另一说明性实例的图式；以及
图6是可以包含头戴式耳机装置的装置的框图。
具体实施方式
下文参考图式描述本发明的特定方面。在描述中，贯穿图式由常用参考数字指示常用特征。如本文中所使用，各种术语仅出于描述特定实施方案的目的而使用，且并非意图进行限制。举例来说，除非上下文另外明确指示，否则单数形式“一”和“所述”也意图包含复数形式。可进一步理解，术语“包括”可与“包含”互换使用。另外，应理解，术语“其中(wherein)”可与“其中(where)”互换使用。如本文中所使用，“示例性”可指示实例、实施方案或方面，且不应理解为限制或指示偏好或优选实施方案。如本文中所使用，用于修饰例如结构、组件、操作等元件的序数词(例如，“第一”、“第二”、“第三”等)自身并不指示所述元件相对于另一元件的任何优先权或次序，而是实际上仅仅区别所述元件与具有相同名称(但使用序数术语)的另一元件。如本文中所使用，术语“集合”是指一或多个元件的分组，且术语“多个”是指多个元件。
公开了用于输出音频的装置。所述装置可以包含在闭合型音频系统中。所述装置可以再现来自闭合型音频系统外部的声音源的声音以补偿由于闭合型音频系统所引起的个人的耳朵的阻塞的声音的失真。所述装置可以再现声音，其方式为向个体指示声音源的方向。
参考图1，示出了头戴式耳机装置的说明性实施方案且一般将其表示为100。头戴式耳机装置100经配置以产生音频输出。举例来说，头戴式耳机装置100可经配置以再现源自头戴式耳机装置100外部的参考声音。头戴式耳机装置100可以再现参考声音，其方式为保留参考声音的来源的方向的指示(例如，在用户的右耳处检测到的声音与在用户的左耳处检测到的声音之间的相位差，通过用户的右耳检测到的声音的响度与通过用户的左耳检测到的声音的响度等)。
头戴式耳机装置100包含第一耳机108和第二耳机118。头戴式耳机装置100可以对应于闭合型头戴式耳机。相应地，耳机108、118可以对应于经配置以覆盖用户的耳朵的耳朵耳机或经配置以覆盖用户的耳道的耳塞。第一耳机108可以包含第一麦克风110(例如，参考麦克风)和第一扬声器112。第二耳机118可以包含第二麦克风120(例如，参考麦克风)和第二扬声器122。
当用户佩戴头戴式耳机装置100时第一扬声器112和第二扬声器122可以经定位以将音频输出到用户的耳朵。第一麦克风110和第二麦克风120可经定位以俘获到达耳机108、118外部的声音。因为耳机108、118经配置以覆盖用户的耳朵，所以麦克风110、120可以接收声音，在没有头戴式耳机装置100的情况下所述声音通常将由用户的耳朵接收。
第一耳机108可进一步包含第三麦克风114(例如，反馈麦克风)。当用户佩戴头戴式耳机装置100时第三麦克风114可以经定位使得第三麦克风114接收(例如，检测)到达第一耳朵的声音。为了说明，第三麦克风114可以定位在耳机内部(例如，与第一扬声器112一起)或定位在经配置以插入到人耳中的耳塞的一部分上(例如，与第一扬声器112一起)。第三麦克风114可以接收来源于头戴式耳机装置100外部的如通过覆盖第一耳朵的第一耳机108失真的声音。另外，第三麦克风114可以接收通过第一扬声器112输出的声音。
第二耳机118可进一步包含第四麦克风124(例如，反馈麦克风)。当用户佩戴头戴式耳机装置100时第四麦克风124可以经定位使得第四麦克风124接收(例如，检测)到达第二耳朵的声音。为了说明，第四麦克风124可以定位在耳机内部(例如，与第二扬声器122一起)或定位在经配置以插入到人耳中的耳塞的一部分上(例如，与第二扬声器122一起)。第四麦克风124可以接收来源于头戴式耳机装置100外部的如通过覆盖第二耳朵的第二耳机118失真的声音。另外，第四麦克风124可以接收通过第二扬声器122输出的声音。
头戴式耳机装置100进一步包含控制器102和存储器104。控制器102可以对应于处理器(例如，中央处理器单元、数字信号处理器等)。如在下文参考图6进一步所解释，在一些实例中控制器102可以包含于与头戴式耳机装置100通信的不同装置中。存储器104可以包含随机存取存储器、静态随机存取存储器、固态驱动器、硬盘驱动器，或任何其它类型的存储器装置。存储器104可以存储滤波器数据106(例如，一或多个滤波器系数)。在具体实例中，滤波器数据106可以对应于单个滤波器或对应于多个滤波器(例如，耳机108、118中的每一个可具有不同的对应的滤波器)。在具体实例中，第一耳机108和第二耳机118可以各自具有不同的对应的控制器。另外或在替代方案中，第一耳机108和第二耳机118可以各自具有不同的对应的存储器装置。一或多个滤波器可以包含硬件滤波器、软件滤波器或其组合。
在操作中，第一麦克风110接收来自声音源的参考声音。举例来说，参考声音可以对应于测试音调或通过扬声器输出的其它声音作为用于头戴式耳机装置100的校准过程的一部分。替代地，参考声音可以对应于源自除扬声器112、122之外的来源的任何其它声音。举例来说，参考声音对应于人类说话、狗吠叫、汽车按喇叭或任何其它声音。第一麦克风110基于如通过第一麦克风110检测到的参考声音产生第一参考音频信号111。
第二麦克风120也可以接收来自声音源的参考声音。然而，如在第一麦克风110处接收的参考声音与如在第二麦克风120处接收的参考声音的特性可以是不同的。举例来说，由于头戴式耳机装置100相对于声音源的定向，如在第一麦克风110处检测到的参考声音可具有与如在第二麦克风120处检测到的参考声音相比不同的幅度(例如，较响或较安静)。作为另一实例，如在第一麦克风110处检测到的参考声音的第一相位可以不同于如在第二麦克风120处检测到的参考声音的第二相位。第二麦克风120基于如通过第二麦克风120检测到的参考声音产生第二参考音频信号121。由于第一麦克风110和第二麦克风120相对于声音源的定位，第一参考音频信号111和第二参考音频信号121可具有不同特性。为了说明，第一参考音频信号111可具有与第二参考音频信号121相比不同的相位、与第二参考音频信号121相比不同的幅度(例如，指示音量)，或其组合。
人类可以利用声音的特性来确定声音源的位置。为了说明，如通过个人的左耳检测到的声音的音量与如通过个人的右耳检测到的声音的音量的差值可以指示哪只耳朵更接近声音。另外，个人可能够基于差值的大小确定声音来源于的具体方向。类似地，如通过左耳检测到的声音与如通过右耳检测到的声音之间的相位差(例如，由在另一只耳朵之前达到一只耳朵的声音所引起)可以指示方向。
控制器102可以基于第一参考音频信号111产生第一信号107并且基于第二参考音频信号121产生第二信号117。控制器102可以对应于与耳机108、118中的每一个相关联的不同控制器并且第一信号107和第二信号117中的每一个可以是通过控制器中的不同一个产生的。
在特定实施方案中，控制器102可以使用滤波器数据106产生第一信号107和第二信号117。举例来说，控制器102可以将滤波器数据106应用到第一参考音频信号111以产生第一信号107。因此，第一信号107可以对应于参考声音的滤波后的版本。类似地，控制器102可以将滤波器数据106应用到第二参考音频信号121以产生第二信号117。因此，第二信号117可以对应于参考声音的滤波后的版本。在具体实例中，滤波器数据106对应于多于一个滤波器。为了说明，第一滤波器可用于产生第一信号107，并且第二滤波器可用于产生第二信号117。第一扬声器112可以基于第一信号107产生第一音频输出，并且第二扬声器122可以基于第二信号117产生第二音频输出。
滤波器数据106可经配置以减少头戴式耳机装置100的用户所经历的声音干扰。举例来说，参考声音可以穿透第一耳机108使得用户的左耳可以检测参考声音的第一失真(例如，通过第一耳机108的主体)版本以及第一音频输出。滤波器数据106可经配置以减少参考声音的第一失真版本的影响，如下文进一步所解释。为了说明，滤波器数据106可经配置以产生第一信号107使得第一音频输出和参考声音的第一失真版本的总和接近参考声音。类似地，参考声音可以穿透第二耳机118使得用户的右耳可以检测参考声音的第二失真(例如，通过第二耳机118的主体)版本以及第二音频输出。滤波器数据106可经配置以减少参考声音的第二失真版本的影响，如下文进一步所解释。为了说明，滤波器数据106可经配置以产生第二信号117使得第二音频输出和参考声音的第二失真版本的总和接近参考声音。
第三麦克风114可以接收来自第一扬声器112的第一音频输出。另外，第三麦克风114可以通过第一耳机108的主体接收参考声音的第一失真版本。第三麦克风114可以基于第一音频输出和参考声音的第一失真版本产生第一反馈音频信号115。类似地，第四麦克风124可以通过第二耳机118的主体接收来自第二扬声器122的第二音频输出和参考声音的第二失真版本。第四麦克风124可以基于第二音频输出和参考声音的第二失真版本产生第二反馈音频信号125。控制器102可以基于第一反馈音频信号115和第二反馈音频信号125调节滤波器数据106以补偿(例如，滤出)参考声音的失真版本对第一和第二输出的影响。
控制器102可以基于第一参考音频信号(例如，如在第一麦克风110处检测到的参考声音)与第二参考音频信号121(例如，如在第二麦克风120处检测到的参考声音)之间的相位关系(或其它方向指示关系)产生第一信号107和第二信号117。为了说明，控制器102可以产生第一信号107和第二信号117使得第一参考音频信号111与第二参考音频信号121之间的第一相位差大体上等于第一反馈音频信号115与第二反馈音频信号125之间的第二相位差。举例来说，当产生第一信号107和第二信号117使得第一相位差大体上等于第二相位差时控制器102可以约束对应于滤波器数据106的一或多个滤波器，如下文进一步所解释。因为第一反馈音频信号115对应于呈现给用户的第一耳朵(例如，左耳或右耳)的声音并且第二反馈音频信号125对应于呈现给用户的第二耳朵的声音，所以用户可能够确定参考声音的声音源的位置。
另外或在替代方案中，控制器102可以基于第一参考音频信号111与第二参考音频信号121之间的幅度关系产生第一信号107和第二信号117。为了说明，控制器102可以产生第一信号107和第二信号117使得第一参考音频信号111的第一幅度与第二参考音频信号121的第二幅度的第一比率大体上等于第一反馈音频信号115的第三幅度与第二反馈音频信号125的第四幅度的第二比率。举例来说，当产生第一信号107和第二信号117使得第一比率大体上等于第二比率时控制器102可以约束对应于滤波器数据106的一或多个滤波器，如下文进一步所解释。因为第一反馈音频信号115对应于呈现给用户的第一耳朵(例如，左耳或右耳)的声音并且第二反馈音频信号125对应于呈现给用户的第二耳朵的声音，所以用户可能够确定参考声音的声音源的位置。
因此，头戴式耳机装置100可以实现源自头戴式耳机装置100外部的来源的声音(例如，参考声音)的穿过。另外，头戴式耳机装置100可以确定如在头戴式耳机装置100的每个耳机外部检测到的声音的一或多个声音特性(例如，幅度、相位等)。头戴式耳机装置100可以保留如在耳机中的每一个处检测到的声音特性之间的一或多个关系并且维持所述关系以产生穿过声音。相应地，用户可能够基于穿过声音确定来源的位置。
在说明性使用情况中，头戴式耳机装置100的用户可以位于嘈杂的环境中，例如，咖啡店。在此实例中，图1中说明的参考声音可以对应于在咖啡店内产生的声音。举例来说，参考声音可以对应于询问用户他或她的订单的咖啡师的语音。因为参考声音随着第一音频输出和第二音频输出传递到用户，所以即使当佩戴头戴式耳机装置100时用户也能够听见咖啡师。另外，因为第一音频输出和第二音频输出可具有基于如在耳机108、118中的每一个处检测到的参考声音的一或多个位置指示关系(例如，相位差、幅度比率)。相应地，即使例如用户的背对着咖啡师，用户也能够基于第一音频输出和第二音频输出定位咖啡师。
参考图2，示出了头戴式耳机装置100的另一实例。如图2中所说明，头戴式耳机装置100包含第一耳机108、第二耳机118、第一麦克风110、第二麦克风120、第三麦克风114和第四麦克风124。虽然未示出，但是图2的头戴式耳机装置100可以包含第一扬声器112、第二扬声器122、控制器102和存储器104。
在图2的实例中，头戴式耳机装置100包含第一滤波器202和第二滤波器204。因此，图2说明对应于两个不同的滤波器的滤波器数据106的实例。第一滤波器202可以包含硬件或软件。类似地，第二滤波器204可以包含硬件或软件。在一些实施例中，第一滤波器202和第二滤波器204可以对应于相同硬件或软件。第一滤波器202和第二滤波器204可以基于应用到共用硬件或软件的不同数据(例如，滤波器系数，例如，滤波器数据106)不同地操作。第一滤波器202可以对应于第一耳机108，并且第二滤波器204可以对应于第二耳机118。如图2中所说明的头戴式耳机装置100进一步包含第一混音器201和第二混音器211。
第一滤波器202和第二滤波器204可以在声音频谱的一或多个子带(例如，对应于人类可听见的声音频率的范围)上操作。第一滤波器202和204可以在声音波谱内的多个不同子带上单独地操作。第一反馈音频信号115可以对应于如呈现给头戴式耳机装置100的用户的第一耳朵的声音。第一反馈音频信号115可以通过等式y1(k,t)＝H1适应(k)x1(k,t-td)+H1阻塞(k)x1(k,t-td)描述，其中k对应于声音频谱的子带，t-td对应于时间周期，x1(k,t-td)是描述在所述时间周期内通过第一麦克风110检测到的子带中的声音(例如，参考声音)的函数，H1适应(k)是对应于第一滤波器202的函数，并且H1阻塞(k)是描述由第一耳机108的主体所引起的子带中的失真效应(例如，到参考声音)的函数。第二反馈音频信号125可以对应于如呈现给头戴式耳机装置100的用户的第二耳朵的声音。第二反馈音频信号125可以通过等式y2(k,t)＝H2适应(k)x2(k,t-td)+H2阻塞(k)x2(k,t-td)描述，其中k对应于声音频谱的子带，t-td对应于时间周期，x2(k,t-td)是描述在所述时间周期内通过第二麦克风检测到的子带中的声音(例如，参考声音)的函数，H2适应(k)是对应于第二滤波器204的函数，并且H2阻塞(k)是描述由第二耳机118的主体所引起的子带中的失真效应(例如，到参考声音)的函数。第一信号107可以通过表达式H1适应(k)x1(k,t-td)描述，并且第二信号117可以通过表达式H2适应(k)x2(k,t-td)描述。
为了减少H1阻塞(k)x1(k,t-td)和H2阻塞(k)x2(k,t-td)对呈现给第一耳朵和第二耳朵的声音的影响，控制器102可以根据函数
Figure BDA0001857106810000081
配置滤波器202、204。因此，控制器102可以配置第一滤波器202(例如，H1适应(k))和第二滤波器204(例如，H2适应(k))以减少通过第三麦克风114(例如，y1(k,t))检测到的声音与通过第一麦克风110(例如，x1(k,t-td))检测到的声音之间的差异以及通过第四麦克风124(例如，y2(k,t))检测到的声音与通过第二麦克风120(例如，x2(k,t-td))检测到的声音之间的差异。相应地，头戴式耳机装置100可以传递通过在头戴式耳机装置100外部检测到的声音并且滤波器202、204可以减少声音的失真版本对用户的感知的影响。
在说明性实例中，第一混音器201可以基于来自第三麦克风114的反馈(例如，第一反馈音频信号115)与第一参考音频信号111之间的差异产生第一误差信号203。第一误差信号203可以由表达式y1(k,t)-x1(k,t-td)或‖y1(k,t)-x1(k,t-td)‖2来表示。控制器可以设置第一滤波器202以减少或最小化‖y1(k,t)-x1(k,t-td)‖2。第二混音器211可以基于来自第四麦克风124的反馈(例如，第二反馈音频信号125)与第二参考音频信号121之间的差异产生第二误差信号213。第二误差信号213可以由表达式y2(k,t)-x2(k,t-td)或‖y2(k,t)-x2(k,t-td)‖2来表示。控制器可以设置第二滤波器204以减少或最小化‖y2(k,t)-x2(k,t-td)‖2。相应地，控制器102可以基于函数
Figure BDA0001857106810000091
设置第一滤波器202和第二滤波器204，如上文所解释。控制器102可以更新第一滤波器202和第二滤波器204作为通过头戴式耳机装置100检测到的新声音。相应地，第一滤波器202和第二滤波器204可以是自适应滤波器。
当设置第一滤波器202和第二滤波器204时控制器102可以应用一或多个约束条件206。一或多个约束条件可以基于x1(k,t-td)与x2(k,t-td)的声音特性之间的一或多个关系。为了说明，一或多个约束条件206可以基于x1(k,t-td)与x2(k,t-td)之间的相位关系(例如，相位差)、基于x1(k,t-td)与x2(k,t-td)之间的幅度关系、基于x1(k,t-td)与x2(k,t-td)之间的另一关系，或其组合。
在特定实例中，控制器102可以基于
Figure BDA0001857106810000092
确定第一滤波器202和第二滤波器204的滤波器系数(例如，对应于滤波器数据106)，其中约束条件是第一反馈音频信号115和第二反馈音频信号125的幅度的第一比率等于(或大体上等于)第一参考音频信号111和第二参考音频信号121的幅度的第二比率。约束条件可以表达为
Figure BDA0001857106810000093
在另一实例中，控制器102可以对
Figure BDA0001857106810000094
进行求解，其中约束条件是第一反馈音频信号115与第二反馈音频信号125之间的第一相位差等于(或大体上等于)第一参考音频信号111与第二参考音频信号121之间的第二相位差。约束条件可以表达为＜y1(k,t)-＜y1(k,t)＝＜x1(k,t-td)-＜x2(k,t-td)。如本文中所使用，符号“<”表示相位。在一些实例中，控制器102可以应用多于一个约束条件。举例来说，控制器102可以应用约束条件
Figure BDA0001857106810000095
和＜y1(k,t)-＜y1(k,t)＝＜x1(k,t-td)-＜x2(k,t-td)两者。
在一些实例中，滤波器202、204可以对应于自身更新装置(例如，具有专用控制器的自适应滤波器装置)。在此类实例中，一或多个约束条件206可以对应于指示x1(k,t-td)与x2(k,t-td)之间的相位关系的值(例如，相位差)、指示x1(k,t-td)与x2(k,t-td)之间的幅度关系的值(例如，幅度比率)，或其组合。在此类实例中，控制器102可以将一或多个约束条件206发送到滤波器202、204。第一滤波器202可以基于第一误差信号203和一或多个约束条件206自身更新。第二滤波器204可以基于第二误差信号213和一或多个约束条件206自身更新。
因此，在耳机108、118中的一个处输出的信号可基于在另一耳机处检测到的声音的指示。举例来说，第一信号107可以基于第二参考音频信号121的指示(例如，基于第二参考音频信号121的一或多个约束条件206)使用第一滤波器202产生。第二参考音频信号121的指示可以包含第二参考音频信号121的相位值或幅度值的指示。第一信号107可以进一步基于第二反馈音频信号125的指示(例如，基于第二反馈音频信号125的一或多个约束条件206)。
通过将约束条件206应用到滤波器202、204，控制器102可以使得声音通过扬声器112、122传递通过头戴式耳机装置100并且通过麦克风114、124被检测到以维持如通过麦克风110、120检测到的声音的声音特性。因此，头戴式耳机装置100可以将传递通过的声音呈现给用户以使得用户能够确定声音的来源的起源点。
参考图3，示出了头戴式耳机装置100的另一实例。如图3中所说明，头戴式耳机装置100包含第一耳机108、第二耳机118、第一麦克风110、第二麦克风120、第三麦克风114、第四麦克风124、第一混音器201和第二混音器211。虽然未示出，但是图3的头戴式耳机装置100可以包含第一扬声器112、第二扬声器122、控制器102和存储器104。
在图3的实例中，头戴式耳机装置100包含滤波器302。因此，图3说明对应于一个滤波器的滤波器数据106的实例。滤波器302可以包含硬件或软件。滤波器302可用于产生第一信号107和第二信号117两者。图3的头戴式耳机装置100进一步包含第三混音器321。
滤波器302可以在声音频谱的一或多个子带(例如，对应于人类可以听见的声音频率的范围)上操作。第一滤波器202和204可以在声音波谱内的多个不同子带上单独地操作。第一反馈音频信号115可以通过等式y1(k,t)＝H适应(k)x1(k,t-td)+H1阻塞(k)x1(k,t-td)描述，其中k对应于声音频谱的子带，t-td对应于时间周期，x1(k,t-td)是描述在所述时间周期内通过第一麦克风110检测到的子带中的声音(例如，参考声音)的函数，H适应(k)是对应于滤波器302的函数，并且H1阻塞(k)是描述由第一耳机108的主体所引起的子带中的失真效应(例如，到参考声音)的函数。第二反馈音频信号125可以通过等式y2(k,t)＝H适应(k)x2(k,t-td)+H2阻塞(k)x2(k,t-td)描述，其中k对应于声音频谱的子带，t-td对应于时间周期，x2(k,t-td)是描述在所述时间周期内通过第二麦克风检测到的子带中的声音(例如，参考声音)的函数，H2适应(k)是对应于第二滤波器204的函数，并且H2阻塞(k)是描述由第二耳机118的主体所引起的子带中的失真效应(例如，到参考声音)的函数。因此，第一信号107可以通过表达式H适应(k)x1(k,t-td)描述，并且第二信号117可以通过表达式H适应(k)x2(k,t-td)描述。
为了减少H1阻塞(k)x1(k,t-td)和H2阻塞(k)x2(k,t-td)的影响，控制器102可以根据函数
Figure BDA0001857106810000111
配置滤波器302。因此，控制器102可以配置滤波器302(例如，H适应(k))以减少通过第三麦克风114(例如，y1(k,t))检测到的声音与通过第一麦克风110(例如，x1(k,t-td))检测到的声音之间的差异以及通过第四麦克风124(例如，y2(k,t))检测到的声音与通过第二麦克风120(例如，x2(k,t-td))检测到的声音之间的差异。相应地，头戴式耳机装置100可以传递通过在头戴式耳机装置100外部检测到的声音，并且滤波器302可以减少声音的失真版本对用户的感知的影响。
在说明性实例中，第一混音器201可以基于来自第三麦克风114的反馈(例如，第一反馈音频信号115)与第一参考音频信号111之间的差异产生第一误差信号203。第一误差信号203可以由表达式y1(k,t)-x1(k,t-td)或‖y1(k,t)-x1(k,t-td)‖2来表示。第二混音器211可以基于来自第四麦克风124的反馈(例如，第二反馈音频信号125)与第二参考音频信号121之间的差异产生第二误差信号213。第二误差信号213可以由表达式y2(k,t)-x2(k,t-td)或‖y2(k,t)-x2(k,t-td)‖2来表示。第三混音器321可以基于第一误差信号203和第二误差信号213产生第三误差信号315。第三误差信号315可以由表达式‖y1(k,t)-x1(k,t-td)‖2+‖y2(k,t)-x2(k,t-td)‖2表示。控制器可以设置滤波器302以减少或最小化‖y1(k,t)-x1(k,t-td)‖2+‖y2(k,t)-x2(k,t-td)‖2。相应地，控制器基于函数
Figure BDA0001857106810000112
设置滤波器302(例如，设置例如滤波器数据106的系数)，如上文所解释。控制器102可以更新滤波器302作为通过头戴式耳机装置100检测到的新声音。相应地，滤波器302可以是自适应滤波器。
因为滤波器302(例如，滤波器数据106)是基于在耳机108、118两者处检测到的声音的指示更新的，所以在一个耳机处产生的声音可以基于在另一个耳机处检测到的声音。举例来说，第一信号107可以使用部分地基于第二参考音频信号121更新的滤波器302产生。
通过使用相同滤波器(例如，滤波器302)头戴式耳机装置100可以维持在y1(k,t)(例如，第一反馈音频信号115)和y2(k,t)(例如，第二反馈音频信号125)中的x1(k,t-td)(例如，第一参考音频信号111)与x2(k,t-td)(例如，第二参考音频信号121)之间的一或多个关系而不应用约束条件。举例来说，第一反馈音频信号115与第二反馈音频信号125之间的第一幅度关系(例如，
Figure BDA0001857106810000121
)可以基本上等于第一参考音频信号111与第二参考音频信号121之间的第二幅度关系(例如，
Figure BDA0001857106810000122
)。另外或在替代方案中，第一反馈音频信号115与第二反馈音频信号125之间的第一相位关系(例如，＜y1(k,t)-＜y1(k,t))可以基本上等于第一参考音频信号111与第二参考音频信号121之间的第二相位关系(例如，＜x1(k,t-td)-＜x2(k,t-td))。也就是说，头戴式耳机装置100可以传递声音穿过用户的耳朵使得在每个耳朵处接收到的传递通过的声音保持方向指示特性。
参考图4，示出了头戴式耳机装置100的另一实例。如图4中所说明，头戴式耳机装置100包含第一耳机108和第二耳机118、第一麦克风110、第二麦克风120、第三麦克风114、第四麦克风124、第一滤波器202、第二滤波器204、第一混音器201和第二混音器211。虽然未示出，但是图4的头戴式耳机装置100可以包含第一扬声器112、第二扬声器122、控制器102和存储器104。
在图4的实例中，头戴式耳机装置100进一步包含第一用户定制滤波器402和第二用户定制滤波器404。因此，图4说明对应于四个不同的滤波器的滤波器数据106的实例。第一用户定制滤波器402可以对应于第一耳机108，并且第二用户定制滤波器404可以对应于第二耳机118。应注意虽然图4说明添加到图2的两个滤波器实施方案的用户定制滤波器，但是在其它实例中，一或多个用户定制滤波器可以并入到其它实施方案中，例如，图3中说明的单个滤波器实施方案。
在图4中，将第一用户定制滤波器402应用(例如，通过控制器102)到第一参考音频信号111以产生第一定制音频信号411。在特定实例中，第一用户定制滤波器402对应于用户的第一耳朵。第一用户定制滤波器402可经配置以将一或多个增益应用到输入到第一用户定制滤波器402中的信号的频率子带。举例来说，控制器102可以基于指示经由第一耳朵的声音频谱的多个频率子带的用户的感知的用户输入确定第一用户定制滤波器402。用户输入可以响应于在多个频率子带上输出到第一耳朵(例如，通过第一耳机108)的一或多个测试音调。用户输入可以指示在频率子带中的每一个上的用户听觉感知。相应地，第一用户定制滤波器402可以基于经由第一耳朵的声音的用户听觉感知(例如，由于听觉损失或其它变化)调节声音。
可以将第二用户定制滤波器404应用(例如，通过控制器102)到第二参考音频信号121以产生第二定制音频信号421。第二用户定制滤波器404可以对应于用户的第二耳朵。第二用户定制滤波器404可经配置以将一或多个增益应用到输入到第二用户定制滤波器404中的信号的频率子带。举例来说，控制器102可以基于指示经由第二耳朵的声音频谱的多个频率子带的用户的感知的用户输入确定第二用户定制滤波器404。用户输入可以响应于在多个频率子带上输出到第二耳朵(例如，通过第二耳机118)的一或多个测试音调。用户输入可以指示在频率子带中的每一个上的用户听觉感知。相应地，第二用户定制滤波器404可以基于经由第一耳朵的声音的用户听觉感知(例如，由于听觉损失或其它变化)调节声音。
与图2相比，第一定制音频信号411可以替代第一参考音频信号111作为到第一滤波器202的输入。类似地，第二定制音频信号421可以替代第二参考音频信号121作为到第二滤波器204的输入。相应地，第一信号107的多个频率子带的幅度可以经调适用于用户的第一耳朵，并且第二信号117的多个频率子带的幅度可以经调适用于用户的第二耳朵。
在图4中，第一反馈音频信号115可以通过等式y1(k,t)＝H1适应(k)H1用户(k)x1(k,t-td)+H1阻塞(k)x1(k,t-td)描述，其中k对应于声音频谱的子带，t-td对应于时间周期，x1(k,t-td)是描述在所述时间周期内通过第一麦克风110检测到的子带中的声音(例如，参考声音)的函数，H1用户(k)是对应于第一用户定制滤波器402的函数，H1适应(k)是对应于第一滤波器202的函数，并且H1阻塞(k)是描述由第一耳机108的主体所引起的子带中的失真效应(例如，到参考声音)的函数。第二反馈音频信号125可以对应于如呈现给头戴式耳机装置100的用户的第二耳朵的声音。第二反馈音频信号125可以通过等式y2(k,t)＝H2适应(k)H2用户(k)x2(k,t-td)+H2阻塞(k)x2(k,t-td)描述，其中k对应于声音频谱的子带，t-td对应于时间周期，x2(k,t-td)是描述在所述时间周期内通过第二麦克风检测到的子带中的声音(例如，参考声音)的函数，H2用户(k)是对应于第二用户定制滤波器404的函数，H2适应(k)是对应于第二滤波器204的函数，并且H2阻塞(k)是描述由第二耳机118的主体所引起的子带中的失真效应(例如，到参考声音)的函数。第一信号107可以通过表达式H1适应(k)x1(k,t-td)描述，并且第二信号117可以通过表达式H2适应(k)x2(k,t-td)描述。
为了减少H1阻塞(k)x1(k,t-td)和H2阻塞(k)x2(k,t-td)对呈现给第一耳朵和第二耳朵的声音的影响，控制器102可以根据函数
Figure BDA0001857106810000141
配置滤波器202、204，其中H1用户(k)x1对应于第一定制音频信号411并且H2用户(k)x2对应于第二定制音频信号421。因此，控制器102可以配置第一滤波器202(例如，H1适应(k))和第二滤波器204(例如，H2适应(k))以减少通过第三麦克风114(例如，y1(k,t))检测到的声音与第一用户定制滤波器402(例如，H1用户(k)x1(k,t-td))的输出之间的差异以及通过第四麦克风124(例如，y2(k,t))检测到的声音与第二用户定制滤波器404(例如，H2用户(k)x2(k,t-td))的输出之间的差异。相应地，头戴式耳机装置100可以传递通过在头戴式耳机装置100外部检测到的声音的调节版本，并且滤波器202、204可以减少声音的失真版本对用户的感知的影响。
另外，当设置第一滤波器202和第二滤波器204时控制器102可以应用约束条件206中的一或多个。一或多个约束条件可以基于H1用户(k)x1(k,t-td)与H2用户(k)x2(k,t-td)的声音特性之间的一或多个关系。为了说明，一或多个约束条件206可以基于H1用户(k)x1(k,t-td)与H2用户(k)x2(k,t-td)之间的相位关系(例如，相位差)、基于H1用户(k)x1(k,t-td)与H2用户(k)x2(k,t-td)之间的幅度关系、基于H1用户(k)x1(k,t-td)与H2用户(k)x2(k,t-td)之间的另一关系，或其组合。
在特定实例中，控制器102可以基于
Figure BDA0001857106810000142
确定第一滤波器202和第二滤波器204的滤波器系数(例如，对应于滤波器数据106)，其中约束条件是第一反馈音频信号115和第二反馈音频信号125的幅度的第一比率等于(或大体上等于)第一定制音频信号411和第二定制音频信号421的幅度的第二比率。也就是说，约束条件可以表达为
Figure BDA0001857106810000143
在另一实例中，控制器102可以对
Figure BDA0001857106810000151
进行求解，其中约束条件是第一反馈音频信号115与第二反馈音频信号125之间的第一相位差等于第一定制音频信号411与第二定制音频信号421之间的第二相位差。
也就是说，约束条件可以表达为＜y1(k,t)-＜y1(k,t)＝＜H1用户(k)x1(k,t-td)-＜H2用户(k)x2(k,t-td)。在一些实例中，控制器102可以应用多于一个约束条件。举例来说，控制器102可以应用约束条件
Figure BDA0001857106810000152
和＜y1(k,t)-＜y1(k,t)＝＜H1用户(k)x1(k,t-td)-＜H2用户(k)x2(k,t-td)两者。
通过将约束条件206应用到滤波器202、204，控制器102可以使得用户定制的声音通过扬声器112、122传递通过头戴式耳机装置100并且通过麦克风114、124被检测到以维持如通过麦克风110、120检测到的声音的声音特性。因此，头戴式耳机装置100可以将传递通过的声音呈现给用户以使得用户能够确定声音的来源的起源点。
在咖啡店中的头戴式耳机装置100的用户的使用情况中，用户可能具有影响音频频谱的一或多个子带的一或两只耳朵的听觉损伤。第一用户定制滤波器402可以基于与用户的左耳相关联的资料档案将一或多个增益应用到第一参考音频信号111的子带。另外或在替代方案中，第二用户定制滤波器404可以将一或多个增益应用到第二参考音频信号的子带。相应地，尽管有听觉损伤用户也能够听见和定位咖啡师。
参考图5，示出了头戴式耳机装置100的另一实例。如图5中所说明，头戴式耳机装置100包含第一耳机108、第二耳机118、第一麦克风110、第二麦克风120、第三麦克风114、第四麦克风124、第一滤波器202、第二滤波器204、第一用户定制滤波器402、第二用户定制滤波器404、第一混音器201和第二混音器211。虽然未示出，图5的头戴式耳机装置100可以包含第一扬声器112、第二扬声器122、控制器102和存储器104。
图5中说明的实施方案可以如参考图4描述的操作，不同之处在于第一用户定制滤波器402和第二用户定制滤波器404可以进一步接收来自额外的声音源的声音数据。举例来说，第一用户定制滤波器402可以接收第一虚拟声音信号并且第二用户定制滤波器404可以接收第二虚拟声音信号。第一用户定制滤波器402可以混合第一虚拟声音与第一参考音频信号111并且将多个增益应用到混合信号的频率子带以产生第一定制音频信号411。第一虚拟声音信号可以对应于虚拟声音(例如，计算机产生的声音)的第一组分(例如，左耳或右耳)。虚拟声音可以是通过控制器102产生的或在头戴式耳机装置100处从另一计算装置接收的。因此，第一定制音频信号411可以表示参考声音和虚拟声音。
第二用户定制滤波器404可以混合第二虚拟声音与第二参考音频信号121并且将多个增益应用到混合信号的频率子带以产生第二定制音频信号421。第二虚拟声音信号可以对应于虚拟声音的第二组分(例如，左耳或右耳)。因此，第二定制音频信号421可以表示参考声音和虚拟声音。
因此，图5说明头戴式耳机装置100可以将检测到的声音传递到用户并且可以包含在传递通过的声音中的虚拟声音。传递通过的声音可以是使用一或多个滤波器调节的以补偿穿透头戴式耳机装置100的主体的声音。另外，声音可以传递通过用户的每只耳朵，其方式为保持在左耳听见的声音与在右耳听见的声音之间的方向指示关系。应注意在图2和3中说明的头戴式耳机装置100的实例也可以支持虚拟声音与传递通过的声音混合。举例来说，第一滤波器202可以混合第一参考音频信号111与虚拟声音，第二滤波器204可以混合第二参考音频信号121与虚拟声音，滤波器302可以混合第一参考音频信号111与虚拟声音，或者滤波器302可以混合第二参考音频信号121与虚拟声音。相应地，本文中所描述的实施例中的任一个可以支持混合虚拟声音与传递通过到用户的声音。
在咖啡店中的头戴式耳机装置100的用户的使用情况中，第一虚拟声音和第二虚拟声音可以对应于音乐输出的左和右音频通道。第一信号107可以包含咖啡师的语音和音乐输出的左音频通道。类似地，第二音频信号117可以包含咖啡师的语音和音乐输出。相应地，当通过头戴式耳机装置100收听音乐时用户可能够听到和定位咖啡师。
参考图6，描绘了装置(例如，无线通信装置)的特定说明性实施方案的框图，且所述装置通常表示为600。在各种实施方案中，装置600可具有与图6中所说明的组件相比更多或更少的组件。
在特定实施方案中，装置600包含耦合到存储器632的处理器610，例如，中央处理单元(CPU)或数字信号处理器(DSP)。处理器610可包含或对应于图1中说明的控制器102。
存储器632包含指令668(例如，可执行指令)，例如，计算机可读指令或处理器可读指令。指令668可以包含可通过计算机(例如，处理器610)执行的一或多个指令。
图6还说明耦合到处理器610并耦合到显示器628的显示控制器626。译码器/解码器(编解码器)634也可以耦合到处理器610。扬声器636和麦克风638可以耦合到编解码器634。扬声器636可以对应于第一扬声器112和第二扬声器122。麦克风638可以对应于第一麦克风110、第二麦克风120、第三麦克风114和第四麦克风124。
图6还说明例如无线控制器的无线接口640和收发器646可以耦合到处理器610且耦合到天线642，使得经由天线642、收发器646和无线接口640接收到的无线数据可以提供到处理器610。在一些实施方案中，处理器610、显示控制器626、存储器632、编解码器634、无线接口640和收发器646包含于封装内系统或芯片上系统装置622中。在一些实施方案中，输入装置630和电源644耦合到芯片上系统装置622。此外，在特定实施方案中，如图6中所说明，显示器628、输入装置630、扬声器636、麦克风638、天线642和电源644在芯片上系统装置622外部。在特定实施方案中，显示器628、输入装置630、扬声器636、麦克风638、天线642和电源644中的每一个可以耦合到芯片上系统装置622的组件，例如，接口或控制器。
装置600可以包含头戴式耳机，例如，头戴式耳机装置100。头戴式耳机可以对应于经配置以呈现仿真(例如，计算机产生的)听觉或视觉感官输入给用户的虚拟或扩增现实头戴式耳机。在替代实施例中，装置600可以包含移动通信装置、智能手机、蜂窝电话、膝上型计算机、计算机、平板计算机、个人数字助理、显示装置、电视、游戏控制台、音乐播放器、无线电、数字视频播放器、数字视频光盘(DVD)播放器、调谐器、相机、导航装置、车辆、车辆的组件，或其与头戴式耳机通信或集成的任何组合。
在说明性实施方案中，存储器632包含或存储指令668(例如，可执行指令)，例如，计算机可读指令或处理器可读指令。举例来说，存储器632可包含或对应于存储指令668的非暂时性计算机可读媒体。指令668可以包含可通过计算机(例如，处理器610)执行的一或多个指令。在通过处理器610执行时，指令668可以使得处理器610执行参考图1到5的上文所描述的操作中的任一个。具体地说，指令668可以使得处理器610操作为如上文所描述的控制器102。
存储器632进一步包含滤波器数据680。滤波器数据680可以对应于滤波器数据106、第一滤波器202、第二滤波器204、滤波器302、第一用户定制滤波器402、第二用户定制滤波器404，或其组合。处理器610可以将滤波器数据680应用到参考音频信号以产生新信号。在替代实施例中，滤波器数据680可以对应于可对处理器610进行存取而非对存储于存储器632中的软件进行存取的一或多个硬件滤波器。
存储器632进一步包含约束条件数据682。约束条件数据682可以对应于上文所描述的一或多个约束条件206。当产生滤波后的音频信号时处理器610可以将约束条件数据682应用到滤波器数据680以便维持一或多个方向指示关系，如上文所解释。在一些实例中，存储器632可能不包含约束条件数据682，但是处理器610可以维持如例如上文参考图3所描述的一或多个方向指示关系。
结合所描述的方面，头戴式耳机装置包含用于产生第一音频输出的装置。所述用于产生第一音频输出的装置经配置以基于参考声音产生第一参考音频信号。所述用于产生第一音频输出的装置可以对应于第一耳机108、第一耳机108的一或多个组件、控制器102、滤波器数据106、第一滤波器202、滤波器302、第一用户定制滤波器402、处理器610、指令668、滤波器数据680、扬声器636、编解码器634，或其组合。
头戴式耳机装置进一步包含用于产生第二音频输出的装置。所述用于产生第二音频输出的装置经配置以基于参考声音产生第二参考音频信号。所述用于产生第二音频输出的装置可以对应于第二耳机118、第二耳机118的一或多个组件、控制器102、滤波器数据106、第二滤波器204、滤波器302、第二用户定制滤波器404、处理器610、指令668、滤波器数据680、扬声器636、编解码器634，或其组合。
头戴式耳机装置进一步包含用于基于第一参考音频信号与第二参考音频信号之间的相位关系产生第一信号和第二信号的装置。所述用于产生第一信号和第二信号的装置经配置以将第一信号输出到所述用于产生第一音频输出的装置并且将第二信号输出到所述用于产生第二音频输出的装置。所述用于产生第一信号和第二信号的装置可以对应于控制器102、滤波器数据106、第一滤波器202、第二滤波器204、第一用户定制滤波器402、第二用户定制滤波器404、处理器610、指令668、滤波器数据680编解码器634，或其组合。
头戴式耳机装置可进一步包含用于检测参考声音的第一装置。所述用于检测的第一装置包含于所述用于产生第一输出的装置中。所述用于检测的第一装置经配置以基于参考声音产生参考音频信号。所述用于检测的第一装置可以对应于第三麦克风114或麦克风638。
头戴式耳机装置可进一步包含用于检测参考声音的第二装置。所述用于检测的第二装置包含于所述用于产生第二输出的装置中。所述用于检测的第二装置经配置以基于参考声音产生参考音频信号。所述用于检测的第二装置可以对应于第四麦克风124或麦克风638。
所公开的方面中的一或多个可以在例如装置600的系统或设备中实施。装置600可以对应于头戴式耳机装置100或与头戴式耳机装置100通信的另一装置。举例来说，装置600的处理器610可以对应于控制器102。虽然未在图1到5中说明，但是头戴式耳机装置100可以包含有线和/或无线接口以与装置600交换信号。相应地，装置600可以控制头戴式耳机装置100，如上文所描述。
装置600可以包含通信装置、固定位置数据单元、移动位置数据单元、移动电话、蜂窝电话、卫星电话、计算机、平板计算机、便携式计算机、显示装置、媒体播放器或桌上型计算机。替代地或另外，装置600可以包含机顶盒、娱乐单元、导航装置、个人数字助理(PDA)、监视器、计算机监视器、电视、无线电、卫星无线电、音乐播放器、数字音乐播放器、便携式音乐播放器、视频播放器、数字视频播放器、数字视频光盘(DVD)播放器、便携式数字视频播放器、车辆、集成于车辆内的组件、包含处理器或存储或检索数据或计算机指令的任何其它装置，或其组合。作为另一说明性非限制性实例，所述系统或所述设备可以包含远程单元，例如，手持式个人通信系统(PCS)单元、便携式数据单元(例如，支持全球定位系统(GPS)的装置)、仪表读取设备，或包含处理器或存储或检索数据或计算机指令的任何其它装置，或其任何组合。
在说明性实例中，装置600可以接收来自头戴式耳机装置100的第一参考音频信号111、第二参考音频信号121，或其组合。举例来说，装置600可以经由有线接口(未示出)、天线642、收发器646、无线接口640或其组合接收第一参考音频信号111、第二参考音频信号121或其组合。处理器600可以产生第一信号107、第二信号117或其组合，如上文参考图1到5所描述。另外，装置600可以将第一信号107、第二信号117或其组合发射到头戴式耳机装置100(例如，经由有线接口、天线642、收发器646、无线接口640，或其组合)。因此，与头戴式耳机装置100结合操作的装置600可以执行上文参考图1到5所描述的操作。在替代实例中，装置600和头戴式耳机装置100可以交换信号的不同组合以便执行上文参考图1到5所描述的操作。
虽然图1到6中的一或多个可以说明根据本发明的教示内容的系统、设备或方法，但是本发明不限于这些所说明的系统、设备或方法。如本文中所说明或所描述的图1到6中的任一个的一或多个功能或组件可与图1到6中的另一个的一或多个其它部分组合。相应地，本文中所描述的单个实施方案不应被解释为限制性的，并且本发明的实施方案可在不脱离本发明的教示的情况下进行适当组合。
所属领域的技术人员将进一步了解结合本文中所公开的实施方案所描述的各种说明性的逻辑块、配置、模块、电路以及算法步骤可以实施为电子硬件、通过处理器执行的计算机软件，或两者的组合。上文已大体就其功能性而言描述了各种说明性组件、块、配置、模块、电路和步骤。此功能性是实施为硬件还是处理器可执行指令取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可以针对每一特定应用以不同方式实施所描述的功能性，但是此类实施决策不应被解释为引起对本发明的范围的脱离。
本文中结合本发明所描述的方法或算法的步骤可直接实施在硬件中、在处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动的磁盘、压缩光盘只读存储器(CD-ROM)或所属领域中已知的任何其它形式的非暂时性存储媒体中。示例性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成整体。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。在替代方案中，处理器和存储媒体可以作为离散组件驻留在计算装置或用户终端中。
提供先前描述以使所属领域的技术人员能够进行或使用所公开的实施方案。对于所属领域的技术人员来说，对这些实施方案的各种修改将显而易见，且本文中所定义的原理可在不脱离本发明的范围的情况下应用于其它实施方案。因此，本发明并非意图限于本文中所示的实施方案，而应符合与如通过所附权利要求书定义的原理及新颖特征一致的可能的最广范围。

Claims (8)

1.一种头戴式耳机装置，其包括：
第一耳机，被配置为：
在第一参考麦克风处接收参考声音；
在所述第一参考麦克风处基于所述参考声音产生第一参考音频信号；
从控制器接收第一信号；
在第一扬声器处基于所述第一信号产生第一音频输出；并且
在第一反馈麦克风处基于检测到所述第一音频输出和所述参考声音产生第一反馈音频信号；
第二耳机，被配置为：
在第二参考麦克风处接收所述参考声音；
在所述第二参考麦克风处基于所述参考声音产生第二参考音频信号，所述第二参考音频信号相对于所述第一参考音频信号具有第一相位差；
从所述控制器接收第二信号；
在第二扬声器处基于所述第二信号产生第二音频输出；并且
在第二反馈麦克风处基于检测到所述第二音频输出和所述参考声音产生第二反馈音频信号；以及
所述控制器，耦合到所述第一耳机并且耦合到所述第二耳机并且被配置为：
基于所述第一相位差产生所述第一信号和所述第二信
号，使得所述第一反馈音频信号和所述第二反馈音频信号之间的第二相位差基本上等于所述第一相位差；
将所述第一信号提供给所述第一耳机；以及
将所述第二信号提供给所述第二耳机。
2.根据权利要求1所述的头戴式耳机装置，其中所述控制器被配置为：
产生所述第一信号，使得所述第一反馈音频信号和所述第一参考音频信号之差被减小。
3.根据权利要求1所述的头戴式耳机装置，其中所述控制器被配置为：
基于所述第一反馈音频信号和所述第一参考音频信号之差产生误差信号；
确定减小所述误差信号的滤波器的滤波器系数，其中所述滤波器系数是基于所述第一相位差的；并且
基于所述滤波器系数通过将所述滤波器应用于所述第一参考音频信号来产生所述第一信号。
4.根据权利要求1所述的头戴式耳机装置，其中所述控制器被配置为：
进一步地基于所述第一参考音频信号与所述第二参考音频信号之间的幅度关系来产生所述第一信号和所述第二信号。
5.根据权利要求4所述的头戴式耳机装置，其中所述幅度关系对应于所述第一参考音频信号的第一幅度与所述第二参考音频信号的第二幅度之间的第一比率。
6.根据权利要求1所述的头戴式耳机装置，其中所述控制器被配置为：
通过将第一滤波器应用于所述第一参考音频信号来产生所述第一信号。
7.根据权利要求6所述的头戴式耳机装置，其中所述控制器被配置为：
通过将第二滤波器应用于所述第二参考音频信号来产生所述第二信号。
8.根据权利要求7所述的头戴式耳机装置，其中所述第一滤波器和所述第二滤波器是相同滤波器。
CN201780028354.9A 2016-05-18 2017-03-30 用于产生音频输出的装置 Active CN109155802B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/158,505 2016-05-18
US15/158,505 US10547947B2 (en) 2016-05-18 2016-05-18 Device for generating audio output
PCT/US2017/025051 WO2017200646A1 (en) 2016-05-18 2017-03-30 Device for generating audio output

Publications (2)

Publication Number Publication Date
CN109155802A CN109155802A (zh) 2019-01-04
CN109155802B true CN109155802B (zh) 2021-11-19

Family

ID=58549217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780028354.9A Active CN109155802B (zh) 2016-05-18 2017-03-30 用于产生音频输出的装置

Country Status (9)

Country Link
US (1) US10547947B2 (zh)
EP (2) EP3720106B1 (zh)
JP (1) JP6705020B2 (zh)
KR (1) KR102161962B1 (zh)
CN (1) CN109155802B (zh)
BR (1) BR112018073494A2 (zh)
ES (1) ES2806681T3 (zh)
HU (1) HUE049458T2 (zh)
WO (1) WO2017200646A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906885B2 (en) 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US10978039B2 (en) * 2018-05-18 2021-04-13 Oshkosh Corporation In-seat sound suppression
WO2019236110A1 (en) * 2018-06-08 2019-12-12 Halfaker Alvin J Noise reduction earmuffs system and method
US10507138B1 (en) 2018-06-08 2019-12-17 Alvin J. Halfaker Noise reduction earmuffs system and method
CA3129853A1 (en) * 2019-02-12 2020-08-20 Rapture Innovation Labs Private Limited An headphone system
SE543749C2 (en) * 2019-11-15 2021-07-13 Hearezanz Ab Volume dependent audio compensation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815582A (en) * 1994-12-02 1998-09-29 Noise Cancellation Technologies, Inc. Active plus selective headset
CN103026733A (zh) * 2010-07-26 2013-04-03 高通股份有限公司 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体
CN103392349A (zh) * 2011-02-23 2013-11-13 高通股份有限公司 用于空间选择性音频增强的系统、方法、设备和计算机可读媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993026085A1 (en) 1992-06-05 1993-12-23 Noise Cancellation Technologies Active/passive headset with speech filter
JP4126025B2 (ja) * 2004-03-16 2008-07-30 松下電器産業株式会社 音処理装置、音処理方法および音処理プログラム
US8189803B2 (en) 2004-06-15 2012-05-29 Bose Corporation Noise reduction headset
US8477955B2 (en) 2004-09-23 2013-07-02 Thomson Licensing Method and apparatus for controlling a headphone
JP2008167319A (ja) * 2006-12-28 2008-07-17 Yamaha Corp ヘッドホンシステム、ヘッドホン駆動制御装置およびヘッドホン
EP2133866B1 (en) * 2008-06-13 2016-02-17 Harman Becker Automotive Systems GmbH Adaptive noise control system
US8416959B2 (en) * 2009-08-17 2013-04-09 SPEAR Labs, LLC. Hearing enhancement system and components thereof
WO2011139502A1 (en) 2010-05-06 2011-11-10 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
WO2011159858A1 (en) 2010-06-17 2011-12-22 Dolby Laboratories Licensing Corporation Method and apparatus for reducing the effect of environmental noise on listeners
JP5610945B2 (ja) * 2010-09-15 2014-10-22 株式会社オーディオテクニカ ノイズキャンセルヘッドホン及びノイズキャンセルイヤーマフ
US9368096B2 (en) 2011-12-20 2016-06-14 Texas Instruments Incorporated Method and system for active noise cancellation according to a type of noise
US20130304476A1 (en) * 2012-05-11 2013-11-14 Qualcomm Incorporated Audio User Interaction Recognition and Context Refinement
JP5880340B2 (ja) * 2012-08-02 2016-03-09 ソニー株式会社 ヘッドホン装置、装着状態検出装置、装着状態検出方法
US20140126733A1 (en) 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. User Interface for ANR Headphones with Active Hear-Through
KR20140125969A (ko) 2013-04-19 2014-10-30 삼성전자주식회사 소음 제거를 위한 헤드셋
US9271077B2 (en) 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
US10051371B2 (en) * 2014-03-31 2018-08-14 Bose Corporation Headphone on-head detection using differential signal measurement
US9881619B2 (en) 2016-03-25 2018-01-30 Qualcomm Incorporated Audio processing for an acoustical environment
US9906885B2 (en) 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815582A (en) * 1994-12-02 1998-09-29 Noise Cancellation Technologies, Inc. Active plus selective headset
CN103026733A (zh) * 2010-07-26 2013-04-03 高通股份有限公司 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体
CN103392349A (zh) * 2011-02-23 2013-11-13 高通股份有限公司 用于空间选择性音频增强的系统、方法、设备和计算机可读媒体

Also Published As

Publication number Publication date
US20170339491A1 (en) 2017-11-23
KR102161962B1 (ko) 2020-10-21
BR112018073494A2 (pt) 2019-03-26
ES2806681T3 (es) 2021-02-18
US10547947B2 (en) 2020-01-28
KR20190008529A (ko) 2019-01-24
WO2017200646A1 (en) 2017-11-23
JP6705020B2 (ja) 2020-06-03
EP3720106A1 (en) 2020-10-07
JP2019518989A (ja) 2019-07-04
EP3459231A1 (en) 2019-03-27
CN109155802A (zh) 2019-01-04
EP3720106B1 (en) 2022-11-23
EP3459231B1 (en) 2020-04-15
HUE049458T2 (hu) 2020-09-28

Similar Documents

Publication Publication Date Title
CN109155802B (zh) 用于产生音频输出的装置
US11676568B2 (en) Apparatus, method and computer program for adjustable noise cancellation
US9508335B2 (en) Active noise control and customized audio system
JP6374529B2 (ja) ヘッドセットと音源との間のオーディオの協調的処理
JP6325686B2 (ja) ヘッドセットと音源との間のオーディオの協調的処理
US20120213393A1 (en) Providing notification sounds in a customizable manner
EP2953383B1 (en) Signal processing circuit
US10043535B2 (en) Method and device for spectral expansion for an audio signal
US20200107139A1 (en) Method for processing microphone signals in a hearing system and hearing system
EP3323214A1 (en) Personal audio mixer
US20140294193A1 (en) Transducer apparatus with in-ear microphone
KR101659410B1 (ko) 개인사용 스마트기기와 이어폰 조합의 사운드최적화 장치 및 방법
US10636436B2 (en) Method and device for spectral expansion for an audio signal
US10277990B2 (en) Adaptive level estimator, a hearing device, a method and a binaural hearing system
KR101971608B1 (ko) 웨어러블 음향 장치
Sigismondi Personal monitor systems
US11653137B2 (en) Method at an electronic device involving a hearing device
CN116367050A (zh) 处理音频信号的方法、存储介质、电子设备和音频设备
CN115604611A (zh) 音频信号的监测
Einhorn Modern hearing aid technology—A user's critique
PL225391B1 (pl) Układ do poprawy jakości dźwięku cyfrowych urządzeń elektronicznych

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant