CN109587601B - 使用虚拟声学系统将声音移入和移出听者头部的系统 - Google Patents
使用虚拟声学系统将声音移入和移出听者头部的系统 Download PDFInfo
- Publication number
- CN109587601B CN109587601B CN201811092911.6A CN201811092911A CN109587601B CN 109587601 B CN109587601 B CN 109587601B CN 201811092911 A CN201811092911 A CN 201811092911A CN 109587601 B CN109587601 B CN 109587601B
- Authority
- CN
- China
- Prior art keywords
- sound
- sound program
- program
- head
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本发明题为“使用虚拟声学系统将声音移入和移出听者头部的系统”。本发明公开了在用于渲染耳机的声音程序的设备或方法中,接收相对于第一听筒和第二听筒放置声音程序的位置。如果所述位置介于所述第一听筒和所述第二听筒之间,则对所述声音程序进行滤波以产生低频部分和高频部分。根据所述位置平移所述高频部分以产生第一高频信号和第二高频信号。将所述低频部分和所述第一高频信号组合以产生第一耳机驱动器信号来驱动第一听筒。类似地产生第二耳机驱动器信号。所述声音程序可为立体声程序。所述设备或方法还可提供给介于所述第一听筒和所述近场边界之间的位置。还描述了其它方面。
Description
该非临时申请要求2017年9月29日提交的美国临时申请第62/566,087号的较早提交日期的权益。
技术领域
本公开整体涉及双耳声音合成领域;更具体地讲,涉及针对比近场边界更靠近听者的声音的双耳声音合成。
背景技术
人类听觉系统通过根据声音相对于听者的位置对声音进行滤波来修改传入声音。修改过的声音涉及大脑用来检测声音位置的一组空间线索。人类听力是双耳的,使用两只耳朵来感知由声音形成的两个声压信号。
声音通过由声源产生的空气压力的波动在空气中传输。空气压力的波动作为压力波从声源传播到听者的耳朵。声压波与声源和听者耳朵之间的路径的环境进行交互。具体地讲,声压波与听者头部和耳朵结构进行交互。这些交互作用修改声音的振幅和相位谱,具体取决于声音的频率以及声源的方向和距离。
这些修改可描述为针对每只耳朵的头部相关传递函数(HRTF)和头部相关脉冲响应(HRIR)。HRTF是耳朵的频率响应函数。它描述了声学信号在声音到达耳朵之前,如何通过头部、肩部和最显著地耳廓的反射特性进行滤波。HRIR是耳朵的时间响应函数。它描述了声学信号在到达耳朵时的延迟和衰减方式,由到声源的距离和听者头部对声源的遮蔽表示。
虚拟声学系统为音频系统(例如,将声音程序渲染成用于驱动多个扬声器的扬声器驱动器信号的数字音频信号处理器),其为听者提供错觉,以为声音发源于空间中的某处,而实际上声音发源于放置在别处的扬声器。虚拟声学系统的一种常见形式是使用耳机(例如,耳塞)和双耳数字滤波器的组合来重新形成声音,因为如果在空间中某处放置了真正的源,则声音将到达耳朵。在虚拟声学系统的另一个示例中,使用消除了串扰的扬声器(或消除了串扰的扬声器驱动器信号)向听者的每只耳朵递送不同的声压信号。
双耳合成将不包括关于声源位置的可听信息的声源转换成包括关于声源相对于听者的位置的可听信息的双耳虚拟声源。双耳合成可使用双耳滤波器将声源转换为每只耳朵的双耳虚拟音源。双耳滤波器响应于从听者到声源的距离和方向。
随着距听者的距离增大,距听者相对较远的声源的声压水平将在双耳中以大致相同的速率减小。根据距听者的距离的球面波衰减,这些距离处的声压水平减小。在可基于球面波衰减确定声压水平的距离处的声源可被描述为远场声源。远场距离是声源开始表现为远场声源的距离。远场距离对位于穿过听者耳朵的轴上的声音最大,并且在穿过听者耳朵之间的中点的垂直轴上最小。穿过听者耳朵的轴上的远场距离可为约1.5米。穿过听者耳朵之间的中点的垂直轴上的远场距离可为约0.4米。可将位于远场距离处或距听者更远处的声源建模为远场声源。
随着声源接近听者,听者头部及身体与声压波之间的交互作用的效应变得越来越突出。听者耳朵之间的声音强度差异称为耳间强度差(ILD)。沿着穿过听者耳朵的轴朝向听者移动的声音在身体同侧耳朵处的强度将增大,并且同时由于头部遮蔽效应在对侧耳朵处的强度将减小。ILD在约0.5米的距离处开始增大,并且在约0.25米的距离处变得明显。
听者耳朵之间的声音到达时间差异称为耳间时间差(ITD)。ITD随着声源朝向听者移动也快速增大,并且从声源到听者两只耳朵的距离差异变得更明显。在听者头部和身体的效应变得显著的距离处的声源可被描述为近场声源。需要用包含这些近场效应的双耳滤波器对距听者小于约1.0至1.5米的声源进行建模(以模拟听者将听到它们的方式)。
用包括近场效应的双耳滤波器对声源建模对于约0.25米或更大的距离可能是有效的。由于声源的所需位置非常靠近听者,例如小于约0.25米,因此包括近场效应的双耳滤波器开始产生被发现是主观不期望的双耳音频信号。头部遮蔽效应可能变得如此显著,使得声音在对侧耳朵处变得不可见,从而在对侧耳朵中产生不舒服的闭塞感觉。
发明内容
如果希望减小到感知声源的距离,以便将声音放置在听者的耳朵之间的位置处(也称为头内位置),基于HRTF的双耳滤波器将不再适用。这是因为HRTF来源于麦克风测量,该测量检测从距听者头部一定距离处放置的声源到达的声音,其中检测到的声音当然已经被听者的头部和肩部改变。用于得到HRTF的测量可使用位于听者耳朵处的麦克风或在虚拟头部或声学模拟人的耳朵中进行。
希望提供一种针对虚拟声学系统的合成双耳音频信号(其将驱动听者左耳和右耳处的相应耳机换能器)的方法,以在i)近场建模的有效范围末端和ii)听者头部中央或其它头内位置之间产生声源朝向或远离听者移动的错觉。
在用于渲染耳机的声音程序的设备或方法中,接收相对于第一听筒和第二听筒放置声音程序的位置。如果该位置介于第一听筒和第二听筒(头内位置)之间,则对声音程序进行滤波以产生低频部分和高频部分。根据所述位置平移高频部分以产生第一高频信号和第二高频信号。将低频部分和第一高频信号组合以产生第一耳机驱动器信号来驱动第一听筒。类似地,通过将低频部分和第二高频信号组合以产生第二头内信号,从而产生第二耳机驱动器信号。声音程序可为立体声程序。该设备或方法可在第一听筒和近场边界之间的位置处渲染声音程序。该位置可随时间推移而变化,使得该方法可例如将声音程序从头内位置逐渐移动到头外位置,或反之亦然(例如,从头外位置移动到头内位置)。
以上概述不包括本公开的所有方面的详尽列表。可预期的是,本公开包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在权利要求部分特别指出的各种方面的所有合适组合来实施的所有系统和方法。此类组合可具有未在上述发明内容中具体阐述的特定优点。
附图说明
本公开的若干方面此处以举例的方式进行说明,而不仅限于各个附图的图示,在附图中类似的附图标号指示类似的元件。应当指出的是,在本公开中提到“一”或“一个”方面未必是同一方面,并且其意指至少一个。另外,为了简洁以及减少附图的总数,可使用给定附图示出本公开的不止一个方面的特征部,并且对于给定方面,可能并非需要该附图中的所有元件。
图1为佩戴耳机的例示性听者的视图。
图2为根据声音距听者的距离来合成双耳程序的方法的一部分的流程图。
图3为针对位于听者耳朵上的听筒之间的头内区域中的声音合成双耳程序的方法的一部分的流程图。
图4为当声音位置处于两个听筒之间的头内区域中时用于处理声音程序的电路的一部分的框图。
图5为针对位于两个听筒中的一个和相邻近场边界之间的过渡区域中的声音合成双耳程序的方法的一部分的流程图。
图6为当声音位置处于两个听筒中的一个和相邻近场边界之间的过渡区域中时用于处理声音程序的电路的一部分的框图。
图7为当声音位置处于两个听筒之间的头内区域中时用于处理立体声程序的电路的一部分的框图。
图8为图7所示的每个音量渐减器的增益图。
具体实施方式
以下描述示出了许多具体细节。然而,应当理解,可在不需要这些具体细节的情况下实践本公开的各个方面。在其他情况下,未详细示出已熟知的电路、结构和技术,以免模糊对此描述的理解。
在下面的描述中,参考示出本公开的若干个方面的附图。应当理解,其他方面也可被利用,并且在不脱离本公开的实质和范围的情况下可进行机械组成改变、结构改变、电气改变,以及操作改变。下面的详细描述不应该被理解为限制性的意义,并且本发明的范围仅由颁予的专利的权利要求书所限定。
本文中所使用的术语仅仅是为了描述特定方面,并非旨在对本公开进行限制。空间相关术语,诸如“在……之下”、“在……下方”、“下”、“在……上方”、“上”等可在本文中用于描述的方便,以描述一个元件或特征部与另外一个或多个元件或一个或多个特征部的关系,如在附图中示出的。应当理解,空间相对术语旨在涵盖除了在附图所示取向之外的设备使用或操作过程中的不同取向。例如,如果图中的设备被翻转,则被描述为在其他元件或特征部“下方”或“之下”的元件然后可被取向成在其他元件或特征部“上方”。因此,示例性术语“在……下方”可涵盖在……上方和在……下方这两个取向。设备可以另外的方式被取向(例如,旋转90度或在其他的取向),并且在本文中使用的空间相对描述词被相应地解释。
如本文所用,单数形式的“一个”和“该”旨在同样包括复数形式,除非上下文另外指出。应当进一步理解,术语“包括”(“comprises”和/或“comprising”)限定了所述特征、步骤、操作、元件、和/或部件的存在,但不排除一个或多个其他特征、步骤、操作、元件、部件、和/或其集合的存在或添加。
本文所用的术语“或”以及“和/或”应被解释为包含在内或意指任何一个或任何组合。因此,“A、B或C”或“A、B和/或C”指“以下中的任意一种:A;B;C;A和B;A和C;B和C;A、B和C。”仅当元素、功能、步骤或动作的组合以某种方式固有地互相排斥时,才会出现这个定义的例外。
图1为佩戴耳机102的例示性听者100的平面图,该耳机具有第一听筒104和第二听筒106,以向听者的每只耳朵呈现不同的声压信号。虽然图1中示出了具有接合到听筒的头带的耳机,但应当理解,可类似地使用有线或无线耳塞。就本公开的目的而言,术语“耳机”旨在涵盖头戴式耳机、包耳式耳机、贴靠耳道外部的耳塞、插入耳道中的耳内耳机、以及将不同声音程序传送到听者的每只耳朵并且每只耳朵的声音程序不对听者的另一只耳朵造成显著串扰的其它音频输出设备。
图1示出了在两个听筒104,106之间的中点110处具有原点的矢量,其通常为使用者头部的中心。矢量延伸穿过第一听筒104,其示出为听者100的右耳的听筒。矢量可通过i)在听筒104处的边界114、其中近场HRTF变得有效的边界118和其中远场HRTF变得有效的边界122划分成区域。根据本公开的虚拟声学系统可根据在这些边界之间的一个区域中的声音信号的期望放置来选择针对声音信号的处理。应当理解,类似的矢量可延伸穿过第二听筒106,其示出为听者100的左耳的听筒,以在听者的相反侧上提供对应的区域。虽然边界被示出为矢量上的点,但应当理解,边界在听者周围延伸为三维表面。从使用者头部的中心到边界的距离可取决于边界的角度。因此,边界表面通常不是球形的。为了清楚起见,参照矢量来描述本公开的各个方面。但这些方面也可用于位于三维空间中任何位置处的声音。
由上述边界形成的区域可描述为头内区域112、过渡区域116、近场区域120和远场区域124。头内区域112是两个听筒104,106之间的区域。头内区域112可被认为是从使用者头部的中心110延伸至两个听筒104,106中的一个的两个对称区域。过渡区域116为介于两个听筒104,106中的一个和相邻近场边界118之间的区域(听者头部之外)。近场区域120是介于近场边界118和远场边界122之间的区域。远场区域124从远场边界122远离听者100延伸。本公开的各个方面产生耳机驱动器信号以驱动允许将声音程序放置在这些不同区域中的两个听筒104,106。
图2为根据确定的渲染模式处理声音程序的方法的流程图。该方法的操作可由根据数字声音程序(例如,包括数字音频信号)操作的编程数字处理器执行。声音程序的位置通过声音位置分类器接收(操作200)。如果声音位置处于两个听筒之间的头内区域112中(操作202),则按照图3所示的流程图中的第一渲染模式来完成处理(操作204)。如果声音位置处于两个听筒中的一个和相邻近场边界之间的过渡区域116中(操作206),则按照图5所示的流程图中的第二渲染模式来完成处理(操作208)。如果声音位置处于近场边界和远场边界之间的近场区域120中(操作210),则使用近场模型212根据第三渲染模式来完成处理。否则,使用远场模型根据第四渲染模式来完成处理(操作214)。
图3为根据本公开的一个方面,当声音位置处于两个听筒之间的头内区域112中时处理声音程序的方法的流程图(操作202)。图4为当声音位置处于两个听筒之间的头内区域中时用于处理声音程序的电路的一部分的方面(操作202)。
声音程序由音频接收器电路400接收(操作300)。期望的声音位置由位置接收器电路402接收。音频接收器电路400和位置接收器电路402可为通用接收器电路的部件。除了接收与声音程序一起提供的声音位置之外或作为替代,位置接收器电路402还可确定期望的声音位置。在一个方面,位置接收器电路402可在所接收的声音位置之间插置声音位置,以提供更平滑的声音移动感觉。在另一方面,位置接收器电路402可通过声音程序推断声音位置。
对声音程序进行滤波以产生低频部分和高频部分(操作302)。低通滤波器404和互补的高通滤波器406可用于产生声音程序的低频和高频部分。本文所用的互补是指两个滤波器使用经滤波的频率的衰减进行操作,使得组合经滤波的部分将产生与未滤波的声音程序类似可听的信号。
高频部分根据该位置平移以产生第一高频平移部分和第二高频平移部分(操作306)。高频部分可由第一音量渐减器408和互补的第二音量渐减器410平移以产生第一高频平移部分和第二高频平移部分。本文所用的互补是指使用高频部分的衰减操作两个音量渐减器,使得由第一高频平移部分和第二高频平移部分在耳机102的第一听筒104和第二听筒106中产生的声音将产生在听筒之间(从左听筒(L))不衰减地移动的高频部分的可听印象。第一音量渐减器408的框中的向下斜线示出了它的这种能力,即将其增益平滑地从高调节至中等再调节至低,以响应于位置从左听筒(L)穿过中心(C)然后至右听筒(R)的变化。类似地,第二音量渐减器410的框中的向上斜线示出了它的这种能力,即随着位置从左听筒(L)穿过中心(C)然后至右听筒(R)变化,将其增益平滑地从低调节至中等再调节至高。在一些方面,当声音位置处于相反的听筒处时,高频部分可衰减至不可听水平;在其它方面,当声音位置处于相反的听筒处时,高频部分可衰减至较低但可听的水平。
将第一高频平移部分和第二高频平移部分各自与低频部分组合以产生第一头内信号和第二头内信号(操作308)。头内信号驱动耳机102的听筒104,106。低频平移部分和高频平移部分可由音频混合器412,414组合。第一音频混合器412接收来自低通滤波器404的低频部分和来自第一音量渐减器408的第一高频平移部分,并且组合这两个音频信号以产生第一头内信号420来驱动第一听筒104。第二音频混合器414接收来自低通滤波器404的低频部分和来自第二音量渐减器410的第二高频平移部分,并且组合这两个音频信号以产生第二头内信号422来驱动第二听筒106。
还可添加房间脉冲响应的效应以提高虚拟声学模拟的质量。在这种情况下,根据期望的房间脉冲响应配置的第一有限脉冲响应滤波器416可应用于低频部分和第一高频平移信号的组合,以产生第一头内信号420(作为第一耳机驱动器信号)。根据期望的脉冲响应配置的第二有限脉冲响应滤波器418可应用于低频部分和第二高频平移信号的组合,以产生第二头内信号422(作为第二耳机驱动器信号)。应当理解,可类似地在下文所述的其它电路中添加房间脉冲响应的效应,为了清除起见,显示的电路没有FIR滤波器。在其它方面,可在电路的其它位置处添加房间脉冲响应的效应,例如作为双耳滤波器(下文进一步描述)的一部分,以更好地对听者和虚拟声学环境之间的交互作用建模。在一些方面,房间脉冲响应可随着听者头部的旋转而改变。
如上所述,当声音位于两个听筒之间的头内区域中时(操作202),处理声音程序将为两个听筒提供音频输出,在该音频输出中,声音位置不会改变声音程序的低频部分,而高频部分根据声音位置在两个听筒之间平移。据发现,这产生更令人愉悦的听觉体验,因为当声音位置接近一只耳朵时,恒定的低频部分将防止“远处”耳朵产生闭塞的感觉。
图5为根据本公开的一个方面,当声音位置处于两个听筒104,106中的一个和相邻近场边界118之间的过渡区域116中时处理声音程序的方法的流程图。图6为当声音位置处于过渡区域116中时用于处理声音程序的电路的一部分。声音程序由音频接收器电路600接收(操作500)。期望的声音位置由位置接收器电路602接收。音频接收器电路和/或位置接收器电路可与图4所示电路的部分共用,或者它们可为另外的音频接收器电路和/或接收声音程序和/或位置的另外拷贝的位置接收器电路。音频接收器电路600和位置接收器电路602可为通用接收器电路的部件。除了接收与声音程序一起提供的声音位置之外或作为替代,位置接收器电路602还可确定期望的声音位置,如针对图4的位置接收器电路所述的那样。
声音程序由两个近场双耳滤波器610,614处理,以产生针对每个听筒的近场边界信号(操作502)。设置两个近场双耳滤波器610,614中的每一个,以对声音程序进行滤波,从而产生近场边界信号,使得能够在近场边界118上的位置处放置声音。这可通过提供位置输入信号612,616来实现,该位置输入信号被调节成最靠近声音程序的期望位置602而不是在声音程序的期望位置602处的近场边界。位置输入信号612,616用于配置其相应的近场双耳滤波器610,614。
接收第一头内信号606和第二头内信号618(操作504)。第一头内信号606和第二头内信号618可由图4中所示电路的一部分产生,如所配置的那样,该电路的位置接收器电路402被设置成最靠近声音程序的期望位置而不是在声音程序的期望位置处的听筒的位置。这在图6中通过被标记为“近耳”的位置608,620表示。
混合计算电路(混合计算器604)计算混合因子(操作506)。混合因子与介于i)声音程序的期望位置和ii)最靠近声音程序的期望位置的听筒之间的距离成比例。例如,混合因子可计算为
应当理解,当声音程序的期望位置,位置声音处于近场边界位置近场边界处时,根据以上公式计算得出的混合因子的值为1。当声音程序的期望位置,位置声音处于最靠近声音程序的期望位置的听筒位置听筒处时,示例性混合因子的值为0。其它值和范围也可用于混合因子。
基于混合因子来平移近场边界信号和头内信号(操作508)。然后将平移近场边界和头内信号组合以产生第一头内信号和第二头内信号(操作510)。第一头内信号606可由第一音量渐减器622平移。可由第一近场双耳滤波器610产生的第一近场边界信号可由第二音量渐减器624平移。第一头内信号606是将提供给第一听筒104的用于位于边界114处的声音的信号。第一近场边界信号是将提供给第一听筒104的用于位于最靠近第一听筒104的近场边界118处的声音的信号。第一音量渐减器622和第二音量渐减器624互补并且操作以产生声音在第一听筒和相邻近场边界之间不衰减地移动的可听印象。例如,在给定位置处,i)近场边界信号衰减了与一减去混合因子成比例的第一量(针对该位置进行计算),并且ii)第一头内信号衰减了与混合因子成比例的第二量。
第二头内信号618可由第三音量渐减器628平移。可由第二近场双耳滤波器614产生的第二近场边界信号可由第四音量渐减器626平移。第二头内信号618是将提供给第二听筒106的用于位于边界114处的声音的信号。第二近场边界信号是将提供给第二听筒106的用于位于最靠近第一听筒104的近场边界118处的声音的信号。第三音量渐减器628和第四音量渐减器626互补并且操作以产生声音在第一听筒104和相邻近场边界118之间不衰减地移动的可听印象。例如,在给定位置处,i)近场边界信号衰减了与一减去混合因子成比例的第一量(针对该位置进行计算),并且ii)第二头内信号衰减了与混合因子成比例的第二量。
来自第一音量渐减器622的平移第一头内信号和来自第二音量渐减器624的平移第一近场边界信号可由第一音频混合器630组合,以产生将提供给第一听筒104的第一耳机信号634。来自第三音量渐减器628的平移第二头内信号和来自第四音量渐减器626的平移第二近场边界信号可由第二音频混合器632组合,以产生将提供给第二听筒106的第二耳机信号636。
在一些方面,提供第一混合滤波器和第二混合滤波器以用于接收声音程序和混合因子以及产生类似于由图6中所示电路产生的信号的第一耳机信号和第二耳机信号。使用单个混合滤波器执行由图6中示出的电路所示的操作而不是平移和组合头内滤波器和近场滤波器的输出可能是有利的,因为滤波器可具有在组合时造成失真的频率依赖性相移。因此,应当将图6理解为显示被实施成用于组合来自多个滤波器的信号的电路和使用混合滤波器以产生组合来自多个滤波器的信号的效应的电路。
为了清楚起见,以上被称为相对于听者移动点声源。然而,本公开的各个方面也可应用于立体声源。可录制立体声源以提供左声道和右声道。将左音频声道播放到左耳并将右音频声道播放到右耳将产生被感知为在听者头部内并且居中位于两耳之间的声音。随着从立体声源过渡到单音声源,本公开的各个方面可将立体声源从听者头部中心移动到听者的其中一只耳朵。以下进一步结合图7研究立体声源如何在头内被看作立体声但在头外过渡到单音的这一方面。
图7为当声音位置处于两个听筒之间的头内区域中时用于处理立体声程序的电路的一部分的方面(操作202)。立体声程序由音频接收器电路700接收。对声音程序进行滤波以产生低频部分和高频部分。一组低通滤波器706,708中的一个和一组互补高通滤波器704,710中的一个可用于为立体声程序的每个声道产生低频部分和高频部分,如图所示。本文所用的互补是指两个滤波器(低通和高通)使用经滤波的低频和高频的衰减进行操作,使得组合经滤波的部分将产生与未滤波的声音程序类似可听的信号。
根据位置平移每个声道的高频部分,以针对旨在收听该声道的耳朵产生第一高频平移部分并且针对相反的耳朵产生第二高频平移部分。例如,第一音量渐减器712可如图所示地平移左声道以针对左耳提供左声道的音频部分,而第二音量渐减器714平移左声道以针对右耳提供左声道的音频部分。同样,第三音量渐减器718可平移右声道以针对右耳提供右声道的音频部分,并且第四音量渐减器716可平移右声道以针对左耳提供右声道的音频部分,如图所示。提供混合器722,724以组合来自音量渐减器712,714,716,718(如图所示)的输出,从而针对听者100所佩戴的耳机102上的听筒104,106中的每一个分别产生头内信号726,728。
图8为图7中所示的音量渐减器712,714,716,718的增益变化方式的示例图(作为声音程序的期望位置的函数)。当立体声程序被定位在听者头部的中心C(沿表示四个音量渐减器的方框内示出的每个增益曲线图的x轴由C指示)处时,音频部分被提供有来自音量渐减器712,718(针对旨在收听频道的耳朵的每个声道)的最大增益和来自音量渐减器714,716(针对不旨在收听声道的耳朵的每个声道)的最小增益。因此,当立体声程序被定位在听者头部的中心C处时,立体声程序的高频部分以立体声形式提供给听者。
当立体声程序被定位在听者的一只耳朵处时,对于馈送至立体声程序所在的耳朵(例如,增益曲线图的x轴上指示的左听筒L)的两个声道,音频部分被提供有来自音量渐减器716,712的同样高增益,对于至相反耳朵的两个声道,音频部分提供有来自音量渐减器718,714的同样低增益。指向立体声程序所在的耳朵的声道的“高”增益可为产生被感知为具有与位于听者头部中心处的立体声程序基本上相同音量的单音程序的值。指向相反耳朵的声道的“低”增益可被选择为避免闭塞的感觉,或者可为立体声程序的高频部分不可察觉的水平。
当立体声程序的位置从听者头部中心移动到听者的一只耳朵时,音量渐减器712,714,716,718将平移针对听者每只耳朵的每个声道信号,如图8中所示曲线图所指出的那样,以从立体声程序平滑地过渡到单音程序。
返回图7,混合器722,724将声音程序的高频部分和低频部分(混合器722接收左声道的所有部分即低频部分和高频部分两者,而混合器724接收右声道的所有部分即低频部分和高频部分两者)与音量渐减器712,716(左耳音量渐减器)和音量渐减器714,718(右耳音量渐减器)的输出组合,以分别产生头内信号726,728。另选地,当立体声程序位于听者耳朵之间时(例如,在位置C处),立体声程序的低频部分可被处理成等同地递送至双耳的单音程序。图7以虚线示出该方面,其中低通滤波器706,708的输出不被直接馈送至混合器722,而是改为通过混合器被路由(其中它们被组合并馈送至混合器722,724中的两者)。在这种情况下,应当理解,立体声程序的左和右(未经滤波的)声道可改为由混合器组合,然后经单个低通滤波器滤波(将滤波器706,708有效地组合成以虚线示出的位于混合器下游的单个滤波器),以产生立体声程序的组合低频部分(其然后被馈送至混合器722,724中的两者)。
为了本公开清楚起见,上文描述了沿着穿过听者头部中心和穿过听者耳朵的路径移动声源,例如,其中图1中所示的矢量沿x轴正向定位,或者相对于x轴正向成零度角。然而,本公开的各个方面也可应用于从不同角度进入和离开听者头部的路径。如果到头部中的过渡从不同角度开始,则音量渐减器的增益和近场边界118的位置将改变。对于在与穿过听者头部中心和听者耳朵的路径垂直的路径(例如,相对于图1中所示矢量成九十度角)上移动的声音,音量渐减器增益不随着声音移动而改变。对于其它角度,基于连接两只耳朵的线和将声源连接到头部中心的线之间的复角来改变音量渐减器增益的值。
对于穿过头内区域112或过渡区域116但不穿过听者头部中心的路径,可将路径处理成以改变的角度穿过听者头部中心的一系列路径之间的过渡。
虽然附图中描述并且示出了某些示例性方面,但应当理解,此类方面仅为示例性的并对广义发明不具有限制性,并且本发明不限于所示和所述的具体构造和布置,因为本领域的普通技术人员可进行各种其它修改。因此,要将描述视为例示性的而非限制性的。
Claims (6)
1.一种使用虚拟声学系统渲染耳机的声音程序的方法,所述方法包括:
获得声音程序要被渲染的第一位置;
根据确定所述第一位置处于头内,根据头内渲染模式来处理所述声音程序,其中,所述声音程序被渲染在头内,所述耳机的第一听筒和第二听筒的音频输出包含所述声音程序的低频部分和所述声音程序的高频部分,并且,在改变所述声音程序的位置时所述低频部分不改变,而所述高频部分根据所述声音程序的位置在所述第一听筒和所述第二听筒之间平移;
获得所述声音程序要被渲染的第二位置;
根据确定所述第二位置处于过渡区域中,根据过渡区域渲染模式来处理所述声音程序;
获得所述声音程序要被渲染的第三位置;以及
根据确定所述第三位置处于近场区域中,根据近场区域渲染模式来处理所述声音程序。
2.根据权利要求1所述的方法,其中根据所述头内渲染模式来处理所述声音程序包括:
将所述声音程序的所述高频部分馈送至均响应于所述第一位置的第一音量渐减器和第二音量渐减器,其中所述第一音量渐减器和所述第二音量渐减器从左耳位置至右耳位置彼此互补并且穿过中心耳位置;以及
将所述第一音量渐减器的输出与所述声音程序的所述低频部分组合以产生第一头内信号来驱动第一听筒,并且将所述第二音量渐减器的输出与所述声音程序的所述低频部分组合以产生第二头内信号来驱动第二听筒。
3.根据权利要求1所述的方法,其中,所述声音程序是包括第一声道和第二声道的立体声程序,并且,根据确定所述第二位置位于介于所述第一听筒和近场边界之间的所述过渡区域中,根据所述过渡区域渲染模式处理所述声音程序包括将所述第一声道和所述第二声道组合以使所述声音程序成为单音程序。
4.根据权利要求3所述的方法,其中,根据确定所述第一位置处于头内,根据头内渲染模式来处理所述声音程序包括:将所述第一声道和所述第二声道的低频部分而不是高频部分组合以使所述声音程序成为等同地递送到所述第一听筒和所述第二听筒的单音程序。
5.根据权利要求1所述的方法,其中,所述声音程序是包括第一声道和第二声道的立体声程序,并且,根据确定所述第一位置位于头内,根据头内渲染模式来处理所述声音程序包括:将所述第一声道和所述第二声道的低频部分而不是高频部分组合以使所述声音程序成为等同地递送到所述第一听筒和所述第二听筒的单音程序。
6.一种使用虚拟声学系统渲染耳机的声音程序的方法,所述方法包括:获得声音程序要被渲染的多个位置;以及
处理所述声音程序以在所述多个位置处渲染所述声音程序,以便将所述声音程序从头内移出、然后移向过渡区域再移向近场区域,其中,所述头内是介于所述耳机的两个听筒之间的区域,所述过渡区域介于所述两个听筒之一与近场边界之间,并且所述近场区域从所述近场边界处起并且延伸至远场边界,
当所述声音程序被渲染在头内时,所述两个听筒的音频输出包含所述声音程序的低频部分和所述声音程序的高频部分,并且,通过改变所述声音程序的位置,所述低频部分不改变,而所述高频部分根据所述声音程序的位置在所述两个听筒之间平移。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762566087P | 2017-09-29 | 2017-09-29 | |
US62/566,087 | 2017-09-29 | ||
US16/113,399 | 2018-08-27 | ||
US16/113,399 US10880649B2 (en) | 2017-09-29 | 2018-08-27 | System to move sound into and out of a listener's head using a virtual acoustic system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109587601A CN109587601A (zh) | 2019-04-05 |
CN109587601B true CN109587601B (zh) | 2021-04-02 |
Family
ID=65897006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811092911.6A Active CN109587601B (zh) | 2017-09-29 | 2018-09-19 | 使用虚拟声学系统将声音移入和移出听者头部的系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10880649B2 (zh) |
CN (1) | CN109587601B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018216604A1 (de) * | 2017-09-29 | 2019-04-04 | Apple Inc. | System zur Übertragung von Schall in den und aus dem Kopf eines Hörers unter Verwendung eines virtuellen akustischen Systems |
RU2020116581A (ru) * | 2017-12-12 | 2021-11-22 | Сони Корпорейшн | Программа, способ и устройство для обработки сигнала |
US10976989B2 (en) | 2018-09-26 | 2021-04-13 | Apple Inc. | Spatial management of audio |
US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
EP4005233A1 (en) * | 2019-07-30 | 2022-06-01 | Dolby Laboratories Licensing Corporation | Adaptable spatial audio playback |
CN110611863B (zh) * | 2019-09-12 | 2020-11-06 | 苏州大学 | 360度音源实时回放系统 |
CN111464911B (zh) * | 2020-05-18 | 2021-12-28 | 歌尔智能科技有限公司 | 耳机左右音量调节方法、耳机和存储介质 |
US11595775B2 (en) * | 2021-04-06 | 2023-02-28 | Meta Platforms Technologies, Llc | Discrete binaural spatialization of sound sources on two audio channels |
WO2024073297A1 (en) * | 2022-09-30 | 2024-04-04 | Sonos, Inc. | Generative audio playback via wearable playback devices |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104604255A (zh) * | 2012-08-31 | 2015-05-06 | 杜比实验室特许公司 | 基于对象的音频的虚拟渲染 |
CN105323678A (zh) * | 2014-06-06 | 2016-02-10 | 恩智浦有限公司 | 信号处理电路 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5835895A (en) | 1997-08-13 | 1998-11-10 | Microsoft Corporation | Infinite impulse response filter for 3D sound with tap delay line initialization |
US20030202665A1 (en) | 2002-04-24 | 2003-10-30 | Bo-Ting Lin | Implementation method of 3D audio |
US20100124345A1 (en) | 2008-11-20 | 2010-05-20 | Wiech Iii Raymond E | Near field sound reproduction method with enhanced spatial qualities |
US8755432B2 (en) | 2010-06-30 | 2014-06-17 | Warner Bros. Entertainment Inc. | Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues |
US9094771B2 (en) | 2011-04-18 | 2015-07-28 | Dolby Laboratories Licensing Corporation | Method and system for upmixing audio to generate 3D audio |
US9860663B2 (en) | 2013-01-15 | 2018-01-02 | Koninklijke Philips N.V. | Binaural audio processing |
DE102013105375A1 (de) | 2013-05-24 | 2014-11-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals |
US10142761B2 (en) | 2014-03-06 | 2018-11-27 | Dolby Laboratories Licensing Corporation | Structural modeling of the head related impulse response |
CN106664499B (zh) | 2014-08-13 | 2019-04-23 | 华为技术有限公司 | 音频信号处理装置 |
KR20160020377A (ko) * | 2014-08-13 | 2016-02-23 | 삼성전자주식회사 | 음향 신호를 생성하고 재생하는 방법 및 장치 |
US9602947B2 (en) * | 2015-01-30 | 2017-03-21 | Gaudi Audio Lab, Inc. | Apparatus and a method for processing audio signal to perform binaural rendering |
US9998606B2 (en) * | 2016-06-10 | 2018-06-12 | Glen A. Norris | Methods and apparatus to assist listeners in distinguishing between electronically generated binaural sound and physical environment sound |
-
2018
- 2018-08-27 US US16/113,399 patent/US10880649B2/en active Active
- 2018-09-19 CN CN201811092911.6A patent/CN109587601B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104604255A (zh) * | 2012-08-31 | 2015-05-06 | 杜比实验室特许公司 | 基于对象的音频的虚拟渲染 |
CN105323678A (zh) * | 2014-06-06 | 2016-02-10 | 恩智浦有限公司 | 信号处理电路 |
Also Published As
Publication number | Publication date |
---|---|
CN109587601A (zh) | 2019-04-05 |
US20190104366A1 (en) | 2019-04-04 |
US10880649B2 (en) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109587601B (zh) | 使用虚拟声学系统将声音移入和移出听者头部的系统 | |
EP3311593B1 (en) | Binaural audio reproduction | |
CN107018460B (zh) | 具有头部跟踪的双耳头戴式耳机呈现 | |
CN106664499B (zh) | 音频信号处理装置 | |
US9357282B2 (en) | Listening device and accompanying signal processing method | |
EP2953383B1 (en) | Signal processing circuit | |
RU2589377C2 (ru) | Система и способ для воспроизведения звука | |
WO2012042905A1 (ja) | 音響再生装置および音響再生方法 | |
US8848952B2 (en) | Audio reproduction apparatus | |
US9226091B2 (en) | Acoustic surround immersion control system and method | |
US20230276188A1 (en) | Surround Sound Location Virtualization | |
US10440495B2 (en) | Virtual localization of sound | |
KR20050064442A (ko) | 이동통신 시스템에서 입체음향 신호 생성 장치 및 방법 | |
US11284195B2 (en) | System to move sound into and out of a listener's head using a virtual acoustic system | |
EP0959644A2 (en) | Method of modifying a filter for implementing a head-related transfer function | |
US8929557B2 (en) | Sound image control device and sound image control method | |
KR100574868B1 (ko) | 3차원 입체 음향 재생 방법 및 장치 | |
US6983054B2 (en) | Means for compensating rear sound effect | |
CN113645531A (zh) | 一种耳机虚拟空间声回放方法、装置、存储介质及耳机 | |
Sibbald | Transaural acoustic crosstalk cancellation | |
US11470435B2 (en) | Method and device for processing audio signals using 2-channel stereo speaker | |
KR101754306B1 (ko) | 에어 파이프들을 이용한 3차원 사운드 출력 의자 및 방법 | |
Ranjan et al. | Applying active noise control technique for augmented reality headphones | |
CN116405819A (zh) | 头戴式耳机装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |