CN102440003A - 音频空间化和环境仿真 - Google Patents
音频空间化和环境仿真 Download PDFInfo
- Publication number
- CN102440003A CN102440003A CN200980151136XA CN200980151136A CN102440003A CN 102440003 A CN102440003 A CN 102440003A CN 200980151136X A CN200980151136X A CN 200980151136XA CN 200980151136 A CN200980151136 A CN 200980151136A CN 102440003 A CN102440003 A CN 102440003A
- Authority
- CN
- China
- Prior art keywords
- frequency
- signal
- audio
- filter
- expander
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000004807 localization Effects 0.000 claims abstract description 7
- 230000000737 periodic effect Effects 0.000 claims abstract description 4
- 238000012546 transfer Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000001755 vocal effect Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 6
- 238000009432 framing Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 240000006409 Acacia auriculiformis Species 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
公开了用于改进人耳的声音定位的方法。在一些实施例中，该方法可以包括：通过向头部相关传递函数（HRTF）的一个或多个位置参数应用周期性函数来创建多个定位源的虚拟移动。
Description
相关申请的交叉引用
本专利合作条约专利申请要求在2008年10月20日提交的题为“Audio Spatialization and
Environment Simulation”的美国临时专利申请号61/106,872的优先权，其内容整体通过引用合并于此。
本申请涉及如下共同所有的专利申请，每个所述专利申请通过引用合并犹如下面全部阐述的：
在2007年3月1日提交的题为“Audio Spatialization and Environment Simulation”的美国临时申请号60/892,508；
在2008年3月3日提交的题为“Audio Spatialization and Environment Simulation”的美国实用新型申请号12/041,19；以及
在2008年3月3日提交的题为“Audio Spatialization and Environment Simulation”的PCT申请PCT/US08/55669。
发明内容
GenAudio的AstoundSound™技术是独特的声音定位过程，其将收听者置于静止和/或移动声音的虚拟空间的中心。由于人脑的心理声学响应，收听者可以感知这些定位声音从空间内的任意位置发出。来自GenAudio的AstoundSound™技术的心理声学效果可以通过针对头部相关传递函数（HRTF）应用数字信号处理（DSP）来实现。
一般说来，HRTF可以对人的头部、肩部、外耳、躯干、皮肤和耳廓的形状和组成进行建模。在一些实施例中，两个或更多个HRTF（一个针对头部的左侧而一个针对头部的右侧）可以修改输入声音信号以便于创建声音从空间中的不同（虚拟）位置发出的印象。使用GenAudio的AstoundSound™技术，可以通过少至两个扬声器来实现心理声学效果。
在一些实施例中，该技术可以通过软件框架来显现，该软件框架通过双耳滤波方法，诸如将音频信号划分为左耳和右耳声道并且将分离的数字滤波器集合施加到两个声道中的每个，来实施DSP
HRTF。此外，在一些实施例中，可以在不使用编码/解码或者特殊的重放设备的情况下实现定位音频输出的后滤波。
AstoundSound™技术可以通过模型-视图-控制器（MVC）软件架构来实现。这种类型的架构可以使得该技术能够以许多不同的形式实例化（instantiate）。在一些实施例中，AstoundSound™的应用程序可以经由常见的软件接口集合访问相似的底层处理代码。此外，AstoundSound™技术核心可以包括可以跨越多个平台使用（例如，可以在Macintosh、Windows和/或Linux上操作）的控制器和模型。这些控制器和模型还可以实现音频输入信号的实时DSP处理全程（play-through）。
附图说明
图1图示了用于潜在系统架构的模型视图控制器。
图2图示了处于相对于收听者的方位（azimuth）和高度（elevation）中的一个或多个虚拟扬声器。
图3图示了针对扩展器的过程流。
图4图示了针对扩展器的潜在配线图。
图5图示了针对插件的过程流。
图6图示了针对插件的潜在配线图。
图7图示了振荡三维空间中的虚拟声源。
图8图示了针对插件的过程流。
图9图示了潜在配线图。
图10图示了源音频反射的定位。
图11图示了用于音频定位的过程流。
图12图示了双二阶滤波器和等式。
具体实施方式
AstoundStereo™扩展器应用程序
在一些实施例中，AstoundStereo™扩展器应用程序可以被实施为独立式可执行程序，其可以采用正常的立体声音频作为输入并且对其进行处理，使得输出具有明显较宽的立体声声像。此外，可以保留来自输入的中心信息（例如，声乐（vocal）和/或中心舞台乐器）。因而，由于底层AstoundStereo™ DSP技术创建了发出音频的虚拟扬声器已被置于相对于收听者头部的预定方位角、高度和距离的心理声学感知，因此收听者可以“听到”较宽的立体声声像。该虚拟音频定位可以呈现为将虚拟扬声器置于比收听者的物理扬声器和/或耳机相距更远。
扩展器的一个实施例可以被实例化为用于计算机的音频设备驱动器。结果，扩展器应用程序可以是全局执行的音频处理器，其能够处理由计算机生成的和/或通过计算机的大量音频。例如，在一些实施例中，扩展器应用程序可以处理所有产生或路由计算机上的音频的第三方应用程序。
将扩展器实例化为用于计算机的音频设备驱动器的另一结果是，当用户登录到他/她的计算机账户中时扩展器可以存在并且工作（active）。因而，大量的音频可以被路由到扩展器并且在不加载用于处理的各个文件的情况下被实时地处理，对于诸如iTunes和/或DVD Player（播放器）的第三方应用程序而言情况可能就是这样。
AstoundStereo™扩展器的一些特征包括：
立体声扩展的对称虚拟扬声器定位（EL、AZ、DIST）
立体声扩展强度调整
ActiveBass™
全局旁通（global bypass）
可选择输出设备。
过程流
来自产品控制器库的软件控制器类可以实现AstoundStereo™扩展器应用程序的过程流。如前面提到的，控制器类可以是针对底层DSP模型和功能的常见接口定义。控制器类可以定义适用于立体声扩展处理的DSP交互。图3图示了题为“数字处理音频用于定位”的示例性DSP交互，其可以适用于立体声扩展。图3中示出的活动在图11中被更详细地描绘。
控制器可以接受双声道立体声信号作为输入，其中信号可以被分离为左、右声道。每个声道然后可以路由通过AstoundStereo线性DSP功能集合，如图4中所示，并且被定位到空间中的特定点（例如，两个虚拟扬声器位置）。
虚拟扬声器位置可以由基于视图的应用程序固定为处于相对于收听者的特定方位、高度和距离（例如，参见下面的无限脉冲响应滤波器），其中一个虚拟扬声器位于离开收听者的左耳的某个距离处而另一个位于离开收听者的右耳的某个距离处。这些位置可以与用于增强的声乐和中心舞台乐器存在的%-中心旁通（下面更详细地描述）的参数、用于增强的低频响应的低通滤波和补偿（例如，参见下面的低频处理）的参数、以及用于距离仿真的参数（例如，参见在2008年3月3日提交的题为“Audio Spatialization and
Environment Simulation”的PCT申请PCT/US08/55669中的距离仿真描述）组合。
使位置与这些参数组合可以向收听者给出较宽的立体声场的感知。
显然，在一些实施例中，虚拟扬声器位置可以是不对称的。
对称的安置可能不期望地减损定位效果（例如，由于信号抵消），下面关于半球对称性更详细地描述这一点。
由于AstoundStereo扩展器是应用程序（而非插件），因此它可能包含全局DSP旁通开关以规避DSP处理并且允许收听者听到以其原始立体声形式的音频信号。此外，扩展器可以包括集成数字水印技术，其可以检测独特的且听不见的GenAudio数字水印。检测该水印可以自动地使AstoundStereo扩展器过程实现全局旁通。带水印的信号可以指示输入信号已变更为已经包含AstoundSound™功能。可以完成对该类型的信号的旁通以避免两次处理输入信号并且减损或以其他方式破坏定位效果。
在一些实施例中，AstoundStereo™过程可以包括用户可定义的立体声扩展强度级。该可调整的参数可以组合用于低频处理、%-中心旁通和定位增益的所有参数。此外，一些实施例可以包括针对立体声扩展强度级的预定最小和最大设置。该用户可定义的调整可以是针对所有关联的参数的最小值和最大值之间的线性插值。
AstoundStereo™技术的ActiveBass™特征可以包括用户可选择的开关，其可以将一个或多个低频参数（下面在低频处理部分中描述）增加到预定设置以获得来自收听者音频输出设备的更低沉的、更浑厚的和更现场的低音响应。
在一些实施例中，可选择的输出设备特征可以是收听者可以从各种输出设备（诸如，内建计算机扬声器、耳机、经由计算机的线路输出端口的外部扬声器、USB/FireWire扬声器/输出设备和/或任何其他可以将音频路由到扬声器/输出设备的安装端口）当中进行选择的机制。
AstoundStereo™扩展器插件应用程序
一些实施例可以包括AstoundStereo™扩展器插件，其可以基本上与AstoundStereo™扩展器可执行程序相似。在一些实施例中，扩展器插件可能与扩展器可执行程序不同在于，其可以由第三方可执行程序托管（host）。例如，扩展器插件可以驻留在音频重放可执行程序诸如Windows Media Player、iTunes、Real Player和/或WinAmp（仅举几个例子）内。显然，扩展器插件可以包括基本上与扩展器可执行程序相同的特征和功能。
过程流
尽管扩展器插件可以包括基本上与扩展器可执行程序相同的内部过程流，但是外部流可以不同。例如，代替用户或系统实例化该插件，这可以由第三方音频重放可执行程序处置。
AstoundStereo™插件应用程序
AstoundStereo™插件可以由第三方可执行程序（例如，ProTools、Logic、Nuendo、Audacity、Garage Band等）托管，然而它可以具有与AstoundStereo™扩展器的某些相似性。与扩展器相似，它可以创建宽的立体声场，然而不同于扩展器，它可以针对专业的声音工程师进行定制并且可以暴露许多DSP参数并且允许经由3D用户接口访问的参数的宽可调谐控制范围。再者，不同于扩展器，插件的一些实施例可以与扩展器不同在于集成了数字水印部件，其可以将数字水印编码到最终输出音频信号中。以该方式的水印使得GenAudio能够独特地识别通过该技术所处理的各种音频。在一些实施例中，暴露的参数可以包括：
定位方位和高度
独立的左和右定位增益
定位距离和距离混响
针对定位音频输出的增加感知的方位和高度中的位置颤音
主输入和输出增益
中心旁通扩频和增益
中心带通频率和带宽
低频带通频率、滚降、增益和ITD补偿
4频带HRTF滤波器均衡
反射定位方位和高度（下面在混响定位部分中更详细地讨论）
反射定位量、房间尺寸、衰减、密度和阻尼。
过程流
该插件可以由第三方主机（host）可执行程序实例化并且破坏。
%-中心旁通
（上文在图3和6中提及的）%-中心旁通是DSP元件，其在一些实施例中允许使音频的中心信息（例如，声乐或“中心舞台”乐器）的至少一部分未经处理。可以被允许旁通处理的立体声音频输入中的中心信息量可以在不同的实施例之间变化。
通过允许旁通特定的立体声音频，中心声道信息可以保持突出，这是较自然、逼真的表现。在没有该特征的情况下，中心信息可能变得丢失或者减损，并且向音频给出不自然的声音。在操作期间，在实际定位处理发生之前，进入的音频信号可以被划分为中心信号和立体声边缘信号。在一些实施例中，该过程可以包括从左声道和右声道中减去L+R单声道总和，即M-S解码。在处理了立体声边缘之后，随后可以处理中心部分。以该方式，中心旁通可以确定把多少经处理的中心信号添加回到输出。
中心带通
图6中示出的中心带通DSP元件可以增强%-中心旁通DSP元件的结果。可以通过可变带通滤波器对中心信号进行处理以便强调主声乐或乐器（其通常存在于录音的中心声道中）。如果仅使整个中心声道衰减，则可以从混音（mix）中移除声乐和主乐器，创建“卡拉OK”效果，这对于一些应用而言不是所期望的。应用带通滤波器可以通过选择性地移除对于主声乐不太相关的频率来减轻该问题，并且因此可以在不丢失主声乐的情况下扩宽立体声声像。
空间振荡器
如果存在声源和人耳之间的相对移动，则人脑可以更准确地确定声音的位置。例如，收听者可以在声源静止时使他们的头部从一侧移动到另一侧以帮助确定声音位置。反之亦然。因而，空间振荡器DSP元件可以采用给定的定位声源并且使其在定位的空间中振动和/或摇动以向收听者提供额外的空间化。换言之，通过振动和/或摇动两个虚拟扬声器（定位的声源），收听者可以更容易地检测AstoundStereo™过程的空间化效果。
在一些实施例中，（一个或多个）虚拟扬声器的总体移动可能是非常小的，或者几乎察觉不到。然而，即使虚拟扬声器的移动可能是小的，但是人脑可能足以辨认和确定位置。所定位声音的空间振荡可以通过对HRTF函数的位置参数应用周期函数来实现。这些周期函数可以包括但不限于正弦、方波和/或三角（仅举几个例子）。一些实施例可以结合频率和深度变量来使用正弦波生成器以重复地调整定位点的方位。以该方式，频率是可以指示振动速度的乘数，并且深度是可以指示针对定位点行进的距离的绝对值的乘数。在一些实施例中，该过程的更新率可以基于每个样本。
半球对称性
由于收听者的头部是关于身体的纵分面对称的，因此在一些实施例中可以利用该对称性使所存储的滤波器系数的数量减少1/2。代替存储针对收听者的左侧和右侧的给定对称位置（诸如在90º和270º方位）的滤波器系数，滤波器系数可以针对一侧进行选择性存储，并且然后通过交换两个位置和输出声道而针对相反侧进行再现。换言之，代替处理在270º方位的位置，可以使用对应于90º方位的滤波器并且然后可以交换左声道和右声道以将该效果镜像到半球的另一侧。
AstoundSound™插件应用程序
用于专业声音工程师的AstoundSound™插件可以具有与AstoundStereo™插件的相似性。例如，它可以由第三方可执行程序托管并且也可以暴露所有DSP参数以获得宽范围的调谐能力。两者可能不同在于AstoundSound插件可以采用单声道信号作为输入并且允许经由3D用户接口的单个声源的全4D（随时间移动的3维空间定位）控制。不同于本文件中讨论的其他应用程序，AstoundSound插件可以实现用于使虚拟声源在3D空间中移动的3D输入设备（例如，“3D鼠标”）的使用。
此外，AstoundSound插件可以集成水印部件，其将数字水印直接编码到最终输出音频信号中，使得GenAudio能够独特地识别通过该技术所处理的各种音频。由于一些实施例可以将该功能实施为插件，因此主机可执行程序可以实例化该插件的多种实例，其可以允许对多个单声道声源空间化。在一些实施例中，综合用户接口可以示出在主机内运行的AstoundSound插件的这些独立实例化的一个或多个定位位置。在一些实施例中，暴露的参数可以包括：
定位方位和高度
定位距离和距离混响
方位和高度中的位置颤音
主输入和输出增益
低频带通频率、滚降、增益和ITD补偿
4频带HRTF滤波器均衡
反射定位方位和高度（细节参见混响定位部分）
反射定位量、房间尺寸、衰减、密度和阻尼。
过程流
该插件由第三方托管可执行程序实例化并且破坏。
混响定位
为了改进空间化效果，一些实施例可以通过应用与直接（“干”）信号不同的定位滤波器集合来定位混响（或反射）信号。因此我们可以定位在直接信号自身的路线外直接信号的反射的感知来源。尽管可以在任何位置定位反射（即可变定位），但是已确定将它们定位到收听者后面导致了更高的清晰度（clarity）和更好的总体空间化。
常见技术
无限脉冲响应滤波器
传统的AstoundSound™ DSP技术可以定义概念单位球上的许多（例如，～7000+）独立点。对于这些点中的每个，基于该点的右HRTF和左HRTF以及右和左头部-耳道传递函数的逆，计算两个有限脉冲响应（FIR）滤波器。
在一些实施例中，这些FIR滤波器可以由无限脉冲响应（IIR）滤波器集合取代。例如，可以使用最小均方误差近似从原始1920-系数FIR
HRTF滤波器中创建64-系数IIR滤波器集合。不同于在频域中进行线性卷积所需的基于块的处理，IIR滤波器可以在时域中进行卷积而不需要执行傅立叶变换。该时域卷积过程可以用于逐个样本地计算定位结果。在一些实施例中，IIR滤波器不具有固有延时，并且因此，它们可以用于仿真位置更新和定位声波而不引入可感知的处理延迟（延时）。此外，系数的数量从原始FIR滤波器中的1920减少到IIR滤波器中的64个系数可以明显减少存储器占位面积（footprint）和/或用于计算定位结果的CPU周期。通过根据从原始FIR滤波器导出的ITD测量使左和右信号延迟，可以将耳间时间差异（Inter-aural Time
Difference，ITD）添加回到信号中。
由于HRTF测量可以以相对细微的分辨率在空间中以规则的间隔执行，因此可以针对位置更新（即当随时间使声源移动时）使相邻滤波器之间的空间插值最小化。实际上，一些实施例可以在没有任何插值的情况下实现这一点。就是说，通过加载针对最近测量方向的IIR滤波器，可以仿真移动声源方向。然后可以跨越少量的样本使位置更新平滑以避免当在相邻IIR滤波器之间切换时的任何拉链（zipper）噪声。可以针对ITD将线性插值的延迟线施加到右和左声道，允许子样本准确性。IIR滤波器与FIR滤波器相似在于它们还通过计算过去（和/或未来）样本的加权总和来处理样本，其中可以通过系数集合来确定权重。然而，在IIR情况中，该输出可以被反馈到滤波器输入，从而创建理论上决不衰减到零的渐近衰减脉冲响应（因此有“无限脉冲响应”之名）。以该方式反馈经处理的信号可以通过使其多次通过滤波器来部分地“重复处理”该信号，并且因此对于给定数量的系数，增加滤波器的控制或陡度。下面在图12中示出了针对IIR双二阶结构的一般示图以及用于生成其输出的公式。
采样率独立性
以44.1kHz采样率对传统的FIR滤波器进行采样，并且因此由于奈奎斯特（Nyquist）标准，FIR滤波器能够处理0Hz和一半的采样率（即奈奎斯特频率）之间的信号。然而，在现今的音频产生环境中，可能期望更高的采样率。为了使得AstoundSound™滤波器能够应对更高的采样率而不丢失伴随更高采样率出现的高频内容，可以旁通原始滤波器的奈奎斯特频率（22050Hz）以上的频率。为了实现该旁通，可以首先将信号划分为低（<奈奎斯特）和高（>=奈奎斯特）频带。低频带然后可以被下采样到传统的HRTF滤波器的采样频率并且随后由定位算法以44.1kHz采样频率进行处理。同时，高频带可以被保留用于稍后处理。在将定位处理应用到低频带之后，所得到的定位信号可以再次被上采样到传统的采样率并且与高频带混合。以该方式，可以在不能经受针对44.1kHz的采样率转换的原始信号中创建针对高频的旁通。
备选的实施例可以通过经过以较高的采样率重新设计传统的FIR滤波器和/或将它们转换为IIR结构来延伸它们的采样率，而实现相同的效果。然而，这可能意味着将两次附加的采样率转换应用于经处理的信号，并且因此，当处理较频繁遇到的采样率如44.1kHz时可能表现较高的处理负载。由于44.1kHz采样率已被良好地测试并且仍是现今的消费者音乐再现系统上频繁遇到的采样率，因此一些实施例可以消除额外的带宽并且仅在更有限数量的情况中应用采样率转换。再者，由于AstoundSound™ DSP处理的大部分可以以44.1kHz进行，因此每个采样周期可以消耗更少的CPU指令。
滤波器均衡
“滤波器均衡”通常指的是使特定的频谱带衰减以减少在HRTF定位中可能引入的色化（colorization）的过程。传统上，对于许多（例如，～7000+）独立滤波点，计算平均幅值响应以确定滤波器与理想化（平坦）幅值响应过程的总体偏离。该平均过程识别偏离平坦幅值的传统滤波器集合的频谱中的4个不同峰值，使滤波器以潜在不期望的方式使信号色化。为了定义定位/色化权衡，AstoundSound™ DSP实施的一些实施例可以在4个不同频率处添加4频带均衡器，从而使这些不同频率点处的增益衰减。尽管这里已讨论了4个不同频率，但是应当注意，任何数目的与众不同的频率均衡点是可能的，并且可以实施多频带均衡器，其中每个不同频率可以由均衡器的一个或多个频带解决。
低频处理
低通滤波
在一些实施例中，可能不需要定位低频。此外，在一些情况中，定位低频可能改变它们的存在并且影响最终输出音频。因此，在一些实施例中，输入信号中存在的低频可以被旁通。例如，信号可以在频率上被划分，允许低频无改变地通过。应当注意，旁通开始所在的精确频率阈值（在这里被称为“LP频率”）和/或频率中的旁通起始的定位（在这里被称为“Q因子”或“滚降”）可以是可变的。
ITD补偿
当准备定位信号与旁通低频信号的最终混合时，在最终输出之前，由耳间时间差异（ITD）引入到定位信号中的时间延迟可以使这两个信号具有不同的相对时间延迟。该时间延迟人工产物（artifact）可能针对过渡频率处的低频内容在它与定位信号混合时创建相位失准。因而，在一些实施例中，使用ITD补偿参数来使低频信号延迟预定量可以补偿相位失准。
相位翻转
在一些情况中，定位信号和旁通低频信号之间的相位失准可能使低频信号衰减到几乎被抵消的点。因而，在一些实施例中，可以通过使信号极性反转（这等效于使信号乘以-1）来使信号相位翻转。以该方式翻转信号可以将衰减改变为增强，恢复许多原始低频信号。
低通增益
在一些实施例中，低频可以具有可调整输出增益。该调整可以允许经滤波的低频在最终音频输出中具有或多或少地的突出存在。
Claims (1)
1. 一种用于改进人耳的声音定位的方法，所述方法包括如下动作：通过向头部相关传递函数（HRTF）的一个或多个位置参数应用周期性函数来创建多个定位源的虚拟移动。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10687208P | 2008-10-20 | 2008-10-20 | |
| US61/106872 | 2008-10-20 | ||
| PCT/US2009/061294 WO2010048157A1 (en) | 2008-10-20 | 2009-10-20 | Audio spatialization and environment simulation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102440003A true CN102440003A (zh) | 2012-05-02 |
| CN102440003B CN102440003B (zh) | 2016-01-27 |
Family
ID=42119634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980151136.XA Expired - Fee Related CN102440003B (zh) | 2008-10-20 | 2009-10-20 | 音频空间化和环境仿真 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US8520873B2 (zh) |
| EP (1) | EP2356825A4 (zh) |
| JP (1) | JP5694174B2 (zh) |
| CN (1) | CN102440003B (zh) |
| WO (1) | WO2010048157A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104604256A (zh) * | 2012-08-31 | 2015-05-06 | 杜比实验室特许公司 | 基于对象的音频的反射声渲染 |
| CN105637901A (zh) * | 2013-10-07 | 2016-06-01 | 杜比实验室特许公司 | 空间音频处理系统和方法 |
| CN106576203A (zh) * | 2014-05-28 | 2017-04-19 | 弗劳恩霍夫应用研究促进协会 | 确定和使用房间优化传输函数 |
| CN107197415A (zh) * | 2016-06-10 | 2017-09-22 | 西马特尔有限公司 | 改进为电话呼叫提供双声道声音的电子设备的计算机性能 |
| CN107623894A (zh) * | 2013-03-29 | 2018-01-23 | 三星电子株式会社 | 渲染音频信号的方法 |
| CN108462936A (zh) * | 2013-12-13 | 2018-08-28 | 无比的优声音科技公司 | 用于音场增强的设备及方法 |
| CN108476369A (zh) * | 2015-09-07 | 2018-08-31 | 3D声音实验室 | 用于开发适用于个体的头部相关传递函数的方法和系统 |
| CN110495189A (zh) * | 2017-04-18 | 2019-11-22 | 奥姆尼欧声音有限公司 | 利用心理声学分组现象的立体声展开 |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8638946B1 (en) * | 2004-03-16 | 2014-01-28 | Genaudio, Inc. | Method and apparatus for creating spatialized sound |
| US8520873B2 (en) | 2008-10-20 | 2013-08-27 | Jerry Mahabub | Audio spatialization and environment simulation |
| US20120035940A1 (en) * | 2010-08-06 | 2012-02-09 | Samsung Electronics Co., Ltd. | Audio signal processing method, encoding apparatus therefor, and decoding apparatus therefor |
| JP5589708B2 (ja) * | 2010-09-17 | 2014-09-17 | 富士通株式会社 | 端末装置および音声処理プログラム |
| TWI517028B (zh) | 2010-12-22 | 2016-01-11 | 傑奧笛爾公司 | 音訊空間定位和環境模擬 |
| WO2013075744A1 (en) | 2011-11-23 | 2013-05-30 | Phonak Ag | Hearing protection earpiece |
| CN102523541B (zh) * | 2011-12-07 | 2014-05-07 | 中国航空无线电电子研究所 | 用于hrtf测量的轨道牵引式音箱位置调节装置 |
| US8798129B2 (en) * | 2012-01-04 | 2014-08-05 | Lsi Corporation | Biquad infinite impulse response system transformation |
| DE102012200512B4 (de) | 2012-01-13 | 2013-11-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Berechnen von Lautsprechersignalen für eine Mehrzahl von Lautsprechern unter Verwendung einer Verzögerung im Frequenzbereich |
| EP2645748A1 (en) | 2012-03-28 | 2013-10-02 | Thomson Licensing | Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal |
| US9706326B2 (en) | 2012-06-06 | 2017-07-11 | Sony Corporation | Audio signal processing device, audio signal processing method, and computer program |
| US10043535B2 (en) | 2013-01-15 | 2018-08-07 | Staton Techiya, Llc | Method and device for spectral expansion for an audio signal |
| US9326067B2 (en) * | 2013-04-23 | 2016-04-26 | Personics Holdings, Llc | Multiplexing audio system and method |
| US20150036828A1 (en) * | 2013-05-08 | 2015-02-05 | Max Sound Corporation | Internet audio software method |
| US20140362996A1 (en) * | 2013-05-08 | 2014-12-11 | Max Sound Corporation | Stereo soundfield expander |
| US20150036826A1 (en) * | 2013-05-08 | 2015-02-05 | Max Sound Corporation | Stereo expander method |
| US10045135B2 (en) | 2013-10-24 | 2018-08-07 | Staton Techiya, Llc | Method and device for recognition and arbitration of an input connection |
| CN103631270B (zh) * | 2013-11-27 | 2016-01-13 | 中国人民解放军空军航空医学研究所 | 导轨旋转式链条传动声源位置调节载人hrtf测量转台 |
| CN104683933A (zh) | 2013-11-29 | 2015-06-03 | 杜比实验室特许公司 | 音频对象提取 |
| TWI543635B (zh) * | 2013-12-18 | 2016-07-21 | jing-feng Liu | Speech Acquisition Method of Hearing Aid System and Hearing Aid System |
| US10043534B2 (en) | 2013-12-23 | 2018-08-07 | Staton Techiya, Llc | Method and device for spectral expansion for an audio signal |
| JP6327417B2 (ja) * | 2014-05-30 | 2018-05-23 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 |
| WO2017132082A1 (en) | 2016-01-27 | 2017-08-03 | Dolby Laboratories Licensing Corporation | Acoustic environment simulation |
| EP3412038A4 (en) * | 2016-02-03 | 2019-08-14 | Global Delight Technologies Pvt. Ltd. | METHODS AND SYSTEMS FOR PROVIDING VIRTUAL ENVELOPE SOUND ON EARPHONES |
| CN106126172B (zh) * | 2016-06-16 | 2017-11-14 | 广东欧珀移动通信有限公司 | 一种音效处理方法及移动终端 |
| WO2018011923A1 (ja) * | 2016-07-13 | 2018-01-18 | パイオニア株式会社 | 音量制御装置、音量制御方法及びプログラム |
| US10602296B2 (en) | 2017-06-09 | 2020-03-24 | Nokia Technologies Oy | Audio object adjustment for phase compensation in 6 degrees of freedom audio |
| CN109683845B (zh) * | 2017-10-18 | 2021-11-23 | 宏达国际电子股份有限公司 | 声音播放装置、方法及非暂态存储媒体 |
| EP4203520A4 (en) * | 2020-08-20 | 2024-01-24 | Panasonic Intellectual Property Corporation of America | INFORMATION PROCESSING METHOD, PROGRAM AND ACOUSTIC PLAYBACK DEVICE |
| US11589184B1 (en) | 2022-03-21 | 2023-02-21 | SoundHound, Inc | Differential spatial rendering of audio sources |
| WO2024084920A1 (ja) * | 2022-10-19 | 2024-04-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音響処理方法、音響処理装置、及び、プログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6307941B1 (en) * | 1997-07-15 | 2001-10-23 | Desper Products, Inc. | System and method for localization of virtual sound |
| US7099482B1 (en) * | 2001-03-09 | 2006-08-29 | Creative Technology Ltd | Method and apparatus for the simulation of complex audio environments |
| CN101263739A (zh) * | 2005-09-13 | 2008-09-10 | Srs实验室有限公司 | 用于音频处理的系统和方法 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08502867A (ja) * | 1992-10-29 | 1996-03-26 | ウィスコンシン アラムニ リサーチ ファンデーション | 指向性音を作る方法及び装置 |
| DE69423922T2 (de) * | 1993-01-27 | 2000-10-05 | Koninkl Philips Electronics Nv | Tonsignalverarbeitungsanordnung zur Ableitung eines Mittelkanalsignals und audiovisuelles Wiedergabesystem mit solcher Verarbeitungsanordnung |
| DK0912076T3 (da) * | 1994-02-25 | 2002-01-28 | Henrik Moller | Binaural syntese, head-related transfer functions samt anvendelser deraf |
| JP3258816B2 (ja) * | 1994-05-19 | 2002-02-18 | シャープ株式会社 | ３次元音場空間再生装置 |
| US5596644A (en) * | 1994-10-27 | 1997-01-21 | Aureal Semiconductor Inc. | Method and apparatus for efficient presentation of high-quality three-dimensional audio |
| US5943427A (en) * | 1995-04-21 | 1999-08-24 | Creative Technology Ltd. | Method and apparatus for three dimensional audio spatialization |
| US5751817A (en) * | 1996-12-30 | 1998-05-12 | Brungart; Douglas S. | Simplified analog virtual externalization for stereophonic audio |
| JP3115548B2 (ja) * | 1997-09-03 | 2000-12-11 | 株式会社 アサヒ電気研究所 | 音場シミュレーション方法及び音場シミュレーション装置 |
| GB9726338D0 (en) * | 1997-12-13 | 1998-02-11 | Central Research Lab Ltd | A method of processing an audio signal |
| US6990205B1 (en) * | 1998-05-20 | 2006-01-24 | Agere Systems, Inc. | Apparatus and method for producing virtual acoustic sound |
| JP2001028799A (ja) * | 1999-05-10 | 2001-01-30 | Sony Corp | 車載用音響再生装置 |
| KR100416757B1 (ko) * | 1999-06-10 | 2004-01-31 | 삼성전자주식회사 | 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법 |
| AU2001261344A1 (en) * | 2000-05-10 | 2001-11-20 | The Board Of Trustees Of The University Of Illinois | Interference suppression techniques |
| US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
| GB0123493D0 (en) * | 2001-09-28 | 2001-11-21 | Adaptive Audio Ltd | Sound reproduction systems |
| JP2004064739A (ja) * | 2002-06-07 | 2004-02-26 | Matsushita Electric Ind Co Ltd | 音像制御システム |
| US20060039748A1 (en) | 2002-06-07 | 2006-02-23 | Ruhlander Gregory P | Arrangement for connecting a rod end to a headed pin and method of manufacture |
| EP1370115B1 (en) | 2002-06-07 | 2009-07-15 | Panasonic Corporation | Sound image control system |
| US7330556B2 (en) * | 2003-04-03 | 2008-02-12 | Gn Resound A/S | Binaural signal enhancement system |
| US7680289B2 (en) | 2003-11-04 | 2010-03-16 | Texas Instruments Incorporated | Binaural sound localization using a formant-type cascade of resonators and anti-resonators |
| JP2005184040A (ja) * | 2003-12-15 | 2005-07-07 | Sony Corp | 音声信号処理装置及び音声信号再生システム |
| US20050147261A1 (en) * | 2003-12-30 | 2005-07-07 | Chiang Yeh | Head relational transfer function virtualizer |
| US7639823B2 (en) * | 2004-03-03 | 2009-12-29 | Agere Systems Inc. | Audio mixing using magnitude equalization |
| US8638946B1 (en) | 2004-03-16 | 2014-01-28 | Genaudio, Inc. | Method and apparatus for creating spatialized sound |
| JP2006086921A (ja) | 2004-09-17 | 2006-03-30 | Sony Corp | オーディオ信号の再生方法およびその再生装置 |
| US7634092B2 (en) * | 2004-10-14 | 2009-12-15 | Dolby Laboratories Licensing Corporation | Head related transfer functions for panned stereo audio content |
| KR100608025B1 (ko) * | 2005-03-03 | 2006-08-02 | 삼성전자주식회사 | 2채널 헤드폰용 입체 음향 생성 방법 및 장치 |
| WO2006126473A1 (ja) * | 2005-05-23 | 2006-11-30 | Matsushita Electric Industrial Co., Ltd. | 音像定位装置 |
| US20070223740A1 (en) * | 2006-02-14 | 2007-09-27 | Reams Robert W | Audio spatial environment engine using a single fine structure |
| ES2339888T3 (es) * | 2006-02-21 | 2010-05-26 | Koninklijke Philips Electronics N.V. | Codificacion y decodificacion de audio. |
| US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| JP4914124B2 (ja) * | 2006-06-14 | 2012-04-11 | パナソニック株式会社 | 音像制御装置及び音像制御方法 |
| US9496850B2 (en) * | 2006-08-04 | 2016-11-15 | Creative Technology Ltd | Alias-free subband processing |
| JP5450085B2 (ja) * | 2006-12-07 | 2014-03-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ処理方法及び装置 |
| US8520873B2 (en) | 2008-10-20 | 2013-08-27 | Jerry Mahabub | Audio spatialization and environment simulation |
| CN101960866B (zh) * | 2007-03-01 | 2013-09-25 | 杰里·马哈布比 | 音频空间化及环境模拟 |
| US8335331B2 (en) * | 2008-01-18 | 2012-12-18 | Microsoft Corporation | Multichannel sound rendering via virtualization in a stereo loudspeaker system |
-
2009
- 2009-10-20 US US12/582,449 patent/US8520873B2/en not_active Expired - Fee Related
- 2009-10-20 CN CN200980151136.XA patent/CN102440003B/zh not_active Expired - Fee Related
- 2009-10-20 WO PCT/US2009/061294 patent/WO2010048157A1/en active Application Filing
- 2009-10-20 EP EP09822542.8A patent/EP2356825A4/en not_active Withdrawn
- 2009-10-20 JP JP2011533269A patent/JP5694174B2/ja not_active Expired - Fee Related
-
2013
- 2013-08-26 US US13/975,915 patent/US9271080B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6307941B1 (en) * | 1997-07-15 | 2001-10-23 | Desper Products, Inc. | System and method for localization of virtual sound |
| US7099482B1 (en) * | 2001-03-09 | 2006-08-29 | Creative Technology Ltd | Method and apparatus for the simulation of complex audio environments |
| CN101263739A (zh) * | 2005-09-13 | 2008-09-10 | Srs实验室有限公司 | 用于音频处理的系统和方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11277703B2 (en) | 2012-08-31 | 2022-03-15 | Dolby Laboratories Licensing Corporation | Speaker for reflecting sound off viewing screen or display surface |
| CN104604256B (zh) * | 2012-08-31 | 2017-09-15 | 杜比实验室特许公司 | 基于对象的音频的反射声渲染 |
| CN104604256A (zh) * | 2012-08-31 | 2015-05-06 | 杜比实验室特许公司 | 基于对象的音频的反射声渲染 |
| US9794718B2 (en) | 2012-08-31 | 2017-10-17 | Dolby Laboratories Licensing Corporation | Reflected sound rendering for object-based audio |
| US10743125B2 (en) | 2012-08-31 | 2020-08-11 | Dolby Laboratories Licensing Corporation | Audio processing apparatus with channel remapper and object renderer |
| US10405124B2 (en) | 2013-03-29 | 2019-09-03 | Samsung Electronics Co., Ltd. | Audio apparatus and audio providing method thereof |
| CN107623894B (zh) * | 2013-03-29 | 2019-10-15 | 三星电子株式会社 | 渲染音频信号的方法 |
| CN107623894A (zh) * | 2013-03-29 | 2018-01-23 | 三星电子株式会社 | 渲染音频信号的方法 |
| US9807538B2 (en) | 2013-10-07 | 2017-10-31 | Dolby Laboratories Licensing Corporation | Spatial audio processing system and method |
| CN105637901A (zh) * | 2013-10-07 | 2016-06-01 | 杜比实验室特许公司 | 空间音频处理系统和方法 |
| CN108462936A (zh) * | 2013-12-13 | 2018-08-28 | 无比的优声音科技公司 | 用于音场增强的设备及方法 |
| CN106576203A (zh) * | 2014-05-28 | 2017-04-19 | 弗劳恩霍夫应用研究促进协会 | 确定和使用房间优化传输函数 |
| CN106576203B (zh) * | 2014-05-28 | 2020-02-07 | 弗劳恩霍夫应用研究促进协会 | 确定和使用房间优化传输函数 |
| CN108476369A (zh) * | 2015-09-07 | 2018-08-31 | 3D声音实验室 | 用于开发适用于个体的头部相关传递函数的方法和系统 |
| CN107197415A (zh) * | 2016-06-10 | 2017-09-22 | 西马特尔有限公司 | 改进为电话呼叫提供双声道声音的电子设备的计算机性能 |
| CN110495189A (zh) * | 2017-04-18 | 2019-11-22 | 奥姆尼欧声音有限公司 | 利用心理声学分组现象的立体声展开 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5694174B2 (ja) | 2015-04-01 |
| US8520873B2 (en) | 2013-08-27 |
| US9271080B2 (en) | 2016-02-23 |
| US20140064494A1 (en) | 2014-03-06 |
| EP2356825A4 (en) | 2014-08-06 |
| CN102440003B (zh) | 2016-01-27 |
| EP2356825A1 (en) | 2011-08-17 |
| WO2010048157A1 (en) | 2010-04-29 |
| US20100246831A1 (en) | 2010-09-30 |
| JP2012506673A (ja) | 2012-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102440003B (zh) | 音频空间化和环境仿真 | |
| AU2020203222B2 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
| CN105874820B (zh) | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 | |
| KR102430769B1 (ko) | 몰입형 오디오 재생을 위한 신호의 합성 | |
| KR20160136716A (ko) | 오디오 신호 처리 방법 및 장치 | |
| US11924623B2 (en) | Object-based audio spatializer | |
| JP2023066418A (ja) | オブジェクトベースのオーディオ空間化器 | |
| WO2024089040A1 (en) | Audio signal processor and related method and computer program for generating a two-channel audio signal using a specific handling of image sources | |
| Avendano | Virtual spatial sound |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160127 Termination date: 20171020 |