CN1735922A - 处理音频数据的方法和实行这个方法的声音获取设备 - Google Patents
处理音频数据的方法和实行这个方法的声音获取设备 Download PDFInfo
- Publication number
- CN1735922A CN1735922A CNA2003801086029A CN200380108602A CN1735922A CN 1735922 A CN1735922 A CN 1735922A CN A2003801086029 A CNA2003801086029 A CN A2003801086029A CN 200380108602 A CN200380108602 A CN 200380108602A CN 1735922 A CN1735922 A CN 1735922A
- Authority
- CN
- China
- Prior art keywords
- sound
- distance
- reproducing device
- component
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims description 43
- 230000000694 effects Effects 0.000 claims abstract description 36
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 230000008447 perception Effects 0.000 claims abstract description 21
- 230000000644 propagated effect Effects 0.000 claims abstract description 3
- 230000014509 gene expression Effects 0.000 claims description 91
- 230000006870 function Effects 0.000 claims description 74
- 239000011159 matrix material Substances 0.000 claims description 38
- 230000001902 propagating effect Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000013500 data storage Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 10
- 239000002775 capsule Substances 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 240000006409 Acacia auriculiformis Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000272165 Charadriidae Species 0.000 description 1
- 241001274660 Modulus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003335 steric effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0091—Means for obtaining special acoustic effects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及音频数据的处理。本发明的特征体现在:它在于:(a)为表示声音的信号编码,该声音在三维空间中传播并源自离参考点第一距离(P)的声源,以获得对应于所述参考点的原点的、通过在球谐函数基中被表达的分量的该声音的表示;(b)以及,通过基于第二距离(R)的过滤,来应用于近场效应的所述分量补偿,对于声音再现,该第二距离(R)定义再现点(HPi)与收听者通常所在的听知觉点(P)之间的距离。
Description
本发明涉及音频数据的处理。
关于三维空间中的声波的传播并且涉及特定的专门声音模拟和/或重放的技术执行被应用于声学和音质现象的模拟的各种音频信号处理方法。这类处理方法规定声场的空间编码、其在扩音器集上或在立体声头戴式耳机的受话器上的传输和空间化再现。
在这些空间化声音技术之中,可区别互补的、但通常都在同一个系统内加以执行的两种处理类别。
一方面,第一种处理类别涉及用于合成室内效应或(更一般地说)周围效应的各种方法。从一个或多个声源(被发射的信号、位置、方位、方向性或类似物)的说明中,并且根据室内效应模型(涉及室内几何学、要不就是所需的听觉),可以计算并描述一套基本声学现象(直射波、反射波或绕射波)、要不就是宏观声学现象(反响与扩散场),从而可以在三维空间中传达位于选择的听知觉点处的收听者的那个层面的空间效应。然后,可以计算通常与这些反射(“二次”声源,通过被接收的主波的再发射而活动,具有空间位置属性)相关联并且/或者与迟反响(对于扩散场的相互无关的信号)相关联的信号集。
另一方面,第二种方法类别涉及声源的位置或方向再现。这些方法被应用于通过以上所述的第一种类别的方法(涉及主声源和二次声源)来加以确定的信号,作为与它们关联的该空间说明(该声源的位置)的函数。特别是,通过根据该第二种类别的这类方法,可以获得将要在扩音器或受话器上被散布的信号,以便最终给收听者留下位于该收听者周围的预定的各自位置处的声源的听觉印象。由于收听者对于这些声源的位置的认识的三维空间中的分布,根据该第二种类别的这些方法被授予“三维声像的创建者”的称号。根据该第二种类别的方法通常包括这些基本声学事件的空间编码的第一个步骤,它会产生三维空间中的该声场的表示。在第二个步骤中,这个表示被传送或被存储,供随后使用。在解码的第三个步骤中,在重放设备的扩音器或受话器上传递这些解码信号。
本发明被包含在上述第二种类别内。它尤其涉及声源的该空间编码和这些声源的该三维声音表示的规范。在一个或多个三维阵列的话筒执行声音捕捉的期间,它同样也应用于“虚拟”声源的编码(在那里模拟声源的应用程序,例如,游戏、空间化会议或类似物),如同应用于自然声场的“声学”编码。
在声音空间化的这各种想得到的技术之中,该“立体混响声”途径是较佳的。立体混响声编码(将进一步加以详细地描述)存在于:在球谐函数的基中(在尤其涉及仰角和方位角的球坐标中,从而体现了这个或这些声音的方向的特征)表示关于一个或多个声波的信号。关于在近场中被发射的这些波,表示这些信号并且在球谐函数的这个基数中被加以表达的这些分量也取决于发射这个场的该声源与对应于该球谐函数基的该原点的点之间的距离。更具体地说,对于该距离的这个依靠性被表达为该声音频率的函数,这一点将会进一步看到。
这个立体混响声途径尤其在虚拟声源的模拟方面提供了大量可能的函数性,并且,按一般的方式显示出以下各个优点:
-它按合理的方式传达该声学现象的真实性,并给予逼真、动听和陶醉的空间听觉再现;
-该声学现象的表示是可升级的:它提供可以适合各种情况的空间分辨率。明确地说,在这些编码信号的传输和/或该重放设备的限制期间,这个表示可以被传送并被用作吞吐量约束的函数;
-该立体混响声表示是灵活的,并且,可以模拟该声场的旋转,要不然,在重放时,可以使这些立体混响声信号的解码适应不同的几何图形的任何重放设备。
在该已知的立体混响声途径中,这些虚拟声源的编码本质上是有方向的。这些编码函数相当于是计算取决于该声波的入射角的增益,该入射角由这些球谐函数来表达,这些球谐函数取决于球面坐标中的该仰角和该方位角。特别是,在解码时,假设:在重放时,远远地移走这些扩音器。这会导致这些重建波前的形状的畸变(或扭曲)。明确地说,如上文中所指出的,对于近场,该球谐函数基中的该声音信号的这些分量实际上也取决于该声源与该声音频率的距离。更精确地说,可以以多项式的形式在数学上表达这些分量,该多项式的变量与上述距离成反比,与该声音频率成反比。这样,从其理论表达式的意义上说,这些立体混响声分量在低频中发散,并且,特别是,当该声音频率减小到零时,当它们表示位于有限长的距离处的声源所发射的近场声音时,这些立体混响声分量趋向于无穷大。在立体混响声表示的领域中,这个数学现象(已关于阶1)被称作“低音提升”,特别是通过:
-M.A.GERZON,《听觉定位的一般元理论》,第92个AES条约的预印本3306,1992年,第52页。
对于涉及高幂的多项式的高球面谐波阶而言,这个现象变得特别紧要。
以下文档:
SONTACCHI和HLDRICH,《使用距离编码的、关于3D声场的进一步调查》(关于数字音频效应(DAFX-01)的成本G-6会议的会议录,Limerick,爱尔兰,2001年12月6-8日),
揭示了用于考虑立体混响声表示的近表示内的这些波前的扭曲的技术,该技术的原理在于:
-将(高阶的)立体混响声编码应用于WFS类型(代表“波场合成”)的、产生于(被模拟的)虚拟声音捕捉的那些信号;
-根据区域边界上的其值而在区域上重建该声场,因此基于该HUYGENS-FRESNEL原理。
但是,虽然由于“它使用到高阶的立体混响声表示”的事实而允诺,但这个文档中所呈现的该技术提出一定数量的问题:
-所有这些表面的计算(使“应用该HUYGENS-FRESNEL原理”成为可能)所要求的这些计算机资源、以及所要求的这些计算时间过多;
-由于这些话筒之间的该距离,会出现被称作“空间混叠”的处理人工制品,除非选择被紧密隔开的虚拟话筒格栅,从而使该处理更加麻烦;
-若存在真实声源,那么,一当获取,这项技术就难以调换到将要被布置在阵列中的传感器的真实情况;
-关于重放,该三维声音表示被含蓄地约束于该重放设备的固定半径,因为这里必须在与那个最初的话筒阵列相同尺度的扩音器阵列上执行该立体混响声解码,这个文档没有提议使该编码或该解码适应其他尺寸的重放设备的方法。
首先,这个文档呈现传感器的水平阵列,从而假设:正被讨论的该声学现象在这里只在水平方向上传播,从而排除任何其他的传播方向,并因此不表示普通声场的物理真实性。
更一般的情况是,通过当前技术,无法令人满意地处理任何类型的声源(尤其是近场源),而是可以处理被远远地移走的声源(平面波),这对应于众多应用中的限制性和人工情况。
本发明的目的是:提供一种方法,用于通过编码、传输和重放来处理任何类型的声场,尤其是该近场中的声源的该效应。
本发明的另一个目的是:提供一种允许虚拟声源的编码的方法——不仅以方向方式,而且以距离方式;并且,定义能适应任何重放设备的解码。
本发明的另一个目的是:在话筒的三维阵列的帮助下,尤其为自然声场的声音捕捉来提供一种鲁棒性方法,用于处理任何声音频率(包括低频)的声音。
为此目的,本发明提议一种处理声音数据的方法,其中:
a)表现出在三维空间中传播并且产生于离参考点有第一距离的声源的至少一个声音的信号被进行编码,以便获得对应于所述参考点的原点的、在球谐函数的基中被加以表达的分量所作出的该声音的表示;以及,
b)通过取决于第二距离的过滤,近场效应的补偿被应用于所述分量,该第二距离实质上为重放设备所执行的该声音的重放来定义重放点与听知觉点之间的距离。
在第一个实施例中,所述声源正被远远移离该参考点,
-为球谐函数的所述基中的该声音的该表示来获得连续阶m的分量;以及,
-应用滤波器,其各个系数(每个被应用于阶m的分量)以幂m的多项式的颠倒的形式来加以分析上的表达,其变量与该声频率成反比,与所述第二距离成反比,以便补偿该重放设备的该层面处的近场效应。
在第二个实施例中,所述声源是设想在所述第一距离处的虚拟声源,
-为球谐函数的所述基数中的该声音的该表示来获得连续阶m的分量;以及,
-应用全局滤波器,其各个系数(每个被应用于阶m的分量)以分数的形式来加以分析上的表达,其中:
-该分子是幂m的多项式,其变量与该声音频率成反比,与所述第一距离成反比,以便模拟该虚拟声源的近场效应;以及,
-该分母是幂m的多项式,其变量与该声音频率成反比,与所述第二距离成反比,以便补偿这些低声音频率中的该虚拟声源的该近场效应。
较佳的是,利用表示所述第二距离的参数,来向该重放设备传送在步骤a)和b)中被编码和过滤的该数据。
作为补充或变体该重放设备包括用于读取存储介质的装置,利用表示所述第二距离的参数,在存储介质上存储意在由该重放设备读取的在步骤a)和b)中被编码和过滤的该数据。
有利的是,在包括被布置成离所述听知觉点第三距离的多个扩音器的重放设备执行声音重放之前,其系数取决于所述第二和第三距离的自适应滤波器被应用于该被编码和过滤的数据。
在特定实施例中,所述自适应滤波器的这些系数(每个被应用于阶m的分量)以分数的形式被解析表达,其中:
-该分子是幂m的多项式,其变量与该声音频率成反比,与所述第二距离成反比;以及,
-该分母是幂m的多项式,其变量与该声音频率成反比,与所述第三距离成反比。
有利的是,关于步骤b)的实施,提供:
-关于偶数阶m的这些分量,是采取二阶的单元级联的形式的音频数字滤波器;以及,
-关于奇数阶m的这些分量,是采取二阶单元级联和一阶的附加单元的形式的音频数字滤波器。
在这个实施例中,对于阶m的分量,根据幂m的所述多项式的这些根的各个数值来定义音频数字滤波器的这些系数。
在特定实施例中,所述多项式是贝塞耳多项式。
一获取这些声音信号,就有利地提供包括实质上被排列在球体(它的中心实质上对应于所述参考点)表面上的声换能器阵列的话筒,以便获得表示在该三维空间中传播的至少一个声音的所述信号。
在这个实施例中,在步骤b)中应用全局滤波器,以便:一方面,补偿近场效应,作为所述第二距离的函数;另一方面,使产生于这些变换器的各个信号均衡,以补偿所述变换器的方向性的加权。
较佳的是,根据被选择用于表示球谐函数的所述基中的该声音的分量的总数,来提供变换器的数量。
根据有利的特征,在步骤a)中,从该球谐函数基中选择分量的总数,以便在重放的情况下获得该知觉点周围的该空间的区域——其中,该声音的重放正确可靠,并且,其尺度随分量的该总数而增加。
较佳的是,此外提供包括至少等同于所述分量总数的扩音器数量的重放设备。
作为变体,在具有两路立体声或听觉传播(transaural)合成重放的该框架内:
-提供至少包括被布置成离收听者被选择的距离的第一和第二扩音器的重放设备;
-为用于应用所谓的“听觉传播”或“两路立体声合成”技术的这位收听者来获得离该收听者有预定参考距离的声源的空间中的该位置的预期认识线索;以及,
-利用实质上作为第二距离的所述参考距离,来应用步骤b)中的该补偿。
在变体中——其中,自适应被引入具有两个受话器的该重放设备:
-提供至少包括被布置成离收听者被选择的距离的第一和第二扩音器的重放设备;
-为这位收听者来获得离该收听者有预定参考距离的声源的空间中的该位置的认识线索;以及,
-在该重放设备执行声音重放之前,一自适应滤波器(其系数取决于该第二距离,并且实质上取决于该参考距离)被应用于在步骤a)和b)中被编码和过滤的该数据。
特别是,在具有两路立体声合成的重放的该框架内:
-该重放设备包括头戴式耳机,该头戴式耳机具有用于该收听者的各个耳朵的两个受话器;以及,
-较佳的是,分别对于每个受话器,利用作为第一距离的、分别是将每个耳朵与将要在该重放空间中被重放的声源的位置隔开来的距离,并根据意在被馈送到每个受话器的各自的信号来应用步骤a)和b)中的编码和过滤。
较佳的是,在步骤a)和b)中,形成矩阵系统,所述系统至少包括:
-包括该球谐函数基中的所述分量的矩阵;以及,
-其系数对应于步骤b)中的过滤系数的对角矩阵;以及,
使所述矩阵相乘,以获得补偿分量的结果矩阵。
首先,在重放的情况下:
-该重放设备包括实质上被布置成离该听知觉点一段相同的距离的多个扩音器;以及,
-对在步骤a)和b)中被编码和过滤的所述数据进行解码,并且形成适用于馈送所述扩音器的信号:
*针对该重放设备,形成矩阵系统——包括补偿分量的所述结果矩阵和预定的解码矩阵,以及
*通过将该结果矩阵乘以所述解码矩阵,来获得矩阵——包括表示这些扩音器馈送信号的系数。
本发明也针对声音获取设备——包括安装有实质上被布置在球体表面上的声换能器阵列的话筒。根据本发明,该设备另外包括处理单元,该处理单元被加以安排,以便:
-接收信号,每个信号从变换器那里发出;
-将编码应用于所述信号,以获得对应于所述球体的该中心的原点的、在球谐函数的基中被加以表达的分量所作出的该声音的表示;以及,
-将过滤应用于所述分量,该过滤一方面取决于对应于该球体的该半径的距离,另一方面取决于参考距离。
较佳的是,该处理单元所执行的该过滤一方面在于:使产生于这些变换器的这些信号均衡(作为该球体的该半径的函数),以便补偿所述变换器的方向性的加权;另一方面在于:补偿近场效应,作为所述参考距离的函数。
通过阅读下文中的详细说明,并通过检查其附图,本发明的其他优点和特征将变得一目了然。在这些附图中:
-图1用图表展示了一种系统,用于通过虚拟声源、声音信号的模拟并利用空间化重放设备所执行的编码、传输、解码和重放来进行获取和创建;
-图2更精确地表现了以强度方式和根据信号产生于那里的声源的该位置来加以定义的信号的编码;
-图3展示了球坐标中的、涉及该立体混响声表示的各个参数;
-图4展示了各种阶的球谐函数Yσ mn的、球坐标的参考系中的三维量度所作出的表示;
-图5是关于阶m的连续值的半径函数jm(kr)(它们是球面贝塞耳函数)的这些模数的各个变更的图表,这些半径函数进入声压场的该立体混响声表示;
-图6表现了尤其在低频的情况下由于关于各种连续阶m的该近场效应而产生的放大;
-图7利用上述听知觉点(参考P)、上述第一距离(参考ρ)和上述第二距离(参考R)来用图表表示包括多个扩音器HPi的重放设备;
-图8利用方向编码、以及根据本发明的距离编码来用图表表示涉及该立体混响声编码的各个参数;
-图9表现了关于虚拟声源ρ=1m的第一距离和位于第二距离R=1.5m处的扩音器的预补偿而加以模拟的该补偿和近场滤波器的能量谱;
-图10表现了关于该虚拟声源ρ=3m的第一距离和位于距离R=1.5m处的扩音器的预补偿而加以模拟的该补偿和近场滤波器的能量谱;
-图11A表现了从本发明的意义上说具有关于该水平面中的球面波的补偿的该近场的重建;
-与图11A相比较,图11B表现了产生于声源S的该初始波前;
-图12用图表表示过滤模块,用于使被接收和被预补偿的这些立体混响声分量适应关于作为第二距离的参考距离R的编码、并适应包括被布置成离听知觉点第三距离R2的多个扩音器的重放设备;
-图13A利用在该近场中发射的声源来用图表表示在重放的情况下关于收听者的声源M的布置,该收听者使用应用两路立体声合成的重放设备;
-图13B利用图13A中的该两路立体声合成的该框架中的近场效应来用图表表示编码和解码的各个步骤,立体混响声编码/解码与该近场效应结合;
-图14通过从本发明的意义上说的立体混响声编码、均衡和近场补偿来用图表表示(举例说明来讲)产生于话筒的这些信号的处理,该话筒包括被排列在球体上的多个压力传感器。
首先参考图1,图1通过举例说明来表现用于声音空间化的全局系统。用于模拟虚拟场景的模块1a利用三维空间中的被选择的位置来将声音对象定义为信号的虚拟声源(例如,单声道的),并且,它定义该声音的方向。可以另外提供虚拟房间的几何图形的规范,以便模拟该声音的反响。处理模块11应用关于收听者的这些声源中的一个或多个声源的管理(关于这位收听者的这些声源的虚拟位置的定义)。它执行室内效应处理器,用于通过应用延迟和/或标准过滤来模拟反响或类似物。这样构建的这些信号被传送到模块2a,用于这些声源的各项基本贡献的空间编码。
与此同时,通过按关于这些真实声源(模块1b)的被选择的方式来加以布置的一个或多个话筒,可以在声音记录的该构架内执行声音的自然捕捉。这些话筒拾起的这些信号由模块2b来编码。在通过模块2来与由模块1a生成的和由模块2a编码的这些信号(产生于这些虚拟声源)相混合之前,被获取和被编码的这些信号可以根据中间表示格式(模块3b)来加以变换。其后,这些混合信号被传送,要不然为以后重放起见(箭头TR)而被存储在介质上。其后,为包括扩音器的重放设备6上的重放起见,它们被应用于解码模块5。看情况,例如,通过旋转,并依靠在该解码模块5的上游提供的处理模块4,“操作该声场”的步骤可能在解码步骤5前面。
该重放设备可以采取被排列在(例如)三维(全向声系统的)配置中的球体表面上的多种多样的扩音器的形式,以便在重放的情况下尤其确保三维空间中的该声音的方向认识。为此目的,收听者通常让自己位于由该扩音器阵列构成的该球体的中心处,这个中心对应于上述听知觉点。作为变体,该重放设备的这些扩音器可以被排列在平面(二维全景配置)中,这些扩音器被特别布置在圆圈上,该收听者通常位于这个圆圈的中心。在另一个变体中,该重放设备可以采取“环绕”类型(5.1)的设备的形式。最后,在有利的变体中,该重放设备可以采取具有用于被重放的该声音的两路立体声合成的两个受话器的头戴式耳机的形式,这允许该收听者认识三维空间中的这些声源的方向,这一点将会进一步加以详细的了解。具有两个扩音器的这种重放设备(用于三维空间中的认识)也可以采取听觉传播重放设备的形式——具有被布置成离收听者有被选择的距离的两个扩音器。
现在参考图2,以描述基本声源的、关于三维声音重放的空间编码和解码。产生于声源1~N的该信号及其位置(真实的或虚拟的)被传送到空间编码模块2。其位置可以按照入射角(从该收听者那里观看的该声源的方向)或按照这个声源与收听者之间的距离来同样地加以定义。通过这样被编码的这多个信号,可以获得全局声场的多通道表示。如上文参照图1而指出的,将被编码的这些信号传送(箭头TR)到声音重放设备6,用于三维空间中的声音重放。
现在参考图3,以便在下文中描述声场的、三维空间中的球谐函数所作出的该立体混响声表示。我们考虑缺乏任何声源的、原点O周围的区域(半径为R的球体)。我们采用球坐标系——其中,从该原点O到该球体的一个点的每个向量
r由方位角θr、仰角δr和半径r(对应于离该原点O的那段距离)来描述。
这个球体内的该压力场p(
r)(r<R,其中的R是该球体的半径)可以在该频率域内被写为一个系列,其项是角函数Yσ mn(θ,δ)和半径函数jm(kr)的加权乘积,它们因此取决于传播项——其中,k=2πf/c,其中的f是该声音频率,c是该传播介质中的声速。
然后,该压力场可以被表达为:
该加权因数集Bσ mn(隐含地取决于频率),因此描述被考虑的这个区域内的该压力场。由于这个原因,这些因数被称作“球谐函数分量”,并且在球谐函数Yσ mn的该基中表示关于该声音(或关于该压力场)的频率表达式。
这些角函数被称作“球谐函数”,并通过以下公式来加以定义:
其中,Pmn(sin δ)是阶m和级n的勒让德函数;
δp,q是Krnecker符号(如果p=q和0,则等于1)。
球谐函数构成正交规范化基——其中,谐波分量之间、以及按一般方式的两个函数F与G之间的这些标量积分别通过以下公式来加以定义:
如图4中所表示的,球谐函数是有界的实函数,作为阶m以及指数n和σ的函数。这些明亮的和黑暗的部分分别对应于这些球谐函数的正、负值。该阶m越高,该角频率(和(因而)各个函数之间的辨别力)就越高。这些半径函数jm(kr)是球面贝塞耳函数,在图5中为该阶m的一些值而展示其模数。
球谐函数的基所作出的该立体混响声表示的解释可以如下所述。相似阶m的这些立体混响声分量最终在该原点O(图3中所表示的该球体的中心)的邻域中表达该压力场的阶m的“导数”或“动量”。
特别是,B+1 00=W描述该压力的标量幅度,而B+1 11=X、B1 11=Y、B+1 10=Z与该原点O处的这些压力梯度(或该特定速度)有关。在全向话筒(关于0阶的分量W)和双向话筒(关于随后的其他三个分量)的帮助下,在声音的自然捕捉期间获得这前四个分量W、X、Y和Z。通过使用更多数量的声换能器,适当的处理(特别是通过均衡)可以使“获得更多的立体混响声分量(比1更大的更高阶m)”成为可能。
通过考虑更高阶(大于1)的这些附加的分量,因此通过增加该立体混响声说明的角分辨率,可以在该原点O周围的关于该声波的波长的更广阔的邻域上获得对该压力场的近似值的访问。这样,将会理解:该角分辨率(该球谐函数的阶)与可以被表示的该半径范围(半径r)之间存在紧密的关系。简而言之,当在空间上离开图3中的该原点O时,立体混响声分量的数量越大(阶m高),这些立体混响声分量的这个集合所作出的该声音的表示就越好。也将会理解:但是,当离开该原点O时,该声音的该立体混响声表示会不太令人满意。特别对于(短波长的)高声音频率而言,这个效应变得至关重要。所以,重要的是获得可能的最大数量的立体混响声分量,从而使“在该知觉点的周围创建空间区域”成为可能,并且,其中,该声音的重放正确可靠,其尺度随该分量总数而增加。
下文描述了对空间化声音编码/传输/重放系统的应用。
在实践中,如上文所描述的,立体混响声系统考虑球谐函数分量的子集。当后者考虑指数m<M的立体混响声分量时,谈及阶m的系统。当处理具有扩音器的重放设备所执行的重放时,将会理解:如果这些扩音器被布置在水平面中,那么,只利用这些指数m=n的谐波函数。另一方面,当该重放设备包括被布置在球体的表面上的扩音器(“periphony”)时,原则上可以利用与存在的扩音器一样多的谐波函数。
该参考S指定由平面波携带并且在对应于图3中的该球体的中心的该原点O(球面坐标中的该基的原点)处被拾起的该压力信号。该波的该入射角由方位角θ和仰角δ来描述。关于与这个平面波关联的该场所的这些分量的该表达式由以下关系式给出:
为了对离该原点O距离ρ的近场源进行编码(模拟),通过考虑“近场以一级近似发射球面波”,可应用滤波器Fm (ρ/c),以便使这些波前的形状“弯曲”。该场的这些编码分量变成:
并且,关于上述滤波器Fm (ρ/c)的该表达式由以下关系式给出:
其中,ω=2πf是该波的角频率,f是该声音频率。
这后两个关系[A4]和[A5]最终示出:关于虚拟声源(被模拟的)以及该近场中的真实声源,该立体混响声表示中的该声音的各个分量以幂m的多项式(这里是贝塞耳多项式)的形式来加以数学上(特别是解析上)的表达,其变量(c/2jωρ)与该声音频率成反比。
这样,将会理解:
-在平面波的情况中,该编码产生的信号与该原始信号的不同之处只在于真实、有限的增益,这对应于纯粹的方向编码(关系式[A3]);
-在球面波(近场源)的情况中,如关系式[A5]中所表达的,通过将取决于频率的复振幅比引入关于这些立体混响声分量的该表达式,该附加的滤波器Fm (ρ/c)(ω)为该距离线索编码。
应该注意,这个额外的滤波器属于“积分器”类型——具有随着这些声音频率向零减小而增加和发散(是无限制的)的放大效应。图6表现了在每个阶m之前的、处于低频的该增益中的增加(这里,该第一距离ρ=1m)。所以,当企图将不稳定的发散滤波器应用于任何音频信号时,正在处理它们。对于具有高值的阶m而言,这个发散更加关键。
从关系式[A3]、[A4]和[A5]中,特别是,将会理解:如图6中所表示的,该近场中的虚拟声源的建模按对于高阶m而言尤其关键的方式来显示出处于低频的发散的立体混响声分量。在这些低频中,这个发散对应于上文陈述的“低音提升”的现象。对于真实声源,它也在声音获取中表明自身。
特别由于这个原因,尤其关于高阶m的该立体混响声途径在该技术状态中还没有经历该声音处理中的具体应用(除了在理论上以外)。
特别是,会理解:该近场的补偿是必要的,以便在重放的情况下服从在该立体混响声表示中被编码的这些波前的形状。参考图7,重放设备包括多个扩音器HPi,它们被布置成(在所描述的那个例子中)离听知觉点P同一距离R。在该图7中:
-扩音器HPi所在的每个点对应于上文陈述的重放点;
-这些点是上述听知觉点;
-这些点被上文陈述的该第二距离R分开;
而在上文所描述的图3中:
-该点O对应于上文陈述的该参考点,它形成该球谐函数基的该原点;
-该点M对应于离该参考点O有上文所陈述的第一距离ρ的声源(真实的或虚拟的)的该位置。
根据本发明所提供的优点之一,通过在该编码
之后被应用的该滤波器的衰减,来补偿其效应出现在图6中的该放大Fm (ρ/c)(ω)。特别是,这个补偿滤波器
的系数随声音频率而增加;并且,特别是,关于低频,这些系数趋向于零。有利的是,直接从该编码中被执行的这个预补偿确保:被传送的该数据对于低频而言不发散。
为了指出进入该补偿滤波器的该距离R的物理重要性,一获取这些声音信号,就可通过举例说明来考虑初始的、真实的平面波。如关系式[A4]中所指出的,为了模拟这个远处的声源的近场效应,可应用关系式[A5]的该第一滤波器。然后,该距离ρ表示附近的虚拟声源M与该点O之间的距离,该点O表示图3中的该球面基的该原点。用于近场模拟的第一滤波器因此被应用,来模拟在上述距离ρ处的虚拟声源的存在。然而,一方面,如上文所指出的,这个滤波器的该系数的各个项在这些低频中发散(图6);并且,另一方面,上述距离ρ将不一定表示重放设备的扩音器与知觉点P之间的该距离(图7)。根据本发明,如图7中所表示的,在编码的情况下,应用预补偿,涉及如上文所指出的该类型
的滤波器,从而一方面使“传送有界信号”成为可能,另一方面使“直接从该编码中选择该距离R”成为可能,用于使用这些扩音器HPi来重放该声音。特别是,将会理解:如果在获取时已模拟离该原点O该距离ρ的虚拟声源,那么,在重放的情况下(图7),位于该听知觉点P处(离这些扩音器HPi有距离R)的收听者在收听时将会认识到声源S的存在,该声源S离该知觉点P有该距离ρ,并且,它对应于在获取期间被模拟的该虚拟声源。
这样,在该编码阶段,这些扩音器(位于该距离R处)的该近场的预补偿可以与位于距离ρ处的虚拟声源的被模拟的近场效应相结合。在编码的情况下,一方面产生于该近场的模拟的、另一方面产生于该近场的补偿的总体滤波器最终发挥作用,这个滤波器的各个系数可以由以下关系式来加以分析上的表达:
如图8中所表示的,由关系式[A11]给出的该总体滤波器是稳定的,并且构成根据本发明的该空间立体混响声编码中的该“距离编码”部分。这些滤波器的各个系数对应于关于该频率的单调传递函数,它们趋向于处于高频的该值1,并趋向于处于低频的该值(R/ρ)m。通过参考图9,利用扩音器(位于距离R=1.5m处)的该场的预补偿,这些滤波器Hm NFC(ρ/c,R/c)(ω)的能量谱传达了由该虚拟声源(这里位于距离ρ=1m处)的该场效应引起的这些编码分量的放大。所以,当ρ<R时(图9中的情况),用分贝表示的该放大是正的;当ρ>R时(图10中的情况,其中,ρ=3m,R=1.5m),它是负的。在空间化重放设备中,听知觉点与这些扩音器HPi之间的该距离R实际上是大约一米或几米的数量级。再参考图8,将会理解:除这些惯例的方向参数θ和δ之外,将传送关于涉及该编码的那些距离的线索。这样,为该方向编码而保留对应于该球谐函数Ymn σ(θ,δ)的这些角函数。
但是,如图8中所表示的,在本发明的意义以内,另外供应被应用于这些立体混响声分量的全体滤波器(近场补偿、以及视情况可以是近场的模拟)Hm NFC(ρ /c,R/c)(ω),作为其阶m的函数,以实现该距离编码。以后将详细地描述该音频数字域内的这些滤波器的实施例。
将特别注意,可以直接从每个距离编码(r)中并且甚至在该方向编码(θ,δ)之前应用这些滤波器。这样,将会理解:上文中的步骤a)和b)可以被集合成一个相同的全局步骤,或甚至被交换(利用距离编码和补偿过滤,随后是方向编码)。所以,根据本发明的方法不局限于步骤a)和b)的连续的暂时实施。
图11A在该水平面(具有与图9中的参数相同的距离参数)中表示球面波的、具有补偿的近场的重建的可视化图(从上方观看),用于总的阶M=15的系统和32个扩音器上的重放。在图11B中,表示来自离该获取空间的点有距离ρ的近场源的该初始声波的传播;在该重放空间中,那个获取空间的点对应于图7中的该听知觉点P。在图11A中注意,这些收听者(由示意图头部来象征)可以查明离图11B中的该知觉点P有该距离ρ的同一个地理位置处的该虚拟声源。
这样,的确验证:在解码和重放之后,服从该编码波前的形状。但是,该点P(例如,图11A中所表示的)右边的干扰显而易见,这个干扰归因于该事实:对于由这些扩音器定界限的该整个表面上所涉及的该波前的完美重建而言,(被考虑在内的立体混响声分量的)扩音器数量不够。
下文通过举例来描述用于在本发明的意义上的该方法的实施的音频数字滤波器的获得。
如上文所指出的,如果正企图模拟近场效应(直接从编码中加以补偿),那么,以下形式的滤波器:
被应用于该声音的各个立体混响声分量。
从关于由关系式[A5]给出的近场的模拟的该表达式中,显而易见:关于远处声源(ρ=∞),关系式[A11]只变成:
所以,从这后一个关系式[A12]中可见:在“将要被模拟的该声源在该远场(远处声源)中发射”的情况下,它只是关于该滤波器的该一般表达式的特定情况,关系式[A11]中阐明了这一点。
在音频数字处理的领域内,“根据该持续时间模拟域中的这个滤波器的该解析表达式来定义数字滤波器”的有利方法包括“双线性变换”。
首先以拉普拉斯变换的形式来表达关系式[A5],这对应于:
其中,τ=ρ/c(c是该介质中的声速,在空中通常是340m/s)。
该双线性变换在于:关于抽样率fs,呈现采取以下形式的关系式[A11]:
如果m是奇数,并且
如果m是偶数,
其中,对于以上关系式[A13],z由
来定义,
并且利用:
以及
其中,对于x=a,α=4fsR/c
以及,对于x=b,α=4fsρ/c
Xm,q是该贝塞耳多项式的q个连续根:
并且,当m是奇数时,它们在下文关于各种阶m的表格1中以其真实部分、其模数(被逗点分开)和其(真实的)值的各自的形式来加以表达。
表格1:如在MATLAB计算软件的帮助下所计算的贝塞耳多项式的各个值Re[Xm,q]、|Xm,q|(和当m是奇数时的Re[Xm,m])。
m=1 | -2.0000000000 |
m=2 | -3.0000000000,3.4641016151 |
m=3 | -3.6778146454,5.0830828022;-4.6443707093 |
m=4 | -4.2075787944,6.7787315854;-5.7924212056,6.0465298776 |
m=5 | -4.6493486064,8.5220456027;-6.7039127983,7.5557873219;-7.2934771907 |
m=6 | -5.0318644956,10.2983543043;-7.4714167127,9.1329783045;-8.4967187917,8.6720541026 |
m=7 | -5.3713537579,12.0990553610;-8.1402783273,10.7585400670;-9.5165810563,10.1324122997;-9.9435737171 |
m=8 | -5.6779678978,13.9186233016;-8.7365784344,12.4208298072;-10.4096815813,11.6507064310;-11.1757720865,11.3096817388 |
m=9 | -5.9585215964,15.7532774523;-9.2768797744,14.1121936859;-11.2088436390,13.2131216226;-12.2587358086,12.7419414392;-12.5940383634 |
m=10 | -6.2178324673,17.6003068759;-9.7724391337,15.8272658299;-11.9350566572,14.8106929213;-13.2305819310,14.2242555605;-13.8440898109,13.9524261065 |
m=11 | -6.4594441798,19.4576958063;-10.2312965678,17.5621095176;-12.6026749098,16.4371594915;-14.1157847751,15.7463731900;-14.9684597220,15.3663558234;-15.2446796908 |
m=12 | -6.6860466156,21.3239012076;-10.6594171817,19.3137363168;-13.2220085001,18.0879209819;-14.9311424804,17.3012295772;-15.9945411996,16.8242165032;-16.5068440226,16.5978151615 |
m=13 | -6.8997344413,23.1977134580;-11.0613619668,21.0798161546;-13.8007456514,19.7594692366;-15.6887605582,18.8836767359;-16.9411835315,18.3181073534;-17.6605041890,17.9988179873;-17.8954193236 |
m=14 | -7.1021737668,25.0781652657;-11.4407047669,22.8584924996;-14.3447919297,21.4490520815;-16.3976939224,20.4898067617;-17.8220011429,19.8423306934;-18.7262916698,19.4389130000;-19.1663428016,19.2447495545 |
m=15 | -7.2947137247,26.9644699653;-11.8003034312,24.6482592959;-14.8587939669,23.1544615283;-17.0649i81370,22.1165594535;-18.6471986915,21.3925954403;-19.7191341042,20.9118275261;-20.3418287818,20.6361378957;-20.5462183256 |
m=16 | -7.4784635949,28.8559784487;-22.1424827551,26.4478760957;-15.3464816324,24.8738935490;-17.6959363478,23.7614799683;-19.4246523327,22.9655586516;-20.6502404436,22.4128776078;-21.4379698156,22.0627133056;-21.8237730778,21.8926662470 |
m=17 | -7.6543475694,30.7521483222;-12.4691619784,28.2563077987;-15.8108990691,26.6058519104;-18.2951775164,25.4225585034;-20.1605894729,24.5585534450;-21.5282660840,23.9384287933;-22.4668764601,23.5193877036;-23.0161527444,23.2766166711;-23.1970582109 |
m=18 | -7.8231445835,32.6525213363;-12.7819455282,30.0726B07554;-16.2545681590,28.3490792784;-18.8662638563,27.0981271991;-20.8600257104,26.1693913642;-22.3600808236,25.4856138632;-23.4378933084,25.0022244227;-24.1362741870,24.6925542646;-24.4798038436,24.5412441597 |
m=19 | -7.9855178345,34.5567065132;-13.0621901901,31.8962504142;-16.6796008200,30.1025072510;-19.4122071436,28.7867778706;-21.5270719955,27.7962699865;-23.1512112785,27.0520753105;-24.3584393996,26.5081174988;-25.1941793616,26.1363057951;-25.6855663388,25.9191817486;-25.8480312755 |
这样,通过使用表格1中的这些值,通过提供阶2(对于m为偶数)的单元级联和附加的单元(对于m奇数),通过使用上文给出的关系式[A14],来部署这些数字滤波器。
数字滤波器因此以无限脉冲响应形式来加以具体表现;如下文所示,该无限脉冲响应形式可以容易地用参数来表示。应该注意,采取有限脉冲响应形式的实施可以被设想,并在于:根据该解析公式来计算该传递函数的复数谱,然后是通过反向傅立叶变换来从中推导出有限冲激响应。其后,卷积运算被应用于该过滤。
这样,通过在编码的情况下引入该近场的这个预补偿,来定义被修改的立体混响声表示(图8),采用为可传送表示,信号在该频率域内加以表达,采取以下形式:
如上文所指出的,R是与被补偿的近场效应关联的参考距离,c是声速(在空气中通常是340m/s)。这个被修改的立体混响声表示拥有相同的规模可变性属性(由接近图1中的该箭头TR的传送数据“被环绕的”来用图表表示),并服从与该惯例的立体混响声表示相同的场旋转变换(图1中的模块4)。
下文指出将要被执行的这些操作,用于被接收的这些立体混响声信号的解码。
首先指出:该解码运算可适应于半径为R2(不同于上文中的该参考距离R)的任何重放设备。为此目的,应用该类型Hm NFC(ρ/c,R/c)(ω)的滤波器(例如,先前所描述的)——但利用距离参数R和R2,而不是ρ和R。特别是,应该注意,只有该参数R/c需要在该编码与该解码之间被存储(并且/或者被传送)。
参考图12,例如在重放设备的处理单元中提供其中所表示的该过滤模块。在关于作为第二距离的参考距离R1的编码的情况下,已预补偿被接收的这些立体混响声分量。但是,该重放设备包括被布置成离听知觉点P第三距离R2的多个扩音器,该第三距离R2不同于上述第二距离R1。采取该形式Hm NFC(R1/c,R2/c)(ω)的、图12中的该过滤模块然后在接收该数据时使该预补偿适应该距离R1,用于该距离R2处的重放。当然,如上文中所指出的,该重放设备也接收该参数R1/c。
应该注意,通过本发明,还可以混合声场(真实的和/或虚拟的声源)的几个立体混响声表示,其参考距离R是不同的(看情况可能具有对应于远处声源的无限参考距离)。较佳的是,在混合这些立体混响声信号之前,将过滤该最短参考距离处的所有这些声源的预补偿,从而使“在重放的情况下获得该声音减轻的正确定义”成为可能。
在所谓的“声音聚焦”处理的该框架内——在重放的情况下,具有关于空间中的被选择的方向的声音富集效应(按“投光器在被选择的光学方向上照明”的方式),涉及声音聚焦的矩阵处理(具有这些立体混响声分量的加权);有利地按与该聚焦处理相结合的方式并利用近场预补偿来应用该距离编码。
在下文中,在重放的情况下,利用扩音器的该近场的补偿来描述立体混响声解码方法。
为了从这些分量Bσ mn中并通过使用重放设备(提供了收听者的“理想的”放置,该放置对应于图7中的该重放点P)的扩音器来重建根据该立体混响声体系而加以编码的声场,每个扩音器所发射的波由位于该重放设备的中心的该立体混响声场的原先的“再编码”处理来加以定义,这如下所述。
在这个“再编码”上下文中,为简单起见,最初认为:这些声源在该远场中发射。
再次参考图7,指数为i、入射角为(θi和δi)的、扩音器所发射的该波被用信号Si馈送。通过其贡献Si·Yσ mn(θi,δi),这个扩音器参与该分量B‘mn的重建。
与指数为i的这些扩音器相关联的这些编码系数的向量ci由以下关系式来表达:
从N个扩音器的集合发出的信号的向量S由以下表达式来给出:
关于这N个扩音器的该编码矩阵(最终对应于“再编码”矩阵)由以下关系式来表达:
C=[c1 C2…CN] [B3]
其中,每个项ci表示根据以上关系式[B1]的向量。
这样,该立体混响声场B’的重建由以下关系式来定义:
因此,在重放之前,关系式[B4]定义再编码运算。最终,该解码照此在于:将采取以下形式的、由该重放设备接收的这些原始立体混响声信号:
与这些被再编码的信号~B进行比较,以便定义该一般关系式:
B′=B [B6]
这特别涉及:确定满足以下关系式的解码矩阵D的各个系数:
S=D.B [B7]
较佳的是,扩音器的数量大于或等于将要被解码的立体混响声分量的数量,并且,该解码矩阵D可以按以下形式来加以表达,作为该再编码矩阵C的函数:
D=CT.(C.CT)-1 [B8]
其中,该符号CT对应于该矩阵C的转置。
应该注意,可能存在满足关于每个频带的不同准则的解码的定义,从而使“在重放期间作为这些收听条件的函数提供优化重放”成为可能,特别是关于定位在图3中的该球体的中心O处的约束。为此目的,在每个立体混响声分量处,通过阶跃式的频率均衡,来有利地供应简单过滤。
但是,为了获得原始编码波的重建,有必要纠正关于这些扩音器的远场假设,也就是说,在上文中的该再编码矩阵C内表达其近场的效应,并逆转这个新系统,以定义该解码器。为此目的,假设这些扩音器同心(被布置成离图7中的该点P有一段相同的距离R),在该类型B’σ mn的每个立体混响声分量上,所有这些扩音器具有相同的近场效应Fm (R/c)(ω)。通过引入采取对角矩阵的形式的这些近场项,上文中的关系式[B4]变成:
上文中的关系式[B7]变成:
这样,过滤操作在该矩阵化操作前面,该过滤操作补偿每个分量Bσ mn上的该近场,并且,如上文所述,参照关系式[A14],它可以按数字形式来加以执行。
将会想起:在实践中,该“再编码”矩阵C针对该重放设备。它的系数最初可以通过对预定激励作出反应的该重放设备的参数化和声音表征来加以确定。同样,该解码矩阵D针对该重放设备。它的系数可以由关系式[B8]来确定。继续来看这个先前的符号——其中,
是被预补偿的立体混响声分量的矩阵。后面各项可以利用以下公式并按矩阵式
而被传送到该重放设备:
其后,通过将该解码矩阵D应用于这些被预补偿的立体混响声分量,该重放设备对按矩阵式
(被传送的这些分量的列向量)而被接收的该数据进行解码,以便利用一些公式来形成意在用于馈送该扩音器HPi的这些信号Si:
再次参考图12,如果解码操作必须适应具有不同于该参考距离R1的半径R2的重放设备,那么,在上文所述的适当解码之前,自适应模块使“过滤每个立体混响声分量
”成为可能,以便使它适应半径为R2的重放设备。如上文所述,其后参照关系式[B11]来执行该适当的解码操作。
下文描述本发明对两路立体声合成的应用。
参考图13A,其中表示了具有两路立体声合成设备的头戴式耳机的收听者,该头戴式耳机具有两个受话器。该收听者的两耳被布置在空间中的各自的点OL(左耳)和OR(右耳)处。该收听者的头部的中心被布置在该点O处,并且,该收听者的头部的半径的值是a。必须在空间中的点M处按听觉方式来察觉声源,该点M离该收听者的头部的中心有距离r(分别离右耳有距离rR,离左耳有距离rL)。此外,位于该点M处的该声源的方向由这些向量
r、
rR和
rL来定义。
按一般的方式,该两路立体声合成被定义如下。
每位收听者拥有其自己特殊的耳朵形状。自从出生后,这位收听者通过学习来感知空间中的声音,作为针对这位收听者的这双耳朵的形状的函数(特别是这双外耳的形状和该头部的各个尺度)。尤其通过“声音在另一只耳朵之前到达一只耳朵”的事实,来表明空间中的该声音的感知,这引起应用该两路立体声合成的该重放设备的每个受话器所发射的这些信号之间的延迟τ。
通过扫描其头部周围的声源,最初为同一位收听者来对该重放设备进行参数化;该声源离其头部的中心有一段相同的距离R。这样,将会理解:这段距离R可以被认为是如上文所陈述的“重放点”与听知觉点(这里是该收听者的头部的该中心O)之间的距离。
在下文中,该指数L与跟该左耳毗连的该受话器将要重放的该信号相关联,并且,该指数R与跟该右耳毗连的该受话器将要重放的该信号相关联。参考图13B,延迟可以被应用于关于每个路径的该初始信号S,意在为一不同的受话器产生信号。这些延迟τL和τR取决于最大延迟τMAX,该最大延迟τMAX在这里对应于该比率a/c——其中,如先前所指出的,a对应于该收听者的头部的半径,c对应于该声速。特别是,这些延迟被定义为从该点O(该头部的中心)到该点M(在图13A中是将要重放其声音的该声源的位置)和从每个耳朵到这个点M的距离中的差异的函数。有利的是,各自的增益gL和gR另外被应用于每个路径,它们取决于从该点O到该点M的距离和从每个耳朵到该点M的距离的比率。在立体混响声表示中,被应用于每个路径2L和2R的各自的模块利用本发明的意义以内的近场预补偿NFC(代表“近场补偿”)来对每个路径的这些信号进行编码。这样,将会理解:通过本发明的意义以内的该方法的实施,可以定义产生于该声源M的这些信号——这不仅通过其方向(方位角θL和θR、以及仰角δL和δR),而且作为将每个耳朵rL和rR跟该声源M分开的该距离的函数。关于每个路径5L和5R,这样被编码的这些信号被传送到包括立体混响声解码模块的该重放设备。这样,关于具有两路立体声合成(这里属于“B-FORMAT”类型)的该重放中的每个路径(左受话器、右受话器),并采取复制的形式,利用近场补偿来应用立体混响声编码/解码。关于每个路径,利用每个耳朵与将要被重放的该声源的该位置M之间的距离rL和rR(作为第一距离ρ),来执行该近场补偿。
在立体混响声表示中的声音获取的该上下文内,下文描述本发明的意义以内的该补偿的应用。
参考图14,其中,话筒141包括多个变换器封壳,它们能够拾取声压并重建电信号S1、…、SN。这些封壳CAPi被排列在预定半径为r的球体(这里是刚性的球体(例如,乒乓球))上。这些封壳被该球体上的整齐间隔分开。在实践中,封壳的数量N被选为该立体混响声表示的该所需阶m的函数。
在下文中,在包括被排列在刚性的球体上的封壳的话筒的上下文内,直接从该立体混响声上下文中的该编码那里指出补偿该近场效应的方式。这样,将会示出:如上文所指出的,不仅可以为虚拟声源模拟来应用该近场的该预补偿;而且,通过将该近场预补偿与涉及立体混响声表示的所有类型的处理结合起来,可以在获取时按更一般的方式来应用该近场的该预补偿。
当存在刚性的球体时(易于引入被接收的这些声波的衍射),上文给出的关系式[A1]变成:
这些球面Hankel函数h- m的各个导数服从该递归定律:
通过执行以下关系式给出的投影和均衡操作,从该球体表面处的该压力场中推导出该初始场的立体混响声分量Bσ mn:
在这个表达式中,EQm是补偿加权Wm的均衡滤波器,该加权Wm与这些封壳的方向性有关,并且另外包括该由刚性的球体所造成的衍射。
关于这个滤波 EQm的该表达式由以下关系式给出:
这个均衡滤波器的这些系数不稳定,并且,以很低的频率来获得无限增益。而且,应当注意,当该声场不局限于平面波(即产生于远处声源的波)的传播时,这些球谐函数分量本身不具备有限振幅,如先前所见的。
此外,如果供应心形线类型封壳,而不是提供被嵌入固体球体中的封壳——具有由以下表达式给出的远场方向性:
G(θ)=α+(1-α)cosθ [C5]
通过考虑被安装在“在声学上透明的”支撑物上的这些封壳,将要被补偿的该加权项变成:
Wm=jm(αjm(kr)-j(1-α)jm'(kr)) [C6]
又显而易见,与关系式[C6]给出的这个加权的该解析倒数相对应的均衡滤波器的这些系数对于很低的频率而言是发散的。
一般而言,指出:关于传感器的任何类型的方向性,用于补偿与这些传感器的该方向性有关的该加权Wm的该滤波器EQm的该增益对于低声音频率而言是无限的。参考图14,在关于以下关系式给出的该均衡滤波器EQm的该实际表达式中,有利地应用近场预补偿:
这样,从话筒141那里重新恢复信号S1~SN。适当的做法是:由处理模块142来应用这些信号的预均衡。通过模块143,可以以矩阵形式来表达该立体混响声上下文中的这些信号。模块144将关系式[C7]的该滤波器应用于被表达为该话筒141的该球体的半径r的函数的这些立体混响声分量。为作为第二距离的参考距离R来执行该近场补偿。看情况,可以利用表示该参考距离R/c的该参数来传送这样被该模块144过滤的这些编码信号。
这样,在分别有关于近场虚拟声源的创建、产生于真实声源的声音信号的获取、或甚至重放(以补偿这些扩音器的近场效应)的各个实施例中,显而易见:在本发明的意义上的该近场补偿可以被应用于涉及立体混响声表示的所有类型的处理。通过这个近场补偿,可以将该立体混响声表示应用于在“必须考虑声源的方向和(有利地)它的距离”的情况下的多种多样的声音上下文。而且,由于对这些立体混响声分量的有限实值的限制,这个预补偿可确保该立体混响声上下文内的所有类型(近场或远场)的声音现象的该表示的可能性。
当然,本发明不局限于上文通过举例而描述的该实施例;它扩展到其他变体。
这样,将会理解:对于附近声源跟对于远处声源一样,在编码的情况下,该近场预补偿可能是综合的。在后一种情况(远处声源以及平面波的接收)中,上文所表达的该距离ρ将被认为是无限的,而无须实质上修改关于上文给出过的滤波器Hm的该表达式。这样,使用室内效应处理器的该处理可以与近场预补偿结合起来,这些室内效应处理器一般提供可用来模仿该迟扩散域(迟反响)的相互无关的信号。这些信号可以被认为具有相似的能量,并对应于扩散域共享,该扩散域共享对应于全向分量W=B+1 00(图4)。然后,通过应用关于每个立体混响声分量的增益纠正,可以构建这各种球谐函数分量(具有被选择的阶m);并且,应用这些扩音器的近场补偿(如图7中所表示的,利用参考距离R,它将这些扩音器与该听知觉点分开)。
当然,本发明的意义以内的该编码原理可推广为除单极声源(真实的或虚拟的)以外的辐射模型和/或扩音器。明确地说,基本点源的连续分布的积分可以表达任何形状的辐射(特别是扩散的声源通过空间)。
另外,在重放的上下文中,可以使该近场补偿适应任何重放上下文。为此目的,可以进行供应,以计算传递函数(对于每个扩音器的这些近场球谐函数分量的再编码,注意到在那里重放该声音的该房间内的真实传播)、以及这个再编码的逆,来重新定义该解码。
上文描述了解码方法——其中,应用涉及这些立体混响声分量的矩阵系统。在变体中,可以供应快速傅立叶变换(圆形的或球面的)所执行的广义处理,以限制该解码处理所要求的这些计算时间和计算资源(就内存来说)。
如上文参照图9和图10而指出的,注意:关于该近场源的该距离ρ的参考距离R的该选择引入关于该声音频率的各个值的增益中的差异。可指出:利用预补偿来编码的该方法可以与音频数字补偿耦合,从而可以量化和调整关于每个子频带的该增益。
有利的是,本发明应用于所有类型的声音空间化系统——特别是关于“虚拟真实性”类型的应用(通过三维空间中的虚拟场景的导航、具有三维声音空间化的游戏、在因特网上发声的“聊天”类型的交谈),应用于界面的声音装配,应用于用于记录、混合和重放音乐的音频编辑软件,而且应用于关于音乐的或电影的声音捕捉或关于因特网上的声音语气的传输(例如,关于声音装配的“网络摄影”)的、基于三维话筒的使用的获取。
Claims (22)
1.一种处理声音数据的方法,其特征在于:其中:
a)对表示至少一个声音的信号进行编码,该至少一个声音在三维空间中传播并产生于离参考点(O)第一距离(ρ)的声源,以便获得对应于所述参考点(O)的原点的、在球谐函数的基中被表达的分量(Bmn σ)所作出的该声音的表示;以及,
b)近场效应的补偿通过过滤而被应用于所述分量(Bmn σ),该过滤取决于第二距离(R),对于重放设备所执行的该声音的重放,该第二距离(R)实质上定义了在重放点(HPj)与听知觉点(P)之间的距离。
2.如权利要求1中所述的方法,其特征在于:其中,所述声源远离该参考点(O),
-对于球谐函数的所述基中的该声音的表示来获得连续阶m的分量;以及,
-应用滤波器(1/Fm),它的每个系数被应用于阶m的分量,这些系数以幂m的多项式的倒数的形式来加以分析上的表达,其变量与该声音频率成反比,与所述第二距离(R)成反比,以便补偿该重放设备的那个层面处的近场效应。
3.如权利要求1中所述的方法,其特征在于:其中,所述声源是设想在所述第一距离(ρ)处的虚拟声源,
-对于球谐函数的所述基中的该声音的表示来获得连续阶m的分量;以及,
-应用全局滤波器(Hm),它的每个系数被应用于阶m的分量,这些系数以分数的形式来以解析方式表达,其中:
-该分子是幂m的多项式,其变量与该声音频率成反比,与所述第一距离(ρ)成反比,以便模拟该虚拟声源的近场效应,以及,
-该分母是幂m的多项式,其变量与该声音频率成反比,与所述第二距离(R)成反比,以便补偿这些低声音频率中的该虚拟声源的该近场的该效应。
4.如前述权利要求之一中所述的方法,其特征在于:其中,用表示所述第二距离(R/c)的参数,将在步骤a)和b)中被编码和过滤的该数据传送到该重放设备。
5.如权利要求1-3之一中所述的方法,其特征在于:其中,该重放设备包括用于读取存储介质的装置,用表示所述第二距离(R/c)的参数,将在步骤a)和b)中被编码和过滤的该数据存储在意在由该重放设备来读取的存储介质上。
6.如权利要求4和5之一中所述的方法,其特征在于:其中,在包括被布置成离所述听知觉点(P)有第三距离(R2)的多个扩音器的重放设备执行声音重放之前,其系数取决于所述第二距离(R1)和第三距离(R2)的适应滤波器(Hm (R1/c,R2/c))被应用于该被编码和过滤的数据。
7.如权利要求6中所述的方法,其特征在于:其中,所述自适应滤波器(Hm (R1/c,R2/c))的这些系数以分数的形式来以解析方式表达,每个系数被应用于阶m的分量,其中:
-该分子是幂m的多项式,其变量与该声音频率成反比,与所述第二距离(R)成反比;以及,
-该分母是幂m的多项式,其变量与该声音频率成反比,与所述第三距离(R2)成反比。
8.如权利要求2、3和7之一中所述的方法,其特征在于:其中,关于步骤b)的实施,提供:
-关于偶数阶m的这些分量,是采取二阶单元级联的形式的音频数字滤波器;以及,
-关于奇数阶m的这些分量,是采取二阶单元和一阶的附加单元的级联形式的音频数字滤波器。
9.如权利要求8中所述的方法,其特征在于:其中,从幂m的所述多项式的这些根的各个数字值,来定义对于阶m的分量的、音频数字滤波器的这些系数。
10.如权利要求2、3、7、8和9之一中所述的方法,其特征在于:其中,所述多项式是贝塞耳多项式。
11.如权利要求1、2和4-10之一中所述的方法,其特征在于:其中,提供话筒,该话筒包括实质上被排列在球体表面上的声换能器阵列,该球体的中心实质上对应于所述参考点(O),以便获得表示在该三维空间中传播的至少一个声音的所述信号。
12.如权利要求11中所述的方法,其特征在于:其中,在步骤b)中应用全局滤波器,以便一方面补偿作为所述第二距离(R)的函数的近场效应,另一方面使产生于这些变换器的这些信号均衡,以补偿所述变换器的方向性的加权。
13.如权利要求11和12之一中所述的方法,其特征在于:其中,提供变换器的数量,该数量取决于被选择来在球谐函数的所述基中表示该声音的分量总数。
14.如前述权利要求之一中所述的方法,其特征在于:其中,在步骤a)中,从球谐函数的该基中选择分量总数,以便在重放的情况下获得该知觉点(P)周围的该空间的区域——其中,该声音的该重放正确可靠,其维度随该分量总数而增加。
15.如权利要求14中所述的方法,其特征在于:其中,提供重放设备,该重放设备包括至少等于所述分量总数的扩音器数量。
16.如权利要求1-5和8-13之一中所声明的方法,其特征在于:其中:
-提供重放设备,该重放设备至少包括被布置成离收听者有被选择的距离的第一和第二个扩音器;
-为这位收听者来获得离该收听者预定参考距离(R)的声源的空间中的该位置的认识线索;以及,
-用实质上作为第二距离的所述参考距离,来应用步骤b)的该补偿。
17.如与权利要求4和5之一相结合的、权利要求1-3和8-13之一中所声明的方法,其特征在于:其中:
-提供重放设备,该重放设备至少包括被布置成离收听者有被选择的距离的第一和第二个扩音器;
-为这位收听者来获得离该收听者预定参考距离(R2)的声源的空间中的该位置的认识线索;以及,
-在该重放设备执行声音重放之前,自适应滤波器(Hm (R/c,R2/c))被应用于在步骤a)和b)中被编码和过滤的该数据,该自适应滤波器的系数取决于该第二距离(R),并且实质上取决于该参考距离(R2)。
18.如权利要求16和17之一中所述的方法,其特征在于:其中:
-该重放设备包括头戴式耳机,该头戴式耳机具有用于该收听者的各个耳朵的两个受话器;以及,
-分别关于每个受话器,利用作为第一距离(ρ)的、分别是将每个耳朵与将要被重放的声源的位置(M)分开的距离(rR,rL),来根据意在被馈送到每个受话器的各自的信号而应用步骤a)和b)的该编码和该过滤。
21.一种声音获取设备,它包括话筒,该话筒安装有实质上被布置在球体表面上的声换能器阵列,其特征在于:它另外包括处理单元,该处理单元被加以安排,以便:
-接收信号,每个信号从变换器那里发出;
-将编码应用于所述信号,以便获得对应于所述球体的该中心(O)的原点的、在球谐函数的基中被表达的分量(Bmn σ)所作出的该声音的表示;以及,
-将过滤应用于所述分量(Bmn σ),其过滤一方面取决于对应于该球体的该半径(r)的距离,另一方面取决于参考距离(R)。
22.如权利要求21中所述的设备,其特征在于:所述过滤一方面在于:作为该球体的该半径的函数,使产生于这些变换器的这些信号均衡,以便补偿所述变换器的方向性的加权;另一方面在于:作为被选择的参考距离(R)的函数,补偿近场效应,对于该声音的重放,该参考距离(R)实质上定义了重放点(HPj)与听知觉点(P)之间的距离。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0214444A FR2847376B1 (fr) | 2002-11-19 | 2002-11-19 | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
FR02/14444 | 2002-11-19 | ||
PCT/FR2003/003367 WO2004049299A1 (fr) | 2002-11-19 | 2003-11-13 | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1735922A true CN1735922A (zh) | 2006-02-15 |
CN1735922B CN1735922B (zh) | 2010-05-12 |
Family
ID=32187712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2003801086029A Expired - Lifetime CN1735922B (zh) | 2002-11-19 | 2003-11-13 | 处理音频数据的方法和实行这个方法的声音获取设备 |
Country Status (13)
Country | Link |
---|---|
US (1) | US7706543B2 (zh) |
EP (1) | EP1563485B1 (zh) |
JP (1) | JP4343845B2 (zh) |
KR (1) | KR100964353B1 (zh) |
CN (1) | CN1735922B (zh) |
AT (1) | ATE322065T1 (zh) |
AU (1) | AU2003290190A1 (zh) |
BR (1) | BRPI0316718B1 (zh) |
DE (1) | DE60304358T2 (zh) |
ES (1) | ES2261994T3 (zh) |
FR (1) | FR2847376B1 (zh) |
WO (1) | WO2004049299A1 (zh) |
ZA (1) | ZA200503969B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102318372A (zh) * | 2009-02-04 | 2012-01-11 | 理查德·福塞 | 声音系统 |
CN102326417A (zh) * | 2008-12-30 | 2012-01-18 | 庞培法布拉大学巴塞隆纳媒体基金会 | 三维声场编码及优化重建的方法及装置 |
CN104471960A (zh) * | 2012-07-15 | 2015-03-25 | 高通股份有限公司 | 用于向后兼容音频译码的系统、方法、设备和计算机可读媒体 |
CN104969577A (zh) * | 2013-02-07 | 2015-10-07 | 高通股份有限公司 | 将虚拟扬声器映射到物理扬声器 |
CN105340298A (zh) * | 2013-05-29 | 2016-02-17 | 高通股份有限公司 | 球面谐波系数的立体声呈现 |
US9473870B2 (en) | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
CN106664480A (zh) * | 2014-04-07 | 2017-05-10 | 哈曼贝克自动系统股份有限公司 | 声波场生成 |
CN107925839A (zh) * | 2015-06-24 | 2018-04-17 | 室内声学德国有限公司 | 用于在反射环境中、尤其在听音室中播放声音的方法 |
CN108476365A (zh) * | 2016-01-08 | 2018-08-31 | 索尼公司 | 音频处理装置和方法以及程序 |
CN110301003A (zh) * | 2016-12-21 | 2019-10-01 | 奥兰治公司 | 改进解码用实际三维声内容的子频带中的处理 |
CN110648675A (zh) * | 2013-07-11 | 2020-01-03 | 杜比国际公司 | 产生hoa信号的混合的空间/系数域表示的方法和设备 |
US10595148B2 (en) | 2016-01-08 | 2020-03-17 | Sony Corporation | Sound processing apparatus and method, and program |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10328335B4 (de) * | 2003-06-24 | 2005-07-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern |
US20050271216A1 (en) * | 2004-06-04 | 2005-12-08 | Khosrow Lashkari | Method and apparatus for loudspeaker equalization |
PL1938661T3 (pl) * | 2005-09-13 | 2014-10-31 | Dts Llc | System i sposób przetwarzania dźwięku |
US8059824B2 (en) * | 2006-03-13 | 2011-11-15 | France Telecom | Joint sound synthesis and spatialization |
FR2899424A1 (fr) * | 2006-03-28 | 2007-10-05 | France Telecom | Procede de synthese binaurale prenant en compte un effet de salle |
US8180067B2 (en) * | 2006-04-28 | 2012-05-15 | Harman International Industries, Incorporated | System for selectively extracting components of an audio input signal |
US7876903B2 (en) * | 2006-07-07 | 2011-01-25 | Harris Corporation | Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system |
US8036767B2 (en) | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
ATE495635T1 (de) * | 2006-09-25 | 2011-01-15 | Dolby Lab Licensing Corp | Verbesserte räumliche auflösung des schallfeldes für mehrkanal-tonwiedergabesysteme mittels ableitung von signalen mit winkelgrössen hoher ordnung |
DE102006053919A1 (de) * | 2006-10-11 | 2008-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert |
JP2008118559A (ja) * | 2006-11-07 | 2008-05-22 | Advanced Telecommunication Research Institute International | 3次元音場再生装置 |
JP4873316B2 (ja) * | 2007-03-09 | 2012-02-08 | 株式会社国際電気通信基礎技術研究所 | 音響空間共有装置 |
EP2094032A1 (en) * | 2008-02-19 | 2009-08-26 | Deutsche Thomson OHG | Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same |
KR20100131467A (ko) * | 2008-03-03 | 2010-12-15 | 노키아 코포레이션 | 복수의 오디오 채널들을 캡쳐하고 렌더링하는 장치 |
EP2154677B1 (en) * | 2008-08-13 | 2013-07-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a converted spatial audio signal |
EP2154910A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for merging spatial audio streams |
GB0815362D0 (en) * | 2008-08-22 | 2008-10-01 | Queen Mary & Westfield College | Music collection navigation |
US8819554B2 (en) * | 2008-12-23 | 2014-08-26 | At&T Intellectual Property I, L.P. | System and method for playing media |
US8718285B2 (en) | 2009-03-26 | 2014-05-06 | Panasonic Corporation | Decoding device, coding and decoding device, and decoding method |
KR101387195B1 (ko) * | 2009-10-05 | 2014-04-21 | 하만인터내셔날인더스트리스인코포레이티드 | 오디오 신호의 공간 추출 시스템 |
EP2553947B1 (en) | 2010-03-26 | 2014-05-07 | Thomson Licensing | Method and device for decoding an audio soundfield representation for audio playback |
JP5672741B2 (ja) * | 2010-03-31 | 2015-02-18 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
US20110317522A1 (en) * | 2010-06-28 | 2011-12-29 | Microsoft Corporation | Sound source localization based on reflections and room estimation |
US9313599B2 (en) | 2010-11-19 | 2016-04-12 | Nokia Technologies Oy | Apparatus and method for multi-channel signal playback |
US9456289B2 (en) | 2010-11-19 | 2016-09-27 | Nokia Technologies Oy | Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof |
US9055371B2 (en) | 2010-11-19 | 2015-06-09 | Nokia Technologies Oy | Controllable playback system offering hierarchical playback options |
EP2541547A1 (en) | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
WO2013068402A1 (en) * | 2011-11-10 | 2013-05-16 | Sonicemotion Ag | Method for practical implementations of sound field reproduction based on surface integrals in three dimensions |
KR101282673B1 (ko) | 2011-12-09 | 2013-07-05 | 현대자동차주식회사 | 음원 위치 추정 방법 |
US8996296B2 (en) * | 2011-12-15 | 2015-03-31 | Qualcomm Incorporated | Navigational soundscaping |
CN104137248B (zh) | 2012-02-29 | 2017-03-22 | 应用材料公司 | 配置中的除污及剥除处理腔室 |
EP2645748A1 (en) * | 2012-03-28 | 2013-10-02 | Thomson Licensing | Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal |
CN108810744A (zh) | 2012-04-05 | 2018-11-13 | 诺基亚技术有限公司 | 柔性的空间音频捕捉设备 |
EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
US9761229B2 (en) * | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
RU2602346C2 (ru) | 2012-08-31 | 2016-11-20 | Долби Лэборетериз Лайсенсинг Корпорейшн | Рендеринг отраженного звука для объектно-ориентированной аудиоинформации |
US9301069B2 (en) * | 2012-12-27 | 2016-03-29 | Avaya Inc. | Immersive 3D sound space for searching audio |
US10203839B2 (en) * | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
US9838824B2 (en) | 2012-12-27 | 2017-12-05 | Avaya Inc. | Social media processing with three-dimensional audio |
US9892743B2 (en) | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
US9959875B2 (en) * | 2013-03-01 | 2018-05-01 | Qualcomm Incorporated | Specifying spherical harmonic and/or higher order ambisonics coefficients in bitstreams |
WO2014162171A1 (en) | 2013-04-04 | 2014-10-09 | Nokia Corporation | Visual audio processing apparatus |
US9706324B2 (en) | 2013-05-17 | 2017-07-11 | Nokia Technologies Oy | Spatial object oriented audio apparatus |
US20140355769A1 (en) * | 2013-05-29 | 2014-12-04 | Qualcomm Incorporated | Energy preservation for decomposed representations of a sound field |
DE102013013378A1 (de) * | 2013-08-10 | 2015-02-12 | Advanced Acoustic Sf Gmbh | Aufteilung virtueller Schallquellen |
WO2015054033A2 (en) | 2013-10-07 | 2015-04-16 | Dolby Laboratories Licensing Corporation | Spatial audio processing system and method |
EP2866475A1 (en) * | 2013-10-23 | 2015-04-29 | Thomson Licensing | Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups |
US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
US10770087B2 (en) | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
JP6388551B2 (ja) * | 2015-02-27 | 2018-09-12 | アルパイン株式会社 | 複数領域音場再現システムおよび方法 |
US10412531B2 (en) | 2016-01-08 | 2019-09-10 | Sony Corporation | Audio processing apparatus, method, and program |
EP3491495B1 (en) | 2016-08-01 | 2024-04-10 | Magic Leap, Inc. | Mixed reality system with spatialized audio |
WO2018064528A1 (en) * | 2016-09-29 | 2018-04-05 | The Trustees Of Princeton University | Ambisonic navigation of sound fields from an array of microphones |
WO2018081829A1 (en) * | 2016-10-31 | 2018-05-03 | Google Llc | Projection-based audio coding |
US10405126B2 (en) * | 2017-06-30 | 2019-09-03 | Qualcomm Incorporated | Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems |
US10182303B1 (en) * | 2017-07-12 | 2019-01-15 | Google Llc | Ambisonics sound field navigation using directional decomposition and path distance estimation |
US10764684B1 (en) * | 2017-09-29 | 2020-09-01 | Katherine A. Franco | Binaural audio using an arbitrarily shaped microphone array |
US10721559B2 (en) | 2018-02-09 | 2020-07-21 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for audio sound field capture |
US11875089B2 (en) * | 2018-03-02 | 2024-01-16 | Sonitor Technologies As | Acoustic positioning transmitter and receiver system and method |
US10771913B2 (en) | 2018-05-11 | 2020-09-08 | Dts, Inc. | Determining sound locations in multi-channel audio |
CN110740404B (zh) * | 2019-09-27 | 2020-12-25 | 广州励丰文化科技股份有限公司 | 一种音频相关性的处理方法及音频处理装置 |
CN110740416B (zh) * | 2019-09-27 | 2021-04-06 | 广州励丰文化科技股份有限公司 | 一种音频信号处理方法及装置 |
CN115715470A (zh) | 2019-12-30 | 2023-02-24 | 卡姆希尔公司 | 用于提供空间化声场的方法 |
CN113365202A (zh) * | 2020-03-04 | 2021-09-07 | 中兴通讯股份有限公司 | 一种全息语音通信方法、装置、终端及计算机可读存储介质 |
CN111537058B (zh) * | 2020-04-16 | 2022-04-29 | 哈尔滨工程大学 | 一种基于Helmholtz方程最小二乘法的声场分离方法 |
US11743670B2 (en) | 2020-12-18 | 2023-08-29 | Qualcomm Incorporated | Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications |
CN113791385A (zh) * | 2021-09-15 | 2021-12-14 | 张维翔 | 一种三维定位方法及系统 |
WO2024148304A1 (en) * | 2023-01-05 | 2024-07-11 | Audio Impressions, Inc. | Method of using iir filters for the purpose of allowing one audio sound to adopt the same spectral characteristic of another audio sound |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS53114201U (zh) * | 1977-02-18 | 1978-09-11 | ||
US4731848A (en) * | 1984-10-22 | 1988-03-15 | Northwestern University | Spatial reverberator |
JP2569872B2 (ja) * | 1990-03-02 | 1997-01-08 | ヤマハ株式会社 | 音場制御装置 |
JP3578783B2 (ja) * | 1993-09-24 | 2004-10-20 | ヤマハ株式会社 | 電子楽器の音像定位装置 |
US5745584A (en) * | 1993-12-14 | 1998-04-28 | Taylor Group Of Companies, Inc. | Sound bubble structures for sound reproducing arrays |
GB9726338D0 (en) * | 1997-12-13 | 1998-02-11 | Central Research Lab Ltd | A method of processing an audio signal |
US7231054B1 (en) * | 1999-09-24 | 2007-06-12 | Creative Technology Ltd | Method and apparatus for three-dimensional audio display |
US7340062B2 (en) * | 2000-03-14 | 2008-03-04 | Revit Lawrence J | Sound reproduction method and apparatus for assessing real-world performance of hearing and hearing aids |
CN1452851A (zh) * | 2000-04-19 | 2003-10-29 | 音响方案公司 | 保持三维中的空间谐波的多通道环绕声母版制作和再现技术 |
-
2002
- 2002-11-19 FR FR0214444A patent/FR2847376B1/fr not_active Expired - Fee Related
-
2003
- 2003-11-13 KR KR1020057009105A patent/KR100964353B1/ko active IP Right Grant
- 2003-11-13 ES ES03782553T patent/ES2261994T3/es not_active Expired - Lifetime
- 2003-11-13 AT AT03782553T patent/ATE322065T1/de not_active IP Right Cessation
- 2003-11-13 BR BRPI0316718-6A patent/BRPI0316718B1/pt not_active IP Right Cessation
- 2003-11-13 DE DE60304358T patent/DE60304358T2/de not_active Expired - Lifetime
- 2003-11-13 US US10/535,524 patent/US7706543B2/en active Active
- 2003-11-13 CN CN2003801086029A patent/CN1735922B/zh not_active Expired - Lifetime
- 2003-11-13 WO PCT/FR2003/003367 patent/WO2004049299A1/fr active IP Right Grant
- 2003-11-13 AU AU2003290190A patent/AU2003290190A1/en not_active Abandoned
- 2003-11-13 EP EP03782553A patent/EP1563485B1/fr not_active Expired - Lifetime
- 2003-11-13 JP JP2004554598A patent/JP4343845B2/ja not_active Expired - Lifetime
-
2005
- 2005-05-17 ZA ZA200503969A patent/ZA200503969B/en unknown
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102326417A (zh) * | 2008-12-30 | 2012-01-18 | 庞培法布拉大学巴塞隆纳媒体基金会 | 三维声场编码及优化重建的方法及装置 |
CN102326417B (zh) * | 2008-12-30 | 2015-07-08 | 杜比国际公司 | 三维声场编码及优化重建的方法及装置 |
CN102318372A (zh) * | 2009-02-04 | 2012-01-11 | 理查德·福塞 | 声音系统 |
US10490200B2 (en) | 2009-02-04 | 2019-11-26 | Richard Furse | Sound system |
US9773506B2 (en) | 2009-02-04 | 2017-09-26 | Blue Ripple Sound Limited | Sound system |
CN104471960A (zh) * | 2012-07-15 | 2015-03-25 | 高通股份有限公司 | 用于向后兼容音频译码的系统、方法、设备和计算机可读媒体 |
US9788133B2 (en) | 2012-07-15 | 2017-10-10 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
CN104471960B (zh) * | 2012-07-15 | 2017-03-08 | 高通股份有限公司 | 用于向后兼容音频译码的系统、方法、设备和计算机可读媒体 |
US9473870B2 (en) | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
US9736609B2 (en) | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
CN104969577A (zh) * | 2013-02-07 | 2015-10-07 | 高通股份有限公司 | 将虚拟扬声器映射到物理扬声器 |
CN104969577B (zh) * | 2013-02-07 | 2017-05-10 | 高通股份有限公司 | 将虚拟扬声器映射到物理扬声器 |
US9913064B2 (en) | 2013-02-07 | 2018-03-06 | Qualcomm Incorporated | Mapping virtual speakers to physical speakers |
US9674632B2 (en) | 2013-05-29 | 2017-06-06 | Qualcomm Incorporated | Filtering with binaural room impulse responses |
CN105432097B (zh) * | 2013-05-29 | 2017-04-26 | 高通股份有限公司 | 伴有内容分析和加权的具有立体声房间脉冲响应的滤波 |
CN105432097A (zh) * | 2013-05-29 | 2016-03-23 | 高通股份有限公司 | 伴有内容分析和加权的具有立体声房间脉冲响应的滤波 |
CN105340298A (zh) * | 2013-05-29 | 2016-02-17 | 高通股份有限公司 | 球面谐波系数的立体声呈现 |
TWI615042B (zh) * | 2013-05-29 | 2018-02-11 | 高通公司 | 具有立體聲房間脈衝回應之濾波 |
CN105340298B (zh) * | 2013-05-29 | 2017-05-31 | 高通股份有限公司 | 球面谐波系数的立体声呈现 |
US11863958B2 (en) | 2013-07-11 | 2024-01-02 | Dolby Laboratories Licensing Corporation | Methods and apparatus for decoding encoded HOA signals |
CN110648675B (zh) * | 2013-07-11 | 2023-06-23 | 杜比国际公司 | 产生hoa信号的混合的空间/系数域表示的方法和设备 |
CN110648675A (zh) * | 2013-07-11 | 2020-01-03 | 杜比国际公司 | 产生hoa信号的混合的空间/系数域表示的方法和设备 |
CN106664480A (zh) * | 2014-04-07 | 2017-05-10 | 哈曼贝克自动系统股份有限公司 | 声波场生成 |
CN106664480B (zh) * | 2014-04-07 | 2021-06-15 | 哈曼贝克自动系统股份有限公司 | 用于声波场生成的系统和方法 |
CN107925839A (zh) * | 2015-06-24 | 2018-04-17 | 室内声学德国有限公司 | 用于在反射环境中、尤其在听音室中播放声音的方法 |
US10595148B2 (en) | 2016-01-08 | 2020-03-17 | Sony Corporation | Sound processing apparatus and method, and program |
US10582329B2 (en) | 2016-01-08 | 2020-03-03 | Sony Corporation | Audio processing device and method |
CN108476365A (zh) * | 2016-01-08 | 2018-08-31 | 索尼公司 | 音频处理装置和方法以及程序 |
CN110301003A (zh) * | 2016-12-21 | 2019-10-01 | 奥兰治公司 | 改进解码用实际三维声内容的子频带中的处理 |
Also Published As
Publication number | Publication date |
---|---|
EP1563485A1 (fr) | 2005-08-17 |
CN1735922B (zh) | 2010-05-12 |
FR2847376B1 (fr) | 2005-02-04 |
JP2006506918A (ja) | 2006-02-23 |
DE60304358T2 (de) | 2006-12-07 |
WO2004049299A1 (fr) | 2004-06-10 |
AU2003290190A1 (en) | 2004-06-18 |
DE60304358D1 (de) | 2006-05-18 |
US7706543B2 (en) | 2010-04-27 |
FR2847376A1 (fr) | 2004-05-21 |
EP1563485B1 (fr) | 2006-03-29 |
ZA200503969B (en) | 2006-09-27 |
BR0316718A (pt) | 2005-10-18 |
ATE322065T1 (de) | 2006-04-15 |
US20060045275A1 (en) | 2006-03-02 |
BRPI0316718B1 (pt) | 2021-11-23 |
JP4343845B2 (ja) | 2009-10-14 |
KR20050083928A (ko) | 2005-08-26 |
KR100964353B1 (ko) | 2010-06-17 |
ES2261994T3 (es) | 2006-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1735922A (zh) | 处理音频数据的方法和实行这个方法的声音获取设备 | |
CN1213634C (zh) | 扬声器及移动终端设备 | |
CN101053152A (zh) | 音频调谐系统 | |
CN1223993C (zh) | 音频信息变换方法和设备 | |
CN1543753A (zh) | 音像定位装置 | |
CN1605225A (zh) | 产生声场的方法和装置 | |
CN1402952A (zh) | 定向声音的方法和设备 | |
CN1701634A (zh) | 眼镜助听器 | |
CN1659927A (zh) | 房间内扬声器声音的数字均衡方法及其使用 | |
CN101040565A (zh) | 用于移动立体声内容的改善的头相关传递函数 | |
CN1728892A (zh) | 声场校正设备及其方法 | |
CN1281098C (zh) | 环绕处理系统、环绕处理装置和环绕处理方法 | |
CN1728816A (zh) | 信息处理装置、信息处理方法、记录媒体及程序 | |
CN1778143A (zh) | 声像控制装置的设计工具及声像控制装置 | |
CN1837846A (zh) | 用于处理声音信号的装置和方法 | |
CN1933517A (zh) | 语音通话系统及语音通话中的内容提供方法 | |
CN1747608A (zh) | 音频信号处理装置和方法 | |
CN101065990A (zh) | 声像定位装置 | |
CN1655651A (zh) | 基于后期混响的听觉场景 | |
CN1717125A (zh) | 伪立体声信号产生装置 | |
CN1409527A (zh) | 终端器、服务器及语音辨识方法 | |
CN1943273A (zh) | 声像定位控制装置 | |
CN1627862A (zh) | 多个扬声器的音响系统以及自动控制方法 | |
CN1886780A (zh) | 声音合成和空间化方法 | |
CN1751540A (zh) | 使用多通道信号控制再生单元的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term |
Granted publication date: 20100512 |
|
CX01 | Expiry of patent term |