CN101455095B - 在变换域中用于有效的双耳声音空间化的方法和装置 - Google Patents

Abstract

本发明涉及用于声音空间化的方法和系统，其中，第一集合不少于1个声道，在多个频率子带(SBk)上编码，并在变换域(F1，C，Fr，Sr，Sl)上进行解码，以在时域中生成不少于2个(Bl，Br)声道的第二集合，从模拟滤波器转换为应用于变换域中的一个增益值和一个延迟值，包括：通过均衡器进行滤波(A)，通过应用至少一个增益值和延迟值来进行信号的子带延迟以从每个编码信道生成一个经过均衡和延迟的成分；将经均衡和延迟的信号的子集合进行累加(B)以生成对应于不少于2个的多个经滤波的信号；将每个所述经滤波的信号进行合成(C)，以获取不少于2个的时域重构的声道的第二集合。

Description

在变换域中用于有效的双耳声音空间化的方法和装置 

技术领域

本发明涉及对压缩音频信号的空间化，通常称为3D-渲染声音。 

背景技术

上述的操作例如是在对一个压缩的3D音频信号的解压缩中进行的，例如，将以一定数量的声道表示的该信号，解压缩为由不同数量的声道，例如2个声道，来表示，从而允许在一对耳机上重构3D音频效果。 

因此，术语“双耳的”用于在一对立体声的耳机上重构一个音频信号且仍具有空间化效果。本发明并不限于前述的技术，而且本发明显著地适用于从“双耳的”技术衍生的技术，例如称为 的重构技术，换言之，在远程的扬声器上重构音频信号的技术。

是COOPER BAUCK CORPORATION公司的商业上的商标。这样的技术可以接着采用一种包括消除交叉声道在内的“串扰消除”技术，以使得经过该方式处理并由扬声器发出的声音，仅能由听众的两耳的其中一只耳朵听到。 

因此，本发明还涉及对多声道音频信号的传输和重构，还涉及将该多声道音频信号转化到用户的设备所加的重构装置即变换器上。例如，其可以是通过一对音频耳机或一对喇叭重构5.1声道声音的场景。 

本发明还涉及，例如在一个游戏或视频录像的场景下，为了声音的空间化，对存储在文件中的一个或多个声音采样进行重构。 

在双耳声音空间化的领域中的已知技术中，已经提出了多种不同的方法。 

特别地，参照图1a，双声道双耳合成包括，通过对应于适当方 向的频域中的左HRTF-1和右HRTF-r声学传递函数，基于重构从多个声源S_i中滤出希望定位于空间某一位置的信号，该适当方向由极坐标定义。上述的传递函数HRTF，即“头部相关传递函数”的缩写，是空间中各位置与耳道之间的听众的头部的声学传递函数。此外，它们的时域图形为HRIR，即“头部相关冲击响应”的缩写。这些函数也可以包括空间残响(room effect)。 

对于每个声源S_i，获取左侧和右侧两个信号，并叠加到来自其他声源的空间化的左信号和右信号上，并最终生成发送至听众的左耳和右耳的信号L和R。 

静态双耳合成需要滤波器或者传递函数的数量为2.N，而动态双耳合成需要滤波器或者传递函数的数量为4.N，其中，N表示需要进行空间化的声源或音频流的数量。 

公布于J.Acoust.Soc.Am.91(3)：pp.1637-1647(1992)，由D.Kistler和F.L.Wightman发表的题为“A model of head-related transfer functionsbased on principal components analysis and minimum-phase reconstruction(一种基于主要成分分析和最小相位重构的头部相关传递函数模型)”的论文，以及由A.Kulkami于1995发表的IEEE目录号为95TH8144的“IEEE ASSP Workshop on Applications of Signal Processingto Audio and Acoustics(音频和声学信号处理的应用的IEEE ASSP讨论会)”的论文证实，HRTF的相位可以分解为两项的和，一项对应于两耳间的延迟，另一项等于与HRTF的模相关的最小相位。 

因此，HRTF传递函数可以表示为如下形式： 

对应于两耳间的延迟； 

为与滤波器H的模相关的最小相位。 

通常地，双耳滤波器是通过两个最小相位滤波器和一个纯延迟的形式实现的，该纯延迟是与作用于与声源距离最远的一个耳朵的左延迟和右延迟的差值相对应的。该延迟通常是通过延迟线实现的。

最小相位滤波器是一个有限冲击响应滤波器并且可以应用于时域或频域。可以探求无限冲击响应滤波器以接近最小相位HRTF滤波器的模值。 

考虑到双耳立体声(binauralization)，参考图1b，情形是非限制性地以5.1模式空间化的声音场景，其目的是在一个人HB的音频耳机上重构后者(5.1的音频信号)。 

5个扬声器，C：中间，Lf：左前，Rf：右前，Sl：环绕左，Sr：环绕右，每个扬声器均生成一个声音由人HB的两个接收器即他的双耳接听。声信号所经历的变化由一个滤波函数模拟，其表示了在重构该声信号的扬声器和一个给定的耳朵之间的传播过程中该声音所经历的变化。 

特别地，从扬声器Lf发出的声音通过一个HRTF滤波器A作用于左耳LE，但是该同样的声音到达右耳RE时被一个HRTF滤波器B改变。 

扬声器相对于上述的个人HB的位置可以是对称的，也可以是其他形式。 

因此，每个耳朵从5个扬声器接收到的贡献的信号以如下形式表示： 

左耳LE：Bl＝ALf+CC+BRf+DSl+ESr， 

右耳RE：Br＝ARf+CC+BLf+DSr+ESl， 

其中，Bl是左耳LE的双耳立体声信号而Br是右耳RE的双耳立体声信号。 

滤波器A，B，C，D和E通常是由线性数字滤波器模拟的，在图1b所示的结构中，因此需要应用10个滤波函数，在对称的情况下，可以减少至5个。 

已知地，上述的滤波操作可以在频域进行，例如，通过在傅立叶域中进行快速卷积。使用一个FFT，即快速傅立叶变换，以便于有效地实现双耳立体声。 

HRTF滤波器A，B，C，D和E可以简化为一个频域均衡器和一个延迟的形式。HRTF滤波器A可以具体化为一个简单的均衡器 的形式，因为其为一个直接的路径，而HRTF滤波器B还包括一个附加的延迟。通常，HRTF滤波器可以分解为一个最小相位滤波器和一个纯延迟。最接近声源的耳朵的延迟可以取0。 

通过空间解码来对一个3D音频声音场景进行重构的操作，如图1c所示，使用数目减少的传输信道，在现有技术中也是已知的。图1c中所示的结构涉及对频域中具有局部化参数的已编码的音频信道的解码，以重构5.1空间化的声音场景。 

上述的重构是通过频域子带的空间解码器实现的，例如图1c所示。编码的音频信号m经过5个空间化的处理步骤，该步骤由编码器所计算的复空间化参数或者系数CLD或ICC所控制，且允许通过解相关和增益修正操作，以真实的方式重构由6声道构成的声音场景，其中包括图1b所示的五个声道以及新增的低频效果信道lfe。 

当希望对来自例如图1c所示的空间解码器的音频声道进行双耳立体声操作时，在现在，实际上我们仅限于根据图1d所示的方案执行一个处理方法。 

参考上述的方案，在对信号进行双声道立体声处理之前进行声道的变换似乎是必要的，其可以在时域中实现。该变换回时域的操作表示为合成模块“合成(Synth)”，其对来自空间解码器(SD)的每一个声道进行频-时变换操作。根据传统的滤波，HRTF滤波器的滤波可以由应用或未应用均衡方案的滤波器A，B，C，D，E完成。 

如图1e所示，来自空间解码器的音频声道的双声道立体化的一个变化例也可以包括，通过一个合成器“合成”在时域对由音频解码器传送的每个音频声道进行转换，然后在经过FFT变换后，在傅立叶频域执行空间解码和双声道立体声操作，或空间化。 

在这种情景中，每个对应于一个解码系数矩阵的模块OTT，必须在傅立叶域进行变换，其代价是近似性，因为操作不是在同一个域内进行的。此外，由于合成操作“合成”后紧跟着3个FFT变换，因此，复杂度进一步增加。 

因此，为了对来自一个空间解码器的一个声音场景进行双声道 立体声处理，几乎不存在除以下方式的其他实施的可能性： 

-或者进行6个时频变换，如果希望在空间编码器之外进行双声道立体化； 

-或者进行一个合成操作其后面跟随三个FFT变换，如果希望在快速傅立叶变换域进行操作。 

如图1f所示，如果需要也可以使用另外一种方案，即在子带的域中直接进行HRTF滤波处理。 

然而，在上述情形中，HRTF滤波操作的应用非常复杂，因为后者需要使用最小长度固定的子带滤波器并且必须考虑子带的频率混叠现象。 

由于要在PQMF，也即伪-正交镜像滤波域中进行滤波操作，变换操作的减少所带来的节约被需要进行的滤波操作的数量的大幅增加所抵消了。 

发明内容

本发明的目的在于，克服上述的现有技术中的3D音频信号的声音空间化技术的缺陷，尤其是克服3D音频信号的跨声道立体声(transauralization)或双耳立体声技术的缺陷。 

特别地，本发明的一个目的在于在空间解码的频率子带的域中对空间编码的音频信号或信道执行一个特别的滤波，以限制变换对的数目，同时将滤波操作减小到最小，但保留源空间化的高质量，尤其是对于跨声道立体声或双耳立体声。 

根据本发明的一个显著的方面，前述的特定的滤波器依赖于以均衡器-延迟的形式施行空间化、跨声道或双耳滤波器，以在子带域中通过均衡器-延迟直接进行滤波。 

本发明的另一个目的在于，通过在变换域中，在一个传统的空间解码之后简单的添加一个复杂度非常低的跨声道(transaural)空间处理，以达到非常接近于用例如原始HRTF滤波器这样的模拟滤波器所得到的3D渲染效果。

本发明的最后一个目的是一个新颖的源空间化技术，不仅适用于对单声道声音的跨声道或双耳立体声渲染，也适用于多个单声道声音，并且显著地适用于5.1，6.1，7.1，8.1甚至更高模式的立体声系统的多通道。 

本发明的一个主题在于一种用于对音频场景声音空间化的方法，包括一个第一集合，该第一集合包括至少一个声道，这些第一集合的声道在一个给定数目的频率子带上进行空间编码，并在变换域进行解码，生成一个第二集合，该第二集合包括至少2个声道，这些第二集合的声道用于利用滤波器模拟第一集合声道的音频信号的声学传播，以在时域进行重构。 

根据本发明，该方法值得注意的是，对于每个转换为可用于变换域的至少一个增益和一个延迟的形式的模拟滤波器，其包括在变换域的每个频率子带上，至少进行以下操作： 

-通过对子带信号分别应用一个增益和一个延迟，通过均衡-延迟对子带信号进行滤波，以从空间编码信道开始，在所讨论的频率子带中生成一个经特定值延迟的经均衡的成分； 

-将经过均衡且经过延迟的多个成分的一个子集合进行累加，以在变换域生成与所述第二集合的用于时域重构的声道的数目相对应的多个经滤波的信号，所述第二集合中的声道的数目为大于或等于2； 

-通过一个合成滤波器对每个上述在变换域中经过滤波的信号进行合成，以获取第二集合，其具有大于或等于2个用于在时域进行重构的音频信号。 

本发明的方法，值得注意的还有，通过均衡-延迟对子带信号进行滤波包括对至少一个频域子带，至少应用一个相移，以及，在合适的时候通过存储器对其应用一个纯延迟。 

本发明的方法，值得注意的还有，其还包括在混合变换域通过均衡-延迟进行滤波，包括一个将频率划分为附加子带的附加步骤，经过抽取或未经过抽取。

本发明的方法，值得注意的还有，为了将每个模型滤波器在变换域中各自转换为一个增益值和一个延迟值，其包括至少将每个子带与一个定义为该子带中的模拟滤波器的模值的平均值的实数联系在一起作为增益值，以及将每个子带与一个对应于左耳和右耳之间对不同位置的接收延迟的延迟值联系在一起作为延迟值。 

相关地，本发明的另一个主题在于，一种用于音频场景声音空间化的装置，其包括一个第一集合，该第一集合包括至少一个声道，这些第一集合的声道在一个给定数目的频率子带上进行空间编码，并在变换域进行解码，生成一个第二集合，该第二集合包括至少2个声道，这些第二集合的声道用于利用滤波器模拟第一集合声道的音频信号的声学传播，以在时域进行重构。 

根据本发明，该装置值得注意的是，对于变换域的空间解码器的每一个频率子带，该装置除了该空间解码器还包括： 

-一个模块，用于通过对子带信号分别应用一个增益和一个延迟，通过均衡-延迟对子带信号进行滤波，以在所讨论的频率子带中，从每个空间编码信道生成一个经过均衡并经过特定值延迟的成分； 

-一个模块，用于对经过均衡且经过延迟的多个成分的一个子集合进行累加，以在变换域生成与所述第二集合的用于时域重构的声道的数目相对应的多个经滤波的信号，所述第二集合中的声道的数目为大于或等于2； 

-一个模块，通过一个合成滤波器对上述每个在变换域中经过滤波的信号进行合成，以获取第二集合，其包括数目大于或等于2的用于在时域进行重构的声道。 

本发明的方法和装置，可以应用于高保真音频和/或视频电子产业，还可以用于本地或在线的音视频游戏产业。 

附图说明

通过阅读说明书和附图将更好地理解本发明，其中，除了图1a-1f与现有技术相关以外，

图2a显示了根据本发明的声音空间化方法的执行步骤的示意流程图； 

图2b通过示例的方式，显示了本发明的如图2a所示的方法的一个变化的实施例，通过在没有抽取的情况下产生附加的子带来获取； 

图2c通过示例的方式，显示了本发明的如图2a所示的方法的一个变化的实施例，通过在抽取的情况下产生附加的子带来获取； 

图3a通过示例的方式，显示了根据本发明的一个声音空间化装置的一个空间解码器的一个频率子带的分段(stage)； 

图3b通过示例的方式，显示了可以实现如图3a所示本发明的装置的一个均衡延迟滤波器的实现细节； 

图4通过示例的方式，显示了根据本发明的装置的一个示例的实施例，其中，均衡延迟滤波器的计算离开了原位置。 

具体实施方式

结合图2a和下面的各个附图，将对根据本发明的主题的音频场景的声音空间化的方法进行具体描述。 

根据本发明的方法，适用于一个音频场景，例如3D音频场景，表示为包括N个声道，其中N大于或等于1，这些声道在给定数目的频率子带上进行空间编码并在变换域进行解码。 

变换域，可以理解地，意味着一个变换频率域，例如傅立叶域，PQMF域或任意混合域，通过时域抽取或者其他步骤，创建附加的频域子带而获取。 

然后，形成第一集合N个声道的经空间编码的声道以非限制性的形式表示为本说明书前述的Fl，Fr，Sr，Sl，C，lfe声道，并如说明书前文所述的对应于在对应的变换域中一个3D音频场景的解码模式。该模式正是前述的5.1模式。 

此外，这些信号在前述变换域中根据一个该解码特定的给定数目的子带进行解码，该子带集合由

表示，k表示所讨论的子带 的秩。 

本发明的方法，允许前述的经空间编码的声道集合变换为一个第二集合，该第二集合包括大于或等于2的用于进行时域重构的声道，重构声道在图2a中，非限制性地分别表示为左、右双声道的Bl和Br。可以理解，特别地，除了双声道，本发明的方法适用于任意大于2的声道，例如，允许3D音频场景的实时重构，如图1b所示以及前文中结合图1b所述。 

根据本发明的一个显著的方面，本发明通过使用滤波器模拟经空间编码的声道的第一集合的音频信号的声学传播，考虑到以适用于变换域的至少一个增益和延迟的形式的转换，这将在说明书的后文中详尽描述。以非限制性的方式，模拟滤波器在本文以下部分表示为HRTF滤波器。 

前述的任一HRTF滤波器的变换考虑秩为k的子带SB_k，以生成一个增益值g_k以及相应的延迟值d_k，如图2a所示，前述的变换表示为HRTF.≡(g_k，d_k)。 

考虑到前述的变换，本发明的方法包括，对于变换域的秩为k的任一频域子带，执行：步骤A，通过分别对子带信号应用一个增益值g_k和延迟值d_k以通过均衡-延迟对子带信号进行滤波，以从前述的空间编码的信道，亦即从声道Fl、C、Fr、Sr、Sl、lfe，在所讨论的秩为k的频率子带SB_k中生成一个经均衡并经给定延迟值延迟的成分。 

在图2a中，通过均衡-延迟的滤波操作以符号表示为CED_kx＝{Fl，C，Fr，Sr，Sl，lfe}(g_kx，d_kx)。 

在上述的符号等式中，FEB_kx表示通过对每个经空间编码的声道，换言之声道Fl、C、Fr、Sr、Sl、lfe，应用增益值g_k以及延迟值d_k而得到的的任一经均衡和延迟的成分。 

因此，在前述的符号等式中，对于秩为k的相应子带，x可以实际取值为Fl、C、Fr、Sr、Sl、lfe。 

然后，在变换域中步骤B紧跟着步骤A，步骤B对经均衡和延 迟的多个成分的一个子集合进行累加，以在变换域中生成与数目为N’的用于在时域重构的第二集合的声道相对应的多个经滤波的信号，N’大于或等于2。 

在图2a的步骤B中，累加的操作由符号等式所表示： 

F{Fl，C，Fr，Sr，Sl，lfe}＝∑CED_kx

在上述的符号等式中，F{Fl，C，Fr，Sr，Sl，lfe}表示将经均衡和延迟的成分CED_kx的子集累加而获取的在变换域中的经滤波的信号的子集。 

通过非限制性地以及教导性的例子，对于一个包括数目N＝6的经空间编码的声道的第一集合，对应于5.1模式，经均衡和延迟的成分的子集可以包括将对于每个耳朵的5个经均衡和延迟的成分加在一起，以得到一个N’个变换域的经滤波的信号，N’等于2，在稍后的下文中将在说明书中详尽描述。 

前述的累加步骤B后，接着步骤C，步骤C用于将在变换域中的每个经滤波的信号通过一个合成滤波器进行合成，以获取一个数目为N’的用于在时域重构的音频信号第二集合，N’大于或等于2。 

在图2a的步骤C中，相应的合成操作由以下符号等式所表示： 

Bl，Br＝Synth(F{Fl，C，Fr，Sr，Sl，lfe}) 

一般说来，在此声明，本发明的方法可以应用于任意3D音频场景，包括将N个经空间编码的路径或声道，变换为N’个重构的声道，其中N在1至无穷大之间变化，N’在2至无穷大之间变化。 

就图2a所示的步骤B中的加法步骤而言，在此声明，后者(步骤B)具体地还包括将分别由不同的延迟进行延迟的成分的子集合加在一起，以为每个子带生成N’个成分。 

更具体的，在此声明，通过均衡-延迟对子带信号进行的滤波包括至少应用对至少一个频率子带的相移，该相移可以是通过由存储器实现的纯延迟来完成的。 

纯延迟的应用在图2a的步骤A中用等式g_Ex＝1表示，其代表了对秩为k＝E的子带中的序号为x的声道集合不进行均衡，数值1表示对每个经空间编码的声道的幅度无调整地传输。 

如前面的说明书中所提到的，变换域可以对应于混合变换域， 以下将结合图2b描述在对应的子带中不进行频域抽取的情形下的频率变换域。 

参考前述图2b，如图2a的步骤A所示的通过均衡-延迟的滤波，将由图2b所示的三个子步骤A1，A2和A3所执行。 

在该种情形下，步骤A包括一个未经过抽取而将频率分为附加子带的附加步骤，其后为一个将附加子带重新组合的步骤，以增加所用的增益值的数目，并因而增加频域的精确度，所述的增益值应用在所述附加子带上。 

频分然后重组的操作如图2b中的子步骤A₁和A₂所示。 

频分步骤在子步骤A₁中由以下等式表示： 

$\mathrm{HRTL}\≡{\{g_{\mathrm{kz}},d_{\mathrm{kz}}\}}_{z=1}^{z=Z}$

重组步骤在子步骤A₂中由以下等式表示： 

${\left[{\mathrm{GCEB}}_{\mathrm{kz}}\right]}_1^{z}x=\{\mathrm{Fl},C,\mathrm{Fl},\mathrm{Sr},\mathrm{Sl},\mathrm{lfe}\}\left(g_{\mathrm{kz}}\right)$

在子步骤A₁中，可以理解，所讨论的秩为k的子带的增益和延迟的值细分为Z个相应的增益值，一个增益值g_kz用于每个附加子带，在子步骤1₂中，可以理解，对附加的子带的重组的步骤通过使用对应于相应序号为x的经编码的声道执行，在所讨论的附加的子带中增益g_kz已经应用于该声道。 

在前述的等式中，[GCED_kz]_z=l ^z=ZX代表对附加的子带的重组，所讨论的附加的子带已经使用了增益。 

子步骤A₂之后是子步骤A₃，包括对重组的附加子带进行延迟，并且，特别地，以与图2a的步骤A类似的方式对相对于序号x的经空间编码的声道通过延迟d_kx进行延迟。 

相应的操作由下式表示： 

${\mathrm{CED}}_{\mathrm{kz}}x={\left[{\mathrm{GCED}}_{\mathrm{kz}}\right]}_{z=1}^{z=Z}x\left(d_{\mathrm{kx}}\right)$

此外，本发明的方法，也可以包括在混合变换域中通过均衡-延迟进行的滤波，其包括一个经过抽取将频率分为附加子带的附加步骤，如图2c所示。 

在该场景中，图2c中的步骤A’₁与图2b中的步骤A₁等同，用 于执行生成附加的经抽取的子带。 

在该场景中，对图2c中的步骤A’₁的抽取是在时域中进行的。 

步骤A’₁后跟着步骤A’₂，步骤A’₂对应于对附加子带进行重组，所述附加子带上所使用的前述的增益值考虑了抽取。 

重组步骤A’₂自身之前或之后跟随延迟d_kx的应用，如双箭头表示步骤A’₂和A’₃的交换。 

可以理解，特别地，当在重组步骤之前进行延迟，延迟直接应用于在重组之前的附加子带的信号。 

关于将每个HRTF滤波器转换为变换域中的一个增益和一个延迟值，该操作可以有利地包括：将每个秩为k的子带与一个定义为对应于HRTF滤波器的模的平均值的实数值联系起来作为增益值，以及将每个秩为k的子带与一个对应于听者的左耳和右耳之间对不同位置的传播延迟的延迟值联系起来作为延迟值。 

因此，使用一个HRTF滤波器，可以自动计算应用于子带的增益和延迟时间。基于HRTF滤波器组的频率分辨率，对应于听者的左耳和右耳之间对不同位置的传播延迟值的延迟值被与每个子带SBk相关联。 

因此，使用HRTF滤波器，可以自动计算子带所用的增益和延迟时间。 

基于对滤波器组的频域分辨率，将一个实数值与每个频带相关联。通过非限定性的例子，从HRTF滤波器的模值开始，可以计算每个子带的前述的HRTF滤波器的模值的平均值。上述的操作类似于HRTF滤波器的倍频带(octave band)或巴克带(Bark band)分析。类似地，可以确定间接声道所使用的延迟，换言之，延迟值更特别地适用于那些延迟值不是最小值的声道。自动确定耳间的延迟有多种方法，表示为ITD，即耳间的时间差值，其对应于听者左耳和右耳之间对于不同位置的延迟。在一个非限制性的例子中，可以使用S.Busson在Universitéde la Méditerranée Est-Marseille II，2006所发表的博士论文中描述的阈值法，其标题为“Individualization of acoustic indices for binaural synthesis”(对双耳合成的声音序号的个体化)。用于估计阈值类型的耳间延迟的方法的原则是：确定到达时间，或者确定波在右耳的初始延迟Td和波在左耳的初始延迟Tg。耳间延迟由下式给出： 

ITD threshold＝Td-Tg. 

最普遍使用的方法是将到达时间估计为HRIR时间滤波器超过一个给定阈值的时刻。例如，到达时间可以对应于HRIR滤波器的响应达到其最大值的10％的时间。 

在PQMF变换域的一个特殊实现的例子将在以下给出。 

通常说来，在复数PQMF域中运用一个增益值包括将一个实数形成的增益和以复数值表示的子带信号的每个采样值相乘。 

实际上，众所周知，使用一个复数PQMF变换域允许在使用增益的同时避免由滤波器组固有的欠采样产生的频域混叠问题。每个信道的每个子带SB_k因此获取了一个分配的给定增益值。 

此外，在PQMF域中使用一个延迟值至少包括，对子带信号的由复数表示的每个采样值，通过将这些采样值乘以一个复数指数值以引入一个在复数平面的旋转，该复数指数值是所讨论的子带的秩、所讨论的子带的欠采样率以及与听者的双耳之间的延迟差相关联的延迟参数的函数。 

紧跟在在复数平面的旋转后面的是对旋转后的采样的纯时间延迟。该纯时间延迟是听者的双耳之间的延迟差和所讨论的子带的欠采样率的函数。 

实际来说，前述的延迟适用于结果信号，换言之经过均衡的信号，并且特别的，适用于这些未从直接声道受益的信号或信道的子集合。 

特别地，旋转以对如下形式的指数值的复数乘的形式实现： 

exp(-j*pi*(k+0.5)*d/M) 

并通过延迟线实现一个纯延迟，例如进行下列操作： 

y(k，n)＝x(k，n-D)

在前面的等式中： 

exp表示指数函数； 

j定义为j*j＝-1； 

k是所讨论的子带信号SB_k的秩； 

M是所讨论的子带信号的欠采样率；例如，M应该取等于64； 

y(k，n)是在秩为k的子带SB_k的秩为n的时间采样上应用了纯延迟之后的输出采样值，换言之，应用了延迟B的采样x(k，n)。 

前述等式中的d和D的取值对应于在非欠采样时间域运用延迟D*M+d。延迟D*M+d对应于先前计算的耳间的延迟。d可以取负值，其可以允许模拟相位超前以取代延迟。 

进行的操作带来了适合于所寻求的效果的近似值。 

对于计算操作，所执行的处理包括执行在一个复指数和一个由复数值形成的子带采样值之间的一个复数乘法。 

如果所使用的总的延迟大于一个值M，可能会插入一个延迟，但是该操作不包括算数运算。 

本发明的方法，也可以在混合变换域中实现。该混合变换域是频率域，在其中PQMF带可以有益地由经抽取的或未经抽取的滤波器组进行重新划分。 

如果滤波器组经过抽取，抽取被理解为时域抽取，则有益地在包括纯延迟和相移的步骤之后引入一个延迟。 

如果滤波器组未经过抽取，则只能在合成时应用延迟。对于每个分支应用相同的延迟实际上是无意义的，因为合成是线性操作，不需要欠采样。 

增益的应用与之前保持类似，后面仅仅包括多个，例如前述的结合图2b所述，因此可以紧跟着有更高精确度的频率划分。然后在每个附加的子带上使用一个实数的增益。 

最后，根据一个变化的实施例，本发明的方法在至少两个均衡-延迟对上重复，并且将获取的信号求总和，以获取时域的声道。 

以下将结合图3a和图3b，详细描述根据本发明的目的音频场景 声音空间化的装置，其声音场景包括第一集合，第一集合包括至少一个声道，该至少一个声道在一个给定数目的频率子带上进行空间编码，并在变换域进行解码，以生成一个第二集合，该第二集合包括至少2个声道，用于在时域进行重构。 

如前文所述，本发明的装置，是基于以下原则：转换可用于变换域的至少一个增益和一个延迟的形式的滤波器，该滤波器用于模拟前述的第一集合信道的音频信号的声学传输。本发明的装置，允许声音场景的声音空间化，如将3D音频场景转换为第二集合，该第二集合包括数量大于或等于2的用于进行时域重构的声道。 

如图3a所示的本发明的装置，涉及在变换域专用于每个秩为k的子带SB_k以进行解码的一个分段。 

特别地，可以理解，图3a所示的对于每个秩为k的子带SB_k，其分段实际上对于每个子带都是可以复制的，以最终形成根据本发明的主题的声音空间化装置。 

按照惯例地，图3a所示的分段在本发明的下文中标记为声音空间化装置。 

参考前述的附图，本发明的装置，例如图3a所示，除了示出的空间解码器，还包括模块OTT₀至OTT₄，大致与图1c所示的现有技术的空间解码器SD相对应，但是还使用了，通过加法器S，以现有技术已知的方式求出前声道C和低频声道lfe的总和，以及一个的模块1，用于通过对子带信号分别应用一个增益和一个延迟，通过均衡-延迟对子带信号进行滤波。 

在图3a中，增益的应用在每个空间编码音频信道上均示出，以放大器1₀至1₈表示，后者(1₀至1₈)生成一个均衡的成分，可能会也可能不会经标识为1₉至1₁₂的延迟元件进行延迟，以从每个经空间编码的声道生成经过在频域子带SB_k的一个给定延迟值均衡和延迟的组成部分。 

参考图3a，放大器1₀至1₈的增益分别具有任意值A，B，B，A，C，D，E，E，D。此外，延迟模块1₉至1₁₂使用的延迟值为Df，Bf，Ds，Ds。在 前述的附图中，所引入的增益和延迟是对称的。在不偏离本发明主题的范围内，也可以运用不对称的结构。 

本发明的装置，还包括模块2，用于将经均衡和延迟的成分的子集合累加在一起，以生成在变换域中的多个经滤波的信号，对应于用于在时域中重构声道的第二集合的数目N’，N’大于或等于2。 

最后，本发明的装置，包括一个模块3，用于在变换域中合成每个经滤波的信号，以获取第二集合，该第二集合包括N’个用于在时域中重构的声道，N’大于或等于2。因此，在图3a所示的实施例中，合成模块3包括，一个合成器3₀和3₁，其中每个合成器允许一个音频信号在时域中进行重构，B₁表示欲传输的左双声道信号，且B_r表示欲传输的右双声道信号。 

在图3a的实施例中，经均衡和延迟的成分通过以下方式获取： 

-A[k]表示秩为k的子带SB_k的放大器1₀，1₃的增益， 

-B[k]表示图3a所示的放大器1₁，1₂的增益， 

-C[k]表示放大器1₄的增益， 

-D[k]表示放大器1₅，1₈的增益， 

-E[k]表示放大器1₆，1₇的增益。 

关于经空间编码的声道，尤其是子带SB_k的这些声道Fl，Fr，C，lfe，Sl和Sr，子带SB_k的第n个采样表示为Fl[k][n]，Fr[k][n]，Fc[k][n]，lfe[k][n]，Sl[k][n]，Sr[k][n]。因此，每个放大器1₀to1₈相继传输如下的经均衡的成分： 

-A[k]*Fl[k][n]， 

-B[k]*Fl[k][n]， 

-B[k]*Fr[k][n]， 

-A[k]*Fr[k][n]， 

-C[k]*Fc[k][n]， 

-D[k]*Sl[k][n]， 

-E[k]*Sl[k][n]， 

-E[k]*Sr[k][n]， 

-D[k]*Sr[k][n]， 

说明书中所描述的前述的操作，在这种情形下，是以对复数进行实数乘的形式进行的。

由延迟元件1₉，1₁₀，1₁₁和1₁₂所引入的延迟应用于前述的经均衡的成分，以生成经均衡和延迟的组成部分。 

在图3a所示的例子中，延迟应用于未从直接路径受益的子集合上。在对图3a的描述中，指的是那些由放大器或乘法器1₁，1₂，1₆和1₇以增益B[k]和E[k]进行乘的那些信号。 

对例如以倍增放大器1₁和延迟元件1₉形成的均衡-延迟进行滤波的滤波器或滤波元件的更详尽的描述在以下将参照图3b给出。 

关于应用增益，如图3b所示的相应的滤波元件包括一个数字乘法器，换言之，乘法器或放大器1₀至1₈之一，在图3b中以增益值g_kx表示，该乘法器允许来自每个对应于信道Fl，Fr，C，lfe，Sl或Sr的序号为x的经编码的声道的任意复数采样与一个实数值相乘，也即，在说明书前文中描述的增益值。 

此外，图3b所示的滤波元件包括至少一个复数数字乘法器，允许在复平面中的子带信号的任意一个采样引入一个旋转，以乘以一个复指数值，其值为

，其中

表示一个相位值，是所讨论的子带欠采样率和所讨论的子带的秩k的函数。 

在一个实施例中，

。 

紧随复数数字乘法器是延迟线，标识为D.L，其为每个经旋转的采样引入一个纯延迟，允许引入一个纯时间延迟，其为听者的双耳延迟之间的差值和所讨论的子带SB_k的欠采样率M的函数。 

因此，延迟线D.L.允许在经过旋转的复数的采样以y(k，n)＝x(k，n-D)的形式引入延迟。 

最后，d和D的值满足：这些值对应于在未采样的时间域应用延迟D*M+d，并且该D*M+d对应于前述的双耳间的延迟。 

为了实现本发明的装置，如图3a所示，可以观察到信号Fr[k][n]被增益值B[k]乘，然后延迟，根据本发明的一个值得注意的方面，其相当于将该信号乘以一个复数增益。增益B[k]和复指数的乘积可以一次性地彻底地进行，因此避免了对每个后继采样Fr[k][n]的补充处理。左侧的经均衡和延迟的成分指代为L₀至L₄，右侧的经均衡和 延迟的组成部分指代为R₀至R₄，在图中分别由累加模块2₀和2₁结合在一起，然后验证等式： 

表格T

L0[k][n]＝A[k]Fl[k][n] 

R0[k][n]＝经过Df采样延迟的B[k]Fl[k][n] 

R1[k][n]＝A[k]Fr[k][n] 

L1[k][n]＝经过Df采样延迟的B[k]Fr[k][n] 

L2[k][n]＝R2[k][n]＝C[k](Fc[k][n]+lfe[k][n]) 

L3[k][n]＝D[k]Sl[k][n] 

R3[k][n]＝经过Ds采样延迟的E[k]Sl[k][n] 

R4[k][n]＝D[k]Sr[k][n] 

L4[k][n]＝经过Ds采样延迟的E[k]Sr[k][n] 

为了获取用于时域重构的声道，即分别为图3a所示的左信道B₁和右信道B_r，也即，在图3a的实施例中的双声道信号，对于每个秩为n的采样，累加经均衡和延迟的成分，也即，累加成分： 

对于累加模块2₀：L0[k][n]+L1[k][n]+L2[k][n]+L3[k][n]+L4[k][n]且 

对于累加模块2₁：R0[k][n]+R1[k][n]+R2[k][n]+R3[k][n]+R4[k][n] 

然后，由累加模块2₀和2₁传送的结果信号各自通过合成滤波器3₀和3₁，以分别在时域B₁和B_r获取双声道的信号。 

可以将前述的信号提供给一个数字-模拟转换器，以允许左声音B₁和右声音B_r，在例如一对音频耳机上可以听到。 

合成操作由合成模块3₀和3₁执行，包括，当合适的时候，例如说明书前文中描述的混合合成操作。 

本发明的方法，有利地可以包括分离均衡操作和延迟操作，其可以在不同数量的频率子带上进行。在一个变化例中，均衡器可以例如在一个混合域中进行，而延迟在PQMF域中进行。 

可以理解，本发明的方法和装置，尽管描述为将6个信道进行双声立体声进入一对耳机，其也可以用于实现跨声道立体声，换言之，在一对扬声器上对3D声音场的重构，或者以一种相对非复杂的方式，将来自一个空间解码器或多个单声道解码器的表示为N个的声道或声源转换为N’个用于重构的声道。如果需要可以倍增滤波操 作。 

作为一个补充的非限制性的例子，本发明的方法和装置，可以应用于声音由不同物体或声源发出的3D互动游戏的情形，其可以作为它们与听者之间的相对位置的函数进行空间化。声音采样然后被压缩并存储在不同的文件或不同的存储区域中。为了被播放并被空间化，他们可以部分解码，以保存在编码域，并在编码域由根据本发明所描述的合适的双声道滤波器进行滤波。 

实际上，通过将解码和空间化操作结合起来，操作的总的复杂度将大大降低，同时不会带来任何质量的损失。 

最后，本发明覆盖了包括一系列保存在存储媒介中的指令的计算机程序，用于由计算机或专用的声音空间化设备执行，在执行的过程中，执行结合图2a到2c，3a、3b在说明书前述的滤波、累加和合成步骤。 

特别地，可以理解，前述的附图中所示的操作可以有利地通过在图3a中未示出的中央处理器、一个工作存储器和程序存储器的方式在复数数字采样上进行。 

最后，形成均衡-延迟滤波器的增益和延迟的计算可以在如图3a和3b所示的本发明的装置的外部执行，将结合图4在下文中进行描述。 

参考前述的附图，考虑一个用于空间编码和以降低数据率进行解码的第一单元I，包括例如如图3a，3b所示的根据本发明的装置，允许进行前述的空间编码，始于例如5.1模式的声音场景，一方面传输编码声音，另一方面传输空间参数，传输至解码和空间解码单元II。 

对于均衡-延迟滤波器的计算可以由一个分离的单元III执行，其使用模拟滤波器、HRTF滤波器，计算增益均衡和延迟值并将其传输至空间编码单元I和空间解码单元II。 

因此，空间编码可以考虑HRTF，应用HRTF以校正其空间参数并优化3D渲染。类似地，数据率降低的编码器能够使用这些HRTF 以测量频率量化的听得见的效果。 

解码时，传输的HRTF将用于空间解码，并且允许，在合适的情形中，重新生成重构的声道。 

在前述的例子中，将从5个声道重新生成2个声道，但在其他情形中，可以如上所示地包括从3个信道构造5个声道。空间解码方法将应用如下： 

-使用空间信息(上行混合，upmix)将接收到的3个信道投射到一组虚拟信道上(大于5个输出信道)； 

-使用HRTF将虚拟信道减少至5个输出信道。 

如果在编码器中使用了HRTF，可选地，可以在上行混合之前去除他们贡献，以实现上述方案。 

转换后的HRTF，他们的增益/延迟优选地可以以如下的形式进行量化： 

对他们的值以微分的模式编码，然后量化他们的差值：如果均衡器的增益值表示为G[k]，则量化的值为： 

e[k]＝G[k+1]-G[k] 

将以线性或对数的形式传输。 

更具体地，参考前述图4，本发明的方法和装置所执行的操作，因此允许执行对音频场景的声音空间化，其中包括给定个数的经空间编码的声道的第一集合，和包括用于时域重构的数目较少的声道的第二集合。其还允许解码时执行将多个经空间编码的声道逆变换为一个包括高于或等于用于时域重构的声道的数目的集合。

Claims (16)

1.一种用于音频场景的声音空间化的方法，包括第一集合，该第一集合包括至少一个在一个给定数目的频率子带上进行空间编码的声道，并在变换域进行解码，以生成一个第二集合，该第二集合包括至少2个声道，用于利用滤波器模拟所述第一集合声道的音频信号的声学传播，以在时域进行重构，其特征在于，对于每个转换为可用于变换域的至少一个增益和延迟形式的模拟滤波器，该方法，对每个所述变换域的频率子带，至少包括：

-通过对子带信号分别应用一个增益和一个延迟，通过均衡-延迟对子带信号进行滤波，以从空间编码信道开始，在所讨论的频域子带中生成一个经特定值延迟的经均衡的成分；

-对经过均衡且经过延迟的成分的一个子集合进行累加，以在变换域生成与所述第二集合的用于时域重构的声道的数目相对应的多个经滤波的信号，所述第二集合中的声道的数目为大于或等于2；

-通过一个合成滤波器对每个在变换域中经过滤波的信号进行合成，以获取第二集合，其包括大于或等于2个用于在时域进行重构的音频信号。

2.根据权利要求1所述的方法，其特征在于，所述通过均衡-延迟对子带信号进行滤波包括对至少一个频率子带至少应用一个相移。

3.根据权利要求2所述的方法，其特征在于，所述通过均衡-延迟进行滤波还包括对至少一个频率子带通过存储器应用一个纯延迟。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在混合域通过均衡-延迟进行滤波，包括一个未经抽取将频率划分为附加子带的附加步骤，以增加应用的增益值的数目，其后为一个重组所述附加子带的步骤，前述的增益值应用在所述附加子带上，然后进行所述延迟。

5.根据权利要求1至3中任一项所述的方法，其特征在于，在混合域通过均衡-延迟进行滤波，包括一个经过抽取将频率划分为附加子带的附加步骤，以增加应用的增益值的数目，其后为一个重组所述附加子带的步骤，前述的增益值应用在所述附加子带上，所述重组步骤其自身在所述延迟应用之前或之后。

6.根据权利要求1至3中任一项所述的方法，其特征在于，为了将每个模拟滤波器在变换域中分别转换为一个增益值和一个延迟值，其至少包括：

-将每个子带与一个定义为模拟滤波器的模值的平均值的实数联系在一起作为增益值；

-将每个子带与一个对应于左耳和右耳之间对不同位置的接收延迟的延迟值联系在一起作为延迟值。

7.根据权利要求1至3中任一项所述的方法，其特征在于，在PQMF域中运用增益包括，将以复数值表示的子带信号的每个采样值，乘以一个由实数形成的增益值。

8.根据权利要求1至3中任一项所述的方法，其特征在于，在PQMF域中运用增益至少包括，对以复数值表示的子带信号的每个采样值：

-通过将这些采样乘以一个复数指数值以引入一个在复数平面的旋转，该复数指数值是所讨论的子带的秩，所讨论的子带的欠采样率以及与听者的双耳之间的延迟差相关联的延迟参数的函数；

-对旋转后的采样引入纯时间延迟，所述纯时间延迟是听者的双耳之间的延迟差和所讨论的子带的欠采样率的函数。

9.根据权利要求1至3中任一项所述的方法，其特征在于，对于音频场景的声音空间化，其中在5.1模式中，第一集合包括N＝6个空间编码的声道，所述第二集合包括2个用于时域重构的声道，用于在一对音频耳机上重构。

10.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法至少在两个均衡-延迟对上重复，并且将获取的信号求总和，以获取时域的声道。

11.根据权利要求1至3中任一项所述的方法，其特征在于，对于音频场景的声音空间化，第一集合包括给定数目的经空间编码的声道，第二集合包括数目较少的用于时域重构的声道，在解码时，该方法还包括将多个经空间编码的声道逆变换为一个包括大于或等于用于时域重构的声道数目的集合。

12.根据权利要求1至3中任一项所述的方法，其特征在于，将所述与模拟滤波器关联的增益和延迟值以量化的形式传输。

13.一种用于音频场景的声音空间化的装置，包括第一集合，该第一集合包括至少一个在一个给定数目的频率子带上进行空间编码的声道，并在变换域进行解码，以生成一个第二集合，该第二集合包括至少2个声道，用于利用滤波器模拟所述第一集合声道的音频信号的声学传播，以在时域进行重构，其特征在于，对于在变换域的一个空间解码器的每个频率子带，所述装置，除了所述空间解码器，还包括：

-一个装置，用于通过对所述子带信号分别应用一个增益和一个延迟，通过均衡-延迟对子带信号进行滤波，以从每个空间编码信道开始，在所讨论的频域子带中生成经过一个经均衡的并经特定值延迟的成分；

-一个装置，用于对经过均衡且经过延迟的成分的一个子集合进行累加，以在变换域生成与所述第二集合的用于时域重构的声道的数目相对应的多个经滤波的信号，所述第二集合中的声道的数目为大于或等于2；

-一个装置，用于通过一个合成滤波器对每个在变换域中经过滤波的信号进行合成，以获取第二集合，其包括大于或等于2个用于在时域进行重构的音频信号。

14.根据权利要求13所述的装置，其特征在于，以应用增益进行滤波的装置包括一个数字乘法器，用于将每个空间编码声道的任意复数采样乘以一个实数值。

15.根据权利要求13或14所述的装置，其特征在于，通过应用一个延迟进行滤波的装置包括至少一个复数数字乘法器，允许在子带信号的任意采样的复数平面引入一个旋转，用于与一个复数指数值相乘，该复数指数值是所讨论的子带的秩，所讨论的子带的欠采样率以及与听者的双耳之间的延迟差相关联的延迟参数的函数。

16.根据权利要求15所述的装置，其特征在于，所述滤波装置还包括一个对旋转后的每个采样的纯延迟线，允许引入一个纯时间延迟，该纯时间延迟是听者的双耳之间的延迟差和所讨论子带的欠采样率的函数。

Images