CN102138342B - 用于合并空间音频流的设备 - Google Patents

Abstract

一种用于合并第一空间音频流和第二空间音频流以获得合并的音频流的设备(100)，该设备(100)包括：估计器(120)，用于估计第一波形表示，所述第一波形表示包括对于第一空间音频流的第一波形方向测量和第一波形场测量，所述第一空间音频流具有第一音频表示和第一到达方向。所述估计器(120)适于估计第二波形表示，第二波形表示包括对于第二空间音频流的第二波形方向测量和第二波形场测量，所述第二空间音频流具有第二音频表示和第二到达方向。所述设备(100)还包括处理器(130)，所述处理器用于处理第一波形表示和第二波形表示以获得合并的波形表示，所述合并的波形表示包括合并的波形场测量和合并的到达方向测量，用于处理第一音频表示和第二音频表示以获得合并的音频表示，和用于提供包括合并的音频表示和合并的到达方向测量的合并的音频流。

Description

用于合并空间音频流的设备

技术领域

本发明涉及音频处理领域，尤其涉及空间音频处理以及多个空间音频流的合并。

背景技术

比照V.Pulkki和C.Faller的“Directional audio coding in spatial sound reproduction andstereo upmixing”(AES 28th International Conference，Pitea，瑞典，2006年6月)以及V.Pulkki的“A method for reproducing natural or modified spatial impression in Multichannel listening”(申请日为2004年9月的专利WO 2004/077884 A1)，DirAC(定向音频编码：Directional AudioCoding)是分析和再现空间声音的高效方法。DirAC使用基于特征的声音场的参数表示，该特征与空间声音的感知相关，该参数即到达方向(DOA：Direction Of Arrival)以及声音场在频率子带的扩散。实际上，DirAC假设当正确地再现声音场的DOA时即正确地感知双耳时差(ITD：Interaural Time Difference)和双耳电平差(ILD：Interaural Level Difference)，同时假设如果正确地再现扩散的话则正确地感知双耳连贯性(IC：Interaural Coherence)。

这些参数(即DOA和扩散)表示边信息，该边信息伴随着被称为单声道DirAC流中的单声道信号(或者单信号；mono signal)。从麦克风信号的时间-频率表示获得DirAC参数。因而，所述参数依赖于时间和频率。在再现侧，该信息允许准确的空间渲染。为了在期望的收听位置再生空间声音，需要多扬声器设置。然而，其几何结构是任意的。实际上，用于扬声器的信号被确定为DirAC参数的函数。

DirAC和参数化多通道音频编码(例如环绕MPEG)之间存在实质差异，尽管两者具有非常相似的处理结构，参照Lars Villemoes、Juergen Herre、Jeroen Breebaart、Gerard Hotho、Sascha Disch、Heiko Purnhagen和Kristofer Kjrlingm的“MPEG surround：The forthcoming ISOstandard for spatial audio coding”(AES 28th International Conference，Pitea，瑞典，2006年6月)。尽管环绕MPEG基于不同扬声器通道的时间-频率分析，但是DirAC采用同步麦克风的通道作为输入，这有效地在一个点描述声音场。这样，DirAC也表示了用于空间音频的高效记录技术。

处理空间音频的另一个已有系统是SAOC(空间音频对象编码：Spatial Audio ObjectCoding)，参照Jonas Engdegard、Barbara Resch、Cornelia Falch、Oliver Hellmuth、JohannesHilpert、Andreas Hoelzer、Leonid Ternetiev、Jeroen Breebaart、Jeroen Koppens、Erik Schuijer和Werner Oomen的“Spatial audio object coding(SAOC)the upcoming MPEG standard onparametric object based audio coding”(124th AES Convention，2008年5月17-20日，Amsterdam，荷兰，2008)，目前在ISO/MPEG内进行标准化。

SAOC依赖于环绕MPEG的渲染引擎(rendering engine)并且将不同的声音源作为对象。该音频编码在比特率方面提供非常高的效率并且在再现方面给予了空前的交互自由。该方法保障在原有系统中的新的引人注目的特征和功能性，以及其它一些新的应用。

发明内容

本发明的目的是提供一种用于合并空间音频信号的认可的概念。

通过根据权利要求1或14之一的用于合并的设备以及根据权利要求13或15之一的用于合并的方法来实现该目的。

注意在多通道DirAC流的情况下(即，如果有4B格式音频通道可用)，合并是不必要的。实际上，来自不同源的信号能够被直接相加以获得合并的流的B格式信号(B-formatsignal)。然而，如果这些通道不可用，则合并是有问题的。

本发明基于如下的发现：能够通过将波形表示(例如平面波表示)和扩散场表示相加来表示空间音频信号。对于前者可以分配一个方向。当合并多个音频流时，实施例可以允许获得合并的流的边信息(或者边信息；side information；例如扩散和方向)。实施例可以从波形表示以及输入音频流获得该信息。当合并数个音频流(能够通过波形部或表示以及扩散部或表示对这些音频流建模)时，能够单独地合并波形部或分量以及扩散部或分量。合并波形部产生合并的波形部，对于该合并的波形部，可以基于波形部表示的方向获得合并的方向。另外，也能够单独地合并扩散部，并且从合并的扩散部能够推导出整体扩散参数。

实施例可以提供一种方法，所述方法用以合并编码为单声道DirAC流的两个或更多个空间音频信号。所获得的合并的信号也能够被表示作为单声道DirAC流。在实施例中，单声道DirAC编码能够是描述空间音频的紧凑方式，因为仅需要将单个音频通道与边信息一起发送。

在实施例中，可能的情形是具有多于两方的电话会议应用。例如，让用户A和用户B和C通信，这些用户生成两个单独的单声道DirAC流。在A的位置，实施例可以允许用户B和C的流被合并到单个单声道DirAC流，该单个的单音道DirAC流能够使用已有DirAC合成技术将其重现。在利用看到多点控制单元(MCU：multipoint control unit)的网络拓扑的实施例中，MCU本身可以执行合并操作，从而用户A能够接收已经包含来自B和C两者的语音的单个单声道DirAC流。清楚地，将被合并的DirAC流也能够被合成地生成，意味着适当的边信息能够被加入单声道音频信号。在刚才提及的例子中，用户A可以没有任何边信息地从B和C接收两个音频流。然后可以向每个流分配特定的方向和扩散，因而加入需要来构造DirAC流的边信息，该DirAC流然后能够由实施例合并。

在多玩家在线游戏和虚拟现实应用中能够找到实施例中另一个可能的情形。在这些情况下，从玩家或虚拟对象生成数个流。每个流的特征在于与收听者相关的特定到达方向并且因而能够由DirAC流表达。可以使用实施例来将不同的流合并至单个DirAC流，然后在收听者位置重现该单个DirAC流。

附图说明

使用附图详细描述本发明的实施例，其中：

图1a示出了用于合并的设备的实施例；

图1b示出了在用于平面波形的高斯平面中的颗粒速度矢量的压力和分量；

图2示出了DirAC编码器的实施例；

图3说明了音频流的理想合并；

图4示出了通常DirAC合并处理框的实施例的输入和输出；

图5示出了实施例的框图；以及

图6示出了用于合并的方法的实施例的流程图。

具体实施方式

图1a显示了用于第一空间音频流与第二空间音频流合并以获得合并的音频流的设备100的实施例。图1a中所示的实施例显示了两个音频流的合并，然而不应当受限于两个音频流，以相似的方式，可以合并多个空间音频流。例如，第一空间音频流和第二空间音频流可以对应于单声道DirAC流并且合并的音频流也可以对应于单个单声道DirAC音频流。如同接下来将详细说明的，单声道DirAC流可以包括例如由单声道定向麦克风捕捉的压力信号以及边信息。后者可以包括声音依赖于时间-频率的扩散和到达方向的测量。

图1a示出了用于将第一空间音频流与第二空间音频流合并以获得合并的音频流的设备100的实施例，该设备100包括估计器120，用于估计第一波形表示和第二波形表示，该第一波形表示包括用于第一空间音频流的第一波形方向测量和第一波形场测量，所述第一空间音频流具有第一音频表示和第一到达方向，该第二波形表示包括用于第二空间音频流的第二波形方向测量和第二波形场测量，所述第二空间音频流具有第二音频表示和第二到达方向。在实施例中，第一和/或第二波形表示可以对应于平面波形表示。

在图1a所示的实施例中，设备100还包括处理器130，所述处理器130用于处理第一波形表示和第二波形表示以获得合并的波形表示并且用于处理第一音频表示和第二音频表示以获得合并的音频表示，该合并的波形表示包括合并的场测量和合并的到达方向测量，处理器130还适于提供包括合并的音频表示和合并的到达方向测量的合并的音频流。

估计器120可以适于估计以第一波形场幅度而言的第一波形场测量，用于估计以第二波形场幅度而言的第二波形场测量，以及用于估计第一波形场测量和第二波形场测量之间的相位差。在实施例中，该估计器能够适于估计第一波形场相位和第二波形场相位。在实施例中，估计器120可以仅分别估计第一和第二波形表示、第一和第二波形场测量之间的相位偏移或者相位差。然后处理器130可以相应地适于处理第一波形表示和第二波形表示以获得合并的波形表示，该合并的波形表示包括合并的波形场测量，该合并的波形场测量可以包括合并的波形场幅度、合并的波形场相位以及合并的到达方向测量，并且处理器130可以适于处理第一音频表示和第二音频表示以获得合并的音频表示。

在实施例中，处理器130还能够适于处理第一波形表示和第二波形表示以获得合并的波形表示，该合并的波形表示包括合并的波形场测量，合并的到达方向测量以及合并的扩散参数，并且能够适于提供合并的音频流，该合并的音频流包括合并的音频表示、合并的到达方向测量以及合并的扩散参数。

换言之，在实施例中，能够基于用于合并的音频流的波形表示确定扩散参数。扩散参数可以建立音频流的空间扩散的测量，即用于空间分布(例如围绕特定方向的角向分布)的测量。在实施例中，可能的情形可以是仅使用定向信息的两个单声道合成信号的合并。

处理器130可以适于处理第一波形表示和第二波形表示以获得合并的波形表示，其中合并的扩散参数基于第一波形方向测量和第二波形方向测量。在实施例中，第一和第二波形表示可以具有不同的到达方向并且合并的到达方向可以位于这两个方向之间。在该实施例中，尽管第一和第二空间音频流可能不提供任何扩散参数，可以从第一和第二波形表示(即基于第一波形方向测量和第二波形方向测量)确定合并的扩散参数。例如，如果两个平面波形从不同方向冲击，即第一波形方向测量与第二波形方向测量不同，则合并的音频表示可以包括组合的合并的到达方向和非消失合并的扩散参数，以解释第一波形方向测量和第二波形方向测量。换言之，由于两个被关注的空间音频流可能不具有或不提供任何扩散，合并的音频流可以具有非消失扩散(non-vanishing diffuseness)，因为其基于由第一和第二音频流建立的角向分布。

实施例可以例如为合并的DirAC流估计扩散参数Ψ。通常，实施例然后可以将各个流的扩散参数设置或假设为固定值，例如0或0.1，或者设置或假设为从音频表示和/或方向表示的分析中得到的变化值。

在其它实施例中，用于将第一空间音频流和第二空间音频流合并以获得合并的音频流的设备100可以包括这样的估计器120，所述估计器120用于估计第一波形表示，该第一波形表示包括用于第一空间音频流的第一波形方向测量和第一波形场测量，第一空间音频流具有第一音频表示、第一到达方向和第一扩散参数。换言之，第一音频表示可以对应于具有特定空间宽度或扩散到特定程度的音频信号。在一个实施例中，这可以对应于计算机游戏中的场景。第一玩家可以在场景中，其中第一音频表示代表音频源，例如经过的火车，产生一定程度的扩散声音场。在这样实施例中，由火车本身诱发的声音可以是扩散的，由火车的喇叭产生的声音(即对应的频率分量)可以不是扩散的。

估计器120可以进一步适于估计第二波形表示，该第二波形表示包括用于第二空间音频流的第二波形方向测量和第二波形场测量，第二空间音频流具有第二音频表示、第二到达方向和第二扩散参数。换言之，第二音频表示可以对应于具有特定空间宽度或扩散到特定程度的音频信号。这也可以对应于计算机游戏中的场景，其中第二声音源可以由第二音频流代表，例如另一列火车在另一个轨道上经过的背景噪声。对于在计算机游戏中的第一玩家，两个声音源都是扩散的，因为他位于火车站位置。

在实施例中，处理器130能够适于处理第一波形表示和第二波形表示以获得包括合并的波形场测量和合并的到达方向测量的合并的波形表示，并且用于处理第一音频表示和第二音频表示以获得合并的音频表示，并且用于提供包括合并的音频表示和合并的到达方向测量的合并的音频流。换言之，处理器130可以不确定合并的扩散参数。这可以对应于由在上述计算机游戏中的第二玩家体验的声音场。第二玩家可以位于远离火车站的位置，从而两个声音源对于第二玩家的体验来说可能不是扩散的，而是代表集中的声音源，这是因为更远的距离所导致。

在实施例中，设备100还可以包括装置110，所述装置110用于为第一空间音频流确定第一音频表示和第一到达方向，并且为第二空间音频流确定第二音频表示和第二到达方向。在实施例中，可以为用于确定的装置110提供直接音频流，即该确定可以仅指的是读取音频表示(例如以压力信号和DOA而言)以及可选地扩散参数(以边信息而言)。

估计器120可以适于从进一步具有第一扩散参数的第一空间音频流估计第一波形表示和/或从进一步具有第二扩散参数的第二空间音频流估计第二波形表示，处理器130可以适于处理合并的波形场测量、第一和第二音频表示以及第一和第二扩散参数，以获得用于合并的音频流的合并的扩散参数，并且处理器130能够还适于提供包括合并的扩散参数的音频流。用于确定的装置110可以适于为第一空间音频流确定第一扩散参数以及为第二空间音频流确定第二扩散参数。

处理器130可以适于分块地(即以样本段或值段)处理空间音频流、音频表示、DOA和/或扩散参数。在一些实施例中，段(segment)可以包括与在空间音频流的特定时间上的特定频带的频率表示相对应的预定数目的样本。这样的段可以对应于单声道表示并且具有相关联的DOA和扩散参数。

在实施例中，用于确定的装置110能够适于以依赖于时间-频率的方式确定第一和第二音频表示、第一和第二到达方向以及第二和第二扩散参数，和/或处理器130能够适于以依赖于时间-频率的方式处理第一和第二波形表示、扩散参数和/或DOA测量和/或适于确定合并的音频表示、合并的到达方向测量和/或合并的扩散参数。

在实施例中，第一音频表示可以对应于第一单声道表示，第二音频表示可以对应于第二单声道表示并且合并的音频表示可以对应于合并的单声道表示。换言之，音频表示可以对应于单个音频通道。

在实施例中，用于确定的装置110能够适于确定，和/或处理器能够适于处理第一和第二单声道表示、第一和第二DOA以及第一和第二扩散参数，并且处理器130可以以依赖于时间-频率的方式提供合并的单声道表示、合并的DOA测量和/或合并的扩散参数。在实施例中，第一空间音频流可以已经由例如DirAC表示的方式提供，用于确定的装置110能够适于仅通过从第一和第二音频流(例如从DirAC边信息)提取的方式确定第一和第二单声道表示、第一和第二DOA以及第一和第二扩散参数。

下面，将详细说明一个实施例，其中将首先介绍标记法和数据模型。在实施例中，用于确定的装置110能够适于确定第一和第二音频表示和/或处理器130能够适于以压力信号p(t)或时间-频率转换压力信号P(k，n)的方式提供合并的单声道表示，其中k表示频率指标，n表示时间指标。

在实施例中，第一和第二波形方向测量以及合并的到达方向测量可以对应于任何定向量，例如矢量、角度、方向等，并且能够从代表音频分量(例如强度矢量、颗粒速度矢量等)的任何定向测量中获取第一和第二波形方向测量以及合并的到达方向测量。第一和第二波形场测量以及合并的波形场测量可以对应于描述音频分量的任何物理量(能够是实数或复数)，可以对应于压力信号、颗粒速度幅度或幅值、响度等。此外，可以在时域和/或频考虑测量。

实施例可以基于对于输入流的波形表示的波形场测量的平面波形表示的估计，该估计能够由图1a中的估计器120执行。换言之，可以使用平面波形表示对波形场测量建模。通常，存在对于平面波形或波形的数个等同穷举(即详尽)描述。下面将介绍数学描述来计算对于不同分量的扩散参数和到达方向或方向测量。尽管只有几个描述直接与物理量(例如压力、颗粒速度等)相关，但是潜在地存在无穷种方式来描述波形表示，下面将举一个例子作为示例，但是不以任何方式限制本发明的实施例。

为了进一步详细地说明不同的潜在描述，考虑两个实数a和b。当

$\left[\begin{array}{c}c\\ d\end{array}\right]=\mathrm{\Ω}\left[\begin{array}{c}a\\ b\end{array}\right]$

时，可以通过给出c和d表示a和b中包含的信息，其中Ω是已知的2x2矩阵。该示例仅考虑线性组合，通常可以考虑任意组合，即也包括非线性组合。

下面标量由小写字母a，b，c表示，而列矢量由黑体小写字母a，b，c表示。上标()^T分别表示转置矩阵，而

和(·)^*表示复共轭。复相角标记与时间标记不同。例如，压力p(t)(实数并且能够从其获取可能的波形场测量)能够由相角P表示，该相角P是复数并且能够通过

p(t)＝Re{Pe^jωt}

从P获取另一个可能的波形场测量，其中Re{·}表示实部并且ω＝2πf是角频率。另外，下面用于物理量的大写字母表示相角。对于下述介绍性例子并且为了避免混淆，请注意下面具有下标“PW”的所有量指的是平面波形。

对于理想的单色平面波形，颗粒速度矢量U_PW可以被标记为

$U_{\mathrm{PW}}=\frac{P_{\mathrm{PW}}}{{\mathrm{\ρ}}_{0}c}{e}_d=\left[\begin{array}{c}{U}_x\\ U_y\\ U_z\end{array}\right],$

其中单位矢量e_d指向波形传播的方向，例如对应于方向测量。能够证明

$I_a=\frac{1}{2{\mathrm{\ρ}}_{0}c}{\left|P_{\mathrm{PW}}\right|}^2{e}_d$

$E=\frac{1}{2{\mathrm{\ρ}}_0{c}^2}{\left|P_{\mathrm{PW}}\right|}^2$

Ψ＝0，(a)

其中I_a表示有源强度(active intensity)，ρ₀表示空气密度，c表示声音的速度，E表示声音场能量并且Ψ表示扩散。

值得感兴趣的是、注意到由于e_d的所有分量都是实数，U_PW的分量与P_PW都同相。图1b说明了在高斯平面的示例性U_PW和P_PW。如刚才提及的，U_PW的所有分量都与P_PW的相位相同，即θ。另一方面，它们的幅值限定于

$\frac{\left|P_{\mathrm{PW}}\right|}{c}=\sqrt{{{|U}_x|}^2+{\left|U_y\right|}^2+{\left|U_z\right|}^2}=\left|\right|U_{\mathrm{PW}}\left|\right|.$

即使当存在多个声音源时，压力和颗粒速度仍然可以被表示为各个分量的和。不丧失一般性地，能够说明两个声音源的情况。实际上，可以直接扩展到更多数目的声音源。

假设P⁽¹⁾和P⁽²⁾是能够分别为第一和第二源记录的压力，即表示第一和第二波形场测量。相似地，假设U⁽¹⁾和U⁽²⁾是复数颗粒速度矢量。在给出传播现象的线性之后，当源一起作用时，观察到的压力P和颗粒速度U是

P＝P⁽¹⁾+P⁽²⁾

U＝U⁽¹⁾+U⁽²⁾。

因而，有源强度是

$I_a^{\left(1\right)}=\frac{1}{2}\mathrm{Re}\{P^{\left(1\right)}\·\stackrel{\‾}{U^{\left(1\right)}}\}$

$I_a^{\left(2\right)}=\frac{1}{2}\mathrm{Re}\{P^{\left(2\right)}\·\stackrel{\‾}{U^{\left(2\right)}}\}.$

因而，

$I_a=I_a^{\left(1\right)}+I_a^{\left(2\right)}+\frac{1}{2}\mathrm{Re}\{P^{\left(1\right)}\·\stackrel{\‾}{U^{\left(2\right)}}+P^{\left(2\right)}\·\stackrel{\‾}{U^{\left(1\right)}}\}.$

注意在除了特别情况之下，

$I_a\≠I_a^{\left(1\right)}+I_a^{\left(2\right)}.$

当两个波形(例如平面波形)准确同相时(尽管朝向不同的方向前进)，

P⁽²⁾＝γ·P⁽¹⁾，

其中γ是实数。得到

$I_a^{\left(1\right)}=\frac{1}{2}\mathrm{Re}\{P^{\left(1\right)}\·\stackrel{\‾}{U^{\left(1\right)}}\}$

$I_a^{\left(2\right)}=\frac{1}{2}\mathrm{Re}\{P^{\left(2\right)}\·\stackrel{\‾}{U^{\left(2\right)}}\}$

$\left|\right|I_a^{\left(2\right)}\left|\right|={\left|\mathrm{\γ}\right|}^2\left|\right|I_a^{\left(1\right)}\left|\right|,$

以及

$I_a=(1+\mathrm{\γ})I_a^{\left(1\right)}+(1+\frac{1}{\mathrm{\γ}})I_a^{\left(2\right)}.$

当波形是同相并且朝向相同方向前进时，它们可以被清楚地解释为一个波形。对于γ＝-1以及任意方向，压力消失并且没有能量流，即‖I_a‖＝0。当波形完全正交时，

P⁽²⁾＝γ·e^jπ/2P⁽¹⁾

U⁽²⁾＝γ·e^jπ/2U⁽¹⁾

U_x ⁽²⁾＝γ·e^jπ/2U_x ⁽¹⁾

U_y ⁽²⁾＝γ·e^jπ/2U_y ⁽¹⁾

U_z ⁽²⁾＝γ·e^jπ/2U_z ⁽¹⁾，

其中γ是实数。从中得到

$I_a^{\left(1\right)}=\frac{1}{2}\mathrm{Re}\{P^{\left(1\right)}\·\stackrel{\‾}{U^{\left(1\right)}}\}$

$I_a^{\left(2\right)}=\frac{1}{2}\mathrm{Re}\{P^{\left(2\right)}\·\stackrel{\‾}{U^{\left(2\right)}}\}$

$\left|\right|I_a^{\left(2\right)}\left|\right|={\left|\mathrm{\γ}\right|}^2\left|\right|I_a^{\left(1\right)}\left|\right|,$

以及

$I_a=I_a^{\left(1\right)}+I_a^{\left(2\right)}.$

使用上述等式能够容易地证明对于平面波形，每个示例量U、P和e_d或P和I_a可以表示等同和穷举描述，因为从它们能够获取所有其它物理量，即它们的任意组合能够在实施例中用于代替波形场测量或波形方向测量。例如，在实施例中2-范数(2-norm)有源强度矢量可以用作波形场测量。

可以识别最小描述来执行实施例所限定的合并。第i个平面波形的压力和颗粒速度矢量能够被表示为

$P^{\left(i\right)}=\left|P^{\left(i\right)}\right|e^{j\∠P^{\left(i\right)}}$

$U^{\left(i\right)}=\frac{\left|P^{\left(i\right)}\right|}{{\mathrm{\ρ}}_{0}c}{e}_d^{\left(i\right)}{e}^{j\∠P^{\left(i\right)}}$

其中∠P⁽ⁱ⁾表示P⁽ⁱ⁾的相位。使用这些变量表示合并的强度矢量，即合并的波形场测量和合并的到达方向测量得到

$I_a=\frac{1}{2{\mathrm{\ρ}}_{0}c}{\left|P^{\left(1\right)}\right|}^2{e}_d^{\left(1\right)}+\frac{1}{2{\mathrm{\ρ}}_{0}c}{\left|P^{\left(2\right)}\right|}^2{e}_d^{\left(2\right)}+$

$+\frac{1}{2}\mathrm{Re}\left\{\left|P^{\left(1\right)}\right|e^{j\∠P^{\left(1\right)}}\frac{\left|P^{\left(2\right)}\right|}{{\mathrm{\ρ}}_{0}c}{e}_d^{\left(2\right)}{e}^{-j\∠P^{\left(2\right)}}\right\}+$

$+\frac{1}{2}\mathrm{Re}\left\{\left|P^{\left(2\right)}\right|e^{j\∠P^{\left(2\right)}}\frac{\left|P^{\left(1\right)}\right|}{{\mathrm{\ρ}}_{0}c}{e}_d^{\left(1\right)}{e}^{-j\∠P^{\left(1\right)}}\right\}.$

注意前两个被加数是和

等式可以进一步被简化为：

$I_a=\frac{1}{2{\mathrm{\ρ}}_{0}c}{\left|P^{\left(1\right)}\right|}^2{e}_d^{\left(1\right)}+\frac{1}{2{\mathrm{\ρ}}_{0}c}{\left|P^{\left(2\right)}\right|}^2{e}_d^{\left(2\right)}+$

$+\frac{1}{2{\mathrm{\ρ}}_{0}c}\left|P^{\left(1\right)}\right|\·\left|P^{\left(2\right)}\right|e_d^{\left(2\right)}\·\cos (\∠P^{\left(1\right)}-\∠P^{\left(2\right)})+$

$+\frac{1}{2{\mathrm{\ρ}}_{0}c}\left|P^{\left(2\right)}\right|\·\left|P^{\left(1\right)}\right|e_d^{\left(1\right)}\·\cos (\∠P^{\left(2\right)}-\∠P^{\left(1\right)}).$

引入

Δ^(1，2)＝|∠P⁽²⁾-∠P⁽¹⁾|

得到

$I_a=\frac{1}{2{\mathrm{\ρ}}_{0}c}\{{\left|P^{\left(1\right)}\right|}^2{e}_d^{\left(1\right)}+{\left|P^{\left(2\right)}\right|}^2{e}_d^{\left(2\right)}+|P^{\left(1\right)}|\·|P^{\left(2\right)}|\cos \left({\mathrm{\Δ}}^{\left(\mathrm{1,2}\right)}\right)\·(e_d^{\left(1\right)}+e_d^{\left(2\right)})\}.---\left(b\right)$

该等式显示计算I_a所需的信息能够被减少至|P⁽ⁱ⁾|，

|∠P⁽²⁾-∠P⁽¹⁾|。换言之，对于每个波形(例如平面波形)的表示能够被减少至波形幅度以及传播方向。另外，也可以考虑波形之间的相对相位差。当要合并多于两个的波形时，可以考虑所有波形对之间的相位差。清楚地，存在包含相似信息的数个其它描述。例如，已知强度矢量和相位差是等同的。

通常，平面波形的能量描述可能不足以正确地执行合并。通过假设波形正交来近似合并。波形的穷举描述符(即已知波形的所有物理量)对于合并是足够的，然而不是在所有实施例中都是必须的。在执行正确合并的实施例中，可以考虑每个波形的幅度、每个波形的传播方向以及要被合并的每对波形之间的相对相位差。

用于确定的装置110能够适于提供和/或处理器130能够适于以单位矢量(unity vector)e_DOA(k，n)处理第一和第二到达方向和/或提供合并的到达方向测量，e_DOA(k，n)＝-e_I(k，n)和I_a(k，n)＝‖I_a(k，n)‖·e_I(k，n)，使用

$I_a(k,n)=\frac{1}{2}\mathrm{Re}\{P(k,n)\·U^{*}(k,n)\}$ 以及

U(k，n)＝[Ux(k，n)，Uy(k，n)，Uz(k，n)]^T

表示时间-频率转换的u(t)＝[u_x(t)，u_y(t)，u_z(t)]^T颗粒速度矢量。换言之，假设p(t)和u(t)＝[u_x(t)，u_y(t)，u_z(t)]^T分别是对于空间中特定点的压力和颗粒速度矢量，其中[·]^T表示转置矩阵。由适当滤波器组(例如由V.Pulkki和C.Faller的“Directional audio coding：Filterbankand STFT-based design”(120th AES Convention，5月20-23日，2006，巴黎，法国，2006年5月)提出的短时傅立叶变换(STFT))能够将这些信号转换为时间-频率域。

假设P(k，n)和U(k，n)＝[U_x(k，n)，U_y(k，n)，u_z(k，n)]^T表示转换的信号，其中k和n分别是频率(或频带)和时间的指标。有源强度矢量I_a(k，n)能够被限定为

$I_a(k,n)=\frac{1}{2}\mathrm{Re}\{P(k,n)\·U^{*}(k,n)\}---\left(1\right)$

其中(·)^*表示复共轭并且Re{·}提取实部。有源强度矢量表达作为声音场特征的能量净流量，比照F.J.Fahy的“Sound Intensity”(Essex：Elsevier Science Publishers Ltd.，1989)并且因而可以用作波形场测量。

假设c表示声音在考虑的介质中的速度并且E表示由F.J.Fahy限定的声音场能量

$E(k,n)=\frac{{\mathrm{\ρ}}_0}{4}{\left|\right|U(k,n)\left|\right|}^2+\frac{1}{4{\mathrm{\ρ}}_0{c}^2}{\left|P(k,n)\right|}^2,---\left(2\right)$

其中‖·‖计算2-范数。下面，将详细说明单声道DirAC流的内容。

单声道DirAC流可以由单声道信号p(t)和边信息组成。该边信息可以包括依赖于时间-频率的到达方向和合依赖于时间-频率的对扩散的测量。前者可以用e_DOA(k，n)表示，其是指向声音到达方向的单位矢量。后者，即扩散由Ψ(k，n)表示。

在实施例中，装置110和/或处理器130能够适于以单位矢量(unity vector)e_DOA(k，n)提供/处理第一和第二DOA和/或合并的DOA。到达方向能够被获得作为

e_DOA(k，n)＝-e_I(k，n)，

其中单位矢量e_I(k，n)指示有源强度指向的方向，即

I_a(k，n)＝‖I_a(k，n)‖·e_I(k，n)，

e_I(k，n)＝I_a(k，n)/‖I_a(k，n)‖。   (3)

可选地，在实施例中，能够以球形坐标系统中的方向角和仰角来表达DOA。例如，如果

和

分别是方向角和仰角，则

在实施例中，用于确定的装置110和/或处理器130能够适于以依赖于时间-频率的方式通过Ψ(k，n)提供/处理第一和第二扩散参数和/或合并的扩散参数。用于确定的装置110能够适于提供第一和/或第二扩散参数和/或处理器130能够适于以下述方式提供合并的扩散参数：

$\mathrm{\&Psi;}(k,n)=1-\frac{\left|\right|{<I_a(k,n)>}_t\left|\right|}{c{<E(k,n)>}_t},---\left(5\right)$

其中<·>_t指示时间平均。

在实践中存在多种策略来获得P(k，n)和U(k，n)。一个可能性是使用B-格式麦克风，其传递4个信号，即w(t)，x(t)，y(t)和z(t)。第一个w(t)对应于全向麦克风的压力读取。后三个是具有指向卡迪尔坐标系统的三个轴的8字型拾取图案的麦克风的压力读取。这些信号也和颗粒速度成正比。因而，在一些实施例中

P(k，n)＝W(k，n)

$U(k,n)=-\frac{1}{\sqrt{2}{\mathrm{\&rho;}}_{0}c}{[X(k,n),Y(k,n),Z(k,n)]}^T---\left(6\right)$

其中W(k，n)，X(k，n)，Y(k，n)和Z(k，n)是转换的B-格式信号。注意(6)中的因子来自B-格式信号的定义中使用的常规，参照Michael Gerzon的“Surround sound psychoacoustics”(Wireless World，80卷，483-486页，1974年12月)。

可选地，可以通过J.Merimaa的“Applications of a 3-D microphone array”(112th AESConvention，Paper 5501，慕尼黑，2002年5月)提出的全向麦克风阵列来估计P(k，n)和U(k，n)。上述处理步骤也可以图2说明。

图2示出了DirAC编码器200，DirAC编码器200适于从适当的输入信号(例如麦克风信号)计算单声道音频通道和边信息。换言之，图2说明了用于从适当的麦克风信号确定扩散和到达方向的DirAC编码器200。图2示出了包括P/U估计单元210的DirAC编码器200。P/U估计单元将麦克风信号接收为输入信息，P/U估计基于该输入信息。由于所有信息均可获得，根据上述等式P/U估计是直接可得的。能量分析级220使得能够进行合并的流的到达方向和扩散参数估计。

在实施例中，可以合并除了单声道DirAC音频流之外的其它音频流。换言之，在实施例中，用于确定的装置110可以适于将任何其它音频流转换为第一和第二音频流，例如立体声或环绕音频数据。在实施例合并除了单声道之外的DirAC流的情况下，在不同的情况之间可能存在不同。如果DirAC流承载作为音频信号的B-格式信号，则颗粒速度矢量将是已知的并且合并是不必要的，如下面将详细描述的那样。当DirAC流承载除了B-格式信号或单声道全向信号之外的音频信号时，用于确定的装置110可以适于首先转换为两个单声道DirAC流，并且实施例然后可以相应地合并转换的流。在实施例中，第一和第二空间音频流因而能够表示转换的单声道DirAC流。

实施例可以组合可获得的音频通道以近似全向拾取图案。例如，在立体声DirAC流的情况下，通过将左通道L和右通道R加起来来实现。

下面，将说明由多个声音源生成的场中的物理量。当存在多个声音源时，可以将压力和颗粒速度表达为各个分量的和。

如果单独播放，假设P⁽ⁱ⁾(k，n)和U⁽ⁱ⁾(k，n)是对于第i个源可能已经记录的压力和颗粒速度。假设传播现象是线性的，当N个源一起播放时，观察到的压力P(k，n)和颗粒速度U(k，n)是

$P(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}^{\left(i\right)}(k,n)---\left(7\right)$

以及

$U(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{U}^{\left(i\right)}(k,n).---\left(8\right)$

前一个等式显示如果压力和颗粒速度都已知的话，获得合并的单声道DirAC流将是直接可得的。在图3中描述了这样的情形。图3说明了执行优化的或可能的理想的多个音频流的合并的实施例。图3假设所有的压力和颗粒速度矢量都是已知的。不幸的是，对于单声道DirAC流来说这样的微不足道的合并是不可能的，因为单声道DirAC流的颗粒速度U⁽ⁱ⁾(k，n)不是已知的。

图3说明了N个流，对于每个流在框301，302-30N中执行P/U估计。P/U估计框的结果是各个P⁽ⁱ⁾(k，n)和U⁽ⁱ⁾(k，n)信号的对应的时间-频率表示，然后能够根据上述等式(7)和(8)将其组合起来，这在两个加法器310和311中说明。一旦获得组合的P(k，n)和U(k，n)，能量分析级320能够以直接的方式确定扩散参数Ψ(k，n)和到达方向e_DOA(k，n)。

图4说明了用于合并多个单声道DirAC流的实施例。根据上述描述，由图4描述的设备100的实施例来合并N个流。如同图4所描述，N个输入流中的每个可以由依赖于时间-频率的单声道表示P⁽ⁱ⁾(k，n)、到达方向

和Ψ⁽¹⁾(k，n)来表示，其中⁽¹⁾表示第一个流。在图4中也说明了用于合并的流的对应的表示。

在图4中描述了合并两个或更多个单声道DirAC流的任务。由于如同(7)中能够简单地通过将已知量P⁽ⁱ⁾(k，n)相加来获得压力P(k，n)，合并两个或更多个单声道DirAC流的问题减少至e_DOA(k，n)和Ψ(k，n)的确定。下述实施例基于这样的假设：每个源的场由加到扩散场的平面波形组成。因而，对于第i个源的压力和颗粒速度能够被表达为

$P^{\left(i\right)}(k,n)=P_{\mathrm{PW}}^{\left(i\right)}(k,n)+P_{\mathrm{diff}}^{\left(i\right)}(k,n)---\left(9\right)$

$U^{\left(i\right)}(k,n)=U_{\mathrm{PW}}^{\left(i\right)}(k,n)+U_{\mathrm{diff}}^{\left(i\right)}(k,n),---\left(10\right)$

其中下标“PW”和“diff”分别表示平面波形和扩散场。在下述中，给出具有估计声音的到达方向和扩散的策略的实施例。在图5中描述了对应的处理步骤。

图5说明了用于合并多个音频流的另一装置500，这将在下面详细说明。图5以第一单声道表示P⁽¹⁾、第一到达方向

和第一扩散参数Ψ⁽¹⁾示例性说明第一空间音频流的处理。根据图5，第一空间音频流被分解为近似平面波形表示

以及第二空间音频流和潜在的其它空间音频流被相应地分解为

估计由各个公式表示上的帽子(hat)指示。

估计器120能够适于估计N个波形表示

和扩散场表示

作为对于N个空间音频流的近似

其中1≤i≤N。处理器130能够适于基于估计来确定合并的到达方向，

${\hat{e}}_{\mathrm{DOA}}(k,n)=-\frac{{\hat{I}}_a(k,n)}{\left|\right|{\hat{I}}_a(k,n)\left|\right|},$ 其中

${\hat{I}}_a(k,n)=\frac{1}{2}\mathrm{Re}\{{\hat{P}}_{\mathrm{PW}}(k,n)\&CenterDot;{\hat{U}}_P^{*}(k,n)\},$

${\hat{P}}_{\mathrm{PW}}(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n),$

${\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n)={\mathrm{\&alpha;}}^{\left(i\right)}(k,n)\&CenterDot;P^{\left(i\right)}(k,n),$

${\hat{U}}_{\mathrm{PW}}(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n),$

${\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n)=-\frac{1}{{\mathrm{\&rho;}}_{0}c}{\mathrm{\&beta;}}^{\left(i\right)}(k,n)\&CenterDot;P^{\left(i\right)}(k,n)\&CenterDot;e_{\mathrm{DOA}}^{\left(i\right)}(k,n),$

其中实数α⁽ⁱ⁾(k，n)，β⁽ⁱ⁾(k，n)∈{0...1}。

图5以虚线示出了估计器120和处理器130。在图5所示的实施例中，不存在用于确定的装置110，因为假设第一空间音频流和第二空间音频流以及潜在的其它音频流在单声道DirAC表示中提供，即单声道表示、DOA和扩散参数刚从流中分离。如图5所示，处理器130能够适于基于估计确定合并的DOA。

声音的到达方向，即方向测量，能够由

估计，其被计算作为：

${\hat{e}}_{\mathrm{DOA}}(k,n)=-\frac{{\hat{I}}_a(k,n)}{\left|\right|{\hat{I}}_a(k,n)\left|\right|},---\left(11\right)$

其中

是合并的流的有源强度的估计。能够如下获得：

${\hat{I}}_a(k,n)=\frac{1}{2}\mathrm{Re}\{{\hat{P}}_{\mathrm{PW}}(k,n)\&CenterDot;{\hat{U}}_{\mathrm{PW}}^{*}(k,n)\},---\left(12\right)$

其中

和

是仅对应于平面波形的压力和颗粒速度的估计，例如作为波形场测量。它们能够被如下限定：

${\hat{P}}_{\mathrm{PW}}(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n),---\left(13\right)$

${\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n)={\mathrm{\&alpha;}}^{\left(i\right)}(k,n)\&CenterDot;P^{\left(i\right)}(k,n),---\left(14\right)$

${\hat{U}}_{\mathrm{PW}}(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n),---\left(15\right)$

${\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n)=-\frac{1}{{\mathrm{\&rho;}}_{0}c}{\mathrm{\&beta;}}^{\left(i\right)}(k,n)\&CenterDot;P^{\left(i\right)}(k,n)\&CenterDot;e_{\mathrm{DOA}}^{\left(i\right)}(k,n).---\left(16\right)$

因子α⁽ⁱ⁾(k，n)和β⁽ⁱ⁾(k，n)通常依赖于频率并且可能与扩散Ψ⁽ⁱ⁾(k，n)成反比。实际上，当扩散Ψ⁽ⁱ⁾(k，n)近似为0时，能够假设场由单个平面波形组成，从而

${\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n)\&ap;P(k,n)$ 和      (17)

${\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n)\&ap;-\frac{1}{{\mathrm{\&rho;}}_{0}c}{P}^{\left(i\right)}(k,n)\&CenterDot;e_{\mathrm{DOA}}^{\left(i\right)}(k,n),---\left(18\right)$

暗指α⁽ⁱ⁾(k，n)＝β⁽ⁱ⁾(k，n)＝1.

下面，将说明确定α⁽ⁱ⁾(k，n)和β⁽ⁱ⁾(k，n)的两个实施例。首先考虑扩散场的能量考虑。在实施例中，估计器120能够适于基于扩散场确定因子α⁽ⁱ⁾(k，n)和β⁽ⁱ⁾(k，n)。实施例可以假设场由加到理想扩散场的平面波形组成。在实施例中，估计器120能够适于并且根据下式确定α⁽ⁱ⁾(k，n)和β⁽ⁱ⁾(k，n)：

α⁽ⁱ⁾(k，n)＝β⁽ⁱ⁾(k，n)

${\mathrm{\&beta;}}^{\left(i\right)}(k,n)=\sqrt{1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)},---\left(19\right)$

通过将空气密度ρ₀设置为等于1并且出于简化的目的舍弃函数依赖性，能够将其写为：

${\mathrm{\&Psi;}}^{\left(i\right)}=1-\frac{{<{\left|P_{\mathrm{PW}}^{\left(i\right)}\right|}^2>}_t}{{<{\left|P_{\mathrm{PW}}^{\left(i\right)}\right|}^2>}_t+{2c}^2{<E_{\mathrm{diff}}>}_t}.---\left(20\right)$

在实施例中，处理器130可以适于基于它们的统计特性来近似扩散场，可以通过下式获得近似：

${<{\left|P_{\mathrm{PW}}^{\left(i\right)}\right|}^2>}_t+{2c}^2{<E_{\mathrm{diff}}>}_t\&ap;{<{\left|P^{\left(i\right)}\right|}^2>}_t---\left(21\right)$

其中E_diff是扩散场的能量。实施例可以因而估计

${<\left|P_{\mathrm{PW}}^{\left(i\right)}\right|>}_t\&ap;{<\left|{\hat{P}}_{\mathrm{PW}}^{\left(i\right)}\right|>}_t=\sqrt{1-{\mathrm{\&Psi;}}^{\left(i\right)}}{<\left|P^{\left(i\right)}\right|>}_t.---\left(22\right)$

为了计算即时估计(即对于每个时间-频率片)实施例可以移除期望算子，获得

${\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n)=\sqrt{1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)}{P}^{\left(i\right)}(k,n).---\left(23\right)$

通过利用平面波形假设，能够直接得到对于颗粒速度的估计

${\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n)=\frac{1}{c{\mathrm{\&rho;}}_0}{\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n)\&CenterDot;e_I^{\left(i\right)}(k,n).---\left(24\right)$

在实施例中，可以应用颗粒速度的简化建模。在实施例中，估计器120可以适于基于简化的建模来近似因子α⁽ⁱ⁾(k，n)和β⁽ⁱ⁾(k，n)。实施例可以利用可选方案，该可选方案可以通过引入颗粒速度的简化建模来得到

α⁽ⁱ⁾(k，n)＝1

${\mathrm{\&beta;}}^{\left(i\right)}(k,n)=\frac{1-\sqrt{1-{(1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n))}^2}}{1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)}.---\left(25\right)$

下面给出推导。颗粒速度U⁽ⁱ⁾(k，n)被建模为

$U^{\left(i\right)}(k,n)={\mathrm{\&beta;}}^{\left(i\right)}(k,n)\&CenterDot;\frac{P^{\left(i\right)}}{{\mathrm{\&rho;}}_{0}c}\&CenterDot;e_I^{\left(i\right)}(k,n).---\left(26\right)$

通过将(26)代入(5)能够获得因子，得到

${\mathrm{\&Psi;}}^{\left(i\right)}(k,n)=1-\frac{\frac{1}{{\mathrm{\&rho;}}_{0}c}\left|\right|{<{|{\mathrm{\&beta;}}^{\left(i\right)}(k,n)\&CenterDot;P^{\left(i\right)}(k,n)|}^2\&CenterDot;e_I^{\left(i\right)}(k,n)>}_t\left|\right|}{c{<\frac{1}{2{\mathrm{\&rho;}}_0{c}^2}{\left|P^{\left(i\right)}(k,n)\right|}^2\&CenterDot;({\mathrm{\&beta;}}^{{\left(i\right)}^2}(k,n)+1)>}_t}.---\left(27\right)$

为了得到即时值，可以去除期望算子并用于求解β⁽ⁱ⁾(k，n)，获得

${\mathrm{\&beta;}}^{\left(i\right)}(k,n)=\frac{1-\sqrt{1-{(1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n))}^2}}{1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)}.---\left(28\right)$

注意该方法得到与(19)中给出的相似的声音到达方向，然而，由于因子α⁽ⁱ⁾(k，n)是单一的而具有较低的计算复杂度。

在实施例中，处理器130可以适于估计扩散(例如用于估计合并的扩散参数)。由Ψ(k，n)表示的合并的流的扩散能够直接从已知量Ψ⁽ⁱ⁾(k，n)和P⁽ⁱ⁾(k，n)中以及从如上获得的估计中估计。在上节介绍能量考虑之后，实施例可以使用估计器

$\widehat{\mathrm{\&Psi;}}(k,n)=1-\frac{\left|\right|{<{\hat{I}}_a(k,n)>}_t\left|\right|}{{<\left|\right|{\hat{I}}_a(k,n)\left|\right|+\frac{1}{2c}\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)\&CenterDot;{\left|P^{\left(i\right)}(k,n)\right|}^2>}_t}.---\left(29\right)$

已知和会允许使用实施例中等式(b)给出的可选表示。实际上，能够通过

获得波的方向，而

给出了第i个波的幅度和相位。从后者，能够计算出所有的相位差Δ(i，j)。通过将等式(b)代入等式(a)、(3)和(5)能够计算合并的流的DirAC参数。

图6显示了用于合并两个或更多个DirAC流的方法的实施例。实施例可以提供用于将第一空间音频流和第二空间音频流合并以获得合并的音频流的方法。在实施例中，该方法可以包括下述步骤：为第一空间音频流确定第一音频表示和第一DOA，以及为第二空间音频流确定第二音频表示和第二DOA。在实施例中，空间音频流的DirAC表示可以是可获得的，然后确定的步骤则简单地从音频流读取相应的表示。在图6中，假设能够根据步骤610简单地从音频流获得两个或更多个DirAC流。

在实施例中，所述方法可以包括下述步骤：基于第一音频表示、第一DOA和可选地第一扩散参数来为第一空间音频流估计包括第一波形方向测量和第一波形场测量的第一波形表示。相应地，方法可以包括下述步骤：基于第二音频表示、第二DOA和可选地第二扩散参数来为第二空间音频流估计包括第二波形方向测量和第二波形场测量的第二波形表示。

所述方法还可以包括下述步骤：组合第一波形表示和第二波形表示以获得合并的波形表示，该合并的波形表示包括合并的场测量和合并的DOA测量，还可以包括下述步骤：对于单声道音频通道，组合第一音频表示和第二音频表示以获得组合的音频表示，该步骤在图6中由步骤620表示。图6描述的实施例包括下述步骤：在步骤640，根据使得能够估计对于平面波形表示的压力和颗粒速度矢量的(19)和(25)计算α⁽ⁱ⁾(k，n)和β⁽ⁱ⁾(k，n)。换言之，以平面波形表示为例，在图6中在步骤630和640执行第一和第二平面波形表示的估计步骤。

在步骤650中执行组合第一和第二平面波形表示的步骤，其中能够将所有流的压力和颗粒矢量相加。

在图6的步骤660中，基于合并的平面波形表示执行有源强度矢量的计算和DOC的估计。

实施例可以包括下述步骤：组合和处理合并的场测量、第一和第二单声道表示以及第一和第二扩散参数以获得合并的扩散参数。在图6描述的实施例中，例如基于(29)在步骤670中执行扩散的计算。

实施例可以提供这样的优势：高质量并且适中复杂度地执行空间音频流的合并。

根据本发明方法的特定实现需求，能够以硬件或软件实现本发明方法。可以使用数字存储介质(尤其是具有存储在其上的电子可读控制信号的闪存、磁盘、DVD或CD，其与可编程计算机系统合作使得执行本发明的方法)来执行该实现。通常，因而本发明是具有存储在机器可读载体上的程序代码的计算机程序代码，其中当计算机程序在计算机或处理器上运行时计算机程序代码可操作用于执行本发明方法。换言之，因而本发明方法是具有当计算机程序在计算机上运行时用于执行至少一个本发明方法的程序代码的计算机程序。

Claims (14)

1.一种用于合并第一空间音频流和第二空间音频流以获得合并的音频流的设备（100），包括：

估计器（120），

用于估计第一波形表示，所述第一波形表示包括用于所述第一空间音频流的第一波形方向测量(

)和第一波形场测量(

)，所述第一波形方向测量(

)是第一波形的定向量，所述第一空间音频流具有第一音频表示和第一到达方向(

)，和

用于估计第二波形表示，所述第二波形表示包括用于所述第二空间音频流的第二波形方向测量(

)和第二波形场测量(

)，所述第二波形方向测量(

)是第二波形的定向量，所述第二空间音频流具有第二音频表示和第二到达方向(

)；以及

处理器（130），

用于处理所述第一波形表示和所述第二波形表示以获得合并的波形表示，所述合并的波形表示包括合并的波形场测量()、合并的到达方向测量(

)和合并的扩散参数()，

其中所述合并的扩散参数基于所述第一波形方向测量(

),和所述第二波形方向测量(

)，和

其中所述处理器（130）配置成处理所述第一音频表示(P⁽¹⁾)和所述第二音频表示(P⁽²⁾)以获得合并的音频表示(P)，和用于提供所述合并的音频流，所述合并的音频流包括所述合并的音频表示(P)、所述合并的到达方向测量()和所述合并的扩散参数(

)。

2.根据权利要求1所述的设备（100），其中所述估计器（120）适于

以估计第一波形场幅度的方式估计所述第一波形场测量，

以估计第二波形场幅度的方式估计所述第二波形场测量，

估计所述第一波形场测量和所述第二波形场测量之间的相位差，和/或

估计第一波形场相位和第二波形场相位。

3.根据权利要求1所述的设备，包括装置（110），所述装置（110）用于

为所述第一空间音频流确定所述第一音频表示、所述第一到达方向测量和第一扩散参数；以及

为所述第二空间音频流确定所述第二音频表示、所述第二到达方向测量和第二扩散参数。

4.根据权利要求1所述的设备，其中所述处理器（130）适于以依赖时间-频率的方式确定所述合并的音频表示、所述合并的到达方向测量以及所述合并的扩散参数。

5.根据权利要求1所述的设备（100），其中所述估计器（120）适于估计所述第一波形表示和/或所述第二波形表示，并且其中所述处理器（130）适于以提供压力信号p(t)或时间-频率转换压力信号P(k,n)的方式提供所述合并的音频表示，其中k表示频率指标并且n表示时间指标。

6.根据权利要求5所述的设备（100），其中所述处理器（130）适于处理所述第一到达方向测量和所述第二到达方向测量和/或以单位矢量e_DOA(k,n)的方式提供所述合并的到达方向测量，其中

e_DOA(k,n)=-e_I(k,n)以及

I_a(k,n)=||I_a(k,n)||·e_I(k,n)，

其中

$I_a(k,n)=\frac{1}{2}\mathrm{Re}\{P(k,n)\&CenterDot;U^{*}(k,n)\}$

其中P(k,n)是合并的流的压力并且U(k,n)=[U_x(k,n),U_y(k,n),U_z(k,n)]^T表示所述合并的音频流的时间-频率转换的u(t)=[u_x(t),u_y(t),u_z(t)]^T颗粒速度矢量，其中Re{·}表示实部。

7.根据权利要求6所述的设备（100），其中所述处理器（130）适于处理第一扩散参数和/或第二扩散参数，和/或以下述方式提供所述合并的扩散参数：

$\mathrm{\&Psi;}(k,n)=1-\frac{\left|\right|<I_a(k,n){>}_t\left|\right|}{c<E(k,n){>}_t},$

$I_a(k,n)=\frac{1}{2}\mathrm{Re}\{P(k,n)\&CenterDot;U^{*}(k,n)\}$

并且U(k,n)=[U_x(k,n),U_y(k,n),U_z(k,n)]^T表示时间-频率转换的u(t)=[u_x(t),u_y(t),u_z(t)]^T颗粒速度矢量，Re{·}表示所述实部，P(k,n)表示时间-频率转换的压力信号p(t)，其中k表示频率指标并且n表示时间指标，c是声音的速度并且

$E(k,n)=\frac{{\mathrm{\&rho;}}_0}{4}{\left|\right|U(k,n)\left|\right|}^2+\frac{1}{4{\mathrm{\&rho;}}_0{c}^2}{\left|P(k,n)\right|}^2$ 表示声音场能量，其中ρ₀表示空气密度并且<·>_t表示时间平均。

8.根据权利要求7所述的设备（100），其中所述估计器（120）适于估计N个波形表示

和扩散场表示作为N个空间音频流

的近似，其中1≤i≤N，并且其中处理器（130）适于基于估计确定所述合并的到达方向测量，

${\hat{e}}_{\mathrm{DOA}}(k,n)=-\frac{{\hat{I}}_a(k,n)}{\left|\right|{\hat{I}}_a(k,n)\left|\right|},$

${\hat{I}}_a(k,n)=\frac{1}{2}\mathrm{Re}\{{\hat{R}}_{\mathrm{PW}}(k,n)\&CenterDot;{\hat{U}}_{\mathrm{PW}}^{*}(k,n)\},$

${\hat{P}}_{\mathrm{PW}}(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n),$

${\hat{P}}_{\mathrm{PW}}^{\left(i\right)}(k,n)={\mathrm{\&alpha;}}^{\left(i\right)}(k,n)\&CenterDot;P^{\left(i\right)}(k,n),$

${\hat{U}}_{\mathrm{PW}}(k,n)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n),$

${\hat{U}}_{\mathrm{PW}}^{\left(i\right)}(k,n)=-\frac{1}{{\mathrm{\&rho;}}_{0}c}{\mathrm{\&beta;}}^{\left(i\right)}(k,n)\&CenterDot;P^{\left(i\right)}(k,n)\&CenterDot;e_{\mathrm{DOA}}^{\left(i\right)}(k,n),$

其中实数α⁽ⁱ⁾(k,n),β⁽ⁱ⁾(k,n)∈{0...1}并且U(k,n)=[U_x(k,n),U_y(k,n),U_z(k,n)]^T表示时间-频率转换的u(t)=[u_x(t),u_y(t),u_z(t)]^T颗粒速度矢量，Re{·}表示所述实部，P⁽ⁱ⁾(k,n)表示时间-频率转换的压力信号p⁽ⁱ⁾(t)，其中k表示频率指标并且n表示时间指标，N是空间音频流的数目，c是声音的速度并且ρ₀表示空气密度。

9.根据权利要求8所述的设备（100），其中所述估计器（120）适于根据下式估计α⁽ⁱ⁾(k,n)和β⁽ⁱ⁾(k,n)：

α⁽ⁱ⁾(k,n)=β⁽ⁱ⁾(k,n)

${\mathrm{\&beta;}}^{\left(i\right)}(k,n)=\sqrt{1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)}.$

10.根据权利要求8所述的设备（100），其中所述处理器（130）适于根据下式确定α⁽ⁱ⁾(k,n)和β⁽ⁱ⁾(k,n)：

α⁽ⁱ)(k,n)=1

${\mathrm{\&beta;}}^{\left(i\right)}(k,n)=\frac{1-\sqrt{1-{(1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n))}^2}}{1-{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)}.$

11.根据权利要求9所述的设备（100），其中所述处理器（130）适于通过下式确定所述合并的扩散参数：

$\widehat{\mathrm{\&Psi;}}(k,n)=1-\frac{\left|\right|<{\hat{I}}_a(k,n){>}_t\left|\right|}{<\left|\right|{\hat{I}}_a(k,n)\left|\right|+\frac{1}{2c}\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&Psi;}}^{\left(i\right)}(k,n)\&CenterDot;{\left|P^{\left(i\right)}(k,n)\right|}^2{>}_t}.$

12.根据权利要求1所述的设备（100），其中

所述第一空间音频流还包括第一扩散参数(Ψ⁽¹⁾)，其中所述第二空间音频流还包括第二扩散参数(Ψ⁽²⁾)；和

其中所述处理器（130）配置成基于所述第一扩散参数(Ψ⁽¹⁾)和所述第二扩散参数(Ψ⁽²⁾)、所述合并的波形场测量、所述第一音频表示和所述第二音频表示计算所述合并的扩散参数(

)。

13.一种用于合并第一空间音频流和第二空间音频流以获得合并的音频流的方法，包括：

估计第一波形表示，所述第一波形表示包括用于所述第一空间音频流的第一波形方向测量(

)和第一波形场测量(

)，所述第一波形方向测量(

)是第一波形的定向量，所述第一空间音频流具有第一音频表示和第一到达方向(

)；

估计第二波形表示，所述第二波形表示包括用于所述第二空间音频流的第二波形方向测量(

)和第二波形场测量(

)，所述第二波形方向测量(

)是第二波形的定向量，所述第二空间音频流具有第二音频表示和第二到达方向(

)

处理所述第一波形表示和所述第二波形表示以获得合并的波形表示，所述合并的波形表示包括合并的波形场测量(

)、合并的到达方向测量(

)和合并的扩散参数(

)，其中所述合并的扩散参数(

)基于所述第一波形方向测量()和所述第二波形方向测量(

)；

处理所述第一音频表示(P⁽¹⁾)和所述第二音频表示(P⁽²⁾)以获得合并的音频表示(P)；以及

提供所述合并的音频流，所述合并的音频流包括所述合并的音频表示(P)、所述合并的到达方向测量(

)和所述合并的扩散参数(

)。

14.根据权利要求13所述的方法，

其中所述第一空间音频流还包括第一扩散参数(Ψ⁽¹⁾)，

其中所述第二空间音频流还包括第二扩散参数(Ψ⁽²⁾)，和

其中在处理步骤中基于所述第一扩散参数(Ψ⁽¹⁾)和所述第二扩散参数(Ψ⁽²⁾)、所述合并的波形场测量、所述第一音频表示和所述第二音频表示计算所述合并的扩散参数(

)。

Images