CN103583054A - 经由根据抵达方向估算提取几何信息的声音获取 - Google Patents

Abstract

一种用于产生音频输出信号以对环境中可配置的虚拟位置处的虚拟麦克风的记录进行仿真的装置。该装置包括声音事件位置估算器及信息计算模块（120）。声音事件位置估算器（110）适于估算表明环境中声源的位置的声源位置；其中，声音事件位置估算器（110）适于根据由位于环境中的第一真实麦克风位置的第一真实空间麦克风提供的第一方向信息，并根据由位于环境中的第二真实麦克风位置的第二真实空间麦克风提供的第二方向信息，来估算声源位置。信息计算模块（120）适于根据第一已记录音频输入信号、根据第一真实麦克风位置、根据虚拟麦克风的虚拟位置、及根据声源位置，来产生音频输出信号。

Description

经由根据抵达方向估算提取几何信息的声音获取

技术领域

本发明涉及音频处理，特别是关于用于经由根据抵达方向估算提取几何信息的声音获取的装置及方法。

背景技术

传统空间声音记录旨在使用多个麦克风捕获声场，以使得在再生端，收听者如在记录位置一样感知声像。空间声音记录的标准方法通常使用例如AB立体声的间隔的全向麦克风，或例如强度立体声的重合定向麦克风，或例如Ambisonics的更高级麦克风，诸如B格式麦克风，参见，例如：

[1]R.K.Furness,「Ambisonics-An overview,」in AES8^thInternationalConference,April1990,pp.181-189.

对于声音再生，这些非参数方法直接从已记录的麦克风信号中导出期望的音频回放信号(例如，要发送至扬声器的信号)。

可选地，可应用基于声场的参数表示的方法，这些方法称为参数空间音频编码器。这些方法常常使用麦克风阵列，来确定一个或多个音频降混信号以及描述空间声音的空间旁侧信息。实例为定向音频编码(DirAC)或所谓的空间音频麦克风(SAM)方法。DirAC的更多细节可见：

[2]Pulkki,V.,「Directional audio coding in spatial sound reproductionand stereo upmixing,」in Proceedings of the AES28^thInternationalConference,pp.251-258,

Sweden,June30-July2,2006，

[3]V.Pulkki,「Spatial sound reproduction with directional audiocoding,」J.Audio Eng.Soc.,vol.55,no.6,pp.503-516,June2007.

空间音频麦克风方法的更多细节，参阅：

[4]C.Faller:「Microphone Front-Ends for Spatial Audio Coders」,inProceedings of the AES125^thInternational Convention,San Francisco,Oct.2008.

在DirAC中，例如，空间信号信息包括声音的抵达方向(DOA)及以时频域计算的声场的扩散度。对于声音再生，可根据参数描述导出音频回放信号。在一些应用中，空间声音获取旨在捕获整个声音场景。在其他应用中，空间声音获取仅旨在捕获某些期望分量。近讲麦克风常常用于记录具有高信噪比(SNR)及低混响的个别声源，而诸如XY立体声的更远配置表示用于捕获整个声音场景的空间镜象（image，图像）的方式。可使用波束成形获得关于定向的更多灵活性，其中可使用麦克风阵列来实现可操纵拾取模式。通过以上所提及方法可提供甚至更多的灵活性，诸如定向音频编码(DirAC)(参见[2]、[3])，其中，可使用任意拾取模式实现空间滤波器，如下文中所描述：

[5]M.Kallinger,H.Ochsenfeld,G.Del Galdo,F.Küch,D.Mahne,R.Schultz-Amling.and O.Thiergart,「A spatial filtering approach for directionalaudio coding,」in Audio Engineering Society Convention126,Munich,Germany,May2009，

此外，声音场景的其他信号处理操控，参见，例如：

[6]R.Schultz-Amling,F.Küch,O.Thiergart,and M.Kallinger,「Acoustical zooming based on a parametric sound field representation,」inAudio Engineering Society Convention128,London UK,May2010，

[7]J.Herre,C.Falch,D.Mahne,G.Del Galdo,M.Kallinger,and O.Thiergart,「Interactive teleconferencing combining spatial audio object codingand DirAC technology,」in Audio Engineering Society Convention128,London UK,May2010.

所有上述概念的共同处在于麦克风被以固定的已知几何形状配置。麦克风之间的间隔尽可能小以实现一致的颤噪效应（microphonics，微音扩大技术），反之该间隔常规地为几厘米以用于其他方法。在下文中，将用于记录空间声音、能够检索声音的抵达方向的任何装置(例如定向麦克风的组合或麦克风阵列等)称为空间麦克风。

另外，所有上述方法的共同处在于这些方法限于关于仅一个点(即测量位置)的声场表示。因此，必须将所需麦克风放置在例如，接近源的或使之可最优地捕获空间镜象的极其特别、精选的位置。

然而，在许多应用中，此举不可行，因此，将若干麦克风远离声源放置且仍能够依需求捕获声音将是有益的。

存在用于在空间中的点而非在测量声场处估算声场的若干场重建方法。一种方法为声全息术，如下文中所描述：

[8]E.G.Williams,Fourier Acoustics:Sound Radiation and NearfieldAcoustical Holography,Academic Press,1999.

在已知体积的整个表面上的声压及质点速度的情况下，声全息术允许计算具有任意体积的任何点处的声场。因此，当体积大时，需要大得不切实际的数量的传感器。另外，该方法假设在体积内不存在声源，这使得对于我们的需要，该算法不可行。相关波场外推法(亦参见[8])旨在将体积的表面上的已知声场外推至外部区域。然而，对于较大外推距离以及对于向正交于声音的传播方向的方向的外推，外推准确度迅速降低，参见：

[9]A.Kuntz and R.Rabenstein,「Limitations in the extrapolation ofwave fields from circular measurements,」in15^thEuropean Signal ProcessingConference(EUSIPCO2007),2007。

[10]A.Walther and C.Faller,「Linear simulation of spaced microphonearrays using b-format recordings,」in Audio Engineering Society Convention128,London UK,May2010，

描述平面波模型，其中仅在远离实际声源，例如接近测量点的点处，场外推法才是可能的。

传统方法的主要缺点是所记录的空间镜象总是相关于所使用的空间麦克风。在许多应用中，将空间麦克风放置在例如接近声源的期望位置，是不可能或不可行的。在此情况下，将多个空间麦克风远离声音场景放置且仍能够依需求捕获声音将是更有益的。

[11]US61/287,596:An Apparatus and a Method for Converting a FirstParametric Spatial Audio Signal into a Second Parametric Spatial AudioSignal，

提出一种用于当在扬声器或头戴式耳机上再生时，将真实记录位置虚拟移动至另一位置的方法。然而，该方法限于简单声音场景，其中假设所有声音对象到用于记录的真实空间麦克风距离相等。另外，该方法仅可利用一个空间麦克风。

发明内容

本发明的目标是提供对经由提取几何信息的声音获取的改良的概念。通过根据权利要求1的装置、通过根据权利要求24的方法及通过根据权利要求25的计算机程序，来解决本发明的目标。

根据一个实施方式，本发明提供了一种用于产生音频输出信号以仿真环境中可配置虚拟位置处的虚拟麦克风的记录的装置。该装置包括声音事件位置估算器和信息计算模块。声音事件位置估算器适于估算表明环境中声源的位置的声源位置，其中，声音事件位置估算器适于根据由位于环境中第一真实麦克风位置的第一真实空间麦克风提供的第一方向信息，及根据由位于环境中第二真实麦克风位置的第二真实空间麦克风提供的第二方向信息，来估算声源位置。

信息计算模块适于根据由第一真实空间麦克风记录的第一已记录音频输入信号、根据第一真实麦克风位置、根据虚拟麦克风的虚拟位置、及根据声源位置，来产生音频输出信号。

在一个实施方式中，信息计算模块包括传播补偿器，其中，传播补偿器适于通过调整第一已记录音频输入信号的振幅值、量值或相位值，根据声源与第一真实空间麦克风之间的第一振幅衰减及根据声源与虚拟麦克风之间的第二振幅衰减，来通过修改第一已记录音频输入信号，产生第一修改后的音频信号，以获得音频输出信号。在实施方式中，第一振幅衰减可是由声源发出的声波的振幅衰减，且第二振幅衰减可为由声源发出的声波的振幅衰减。

根据另一实施方式，信息计算模块包括传播补偿器，该传播补偿器适于通过调整第一已记录音频输入信号的振幅值、量值或相位值，来通过补偿由声源发出的声波在第一真实空间麦克风处的抵达与声波在虚拟麦克风处的抵达之间的第一延迟，来通过修改第一已记录音频输入信号，产生第一已修改音频信号，以获得音频输出信号。

根据一个实施方式，假设使用两个以上的空间麦克风，这些空间麦克风在下文中被称为真实空间麦克风。对于各真实空间麦克风，可以时频域估算声音的DOA。从通过真实空间麦克风收集的信息，以及对这些真实空间麦克风相对位置的认识，可构成环境中随意虚拟放置的任意空间麦克风的输出信号。该空间麦克风在下文中称为虚拟空间麦克风。

注意，若在2D空间，则抵达方向（DOA）可表示为方位角，或在3D中为方位角与仰角对。等效地，可使用指向DOA的单位规范向量。

在一些实施方式中，提供构件来以空间选择的方式捕获声音，例如，可拾取源自特定目标位置的声音，犹如在该位置处安装了近距离“点麦克风”一样。然而，代替真实地安装该点麦克风，可通过使用放置在其他、远位置处的两个以上的空间麦克风，仿真该点麦克风的输出信号。

术语“空间麦克风”指用于空间声音的获取、能够检索声音的抵达方向的任何装置(例如，定向麦克风的组合、麦克风阵列等)。

术语“非空间麦克风”指不适于检索声音的抵达方的任何装置，诸如单个全向或定向麦克风。

应注意，术语“真实空间麦克风”指如以上所定义的物理存在的空间麦克风。

关于虚拟空间麦克风，应注意，虚拟空间麦克风可表示任何期望麦克风类型或麦克风组合，例如，该虚拟空间麦克风可，例如，表示单个全向麦克风、定向麦克风、如常见立体声麦克风中所使用的定向麦克风对，以及麦克风阵列。

本发明基于发现当使用两个以上真实空间麦克风时，可估算2D或3D空间中声音事件的位置，因此，可实现位置定位。使用声音事件的已确定位置，可计算由空间中任意放置及定向的虚拟空间麦克风所记录的声音信号，以及相应空间旁侧信息，诸如从虚拟空间麦克风的视点的抵达方向。

为达此目的，可假设各声音事件表示点类声源，例如各向同性点类的声源。在下文中，“真实声源”指记录环境中物理存在的实际声源，诸如通话器或乐器等。相反，在下文中，使用“声源”或“声音事件”指有效声源，该有效声源在某一时刻或在某一时频频段是有效的，其中，声源可例如表示真实声源或镜像源。根据实施方式，隐性地假设声音场景可建模为多个这样的声音事件或点类声源。另外，在预定时频表示中，可假设各源仅在特定时间及频率隙（slot）是有效的。真实空间麦克风之间的距离使得所得传播时间的时间差异短于时频表示的时间解析度。后面的假设保证了由相同时隙内的所有空间麦克风拾取某声音事件。这暗示对于相同时频隙，在不同空间麦克风处所估算的DOA的确对应于相同声音事件。即使在大房间(诸如，客厅或会议室)中距彼此几公尺均匀放置、具有几毫秒的时间解析度的真实空间麦克风也不难满足该假设。

可使用麦克风阵列来定位声源。被定位声源可根据该被定位声源的性质具有不同的物理解释。当麦克风阵列接收直接声音时，这些麦克风阵列可能够定位正确声源(例如，通话器)的位置。当麦克风阵列接收反射时，这些麦克风阵列可定位镜像源的位置。镜像源亦为声源。

本发明提供了一种能够估算放置在任意位置的虚拟麦克风的声音信号的参数方法。与之前所描述的方法相反，所提出的方法不直接旨在重建声场，而是旨在提供感知上类似于由物理放置在该位置的麦克风拾取的声音声音。此可通过使用基于点类声源，例如，各向同性点类声源(IPLS)声场参数模型来实现。所需几何信息，即所有IPLS的实时位置，可通过使用两个以上的分布式麦克风阵列，实施所估算的抵达方向的三角测量来获得。这可通过获得对阵列的相对位置及方位的认识来实现。尽管如此，对实际声源(例如通话器)数量及位置的预先认识不是必需的。给定所提出概念(例如所提出装置或方法)的参数性质，虚拟麦克风可具有任意定向模式以及任意物理或非物理行为，例如关于随距离的压力衰减。已通过基于混响环境中的测量研究参数估算准确度，来核实所提供的方法。

而只要所获得空间镜象总是相关于物理放置麦克风的位置，空间音频的传统记录技术即是受到限制的，本发明的实施方式将以下情况纳入考虑，在许多应用中，期望将麦克风放置在声音场景外且仍能够从任意层次捕获声音。根据实施方式，若已将麦克风物理放置在声音场景中，则通过计算感知上类似于已拾取信号的信号，来提供将虚拟麦克风虚拟放置在空间中任意点的概念。实施方式可应用可使用基于点类声源(例如，点类各向同性声源)的声场的参数模型的概念。可通过两个或两个以上分布式麦克风阵列收集所需几何信息。

根据一个实施方式，声音事件位置估算器可适于根据由声源发出的声波在第一真实麦克风位置处的第一抵达方向作为第一方向信息，及根据声波在第二真实麦克风位置处的第二抵达方向作为第二方向信息，来估算声源位置。

在另一实施方式中，信息计算模块可包括用于计算空间旁侧信息的空间旁侧信息计算模块。信息计算模块可适于根据虚拟麦克风位置向量及根据声音事件位置向量，来估算虚拟麦克风处的抵达方向或有效声音强度作为空间旁侧信息。

根据另一实施方式，传播补偿器可适于通过调整以时频域表示的第一已记录音频输入信号的该量值，来通过补偿由声源发出的声波在第一真实空间麦克风处的抵达与声波在虚拟麦克风处的抵达之间的第一延迟或振幅衰减，以在时频域产生第一修改后的音频信号。

在实施方式中，传播补偿器可适于通过应用以下公式，来通过产生第一修改后的音频信号的修改后的量值来实施传播补偿，该公式如下：

$P_v(k,n)=\frac{d_1(k,n)}{s(k,n)}{P}_{\mathrm{ref}}(k,n)$

其中d₁(k,n)为第一真实空间麦克风的位置与声音事件的位置之间的距离，其中s(k,n)为虚拟麦克风的虚拟位置与声音事件的声源位置之间的距离，其中P_ref(k,n)为以时频域表示的第一已记录音频输入信号的量值，且其中P_v(k,n)为修改后的量值。

在另一实施方式中，信息计算模块可另外包括组合器，其中，传播补偿器可进一步适于通过调整由第二真实空间麦克风记录之一第二已记录音频输入信号的振幅值、量值或相位值，来通过补偿由声源发出的声波在第二真实空间麦克风处的抵达与声波在虚拟麦克风处的抵达之间的第二延迟或振幅衰减，修改第二已记录音频输入信号，以获得第二修改后的音频信号，且其中组合器可适于通过将第一修改后的音频信号及第二修改后的音频信号组合，产生组合信号，以获得音频输出信号。

根据另一实施方式，传播补偿器可进一步适于通过补偿声波在虚拟麦克风处的抵达与由声源发出的声波在其他真实空间麦克风中的每一个处的抵达之间的延迟，来修改由一个或多个其他真实空间麦克风记录的一个或多个其他已记录音频输入信号。可通过调整其他已记录音频输入信号中的每一个的振幅值、量值或相位值，补偿各延迟或振幅衰减，以获得多个第三修改后的音频信号。组合器可适于通过将第一修改后的音频信号及第二修改后的音频信号及多个第三修改后的音频信号组合，产生组合信号，以获得音频输出信号。

在另一实施方式中，信息计算模块可包括频谱加权单元，该频谱加权单元取决于声波在虚拟麦克风的虚拟位置处的抵达方向及取决于虚拟麦克风的虚拟方位，通过修改第一修改后的音频信号，产生加权后的音频信号，以获得音频输出信号，其中，可在时频域来修改第一修改后的音频信号。

另外，信息计算模块可包括频谱加权单元，该频谱加权单元根据抵达方向或虚拟麦克风的虚拟位置处的声波及虚拟麦克风的虚拟方位，通过修改组合信号，产生加权后的音频信号，以获得音频输出信号，其中，可在时频域来修改组合信号。

根据另一实施方式，频谱加权单元可适于将加权因子

或加权因子

应用在加权后的音频信号上，

其中，

表明由声源发出的声波在虚拟麦克风的虚拟位置处的抵达方向向量。

在一个实施方式中，传播补偿器进一步适于通过调整由全向麦克风记录的第三已记录音频输入信号的振幅值、量值或相位值，来通过补偿由声源发出的声波在全向麦克风处的抵达与声波在虚拟麦克风处的抵达之间的第三延迟或振幅衰减，来通过修改第三已记录音频输入信号，而产生第三修改后的音频信号，以获得音频输出信号。

在另一实施方式中，声音事件位置估算器可适于估算三维环境中的声源位置。

另外，根据另一实施方式，信息计算模块可进一步包括扩散度计算单元，该扩散度计算单元适于估算虚拟麦克风处之扩散声音能量或虚拟麦克风处之直接声音能量。

根据另一实施方式，扩散度计算单元可适于通过应用以下公式，估算虚拟麦克风处的扩散声音能量该公式如下：

$E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_{\mathrm{diff}}^{\left(\mathrm{SMi}\right)}$

其中N为包括第一及第二真实空间麦克风的多个真实空间麦克风的数量，且其中

为第i个真实空间麦克风处的扩散声音能量。

在另一实施方式中，扩散度计算单元可适于通过应用以下公式，估算直接声音能量，该公式如下：

其中“距离Smi－IPLS”为第i个真实麦克风的位置与声源位置之间的距离，其中“距离VM－IPLS”为虚拟位置与声源位置之间的距离，且其中

为第i个真实空间麦克风处的直接能量。

另外，根据另一实施方式，扩散度计算单元可进一步适于通过估算虚拟麦克风处的扩散声音能量及虚拟麦克风处的直接声音能量，及通过应用以下公式，来估算虚拟麦克风处的扩散度，该公式如下：

${\mathrm{\Ψ}}^{\left(\mathrm{VM}\right)}=\frac{E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}}{E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}+E_{\mathrm{dir}}^{\left(\mathrm{VM}\right)}}$

其中ψ^(VM)表明所估算虚拟麦克风处的扩散度，其中

表明所估算扩散声音能量且其中

表明所估算直接声音能量。

附图说明

图1示出根据实施方式的用于产生音频输出信号的装置，

图2示出根据实施方式的用于产生音频输出信号的装置及方法的输入及输出，

图3示出根据实施方式包括声音事件位置估算器及信息计算模块的装置的基本结构，

图4示出示例性情形，其中真实空间麦克风被示出为各3个麦克风的均匀的线性阵列，

图5示出用于估算3D空间中抵达方向的3D中的两个空间麦克风，

图6示出图标几何形状配置，其中当前时频段（time-frequency bin，时频点）(k,n)的各向同性点类声源位于位置p_IPLS(k,n)，

图7示出根据实施方式的信息计算模块，

图8示出根据另一实施方式的信息计算模块，

图9示出两个真实空间麦克风、已定位的声音事件及虚拟空间麦克风的位置，以及相应延迟及振幅衰减，

图10示出如何根据实施方式获得相关于虚拟麦克风的抵达方向，

图11示出根据实施方式的由虚拟麦克风的视点导出声音的DOA的可能方式，

图12示出根据实施方式的额外包括扩散度计算单元的信息计算块，

图13示出根据实施方式的扩散度计算单元，

图14示出不可能估算声音事件位置的情形，以及

图15a-15c示出两个麦克风阵列接收直接声音、由墙反射的声音及扩散声音的情形。

具体实施方式

图1示出用于产生音频输出信号，以仿真环境中可配置虚拟位置posVmic处的虚拟麦克风的记录的装置。该装置包括声音事件位置估算器110及信息计算模块120。声音事件位置估算器110接收来自第一真实空间麦克风的第一方向信息di1及来自第二真实空间麦克风的第二方向信息di2。声音事件位置估算器110适于估算表明环境中发出声波的声源的位置的声源位置ssp，其中，声音事件位置估算器110适于根据由位于环境中第一真实麦克风位置pos1mic的第一真实空间麦克风提供的第一方向信息di1，及根据由位于环境中第二真实麦克风位置的第二真实空间麦克风提供的第二方向信息di2，估算声源位置ssp。信息计算模块120适于根据由第一真实空间麦克风记录的第一已记录音频输入信号is1、根据第一真实麦克风位置pos1mic及根据虚拟麦克风的虚拟位置posVmic，产生音频输出信号。信息计算模块120包括传播补偿器，该传播补偿器适于通过调整第一已记录音频输入信号is1的振幅值、量值或相位值，来通过补偿由第一真实空间麦克风处的声源发出的声波的抵达与虚拟麦克风处的声波的抵达之间的第一延迟或振幅衰减，来通过修改第一已记录音频输入信号is1，产生第一修改后的音频信号。

图2示出根据实施方式的装置及方法的输入及输出。将来自两个以上真实空间麦克风111、112、...、11N的信息馈送至装置/通过此方法处理。该信息包括由真实空间麦克风拾取的音频信号以及来自真实空间麦克风的方向信息，例如，抵达方向(DOA)估算。可在时频域表示音频信号及诸如抵达方向估算的方向信息。若，例如，期望2D几何重建且选择传统短时间傅立叶变换(STFT)域用于信号的表示，则DOA可表示为依赖于k及n(即频率及时间指数)的方位角。

在一些实施方式中，可根据常见坐标系中真实及虚拟空间麦克风的位置及方位，来实施空间中声音事件定位，以及虚拟麦克风的位置的描述。可以第2图中输入121...12N及输入104来表示该信息。如下文将论述，输入104可额外说明虚拟空间麦克风的特征，例如，该虚拟空间麦克风的位置及拾取模式。若虚拟空间麦克风包括多个虚拟传感器，则可考虑这些虚拟传感器的位置及相应不同拾取模式。

当期望时，装置或相应方法的输出可为可通过按照由104说明进行定义及放置的空间麦克风拾取的一个或多个声音信号105。另外，装置(更确切地说，方法)可提供可通过使用虚拟空间麦克风估算的相应空间旁侧信息106作为输出。

图3示出根据实施方式的装置，该装置包括两个主处理单元：声音事件位置估算器201及信息计算模块202。声音事件位置估算器201可根据输入111...11N中包括的DOA及根据对计算DOA的真实空间麦克风的位置及方位的认识，来执行几何重建。声音事件位置估算器的输出205包括声源的位置估算（在2D或3D中），其中每个时频频段发生声音事件。第二处理方块202为信息计算模块。根据图3的实施方式，第二处理方块202计算虚拟麦克风信号及空间旁侧信息。因此，该第二处理方块202亦称为虚拟麦克风信号及旁侧信息计算块202。虚拟麦克风信号及旁侧信息计算块202使用声音事件的位置205，来处理111…11N中包括的音频信号，以输出虚拟麦克风音频信号105。若需要，方块202也可计算对应于虚拟空间麦克风的空间旁侧信息106。以下实施方式图示方块201及202可如何操作的可能性。

在下文中，更详细地描述根据实施方式的声音事件位置估算器的位置估算。

根据问题的维数（2D或3D）及空间麦克风的数量，位置估算的若干方案是可能的。

若在2D中存在两个空间麦克风，则（最简单的可能情况）简单三角测量是可能的。图4示出真实空间麦克风被示出为各3个麦克风的均匀线性阵列（ULA）的示例性情形。计算时频段(k,n)的表示为方位角al(k,n)及a2(k,n)的DOA。这通过使用适当DOA估算器来实现，诸如ESPRIT：

[13]R.Roy,A.Paulraj,and T.Kailath,「Direction-of-arrival estimationby subspace rotation methods–ESPRIT,」in IEEE International Conferenceon Acoustics,Speech,and Signal Processing(ICASSP),Stanford,CA,USA,April1986，

或（根）MUSIC，参见：

[14]R.Schmidt,「Multiple emitter location and signal parameterestimation,」IEEE Transactions on Antennas and Propagation,vol.34,no.3,pp.276-280,1986

至转变成为时频域的压力信号。

在图4中，示出两个真实空间麦克风，这里示出为两个真实空间麦克风阵列410、420。通过两条线表示两个经估算DOA al(k,n)及a2(k,n)，第一线430表示DOA al(k,n)且第二线440表示DOA a2(k,n)。经由简单的几何思考，进而了解每个阵列的位置及方位，三角测量是可能的。

当两条线430、440完全平行时，三角测量失败。然而，在实际应用中，此状况不太可能。然而，并非所有三角测量结果对应于所考虑空间中声音事件的物理或可行位置。举例而言，声音事件的已估算位置可离假设空间非常远或甚至位于假设空间外，表明DOA可能不对应于可用所使用的模型物理解释的任何声音事件。可由传感器噪声或非常强的房间混响造成这些结果。因此，根据实施方式，将标记这些不期望结果，以使得信息计算模块202可适当地处理这些结果。

图5示出在3D空间中估算声音事件位置的情形。使用了适当空间麦克风，例如，平面或3D麦克风阵列。在图5中，示出第一空间麦克风510（例如，第一3D麦克风阵列），及第二空间麦克风520（例如，第一3D麦克风阵列）。3D空间中的DOA可例如，表示为方位角及仰角。可使用单位向量530、540来表示DOA。根据DOA投影两条线550、560。在3D中，即使以非常可靠估算，根据DOA所投影的两条线550、560也不可能相交。然而，可例如通过选择连接两条线的最小线段的中点，来仍执行三角测量。

类似于2D的情况，三角测量可能失败或可产生某些方向组合的不可行结果，可然后也将这些不可行结果标记，例如，至图3的信息计算模块202。

若存在多于两个空间麦克风，则若干方案为可能的。举例而言，可对所有真实空间麦克风对（若N=3，则1与2，1与3，及2与3）执行以上所阐释的三角测量。然后可将所得位置平均（沿x及y，及，若考虑到3D，z）。

可选地，可使用更复杂的概念。举例而言，可应用机率方法，如下文中所描述：

[15]J.Michael Steele,「Optimal Triangulation of Random Samples inthe Plane」,The Annals of Probability,Vol.10,No.3(Aug.,1982),pp.548-553.

根据一个实施方式，可以例如，经由短时间傅立叶变换（STFT）所获得的时频域分析声场，其中k及n分别表示频率指数k及时间指数n。某一k及n的任意位置p_v处的复合压力Pv(k,n)建模为由窄带各向同性点类源发出的单个球面波，例如，通过使用以下公式：

P_v(k，n)＝P_IPLS(k，n)·γ（k，p_IPLS(k，n)，p_v)，    (1)

其中P_IPLS(k,n)为由IPLS在该IPLS的位置p_IPLS(k,n)处发出的信号。复合因子γ(k,p_IPLS,p_v)表示从p_IPLS(k,n)至p_v的传播，例如，该复合因子γ引入合适相位及量值修改。此处，可应用假设：在每个时频频段中仅一个IPLS为有效的。然而，在单一时间物理处，位于不同位置的多个窄带IPLS也可为有效的。

每个IPLS对直接声音或清楚的房间反射建模。该IPLS的位置p_IPLS(k,n)可理想地分别对应于位于房间内部的实际声源，或位于外面的镜像声源。因此，位置p_IPLS(k,n)亦可表明声音事件的位置。

请注意，术语“真实声源”表示物理存在于记录环境中的实际声源，诸如通话器或乐器。相反，我们使用“声源”或“声音事件”或“IPLS”指有效声源，这些有效声源在某些时刻或在某些时频段为有效的，其中声源可，例如，表示真实际声源或镜像源。

图15a-15b示出定位声源的麦克风阵列。被定位声源可取决于这些被定位声源的性质具有不同的物理解释。当麦克风阵列接收直接声音时，这些麦克风阵列可能够定位正确声源（例如，通话器）的位置。当麦克风阵列接收反射时，这些麦克风阵列可定位镜像源的位置。镜像源亦为声源。

图15a示出两个麦克风阵列151及152接收来自实际声源（物理存在声源）153的直接声音的情形。

图15b示出两个麦克风阵列161、162接收反射声音的情形，其中声音由墙反射。由于反射，麦克风阵列161、162定位声音似乎来自的、镜像源165的位置处的位置，该位置不同于话筒163的位置。

第15a图的实际声源153以及镜像源165两者均为声源。

图15c示出两个麦克风阵列171、172接收扩散声音且不能够定位声源的情形。

在源信号满足W分离正交性（WDO）条件的情况下，亦即，时频重叠足够小，则该单波模型只有在柔和混响环境中是准确的。此对于语音信号通常是正确的，参见例如：

[12]S.Rickard and Z.Yilmaz,「On the approximate W-disjointorthogonality of speech,」in Acoustics,Speech and Signal Processing,2002.ICASSP2002.IEEE International Conference on,April2002,vol.1.

然而，此模型亦提供对于其他环境的良好估算且因此亦适用于这些环境。

在下文中，阐释了根据实施方式的位置p_IPLS(k,n)估算。有效IPLS的位置p_IPLS(k,n)处于某一时频段，且因此，经由根据在至少两个不同观测点测量的声音的抵达方向（DOA）的三角测量来估算时频段中声音事件的估算。

图6示出几何形状配置，其中，当前时频隙(k,n)的IPLS位于未知位置p_IPLS(k,n)。为确定所需DOA信息，使用具有已知几何、位置及方位的两个真实空间麦克风，此处是两个麦克风阵列，该两个真实空间麦克风分别放置在位置610及620。向量p₁及p₂分别指向位置610、620。通过单位向量c₁及c₂定义阵列方位。对于每个(k,n)，使用例如，如由DirAC分析（参见[2]、[3]）所提供的DOA估算算法，来确定位置610及620中声音的DOA。由此，可提供关于麦克风阵列的视点的第一视点单位向量

及第二视点单位向量

（在第6图中均未图示）作为DirAC分析的输出。举例而言，当在2D中操作时，第一视点单位向量结果得：

如第6图中所描绘，此处，

表示第一麦克风阵列处之所估算DOA之方位角。当在2D中操作且c₁=[c_1,x,c_1,y]^T时，可通过应用以下公式，计算关于原点处的整体坐标系的相应DOA单位向量e₁(k,n)及e₂(k,n)，该公式如下：

$\begin{array}{c}{e}_1(k,n)=R_1\·e_1^{\mathrm{POV}}(k,n),\\ e_2(k,n)=R_2\·e_2^{\mathrm{POV}}(k,n),\end{array}---\left(3\right)$

其中R为坐标变换矩阵，例如：

$R_1=\left[\begin{array}{cc}{c}_{1,x}& -c_{1,y}\\ c_{1,y}& c_{1,x}\end{array}\right],---\left(4\right)$

为执行三角测量，方向向量d₁(k,n)及d₂(k,n)可计算为：

d₁(k，n)＝d₁(k，n)e₁(k，n)，

d₂(k，n)＝d₂(k，n)e₂(k，n)，    (5)

其中d₁(k,n)＝||d₁(k,n)||及d₂(k,n)＝||d₂(k,n)||为IPLS与两个麦克风阵列之间的未知距离。以下等式：

p₁+d₁(k，n)＝p₂+d₂(k，n)    (6)

可求出d₁(k,n)。最后，由以下等式给出IPLS的位置p_IPLS(k,n)，这些式如下：

p_IPLS(k，n)＝d₁(k，n)e₁(k，n)＋p₁.    (7)

在另一实施方式中，等式(6)可求出d₂(k,n)且使用d₂(k,n)类似地计算p_IPLS(k,n)。

除非e₁(k,n)与e₂(k,n)平行，否则等式(6)总是提供当在2D中操作时的方案。然而，当使用多于两个麦克风阵列或当在3D中操作时，当方向向量d不相交时，方案不可获得。根据实施方式，在此情况下，计算出最靠近所有方向向量d的点且结果可用作IPLS的位置。

在一个实施方式中，应设置所有观测点p₁、p₂…，以使得由IPLS发出的声音落入相同时间块n。当观测点中的任何两者之间的距离Δ小于

${\mathrm{\Δ}}_{\max }=c\frac{n_{\mathrm{FFT}}(1-R)}{f_s},---\left(8\right)$

时，可简单地满足该要求，其中n_FFT为STFT时间窗口长度，0≦R＜1说明连续时间讯框之间的重叠且f_s为取样频率。举例而言，对于48kHz、具有50%重叠（R＝0.5）的1024点STFT，满足上述要求的阵列之间的最大间隔为Δ＝3.65m。

在下文中，更详细地描述根据实施方式的信息计算模块202，例如虚拟麦克风信号及旁侧信息计算模块。

第7图图标根据实施方式的信息计算模块202的示意性概观。信息计算单元包括传播补偿器500、组合器510及频谱加权单元520。信息计算模块202接收由声音事件位置估算器所估算的声源位置估算ssp，通过真实空间麦克风中的一个或多个、真实空间麦克风中的一个或多个的位置posRealMic，及虚拟麦克风的虚拟位置posVmic，来记录一个或多个音频输入信号。该信息计算模块202输出表示虚拟麦克风的音频信号的音频输出信号os。

图8示出根据另一实施方式的信息计算模块。图8的信息计算模块包括传播补偿器500、组合器510及频谱加权单元520。传播补偿器500包括传播参数计算模块501及传播补偿模块504。组合器510包括组合因子计算模块502及组合模块505。频谱加权单元520包括频谱加权计算单元503、频谱加权应用模块506及空间旁侧信息计算模块507。

为计算虚拟麦克风的音频信号，将几何信息，例如，真实空间麦克风121...12N的位置及方位、虚拟空间麦克风的位置、方位及特征104，及声音事件的位置估算205馈至信息计算模块202中，详言之，馈至传播补偿器500的传播参数计算模块501中、馈至组合器510的组合因子计算模块502中及馈送至频谱加权单元520的频谱加权计算单元503中。传播参数计算模块501、组合因子计算模块502及频谱加权计算单元503计算在传播补偿模块504、组合模块505及频谱加权应用模块506的音频信号111...11N的修改中所使用的参数。

在信息计算模块202中，可首先修改音频信号111...11N，以补偿由声音事件位置与真实空间麦克风之间的不同传播长度造成的效果。然后可将信号组合以改良例如信噪比（SNR）。最后，则可光谱地加权所得信号，以将虚拟麦克风的定向拾取模式、以及任何距离依赖增益函数纳入考虑。下文更详细地论述该三个步骤。

现更详细地阐释传播补偿。在图9的上部部分中，图示出两个真实空间麦克风（第一麦克风阵列910及第二麦克风阵列920）、时频段(k,n)的被定位的声音事件930的位置，及虚拟空间麦克风940的位置。

图9的下部部分描绘时间轴。假设声音事件在时间t0处发出，且然后传播至真实及虚拟空间麦克风。抵达时间延迟以及振幅随距离而改变，使得传播长度越远，振幅越弱且抵达时间延迟越长。

只有当两个真实阵列之间的相对延迟Dt12小时，该两个真实阵列的信号才是可比较的。否则，两个信号中的一个必须短暂地重新对准以补偿相对延迟Dt12，且可能地，按比例调整以补偿不同衰减。

补偿虚拟麦克风处的抵达与真实麦克风阵列（真实空间麦克风中的一个）处的抵达之间的延迟，改变独立于声音事件的定位的延迟，进而使得对于大多数应用，该补偿为多余的。

回阅图8，传播参数计算模块501适于计算各真实空间麦克风及各声音事件的待校正的延迟。若期望，则该传播参数计算模块501亦计算待考虑以补偿不同振幅衰减的增益因子。

传播补偿模块504被配置为使用该信息来据此修改音频信号。若欲将信号移位少量时间（与滤波器组的时间窗口相比），则简单的相位旋转就足够了。若延迟较大，则需要更复杂的实现方式。

传播补偿模块504的输出是在初始时频域中表示的修改后的音频信号。

在下文中，将参照图6描述根据实施方式的虚拟麦克风的传播补偿的特定估算，其中，图6特别示出第一真实空间麦克风的位置610及第二真实空间麦克风的位置620。

在现所阐释的实施方式中，假设至少一个第一已记录音频输入信号，例如真实空间麦克风（例如麦克风阵列）中的至少一个的压力信号为可得的，例如第一真实空间麦克风的压力信号。我们将把所考虑的麦克风称为参考麦克风，把该麦克风的位置称为参考位置p_ref且把该麦克风的压力信号称为参考压力信号P_ref(k,n)。然而，传播补偿不仅可关于仅一个压力信号实施，而且可关于多个或所有真实空间麦克风的压力信号实施。

由IPLS发出的压力信号P_IPLS(k,n)与位于P_ref的参考麦克风的参考压力信号P_ref(k,n)之间的关系可以公式(9)表示：

P_ref(k，n)＝P_IPLS(k，n)·γ(k，p_IPLS，p_ref)，    (9)

通常，复合因子γ(k,p_a,p_b)表示由从p_a中球面波的原点至p_b的球面波的传播引入的相位旋转及振幅衰减。然而，实践测试表明，与亦考虑到相位旋转相比，仅考虑到γ中的振幅衰减导致虚拟麦克风信号的具有少数假像的看似可信的印象。

可在空间中的某一点处测量的声能很大程度上取决于与声源（在第6图中是与声源的位置p_IPLS）的距离r。在许多情况下，可以足够准确度使用熟知物理原理建模该依赖性，例如在点源的远场中的声压的1/r衰减。当参考麦克风，例如第一真实麦克风，距声源的距离已知时，且当虚拟麦克风距声源的距离也已知时，则可由参考麦克风（例如第一真实空间麦克风）的信号及能量来估算虚拟麦克风的位置处的声能。这意味着，可通过将适当增益施加至参考压力信号来获得虚拟麦克风的输出信号。

假设第一真实空间麦克风是参考麦克风，则p_ref＝p₁。在图6中，虚拟麦克风位于p_v。由于详细已知图6中的几何形状配置，故可易于确定参考麦克风（第6图：第一真实空间麦克风）与IPLS之间的距离d₁(k,n)＝||d₁(k,n)||，以及虚拟麦克风与IPLS之间的距离s(k,n)＝||s(k,n)||，即：

s(k，n)＝||s(k，n)||＝||p₁+d₁(k，n)-p_v||.     (10)

通过将公式(1)及(9)组合，计算虚拟麦克风的位置处的声压P_v(k,n)，产生：

$P_v(k,n)=\frac{\mathrm{\γ}(k,p_{\mathrm{IPLS}},p_v)}{\mathrm{\γ}(k,p_{\mathrm{IPLS}},p_{\mathrm{ref}})}{P}_{\mathrm{ref}}(k,n).---\left(11\right)$

如上所述，在一些实施方式中，因子γ可仅考虑由于传播造成的振幅衰减。假设，例如，声压以1/r减小，则：

$P_v(k,n)=\frac{d_1(k,n)}{s(k,n)}{P}_{\mathrm{ref}}(k,n).---\left(12\right)$

当公式(1)中的模型保持时，例如，当仅存在直接声音时，则公式(12)可准确地重建量信息。然而，在纯扩散声场的情况下，例如，当不满足模型假设时，当将虚拟麦克风移动远离传感器阵列的位置时，所提供方法产生信号之隐性去混响。实际上，如以上所论述，在扩散声场中，我们预期大多数IPLS经定位接近两个传感器阵列。因此，当将虚拟麦克风移动远离这些位置时，我们可增加图6中的距离s＝||s||。因此，当根据公式(11)应用加权时，参考压力的量值减少。相应地，当将虚拟麦克风移动接近于实际声源时，将放大对应于直接声音的时频段，以使得将较少扩散地感知全部音频信号。通过调整公式(12)中的规则，可随意控制直接声音放大及扩散声音抑制。

通过实施第一真实空间麦克风的已记录音频输入信号（例如，压力信号）的传播补偿，获得第一修改后的音频信号。

在一些实施方式中，可通过实施第二真实空间麦克风的已记录第二音频输入信号（第二压力信号）的传播补偿，获得第二修改后的音频信号。

在其他实施方式中，可通过实施另外真实空间麦克风的已记录的其他音频输入信号（其他压力信号）的传播补偿，获得其他音频信号。

现更详细地阐释根据实施方式的图8中的方块502与505的组合。假设已修改来自多个不同真实空间麦克风中的两个以上的音频信号，来补偿不同传播路径，以获得两个以上的修改后的音频信号。一旦已修改来自不同真实空间麦克风的音频信号，来补偿不同传播路径，则可将这些音频信号组合以改良音频质量。通过如此做，例如，可增加SNR或可减少混响感。

可能的组合方案包括：

-加权平均，例如，考虑SNR，或至虚拟麦克风的距离，或由真实空间麦克风估算的扩散度。传统方案，例如，可使用最大比值组合（MRC）或均等增益组合（EQC），或

-线性组合一些或所有修改后的音频信号，以获得组合信号。修改后的音频信号可以线性组合加权，以获得组合信号，或

-选择，例如，（例如）根据SNR或距离或扩散度，仅使用一个信号。

模块502的任务是，在适用的情况下，计算用于在模块505中执行的组合的参数。

现更详细地描述根据实施方式的频谱加权。为此，参照图8的方块503及506。在该最后步骤处，根据如由输入104所说明的虚拟空间麦克风的空间特征及/或根据所重建几何形状配置（在205中给出），将由组合或由输入音频信号的传播补偿所得的音频信号在时频域中加权。

如第10图所示，对于每个时频频段，几何重建允许方便地获得相关于虚拟麦克风的DOA。另外，亦可方便地计算虚拟麦克风与声音事件的位置之间的距离。

然后考虑期望虚拟麦克风的类型，计算用于时频段的加权。

在定向麦克风的情况下，可根据预定拾取模式计算频谱加权。举例而言，根据实施方式，心形麦克风可具有由函数g(theta)定义的拾取模式，

g(theta)＝0.5＋0.5cos(theta)，

其中theta为虚拟空间麦克风的探视方向与从虚拟麦克风的视点的声音的DOA之间的角度。

另一可能性是艺术（非物理）衰减函数。在某些应用中，可期望抑制声音事件远离具有大于表征自由场传播的因子的因子的虚拟麦克风。为达此目的，一些实施方式引入取决于虚拟麦克风与声音事件之间的距离的其他加权函数。在实施方式中，仅应拾取距虚拟麦克风某一距离（例如，以公尺计）内的声音事件。

关于虚拟麦克风定向，虚拟麦克风可应用任意定向模式。如此做时，可将源与复合声音场景分开。

由于可以虚拟麦克风的位置p_v计算声音的DOA，即：

                                                 (13)

其中c_v为描述虚拟麦克风的方位的单位向量，可实现虚拟麦克风的任意定向。举例而言，假设P_v(k,n)表明组合信号或经传播补偿的修改后的音频信号，则公式：

计算具有心形定向的虚拟麦克风的输出。可潜在地以此方式产生的定向模式取决于位置估算的准确度。

在数个实施方式中，除真实空间麦克风之外，将一个或多个真实、非空间麦克风，例如，全向麦克风或诸如心形的定向麦克风，放置在声音场景中，以进一步改良图8中虚拟麦克风信号105的声音质量。这些麦克风不用以收集任何几何信息，而是仅用以提供更平整的音频信号。可将这些麦克风放置得比空间麦克风更接近声源。在此情况下，根据实施方式，将真实、非空间麦克风的音频信号及这些麦克风的位置，而非真实空间麦克风的音频信号，简单地馈送至图8的传播补偿模块504，进行处理。然后关于一个或多个非空间麦克风的位置，实施非空间麦克风的一个或多个记录音频信号的传播补偿。通过此举，使用其他非空间麦克风实现实施方式。

在另一实施方式中，实现了虚拟麦克风的空间旁侧信息的计算。为计算麦克风的空间旁侧信息106，图8的信息计算模块202包括空间旁侧信息计算模块507，该空间旁侧信息计算模块507适于接收声源的位置205及虚拟麦克风的位置、方位及特征104作为输入。在某些实施方式中，根据需要计算的旁侧信息106，亦可将虚拟麦克风的音频信号105作为向空间旁侧信息计算模块507的输入纳入考虑。

空间旁侧信息计算模块507的输出是虚拟麦克风的旁侧信息106。该旁侧信息可为，例如，从虚拟麦克风的视点的每个时频段(k,n)的声音的DOA或扩散度。另一可能的旁侧信息可例如是已在虚拟麦克风的位置测量的有效声音强度向量Ia(k,n)。现将描述如何导出这些参数。

根据一个实施方式，实现了虚拟空间麦克风的DOA估算。如图11所示，信息计算模块120适于根据虚拟麦克风位置向量及根据声音事件位置向量，估算虚拟麦克风处的抵达方向作为空间旁侧信息。

图11示出导出来自虚拟麦克风的视点的声音的DOA的可能方式。可使用位置向量r(k,n)，即声音事件位置向量来描述每个时频频段(k,n)的由第8图中方块205所提供的声音事件的位置。类似地，可使用位置向量s(k,n)，即虚拟麦克风位置向量，来描述第8图中作为输入104所提供的虚拟麦克风的位置。可通过向量v(k,n)描述虚拟麦克风的探视方向。通过a(k,n)给出关于虚拟麦克风的DOA。a(k,n)表示v与声音传播路径h(k,n)之间的角度。可通过使用以下公式计算h(k,n)，该公式如下：

h(k,n)=s(k,n)–r(k,n)。

现可计算各(k,n)的期望DOA a(k,n)，例如经由h(k,n)及v(k,n)的内积的定义，即：

a(k,n)=arcos(h(k,n)·v(k,n)/(||h(k,n)||||v(k,n)||)。

如第11图所示，在另一实施方式中，信息计算模块120可适于根据虚拟麦克风位置向量及根据声音事件位置向量，估算虚拟麦克风处的有效声音强度作为空间旁侧信息。

由以上所定义的DOA a(k,n)，我们可导出虚拟麦克风的位置处的有效声音强度Ia(k,n)。为此，假设第8图中虚拟麦克风音频信号105对应于全向麦克风的输出，例如，我们假设，虚拟麦克风为全向麦克风。另外，假设第11图中的探视方向v平行于坐标系的x轴。由于期望有效声音强度向量Ia(k,n)描述经由虚拟麦克风的位置的能量的净流量，故我们可计算Ia(k,n)，例如，根据以下公式：

Ia(k,n)=-(1/2rho)|P_v(k,n)|²*[cos a(k,n),sin a(k,n)]^T，

其中，[]^T表示转置向量，rho为空气密度，且P_v(k,n)为由虚拟空间麦克风，例如，图8中方块506的输出105所测量的声压。

若要计算在一般坐标系中的表示，但仍处于虚拟麦克风的位置处的有效强度向量，则可应用以下公式：

Ia(k,n)=(1/2rho)|P_v(k,n)|²h(k,n)/||h(k,n)||。

声音的扩散度表示在给定时频隙中，声场扩散得如何（参见，例如，[2]）。以值ψ表示扩散度，其中0≦ψ≦1。扩散度1表明声场的总声场能量完全扩散。例如，在空间声音的再生中，该信息极其重要。传统地，在放置麦克风阵列的空间中的特定点处计算扩散度。

根据一个实施方式，可将扩散度作为可随意放置在声音场景中任意位置处的虚拟麦克风（VM）的所产生旁侧信息的附加参数来计算。通过此举，由于可产生DirAC串流，即声音场景中任意点处的音频信号、抵达方向及扩散度，故除计算虚拟麦克风的虚拟位置处的音频信号之外、还计算扩散度的装置可视为虚拟DirAC前端。可在任意多扬声器配置上进一步处理、储存、传输，及回放DirAC串流。在此情况下，收听者体验声音场景，犹如他或她在由虚拟麦克风说明的位置且以由虚拟麦克风的方位确定的方向探视。

图12示出根据实施方式的包括用于计算虚拟麦克风处的扩散度的扩散度计算单元801的信息计算块。信息计算块202适于接收除第3图的输入之外，亦包括真实空间麦克风处的扩散度的输入111至11N。令ψ^(SM1)至ψ^(SMN)表示这些值。这些额外输入馈送至信息计算模块202。扩散度计算单元801的输出103是在虚拟麦克风的位置处计算的扩散度参数。

在描绘更多细节的第13图中示出实施方式的扩散度计算单元801。根据一个实施方式，估算N个空间麦克风中的每一个处的直接及扩散声音的能量。然后，使用IPLS的位置处的信息，及空间及虚拟麦克风的位置处的信息，获得虚拟麦克风的位置处的这些能量的N个估算。最后，可将估算组合以改良估算准确度且可易于计算虚拟麦克风处的扩散度参数。

令

至

及

至

表示由能量分析单元810计算的N个空间麦克风的直接及扩散声音的能量的估算。若P_i为复合压力信号且ψ_i为第i个空间麦克风的扩散度，则可例如根据以下公式计算能量，该公式如下：

$E_{\mathrm{dir}}^{\left(\mathrm{SMi}\right)}=(1-{\mathrm{\Ψ}}_i)\·{\left|P_i\right|}^2$

$E_{\mathrm{diff}}^{\left(\mathrm{SMi}\right)}={\mathrm{\Ψ}}_i\·{\left|P_i\right|}^2$

在所有位置，扩散声音的能量应相等，因此，虚拟麦克风处的扩散声音能量的估算

可例如在扩散度组合单元820中，例如根据以下公式，简单地通过将

至平均来计算，该公式如下：

$E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_{\mathrm{diff}}^{\left(\mathrm{SMi}\right)}$

可通过考虑估算器的差异，例如通过考虑SNR，来执行估算

至的更有效组合。

由于传播，直接声音的能量取决于到源的距离。因此，可修改

至

以将此纳入考虑。此可例如，通过直接声音传播调整单元830来执行。举例而言，若假设直接声场的能量随距离平方衰减1，则可根据以下公式计算第i个空间麦克风的虚拟麦克风处的直接声音的估算，该公式如下：

类似于扩散度组合单元820，可例如，通过直接声音组合单元840将在不同空间麦克风处所获得的直接声能的估算组合。结果为

例如，在虚拟麦克风处的直接声能的估算。可例如，通过扩散度子计算器850，例如根据以下公式，计算虚拟麦克风处的扩散度ψ^(VM)，该公式如下：

${\mathrm{\Ψ}}^{\left(\mathrm{VM}\right)}=\frac{E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}}{E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}+E_{\mathrm{dir}}^{\left(\mathrm{VM}\right)}}$

如上所述，在一些情况下，声音事件位置估算器来执行的声音事件位置估算失败，例如，在错误的抵达方向估算的情况下。图14示出该情形。在这些情况下，不管在不同空间麦克风处所估算的扩散度参数且由于接收作为输入111至11N，由于不可能有空间连贯再生，虚拟麦克风的扩散度103可设置为1（亦即，完全扩散）。

另外，可考虑在N个空间麦克风处的DOA估算的可靠性。此可例如，按照DOA估算器的差异或SNR来表示。可由扩散度子计算器850将该信息纳入考虑，以便在DOA估算不可靠的情况下，可人为地增加VM扩散度103。实际上，因此，位置估算205亦将是不可靠的。

虽然在装置的上下文中已描述了多个方面，但是很明显这些方面也表示对应方法的描述，其中，方块或设备对应于方法步骤或方法步骤的特征结构。类似地，在方法步骤的上下文中描述的方面也表示对应方块或项目或对应装置的特征的描述。

可将发明的已分解信号储存于数字储存介质上或可传送于诸如无线传输介质的传输介质上或诸如因特网的有线传输介质上。

本发明的实施方式可取决于某些实施的要求而在硬件或软件中实施。可使用数字储存介质来执行实施，数字储存介质例如软盘、DVD、CD、ROM、PROM、EPROM、EEPROM或闪存，数字储存介质上储存有电子可读取控制信号，这些电子可读取控制信号与可编程计算机系统合作（或能够合作），以执行相应的方法。

根据本发明的多个实施方式包括具有电子可读取控制信号的非瞬态数据载体，这些电子可读取控制信号能够与可编程计算机系统合作，以执行本文所述方法中中的一个。

大体而言，本发明的实施方式可作为具有程序代码的计算机程序产品来实施，当计算机程序产品执行在计算机上时，该程序代码可操作以执行方法中的一个。程序代码可例如储存于机器可读取载体上。

其他实施方式包括用于执行本文所述方法中的一个且储存于机器可读取载体上的计算机程序。

换言之，本发明方法的实施方式因此为具有程序代码的计算机程序，当计算机程序执行在计算机上时，计算机程序用于执行本文所述的方法中的一个。

因此，本发明方法的又一实施方式为包括用于执行本文所述方法中的一个的计算机程序、且记录有计算机程序的数据载体（或数字储存介质，或计算机可读取介质）。

因此，本发明方法的又一实施方式为表示用于执行本文所述方法中的一个的计算机程序的数据串流或信号序列。数据串流或信号序列可例如被配置为经由数据通讯连接，例如经由因特网来进行传送。

又一实施方式包括被配置为或适于执行本文所述方法中的一个的处理构件，例如计算机或可程序逻辑设备。

又一实施方式包括安装有用于执行本文所述方法中的一个的计算机程序的计算机。

在一些实施方式中，可编程逻辑设备(例如现场可编程门阵列)可用来执行本文所述方法的功能中的某些或全部。在一些实施方式中，现场可编程门阵列可与微处理器合作以执行本文所述方法中的一个。大体而言，方法最好由任何硬件装置执行。

上述实施方式仅为说明本发明的原理。应理解，配置的修改及变化及本文所述的细节对于本领域技术人员来说将是显而易见的。因此，本发明仅由所附权利要求的范围限制，且非由以描述和阐释本文实施方式的方式示出的特定细节来限制。

参考文献：

[1]R.K.Furness,「Ambisonics-An overview,」in AES8^thInternationalConference,April1990,pp.181-189.

[2]V.Pulkki,「Directional audio coding in spatial sound reproductionand stereo upmixing,」in Proceedings of the AES28^thInternationalConference,pp.251-258,

Sweden,June30-July2,2006.

[3]V.Pulkki,「Spatial sound reproduction with directional audiocoding,」J.Audio Eng.Soc.,vol.55,no.6,pp.503-516,June2007.

[4]C.Faller:「Microphone Front-Ends for Spatial Audio Coders」,inProceedings of the AES125^thInternational Convention,San Francisco,Oct.2008.

[5]M.Kallinger,H.Ochsenfeld,G.Del Galdo,F.Küch,D.Mahne,R.Schultz-Amling.and O.Thiergart,「A spatial filtering approach for directionalaudio coding,」in Audio Engineering Society Convention126,Munich,Germany,May2009.

[6]R.Schultz-Amling,F.Küch,O.Thiergart,and M.Kallinger,「Acoustical zooming based on a parametric sound field representation,」inAudio Engineering Society Convention128,London UK,May2010.

[7]J.Herre,C.Falch,D.Mahne,G.Del Galdo,M.Kallinger,and O.Thiergart,「Interactive teleconferencing combining spatial audio object codingand DirAC technology,」in Audio Engineering Society Convention128,London UK,May2010.

[8]E.G.Williams,Fourier Acoustics:Sound Radiation and NearfieldAcoustical Holography,Academic Press,1999.

[9]A.Kuntz and R.Rabenstein,「Limitations in the extrapolation ofwave fields from circular measurements,」in15th European Signal ProcessingConference(EUSIPCO2007),2007.

[10]A.Walther and C.Faller,「Linear simulation of spaced microphonearrays using b-format recordings,」in Audio Engineering Society Convention128,London UK,May2010.

[11]US61/287,596:An Apparatus and a Method for Converting a FirstParametric Spatial Audio Signal into a Second Parametric Spatial AudioSignal.

[12]S.Rickard and Z.Yilmaz,「On the approximate W-disjointorthogonality of speech,」in Acoustics,Speech and Signal Processing,2002.ICASSP2002.IEEE International Conference on,April2002,vol.1.

[13]R.Roy,A.Paulraj,and T.Kailath,「Direction-of-arrival estimationby subspace rotation methods–ESPRIT,」in IEEE International Conference onAcoustics,Speech,and Signal Processing(ICASSP),Stanford,CA,USA,April1986.

[14]R.Schmidt,「Multiple emitter location and signal parameterestimation,」IEEE Transactions on Antennas and Propagation,vol.34,no.3,pp.276-280,1986.

[15]J.Michael Steele,「Optimal Triangulation of Random Samples inthe Plane」,The Annals of Probability,Vol.10,No.3(Aug.,1982),pp.548-553.

[16]F.J.Fahy,Sound Intensity,Essex:Elsevier Science Publishers Ltd.,1989.

[17]R.Schultz-Amling,F.Küch,M.Kallinger,G.Del Galdo,T.Ahonenand V.Pulkki,「Planar microphone array processing for the analysis andreproduction of spatial audio using directional audio coding,」in AudioEngineering Society Convention124,Amsterdam,The Netherlands,May2008.

[18]M.Kallinger,F.Küch,R.Schultz-Amling,G.Del Galdo,T.Ahonenand V.Pulkki,「Enhanced direction estimation using microphone arrays fordirectional audio coding;」in Hands-Free Speech Communication andMicrophone Arrays,2008.HSCMA2008,May2008,pp.45-48.

Claims (25)

1.一种用于产生音频输出信号以对环境中可配置的虚拟位置处的虚拟麦克风的记录进行仿真的装置，包括：

声音事件位置估算器（110），用于估算表明所述环境中的声源的位置的声源位置，其中，所述声音事件位置估算器（110）适于根据由位于所述环境中的第一真实麦克风位置的第一真实空间麦克风所提供的第一方向信息，并根据由位于所述环境中的第二真实麦克风位置的第二真实空间麦克风所提供的第二方向信息，来估算所述声源位置；以及

信息计算模块（120），用于根据第一已记录音频输入信号、根据所述第一真实麦克风位置、根据所述虚拟麦克风的所述虚拟位置、以及根据所述声源位置，来产生所述音频输出信号。

2.根据权利要求1所述的装置，其中，所述信息计算模块（120）包括传播补偿器（500），其中，所述传播补偿器（500）适于通过调整所述第一已记录音频输入信号的振幅值、量值或相位值，根据所述声源与所述第一真实空间麦克风之间的第一振幅衰减及根据所述声源与所述虚拟麦克风之间的第二振幅衰减，来修改所述第一已记录音频输入信号，产生第一修改后的音频信号，以获得所述音频输出信号。

3.根据权利要求1所述的装置，其中，所述信息计算模块（120）包括传播补偿器（500），其中，所述传播补偿器（500）适于通过调整所述第一已记录音频输入信号的振幅值、量值或相位值来补偿由所述声源发出的声波在所述第一真实空间麦克风处的抵达与所述声波在所述虚拟麦克风处的抵达之间的第一延迟，以修改所述第一已记录音频输入信号来产生第一修改后的音频信号，从而获得所述音频输出信号。

4.根据权利要求2或3所述的装置，其中，所述第一真实空间麦克风被配置为记录所述第一已记录音频输入信号。

5.根据权利要求2到3所述的装置，其中，第三麦克风被配置为记录所述第一已记录音频输入信号。

6.根据权利要求2到5中任一项所述的装置，其中，所述声音事件位置估算器（110）适于根据由所述声源发出的所述声波在所述第一真实麦克风位置处的第一抵达方向作为所述第一方向信息并根据所述声波在所述第二真实麦克风位置处的第二抵达方向作为所述第二方向信息，来估算所述声源位置。

7.根据权利要求2到6中任一项所述的装置，其中，所述信息计算模块（120）包括用于计算空间旁侧信息的空间旁侧信息计算模块（507）。

8.根据权利要求7所述的装置，其中，所述信息计算模块（120）适于根据所述虚拟麦克风的位置向量并根据所述声音事件的位置向量，来估算所述虚拟麦克风处的所述抵达方向或有效声音强度作为空间旁侧信息。

9.根据权利要求2所述的装置，其中，所述传播补偿器（500）适于通过调整以时频域表示的所述第一已记录音频输入信号的所述量值，根据所述声源与所述第一真实空间麦克风之间的所述第一振幅衰减并根据所述声源与所述虚拟麦克风之间的所述第二振幅衰减，来产生在时频域上的所述第一修改后的音频信号。

10.根据权利要求3所述的装置，其中，所述传播补偿器（500）适于通过调整以时频域表示的所述第一已记录音频输入信号的所述量值，来补偿由所述声源发出的所述声波在所述第一真实空间麦克风处的所述抵达与所述声波在所述虚拟麦克风处的所述抵达之间的所述第一延迟，以产生在时频域上的所述第一修改后的音频信号。

11.根据权利要求2到10中任一项所述的装置，其中，所述传播补偿器（500）适于通过应用以下公式产生所述第一修改后的音频信号的修改后的量值来实施传播补偿：

$P_v(k,n)=\frac{d_1(k,n)}{s(k,n)}{P}_{\mathrm{ref}}(k,n)$

其中，d₁(k,n)是所述第一真实空间麦克风的位置与所述声音事件的位置之间的距离，其中，s(k,n)是所述虚拟麦克风的虚拟位置与所述声音事件的所述声源位置之间的距离，其中，P_ref(k,n)是以时频域表示的所述第一已记录音频输入信号的量值，且其中P_v(k,n)是与所述虚拟麦克风的所述信号对应的所述修改后的量值。

12.根据权利要求2到11中任一项所述的装置，

其中，所述信息计算模块（120）还包括组合器（510），

其中，所述传播补偿器（500）还适于通过调整由所述第二真实空间麦克风记录的第二已记录音频输入信号的振幅值、量值或相位值来补偿由所述声源发出的所述声波在所述第二真实空间麦克风处的抵达与所述声波在所述虚拟麦克风处的抵达之间的第二延迟或第二振幅衰减，以修改所述第二已记录音频输入信号，从而获得第二修改后的音频信号，以及

其中，所述组合器（510）适于通过将所述第一修改后的音频信号及所述第二修改后的音频信号的组合，产生组合信号，以获得所述音频输出信号。

13.根据权利要求12所述的装置，

其中，所述传播补偿器（500）还适于通过补偿所述声波在所述虚拟麦克风处的抵达与由所述声源发出的所述声波在一个或多个其他真实空间麦克风中的每一个处的抵达之间的延迟或振幅衰减，来修改由所述一个或多个其他真实空间麦克风所记录的一个或多个其他已记录音频输入信号，其中，所述传播补偿器（500）适于通过调整所述其他已记录音频输入信号中的每一个的振幅值、量值或相位值，来补偿所述延迟或所述振幅衰减中的每一个，以获得多个第三修改后的音频信号，以及

其中，所述组合器（510）适于通过将所述第一修改后的音频信号及所述第二修改后的音频信号及这些多个第三修改后的音频信号组合，产生组合信号，以获得该音频输出信号。

14.根据权利要求2到11中所述的装置，其中，所述信息计算模块（120）包括频谱加权单元（520），所述频谱加权单元用于根据所述声波在所述虚拟麦克风的所述虚拟位置处的抵达方向并根据所述虚拟麦克风的虚拟方位，通过修改所述第一修改后的音频信号来产生加权后的音频信号，以获得所述音频输出信号，其中，所述第一修改后的音频信号在时频域中被修改。

15.根据权利要求12或13所述的装置，其中，所述信息计算模块（120）包括频谱加权单元（520），所述频谱加权单元用于根据所述声波在所述虚拟麦克风的所述虚拟位置处的抵达方向和所述虚拟麦克风的虚拟方位，通过修改所述组合信号来产生加权后的音频信号，以获得所述音频输出信号，其中，所述组合信号在时频域中被修改。

16.根据权利要求14或15所述的装置，其中，所述频谱加权单元（520）适于将加权因子

或加权因子

应用在所述加权后的音频信号上，

其中，

表明由所述声源发出的所述声波在所述虚拟麦克风的所述虚拟位置处的抵达方向向量。

17.根据权利要求2到16中所述的装置，其中，所述传播补偿器（500）还适于通过调整由第四麦克风记录的第三已记录音频输入信号的振幅值、量值或相位值，来补偿由所述声源发出的所述声波在所述第四麦克风处的抵达与所述声波在所述虚拟麦克风处的抵达之间的第三延迟或第三振幅衰减，以修改所述第三已记录音频输入信号来产生第三修改后的音频信号，从而获得所述音频输出信号。

18.根据前述权利要求中任一项所述的装置，其中，所述声音事件位置估算器（110）适于估算三维环境中的声源位置。

19.根据前述权利要求中任一项所述的装置，其中，所述信息计算模块（120）还包括扩散度计算单元（801），所述扩散度计算单元（801）适于估算所述虚拟麦克风处的扩散声音能量或所述虚拟麦克风处的直接声音能量。

20.根据权利要求19所述的装置，其中，所述扩散度计算单元（801）适于根据所述第一真实空间麦克风和所述第二真实空间麦克风处的扩散声音能量，估算所述虚拟麦克风处的所述扩散声音能量。

21.根据权利要求20所述的装置，其中，所述扩散度计算单元（801）适于通过应用以下公式估算所述虚拟麦克风处的所述扩散声音能量

$E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_{\mathrm{diff}}^{\left(\mathrm{SMi}\right)}$

其中，N是包括所述第一真实空间麦克风和所述第二真实空间麦克风的多个真实空间麦克风的数量，且其中，

是第i个真实空间麦克风处的所述扩散声音能量。

22.根据权利要求20或21所述的装置，其中，所述扩散度计算单元（801）适于通过应用以下公式估算所述直接声音能量：

其中，“距离SMi－IPLS”是所述第i个真实麦克风的位置与所述声源位置之间的距离，其中，“距离VM－IPLS”是所述虚拟位置与所述声源位置之间的距离，且其中，是所述第i个真实空间麦克风处的直接能量。

23.根据权利要求19到22中任一项所述的装置，其中，所述扩散度计算单元（801）适于通过估算所述虚拟麦克风处的所述扩散声音能量及所述虚拟麦克风处的所述直接声音能量且通过应用以下公式估算所述虚拟麦克风处的扩散度：

${\mathrm{\Ψ}}^{\left(\mathrm{VM}\right)}=\frac{E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}}{E_{\mathrm{diff}}^{\left(\mathrm{VM}\right)}+E_{\mathrm{dir}}^{\left(\mathrm{VM}\right)}}$

其中，ψ^(VM)表明所估算的所述虚拟麦克风处的所述扩散度，其中，

表明所估算的所述扩散声音能量，且其中，

表明所估算的所述直接声音能量。

24.一种用于产生音频输出信号以对环境中可配置的虚拟位置处的虚拟麦克风的记录进行仿真的方法，所述方法包括以下步骤：

根据由位于所述环境中第一真实麦克风位置的第一真实空间麦克风提供的第一方向信息，并根据由位于所述环境中的第二真实麦克风位置的第二真实空间麦克风提供的第二方向信息，来估算表明所述环境中的声源的位置的声源位置；以及

根据第一已记录音频输入信号、根据所述第一真实麦克风位置、根据所述虚拟麦克风的所述虚拟位置、及根据所述声源位置，产生所述音频输出信号。

25.一种计算机程序，用于当在计算机或信号处理器上执行时，实施根据权利要求24所述的方法。

Images