CN102577441B

CN102577441B - 用于音频处理的多路分析

Info

Publication number: CN102577441B
Application number: CN201080045583.XA
Authority: CN
Inventors: O·柯克比; G·洛尔霍; J·K·维罗莱宁; R·施诺伊; P·P·派特沃德汗
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2009-10-12
Filing date: 2010-10-12
Publication date: 2015-06-03
Anticipated expiration: 2030-10-12
Also published as: EP2489207A4; US9055381B2; US20120207310A1; CN102577441A; WO2011045751A1; EP2489207A1

Abstract

披露了针对至少与第一方向分量的值和与第二方向分量的值关联的方向来确定对于基函数集合中的每个基函数的至少一个加权因子，所述基函数中的每个基函数均与音频传递特征关联，其中所述确定至少基于与所述第一方向分量关联的第一增益因子集合以及与所述第二方向分量关联的第二增益因子集合。

Description

用于音频处理的多路分析

技术领域

本发明涉及空间音频信号处理领域。

背景技术

三维(3D)音频基于立体声技术和头部相关传递函数(HRTF)的研究。从3D空间中的声源140到收听者110的两耳120、130之一的脉冲响应被称为头部相关脉冲响应(HRIR)，如图1中所示。可以作为HRIR的傅立叶变换确定对应的HRTF。

与从源140到近耳120(在头部的与源相同的一侧上的耳)的脉冲响应对应的传递函数称为同侧HRTF，而与从源140到远耳130(在头部的与源相对的一侧上的耳)的脉冲响应对应的传递函数称为对侧HRTF。

此外，到达远耳130的声音相对于到达近耳120的声音轻微延迟，并且此延迟被称为耳间时差(ITD)。在实际中，HRTF的持续时间可以在1毫秒的量级，而ITD可以小于1毫秒。

通常通过使用如图2a中所示的两个数字滤波器和延迟来实现单个虚拟源，其中为了方便而省略了用于仿真距离衰减的总体增益。

滤波器H_i 210和H_c220分别对应于同侧和对侧HRTF，并且ITD 225被插入对侧路径(其当源140在右侧时到达收听者110的左耳130，如图1所示的实例中那样)。通常由FIR滤波器实现滤波器H_i210和H_c220。

可以通过使用处理来自H_i 210的输出的低阶IIR滤波器IATF(耳间传递函数)240替换H_c220，来获得适度的性能改进，如图2b中所示。

在H_i210和IATF 240的级联近似等于H_c220时，双滤波器结构表示同一算法的备选实施方式。在实际中，IATF可以被例如选择为一阶低通滤波器并获得良好结果。

在需要更多虚拟源时，需要图2a或图2b中的结构的更多副本。组合处理块H_i210、H_c220、IATF 240以及ITD 225是不可能的，因为它们特定于每个虚拟源的位置。

基于主成分分析(PCA)技术的备选方法可用于实现虚拟声源。此方法与图2b(或图2a)中示出的滤波法的不同之处在于，此方法使用一组具有不变频率或脉冲响应特征的滤波器和一组随声源位置变化的增益。这些滤波器和增益通过PCA来导出，PCA是允许提取数据中的某些共同趋势的统计分析技术(要指出的是，奇异值分解(SVD)和Karhunen-Loeve展开式是此技术的变型)。在实际中，以两路(two way)数组安排HRIR或HRTF数据集，其中每列表示对于给定声源位置的在一个耳朵处的响应，其中声源位置由单个参数(例如，不支持在与该位置相关联的仰角和方位角之间的区分)确定。然后将PCA应用于此矩阵。

此统计分解的结果是表示所期望的不变滤波器的N个正交基函数的集合和与此N个正交基函数对应的N个增益集合，对于N个增益集合中的每一个，每个集合包括与由原始HRTF数据集表示的声源位置中的每个声源位置对应的增益值。因此，可以通过基函数的线性组合(通过将每个基函数乘以与相应声源位置关联的增益值)，重建原始HRIR或HRTF滤波器中的任一滤波器的近似物。

发明内容

描述了第一方法，所述方法包括：针对至少与第一方向分量的值和与第二方向分量的值关联的方向，确定对于基函数集合中的每个基函数的至少一个加权因子，所述基函数中的每个基函数均与音频传递特征关联，其中所述确定至少基于与所述第一方向分量关联的第一增益因子集合以及与所述第二方向分量关联的第二增益因子集合。

此外，描述了第一装置，所述装置包括用于针对至少与第一方向分量的值和与第二方向分量的值关联的方向确定对于基函数集合中的每个基函数的至少一个加权因子的部件，所述基函数中的每个基函数均与音频传递特征关联，其中所述确定至少基于与所述第一方向分量关联的第一增益因子集合以及与所述第二方向分量关联的第二增益因子集合。

此装置的所述部件可以以硬件和/或软件实现。它们可以例如包括用于执行实现所需功能的计算机程序代码的处理器、存储所述程序代码的存储器或两者。备选地，它们可以例如包括设计为实现所需功能的电路，所述电路例如在芯片组或芯片(如集成电路)中实现。

此外，描述了第二装置，所述装置包括至少一个处理器和存储计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码与所述至少一个处理器一起被配置为导致所述装置至少执行所提出的第一方法的操作。

此外，描述了一种其中存储计算机程序代码的计算机可读存储介质。在由处理器执行时，所述计算机程序代码导致装置实现所提出的第一方法的操作。

所述计算机可读存储介质可以例如是盘或存储器等。作为一个示例，所述存储器可以表示诸如SD或micro SD卡的存储卡或任何其他适合的存储卡或存储棒。所述计算机程序代码可以按照对计算机可读存储介质编码的指令的形式存储在所述计算机可读存储介质中。所述计算机可读存储介质可以旨在参与设备(如计算机的内部或外部硬盘)的操作或旨在分发所述程序代码(如光盘)。

例如，此音频传递特征可以与传递函数表示式关联。例如，此传递函数表示式可以是不变的频率或脉冲响应特征。此外，例如，所述基函数集合中的每个函数可以表示与相应音频传递特征关联的滤波函数。作为示例，可以通过一组滤波器系数表示此类滤波函数，但是也可以使用任何其他适合的表示。

此外，例如，所述第一方向分量和所述第二方向分量可以表示正交分量。

为每个基函数确定的至少一个加权因子可用于构建与相应方向关联的滤波器。例如，可以通过将每个基函数乘以相应的至少一个加权因子并组合加权后的基函数来形成滤波器。

所述方向可以与输入信号的到达方向关联。这样，所述基函数集合和为每个基函数确定的至少一个加权因子可用于构建用于对输入信号进行滤波的滤波器，以便根据三维(3D)听觉空间中的虚拟源方向确定滤波后的信号。相应地，可以基于所述基函数集合和为每个基函数确定的至少一个加权因子来提供在3D听觉空间中的虚拟源。

所述第一增益因子集合、所述第二增益因子集合以及所述基函数集合可以被视为使能构建与可自由选择的方向关联的滤波函数的多路数据数组。例如，可以基于将给定多维传递函数数据库分解成与第一方向分量关联的第一增益因子集合、与第二方向分量关联的第二增益因子集合以及基函数集合来生成此滤波器数据库。作为示例，此多维传递函数数据库可以表示给定多维HRTF滤波器数据库。这样，此类多路数据数组可用于构建针对可自由选择的方向的HRTF滤波器。

所述方向至少与第一方向分量的值和与第二方向分量的值关联。例如，所述方向可以关联于与至少一个其他方向分量关联的至少一个值。相应地，例如，可以使用三个方向分量、四个方向分量，或多于四个的方向分量。因此，至少一个加权因子的确定还可以基于至少一个其他增益因子集合，其他增益因子集合中的每一个与至少一个其他方向分量中的一个方向分量关联。

例如，第一和第二方向分量以及可选的至少一个其他方向分量可以表示球面坐标。

作为示例，第一方向分量可以表示方位角维度，第二方向分量可以表示仰角维度，以及第三方向分量可以表示在收听者与3D空间中的位置之间的距离。

例如，也使用方向分量来表示在收听者与3D空间中的位置之间的距离可以例如在近场HRTF呈现中是很有利的，其可用于在个人3D听觉展现中产生接近收听者头部(例如，在0.1到1米的范围内)的虚拟声源。然后，作为示例，可以应用上述的分别将方位角、仰角和距离作为第一、第二和第三方向分量的使用，但是也可以应用仅使用两个模式(方位角和距离)。

此外，作为另一个示例，所述第一和第二方向分量以及可选的至少一个其他方向分量可以表示笛卡尔坐标，例如“x-y-z坐标”，使得x坐标、y坐标和z坐标可以表示所述第一、第二和第三方向分量。当然，可以仅使用笛卡尔坐标的两个维度。作为示例，笛卡尔坐标(“x-y-z”坐标)可用于相对于收听者的位置确定3D空间中的位置。

在所述第一方法的一个实施例中，第一方向分量表示方位角维度并且第二方向分量表示仰角维度。

这样，方位角维度和仰角维度可用于限定三维(3D)听觉空间中的方向。例如，此方向可以被限定为从收听者到3D空间中的位置的方向。

第一增益因子集合可以包括与不同方位角关联的增益因子，并且第二增益因子集合可以包括与不同仰角关联的增益因子。

例如，方位角可以限于左侧(-90°)/右侧(+90°)，而仰角可以在360°上旋转。这可允许具有模式“方位角”的阴影效应和具有模式“仰角”的前后差的自然建模。

在所述第一方法的一个实施例中，所述第一增益因子集合包括多个第一增益因子子集，所述多个第一增益因子子集中的每个子集均与所述基函数集合中的一个基函数关联，并且所述第二增益因子集合包括多个第二增益因子子集，所述多个第二增益因子子集中的每个子集均与所述基函数集合中的一个基函数关联。

例如，所述基函数集合可以包括N个基函数，其中所述N个基函数中的每个基函数包括n个分量。这样，可以借助向量表示c_k＝[c_k(1)c_k(2)...c_k(n)]来表示每个基函数，其中k∈{1...N}。

此外，作为示例，每个第一增益因子子集可以借助向量表示a_k＝[a_k(1)a_k(2)...a_k(I)]来表示，该向量表示包括对于第k个基函数c_k的与第一方向分量的不同值关联的I个增益值；并且每个第二增益因子子集可以借助向量表示b_k＝[b_k(1)b_k(2)...b_k(J)]来表示，该向量表示包括对于第k个基函数c_k的与第二方向分量的不同值关联的J个增益值。

相应地，每个第一增益因子子集和第二增益因子子集均与基函数之一关联。这样，可以基于所述第一增益因子子集和所述第二增益因子子集的与相应基函数关联的增益因子，来执行对基函数加权，以便确定传递函数表示式。

描述了第二方法，所述方法包括：将多维传递函数数据库分解成至少以下项：基函数集合，其与音频传递特征关联，第一增益因子集合，其与第一方向分量关联，以及第二增益因子集合，其与第二方向分量关联。

此外，描述了第三装置，所述装置包括：用于将多维传递函数数据库分解成至少以下项的部件：基函数集合，其与音频传递特征关联，第一增益因子集合，其与第一方向分量关联，以及第二增益因子集合，其与第二方向分量关联。

此第三装置的所述部件可以以硬件和/或软件实现。它们可以例如包括用于执行实现所需功能的计算机程序代码的处理器、存储所述程序代码的存储器或两者。备选地，它们可以例如包括设计为实现所需功能的电路，所述电路例如在芯片组或芯片(如集成电路)中实现。

此外，描述了第四装置，所述装置包括至少一个处理器和包含计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码与所述至少一个处理器一起被配置为导致所述装置至少执行所提出的第二方法的操作。

此外，描述了一种其中存储计算机程序代码的计算机可读存储介质。在由处理器执行时，所述计算机程序代码导致装置实现所提出的第二方法的操作。

所述计算机可读存储介质可以例如是盘或存储器等。作为示例，所述存储器可以表示诸如SD或microSD卡的存储卡或任何其他适合的存储卡或存储棒。所述计算机程序代码可以以编码所述计算机可读存储介质的指令的形式存储在所述计算机可读存储介质中。所述计算机可读存储介质可以旨在参与设备(如计算机的内部或外部硬盘)的操作或旨在分发所述程序代码(如光盘)。

与音频传递特征关联的基函数集合、与第一方向分量关联的第一增益因子集合以及与第二方向分量关联的第二增益因子集合可用于所描述的第一方法。这样，所描述的第一方法的各方面和所描述的第二方法的各方面可以被组合或链接在一起。

例如，可以以三路数组安排所述多维传递函数数据库，其中所述数组的第一维度可以与第一方向分量关联，所述数组的第二维度可以与第二方向分量关联以及第三维度可以与传递函数表示式关联。例如，与第三维度关联的传递函数表示式可以是与3D空间中的到达方向对应的脉冲响应或频率响应，其中可以通过第一方向分量和第二方向分量描述该方向。

这样，对于多维传递函数数据库中存储的第一方向分量的任何给定值以及第二方向分量的任何给定值，所述数据库可以包括对应的传递函数表示式。

例如，第一方向分量可以表示方位角维度并且所述第二方向分量可以表示仰角维度，但是可以应用任何其他适合的方向分量。

必须理解的是，可以应用任何其他种类的多维传递函数数据库，如两路数组或四路数组。作为示例，两路数组可以包括与位置关联的第一维度和与传递函数表示式关联的第二维度。

例如，多维传递函数数据库可以表示以三路矩阵安排的对于给定用户或仿真头部的头部相关脉冲响应(HRIR)数据库或头部相关传递函数(HRTF)数据库。

多维传递函数数据库还可以表示在不同方位角、仰角和距离处测量的头部相关脉冲响应的集合并被表示为4路数组，其中模式中的三个是图4a中示出的模式并且第四模式涉及距离。

4路数组的另一示例可以表示以不同方位角和仰角在若干个体人体上测量的头部相关脉冲响应的集合。此模型的重要性在于能够建立具有个体调整潜力的通用HRIR模型。实际上，与方位角、仰角和HRIR滤波器相关的模型项对于所有个体而言都是“公共的”，而第四模式对个体差异建模。

通过组合前两个示例，甚至有可能考虑具有模式方位角、仰角、距离、个体特征以及传递函数的5路数组。

还有可能将原始声音的“自定义”建模为数据库的额外维度。此类自定义可以例如是关于原始音频信号的(频率)成形的用户首选项。作为示例，用户可能希望强调信号的第一频率集合而不强调信号第二频率集合。可以使用额外数据库维度对不同预定(频率)成形特征集合建模。

可以借助多路分析执行根据所描述的第二方法的分解，其中第一增益因子集合、第二增益因子集合以及基函数集合表示被配置为代表多维传递函数数据库的多线性模型。这样，可以通过基函数和得到的增益因子的线性组合来表示多维传递函数数据库的滤波器传递函数，其中所述基函数中的每个基函数由与相应基函数关联的第一增益因子集合的增益因子以及第二增益因子集合的增益因子加权。例如，并行因子分析(PARAFAC)、Tucker-2、Tucker-3或更高阶的Tucker模型、PARATUCK-2或任何其他处理至少三个模式的(相关)多路模型可用作多维传递函数数据库的多路分析的多线性模型，但是也可以使用任何其他适合的多路分析。作为示例，例如，可以在Age Smilde、Rasmus Bro和Paul Geladi的“Multi-wayAnalysis，Application in the chemical sciences”(John Wiley and Sons，2004年，第113-124页)中找到交替最小二乘法(ALS)原理的详细说明及其在PARAFAC和Tucker-3分解技术中的应用。例如，可以使用任何其他适合的迭代算法来估计第一增益因子集合、第二增益因子集合以及基函数集合。作为示例，可以应用迭代递归最小二乘法(RLS)算法或迭代最小二乘法(LMS)算法或它们的衍生算法。

基函数集合中的基函数可以表示正交或非正交基函数。基函数的数量可以表示实现复杂性与准确性之间的平衡的设计参数。

将数据库分解成与第一方向分量关联的第一增益因子集合以及与第二方向分量关联的第二增益因子集合使得能够分开控制第一和第二方向分量中的每一个。例如，在基于基函数集合和第一和第二增益因子集合确定传递函数表示式时，这可以用于灵活的内插。在内插时，基函数可以保持不变，并且可以仅基于与第一方向分量关联的第一增益因子集合和/或与第二方向分量关联的第二增益因子集合来执行所述内插。

可以以迭代方式执行寻找分解的算法并以不同方式约束所述算法。例如，假设多维传递函数数据库中的传递函数表示式代表脉冲响应，所述多维传递函数数据库的脉冲响应可以被简化为最小相位脉冲响应和时间延迟，并且于是可作为输入被提供给分解处理。作为另一个示例，可以针对传递函数或仅针对传递函数的幅度响应执行分解。脉冲响应可以表示HRIR并且传递函数可以表示HRTF。

在所描述的第一方法的一个实施例中，第一增益因子集合包括多个第一增益因子子集，所述多个第一增益因子子集中的每个子集均与基函数集合中的一个基函数关联，并且其中第二增益因子集合包括多个第二增益因子子集，所述多个第二增益因子子集中的每个子集均与基函数集合中的一个基函数关联。

与第一增益因子集合关联的增益因子a_k、与第二增益因子集合关联的增益因子b_k以及基函数c_k的示意性符号现在将用于说明多维传递函数数据库的示例性PARAFAC分解。

在所描述的第二方法的一个实施例中，以具有至少三个维度的多路数组安排多维传递函数数据库，所述数组的第一维度与第一方向分量关联，所述数组的第二维度与第二方向分量关联，并且所述数组的第三维度与传递函数表示式关联。

多维传递函数数据库可以记为张量X。PARAFAC分解的输出是基函数集合c₁...c_N及其第一增益因子集合的对应增益因子a₁...a_I和第二增益因子集合的对应增益因子b₁...b_J。

与多维传递函数数据库中的第一方向分量的值和第二方向分量的值关联的任何传递函数表示式h均可以被表达为加权基函数c₁...c_N的线性组合，其中所述加权基函数是使用与所述第一方向分量的相应值关联的第一增益因子集合的对应增益因子以及与所述第二方向分量的相应值关联的第二增益因子集合的对应增益因子来加权的。

例如，对于多维传递函数数据库中的给定行i和列j，传递函数表示式h(i，j)(其中i与第一方向分量的值关联，并且j与第二方向分量的值关联)可以被表达为：

h(i，j)＝a₁(i)·b₁(j)·c₁+a₂(i)·b₂(j)·c₂+...+a_N(i)·b_N(j)·c_N+e(i，j)且e(i，j)表示误差张量E的误差项。这样，X中的任何传递函数表示式h(i，j)可以被构造或估计为N个向量c_K的线性组合。

Tucker-3模型与PARAFAC模型的不同之处在于，Tucker-3模型结构中存在核心数组。为了反映此增加，以上等式可以被重写为：

h(i，j)＝f₁(i，j)，c₁+f₂(i，j)，c₂+...+f_N(i，j)，c_N+e(i，j)

其中

f_{1} (i, j) = Σ_{p = 1}^{P} Σ_{q = 1}^{Q} g_{pq 1} a_{p} (i) b_{q} (j)

f_{2} (i, j) = Σ_{p = 1}^{P} Σ_{q = 1}^{Q} g_{pq 2} a_{p} (i) b_{q} (j)

f_{N} (i, j) = Σ_{p = 1}^{P} Σ_{q = 1}^{Q} g_{pqN} a_{p} (i) b_{q} (j)

f_n的求和中的项P和Q对应于针对P的第一模式(方位角)和针对Q的第二模式(仰角)中的分量数。要指出的是，在Tucker模型中，三个模式中的分量数不必相同。此外，g_pqn(其中n＝1，...，N)是Tucker-3核心数组的标量，其在此示例情况中是大小为P×Q×N的三路数组(即，对于方位角为P个分量、对于仰角为R个分量以及对于基函数为N个分量)。

在所描述的第二方法的一个实施例中，分解是PARAFAC分解和Tucker分解之一。

Tucker分解可以表示Tucker-N分解且N≥2。

在所描述的第一方法的一个实施例中，确定对于每个基函数的至少一个加权因子包括：对于相应基函数：基于对于该相应基函数的第一增益值集合确定与所述方向的所述第一方向分量的值关联的第一加权因子，以及基于对于该相应基函数的第二增益值集合确定与所述方向的所述第二方向分量的值关联的第二加权因子。

基于分开的第一增益因子集合和第二增益因子集合，针对相应基函数确定第一和第二加权因子，其中可以基于与该相应基函数关联的第一增益值集合中的增益值和所述第一方向分量的值确定所述第一加权因子，并且其中可以基于与该相应基函数关联的第二增益值集合中的增益值和所述第二方向分量的值确定所述第二加权因子。

在所描述的第一方法的一个实施例中，确定所述第一加权因子基于以下操作之一：选择对于相应基函数的与第一方向分量的值关联的第一增益值集合中的增益值、基于对于相应基函数的与第一方向分量的值关联的第一增益值集合确定内插增益值，以及基于对于相应基函数的与第一方向分量的值关联的第一增益值集合确定外插增益值。

假设第一增益因子集合中的增益因子与第一方向分量的不同值关联。例如，第一增益因子集合与第一方向分量的I个不同方向值关联。上标1表示这些方向值与第一方向分量关联。这样，第二增益因子集合可以与由上标²表示的第二方向分量的J个不同方向值关联。

在第一方向分量的值未由第一方向分量的I个不同值之一准确表示的情况下，可以选择第一增益值集合中与I个方向值中最接近第一方向分量的值的一个方向值相关联的增益值。此增益值可以表示对应于该相应基函数的对应第一增益值子集中的增益值。

此外，作为示例，确定所述第一加权因子可以包括基于对于该相应基函数的与第一方向分量的值关联的第一增益值集合来确定内插增益值。

例如，此内插可以包括确定与相应第k个基函数关联的两个相邻方向值其中第一方向分量的值(记为v)位于相邻方向值之间：

d_{x}^{1} < v < d_{x + 1}^{1}

然后，可以基于与相邻方向值关联的两个增益因子之间的插值确定第一加权因子。例如，可以使用线性内插。

在第一方向分量的值小于最低方向值(例如，)或第一方向分量的值高于最高方向值(例如，)的情况下，可以根据基于该相应基函数的第一增益值集合的内插来确定第一加权因子。

因此，可以针对第一方向分量的任何值确定第一加权因子，即使第一方向分量的值未由第一方向分量的不同方向值之一准确表示。

在所述第一方法的一个实施例中，确定第二加权因子基于以下操作之一：选择与对于该相应基函数的第二方向分量的值关联的第二增益值集合中的增益值；基于对于该相应基函数的与第二方向分量的值关联的第二增益值集合确定内插增益值；以及基于对于该相应基函数的与第二方向分量的值关联的第二增益值集合确定外插增益值。

以上给出的关于确定所述第一加权因子的解释说明对于确定此第二加权因子也适用。

例如，可以针对第二方向分量的任何值v2确定第二加权因子，即使第二方向分量的值未由第二方向分量的不同方向值之一准确表示。

基于所确定的与基函数中的每一个关联的第一加权因子以及基于所确定的与基函数中的每一个关联的第二加权因子可以基于对应加权后的基函数的线性组合来确定针对给定方向的传递函数表示式。例如，传递函数表示式可以被写为：

h (v 1, v 2) = w_{1}^{1} \cdot w_{1}^{2} \cdot c_{1} + w_{2}^{1} \cdot w_{2}^{2} \cdot c_{2} + . . . + w_{N}^{1} \cdot w_{N}^{2} \cdot c_{N} = Σ_{k = 1}^{N} w_{k}^{1} \cdot w_{k}^{2} \cdot c_{k}

在所述第一方法的一个实施例中，确定每个基函数的至少一个加权因子包括：对于相应基函数：基于从第一增益因子集合选择的第一增益因子和从第二增益因子集合选择的第二增益因子确定组合加权因子，所述第一增益因子与第一方向分量的值关联以及所述第二增益因子与对于该相应基函数的方向的第二方向分量的值关联。

例如，传递函数表示式可以被写为：

h (v 1, v 2) = Σ_{k = 1}^{N} w_{k} (v 1, v 2) \cdot c_{k}

其中w_k(v1，v2)表示与第k个基函数关联的组合加权因子。

例如，可以通过将第一和第二加权因子和相乘来确定此组合加权因子w_k(v1，v2)，其中可以如上所述根据先前实施例确定这些第一和第二加权因子。

在所述第一方法的一个实施例中，确定该相应基函数的至少一个加权因子还基于第三增益因子集合。此第三增益因子集合的增益因子可以例如与特定个体传递特征关联。

这样，可以借助所述第三增益因子集合而引入附加维度。特定个体传递特征可以表示对于若干个体HRTF集合的个体特征。

在所述第一方法的一个实施例中，所述方向还与第三方向分量的值关联，其中所述至少一个其他增益因子集合之一的增益因子与所述第三方向分量关联。

在所述第一方法的一个实施例中，所述至少一个其他增益因子集合之一的增益因子与特定个体传递特征关联。

在所述第一方法的一个实施例中，所述至少一个其他增益因子集合之一的增益因子与特定类型的反射表面关联。

例如，可以基于与第一方向分量关联的第一增益因子集合、基于与第二方向分量关联的第二增益因子集合，以及基于与特定类型的反射表面关联的所述至少一个其他增益因子集合中的至少一个集合，来确定对于每个基函数的至少一个加权因子。这样，针对每个基函数确定的至少一个加权因子可以取决于方向和相应表面的特定类型。相应地，这可以用于为相应反射表面建模。例如，相应反射表面可以表示特定墙壁、地板的表面或任何其他表面。

在所述第一方法的一个实施例中，所述第一方法包括：对于至少一个输入信号中的每个输入信号，执行针对与相应输入信号关联的至少一个方向中的每个方向确定对于基函数集合中的每个基函数的至少一个加权因子的操作。

可以选择与相应输入信号关联的此至少一个方向中的一个方向。然后，如以上解释的那样，对于此选择的方向，针对基函数集合中的每个基函数确定至少一个加权因子。

此后，可以检查是否存在与相应输入信号关联的其他方向，并且如果存在其他方向，则所述方法选择此方向并针对此选择的方向重复确定基函数集合中的每个基函数的至少一个加权因子的操作。

因此，对于与所述输入信号中的每个输入信号关联的每个方向，可以针对基函数集合中的每个基函数确定至少一个加权因子。

在所述第一方法的一个实施例中，所述方法包括：对于所述至少一个输入信号中的每个输入信号：针对与相应输入信号关联的每个方向，基于基函数集合以及基于针对所述相应输入信号的相应方向所确定的与基函数中的每个基函数关联的至少一个加权因子，而使用滤波函数对所述相应输入信号滤波。

基于基函数集合c₁...c_N并基于针对相应方向确定的与所述基函数中的每个基函数关联的至少一个加权因子，而借助滤波函数，对此相应输入信号滤波。

例如，与相应输入信号的至少一个方向关联的滤波后的信号可以组合成输出信号。作为示例，所述至少一个方向中的至少之一可以与3D听觉空间中的反射路径的方向关联。这样，可以将反射建模为在与相应信号关联的反射点处的虚拟扬声器。由于反射由与直接路径上的信号相同的输入信号生成，反射和直接信号都与同一输入信号关联。

例如，可以借助至少一个其他增益因子集合中的至少一个集合执行为特定反射建模，其中所述至少一个其他增益因子集合中的至少一个集合中的每个集合可以均与特定类型的相应反射表面关联。这样，可以基于与相应方向的第一方向分量关联的第一增益因子集合、基于与相应方向的第二方向分量关联的所述第二增益因子集合，以及基于所述至少一个其他增益因子集合中的至少一个集合，来确定每个基函数的至少一个加权因子。

此外，至少一个输入信号可以表示与不同3D声源关联的多个输入信号。这样，对于不同3D声源中的每个声源，可以为直接路径分量建模，其中所述直接路径与相应方向关联，并且可以为3D听觉空间中的每个声源的反射建模。此后，可以例如通过将滤波后的信号相加来将滤波后的信号组合成一个输出信号。

在所述第一方法的一个实施例中，所述滤波函数对应于基函数的加权线性组合，其中通过针对相应输入信号的相应方向所确定的与相应基函数关联的至少一个加权因子来加权基函数集合中的每个基函数。

例如，滤波函数可以被写为：

h (v 1, v 2) = Σ_{k = 1}^{N} w_{k} (v 1, v 2) \cdot c_{k}

其中w_k(v1，v2)表示与第k个基函数关联的组合加权因子，v1表示第一方向分量的值，以及v2表示第二方向分量的值。

例如，可以基于卷积执行使用滤波函数对相应输入函数滤波。

在所述第一方法的一个实施例中，其中对相应输入信号滤波包括：对于基函数集合中的每个基函数：针对所述相应输入信号的每个方向，基于所述相应输入信号和与所述相应基函数和所述相应方向关联的所述至少一个加权因子来确定缩放信号。

例如，可以通过将相应输入信号乘以与相应基函数和相应方向关联的至少一个加权因子来确定缩放信号。

假设L个方向与相应输入信号关联，针对基函数中的每个基函数确定L个缩放信号。为了执行滤波，可以将L个缩放信号中的每个信号与相应基函数进行卷积。此后，可以组合所有卷积后的信号以生成输出信号。

作为一种备选方式，例如，可以在与相应基函数进行卷积之前，组合与一个基函数关联的L个缩放信号。组合L个缩放信号可以例如包括确定所述信号的和。这样，对于基函数中的每个基函数只需一次卷积。此后，可以组合基函数的卷积后的信号以生成输出信号。

在所述第一方法的一个实施例中，所述方法包括引入与缩放信号中的至少一个缩放信号关联的时间延迟。

例如，可以在缩放操作之前或之后引入此时间延迟。

此外，可以将时间延迟与关联于输入信号的方向关联。这样，与此输入信号的此方向关联的缩放信号可以被延迟预定值。例如，此预定值可以对应于反射路径相比于直接路径的延迟。作为示例，可以首先将相应输入延迟该预定值，然后再执行与此方向和此输入信号关联的缩放操作。相应地，一个输入信号的一个方向仅需一个延迟单元。

在所述第一方法的一个实施例中，所述方法包括：对于所述基函数集合中的每个基函数：基于与相应基函数关联的所述缩放信号中的至少一个缩放信号确定组合缩放信号；以及基于所述相应基函数与相应组合缩放信号的卷积来确定滤波后的组合信号。

例如，对于第一基函数c₁，可以基于与该第一基函数关联的每个缩放信号确定组合缩放信号，即使对于与不同方向关联和/或与不同输入信号关联的缩放信号也是如此。当然，如以上解释的那样，可以将延迟引入到所述缩放信号中的至少一个缩放信号。相应地，对于第一基函数c₁仅需一次卷积。这对于其余基函数同样适用。

结果，仅需N次卷积，而与方向数和输入信号数无关。例如，每次增加具有新的方向的新的虚拟源时，需要N次额外的乘法，但是卷积数保持不变。

在所述第一方法的一个实施例中，所述方法包括基于所述滤波后的组合信号的组合来确定输出信号。

例如，可以使用至少一个HRTF对每个声道滤波，使得在被组合成左右声道并在耳机上播放时，收听者感觉到在3D听觉空间中放置了多个虚拟声源。例如，可以将所述方法应用于耳机的左声道和右声道，由此增强虚拟环绕声。

如上所述的本发明的特性及其示意性实施例还应被理解为被披露于它们的所有可能组合中。

要指出的是，本发明的实施例的以上描述应被理解为只是示意性的而非限制性的。

参考以下提供的详细说明，本发明的更多方面将变得清晰而明白。

附图说明

在示出的附图中：

图1是HRTF的示意性表示；

图2a是单个虚拟源的示意性表示；

图2b是单个虚拟源的另一示意性表示；

图3a是示出第一示意性方法的流程图；

图3b是示出第二示意性方法的流程图；

图3c是示例性第一装置的示意性方框图；

图4a是示例性多维传递函数数据库的示意性表示；

图4b是示例性分解；

图4c是示例性第二装置的示意性方框图；

图4d是示例性多路分解的示意性表示；

图5是示出示例性分解的流程图；

图6a是示出第三示例性方法的流程图；

图6b是示出第四示例性方法的流程图；

图7是示例性内插的示意性表示；

图8是示出第五示例性方法的流程图；

图9a图示了收听环境中的示例性反射；

图9b图示了针对图9a的环境建模为虚拟扬声器的示例性反射；

图10a是第一示例性滤波；

图10b是第二示例性滤波；

图10c是第三示例性滤波；

图10d是第四示例性滤波；

图10e是第五示例性滤波；

图11a是四个虚拟环绕源的示例性安排；以及

图11b是第六示例性滤波；

具体实施方式

在以下详细说明中，将在示意性方法和装置的上下文中描述本发明的示意性实施例。

图3a是示出第一示例性方法的流程图。

此方法包括：针对方向，基于第一增益因子集合和第二增益因子集合，确定310对于基函数集合中的每个基函数的至少一个加权因子。

所述方向与第一方向分量的值相关联并且与第二方向分量的值相关联，并且基函数中的每个基函数均与音频传递特征关联。例如，此音频传递特征可以与传递函数表示式相关联。例如，此传递函数表示式可以是不变的频率或脉冲响应特征。此外，例如，基函数集合中的每个函数可以表示与相应音频传递特征关联的滤波函数。作为一个示例，可以通过一组滤波器系数表示此类滤波函数，但是也可以使用任何其他适合的表示。

所述第一增益因子集合与第一方向分量关联，并且所述第二增益因子集合与第二方向分量关联。例如，所述第一方向分量和所述第二方向分量可以表示正交分量。

为每个基函数确定的至少一个加权因子可用于构建与相应方向关联的滤波器。例如，可以通过将每个基函数乘以相应的至少一个加权因子并组合，来形成滤波器。

所述方向可以与输入信号的到达方向关联。这样，基函数集合和为每个基函数确定的至少一个加权因子可用于构建用于对输入信号进行滤波的滤波器，以便根据三维(3D)听觉空间中的虚拟源方向来确定滤波后的信号。相应地，可以基于基函数集合和为每个基函数确定的至少一个加权因子，来提供3D听觉空间中的虚拟源。

第一增益因子集合、第二增益因子集合以及基函数集合可以被视为这样的多路数据数组，该多路数据数组使得能够构建与可自由选择的方向关联的滤波函数。例如，可以基于将给定多维传递函数数据库分解成与第一方向分量关联的第一增益因子集合、与第二方向分量关联的第二增益因子集合以及基函数集合，来生成此滤波器数据库。作为示例，此多维传递函数数据库可以表示给定多维HRTF滤波器数据库。这样，此类多路数据数组可用于构建针对可自由选择的方向的HRTF滤波器。将根据图4b示例性地描述用于生成多路数组的可能分解。

图3b是示出基于图3a所示的第一示例性方法的第二示例性方法的流程图。

此第二示例性方法包括选择350基函数集合中的一个基函数。然后，如根据第一示例性方法解释的那样，基于第一增益因子集合和第二增益因子集合，针对与第一方向分量的值和第二方向分量的值关联的方向，为相应基函数确定至少一个加权因子(由标号360指示)。

此后，检查基函数集合中是否存在其他基函数(由标号370指示)。如果存在其他基函数，所述方法重复并选择此基函数，使得可以为此基函数确定至少一个加权因子。以此方式，可以为基函数集合中的每个基函数确定至少一个加权因子。

作为一个示例性备选的可选实施例，可以并行地执行为每个基函数确定至少一个加权因子。

如图3c所示，装置390包括处理器391和存储器392。存储器392存储用于执行图3a所示的第一示例性方法和基于此第一示例性方法的任何其他描述的方法的计算机程序代码。此外，存储器392可以存储用于实现其他功能的计算机程序代码以及任何其他种类的数据。处理器391被配置为执行存储器392中存储的计算机程序代码，以便使所述装置执行期望的操作。

图4a是示意性多维传递函数数据库410，其可用于如图4b中示例性地示出的分解。此示例性多维滤波器数据库410排列为三路数组，其中该数组的第一维度420可以与第一方向分量关联，该数组的第二维度430可以与第二方向分量关联，以及第三维度440可以与传递函数表示式关联。例如，与第三维度440关联的传递函数表示式可以是与3D听觉空间中的到达方向对应的脉冲响应或频率响应，其中可以通过第一方向分量和第二方向分量描述该方向。

因此，对于多维传递函数数据库410中存储的第一方向分量的任何给定值和第二方向分量的任何给定值，数据库410包括对应的传递函数表示式。

例如，第一方向分量可以表示方位角维度而第二方向分量可以表示仰角维度，但是可以应用任何其他适合的方向分量。

必须理解的是，可以应用任何其他种类的多维传递函数数据库，如两路数组或四路数组。作为一个示例，所述两路数组可以包括与位置关联的第一维度和与传递函数表示式关联的第二维度。

所述方向至少与第一方向分量的值和与第二方向分量的值关联。例如，所述方向可以关联于与至少一个其他方向分量关联的至少一个值。相应地，例如，可以使用三个方向分量、四个方向分量，或多于四个的方向分量。因此，所述至少一个加权因子的确定还可以基于至少一个其他增益因子集合，所述其他增益因子集合中的每一个与所述至少一个其他方向分量中的一个方向分量关联。

作为示例，第一方向分量可以表示方位角维度，第二方向分量可以表示仰角维度，并且第三方向分量可以表示在收听者与3D空间中的位置之间的距离。

例如，也使用方向分量来表示在收听者与3D空间中的位置之间的距离例如在近场HRTF呈现中可以是有利的，其可用于在个人3D听觉展现中产生接近收听者头部(例如，在0.1到1米的范围内)的虚拟声源。于是，作为示例，可以应用上述的分别使用方位角、仰角和距离作为第一、第二和第三方向分量，但是也可以应用仅使用两个模式(方位角和距离)。

此外，作为另一个示例，第一和第二方向分量以及可选的至少一个其他方向分量可以表示笛卡尔坐标，例如“x-y-z坐标”，使得x坐标、y坐标和z坐标可以表示所述第一、第二和第三方向分量。当然，可以仅使用笛卡尔坐标的两个维度。作为示例，笛卡尔坐标(“x-y-z”坐标)可用于相对于收听者的位置确定3D空间中的位置。

例如，图4a中所示的多维传递函数数据库可以表示以三路矩阵安排的对于给定用户或仿真头部的头部相关脉冲响应(HRIR)数据库或头部相关传递函数(HRTF)数据库。

图4b示出将多维传递函数数据库450示例性地分解460为与音频传递特征关联的基函数集合470、与第一方向分量关联的第一增益因子集合480以及与第二方向分量关联的第二增益因子集合490。

如图4c所示，装置495包括处理器491和存储器492。存储器492存储用于执行所述多维传递函数数据库的分解的计算机程序代码。此外，存储器492可以存储用于实现其他功能的计算机程序代码以及任何其他种类的数据。处理器491被配置为执行存储器492中存储的计算机程序代码，以便使所述装置执行期望的操作。

可以借助多路分析执行分解460，其中第一增益因子集合480、第二增益因子集合490以及基函数集合470表示配置为代表多维传递函数450的多线性模型。例如，PARAFAC、Tucker-2、Tucker-3或更高阶的Tucker模型、PARATUCK-2或任何其他处理至少三个模式的(相关)多路模型可用作多维传递函数数据库450的多路分析的多线性模型，但是也可以使用任何其他适合的多路分析。

基函数集合470中的基函数可以表示正交或非正交基函数。基函数的数量可以表示实现在复杂性与准确性之间的平衡的设计参数。

可以以迭代方式执行寻找分解的算法可以以迭代方式执行寻找分解的算法，并以不同方式约束所述算法。例如，假设多维传递函数数据库中的传递函数表示式代表脉冲响应，多维传递函数数据库的脉冲响应可以被简化为最小相位脉冲响应和时间延迟，并且然后可作为输入被提供给分解过程。作为另一个示例，可以针对传递函数或仅针对传递函数的幅度响应执行分解。脉冲响应可以表示HRIR，并且传递函数可以表示HRTF。图5中描述了示出多维传递函数数据库的示例性分解的流程图。以上给出的解释对于图5中示出的流程图也适用。

根据分解460，第一增益因子集合480可以包括多个第一增益因子子集，所述多个第一增益因子子集中的每个子集均与基函数集合中的一个基函数关联，其中所述多个第一子集中的每个子集包括与第一方向分量的不同值关联的增益因子。

类似地，第二增益因子集合490可以包括多个第二增益因子子集，所述多个第二增益因子子集中的每个子集均与基函数集合中的一个基函数关联，其中所述多个第二子集中的每个子集包括与第二方向分量的不同值关联的增益因子。

例如，基函数集合可以包括N个基函数，其中所述N个基函数中的每个基函数包括n个分量。这样，可以借助向量c_k＝[c_k(1)c_k(2)...c_k(n)]来表示每个基函数，其中k∈{1...N}。

此外，作为示例，每个第一增益因子子集可以借助向量a_k＝[a_k(1)a_k(2)...a_k(I)]来表示，该向量包括用于第k个基函数c_k的与第一方向分量的不同值关联的I个增益值；并且每个第二增益因子子集可以借助向量b_k＝[b_k(1)b_k(2)...b_k(J)来表示，该向量包括用于第k个基函数c_k的与第二方向分量的不同值关联的J个增益值。

现在将使用与第一增益因子集合关联的增益因子a_k、与第二增益因子集合关联的增益因子b_k以及基函数c_k的此示例性符号，来解释说明如图4d中所示的多维传递函数数据库450的示意性PARAFAC分解。

多维传递函数数据库450可以记为张量X。PARAFAC分解的输出是基函数集合c₁...c_N及其第一增益因子集合的对应增益因子a₁...a_I和第二增益因子集合的对应增益因子b₁...b_J。

与多维传递函数数据库450中的第一方向分量的值和第二方向分量的值关联的任何传递函数表示式h均可以被表达为加权基函数c₁...c_N的线性组合，所述基函数使用与所述第一方向分量的相应值关联的第一增益因子集合的对应增益因子以及与所述第二方向分量的相应值关联的第二增益因子集合的对应增益因子来加权。

例如，对于多维传递函数数据库450中的给定行i和列j，传递函数表示式h(i，j)(其中i与所述第一方向分量的值关联，并且j与所述第二方向分量的值关联)可以被表达为：

h(i，j)＝a₁(i)·b₁(j)·c₁+a₂(i)·b₂(j)·c₂+...+a_N(i)·b_N(j)·c_N +e(i，j)且e(i，j)表示误差张量E的误差项。这样，X中的任何传递函数表示式h(i，j)可以被构造或估计为N个向量c_K的线性组合。

图5示出了一种分解多维传递函数数据库的示例性方法。

假设在开始分解(由图5中的标号505指示)之前给出基函数集合、第一增益值集合以及第二增益值集合的开始集合。

所述基函数集合可以表示第一分量，所述第一增益因子集合可以表示第二分量，以及所述第二增益因子集合可以表示第三分量。

这三个分量中的两个分量是固定的，如图5中的标号510所指示的。

然后，通过使其他分量保持固定来估计520剩余的不固定分量。此估计可以受到约束，例如受到正交性或非否定性的约束，并且其可适应特定误差标准(例如，加权最小平方)。

在非固定分量的此估计之后，确定是否满足退出标准(标号530)。例如，此退出标准可以表示应用于多路数组(包含关于多维传递函数数据库的基函数集合、第一增益因子集合以及第二增益因子集合)的最小均方误差标准或最小平方误差标准或任何其他适合的标准。例如，假设应用图4d中示出的示例性PARAFAC分解，则可以将此退出标准应用于误差张量E。

图5中示出的示例性迭代算法可以表示交替最小二乘法(ALS)算法。例如，可以在Age Smilde、Rasmus Bro和Paul Geladi的“Multi-wayAnalysis，Application in the chemical sciences”(John Wiley and Sons，2004年，第113-124页)中找到交替最小二乘法原理的详细说明及其在PARAFAC和Tucker-3分解技术中的应用。例如，可以使用任何其他适合的迭代算法来估计第一增益因子集合、第二增益因子集合以及基函数集合。作为示例，可以应用迭代递归最小二乘法(RLS)算法或迭代最小二乘法(LMS)算法或它们的衍生算法。

图6a示出了确定基函数的加权因子的第三示例性方法，其可分别用于图3a和3b中示出的第一或第二示例性方法，以便确定与每个基函数关联的至少一个加权因子。

基于单独的第一增益因子集合和第二增益因子集合，确定第一和第二加权因子。

此第三示例性方法包括：对于相应基函数，确定与方向的第一方向分量的值关联的第一加权因子(由标号610指示)。即，所述第一加权因子与所述第一方向的值关联。

例如，这可以包括选择第一增益值集合中与第一方向分量的值关联的增益值。

假设第一增益因子集合中的增益因子与第一方向分量的不同值关联。例如，第一增益因子集合与第一方向分量的I个不同方向值关联。上标1表示这些方向值与所述第一方向分量关联。这样，第二增益因子集合可以与由上标2表示的第二方向分量的J个不同方向值关联。

在第一方向分量的值未由第一方向分量的I个不同值之一准确表示的情况下，可以选择第一增益值集合中与所述I个方向值中最接近于第一方向分量的值的一个方向值关联的增益值。此增益值可以表示对应于该相应基函数的对应第一增益值子集中的增益值。

此外，作为示例，图6a中所示的第三示例性方法的确定第一加权因子可以包括基于对于该相应基函数的与第一方向分量的值关联的第一增益值集合来确定内插增益值。这将根据图7中示出的示例性第一增益因子子集进行解释说明，此第一子集与第k个基函数关联。

例如，此内插可以包括确定两个相邻方向值其中第一方向分量的值(记为v)位于所述相邻方向值之间：

然后，可以基于与所述相邻方向值关联的两个增益因子之间的内插来确定所述第一加权因子。在图7中，针对安排在相邻方向值之间的第一方向的值v1的提供了此类内插的一个示例，其中基于对应于第k个基函数的第一增益值子集的对应增益因子之间的内插来确定第一加权因子也可以使用某些其他内插方法，如Lagrange内插。

在所述第一方向分量的值小于最低方向值(例如，)或所述第一方向分量的值高于最高方向值(例如，)的情况下，可以根据基于该相应基函数的第一增益值集合的外插来确定所述第一加权因子。

相应地，可以针对所述第一方向分量的任何值确定第一加权因子，即使所述第一方向分量的值未由所述第一方向分量的不同方向值之一准确表示。

此外，图6a中示出的此第三示例性方法包括：对于相应基函数，确定与所述方向的第二方向分量的值关联的第二加权因子(由标号620指示)。即，所述第二加权因子与所述第一方向的第二值关联。

以上给出的关于确定第一加权因子的解释对确定此第二加权因子也适用。

相应地，可以针对所述第二方向分量的任何值v2确定第二加权因子，即使所述第二方向分量的值未由所述第二方向分量的不同方向值之一准确表示。

基于所确定的与所述基函数中的每一个关联的第一加权因子并且基于所确定的与所述基函数中的每一个关联的第二加权因子可以基于对应加权后的基函数的线性组合来确定对于给定方向的传递函数表示式。例如，传递函数表示式可以被写为：

h (v 1, v 2) = w_{1}^{1} \cdot w_{1}^{2} \cdot c_{1} + w_{2}^{1} \cdot w_{2}^{2} \cdot c_{2} + . . . + w_{N}^{1} \cdot w_{N}^{2} \cdot c_{N} = Σ_{k = 1}^{N} w_{k}^{1} \cdot w_{k}^{2} \cdot c_{k}

图6b示出了确定基函数的加权因子的第四示例性方法，其可分别用于图3a和3b中示出的第一或第二示例性方法，以便确定与每个基函数关联的至少一个加权因子。

此第四示例性方法包括：对于相应基函数，基于从第一增益因子集合选择的第一增益因子和从第二增益因子集合选择的第二增益因子确定组合加权因子，所述第一增益因子与第一方向分量的值关联以及所述第二增益因子与所述方向的第二方向分量的值关联。

例如，传递函数表示式可以被写为：

h (v 1, v 2) = Σ_{k = 1}^{N} w_{k} (v 1, v 2) \cdot c_{k}

其中w_k(v1，v2)表示与第k个基函数关联的组合加权因子。

例如，可以通过将第一和第二加权因子和相乘来确定此组合加权因子w_k(v1，v2)，其中可以如根据所述第三示例性方法所述那样确定这些第一和第二加权因子。

图8示出了确定用于每个基函数的加权因子的第五示例性方法，其中此第五示例性方法基于图3a中所示的第二示例性方法。这样，在与第五示例性方法关联的流程图中使用相同的标号。

所述第五示例性方法包括针对至少一个方向确定用于每个基函数的加权因子。例如，此至少一个方向可以包括多个方向，其中所述多个方向中的每个方向与所述第一方向分量的值和与所述第二方向分量的值关联。

通过所述第五示例性方法选择至少一个方向中的一个方向，如标号810所指示的。

然后，对于此选择的方向，针对所述基函数集合中的每个基函数确定至少一个加权因子，如根据先前示例性方法所解释说明的。

此后，检查是否存在其他方向(如标号880所指示的)，并且如果存在其他方向，则所述方法选择此方向并针对此选择的方向重复为所述基函数集合中的每个基函数确定至少一个加权因子的操作。

当然，作为一个示例性备选的可选实施例，可以并行执行为每个基函数确定至少一个加权因子的操作。

例如，如根据所述第四示例性方法所述的那样，可以借助组合加权因子表示与第k个基函数和第l个方向关联的至少一个加权因子，其中此加权因子可以记为w_k，l＝w_k(v1，v2)，其中v1表示第l个方向的第一方向分量的值，并且v2表示第l个方向的第二方向分量的值。

假设L表示方向数量，可以确定L个传递函数表示式。

图9a示出了典型收听环境中的反射，其中真实扬声器990发出声音信号并且收听者980除了直接声音信号外还接收到此声音信号的不同反射。例如，收听者990接收到直接路径声音910、地板反射920、天花板反射930以及墙壁反射940。直接路径910以及反射920、930和940中的每一个都可以与相对于收听者980的位置的单独方向关联。例如，所述第一方向分量可以表示方位角维度，并且所述第二方向分量可以表示仰角维度。

然后，对于这些方向中的每个方向，可以确定用于所述基函数中的每个基函数的至少一个加权因子，并且基于这些确定的加权因子，可以针对这些方向中的每个方向确定传递函数表示式。例如，这些传递函数表示式可用于对扬声器990的输入信号进行滤波，以便将每种反射建模为反射点处的虚拟扬声器，如图9b中示意性地示出的，其中直接路径910的信号被建模为直接路径虚拟扬声器(VS)和路径910’，地板反射路径920的反射信号被建模为地板VS和路径920’，天花板反射路径930的信号的反射信号被建模为天花板VS和路径930’，以及墙壁反射路径940的信号的反射信号被建模为墙壁VS和路径940’。反射路径920、930和940中的每一个均可以与不同时间延迟关联，其中此时间延迟可以表示与直接路径信号910的到达相比的延迟。

这样，可以借助所确定的每个基函数的至少一个加权因子(取决于相应反射路径的方向)以及借助时间延迟，来为每个反射路径建模。

此外，由于反射表面的特征，经由反射路径接收的信号可以被视为输入信号(即，相应直接信号)的修改版本。反射表面的特征可以具有例如修改信号的频率特征和/或幅度的效果，因为柔软表面(如地板上的地毯)可以具有完全不同于坚硬表面(如硬木或混凝土)的反射特征。例如，可以通过对相应直接信号进行适当滤波来为此类修改建模。这样，作为示例，在应用滤波器以修改信号以便为反射表面的特征建模的实施例中，可以借助为相应反射信号建模的滤波器、借助用于每个基函数的所确定的至少一个加权因子以及借助时间延迟，来为反射路径建模。此外或作为备选方案，对诸如距离衰减、源指向性、障碍和/或遮挡之类的因素的建模可以被包括在为反射信号路径建模的滤波器中。

图10a示出了输入信号10的第一示例性滤波。

针对给定方向基于基函数集合c₁...c_N以及与每个基函数关联的所确定的至少一个加权因子借助滤波函数对信号10滤波。可以根据以上解释的示例性方法中的一种方法确定基函数集合和所确定的加权因子。

第k个基函数的至少一个加权因子被示为组合加权因子w_k，l＝w_k(v1，v2)且l＝1，因为对于第一示例性滤波仅存在一个方向。

图10a中应用的滤波函数对应于基函数c₁...c_N的加权线性组合，其中由与第k个基函数ck关联的组合加权因子w_k，l＝w_k(v1，v2)来加权所述基函数集合中的每个基函数。

对于每个基函数，基于将输入信号10与相应组合加权因子w_k，l相乘来确定缩放信号。然后，对于每个基函数，基于相应基函数c_k与相应缩放信号的卷积来确定滤波后的信号1、2、3。例如，由块11执行与第一基函数关联的卷积，由块12执行与第二基函数关联的卷积，以及由块13执行与第N个基函数关联的卷积。

此后，基于组合滤波后的信号1、2、3来确定输出信号20。相应地，输出信号20代表使用根据给定方向的传递函数表示式进行滤波的滤波后的信号。例如，此传递函数表示式可以代表对于给定方位角和给定仰角的HRTF。

例如，可以根据三维(3D)听觉空间中的虚拟源方向对输入信号10滤波。相应地，可以基于所述基函数集合和用于每个基函数的所确定的至少一个加权因子来提供3D听觉空间中的虚拟声源。

图10b示出了输入信号10的第二示例性滤波，其中此第二示例性滤波基于所述第一示例性滤波。

与所述第一示例性滤波相比，所述第二示例性滤波包括元件15，元件15被配置为对输入信号执行进一步的信号处理。例如，此元件15可以被配置为引入延迟和/或进一步的滤波。

例如，此第二示例性滤波可用于对其他特征建模，例如为反射表面建模。

这样，可以借助为相应反射表面建模的滤波器、借助每个基函数的所确定的至少一个加权因子以及借助时间延迟，来为反射路径建模。例如，元件15包括为相应反射表面建模的滤波器并被配置为引入时间延迟，但是也可以使用任何其他适合的滤波和/或时间延迟配置。例如，如果元件15仅引入时间延迟，则可以在借助元件15引入时间延迟之前，或在已引入时间延迟之后但在执行第一示例性方法的滤波之前，将为相应反射表面建模的滤波施加于输入信号10，或者此为相应反射表面建模的滤波可以被施加到信号20，即，在执行第一第二示例性方法的滤波之后。

此外，作为一种备选示例性方式，反射表面的类型可以被建模为对于数据库的额外维度。可以通过将与给定方向关联的HRTF滤波器与用于为给定反射表面的特征建模的滤波器相组合，来为反射表面的特征建模，以便创建为来自相应方向的反射(由相应类型的表面所反射)建模的滤波器。例如，组合可以通过将与给定方向关联的HRIR与为相应反射表面的特征建模的滤波器的脉冲响应进行卷积来完成。可以针对每种所考虑类型的反射表面，为每个所考虑的到达方向创建类似类型的组合滤波器。在分解侧，这可以被表示为对于原始HRTF数据库的额外维度，而在合成侧，这可以用作对每个基函数的加权因子做出贡献的附加增益值。

这样，对于此备选示例性方式，元件15可以引入与特殊反射路径关联的时间延迟，并且第k个基函数和第l个方向的组合加权因子w_k，l还取决于值v3(w_k，l＝w_k(v1，v2，v3))，其中此值v3表示基于与反射表面特征关联的其他增益因子集合所确定的加权因子。

关于图10b中的此示例性第二滤波的解释说明也适用于后续的示例性滤波。

图10c示出了输入信号10的第三示例性滤波，其中此第三示例性滤波基于第一示例性滤波和第二示例性滤波。

此第三示例性滤波涉及一种使用与不同方向关联的传递函数对输入信号10滤波的方法。在此第三示例性滤波中，输入信号10与L个不同方向关联。

对于这L个方向中的每个方向以及对于每个基函数，确定至少一个加权因子。作为示例并且没有任何限制，组合加权因子w_k，l可用于表示所确定的与第k个基函数和第l个方向关联的至少一个加权因子。

这样，对于每个方向和对于每个基函数，基于输入信号10和与相应第k个基函数和相应第l个方向关联的至少一个加权因子来确定缩放信号61、62、63、71、72、73。

此外，可以将时间延迟引入所述缩放信号中的至少一个。例如，可以将此时间延迟引入与一个公共方向关联的所有缩放信号。如图10c中所示，通过延迟输入信号10来将时间延迟30引入与第2个方向关联的缩放信号。延迟后的信号31可以被馈给与相应(即，第2)方向(未在图10b中示出)关联的相应组合加权因子w_k，2的乘法器。此时间延迟可用于为与反射路径关联的信号的时间延迟建模。

相应地，可以将时间延迟引入l个方向中的任何方向，例如，块40可用于延迟与第L个方向关联的输入信号，由此输出延迟后的信号41，从而延迟与第L个方向关联的每个缩放信号71、72、73。

此外，作为示例并且如根据第二示例性滤波解释说明的，块30和40中的任一个还可包括为与相应方向关联的相应反射表面建模的滤波器，但是此滤波也可以在借助块30和40引入延迟之前或在已引入此延迟之后应用(即应用于信号31和41，或在已应用HRTF建模之后应用，及应用于信号39、49。

此外，作为另一示例性备选方式，相应基函数的组合加权因子的确定可基于与反射表面特征关联的其他增益因子集合。这可用于为相应反射表面建模，其中第k个基函数和第l个方向的组合加权因子w_k，l还取决于值v3，此值v3表示基于与反射表面特征关联的其他增益因子集合所确定的加权因子，即组合加权因子w_k，l取决于三个加权因子v1、v2和v3：w_k，l＝w_k(v1，v2，v3)。

作为示例，块30和40中的任一块可对应于图10b中示出的元件15。

这样，第三示例性滤波允许使用与不同方向关联的传递函数对输入信号10滤波，由此输出针对每个方向的相应滤波后的信号20、39、49。这些输出的滤波后的信号20、39、49可被组合以便确定输出信号20’。

例如，对于图9a和9b中示出的情况，第一方向的组合加权因子w_k，1可以与直接路径910和此路径910的方向关联，第二方向的组合加权因子w_k，2可以与地板反射920和此路径920的方向关联，第三方向的组合加权因子w_k，3可以与天花板反射930和此路径930的方向关联，以及第四方向的组合加权因子w_k，L＝4可以与墙壁反射940和此路径940的方向关联。

与第二方向关联的延迟30可以表示与地板反射路径920关联的时间延迟，并且与第四方向关联的延迟40可以表示与墙壁反射路径940关联的时间延迟。此外，可以将时间延迟引入第三方向(未在图10b中示出)以表示与天花板路径930关联的时间延迟。相应地，收听输入信号20’的收听者980将具有收听根据3D听觉空间中的不同位置的不同虚拟声音反射的感觉。

这样，相应基函数和相应方向的所确定的至少一个加权因子可用于按照三维(3D)听觉空间中的不同虚拟源方向对输入信号10滤波。

图10d示出了输入信号10的第四示例性滤波，其中此第四示例性滤波基于第一、第二和第三示例性滤波。

此第四示例性滤波与所述第三示例性滤波的不同之处在于：对于基函数c₁...c_N中的每个基函数，基于与相应基函数关联的缩放信号来确定组合缩放信号21、22、23。

例如，对于第一基函数c₁，基于与组合加权因子w_1，1...w_1，L关联的缩放信号61、71确定组合缩放信号21。当然，可以将延迟引入所述缩放信号中的至少一个，如图10c中的块30和40所指示的那样。相应地，对于第一基函数c₁仅需一次卷积。这对于其余基函数也适用。

因此，仅需N次卷积而与输入信号10所关联的方向数量无关。每次添加具有新方向的新的虚拟源时，需要N次额外的乘法，但是卷积数量保持不变。

图10d中示出的输出信号20’对应于图10c中示出的输出信号20’。

图10e示出了数个输入信号10、10’、10”的第五示例性滤波，其中此第五示例性滤波基于所述第四示例性滤波。

所述第五示例性滤波涉及多个输入信号10、10’、10”，其中所述输入信号中的每个输入信号均可以与不同方向和不同时间延迟关联。

在图10e中示出的第五示例性滤波中，假设每个输入信号与L个方向关联，其中这些方向可以与3D听觉空间中的不同反射关联，但是每个输入信号也可以与不同数量的方向关联。

例如，多个输入信号10、10’、10”中的每个输入信号可以与不同环绕源关联。作为示例，输入信号可以表示5声道环绕系统的中央源、左前源、右前源、左后源以及右后源。

对于输入信号10、10’、10”中的每个输入信号，所述方法包括：对于每个基函数(图10e仅示出了第一基函数)确定组合缩放信号21、21’...21”，其中如根据第四示例性滤波的组合缩放信号21所描述的，针对相应输入信号确定这些组合缩放信号21、21’...21”中的每个信号。然后，这些与第一基函数关联的组合缩放信号21、21’...21”被组合成多次组合信号22。这样，这些组合缩放信号在执行与相应基函数的卷积之前被组合成多次组合信号22，其中基于与相应第k个基函数和相应第l个方向相关联的至少一个加权因子乘以多个输入信号中的相应输入信号，来确定这些多个缩放信号中的每个缩放信号。该至少一个加权因子可以由组合加权因子表示，k表示第k个基函数，s表示第s个输入信号，以及l表示第s个输入信号的第l个方向。

图10e仅示出了关于第一基函数的卷积，但是图10e中示出的方案可以应用于任一基函数。此后，不同基函数的卷积的输出可以被组合成一个输出信号。

图11a示出了四个虚拟环绕源S1、S2、S3、S4的示例性安排。S1和S2安排在收听者左侧，并且S3和S4安排在收听者右侧。

图11b示出了关于如何根据图10e中示出的第五示例性滤波，通过使用三个基函数c₁...c₃来运行四个虚拟源S1、S2、S3和S4的第六示例性滤波。利用所确定的至少一个加权因子的缩放(在图10e中由利用组合加权因子的缩放示出)未在图11b中示出，但是由所述第六示例性滤波执行。可以代替三个而使用任何其他数量的基函数。

必须运行基函数c₁...c₃的两个副本，一个用于生成用于左耳的输出，并且一个用于右耳的输出。耳间时差(ITD)被作为相应时间延迟引入到S1和S2的右侧输出(R)以及引入到S3和S4的左侧输出(L)。

可以基于根据第五示例性滤波提供的解释，来确定多个组合信号91、92、93、94、95、96和97中的每个信号。例如，对于与第一基函数和与左声道关联的多次组合信号91，此多次组合信号91可以表示多个缩放信号的和，其中基于与相应基函数(即，第1基函数)和相应方向(与相应输入信号关联)相关联的至少一个加权因子乘以多个输入信号S1、S2、S3、S4中的相应输入信号，来确定这些多个缩放信号中的每个信号。此外，可以引入与根据先前示例性滤波解释说明的时间延迟30、30”、30”、40、40’、40”对应的时间延迟ITD。

这样，可以基于第五示例性滤波执行生成左侧输出信号L以及基于第五示例性滤波执行生成右侧输出信号R。必须理解，每种所提供的示例性滤波均可分别用于与收听者的左耳关联的左声道以及与收听者的右耳关联的右声道，由此使用同一基函数集合。

此外，对本领域技术人员显而易见的是，上述说明中提供的示例性方块图中的逻辑块以及流程图和算法步骤可以至少部分地在电子硬件和/或计算机软件中实现，其中逻辑块、流程图步骤或算法步骤在硬件或软件中的实现程度可以取决于逻辑块、流程图步骤或算法步骤的功能或取决于施加在相应器件上的设计约束。所提供的逻辑块、流程图步骤或算法步骤可以例如在一个或多个数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程器件中实现。计算机软件可以存储在电的、磁的、电磁的或光的类型的各种计算机可读存储介质中，并可以由诸如微处理器之类的处理器读取和执行。为此，处理器和存储介质可以被耦合以相互交换信息，或者存储介质可以被包括在处理器中。

应以所涉及的组件在操作上耦合的方式理解任何在所描述的实施例中提供的连接。这样，连接可以是直接或间接的，具有任何数量的中间元件或中间元件的任何组合，并且组件之间可以仅存在功能性关系。

本文中提及的任何处理器均可以是任何适合类型的处理器。任何处理器可以包括但不限于一个或多个微处理器、带有(多个)附加数字信号处理器的一个或多个处理器、没有(多个)附加数字信号处理器的一个或多个处理器、一个或多个专用计算机芯片、一个或多个现场可编程门阵列(FPGA)、一个或多个控制器、一个或多个专用集成电路(ASIC)，或一个或多个计算机。以执行所描述功能的方式编程相关结构/硬件。

本文中提及的任何存储器均可以被实现为单个存储器或多个不同存储器的组合，并且可以例如包括只读存储器、随机存取存储器、闪存或硬盘驱动器存储器等。

此外，可以使用在通用或专用处理器中并存储在计算机可读存储介质(例如，盘、存储器等)上以便由此处理器执行的可执行指令，来实现在此描述和例示的任何操作。对‘计算机可读存储介质’的引用应被理解为包含诸如FPGA、ASIC、信号处理器件或其他器件之类的专用电路。

将理解的是，所有提供的实施例都只是示例性的，可以省略或替换这些实施例的特征并添加其他特征。任何提及的元件和任何提及的方法步骤均可以分别与所有其他提及的元件和所有其他提及的方法步骤结合以使用。因此，它们仅旨在如所附权利要求书的范围所指示的那样被进行限制。

Claims

1.一种用于处理音频信号的方法，包括：

针对至少与第一方向分量的值和第二方向分量的值关联的方向，确定对于基函数集合中的每个基函数的至少一个加权因子，所述基函数中的每个基函数均与音频传递特征关联，其中所述确定包括将与所述第一方向分量关联的第一增益因子集合中的一个乘以与所述第二方向分量关联的第二增益因子集合中的一个；以及

至少基于将以具有至少三个维度的多路数组安排的给定多维传递函数数据库分解成与所述第一方向分量关联的第一增益因子集合、与所述第二方向分量关联的第二增益因子集合以及基函数集合，使用所确定的对于每个基函数的至少一个加权因子来构建滤波器。

2.根据权利要求1的方法，其中所述第一方向分量表示方位角维度并且所述第二方向分量表示仰角维度。

3.根据权利要求1或2的方法，其中所述第一增益因子集合包括多个第一增益因子子集，所述多个第一增益因子子集中的每个子集均与所述基函数集合中的一个基函数关联，并且其中所述第二增益因子集合包括多个第二增益因子子集，所述多个第二增益因子子集中的每个子集均与所述基函数集合中的一个基函数关联。

4.根据权利要求1或2的方法，其中所述基函数集合、所述第一增益因子集合以及所述第二增益因子集合与头部相关传递函数关联。

5.根据权利要求1或2的方法，其中确定对于每个基函数的至少一个加权因子包括：对于相应基函数：

基于对于该相应基函数的第一增益值集合确定与所述方向的所述第一方向分量的值关联的第一加权因子，以及基于对于该相应基函数的第二增益值集合确定与所述方向的所述第二方向分量的值关联的第二加权因子。

6.根据权利要求5的方法，其中确定所述第一加权因子基于以下操作之一：

选择对于该相应基函数的与所述第一方向分量的值关联的所述第一增益值集合中的增益值；

基于对于该相应基函数的与所述第一方向分量的值关联的所述第一增益值集合，来确定内插增益值；

基于对于该相应基函数的与所述第一方向分量的值关联的所述第一增益值集合，来确定外插增益值；

以及其中确定所述第二加权因子基于以下操作之一：

选择对于该相应基函数的与所述第二方向分量的值关联的所述第二增益值集合中的增益值；

基于对于该相应基函数的与所述第二方向分量的值关联的所述第二增益值集合来确定内插增益值；以及

基于对于该相应基函数的与所述第二方向分量的值关联的所述第二增益值集合确定外插增益值。

7.根据权利要求1或2的方法，其中确定每个基函数的至少一个加权因子包括：对于相应基函数：

基于所述第一增益因子集合中的第一增益因子和所述第二增益因子集合中的第二增益因子来确定组合加权因子，所述第一增益因子与所述第一方向分量的值关联并且所述第二增益因子与对于该相应基函数的所述方向的所述第二方向分量的值关联。

8.根据权利要求1或2的方法，其中确定对于相应基函数的至少一个加权因子还基于至少一个其他增益因子集合。

9.根据权利要求8的方法，其中所述方向还与第三方向分量的值关联，并且其中所述至少一个其他增益因子集合中的一个集合内的增益因子与所述第三方向分量关联。

10.根据权利要求8的方法，其中所述至少一个其他增益因子集合中的一个集合内的增益因子与特定个体传递特征关联。

11.根据权利要求1或2的方法，包括：对于至少一个输入信号中的每个输入信号，执行针对与相应输入信号关联的至少一个方向中的每个方向来确定对于基函数集合中的每个基函数的至少一个加权因子的操作。

12.根据权利要求11的方法，包括：对于所述至少一个输入信号中的每个输入信号：针对与相应输入信号关联的每个方向，基于所述基函数集合以及基于针对所述相应输入信号的相应方向所确定的与基函数中的每个基函数关联的至少一个加权因子，而使用滤波函数对所述相应输入信号滤波。

13.根据权利要求12的方法，其中所述滤波函数对应于所述基函数的加权线性组合，其中通过针对所述相应输入信号的相应方向所确定的与相应基函数关联的至少一个加权因子，来加权所述基函数集合中的每个基函数。

14.根据权利要求13的方法，其中对所述相应输入信号滤波包括：对于所述基函数集合中的每个基函数：

针对所述相应输入信号的每个方向，基于所述相应输入信号和与所述相应基函数和所述相应方向关联的所述至少一个加权因子，来确定缩放信号。

15.根据权利要求14的方法，包括引入与所述缩放信号中的至少一个缩放信号关联的时间延迟。

16.根据权利要求14的方法，包括：对于所述基函数集合中的每个基函数：基于与相应基函数关联的所述缩放信号中的至少一个缩放信号来确定组合缩放信号；以及基于所述相应基函数与相应组合缩放信号的卷积来确定滤波后的组合信号。

17.根据权利要求16的方法，包括基于所述滤波后的组合信号的组合来确定输出信号。

18.根据权利要求1的方法，其中所述基函数集合与音频传递特征关联。

19.根据权利要求18的方法，其中所述第一方向分量表示方位角维度并且所述第二方向分量表示仰角维度。

20.根据权利要求18或19的方法，其中所述第一增益因子集合包括多个第一增益因子子集，所述多个第一增益因子子集中的每个子集均与所述基函数集合中的一个基函数关联，并且其中所述第二增益因子集合包括多个第二增益因子子集，所述多个第二增益因子子集中的每个子集均与所述基函数集合中的一个基函数关联。

21.根据权利要求18或19的方法，其中所述数组的第一维度与所述第一方向分量关联，所述数组的第二维度与所述第二方向分量关联，并且第三维度与传递函数表示式关联。

22.根据权利要求18或19的方法，其中所述分解是以下项之一：

PARAFAC分解；以及

Tucker分解。

23.一种用于处理音频信号的装置，包括：

用于针对至少与第一方向分量的值和与第二方向分量的值关联的方向确定对于基函数集合中的每个基函数的至少一个加权因子的部件，所述基函数中的每个基函数均与音频传递特征关联，其中所述确定包括将与所述第一方向分量关联的第一增益因子集合中的一个乘以与所述第二方向分量关联的第二增益因子集合中的一个；以及

24.根据权利要求23的装置，其中用于确定的部件被配置为：对于至少一个输入信号中的每个输入信号，执行针对与相应输入信号关联的至少一个方向中的每个方向来确定对于基函数集合中的每个基函数的至少一个加权因子的操作。

25.根据权利要求24的装置，包括用于滤波的部件，其被配置为：对于所述至少一个输入信号中的每个输入信号执行：针对与相应输入信号关联的每个方向，基于所述基函数集合以及基于针对所述相应输入信号的相应方向所确定的与基函数中的每个基函数关联的至少一个加权因子，而使用滤波函数对所述相应输入信号滤波。

26.根据权利要求23至25中的任意一项的装置，其中所述装置是以下项之一：

芯片；

集成电路；以及

音频设备。

27.根据权利要求23的装置，其中所述基函数集合与音频传递特征关联。

28.根据权利要求27的装置，其中所述数组的第一维度与所述第一方向分量关联，所述数组的第二维度与所述第二方向分量关联，以及第三维度与传递函数表示式关联。

29.根据权利要求27或28的装置，其中所述装置是以下项之一：

芯片；

集成电路；以及

音频设备。