CN107851432B - 用于声场信号的空间处理的系统和方法 - Google Patents

Abstract

用于根据输入声场信号创建输出声场信号的方法，所述方法包括以下步骤：(a)根据输入声场信号形成至少一个延迟信号；(b)对于每个延迟信号，通过声学变换处理来创建经声学变换的延迟信号；以及(c)将经声学变换的延迟信号与输入声场信号组合在一起以产生输出声场信号。

Description

用于声场信号的空间处理的系统和方法

相关申请的交叉引用

本申请要求于2015年7月29日提交的美国临时专利申请第62/198,440号以及于2015年9月18日提交的欧洲专利申请第15185913.9号的优先权，这两个专利中的每一个的全部内容通过引用并入本文中。

技术领域

本发明提供了用于输入音频声场信号以及创建混响声学等效声场信号的系统和方法。

背景技术

在整个说明书中对背景技术的任何讨论决不应该被认为是承认这样的技术是广泛已知的或者构成本领域中的公知常识的一部分。

多通道音频信号用于为最终收听者存储或传送可以包括非常复杂的声学场景的印象的收听体验。多通道信号可以携载使用一些常见约定描述声学场景的信息，这些常见约定包括但不限于以下方面：

—离散扬声器通道：音频场景可能已经以某种方式被渲染，以形成扬声器通道，当扬声器通道在适当的扬声器布置上回放时，创建期望的声学场景的幻象。如现今在许多声音格式中所使用的那样，离散扬声器格式的示例包括立体声、5.1或7.1扬声器信号。

—音频对象：音频场景可以表示为一个或更多个对象音频通道，当被收听者的回放设备渲染时，一个或更多个对象音频通道可以重新创建声学场景。在一些情况下，每个音频对象将伴随有元数据(隐式或显式)，渲染器使用该元数据将对象平移至收听者的回放环境中适当的“位置”。音频对象格式的示例包括Dolby Atmos(商标)，其用于蓝光光盘上丰富的音轨的运送以及其他电影递送格式。

—声场通道：音频场景可以表示为声场格式——共同包括一个或更多个音频对象的两个或更多个音频信号的集合，其中每个对象的空间位置以平移增益的形式以空间格式来“编码”。声场格式的示例包括高保真度立体声响复制(Ambisonics)和高阶高保真度立体声响复制(这两种在本领域都是熟知的)。在以下文献中描述了示例系统：Gerzon,M.A.,Periphony:“With-Height Sound Reproduction”，声频工程会学会志，1973年，21(1)，第2至10页，以及S Bertet,J Daniel,S Moreau，“3D Sound Field Recording with HigherOrder Ambisonics-Objective Measurements and Validation of SphericalMicrophone”，第120届音频工程协会会议，2006年。

发明内容

本发明的一个目的是以其优选形式提供对多通道音频信号的修改，该多通道音频信号遵循用于创建混响声场信号的各种声场格式。

根据本发明的第一方面，提供了一种用于根据输入声场信号创建输出声场信号的方法，该方法包括以下步骤：(a)根据输入声场信号形成至少一个延迟信号；(b)对于每个延迟信号，通过声学变换处理来创建经声学变换的延迟信号；以及(c)将经声学变换的延迟信号与输入声场信号组合在一起以产生输出声场信号。

优选地，声学变换处理利用多通道矩阵混合器。可以通过对包括空间旋转操作的一个或更多个空间操作进行组合来形成多通道矩阵混合器。可以通过对包括空间镜像操作的一个或更多个空间操作进行组合来形成多通道矩阵混合器。可以通过对包括方向增益操作的一个或更多个空间操作进行组合来形成多通道矩阵混合器。在一些实施方式中，可以通过对包括方向置换操作的一个或更多个空间操作进行组合来形成多通道矩阵混合器。声学变换处理优选地可以包括频率相关滤波。

根据本发明的另外的方面，提供了一种用于向输入声场信号添加模拟混响的方法，该方法包括以下步骤：(a)接收包括用第一到达方向编码的至少一个音频分量的输入声场信号；(b)确定包括原始音频分量的至少一个模拟回声的另外的声场信号，原始音频分量的至少一个模拟回声具有替代的到达方向；(c)将输入声场信号和另外的声场信号进行组合以产生输出声场信号。

在一些实施方式中，每个模拟回声可以包括输入声场信号的延迟和旋转副本。在一些实施方式中，每个模拟回声优选地可以包括基本上相同的延迟。在一些实施方式中，替代的到达方向可以包括第一到达方向的几何变换。

根据本发明的另外的方面，提供了一种用于处理声场信号以模拟混响的存在的系统，该系统包括：输入单元，其用于输入声场编码信号；抽头延迟线，其用于与输入单元互连并且提供声场编码信号的一系列抽头延迟；一系列声学变换单元，其与抽头延迟线的输出抽头互连，所述一系列声学变换单元用于对输出抽头应用声学变换以产生经变换的延迟输出；以及组合单元，其用于将经变换的延迟输出组合成输出声场信号。

在一些实施方式中，声学变换单元可以包括：多通道矩阵乘法器，其用于对输出抽头应用几何变换以产生经几何变换的输出；以及一系列线性音频滤波器，其被应用于经几何变换的输出的每个通道。

附图说明

现在将参照附图仅以示例的方式描述本发明的实施方式，其中：

图1示意性地示出了在方向φ_m上的音频对象以及在方向φ′_m,e上的回声；

图2是抽头延迟线的示意性框图；

图3是回声处理器的示意性框图；

图4是具有方向相关滤波的回声处理器的示意性框图；以及

图5示出了回声处理器的替代形式。

具体实施方式

优选实施方式提供了系统和方法，其中，假定输入声场信号包括用不同到达方向编码的音频分量，产生将包括模拟回声的输出声场信号，使得每个模拟回声将具有以下到达方向：该到达方向是原始音频分量当在输入信号中出现时的到达方向的函数。输出声场信号从而提供混响和其他模拟音频效果。

声场格式

N通道声场格式通常由它的平移函数P_N(φ)来限定。具体地，G＝P_N(φ)其中，G是增益值的[N×1]列向量，φ限定对象的空间位置，即：

因此，可以按照下面的等式2(其中，对象m“位于”由φ_m限定的位置处)将(由M个音频信号o₁(t)、o₂(t)、…、o_M(t)表示的)M个对象的集合编码成N通道空间格式信号X_N(t)：

信号X_N(t)可以被称为音频对象的无回声混合。符号φ_m用于表示“对象m的位置”的抽象概念。在一些情况下，这个符号可以用于表示3向量：φ_m＝(x_m,y_m,z_m)，其表示该对象位于3D空间中的特定点处。在其他情况下，可以增加如下限制：φ_m对应于单位向量，使得

利用声场信号的声学建模

当音频对象和收听者都位于(由一组声学反射表面限定的)声学空间的边界内时，由音频对象发出的任何声音将经由多个路径到达收听者。这种现象在本领域中是众所周知的，并且在收听位置处接收的所得到的声音被认为是混响的。由声音自对象起始的传播而形成并且由声学表面反射而到达收听者的声学路径的数量可以是无限的，但是可以通过考虑有限数量(E)的回声来形成在收听位置处接收的声音的合理接近的估计。

图2示出了混响的示例，其中，在收听位置处从方向φ_m接收来自音频对象m，20的声音，并且在收听位置处从方向φ′_m,e接收一个回声(回声e)。

为了在数学上表达这一点，可以定义以下变量：

e:回声数量 1≤e≤E (4)

φ_m：来自对象m的声音的到达方向 (5)

φ′_m,e：来自对象m的回声e的到达方向 (6)

d_m,e：来自对象m的回声e的(以样本为单位的)延迟 (7)

h_m,e(t)：来自对象m的回声e的冲激响应 (8)

等式2示出了如何基于每个音频对象具有位置(φ_m)和音频信号(o_m(t))的假设通过对M个音频对象进行组合来创建N通道声场信号X_N(t)。

可以设计更复杂的声学声场信号R_N(t)＝X_N(t)+Y_N(t)，意在包括以(通过包括每个对象的E个回声)包括声学空间的模拟的方式组合在一起的所有M个音频对象。这在下面的等式10中示出：

R_N(t)＝X_N(t)+Y_N(t) (9)

因此：

信号Y_N(t)可以被称为音频对象的混响混合。通过将无回声混合X_N(t)和混响混合Y_N(t)加在一起来创建完整的声学模拟。

在等式10中，项

用于表示对象音频信号o_m(t)与冲激响应h_m,e(t)的卷积，因此

表示具有d_m,e个样本(其中，F_s是采样频率)的附加延迟的卷积信号。

熟悉本领域的技术人员也将认识到，可以根据下面等式12中的频域等式来编写等式11：

其中，

和H_m,e(z)分别是Y_N(t)、o_m(t)和h_m,e(t)的

域等同物。

声场信号的几何变换

N通道声场信号格式由平移函数P(φ)来限定。这个平移函数的一个普遍选择是4通道(N＝4)高保真度立体声响复制(Ambisonic)平移函数(假设以3×1的单位向量的形式表达φ：φ＝[x y z]^T)：

现在，给定3×3矩阵A，通过检验等式13，可以看出：

等式14告诉我们，如果我们希望在计算平移函数之前对对象位置的(x,y,z)坐标应用3×3矩阵变换A，则我们可以替代地将这种变换实现为在计算平移函数之后应用于平移增益向量的4×4矩阵运算。

等式14中所示的结果可以应用于等式2，以按照下面的等式17来操纵音频场景中的所有对象的位置。在这种情况下，根据X_N(t)创建经变换的声场信号X′_N(t)，实现与所有对象的(x,y,z)位置均由3×3矩阵A修改的情况下将会产生的结果相同的结果。

本领域已知的是，可以通过将N×N矩阵应用于声场信号的N个通道来实现对N通道声场内的对象的某些操纵。在这里给出的示例中，由此声场平移函数是已知的高保真度立体声响复制平移函数，可用的声场操纵包括：

旋转：声场内的所有对象的位置可以围绕收听位置旋转。可以根据3×3矩阵A来定义对每个对象的(x,y,z)坐标的操纵，并且可以根据等式17来执行对4通道声场信号的操纵。

镜像：可以关于穿过收听位置的平面对声场内的所有对象的位置进行镜像。可以根据3×3矩阵A来定义对每个对象的(x,y,z)坐标的操纵，并且可以根据等式17来执行对4通道声场信号的操纵。

优势(Dominance)：可以通过将信号的4个通道与以下4×4矩阵相乘来应用4通道声场信号的变换(被称为洛伦兹变换)：

该变换的结果是将位于φ＝(1,0,0)处的音频对象的增益提高λ。位于φ＝(-1,0,0)处的音频对象将被衰减λ^-1。

所有旋转操作和镜像操作都根据3×3的酉矩阵来定义(使得A×A^T＝I_3×3)。如果det(A)＝1，则矩阵A对应于3D空间中的旋转，如果det(A)＝-1，则矩阵A对应于3D空间中的镜像操作。在下面描述的许多实施方式中，为方便起见将假设A是酉的。

对高保真度立体声响复制声场信号的上述操纵在本领域是已知的。

混响混合的创建

优选实施方式的一个目的是根据无回声混合X_N(t)创建音频对象的混响混合Y_N(t)。在优选实施方式中，利用独特的共享回声模型，由此所有对象共享回声的同一时间延迟模式。

为了将无回声混合X_N(t)用作创建混响混合Y_N(t)的开始点，如等式10中所示，期望对混响函数的行为应用一些修改的规则。在本发明的一个实施方式中，可以进行以下简化：

回声时间简化：回想起原始混响计算(根据等式10)将每个对象的混响看作一系列回声，其中，对于对象m，回声e具有等于d_m,e的时间延迟(相对于直达路径)(所以，对每个对象而言，回声时间是不同的)。对于新的共享回声模型，延迟d′_k被定义为回声k的到达时间(相对于直达声音)，并且这个延迟对每个对象是相同的(因此，回声延迟d′_k不再取决于对象标识符m)。

回声方向简化：原始混响计算(根据等式10)将每个对象的混响看作一系列回声，其中，对于对象m，回声e具有到达方向φ′_m,e(因此，对每个对象而言，回声到达方向不同)。对于新的简化方法，将角度定义为φ′_m,k＝A_k×φ_m以作为回声k的到达方向，使得现在通过对象位置φ_m的简单几何变换形成该方向。

这两个简化提供了简化的处理链。图2示出了可以用来实现这一点的一种方法，其中相应的

域传递函数在下面的等式18中示出：

在图2中，处理链100包括具有K个抽头的延迟线3(并且在下面的说明中，变量k可以用于指代特定的抽头号，使得k∈{1,2,...,K})。到延迟线3的输入2是N通道输入信号X_N(t)。在每个抽头(例如，k＝1)处，N通道延迟信号(例如，5)从延迟线被获得，并且经由声学变换处理200被处理，以产生经声学变换的延迟信号6。该组K个经声学变换的延迟信号相加在一起7以产生输出声场信号8。

对于抽头k，从输入声场信号2到延迟信号的时间延迟将被定义为d′_k个样本周期。因此，例如，在图2中，与第一抽头(k＝1)对应的从输入声场信号2到延迟信号5的延迟将是d′₁个样本周期。

图3示出了应用声学变换处理的回声处理器200的一个示例实现形式。在图3中，输入的N通道延迟信号5被处理，以产生N通道的经声学变换的延迟信号6。在图3所示的示例中，通过应用于声场信号的N个通道中的每个通道的声学变换处理、多通道矩阵混合器(由N×N矩阵R_k表示)11和线性非时变滤波器H_k(z)(例如，12)来执行两个操作。

在一个实施方式中，声学变换处理的目的是根据以下操作原理来创建第k个声学回声的模拟：

回声延迟：通过使用延迟线来定义回声k的时间延迟，使得(图2的)到延迟线的输入2被延迟d′_k个样本，以将输入5提供给第k个声学变换处理(参照图2)。

回声方向：对于对象m，通过将矩阵A_k应用于对象的方向单位向量φ_m＝[x_m y_m z_m]^T来确定回声k的到达方向，从而产生：

因此我们根据公式17(代入A_k代替公式17中的A)用相应的到达方向来创建回声信号。这意味着在以高保真度立体声响复制格式表示我们的声场的情况下，根据下面的等式来计算R_k：

回声幅度和频率响应：根据图3，回声k的幅度和频率响应由应用于N个通道中的每个通道的滤波器H_k(z)(例如，12)提供。

进一步概括和替代实施方式：

在根据高保真度立体声响复制平移函数(根据等式13)定义声场的情况下，可以通过将高保真度立体声响复制信号从B格式转换为A格式来建立声学变换处理的更一般的版本。这种转换在本领域是已知的。

可以定义下面的转换矩阵：

等式19定义了4×4矩阵AtoB，该矩阵将由4×1列向量表示的A格式信号映射为也由4×1列向量表示的B格式信号：BF＝AtoB×AF。类似地，等式20也定义了4×4矩阵BtoA，矩阵BtoA是AtoB的逆矩阵。

使用这些变换矩阵，可以通过以下等式来实现声学变换处理(EchoProcess)：EchoProcess_k＝Rot″_k×AtoB×H′_h×BtoA×Rot′_k(21)

其中：

其中，R′和R″是任意3×3旋转矩阵。

可以定义两个新的中间矩阵：B_k＝BtoA×Rot′_k和C_k＝Rot″_k×AtoB，这允许我们简化等式21以得到等式25：

EchoProcess_k＝C_k×H′_h×B_k (25)

用于实现等式25的方法的处理序列也在图4中示出，其中矩阵处理Bk和Ck分别在21、23实现。

如图5所示，以其最一般的形式，可以将声学变换处理实现为任意滤波器操作200的4×4矩阵。

用于创建更复杂的空间冲激响应的方法

上面描述的方法还可以与本领域已知的替代混响处理结合，以产生包括根据上述方法产生的一些回声以及通过替代方法产生的附加回声和混响的混响混合。

说明

贯穿本说明书对“一个实施方式”、“一些实施方式”或“实施方式”的引用意味着结合该实施方式描述的特定特征、结构或特性包括在本发明的至少一个实施方式中。因此，贯穿本说明书在各个地方中出现的短语“在一个实施方式中”、“在一些实施方式中”或“在实施方式中”不一定都指代同一实施方式，但是也可能如此。此外，如本领域普通技术人员从本公开内容将显而易见的，在一个或更多个实施方式中，特定的特征、结构或特性可以以任何合适的方式进行组合。

如本文所使用的，除非另外说明，否则使用序数形容词“第一”、“第二”、“第三”等来描述共同对象，仅表示正在引用相似对象的不同实例，并不意在意味着所描述的对象必须时间上、空间上、按等级或以任何其他方式按照给定的顺序。

在下面的权利要求和本文的描述中，术语包括(comprising)、包括(comprisedof)或其包括(which comprises)中的任何一个是开放性术语，其意味着至少包括跟随的要素/特征，但不排除其他要素/特征。因此，当在权利要求中使用时，术语“包括(comprising)”不应被解释为限制其后所列的装置或要素或步骤。例如，包括A和B的设备的表达的范围不应限于仅由要素A和B组成的设备。如本文中所使用的术语包括(including)或其包括(which includes)或其包括(that includes)中的任何一个也是开放性术语，其也意味着至少包括所述术语后面的要素/特征，但不排除其他要素/特征。因此，包括(including)与包括(comprising)同义并且意为包括(comprising)。

如本文所使用的，术语“示例性”在提供示例的意义上使用，而不是指示质量。也就是说，“示例性实施方式”是作为示例提供的实施方式，而不一定是示例性质量的实施方式。

应当认识到，在本发明的示例性实施方式的以上描述中，出于简化本公开内容以及有助于理解各种发明方面中的一个或更多个方面的目的，本发明的各种特征有时在单个实施方式、图或其描述中被组合在一起。然而，本公开内容的该方法不应被解释为反映所要求保护的发明需要比每个权利要求中明确叙述的特征更多的特征的意图。相反，如以下权利要求所反映的，创造性方面在于少于单个前述公开的实施方式的所有特征。因此，在具体实施方式之后的权利要求在此被明确地结合到该具体实施方式中，其中每个权利要求依靠它自己作为本发明的单独实施方式。

此外，如本领域技术人员将理解的，虽然本文中描述的一些实施方式包括其他实施方式中包括的一些特征但不包括其他特征，但是不同实施方式的特征的组合意味着在本发明的范围内，并且形成不同的实施方式。例如，在下面的权利要求中，任何要求保护的实施方式可以以任何组合来使用。

此外，在本文中将一些实施方式描述为可以由计算机系统的处理器或由执行功能的其他装置实现的方法或方法的要素的组合。因此，具有用于执行这样的方法或者方法的要素的必要指令的处理器形成用于执行方法或方法的要素的装置。此外，本文中描述的设备实施方式的元件是用于执行由元件出于执行本发明的目的的执行的功能的装置的示例。

在本文中提供的描述中，阐述了许多具体细节。然而，应当理解的是，可以在没有这些具体细节的情况下实践本发明的实施方式。在其他实例中，公知的方法、结构和技术未被详细示出，以不混淆对本说明书的理解。

类似地，应当注意的是，当在权利要求中使用时，术语耦接(coupled)不应被解释为仅限于直接连接。可以使用术语“耦接(coupled)”和“连接(connected)”及其派生词。应当理解的是，这些术语并不意在作为彼此的同义词。因此，设备A耦接至设备B的表达的范围不应限于其中设备A的输出端直接连接至设备B的输入端的设备或系统。这意味着在A的输出端与B的输入端之间存在路径，该路径可以是包括其他设备或装置的路径。“耦接(coupled)”可以意味着：两个或更多个元件直接物理接触或者电接触，或者两个或更多个元件彼此不直接接触，而仍然彼此协作或相互作用。

因此，虽然已经描述了被认为是本发明的优选实施方式的内容，但是本领域技术人员将认识到，在不脱离本发明的精神的情况下，可以对其进行其他和另外的修改，并且意在要求保护如落入本发明的范围内的所有这样的改变和修改。例如，上面给出的任何公式仅是可以使用的过程的代表。可以从框图添加或删除功能，并且操作可以在功能块之间交换。可以向在本发明的范围内描述的方法添加步骤或从其删除步骤。

Claims (20)

1.一种用于根据输入声场信号创建输出声场信号的方法，所述方法包括以下步骤：

(a)根据所述输入声场信号形成至少一个延迟信号，

(b)对于所述延迟信号中的每个延迟信号，通过声学变换处理来创建经声学变换的延迟信号，以及

(c)将所述经声学变换的延迟信号与所述输入声场信号组合在一起以产生所述输出声场信号；

其中，所述声学变换处理利用多通道矩阵混合器。

2.根据权利要求1所述的方法，其中，所述声学变换处理包括：相对于收听位置，创建与所述输入声场信号的到达方向不同的各个延迟信号的到达方向。

3.根据权利要求2所述的方法，其中，通过对关于所述输入声场信号的到达方向应用几何变换来创建所述各个延迟信号的到达方向。

4.根据权利要求1所述的方法，其中，通过对包括空间旋转操作的一个或更多个空间操作进行组合来形成所述多通道矩阵混合器。

5.根据权利要求1所述的方法，其中，通过对包括空间镜像操作的一个或更多个空间操作进行组合来形成所述多通道矩阵混合器。

6.根据权利要求1所述的方法，其中，通过对包括方向增益操作的一个或更多个空间操作进行组合来形成所述多通道矩阵混合器。

7.根据权利要求1所述的方法，其中，通过对包括方向置换操作的一个或更多个空间操作进行组合来形成所述多通道矩阵混合器。

8.根据权利要求1至7中任一项所述的方法，其中，所述声学变换处理包括频率相关滤波。

9.一种用于向输入声场信号添加模拟混响的方法，所述方法包括以下步骤：

(a)接收包括用第一到达方向编码的至少一个音频分量的输入声场信号；

(b)确定包括原始音频分量的至少一个模拟回声的另外的声场信号，所述至少一个模拟回声具有替代的到达方向；

(c)将所述输入声场信号和所述另外的声场信号进行组合以产生输出声场信号；

其中，确定所述另外的声场信号利用多通道矩阵混合器。

10.根据权利要求9所述的方法，其中，每个模拟回声包括所述输入声场信号的延迟和旋转副本。

11.根据权利要求10所述的方法，其中，每个模拟回声包括基本上相同的延迟。

12.根据权利要求9至11中任一项所述的方法，其中，所述替代的到达方向包括所述第一到达方向的几何变换。

13.根据权利要求9至11中任一项所述的方法，其中，所述到达方向和所述替代的到达方向与收听位置有关。

14.一种用于处理声场信号以模拟混响的存在的系统，所述系统包括：

输入单元，所述输入单元用于输入声场编码信号；

抽头延迟线，所述抽头延迟线与所述输入单元互连并且提供所述声场编码信号的一系列抽头延迟；

一系列声学变换单元，所述一系列声学变换单元与所述抽头延迟线的输出抽头互连，用于对所述输出抽头应用声学变换以产生经变换的延迟输出；以及

组合单元，所述组合单元用于将所述经变换的延迟输出组合成输出声场信号；

其中，所述声学变换单元包括：

多通道矩阵乘法器，所述多通道矩阵乘法器用于对输出抽头应用几何变换以产生经几何变换的输出；以及

一系列线性音频滤波器，所述一系列线性音频滤波器被应用于所述经几何变换的输出的每个通道。

15.根据权利要求14所述的系统，其中，所述滤波器是线性非时变滤波器。

16.根据权利要求14或15所述的系统，其中，所述多通道矩阵乘法器在输出抽头上实现一个或更多个空间操作。

17.根据权利要求14或15所述的系统，其中，所述声学变换包括：相对于收听位置，创建与所述声场编码信号的到达方向不同的各个输出抽头的到达方向。

18.根据权利要求17所述的系统，其中，通过对关于所述声场编码信号的到达方向应用几何变换来创建所述各个输出抽头的到达方向。

19.根据权利要求16所述的系统，其中，所述空间操作包括空间旋转操作、空间镜像操作、方向增益操作或方向置换操作中至少之一。

20.一种包括程序指令的计算机可读非暂态存储介质，所述程序指令使计算机根据权利要求1至13中任一项所述的方法进行操作。

Images