CN117178569A - 音频装置及其方法 - Google Patents

Abstract

一种用于生成颤动回波音频信号的音频装置包括接收器(401)，所述接收器被布置为接收指示房间的性质的房间元数据。所述房间元数据可以例如指示所述房间的尺寸和/或所述房间的边界的声学反射数据。估计器(405)响应于所述房间元数据而确定所述房间的颤动回波估计，其中，所述颤动回波估计指示所述房间中的颤动回波的水平。信号生成器(403)包括反馈延迟网络，所述反馈延迟网络包括多个反馈回路。所述信号生成器(403)被布置为根据被馈送音频源信号的所述多个反馈回路中的一组反馈回路的输出信号生成所述颤动回波音频信号。适配器(407)被设置为响应于所述颤动回波估计而调整所述一组反馈回路中的第一反馈回路的第一参数。

Description

音频装置及其方法

技术领域

本发明涉及一种用于生成颤动回波音频信号的装置和方法，并且具体地但非排他地，涉及一种用于与对扩散混响信号的生成结合生成颤动回波音频信号的装置和方法。

背景技术

随着对新的利用和消费视听内容的服务和方式的持续开发和引入，基于视听内容的体验的种类和范围近年来已经大大增加和增大。特别地，正在开发许多空间和交互式服务、应用和体验以给用户更多的参与感和沉浸感。

这样的应用的示例是迅速地变为主流的虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用，其中，多个解决方案瞄准消费者市场。多个标准也在多个标准化主体的开发中。这样的标准化活动积极开发用于VR/AR/MR系统的各个方面的标准，包括例如流传输、广播、渲染等。

VR应用往往提供对应于不同世界/环境/场景中的用户的用户体验，而AR(包括混合现实MR)应用往往提供对应于当前环境中的用户的用户体验，但是其中，添加了附加信息或虚拟对象或信息。因此，VR应用往往提供完全沉浸式的合成生成的世界/场景，而AR应用往往提供叠加用户物理存在于的现实场景的部分合成的世界/场景。然而，术语常常可交换地使用并且具有高重叠度。在以下中，术语虚拟现实/VR将被用于指代虚拟现实和增强/混合现实两者。

作为示例，日益流行的服务是以这样的方式提供图像和音频：用户能够主动并且动态地与系统交互以改变渲染的参数，使得这将适于用户的位置和取向的移动和改变。许多应用中的非常吸引人的特征是改变观看者的有效观看位置和观看方向的能力，诸如例如允许观看者在呈现的场景中移动和“环视”。

这样的特征可以特别地允许虚拟现实体验被提供给用户。这可以允许用户在虚拟环境中(相对)自由地到处移动并且动态地改变他的位置以及他正在看何处。通常，这样的虚拟现实应用基于场景的三维模型，其中，模型被动态地评价以提供特定请求视图。该方法从例如用于计算机和控制台的游戏应用(诸如在第一人称射击的类别中)众所周知。

除视觉渲染之外，大多数VR/AR应用还提供对应的音频体验。在许多应用中，音频优选地提供其中音频源被感知为从对应于视觉场景中的对应对象的位置的位置到达的空间音频体验。因此，音频和视频场景优选地被感知为是一致的并且提供全空间体验。

例如，许多沉浸式体验由通过使用双耳音频渲染技术的耳机重放生成的虚拟音频场景提供。在许多场景中，这种耳机重放可以基于头部跟踪，使得可以响应于用户的头部移动来进行渲染，这极大地增加了沉浸感。

许多应用的重要特征是如何生成和/或分布可以提供音频环境的自然且逼真感知的音频。例如，当为虚拟现实应用生成音频时，重要的是不仅生成期望的音频源，而且还修改这些音频源以提供音频环境的逼真感知，包括阻尼、反射、着色等。

对于室内声学，或更一般地，环境声学，声波从环境的墙壁、地板、天花板、对象等的反射引起声音源信号的延迟和衰减(通常是频率相关的)版本经由不同的路径到达收听者(即，VR/AR系统的用户)。组合的效果可以通过脉冲响应来建模，所述脉冲响应在下文中可以被称为房间脉冲响应(RIR)(尽管该术语建议针对房间形式的声学环境的特定用途，但它往往相对于声学环境更一般地使用，无论该声学环境是否对应于房间)。

如图1所示，房间脉冲响应通常包括取决于声音源到收听者的距离的直达声音，随后是表征房间的声学性质的混响部分。房间的尺寸和形状、声音源和收听者在房间中的位置以及房间表面的反射性质都在该混响部分的特性中起作用。

混响部分可以被分解成通常重叠的两个时间区域。第一区域包含所谓的早期反射，其表示在到达收听者之前声音源在房间内部的墙壁或障碍物上的隔离反射。随着时间滞后增加，在固定时间间隔中存在的反射的数量增加，并且路径可以包括二次或更高阶反射(例如，反射可以离开若干墙壁或墙壁和天花板两者等)。

混响部分中的第二区域是这些反射的密度增加到它们不再被人脑隔离的程度的部分。该区域通常被称为扩散混响、后期混响或混响尾部。

混响部分包含给予听觉系统关于源的距离以及房间的大小和声学性质的信息的提示。相对于消声部分的能量的混响部分的能量在很大程度上决定了声音源的感知距离。最早反射的水平和延迟可以提供关于声音源与墙壁的接近程度的提示，并且通过人体测量的滤波可以加强对特定墙壁、地板或天花板的评估。

(早期)反射的密度有助于房间的感知尺寸。反射在能量水平上下降60dB所花费的时间(由混响时间T₆₀指示)是反射在房间中消散得有多快的常用度量。混响时间提供关于房间的声学性质的信息；诸如具体地，墙壁是非常反射性的(例如，浴室)还是存在对声音的大量吸收(例如，具有家具、地毯和窗帘的卧室)。

此外，当RIR是双耳房间脉冲响应(BRIR)的一部分时，RIR可能取决于用户的人体测量性质，这是由于RIR被头部、耳朵和肩部过滤；即头部相关脉冲响应(HRIR)。

由于后期混响中的反射不能被收听者区分和隔离，因此它们通常利用例如使用反馈延迟网络的参数混响器来参数化地模拟和表示，如在众所周知的Jot混响器中那样。

对于早期反射，入射方向和距离相关延迟是人类提取关于房间和声音源的相对位置的信息的重要线索。因此，早期反射的模拟必须比后期混响更明确。因此，在有效的声学渲染算法中，早期反射与后期混响不同地被模拟。用于早期反射的众所周知的方法是对房间边界中的每一个中的声音源进行镜像，以生成表示反射的虚拟声音源。

对于早期反射，用户和/或声音源相对于房间的边界(墙壁、天花板、地板)的位置是相关的，而对于后期混响，房间的声学响应是扩散的，并且因此在整个房间中往往更均匀。这允许后期混响的模拟通常比早期反射在计算上更有效。

由房间定义的后期混响的两个主要性质是T60值和混响水平。就扩散混响脉冲响应而言，这些值表示脉冲响应的斜率和幅度。在自然房间中，两者通常都是强频率相关的。

T60参数对于提供房间的反射性和大小的印象是重要的，而混响水平指示房间边界上的多次反射的复合效果。混响水平及其频率行为取决于预延迟，指示早期反射和后期混响之间的区别在何处(参见图2)。

混响水平具有其相对于直达声音的主要心理声学相关性。两者之间的水平差异是声音源与用户(或RIR测量点)之间的距离的指示。更大的距离将引起直达声音的更多衰减，而后期混响的水平保持相同(它在整个房间中是相同的)。类似地，对于具有取决于用户相对于源在何处的方向性的源，当用户在源周围移动时，方向性影响直达响应，但不影响混响的水平。

为了渲染提供音频环境的感知并且具体地提供收听者被认为位于其中的虚拟房间的声学性质的感知的逼真音频体验，可以通过反映房间脉冲响应的渲染过程来渲染一个或多个音频信号和对象。这通常包括单独生成直达路径、早期反射和扩散后期混响分量，并且然后将此组合在渲染输出中。

通常，使用不同的方法来生成不同的分量，其中，直达声音和早期反射通常通过直接滤波(例如，使用双耳处理和头部相关传递函数滤波器)来生成。相比之下，通常使用参数混响器(诸如Jot混响器)来生成扩散后期混响。

在许多情况和应用中，这样的方法可以生成有利且自然发声的音频。然而，已知的方法在一些情况下并且对于一些应用可能是次优的。例如，在许多实施例中，它可能导致不是预期房间声学的完美表示的渲染音频。在许多情况下，生成更准确的声学环境可能需要附加复杂性和/或计算资源。用于如何表示和生成表示声学环境的音频的当前方法和提议可能往往是次优和/或不足和/或不完整的。这可以例如特别是针对例如虚拟现实应用的情况，其中，所渲染的声学环境可以对沉浸感和一般用户体验具有显著影响。

因此，改进的方法将是有利的。特别地，允许改进的操作、增加的灵活性、降低的复杂度、促进的实施、改进的音频体验、改进的音频质量、减少的计算负担、针对虚拟/混合/增强现实应用的改进的适合性和/或性能、改进的感知线索、不同声学环境的改进的表示和渲染、和/或改进的性能和/或操作的方法将是有利的。

发明内容

因此，本发明试图优选单独地或以任何组合减轻、缓解或消除上述缺点中的一个或多个。

根据本发明的一个方面，提供了一种用于生成颤动回波音频信号的音频装置，所述音频装置包括：接收器，其被布置为接收指示房间的性质的房间元数据；估计器，其被布置为响应于所述房间元数据而确定所述房间的颤动回波估计，所述颤动回波估计指示所述房间中的颤动回波的水平；信号生成器，其包括反馈延迟网络，所述反馈延迟网络包括多个反馈回路，所述信号生成器被布置为根据被馈送音频源信号的所述多个反馈回路中的一组反馈回路的输出信号生成所述颤动回波音频信号；以及适配器，其被设置为响应于所述颤动回波估计而调整所述一组反馈回路中的第一反馈回路的第一参数。

在许多实施例中和在许多场景中，本发明可以提供改进的用户体验，并且可以具体地提供声学环境的改进的用户感知。该方法还可以允许数据的有效通信，从而允许这样的改进，并且具体地在许多场景中可以不需要附加数据，而是可以基于可以出于其他目的而传送的环境数据(具体地房间数据)。

具体地，发明人已经认识到，现有方法可能无法准确地反映所有声学现象，并且可以通过生成和渲染可以提供声学环境中的颤动回波效应的感知的颤动回波音频信号来实现实质性改进。此外，在许多实施例中，使用包括具有多个反馈回路的反馈延迟网络的信号生成器生成这种颤动回波音频信号可以提供非常有效的实施方式，同时允许颤动回波效应的准确渲染。此外，它可以允许与用于生成扩散混响的功能的共性，并且可以允许提供高效且组合的混响器功能，其可以例如动态地调整分配给不同类型的混响和回波的资源。

该方法可以提供允许感知到更自然的声音回波的调整。在许多实施例中，它可以允许生成颤动回波效应，而不需要传输专用数据来控制回波。该装置可以具体地根据房间元数据确定是否生成颤动回波，或可以例如调整颤动回波的参数(诸如延迟、频率响应和/或水平)以提供更准确地反映自然声学环境的信号。

颤动回波估计可以指示房间中的颤动回波的水平/程度/量/普遍性，并且具体地指示相对于房间中的扩散混响的颤动回波的水平/程度/量/普遍性。颤动回波可以是房间的两个相对的墙壁/边界/侧面之间的颤动回波，并且具体地是房间的两个平行的墙壁/边界/侧面之间的颤动回波。

所述反馈延迟网络可以包括被布置为将至少音频源信号耦合到所述一组反馈回路中的至少所述反馈回路的网络、以及被布置为通过组合所述一组反馈回路中的至少所述反馈回路的输出信号来生成颤动回波音频信号的输出电路。

所述一组反馈回路可以包括一个或多个反馈回路。

第一参数可以例如是第一反馈回路的反馈因子、第一反馈回路的传递函数参数、第一反馈回路的频率依赖性、第一反馈回路的回路增益、反馈回路的延迟、反馈回路的输出信号和/或颤动回波音频信号的权重/增益/水平。

在一些实施例中，所述适配器可以被布置为响应于颤动回波估计而改变所述一组反馈回路中的反馈回路的数量。

在一些实施例中，所述信号生成器被布置为还从不包括在所述一组反馈回路中的反馈回路的输出生成扩散混响信号。当音频源信号和/或其他音频源信号被馈送到不是所述一组反馈回路中的反馈回路时，可以生成扩散混响信号。

在许多实施例中，所述装置可以被布置为响应于房间脉冲响应而确定颤动回波估计。

所述接收器可以被布置为接收音频源信号。

根据本发明的可选特征，所述房间元数据包括所述房间的尺寸数据，并且响应于相对于第二方向上的房间尺寸的第一方向上的房间尺寸而确定所述颤动回波估计。

在许多实施例中，这可以提供特别有利的操作和改进的自适应颤动回波模拟。

尺寸数据可以提供房间的一个或多个相对的墙壁/侧面/边界之间的距离的指示。

颤动回波估计可以指示针对第一方向上的房间尺寸与第二方向上的房间尺寸之间的增加的差异的增加水平的颤动回波。

根据本发明的可选特征，所述房间元数据包括所述房间的侧面的声学反射数据，并且响应于相对于所述房间的第二边界的声学反射衰减的所述房间的第一边界的声学反射衰减而确定所述颤动回波估计。

在许多实施例中，这可以提供特别有利的操作和改进的自适应颤动回波模拟。

第一边界和第二边界可以是房间的墙壁或侧面。

根据本发明的可选特征，所述适配器被布置为针对指示增加水平的所述颤动回波的所述颤动回波估计增加从所述第一反馈回路到其自身的反馈因子。

这可以提供特别有利的操作，并且可以导致改进的用户体验和对声学环境的更自然感知。

所述适配器可以被布置为减小从多个反馈回路中的第一反馈回路到第二反馈回路的反馈因子，以用于指示增加水平的颤动回波的颤动回波估计。所述第二反馈回路可以是不包括在所述一组反馈回路中的反馈回路。

根据本发明的可选特征，所述多个反馈回路到所述多个反馈回路中的其他反馈回路的至少一些反馈因子取决于所述房间的房间尺寸。

在一些实施例中，所述一组反馈回路到所述多个反馈回路中的其他反馈回路的至少一些反馈因子取决于所述房间的房间尺寸。

根据本发明的可选特征，所述信号生成器被布置为进一步从不包括在所述一组反馈回路中的反馈回路的输出生成扩散混响信号；并且所述适配器被布置为响应于所述颤动回波估计而改变包括在所述一组反馈回路中的反馈回路的数量。

该方法可以允许房间的非常有效的音频仿真。它可以例如允许低复杂性实施方式，因为反馈回路可以用于不同目的(扩散混响和反馈回路生成)，其中，反馈回路在这些之间的分配可能是动态调整的。

当音频源信号和/或其他音频源信号被馈送到不是所述一组反馈回路中的反馈回路时，可以生成扩散混响信号。

根据本发明的可选特征，所述信号生成器包括在所述音频源信号被馈送到所述一组反馈回路中的反馈回路之前用于所述音频源信号的延迟，并且所述适配器被布置为响应于所述音频源信号的音频源、收听者位置和所述房间的边界中的至少一个的位置来调整所述延迟。

这可以提供特别有利的操作，并且可以导致改进的用户体验和对声学环境的更自然感知。

根据本发明的可选特征，所述一组反馈回路包括至少两个反馈回路，并且所述信号生成器包括在所述音频源信号被馈送到所述至少两个反馈回路之前用于所述音频源信号的延迟，所述延迟对于所述至少两个反馈回路是不同的。

在许多实施例中，这可以提供特别有利的操作和/或性能。

根据本发明的可选特征，所述一组反馈回路包括不多于两个回路。

在许多实施例中，这可以提供特别有利的操作和/或性能。

根据本发明的可选特征，所述适配器被布置为调整用于所述多个反馈回路的反馈因子，使得不存在从所述一组反馈回路中的反馈回路到不包括在所述一组反馈回路中的任何反馈回路的反馈。

在一些实施例中，所述适配器被布置为调整用于多个反馈回路的反馈因子，使得不存在从不包括在所述一组反馈回路中的任何反馈回路到所述一组反馈回路中的反馈回路的反馈。

根据本发明的可选特征，所述信号生成器被布置为还生成扩散混响信号，并且所述装置还包括：用于将空间处理应用于所述颤动回波信号的空间处理器，所述空间处理取决于所述音频源信号的源和所述房间的边界中的至少一个的位置；用于在空间处理之后组合所述扩散混响信号和所述颤动回波信号的组合器。

根据本发明的可选特征，所述音频装置还包括：用于将空间处理应用于所述颤动回波信号的空间处理器，所述空间处理取决于所述音频源信号的源和所述房间的侧面中的至少一个的位置。

根据本发明的可选特征，所述音频装置还包括被布置为将多个音频源信号馈送到所述多个反馈回路的电路，至少一个音频源信号仅被馈送到所述一组反馈回路中的反馈回路。

根据本发明的可选特征，所述信号生成器包括在所述音频源信号被馈送到所述一组反馈回路中的反馈回路之前的用于所述音频源信号的增益，并且所述适配器被布置为响应于所述音频源信号的音频源的位置、收听者位置、所述房间的边界的位置以及所述颤动回波音频信号的开始的反射阶数中的至少一个来调整所述增益。

根据本发明的可选特征，所述颤动回波音频信号表示所述房间的一对相对边界之间的颤动回波，所述信号生成器包括在被馈送到所述一组反馈回路中的反馈回路之前的用于所述音频源信号的频率相关增益，并且所述适配器被布置为响应于房间边界的所述房间元数据的声学反射数据而调整所述增益，所述声学反射数据指示针对不是所述一对相对的房间边界中的一个房间边界的至少一个房间边界的频率相关声学性质。

根据本发明的可选特征，所述一组反馈回路包括具有不同回路增益的至少两个反馈回路。

根据本发明的另一方面，提供了一种生成颤动回波音频信号的方法，所述方法包括：接收指示房间的性质的房间元数据；响应于所述房间元数据而确定所述房间的颤动回波估计，所述颤动回波估计指示所述房间中的颤动回波的水平；从被馈送音频源信号的一组反馈回路的输出信号生成所述颤动回波音频信号，所述一组反馈回路包括反馈延迟网络的多个反馈回路中的反馈回路；以及响应于所述颤动回波估计而调整所述一组反馈回路中的第一反馈回路的第一参数。

本发明的这些和其他方面、特征和优点将根据下文描述的(一个或多个)实施例而显而易见并将参考下文描述的(一个或多个)实施例得到阐述。

附图说明

现在将参考附图仅通过示例的方式描述本发明的实施例，其中，

图1图示了房间脉冲响应的示例；

图2图示了房间脉冲响应的示例；

图3图示了虚拟现实系统的元件的示例；

图4图示了根据本发明的一些实施例的用于生成颤动回波音频信号的音频装置的示例；

图5图示了根据本发明的一些实施例的用于生成音频信号的信号生成器的示例；

图6图示了Jot混响器的示例；

图7图示了根据本发明的一些实施例的颤动回波信号生成器的示例；

图8图示了房间脉冲响应的示例；

图9图示了颤动回波的示例；

图10图示了房间脉冲响应性质的示例；

图11图示了两个相对墙壁之间的颤动回波的示例；

图12图示了根据本发明的一些实施例的用于生成音频信号的信号生成器的电路的示例；

图13图示了根据本发明的一些实施例的用于生成音频信号的信号生成器的电路的示例；

图14图示了两个相对墙壁之间的颤动回波的示例；

图15图示了作为墙壁之间的反射次数的函数的距离增益的示例；

图16图示了根据本发明的一些实施例的用于生成音频信号的信号生成器的电路的示例；

图17图示了根据本发明的一些实施例的用于生成音频信号的信号生成器的电路的示例；并且

图18图示了根据本发明的一些实施例的用于生成音频信号的信号生成器的电路的示例。

具体实施方式

以下描述将集中于用于虚拟现实应用的音频处理和生成，但是应当理解，所描述的原理和概念可以用于许多其他应用和实施例中。

允许用户在虚拟世界中四处走动的虚拟体验正变得越来越流行，并且正在开发服务以满足这样的需求。

在一些系统中，VR应用可以由例如未使用任何远程VR数据或处理或甚至不具有对任何远程VR数据或处理的任何访问的独立设备在本地提供给用户。例如，设备(诸如游戏控制台)可以包括用于存储场景数据的存储、用于接收/生成用户姿态的输入、以及用于根据场景数据来生成对应的图像的处理器。

在其他系统中，VR应用可以远离用户来实施并且执行。例如，在用户本地的设备可以检测/接收被传送到处理数据以生成用户姿态的远程设备的移动/姿态数据。远程设备然后可以基于描述场景的场景数据来生成针对用户姿态的适合的视图图像和对应的音频信号。视图图像和对应的音频信号然后被传送到它们被呈现的在用户本地的设备。例如，远程设备可以直接地生成由本地设备直接地呈现的视频流(通常是立体/3D视频流)和对应的音频流。因此，在这样的示例中，除传送移动数据和呈现接收到的视频数据之外，本地设备可以不执行任何VR处理。

在许多系统中，功能可以跨本地设备和远程设备分布。例如，本地设备可以处理接收到的输入和传感器数据以生成连续地被传送到远程VR设备的用户姿态。远程VR设备可以然后生成对应的视图图像和对应的音频信号并且将这些传送到本地设备用于呈现。在其他系统中，远程VR设备可以不直接地生成视图图像和对应的音频信号，而是可以选择相关的场景数据并且将此传送到本地设备，其可以然后生成被呈现的视图图像和对应的音频信号。例如，远程VR设备可以识别最接近的捕获点并且提取对应的场景数据(例如，一组对象源及其位置元数据)并且将此传送到本地设备。本地设备可以然后处理接收到的场景数据以生成针对特定当前用户姿态的图像和音频信号。用户姿态通常对应于头部姿态，并且对用户姿态的提及通常可以被等效地认为对应于对头部姿态的提及。

在许多应用中，尤其是对于广播服务，源可以以独立于用户姿态的场景的图像(包括视频)和音频表示的形式传送或流式传输场景数据。例如，与某个虚拟房间的范围内的音频源相对应的信号和元数据可以被传送或流式传输到多个客户端。然后，个体客户端可以在本地合成与当前用户姿态相对应的音频信号。类似地，源可以传送音频环境的一般描述，包括描述环境中的音频源和环境的声学特性。然后可以在本地生成音频表示并将其呈现给用户，例如使用双耳渲染和处理。

图3图示了VR系统的这样的示例，其中，远程VR客户端设备301与VR服务器303例如经由网络305(例如，互联网)进行联络。服务器303可以被布置为同时支持潜在大量的客户端设备301。

VR服务器103可以例如通过传输包括图像数据形式的图像表示的图像信号来支持广播体验，客户端设备能够使用该图像信号来在本地合成与适当的用户姿态(姿态是指位置和/取向)相对应的视图图像。类似地，VR服务器303可以传送场景的音频表示，从而允许针对用户姿态在本地合成音频。具体地，当用户在虚拟环境中四处移动时，合成并呈现给用户的图像和音频被更新以反映用户在(虚拟)环境中的当前(虚拟)位置和取向。

在许多应用(诸如图3的应用)中，因此可能期望对场景进行建模并生成可以有效地包括在数据信号中的有效图像和音频表示，该数据信号然后可以被传送或流式传输到可以针对与捕获姿态不同的姿态在本地合成视图和音频的各种设备。

在一些实施例中，表示场景的模型可以例如在本地存储，并且可以在本地用于合成适当的图像和音频。例如，房间的音频模型可以包括可以在房间中听到的音频源的性质以及房间的声学性质的指示。然后可以使用模型数据来合成特定位置的适当音频。

如何表示音频场景以及如何使用该表示来生成音频是一个关键问题。旨在向收听者提供自然且逼真效果的音频渲染通常包括声学环境的渲染。对于许多环境，这包括存在于环境中(诸如在房间中)的扩散混响的表示和渲染。已经发现这种扩散混响的渲染和表示对环境的感知(诸如对音频是否被感知为表示自然且逼真的环境)具有显著影响。在下文中，将描述用于表示音频场景以及基于该表示渲染音频并且特别地扩散混响音频的增强的有利方法。

将参考如图4所示的音频装置来描述该方法。音频装置被布置为生成表示声学环境中的音频的音频输出信号。具体地，音频装置可以生成表示由在具有多个音频源并且具有给定声学性质的虚拟环境中四处移动的用户所感知的音频的音频。每个音频源由表示来自音频源的声音的音频信号以及可以描述音频源的特性(诸如提供音频信号的水平指示和/或音频源的位置)的元数据来表示。另外，提供元数据以表征声学环境。

在该示例中，音频装置被具体布置为生成表示在当前收听环境中可以如何感知音频源的音频信号。它包括用于生成直达和早期反射音频信号分量以及扩散混响音频信号分量的功能。因此，音频装置可以接收一个或多个音频源信号，并处理这些信号中的一个、一些或全部，以生成包括反映声学环境的行为的不同分量的对应输出信号。

另外，该装置被布置为生成颤动回波音频信号，该颤动回波音频信号取决于指示房间的性质的房间元数据。如果声学环境是房间，则该房间可以由房间元数据表征，并且音频装置可以被布置为生成可以对可能在这样的房间中发生的颤动回波进行仿真的颤动回波音频信号。颤动回波音频信号可以是与直达声音、早期反射及/或扩散混响音频分量组合以提供更准确且自然的感知声学环境的附加音频分量(但应理解，在一些实施例中，仅生成颤动回波音频信号)。此外，由于颤动回波通常非常特定于各个房间，并且实际上往往仅对于一些房间类型/性质是显著的或明显的，因此音频装置可以在适合于特定房间时具体地提供颤动回波音频信号，并且通常其中，颤动回波音频信号适于反映这些特定条件。特别地，在许多实施例中，颤动回波音频信号的生成可以以房间元数据为条件，并且只有在房间元数据满足特定准则时才可以生成颤动回波音频信号。

对于一些房间类型和性质，房间的相对(并且具体地平行)边界/墙壁除了有助于生成可能的早期反射和扩散混响之外，还可以以固定速率引起复发回波。这样的效果可以被感知为在相对的墙壁之间来回反弹的颤动回波反射声音，其中，能量随着反射的顺序增加而衰减。颤动回波可以包括许多频率(并且具体地例如所有音频频率)，并且不限于例如对于房间模式已知的驻波频率。它们往往对于中高频是最显著的。

对于颤动回波，反射的声音基本上从反射墙壁以固定速率以稍微更低的水平返回。回波的速率取决于引起回波的墙壁之间的距离(即，飞行时间)。水平降低取决于距离、衰减和所涉及的墙壁的反射特性。这些参数通常是频率相关的。

颤动回波是可能在许多房间中发生的声学特征，其中，特定的房间性质允许合适的反射，诸如例如走廊、楼梯井或在不同边界上具有非常不同的材料性质的房间。包括这种声学效果的仿真可以提供引人注目的体验并且为用户创建更多的沉浸感。然而，常用的方法不能并且也不执行这样的仿真。

图4的音频装置具体地包括接收器401，该接收器401被布置为接收指示房间的性质的房间元数据。生成颤动回波音频信号以表示房间中的颤动回波，并且所生成的输出信号可以具体地包括反映房间的特定颤动回波性质的颤动回波音频信号。

该装置具体地使用反馈延迟网络生成颤动回波音频信号。这样的反馈延迟网络也可以由参数混响器使用以生成扩散混响，并且功能因此可以重用相同的功能。这种方法可以提供降低的复杂性和/或促进的操作，并且可以例如在一些实施例中允许根据特定房间性质在扩散混响和颤动回波模拟之间动态且灵活地分配资源。对于参数混响器中的反馈延迟网络的现有结构，图4的方法可以将房间声学的其他特性特征添加到音频渲染中采用的模拟工具集合，从而在虚拟渲染中提供公共房间的更逼真的建模。

图4的音频装置被布置为生成颤动回波音频信号，并且包括被布置为接收指示房间的性质的房间元数据的接收器401。

房间元数据可以具体地包括表征房间的尺寸(诸如矩形房间的三个尺寸)的数据。在一些实施例中，房间元数据可以仅表示房间的一个或两个尺寸。其余的(一个或多个)尺寸可以例如是预定的或假定的尺寸，例如房间元数据可以指示房间的宽度和长度，并且音频装置可以假定标准高度。在一些实施例中，可以提供绝对尺寸数据，而其他实施例可以替代地或另外地采用相对尺寸数据信息。在一些实施例中，可以例如提供房间轮廓，其不仅指示例如房间的侧面/边界/墙壁之间的距离，而且还指示房间的布局。

在不同的实施例中，尺寸数据可以在不同的实施例中以不同的方式提供。例如，房间元数据可以包括例如以米为单位的距离、具有尺寸比的房间体积、针对每个尺寸的飞行时间持续时间、二维或三维数据(如网格)等。

在一些实施例中，房间元数据可以包括声学反射数据，诸如例如房间的一个或多个墙壁的反射系数或吸收系数，并且在许多情况下，房间的所有墙壁/边界的反射系数或吸收系数。

这样的信息可以被提供为房间的每个墙壁的声学吸收系数、传输系数、耦合系数、扩散系数。

除了房间元数据之外，接收器401还可以接收表示要渲染的房间中的音频源的音频的一个或多个音频源信号。在许多实施例中，音频源可由音频对象表示，但应理解，特定音频源信号将取决于特定实施例，并且可以(例如)是声道源或高阶立体混响(HOA)源。音频装置被布置为生成接收到的音频源信号/对象中的一个或多个的输出信号，并且通常将生成包括所有音频源的输出信号。在许多情况下，将从具有指示它们在房间内的位置元数据的所有音频源的子集生成输出信号。音频装置可以具体地处理所有接收到的音频源信号以生成反映房间的声学性质的输出信号，该声学性质包括直达声音路径、早期反射、扩散混响和颤动回波。该处理可以例如顺序地或并行地应用于每个音频源信号。所得到的输出信号可以被组合以生成单个渲染信号。例如，可以通过针对每个源对所生成的输出信号(的至少部分)进行双耳处理并且然后将双耳信号组合成单个输出立体声信号来生成双耳立体声信号。

应当理解，所描述的方法可以应用于仅生成颤动回波音频信号并且例如不生成任何直达、早期反射和/或扩散混响信号分量的音频装置。然而，以下描述将集中于其中音频装置被布置为模拟典型声学环境的一系列声学效果的实施例。

音频装置包括信号生成器403，该信号生成器403被布置为从一个或多个(并且通常所有)接收到的音频源信号生成一个或多个输出信号。在本示例中，信号生成器403将生成(一个或多个)输出信号以反映预期的声学环境。

图5图示了信号生成器403的示例。音频装置包括用于每个音频源的路径渲染器501。每个路径渲染器501被布置为生成表示从音频源到收听者的直达路径的直达路径信号分量。直达路径信号分量是基于收听者和音频源的位置生成的，并且可以具体地通过根据距离和例如音频源在到用户的特定方向上的相对增益(例如，对于非全向源)针对音频源潜在地频率相关性地缩放音频信号来生成直达信号分量。

在许多实施例中，渲染器501还可以基于在源位置与用户位置之间的遮挡或衍射(虚拟)元素来生成直达路径信号。

在许多实施例中，路径渲染器501还可以为个体路径生成另外的信号分量，其中，这些信号分量包括一个或多个反射。这可以例如通过评估墙壁、天花板等的反射来完成，如本领域技术人员将已知的。因此，路径渲染器501还可以生成早期反射分量。直达路径和反射路径分量可以被组合成用于每个路径渲染器的单个输出信号，并且因此可以为每个音频源生成表示直达路径和早期/离散反射的单个信号。

在一些实施例中，每个音频源的输出音频信号可以是例如通过基于音频源和收听者的相对(角度)位置应用HRTF或HRIR滤波器而生成的双耳信号，并且因此每个输出信号可以包括左耳和右耳(子)信号两者。

来自路径渲染器501的输出信号被提供给组合器503，该组合器503组合来自不同路径渲染器501的信号以生成单个组合信号。在许多实施例中，可以生成双耳输出信号，并且组合器可以执行来自路径渲染器501的个体信号的组合(诸如加权组合)，即，可以将来自路径渲染器501的所有右耳信号加在一起以生成组合的右耳信号，并且可以将来自路径渲染器501的所有左耳信号加在一起以生成组合的左耳信号。

应理解，可以通过使用诸如VBAP的平移算法渲染到扬声器配置(例如，2.0、5.1、7.1、9.1.4、22.2)来替代双耳渲染，从而生成2个或更多个扬声器信号。在大多数这样的实施例中，组合器503将对扬声器配置中的每个扬声器信号的所有贡献进行组合。

路径渲染器和组合器可以以任何合适的方式实施，通常包括作为用于在合适的计算资源上(诸如微控制器、微处理器、数字信号处理器或包括诸如存储器等的支持电路的中央处理单元等)处理的可执行代码。应当理解，多个路径渲染器可以被实施为并行功能单元(诸如例如一组专用处理单元)，或可以被实施为针对每个音频源的重复操作。通常，针对每个音频源/信号执行相同的算法/代码。

除了个体路径音频分量之外，音频装置还被布置为生成表示环境中的扩散混响的信号分量。通过将源信号组合成下混信号并且然后将混响算法应用于下混信号以生成扩散混响信号来(有效地)生成扩散混响信号。

图5的音频装置包括下混器505，下混器505接收多个声音源(通常是混响器模拟扩散混响的声学环境内的所有源)的音频信号，并将它们组合成下混。因此，下混反映了环境中生成的所有声音。下混被馈送到混响器507，混响器507被布置为基于下混生成扩散混响信号。混响器507可以具体地是参数混响器，诸如Jot混响器。混响器507耦合到组合器503，扩散混响信号被馈送到组合器503。然后，组合器503继续将扩散混响信号与表示个体路径的路径信号组合，以生成表示收听者感知的环境中的组合声音的组合音频信号。

合适的混响器的示例是图6所示的Jot混响器。该混响器包括回路输入矢量b和回路提取矩阵C，以控制输入样本如何分布在混响器的反馈回路上以及如何从回路生成输出信号。

音频装置还包括回波信号生成器509，该回波信号生成器509被布置为生成颤动回波音频信号(并且在许多实施例中，可以生成多个颤动回波音频信号)。回波信号生成器509接收(一个或多个)输入音频源信号并生成一个或多个颤动回波音频信号，所述一个或多个颤动回波音频信号被馈送到组合器503，在组合器503中，所述一个或多个颤动回波音频信号与其他生成的信号分量组合以提供反映正被模拟的房间的声学性质的输出信号。

回波信号生成器509并且因此信号生成器403包括具有多个反馈回路的反馈延迟网络。

在图7中图示了回波信号生成器509的这种反馈延迟网络的示例，其中，图示了三个反馈回路。反馈延迟网络可以包括多个反馈回路、反馈网络和输出电路，其中，每个(或至少一个)反馈回路具有接收输入音频信号的输入，并且其中，每个反馈回路实施回路传递函数(其具体地可以是延迟)，所述反馈网络将反馈回路的输出信号馈送回到回路的输入端以与输入音频信号组合，所述输出电路被布置为生成反馈延迟网络的输出信号作为反馈回路的输出信号的组合。反馈网络可以针对每个反馈回路实施用于反馈回路的输出信号到反馈回路的输入端的反馈路径，并且通常还可以实施到其他反馈回路的一个或多个输入端的反馈路径。在许多实施例中，反馈网络可以实施从每个反馈回路的输出端到所有反馈回路的每个输入端的反馈路径。每个反馈路径通常实施衰减因子(或等效地，增益因子)，但是在一些实施例中可以提供诸如例如实施频率相关增益的更复杂反馈路径(例如，它可以实施滤波器函数)。在一些实施例中，回路传递函数可以是实施期望的频率响应和增益因子两者的滤波器，并且反馈池可以简单地是平坦的单位增益反馈(例如，对应于表示在对角线上具有1的系数的反馈的反馈矩阵)。在许多实施例中，反馈网络可以由具有用于每个反馈回路对组合的系数的反馈矩阵来表示。

反馈延迟网络通常基于其中具有不同延迟的反馈回路。输入信号被插入回路中，并且利用适当的反馈增益，信号被反馈到回路中。通过组合回路中的信号来提取输出信号。因此，所馈入的信号以不同的延迟连续地重复。使用互质的延迟并且具有在回路之间混合信号的反馈矩阵可以创建类似于现实空间中的混响的模式，并且特别适合于生成扩散混响，如在Jot或其他参数混响器的示例中。

反馈矩阵中的元素的绝对值被设计为低于1，以便实现稳定的衰减脉冲响应。可以结合延迟来设置系数，以实现期望的混响时间(T60)。在许多实施方式中，在回路中包括附加增益或滤波器。这些滤波器可以控制衰减而不是矩阵。使用滤波器具有衰减响应对于不同频率可以不同的益处。

在音频装置中，这样的反馈延迟网络可以用于生成颤动回波音频信号，并且在许多实施例中，反馈延迟网络可以用于生成颤动回波音频信号和扩散混响两者。特别地，相同的反馈延迟网络可以用于两者，其中，参数值被确定以提供期望的效果。具体地，当不生成颤动回波时，反馈延迟网络的所有反馈回路可以用于生成扩散混响分量，并且可以相应地设置参数。如果要生成颤动回波音频信号，那么使用一个或多个(通常仅几个，诸如不多于两个或三个)反馈回路来生成颤动回波音频信号，并且使用其余的反馈回路来生成扩散混响信号。然后，重新分配的反馈回路被设置有用于生成颤动回波音频信号的合适参数。在许多实施例中，可以提供总共例如8-20个反馈回路，其中，这些反馈回路中的不多于三个用于在适当时生成颤动回波音频信号。

作为具体示例，该方法可以提供一种使用生成扩散混响的参数混响器中的反馈延迟网络的现有结构来包括颤动回波模拟的方式。这可以将房间声学的其他特性特征添加到该组模拟工具，从而在虚拟渲染中提供公共房间的更逼真的建模。

因此，反馈延迟网络对于回波信号生成器509和混响器507可以是公共的。

在图7的示例中，输入信号经由包括预增益701的输入电路馈送到每个反馈回路。反馈回路的输入包括组合器703，该组合器703将输入音频源信号与被反馈到反馈回路的(一个或多个)信号组合。每个回路包括回路滤波器705(其可以包括延迟)，其输出被馈送到反馈网络/矩阵707，反馈网络/矩阵707向回路输入提供反馈。此外，输出电路将来自回路的输出信号组合成输出信号。输出电路具体地包括一组增益709和组合器711，该组合器711被布置为生成反馈延迟网络的输出信号作为来自反馈回路的输出信号的加权组合。

音频装置被布置为调整颤动回波音频信号生成。特别地，在许多实施例中，音频装置可以被布置为根据模拟房间的房间性质来调整颤动回波的程度或水平，并且实际上在许多实施例中，音频装置可以能够根据房间性质来调整是否生成颤动回波音频信号。因此，颤动回波模拟不仅仅是提供颤动回波效应的颤动回波音频信号的静态生成，而是取决于房间性质的动态调整的颤动回波生成，并且特别地不是总是生成颤动回波效应，在许多实施例中，这可以仅在确定颤动回波在特定房间中可能是显著的时才完成。

音频装置包括估计器405，该估计器405被布置为基于接收到的房间元数据来确定房间的颤动回波估计。颤动回波估计指示房间中的颤动回波的水平/程度/量/普遍性。

用于确定颤动回波估计的确切方法和算法或函数可以在不同实施例之间不同，并且可以取决于个别应用所需的确切性能和操作。在许多实施例中，颤动回波估计可以被生成为指示房间元数据的颤动回波的增加的水平，其指示一对相对的边界/墙壁之间的反射高于其他对边界/墙壁。例如，如果该对相对的墙壁比其他对相对的墙壁彼此基本上更远离，和/或如果该对相对的墙壁的组合反射衰减低于其他对墙壁的组合反射衰减，则可能是这种情况。在这种情况下，在一对相对墙壁之间发生的回波可能比在墙壁之间发生的其他反射路径强得多，并且这可能导致相对于其他反射更显著的颤动回波(由一对相对墙壁生成)，产生例如扩散混响。具体地，这些颤动回波可能比产生例如扩散混响的其他反射衰减得更慢。这可能导致在由源发射之后的一定量的时间(例如，30ms)之后的更显著的颤动回波。

估计器405耦合到适配器407，该适配器407被布置为响应于颤动回波估计而调整反馈延迟网络的至少一个反馈回路的参数。在许多实施例中，参数可以是回路到自身的反馈因子(其可以是频率相关的)、回路到反馈延迟网络的另一个回路的反馈因子(其可以是频率相关的)、从另一个回路到该回路的反馈因子(其可以是频率相关的)；用于生成输出信号的回路增益/权重、回路延迟、回路传递函数和/或提取系数/权重。

在许多实施例中，公共反馈延迟网络可以用于生成扩散混响和用于生成颤动回波信号。在这样的情况下，可以动态地分配反馈回路以用于扩散混响生成或用于颤动回波音频信号生成，并且这可以通过调整回路的参数以适合于扩散混响或颤动回波音频信号来完成。因此，在许多实施例中，适配器407可以针对至少一个反馈回路被布置为响应于颤动回波估计而在用于生成扩散混响信号的参数值与用于生成颤动回波音频信号的参数之间切换。

因此，音频装置被布置为确定被认为存在于房间中的颤动回波的程度，并且可以设置反馈延迟网络的反馈回路以生成对应于该颤动回波的颤动回波音频信号。

该方法可以在许多实施例中提供改进的声学模拟，并且特别地可以在模拟具有导致特定颤动回波显著的特定特性的房间时提供更自然的声音音频，而不牺牲颤动回波可能不显著或甚至不明显的房间的性能。

定义混响响应的主要驱动因素是声波的行进距离。它导致衰减和延迟。然而，表面上的每次反射导致附加衰减而不增加任何延迟。因此，小房间尺寸中的重复反射比大房间尺寸衰减得更快。颤动回波在短房间尺寸中比在大房间尺寸中衰减得更快。

颤动回波衰减率通常与房间的混响时间T60一致，因为房间的不同尺寸大致相似。这意味着颤动回波与跨多个尺寸采取不同路径的其他反射混合。这些导致不太规则的反射行为。由于类似的衰减特性，在许多情况下，颤动回波将不是特别明显的，并且不考虑典型的当前方法。

然而，当一个房间尺寸通过大得多而明显偏离其他房间尺寸时，在该尺寸上将存在显著偏离房间中的大部分反射率的颤动回波。它将比其他反射路径衰减得更慢，因为与房间边界的反射相互作用将更少。这使其与其余混响突出，因为较少的反射导致较少的随时间衰减，并且因此变得更可听见。在图8中图示了示出颤动回波的房间脉冲响应的示例(示例是具有40×2×2.5m的尺寸的走廊)。

类似地，当两个平行的墙壁比房间中的其他墙壁明显更具反射性时，颤动回波可以在混响响应中突出。这使得该尺寸中的颤动回波衰减更慢，因为与墙壁的每次相互作用比在其他尺寸和穿过多个尺寸的反射路径中的颤动回波中更不具破坏性。

如所描述的，颤动回波可以由两个平行表面之间的声波的重复反弹引起。这样的回波往往存在于所有房间中，但是在一些房间中更突出，这取决于其形状或其边界的相对材料性质。

在示例中，估计器405可以生成颤动回波音频信号以反映房间尺寸的差异。房间元数据可以包括房间的尺寸数据，并且适配器407可以基于相对于第二方向上的房间尺寸的第一方向上的房间尺寸来确定颤动回波估计。例如，可以根据由房间元数据指示的房间的大小的信息来确定矩形房间中的两对平行墙壁之间的水平尺寸。最长尺寸和最短尺寸的比率(或第二最长尺寸)，并且用作颤动回波有多强的指示，即，该比率可以直接用作颤动回波估计。

适配器407然后可以例如将比率形式的颤动回波估计与阈值进行比较，并且如果超过阈值，则它可以将反馈延迟网络的一些反馈回路配置为生成颤动回波音频信号，并且如果它低于阈值，则它可以替代地将回路配置为有助于生成扩散混响(并且因此不生成颤动回波音频信号)。在其他实施例中，使用更渐进的方法，诸如例如通过永久地使用一个或多个反馈回路来生成颤动回波音频信号，但是这具有为比率/颤动回波估计的单调递增函数的幅度。

替代地或另外地，在一些实施例中，适配器407可以响应于房间的侧面/边界/墙壁的声学反射衰减的变化而确定颤动回波音频信号。房间元数据可以包括房间墙壁的声学反射衰减，并且颤动回波估计可以被生成为反映这些的变化。具体地，可以响应于房间的一对相对侧的组合声学反射衰减相对于房间的其他对相对侧的组合声学反射衰减之间的差异而生成颤动回波估计。例如可以确定这种组合的声学反射衰减之间的比率，并且可以将颤动回波估计直接生成为该比率。差异越大，颤动回波估计越高。如针对尺寸示例所描述的，适配器407可以继续基于该比率来调整操作。

应当理解，在许多实施例中，颤动回波估计可以作为不同考虑因素的组合来生成，并且具体地，在许多实施例中，当生成颤动回波估计时，可以考虑房间尺寸和房间的墙壁/侧面的声学反射衰减两者。

如上所述，显著的颤动回波的一个潜在原因是一个偏离尺寸显著长于(一个或多个)其他尺寸的房间，诸如对于走廊。在这种情况下，偏离尺寸中的两个相对墙壁的回波将具有更长的路径长度，这导致从房间脉冲响应(RIR)的其余部分突出的颤动回波。然而，完全正交于墙壁的反射路径可以由在短尺寸上的其他边界上具有附加反射但是在侧向方向上的延伸相对较小的反射路径补充。

因此，早期反射的大部分的路径长度由偏离尺寸中的距离支配。对于更高的反射阶数，这种效果变得更强。如果镜像源在一个尺寸上扩展例如约40m，则在另一尺寸上扩展例如约4m不会增加更多的距离。因此，不同阶次的多个反射将在RIR中彼此接近地分组，仅具有略微不同的滞后。

这意味着颤动回波不是纯粹由在两个平行表面之间来回反弹的声波引起的。该效应仅引起反射序列中的第一且最强的反射。表示在长边界中的一个上的一个或多个浅的附加反射的更多反射会随之而来。这些引起RIR中的集中能量的清晰可见的重复爆发。这可能导致颤动回波，其不仅是单个回波反射，而且每个回波基本上包括一系列复合反射。

朝向主颤动回波的更高阶，具有相似距离的其他反射将在时间上变得更密集地压缩。即在长房间边界上反弹一次或两次的路径的长度将比低阶更接近在长边界上没有反射的路径长度。在图9中图示了这种复合颤动回波的示例(其还示出了可能发生的时间压缩)。

在数字域中工作，这意味着在某个点处，多次反射有助于相同的(离散的)FDTER延迟。其贡献相加并使这些突发的脉冲响应幅度大于它们在无限采样率的情况下的脉冲响应幅度。

在特定示例中，音频装置通过使用参数混响器的现有框架来实施用于添加颤动回波的模拟的方法。因此，音频装置的整体复杂度可以基本上不改变。

音频装置可以使操作基于房间元数据，该房间元数据描述：

·房间尺寸，

·房间边界的位置和取向，和/或

·与房间边界相关的材料性质。

基于元数据，估计器405可以首先确定颤动回波是否是用户所在的房间的可能的可听声学性质。例如，当一个尺寸显著大于其他两个尺寸、或墙壁上的材料在一个尺寸上的反射性质显著大于在另一个尺寸上的反射性质时，可以认为是这种情况。可以生成反映这一点的颤动回波估计。

适配器407可以响应于颤动回波估计而调整信号生成器403的操作。如果这指示颤动回波是显著的，则修改参数混响器的反馈延迟网络的配置参数，使得其反馈回路中的一个或多个将对颤动回波进行建模。

然后，适配器407可以继续将回路延迟设置为与发生颤动回波的房间尺寸成比例，回路滤波器被设置为对应于涉及颤动回波的墙壁的(组合的)材料性质，并且反馈矩阵可以适于将回路与其余的常规反馈回路隔离。因此，可以设置反馈回路的多个参数来对颤动回波进行仿真。

因此，在一些实施例中，可以生成和评估颤动回波估计以确定是否模拟颤动回波。只有当颤动回波是可听见的时才是必要的。通常，可听颤动回波有两个潜在的主要根本原因：

·房间尺寸显著大于其他两个，

·墙壁上的材料在一个尺寸上的反射性质显著强于在另两个尺寸上的反射性质。

此外，上述内容的组合可能引起颤动。例如，当两个尺寸显著大于第三个尺寸时，但是这些尺寸中的一个的反射性比另一个小得多。

当房间尺寸是其他两个尺寸的最大值的两倍大时，房间尺寸可以例如被认为显著大于其他两个。替代准则可以是当一个房间尺寸是其他两个尺寸的平均尺寸的至少3.1倍时。在一些实施例中，它可以是房间尺寸比所有三个房间尺寸的平均值长至少50％。

如果房间不是矩形长方体(鞋盒(shoebox))，则可以将尺寸设置为所有三个尺寸中的几何形状的外部极限。

替代地，如果房间边界在一个尺寸上的材料性质与房间边界在其他尺寸上的材料性质显著不同，则房间可以有资格进行颤动回波模拟。反射可以由反映声学反射衰减的参数(诸如反射或吸收系数)表示。例如，如果两个墙壁在一个房间尺寸上的平均反射系数(在0(非反射)和1(全反射)之间的值)比两个墙壁在两个其他方向上的最大平均反射系数高至少0.2。类似地，可以将每个墙壁对的平均反射系数与所有墙壁的平均值或另外两个墙壁对的平均值进行比较。例如，如果平均反射系数比总平均值大至少20％。另外，可以引入最小所需反射系数，例如，平均反射系数必须至少为0.67。

在其他实施例中，可以使用吸收系数来反映声学反射衰减，并且这些可能需要在候选颤动尺寸上比在其他尺寸上更小。例如，可能需要小于墙壁对在其他尺寸上的平均吸收系数的85％的平均吸收系数。

反射(或吸收)系数通常是频率相关的。它们可以在所有频率上或在频率的子集上被平均。另外，平均可以在具有不同材料性质的墙壁段上发生。

因此，可以生成颤动回波估计以反映这样的参数，并且适配器407可以基于颤动回波估计是否满足合适的准则来确定是否模拟颤动回波。

颤动回波估计并且具体地决定是否将模拟颤动回波可以包括考虑房间尺寸和材料性质的组合。例如满足单独的准则中的任一个可能引起模拟颤动回波。只有当房间尺寸显著更大并且对应的平均材料性质显著不同时，其他实施例才能模拟颤动回波。可选地或替代地，候选颤动尺寸的反射系数可能另外需要为最小值。

在一些实施例中，尺寸和材料性质被组合成估计的衰减时间(例如，T60)。如果一个尺寸的估计的一维衰减时间比其他两个尺寸上的一维衰减时间的最大值长至少30％，则可以在该尺寸上模拟颤动回波。在其他实施例中，衰减时间可能需要比在其他尺寸上长至少0.5秒。

衰减时间可以从尺寸和相应的墙壁的平均反射系数来估计。在声波在该尺寸上来回行进房间所花费的时间内，由于声波行进的距离和墙壁上的两次反射，声波衰减。作为示例，可以根据下式计算估计的T60衰减时间：

这确定了大小为D的房间尺寸中的一个来回路径中的衰减。使用源的参考距离d_ref和平均反射系数计算能量衰减。参考了衰减60dB所需的那些中的多少，并且乘以用于行进2·D米的距离的持续时间。

在其他实施例中，例如，如果一维T60比针对整个房间估计的一维T60长10％，则可以将估计的一维衰减时间与整体房间衰减时间进行比较。可以利用诸如Sabine或Norris-Eyring公式的等式来估计整个房间T60。

是否应当模拟颤动回波的决定也可以是软决定。通过例如选择颤动回波可能仅听不见的低阈值和颤动回波可能听得见的高阈值，这些阈值之间的任何情况将导致0和1之间的置信度。权重w＝0对应于没有可听见的颤动回波，并且w＝1对应于颤动回波是可听见的完全置信度。

例如，如果尺寸1中的1维衰减时间与房间中的所有衰减时间的平均值进行比较，在110％处和在150％处可以存在阈值，其中，在110％以下，将没有模拟的颤动回波，在150％以上，置信度为1，并且在阈值之间从0线性地增加到1。/>

在一些实施例中，房间特性可能不直接可用，但是可以例如通过房间脉冲响应来表征。在一些实施例中，房间元数据可以包括RIR，并且估计器405可以被布置为响应于RIR而生成颤动回波估计。在该示例中，可以根据从RIR生成的颤动回波估计来确定反馈延迟网络的参数。测量脉冲响应更适合于具有偏离矩形鞋盒模型的任意形状的房间。

在这样的实施例中，可以使用幅度平方的平滑版本IR(e_平滑(n))来测量颤动回波的存在。通过将最小跟踪应用于IR(e_min(n))，可以隔离任何颤动回波分量。这是因为可辨别的颤动回波将比其余的混响反射更慢地衰减，并且跟踪最小值近似混响衰减包络。其示例在图10中示出。

如果存在颤动回波分量，则将两个信号相减会隔离颤动回波分量。如果该信号的能量超过某个阈值，则可以确定存在颤动回波。该决定也可以表示为混响的百分比，即

作为另一示例，两个回波图之间的差异e_平滑(n)-e_min(n)可以用于导出与颤动回波的延迟和衰减相关的性质，并且用于配置反馈延迟网络。

在一些实施例中，峰值拾取算法可以用于提取局部最大值及其时间戳。可以通过将指数衰减模型拟合到峰值来确定这些回波的衰减率。衰减率和时间戳可以一起用于确定反馈回路的参数。

适配器407可以被布置为根据期望的性能在不同的实施例中以不同的方式调整参数。用于生成颤动回波音频信号的参数可以显著不同于由反馈回路在生成扩散混响时所使用的参数。

用于生成混响的反馈延迟网络中的延迟通常被选择为相对较小，使得它们产生反射密度的快速累积。例如，通常使用12ms的平均值，但是对于高带宽信号(例如48kHz)，这通常甚至更小。

延迟的选择通常取决于混响时间(T60)。尽管这通常与房间的尺寸正相关，但是房间边界的材料性质也对T60具有显著影响，即材料性质在不增加延迟的情况下向RIR引入附加(除了由距离衰减引起的衰减之外的)衰减，并且房间尺寸决定了这些衰减在RIR中发生的速率。因此，参数混响器的配置主要由总体混响性质T60以及快速达到最小反射密度以准确地对房间进行建模的期望(例如：每秒1,000-10,000次反射)来确定。

相比之下，当反馈回路被配置为生成颤动回波音频信号时，适配器407可以选择对应于房间尺寸的回路延迟以便模拟颤动回波的速率。通常模拟总混响斜率T60的回路滤波器可以替代地被选择为与颤动回波所涉及的墙壁的平均材料性质相对应，以模拟墙壁在每次反射时的效果。

在许多实施例中，可以调整反馈矩阵以保持颤动回波与扩散混响生成分离，使得颤动回波的一致重现被模拟。如果房间中存在多个不同的颤动回波，则可以以类似的方式改变多个反馈回路的用途。

在许多实施例中，适配器407可以被布置为增加从第一反馈回路到其自身的反馈因子/增益，以用于指示增加水平的颤动回波的颤动回波估计。对于增加程度的颤动回波，可以增加从给定反馈回路到其自身的反馈。替代地或通常另外地，适配器407可以被布置为减小从多个反馈回路中的第一反馈回路到第二反馈回路的反馈因子，以用于指示增加水平的颤动回波的颤动回波估计。第二反馈回路可以是不被配置为用于颤动回波生成而是用于生成扩散混响的反馈回路。

在一些示例中，用于生成颤动回波的反馈回路可以仅反馈给自身。在一些示例中，用于生成颤动回波的反馈回路可以不反馈到被配置为生成颤动回波的任何其他反馈回路。在一些示例中，用于生成颤动回波的反馈回路可以仅从其自身接收反馈信号(在用于生成颤动回波的一组反馈回路中或可能在反馈延迟网络的所有反馈回路中)。

调整可以例如是逐渐调整，但是在其他实施例中，调整可以例如是阶跃函数。例如，如果颤动回波估计指示颤动回波不显著，则合适的反馈因子可以相对较低，因为反馈回路可以主要用于贡献于扩散混响，在这种情况下，来自给定回路的反馈越来越多地分布到不同的回路，以反映构成扩散回波的许多不同的反射。然而，如果颤动回波估计指示颤动回波是显著的，则可以增加回路的反馈因子，并且可以减小其他回路的反馈因子，以反映对应于典型颤动回波的周期性反射的增加量。

下面可以参考图11的示例描述调整的一些示例，图11图示了作为时间和空间的函数的颤动回波的示例。在该示例中，源自源1101的颤动回波以对应于墙壁1105、1107之间的两个路径长度的固定速率(其中D是墙壁之间的距离，并且c是声速)到达收听者1103，但是具有四个不同的偏移，这取决于用户和源在墙壁之间的位置。

在一些低复杂性实施例中，音频装置可以通过使用对应于墙壁之间的单个路径长度的延迟仅重新利用单个混响器回路来简化这一点。这与收听者和源在房间的中间相对应，其中虚线和实线反射以固定速率同时到达收听者。

使用用于颤动回波的第一回路的具有N个回路的混响器的反馈矩阵可以被定义为：

其中，是用于仅在N-1个回路上的扩散混响建模的正则反馈矩阵。

颤动回路中的混响器的T60滤波器(或回路滤波器)可以模拟墙壁的平均反射特性。例如：

其中，G_d(x)是返回x米的路径长度的距离衰减的函数，其可以是频率相关衰减，是墙壁1的平均反射系数，并且/>是墙壁2的平均反射系数，其通常是频率相关的。因此，回路滤波器现在模拟由传播通过介质(例如空气)的声波引起的衰减以及在两个墙壁上的反射。

函数G_d(x)提供传播x米的声波的距离衰减。这可以是基于全向源的简单衰减，其中其能量分布在半径为x的球体上。众所周知的是，距离(即半径)每增加一倍就会引起6dB衰减。在许多实施例中，参考距离可以用作针对其定义源信号的距离，其中距离衰减被认为包括在信号中，并且对于其，来自G_d(x)的附加距离衰减等于0dB。

另外，可以将其他方面添加到G_d(x)，诸如空气吸收的影响G_abs(x)。这种效应通常在更大的距离处变得更显著，并且往往是频率相关的。通常，空气吸收的影响是相当小的，特别是当考虑实际房间尺寸D时。

所描述的实施例可以使用来表示平均反射系数。可以以各种方式定义材料性质。例如，材料性质可以包括吸收系数、镜面反射系数、漫反射系数、透射系数和/或耦合系数。在一些实施例中，它可以仅是反射和吸收，其中它们必须加起来为一。在大多数实施例中，镜面反射系数可能与颤动回波模拟最相关。/>通常可以通过利用针对其计算平均反射系数的墙壁中的一个或多个贴片的其表面比率加权反射系数来计算。例如，感兴趣的12m²墙壁可以是具有2m²木门的10m²混凝土墙壁。然后，混凝土反射系数将被包括有/>的权重，而木材反射系数将被包括有/>的权重。

反射系数可以不被平均，但是可以例如适应于墙壁前方的源的横向位置，即，将发生大部分颤动回波的位置。在这样的实施例中，多个源可以根据其相关联的反射系数被分组在单独的回路中。

作为另一示例，当对图11的颤动回波进行时，音频装置可以适于使用具有与双倍路径长度相对应的延迟(τ_r)的四个隔离回路。四个回路可以具有已经被预延迟以反映收听者/源与墙壁之间的偏移的单独输入。例如，可以使用诸如图12所示的预延迟电路。

在这种情况下，反馈矩阵可以被定义为：

其中，前四个回路专用于颤动回波。

颤动回路中的混响器的回路滤波器都将模拟墙壁的平均反射特性。例如：

因此，每个回路滤波器现在模拟由传播通过两倍于墙壁到墙壁距离的介质(例如，空气)的声波以及两个墙壁上的反射引起的衰减。

该实施例的优点在于，它模拟了两个回路中的不对称性，类似于它在如何在现实房间中。调整预延迟可以用于使不对称性适应于用户在房间中的位置，而不必更新反馈延迟网络本身的参数。

例如，如果收听者距墙壁1101是墙壁到墙壁距离的30％并且源距墙壁1102是墙壁到墙壁距离的15％，则预延迟可以基于从源到收听者的四个第一路径长度被设置如下：

替代地，延迟可以被最小化以仅反映路径长度差，即，

延迟1＝0

在一些情况下，先前的实施例可以通过在将组合信号馈送到单个反馈回路之前组合预延迟信号来简化，如例如图13的示例中所示。

反馈矩阵可以是：

并且回路滤波器将与先前实施例中的相同：

回路模拟两个墙壁上的路径长度衰减和反射，但是预延迟结构负责生成信号内的偏移。延迟将与先前示例中的相同。

预延迟结构也可以被扩展为包括模拟这些第一路径中的距离衰减和离开墙壁的反射的增益或滤波器。这样的滤波器还可以包括模拟颤动回波的早期传播和反射的附加滤波和/或衰减，因为反馈回路中的模拟不表示前几个反射阶数。然而，这样的效果通常已经并入常规混响预混合及其着色滤波器中。

也可以从单个抽头延迟线获得单独的输入信号。通常，与直达路径渲染和早期反射渲染结合使用的参数混响器包括用于其正常操作的预延迟，控制混响相对于直达路径和早期反射在何处开始。如果该预延迟足够长，则延迟缓冲器可以用作抽头延迟线。在这种情况下，颤动回波将更早地开始，但是这可以在早期反射建模中进行补偿。

作为另一示例，可以使用包括两个相互作用的回路的一组反馈回路，使得信号在每次迭代时交换回路。使用以下反馈矩阵将在前两个回路中实现这一点。

可以为任意收听者位置设置该实施例中的延迟，以创建与真实场景更一致的规则但非对称的模式。替代地，可以根据用户在墙壁之间的位置来调整延迟。例如，如果用户距离墙壁1101是墙壁到墙壁距离的30％，则第一延迟可以为并且第二延迟可以为

类似于先前实施例，可以使用预延迟结构来创建由于信号在两个方向上反弹而导致的缺失偏移。这可以利用与前两个路径相对应的两个延迟(上文中的延迟1和延迟2)来完成。

这种方法的特别优点是两个回路滤波器可以分别模拟每个墙壁。即与所述第一延迟τ_r1相关的第一滤波器将具有频率响应：

类似地，与第二延迟τ_r2相关联的第二滤波器将具有频率响应：

其中是墙壁2的平均反射系数，其通常是频率相关的。

这种实施例的可能性是，当从常规提取矩阵中排除颤动回路以生成扩散混响尾部时，它们可以被提取为将利用专用HRTF对进行渲染的输出分开。

在一些实施例中，信号生成器403包括在被馈送到反馈延迟网络的(一个或多个)反馈回路之前的音频源信号的增益，并且适配器407被布置为响应于音频源信号的音频源的位置而调整增益。这可以具体地但不一定与先前描述的预延迟组合，并且具体地，图12和13所示的电路的每个延迟可以包括可以由适配器407基于音频源、收听者和/或墙壁的位置来调整的可调整增益。

接收到的数据可以包括表示音频源的音频信号以及音频源的位置，并且该位置可以用于调整增益。具体地，增益可以是基于音频源相对于房间的墙壁/边界/侧面的位置来调整。通常，增益可以基于从音频源到为颤动回波的反射墙壁的墙壁(通常是最近的墙壁)的距离来调整。预增益可以用于调整总体颤动回波效应的相对强度/水平，并且可以具体地用于调整水平以反映当首次被反射时信号的强度。

在一些实施例中，预增益可以基于收听者/用户的距离来调整。具体地，经由用于颤动回波的反射墙壁上的至少一个反射，从收听者到源的相对距离或从源到收听者的距离。

此外，在许多实施例中，第一反射可以由早期反射模拟表示，并且颤动回波信号生成器403可以仅用于表示颤动回波的进一步反射。例如，颤动回波信号生成器403可以用于生成与第四或之后的反射相对应的颤动回波分量。在这种情况下，被反射的声音已经被包括距离衰减和反射衰减两者的先前反射衰减。这样的效果可以替代地或另外地由预增益表示。

在一些实施例中，适配器407可以被布置为响应于房间的两个墙壁/侧面/边界(并且具体地，引起颤动回波的墙壁/边界/侧面)之间的距离而调整增益。在一些实施例中，适配器407可以被布置为响应于房间的至少一个墙壁/侧面/边界(并且具体地，引起颤动回波的墙壁/边界/侧面)的声学反射衰减而调整增益。在一些实施例中，适配器407可以被布置为响应于未由分配给颤动回波模拟的反馈延迟网络的一组反馈回路进行仿真的初始颤动回波反射的数量而调整增益。

具体地，回路滤波器的(距离)增益分量可以表示相对于先前回路通过(反射)中的调节的衰减，并且预增益可以用于调整输入信号水平，即正在被模拟的反射开始时的水平。

信号通常可以以对应于某个参考距离的水平来表示。在将信号插入(一个或多个)回路之前，可以具体地采用补偿/预增益来将信号的水平与其已经行进的距离相匹配，即表示初始距离增益。例如，基于反馈延迟网络的模拟可以被配置为表示来自其四阶的颤动回波(因为前三个由通过另一算法的早期反射建模来表示)。在该特定示例中，参考图14，输入增益可以是：

其中数字3的两次出现表示三次先前迭代，表示墙壁1105的平均反射系数(其可以是或可以不是频率相关的)，并且/>表示墙壁1107的平均反射系数，其在墙壁1的材料性质的情况下进行求和以表示具有延迟/>的一个颤动回路中的两个路径。

反馈回路可以具有被设置为反映反射路径的衰减的总回路增益(取决于具体方法，其可以包括一个或多个反射)。回路增益可以由回路滤波器和/或反馈因子(反馈矩阵)设置。在所描述的示例中，用于回路到自身的反馈因子被设置为1，并且回路增益(小于1)由回路滤波器确定。回路增益/衰减通常是频率相关的，并且频率相关性通常通过使用合适的回路滤波器来实施。

在不同的实施例中，可以使用用于确定回路增益/衰减G_d的不同方法。

通常，(一个或多个)回路滤波器包括两个主要部件：材料性质(例如反射系数)和距离相关增益。每个回路滤波器可以表示对应于一个或两个墙壁上的反射的一个或多个反射系数以及对应于与由平均反射系数表示的反射一致的行进距离的距离增益。

因为相对于参考距离的回路相关距离保持增加，所以所需的距离衰减分量应当随着每次迭代而变得不太强。例如：

其中x随着每次迭代而变得更大。

这意味着连续反射比指数更快地衰减，并且这有时可能无法利用单个反馈回路来准确地模拟。由于递归特性，反馈回路中的滤波器可以是恒定的。任何经处理的样品可以包括许多不同迭代的分量。

隔离能量分散分量(最重要的分量)，距离衰减(对于信号幅度)是：假设每次迭代对应于行进距离D。随着每次迭代，距离d随着该固定距离D而增加，这使得相对于先前迭代的附加衰减为：/>

问题是d每次迭代都增加，并且每次迭代需要固定的增益。以不同方式表示距离，其中d是D的倍数，我们得到示出进一步简化的类似结果：

可以看出，每次迭代中的距离衰减的影响不太依赖于实际行进距离，而是相对于已经行进的距离的增加(符合距离每增加一倍就衰减6dB经验规则)。图15示出了每次迭代距离增益可以如何改变。

第一次迭代中的距离增益具有相当大的影响，因为与总行进距离相比，与一次迭代相对应的距离相对较小。快速地，每次迭代中的距离衰减的动态影响减小(即，在迭代之间变化较小)。因此，衰减接近指数形状。

当距离增益接近1时，每次迭代增益向颤动边界材料性质的平均反射系数稳定。模拟颤动回波，不同的实施例可以选择不同的方法。例如，平均反射系数可以被选择为模拟更高阶的衰减。替代地，可以使用更陡的衰减来模拟更低阶的衰减。或，其中间的值在大多数实施方式中可能是有益的，以便不具有太陡或太浅的衰减。在许多情况下，在高阶下精确模拟斜率可能是不必要的，因为它对于收听者来说是听不见的。可以通过选择与例如第5次迭代相对应的斜率来进行良好的折衷。

如上所述，许多实施例可以调整插入到颤动回路中的信号的输入水平。除了对参考距离的补偿和不同地模拟的反射阶数之外，输入增益可以被有益地调整为针对衰减增益G_d选择的折衷。选择相对缓慢的衰减可能导致颤动回波太明显，而选择相对陡峭的衰减，在准确模拟的情况下，颤动可能不再是可听见的。

在配置了相对慢的衰减的情况下，因此可以进一步降低初始水平以避免其太明显。附加衰减基本上补偿了在递归过程中未准确建模的早期迭代时的更快衰减。因此，不能准确地对更强的第一反射进行建模。在许多情况下，无论如何这些都将(很大程度上)被混响掩盖。

作为示例，基于来自图14的模型，反馈延迟网络可用于使用对应于第10次迭代的衰减斜率来模拟从二阶向前的颤动回波，导致回路滤波器为：

初始输入增益可以被配置为表示一阶反射：

可以根据下式包括对前I＝9次迭代中的错过衰减的补偿：

/>

其中表示根据不包括材料性质的理想建模的前I＝9次迭代中的衰减的累积影像，而/>表示将使用对应于I+1＝10的斜率实际应用的不包括材料性质的衰减。可以不包括材料性质，因为它们在小部分的两个元素中相等地存在。

该补偿确保在第10次迭代时斜率和水平两者的匹配。它可以针对不同的衰减参考迭代J被存储在查找表中。

在一些情况下，水平可能不需要与相同迭代匹配，并且可以使用折衷：

其中α是具有在0和1之间的值的折衷参数。值1意味着如上所述的补偿，而值0导致没有补偿。

在一些应用中，优选模拟具有较高水平的低阶反射以及用于中阶和高阶反射的更低水平。这在具有相对低的扩散混响能量的房间(例如，除了颤动回波中涉及的边界之外的高吸收边界)中是可能的。这样的应用可以采用其中两个或更多个回路模拟具有相同延迟的不同衰减速率的实施例。

如果输入信号上的延迟和颤动反馈回路内部的延迟相等，则以相同的时滞产生反射。第一颤动回路可以配置有陡峭的衰减和相对大的输入增益，而第二颤动回路可以配置有缓慢的衰减和相对小的输入增益。当两者由输出电路组合时，联合效应可更接近地类似于具有迭代相依回路增益的准确模拟。

在一些实施例中，被分配以生成颤动回波的一组反馈回路可以相应地包括具有不同回路增益的至少两个反馈回路。然而，至少两个反馈回路可以具有相同的延迟。

上述实施例根据在其之间发生颤动回波的墙壁的材料性质来配置回路滤波器。这些滤波器可以被扩展为包括浅反射对长房间边界的影响。

在颤动尺寸上的边界(短边界)的材料性质对第一反射相对于整体复合反射的能量比没有影响。然而，它确实影响连续复合反射衰减有多快。

相反，长边界(即，不沿着颤动尺寸)的材料性质确定每个单独的复合反射衰减的速度，并且因此确定第一反射和整体复合反射之间的能量比。连续复合反射中的第一响应幅度的衰减不受该材料的影响。

如所描述的，在RIR内，这些响应将随着它们贡献的颤动回波的顺序而改变，从而在时间上压缩各个反射。然而，基本上存在具有一种、两种或更多种附加材料性质的附加贡献。主要效果是这增加了单独的颤动回波及其着色中的能量。通过添加具有附加频率相关材料性质的贡献来影响着色，但理论上也是由于延迟反射引起梳状滤波器效应。然而，由于在不同延迟处的多次重复，梳状滤波器效应不是实质性的。

复合反射可以通过单个反射来建模。回路滤波器H_τ可以被设置为表示具有与复合反射的光谱响应匹配的光谱响应的单个脉冲。

复合反射的净效应也构成比单次反射更大的能量，该总能量也应当在单次反射中表示。由于延迟，各个响应的幅度通常不会相干地相加。

复合反射的能量可以通过下式来近似：

其中K可以是无穷大或限于直接响应之后的特定持续时间，例如50ms。通常，由于指数行为，更高的K没有显著贡献。是所组合的长边界的平均材料反射系数。在该示例中，/> P是复合反射中的第一响应的幅度。

E_c的上述等式忽略了距离衰减。这种贡献相对较低。它还使得初始幅度和复合反射能量之间的能量比与颤动阶次无关。

在替代实施例中，具有非常短的延迟的单独回路可以模拟对主颤动响应的尾部。该回路仅由(一个或多个)主颤动回路馈送，并且没有直接信号输入(b_i＝0)，而是反馈到其自身。短延迟可以取决于房间的最短尺寸。如果长房间边界(例如，)，则通过滤波器的衰减将是平均反射系数。

另一替代方案是使用稀疏HR作为模拟复合反射的快速衰减响应的颤动回路中的回路滤波器。

在许多实施例中，音频装置可以被布置为将多个音频源信号馈送到反馈延迟网络，并且具体地可以被布置为将多个音频源信号馈送到生成颤动回波音频信号的该组反馈回路。音频装置可以例如接收房间中的多个音频源的音频源信号，并且这些信号中的多个(并且可能全部)可以被馈送到生成颤动回波音频信号的一组反馈回路。多个信号可以例如被组合成组合信号，该组合信号然后可以被馈送到该组反馈回路。每个信号可以在与其他信号组合之前经受延迟和/或增益调节。每个信号的增益和/或延迟可以例如适于反映个体信号(相对于其他信号)的初始和/或相对信号水平和/或到达时间。在一些实施例中，例如，增益和/或延迟对于馈送到该组反馈回路的一些或可能所有源信号可以是公共的。

先前描述的实施例可以允许精确模拟各个反射之间的偏移。这可以提供特别逼真的渲染。所描述的方法集中于生成单个源的颤动回波，并且回路参数性质等可以取决于源的特定特性，诸如位置。然而，在模拟房间中通常存在多于一个生成颤动回波的源。在这种情况下，每个源可以由其自己的(一个或多个)专用反馈回路等模拟。这些可以利用到例如反馈延迟网络之前的预混合和预延迟的单独的并行路径来实施。

然而，在许多应用中，不需要这样的准确性水平。参数可以被设置为合适的值(例如，任意或艺术选择的值)。在一些实施例中，可以针对所有模拟源同等地选择它们。例如，可以使用图16所示的方法，其中个体增益g_n在输入音频源信号被组合之前被应用于这些信号，并且然后与一个或多个延迟被应用于公共信号。这导致更低的计算和架构复杂性。在这种方法中，颤动回波音频信号仍然可以适应于用户在房间中的位置。

反馈延迟网络的反馈回路的输入可以在数学上被表示为：

其中x是音频源信号(单声道信号)，并且X_L是与要注入到P个反馈回路中的P个信号相对应的输出信号矢量

一些实施例需要或受益于反馈回路的单独输入。这可以通过将输入增益矢量b扩展到矩阵B来实现，该矩阵B考虑了多于一个信号并将它映射到不同的回路。

例如，提供给具有五个反馈回路(P＝5)的反馈延迟网络的输入可以由输入矩阵B处理：

其中x₁是第一输入信号，x₂是第二输入信号，并且第一反馈回路是用于颤动回波生成的反馈回路，并且其中其余的四个反馈回路用于生成扩散混响。

替代地，根据图17，示例矩阵可以是：

其中元素b₁₁中的因子0.9表示例如对应于与延迟1相关联的距离衰减的衰减。

延迟为从源到收听者的P个不同路径创建不同的偏移。通常，在鞋盒形房间中，每个颤动尺寸P＝4。延迟可以被选择为表示与最小偏移的相对偏移，其中忽略公共偏移。在其他实施例中，所有延迟可以被设置为绝对偏移，潜在地动态地调整到收听者位置。

还可以共同调整延迟以实现颤动回波的附加公共延迟分量。这种公共延迟分量可以用于控制由参数混响器模拟的颤动回波相对于由其他装置模拟的早期反射的偏移。例如，为了确保与颤动尺寸相关联的最后早期反射与来自反馈延迟网络的第一模拟颤动回波响应之间的适当延迟。

在一些情况下，比扩散后期混响部分更早地开始颤动回波可能是有利的。在这些实施例中，颤动回路的输入可以绕过预延迟，并且仅通过专用颤动延迟，该专用颤动延迟控制与源的发射相关的颤动回波模拟的开始。例如，单独生成的早期反射可以排除与颤动尺寸相关的所有反射，而是仅利用反馈延迟网络来模拟这些反射。

在其他实施例中，早期反射信号可以被生成并且被馈送到反馈延迟网络的颤动回波反馈回路中。早期反射信号可以仅包括在颤动尺寸上的反射。

在一些实施例中，音频装置可以被布置为使得至少一个音频源信号仅被馈送到用于颤动回波音频信号生成的反馈回路。

在一些实施例中，音频装置可以包括被布置为将空间处理应用于颤动回波信号的空间处理器，其中空间处理取决于音频源信号的源的位置和/或房间的侧面。

空间处理可以是可以修改或创建用于颤动回波音频信号的空间线索的处理。特别地，空间处理器可以被布置为执行颤动回波音频信号的双耳处理，如例如图18所示，其中空间处理器由两个HRTF块HRTF1、HRTF2表示。空间处理器可以使用HRTF应用双耳处理以生成立体声信号，该立体声信号在由耳机渲染时导致源自合适位置/方向的颤动回波的空间感知。例如，双耳处理可以基于生成颤动回波的墙壁中的一个的位置和导致颤动回波被感知为从该墙壁的方向到达的收听者位置来应用HRTF处理。

在一些实施例中，经空间处理的颤动回波音频信号可与其他产生的音频分量组合，并且它可以具体地与由反馈延迟网络的其他反馈回路生成的扩散混响组合。然而，这种扩散混响可能不经受空间处理，因为它通常是分布式声音。

因此，在一些实施例中，音频装置包括用于将空间处理的颤动回波音频信号与(非空间处理的)扩散混响信号组合的组合器。在图18的示例中，组合器MIX可以通过组合经空间处理的颤动回波音频信号和非空间处理的扩散混响信号以及通常其他音频分量(诸如直达和早期反射音频分量)来生成一组耳机的立体声输出信号。

在许多实施例中，反馈延迟网络可以通过组合用于生成颤动回波音频信号的反馈回路的输出信号来生成颤动回波音频信号。类似地，可以通过组合用于生成混响的反馈回路的输出信号来生成扩散混响信号。

通常，反馈延迟网络的反馈回路用于混响生成或用于颤动回波生成。

在大多数实施例中，适配器407可以被布置为将一组反馈回路分配给颤动回波音频信号生成，其中其余的反馈回路用于混响生成。在这种情况下，适配器407通常可以布置为保持回路分离。具体地，适配器407可以调整用于反馈回路的反馈因子，使得不存在从用于生成颤动回波音频信号的该组反馈回路中的反馈回路到任何其他反馈回路的反馈，并且反之亦然。具体地，它可以将与属于两个不同集合的两个回路之间的反馈相关的反馈矩阵的所有反馈系数设置为零。

类似地，当生成输出信号时，颤动回波音频信号可以由该组反馈回路中的仅用于生成颤动回波音频信号的反馈回路的输出信号的组合生成，并且混响信号可以由该组反馈回路中的仅不用于生成颤动回波音频信号的反馈回路的输出信号的组合生成。

在许多实施例中，可以通过使用可以由提取矩阵C表示的加权组合生成输出信号以与其他反馈回路相同的方式处理颤动反馈回路的输出信号。这可以例如包括应用如从扩散混响的生成已知的相关和/或着色滤波器。在这种情况下，所得到的颤动回波将不源自特定方向。

然而，在期望(一个或多个)颤动回波是定向的实施例中，可以单独提取(一个或多个)颤动回波反馈回路输出信号以用于替代处理(如在图18的示例中)。(双耳)扩散混响尾部的提取矩阵具有维度2×(N-2)，它可以扩展为4×N，处理反馈延迟网络的所有N个反馈回路。在N＝4的以下示例中，前两行涉及进一步的扩散混响尾部处理，并且最后两行涉及颤动回波。

由提取矩阵生成的第一输出信号和第二输出信号可以由参数混响器功能的其余部分正常处理。可以单独处理第三和第四输出信号。例如，其中不同的HRTF对对应于两个墙壁的相反方向。这些可以根据用户的取向而自适应。

这对于在单独的回路中模拟每个墙壁的实施例可能是特别有利的。第一回路模拟墙壁1105，并且第二回路模拟墙壁1107。第三输出信号的HRTF对可以与墙壁1105相对于收听者的方向相对应，并且类似地，对于第四输出信号，HRTF对可以与墙壁1107的方向相对应。

例如，在图18中，可以将不同的HRTF对应用于两个信号(对应于相对的墙壁)。双耳混合器可以将所有三个左耳信号和所有三个右耳信号混合成单个双耳输出。

当已经做出关于是否生成颤动回波音频信号的软决策时，颤动回波的渲染可以有利地适应于软决策。例如，如果软决策导致包括(或在于)0和1之间的置信度值α的颤动回波估计，则这可以控制置信度0处的无颤动回波效应和置信度1处的完全颤动回波效应之间的渲染。

在特别简单的实施方式中，与颤动回波相关联的提取矩阵元素乘以置信度值。因此，如果置信度更低，则颤动回波水平将更低。还可以修改置信度值，例如，以实现关于置信度的非线性行为。

例如

α′＝α²

类似地，置信度值可以用于修改反馈矩阵中的对应元素。这具有颤动回波更快消失的效果，因为在每次迭代时将应用附加衰减。还可以修改置信度值，例如，以实现关于置信度的非线性行为。例如：

α′＝α^0.41

在其他实施例中，参数混响器可以在上述扩散和颤动回波方案与正常扩散混响器之间交叉淡化。

其简单实施方式可以交叉淡化由置信度值控制的两个方案的反馈矩阵。

作为效果，存在扩散混响生成到颤动回波生成中的一些渗出，并且反之亦然。这使得颤动回波随着置信度值减小而更加扩散。

其他这样的实施例可以附加地交叉淡化反馈回路的其他方面。这可能仅影响颤动回路。延迟可以被修改和/或回路滤波器目标频谱可以被交叉淡化

应当注意，在房间中可能以不同反射率发生多个颤动回波实例。在一些情况下，可能存在多个尺寸，其中存在强反射。在奇特形状的房间中，在颤动方向上可能存在交错的表面。

在这样的情况下，可以使用附加反馈回路如上所述的那样处理附加颤动回波实例。因此，可以复制所描述方法以用于多个颤动回波音频信号生成。如果颤动回波模拟需要太多的反馈回路，则增加反馈延迟网络结构中的反馈回路的数量可能是有益的。通常，如果混响处理的回路数量小于8，则质量可能受损。

将认识到，为了清楚性，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，将显而易见的是，在不减损本发明的情况下，可以使用不同的功能电路、单元或处理器之间的功能性的任何适合的分布。例如，被图示为由分离的处理器或控制器执行的功能性可以由相同处理器或控制器执行。因此，对特定功能单元或电路的引用仅将被看作对用于提供所描述的功能性而不是指示严格逻辑或物理结构或组织的适合的装置的引用。

本发明可以以任何适合的形式来实施，包括硬件、软件、固件或这些的任何组合。本发明可以可选地至少部分地被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何适合的方式物理地、功能地和逻辑地实施。实际上，功能可以被实施在单个单元中、在多个单元中或作为其他功能单元的一部分。因此，本发明可以被实施在单个单元中或可以物理地并且功能上被分布在不同的单元、电路和处理器之间。

虽然本发明已经结合一些实施例描述，但是其不旨在限于本文阐述的特定形式。相反，本发明的范围仅由附图限制。此外，虽然特征可能看起来结合特定实施例描述，但是本领域的技术人员将意识到，所描述的实施例的各种特征可以根据本发明进行组合。在权利要求中，术语包括不排除其他元件或步骤的存在。

此外，虽然单独地列出，但是多个装置、元件、电路或方法步骤可以通过例如单个电路、单元或处理器实施。此外，虽然单独特征可以被包括在不同的权利要求中，但是这些可以可能地被有利地组合，并且不同的权利要求中的包括不暗示特征的组合不是可行的和/或有利的。而且，一个类别的权利要求中的特征的包括不暗示对该类别的限制，而是相反指示特征同样地酌情适用于其他权利要求类别。此外，权利要求中的特征的次序不暗示特征必须工作的任何特定次序，并且特别地，方法权利要求中的单独步骤的次序不暗示步骤必须以该次序执行。相反，步骤可以以任何适合的次序执行。另外，单数引用不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅被提供为澄清示例，而不应当被解释为以任何方式限制权利要求的范围。

Claims (18)

1.一种用于生成颤动回波音频信号的音频装置，所述音频装置包括：

接收器(401)，其被布置为接收指示房间的性质的房间元数据；

估计器(405)，其被布置为响应于所述房间元数据而确定针对所述房间的颤动回波估计，所述颤动回波估计指示所述房间中的颤动回波的水平；

信号生成器(403)，其包括反馈延迟网络，所述反馈延迟网络包括多个反馈回路，所述信号生成器(403)被布置为根据被馈送了音频源信号的所述多个反馈回路中的一组反馈回路的输出信号来生成所述颤动回波音频信号；以及

适配器(407)，其被设置为响应于所述颤动回波估计而调整针对所述一组反馈回路中的第一反馈回路的第一参数。

2.根据权利要求1所述的音频装置，其中，所述房间元数据包括针对所述房间的尺寸数据，并且所述颤动回波估计是响应于相对于第二方向上的房间尺寸的第一方向上的房间尺寸而确定的。

3.根据权利要求1或2所述的音频装置，其中，所述房间元数据包括针对所述房间的侧面的声学反射数据，并且所述颤动回波估计是响应于相对于所述房间的第二边界的声学反射衰减的所述房间的第一边界的声学反射衰减而确定的。

4.根据任一前述权利要求所述的音频装置，其中，所述适配器(407)被布置为针对指示增加水平的所述颤动回波的所述颤动回波估计而增加从所述第一反馈回路到所述第一反馈回路自身的反馈因子。

5.根据任一前述权利要求所述的音频装置，其中，所述多个反馈回路到所述多个反馈回路中的其他反馈回路的至少一些反馈因子取决于所述房间的房间尺寸。

6.根据任一前述权利要求所述的音频装置，其中，所述信号生成器(403)被布置为还根据不被包括在所述一组反馈回路中的反馈回路的输出来生成扩散混响信号；并且所述适配器(407)被布置为响应于所述颤动回波估计而改变被包括在所述一组反馈回路中的反馈回路的数量。

7.根据任一前述权利要求所述的音频装置，其中，所述信号生成器(403)包括在所述音频源信号被馈送到所述一组反馈回路中的反馈回路之前的针对所述音频源信号的延迟，并且所述适配器(407)被布置为响应于针对所述音频源信号的音频源、收听者位置和所述房间的边界中的至少一项的位置而调整所述延迟。

8.根据任一前述权利要求所述的音频装置，其中，所述一组反馈回路包括至少两个反馈回路，并且所述信号生成器(403)包括在所述音频源信号被馈送到所述至少两个反馈回路之前的针对所述音频源信号的延迟，所述延迟对于所述至少两个反馈回路是不同的。

9.根据任一前述权利要求所述的音频装置，其中，所述一组反馈回路包括不多于两个回路。

10.根据任一前述权利要求所述的音频装置，其中，所述适配器(407)被布置为调整针对所述多个反馈回路的反馈因子，使得不存在从所述一组反馈回路中的反馈回路到不被包括在所述一组反馈回路中的任何反馈回路的反馈。

11.根据任一前述权利要求所述的音频装置，其中，所述信号生成器(403)被布置为还生成扩散混响信号，并且所述装置还包括：

用于将空间处理应用于所述颤动回波信号的空间处理器，所述空间处理取决于所述音频源信号的源和所述房间的边界中的至少一项的位置；

用于在空间处理之后组合所述扩散混响信号和所述颤动回波信号的组合器。

12.根据任一前述权利要求所述的音频装置，还包括：

用于将空间处理应用于所述颤动回波信号的空间处理器，所述空间处理取决于所述音频源信号的源和所述房间的侧面中的至少一项的位置。

13.根据任一前述权利要求所述的音频装置，包括被布置为将多个音频源信号馈送到所述多个反馈回路的电路，至少一个音频源信号仅被馈送到所述一组反馈回路中的反馈回路。

14.根据任一前述权利要求所述的音频装置，其中，所述信号生成器(403)包括在所述音频源信号被馈送到所述一组反馈回路中的反馈回路之前的针对所述音频源信号的增益，并且所述适配器(407)被布置为响应于针对所述音频源信号的音频源的位置、收听者位置、所述房间的边界的位置以及针对所述颤动回波音频信号的开始的反射阶数中的至少一项而调整所述增益。

15.根据任一前述权利要求所述的音频装置，其中，所述颤动回波音频信号表示所述房间的一对相对边界之间的颤动回波，所述信号生成器(403)包括在所述音频源信号被馈送到所述一组反馈回路中的反馈回路之前的针对所述音频源信号的频率相关增益，并且所述适配器(407)被布置为响应于针对房间边界的所述房间元数据的声学反射数据而调整所述增益，所述声学反射数据指示针对不是所述一对相对房间边界中的一个房间边界的至少一个房间边界的频率相关声学性质。

16.根据任一前述权利要求所述的音频装置，其中，所述一组反馈回路包括具有不同回路增益的至少两个反馈回路。

17.一种生成颤动回波音频信号的方法，所述方法包括：

接收指示房间的性质的房间元数据；

响应于所述房间元数据而确定针对所述房间的颤动回波估计，所述颤动回波估计指示所述房间中的颤动回波的水平；

根据被馈送了音频源信号的一组反馈回路的输出信号来生成所述颤动回波音频信号，所述一组反馈回路包括反馈延迟网络的多个反馈回路中的反馈回路；并且

响应于所述颤动回波估计而调整针对所述一组反馈回路中的第一反馈回路的第一参数。

18.一种包括计算机程序代码单元的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码单元适于执行权利要求17的所有步骤。