CN101228575B - 利用侧向信息的声道重新配置 - Google Patents

Abstract

在产生期间，至少一个音频信号被处理，以便得出用于对其进行声道重新配置的指令。所述至少一个音频信号和指令被存储或发送。在消费期间，根据所述指令对所述至少一个音频信号进行声道重新配置。声道重新配置包括：向上混音、向下混音和空间重新配置。通过在产生期间确定声道重新配置指令，减少在消费期间的处理资源。

Description

利用侧向信息的声道重新配置

背景技术

随着DVD播放器的广泛采用，在家庭中使用多声道(多于两个声道)音频重放系统已经变得很普通。此外，多声道音频系统在汽车中变得更加普遍，并且下一代卫星和地面数字无线电系统热衷于向更多的多声道重放环境传送多声道内容。然而，在许多情况下，即将成为多声道内容提供者的提供者要面临缺乏所述素材的问题。例如，多数流行音乐仍仅以双声道立体声(“立体声”)轨道的形式存在。因此，需要将以单声道(“mono”)或立体声格式的所述“旧有”内容“向上混音”为多声道格式。

存在现有技术的解决方案来实现所述转换。例如，Dolby ProLogic II可采取原始的立体声记录，并基于从立体声记录本身得到的控制信息来产生多声道向上混音。“Dolby”、“Pro Logic”和“Pro LogicII”是Dolby实验室注册公司的商标。为了向消费者传送所述向上混音，内容提供者可在再现期间将向上混音解决方案应用于旧有内容，然后通过某些适合的多声道传送格式(诸如Dolby Digital)将结果产生的多声道信号发送到消费者。“Dobly Digital”是Dobly实验室注册公司的商标。或者，可将不变的旧有内容传送到消费者，所述消费者可随后在重放期间应用向上混音处理。在前一种情况下，内容提供者完全控制用于创建向上混音的方式，从内容提供者的视点看来，这是所期望的。此外，在产生端的处理约束通常远远少于在重放端的处理约束，因此，存在使用更加复杂的向上混音技术的可能性。然而，在产生端的向上混音具有某些缺陷。首先，由于音频声道的数量增加，多声道信号的传输与旧有信号相比花费更多。此外，如果消费者不拥有多声道重放系统，则在重放之前通常需要对发送的多声道信号进行向下混音。这种向下混音的信号通常与原始旧有内容不同，并且会在许多情况下听起来次于原始声音。

图1和图2示出如上所述在产生端和消费端应用的现有技术的向上混音的示例。这些示例假设原始信号包含M＝2声道，向上混合的信号包含N＝6声道。在图1的示例中，在产生端执行向上混音，而在图2，在消费端执行向上混音。如图2中，向上混音器仅接收音频信号并执行向上混音的向上混音处理有时候被称为“盲”向上混音。

参照图1，在音频信号的产生部分2中，构成M声道原始信号的一个或多个音频信号(在这个以及这里的其它附图中，每个音频信号可代表声道，诸如左声道、右声道等)被应用于向上混音装置或向上功能(“向上混音”)4，其产生数量增加的构成N声道向上混音信号的音频信号。向上混音信号被应用于格式化器装置或格式化功能(“格式化”)6，其将N声道向上混音信号格式化为适合传输或存储的形式。格式化可包括数据压缩编码。由音频系统的消费部分8接收格式化的信号，在其中，去格式化功能或去格式化器装置(“去格式化”)10将格式化的信号恢复为N声道向上混音信号(或它们的近似)。如以上所讨论的，在某些情况下，向下混音器装置或向下混音功能(“向下混音”)12还将N声道向上混音信号向下混音为M声道向下混音信号(或它们的近似)，其中，M＜N。

参照图2，在音频系统的产生部分14中，构成M声道原始信号的一个或多个音频信号被应用于格式化器装置或格式化功能(“格式化”)6，其将它们格式化为适合传输或存储的形式(在这一附图以及其它附图中，相同的标号用于不同的附图中基本上相同的装置和功能)。格式化可包括数据压缩编码。由音频系统的消费部分16接收格式化的信号，在其中，去格式化器功能或去格式化装置(“去格式化”)10将格式化的信号恢复为M声道原始信号(或它们的近似)。M声道原始信号可被提供作为输出，它们还可以被应用于向上混音功能或向上混音装置(“向上混音”)18，其对M声道原始信号向上混音，以产生N声道向上混音信号。

发明内容

本发明的各方面提供对图1和图2的布置的备选方案。例如，根据本发明的特定方面，并不是在产生端或消费端对旧有内容进行向上混音，通过在例如编码器的处理对旧有内容进行分析可产生辅助信息，即，“侧向”或“侧链”信息，所述信息以某种方式连同旧有内容音频信息被发送到在例如解码器的另一处理。发送侧向信息的方式对于本发明而言不重要；许多发送侧向信息的方式是已知的，包括：例如，将侧向信息嵌入音频信息(例如，隐藏所述信息)，或者通过单独发送侧向信息(例如，在它自己的比特流中，或者与音频信息进行复用)。在此上下文中的“编码器”和“解码器”分别是指与产生关联的装置或处理以及与消费关联的装置或处理-所述装置和处理可包括或者不包括数据压缩“编码”和“解码”。由编码器产生的侧向信息可指示解码器如何对旧有内容进行向上混音。因此，解码器借助于侧向信息提供向上混音。尽管对向上混音技术的控制可存在于产生端，但是如果多声道重放系统不可用，则消费者可仍旧接收不变的旧有内容，所述不变的旧有内容不加改变地被重放。此外，可在编码器采用较大的处理功率，以分析旧有内容并产生高质量向上混音的侧向信息，这允许解码器采用明显较少的处理资源，因为其仅应用侧向信息，而不是得出侧向信息。最后，所述向上混音侧向信息的传输成本通常非常低。

尽管本发明及其各个方面可涉及模拟或数字信号，但是在实际应用中，多数或所有处理功能很可能在数字域对数字信号流执行，在所述数字信号流中，通过样点表示音频信号。根据本发明的信号处理可应用于宽带信号或多频带处理器的每个频带，根据实施情况，当数字音频被划分为块时，可每个样点执行一次根据本发明的信号处理，或者每组样点执行一次根据本发明的信号处理。多频带实施例可采用滤波器组或变换配置。因此，结合图3、图4A-4C、图5A-5C和图6示出并描述的本发明实施例的示例可接收时间域的数字信号(诸如作为示例的PCM信号)并将它们应用于适合的时间到频率的转换器，或者应用于在多个频带进行处理的转换，所述频带可涉及人耳的临界频带。在处理之后，信号可被转换回时间域。在原理上，可采用滤波器组或变换来实现时间到频率的转换以及频率到时间的转换。在此描述的本发明各方面的实施例的某些详细示例采用时间到频率的变换，即，短时离散傅立叶变换(STDFT)。然而，应认识到，本发明在各个方面而言并不受限于使用任何特定的时间到频率的转换器或转换处理。

根据本发明的一方面，一种用于处理至少一个音频信号或与所述至少一个音频信号具有相同数量的声道的所述至少一个音频信号的改进(其中，每个音频信号代表音频声道)的方法，包括：得出用于对所述至少一个音频信号或它的改进进行声道重新配置的指示，其中，在得出步骤中接收的唯一音频信息是所述至少一个音频信号或它的改进；提供输出，所述输出包括(1)所述至少一个音频信号或它的改进，以及(2)用于声道重新配置的指令，但是当对所述至少一个音频信号或它的改进的任何声道重新配置产生于用于声道重新配置的指令时，所述输出不包括所述声道重新配置。所述至少一个音频信号和它的改进均可为两个或多个音频信号，在这种情况下，改进的两个或多个音频信号可以是矩阵编码的改进，当其通过矩阵解码器或有源矩阵解码器解码时，改进的两个或多个音频信号可提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。所述解码在诸如矩阵解码器的解码器的任何公知的性能特征方面得到“增强”，包括：例如，声道分离、空间成像、图像稳定性等。

不论所述至少一个音频信号和它的改进是否为两个或多个音频信号，存在对于声道重新配置指示的若干备选方案。根据一种备选方案，所述指示用于对所述至少一个音频信号或它的改进进行向上混音，从而当根据所述用于向上混音的指示进行向上混音时，结果产生的音频信号的数量大于包括所述至少一个音频信号或它的改进的音频信号的数量。根据用于声道重新配置指示的其它备选方案，所述指示一个音频信号和它的改进是两个或多个音频信号。在所述其它备选方案的第一备选方案中，所述指示用于对两个或多个音频信号进行向下混音，从而当根据用于相信混音的指示进行相信混音时，结果产生的音频信号的数量少于包括两个或多个音频信号的音频信号的数量。在所述其它备选方案的第二备选方案中，所述指示用于对两个或多个音频信号进行重新配置，从而当根据用于重新配置的指示进行重新配置时，音频信号的数量保持相同，但是将要再现的所述音频信号的一个或多个空间位置被改变。输出中的所述至少一个音频信号或它的改进可以分别是所述至少一个音频信号或它的改进经过数据压缩的版本。

在任何备选方案中，不论是否采用数据压缩，可在不参考任何产生于用于声道重新配置的指令的声道重新配置的情况下得出指令。所述至少一个音频信号可被划分为频带，并且用于信道重新配置的指令可针对所述频带中的各个频带。本发明的其它方面包括实践所述方法的音频编码器。

根据本发明的另一方面，一种用于处理至少一个音频信号或与所述至少一个音频信号具有相同数量声道的所述至少一个音频信号的改进的方法，其中，每个音频信号代表音频声道，所述方法包括：得出用于对所述至少一个音频信号或它的改进进行声道重新配置的指令，其中，在得出步骤中接收的唯一音频信息是所述至少一个音频信号或它的改进，提供输出，该输出包括：(1)所述至少一个音频信号或它的改进，以及(2)用于声道重新配置的指令，但是当对所述至少一个音频信号或它的改进的任何声道重新配置产生于用于声道重新配置的指令时，所述输出不包括所述声道重新配置。

所述方法还可包括：使用接收的用于声道重新配置的指令对接收的至少一个音频信号或它的改进进行声道重新配置。所述至少一个音频信号和它的改进均可以是两个或多个音频信号，在这种情况下，改进的两个或多个音频信号可以是矩阵编码的改进，当其通过矩阵解码器或有源矩阵解码器解码时，改进的两个或多个音频信号可提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。“增强”的使用与在上述本发明第一方面具有相同的含义。

如本发明的第一方面，存在用于声道重新配置指令的多个备选方案-例如，向上混音、向下混音和重新配置，从而音频信号的数量保持相同，但是将要再现的所述音频信号的一个或多个空间位置被改变。如在本发明的第一方面中，输出中的所述至少一个音频信号或它的改进可以是所述至少一个音频信号或它的改进经过数据压缩的版本，在这种情况下，接收可包括对所述至少一个音频信号或它的改进的数据解压缩。在本发明的这一方面的任何备选方案中，不论是否采用数据压缩和解压缩，可在不参考任何产生于用于声道重新配置的指令的声道重新配置的情况下得出指令。

如在本发明的第一方面中，所述至少一个音频信号或它的改进可被划分为频带，在这种情况下，用于信道重新配置的指令可针对所述频带中的各个频带。当所述方法还包括使用用于声道重新配置的接收的指令对接收的至少一个音频信号或它的改进进行重新配置，所述方法还可包括：提供音频输出并选择以下之一作为音频输出：(1)所述至少一个音频信号或它的改进，或者(2)经过声道重新配置的至少一个音频信号。

不论所述方法是否还包括使用接收的用于声道重新配置的指令对接收的至少一个音频信号或它的改进进行重新配置，所述方法还可包括：响应于接收的至少一个音频信号或它的改进提供音频输出，在这种情况下，当音频输出中的所述至少一个音频信号或它的改进是两个或多个音频信号时，所述方法还可包括对所述两个或多个音频信号进行矩阵解码。

当所述方法还包括使用接收的用于声道重新配置的指令对接收的至少一个音频信号或它的改进进行重新配置时，所述方法还可包括提供音频输出。

本发明的其它方面包括实践所述方法的音频编码和解码系统，用于在实践所述方法的系统中使用的音频编码器和音频解码器，用于在实践所述方法的系统中使用的音频编码器，以及用于在实践所述方法的系统中使用的音频解码器。

根据本发明的另一方面，一种用于处理至少一个音频信号或与所述至少一个音频信号具有相同数量的声道的所述至少一个音频信号的改进的方法，每个音频信号代表音频声道，所述方法包括：接收至少一个音频信号或它的改进，以及用于对所述至少一个音频信号或它的改进进行声道重新配置的指令，但是没有产生于所述用于声道重新配置的指令的所述至少一个音频信号或它的改进的声道重新配置，所述指令通过指令得出来得出，其中，接收的唯一音频信息是所述至少一个音频信号或它的改进，使用所述指令对所述至少一个音频信号或它的改进进行声道重新配置。所述至少一个音频信号或它的改进可以均是两个或多个音频信号，在这种情况下，改进的两个或多个音频信号可以是经过矩阵编码的改进，当其通过矩阵解码器或有源矩阵解码器解码时，改进的两个或多个音频信号可提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。“增强”的使用与在上述本发明的其它方面具有相同的含义。

如本发明的其它方面，存在用于声道重新配置指令的多个备选方案-例如，向上混音、向下混音和重新配置，从而音频信号的数量保持相同，但是将要再现的所述音频信号的一个或多个空间位置被改变。

如在本发明的其它方面中，输出中的所述至少一个音频信号或它的改进可以是所述至少一个音频信号或它的改进经过数据压缩的版本，在这种情况下，接收可包括对所述至少一个音频信号或它的改进的数据解压缩。在本发明的这一方面的任何备选方案中，不论是否采用数据压缩和解压缩，可在不参考任何产生于用于声道重新配置的指令的声道重新配置的情况下得出指令。如在本发明的其它方面中，所述至少一个音频信号或它的改进可被划分为频带，在这种情况下，用于信道重新配置的指令可针对所述频带中的各个频带。根据一种备选方案，本发明的这一方面还可包括：提供音频输出并选择以下之一作为音频输出：(1)所述至少一个音频信号或它的改进，或者(2)经过声道重新配置的至少一个音频信号。根据另一备选方案，本发明的这一方面还可包括：响应于接收的至少一个音频信号或它的改进提供音频输出，在这种情况下，所述至少一个音频信号和它的改进均可是两个或多个音频信号，所述两个或多个音频信号被矩阵解码。根据另一备选方案，本发明的这一方面还可包括：响应于接收的经过声道重新配置的至少一个音频信号来提供音频输出。本发明的其它方面包括实践任何所述方法的音频解码器。

根据本发明的另一方面，一种用于处理至少两个音频信号或与所述至少一个音频信号具有相同数量的声道的至少两个音频信号的改进的方法，每个音频信号代表音频声道，所述方法包括：接收至少两个音频信号，以及用于对所述至少两个音频信号进行声道重新配置的指令，但是没有产生于所述用于声道重新配置的指令的所述至少两个音频信号的声道重新配置，所述指令通过指令得出来得出，其中，接收的唯一音频信息是所述至少两个音频信号，对所述至少两个音频信号进行矩阵解码。矩阵解码可以参考或不参考接收的指令。当被解码时，改进的两个或多个音频信号可提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。改进的两个或多个音频信号可以是经过矩阵编码的改进，当其通过矩阵解码器或有源矩阵解码器解码时，改进的两个或多个音频信号可提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。“增强”的使用与在上述本发明的其它方面具有相同的含义。本发明的其它方面包括实践任何所述方法的音频解码器。

在本发明的其它方面中，两个或多个音频信号被改进，每个音频信号代表音频声道，从而当通过矩阵解码器对改进的信号进行解码时，改进的信号可提供相对于未改进的信号的解码而言增强的多声道解码。这可通过改进两个或多个音频信号之间的固有的信号特征方面的一个或多个差异来实现。所述固有的信号特征可包括幅度和相位之一或两者。改进两个或多个音频信号之间的固有的信号特征方面的一个或多个差异可包括：使用矩阵编码器将未改进的信号向上混音为多个信号，并对向上混音的信号进行向下混音。或者，改进两个或多个音频信号之间的固有的信号特征方面的一个或多个差异还可包括：增加或降低两个或多个音频信号之间的互相关。可在一个或多个频带中变化地增加和/或降低音频信号之间的互相关。

本发明的其它方面包括：(1)适于执行这里所述的方法中的任一方法的设备，(2)存储在计算机可读介质上的计算机程序，用于促使计算机执行这里所述的方法中的任一方法，(3)通过这里所述的方法中的各个方法产生的比特流以及(4)通过适于执行这里所述的方法中的各个方法的方法的设备产生的比特流。

附图说明

图1是具有产生部分和消费部分的用于向上混音的现有技术布置的功能示意框图，其中，在消费部分执行向上混音。

图2是具有产生部分和消费部分的用于向上混音的现有技术布置的功能示意框图，其中，在产生部分执行向上混音。

图3是本发明各方面的向上混音实施例的示例的功能示意框图，其中，在产生部分得出用于向上混音的指令，在消费部分应用所述指令。

图4A是本发明各方面的概括的声道重新配置实施例的功能示意框图，其中，在产生部分得出用于声道重新配置的指令，在消费部分应用所述指令。

图4B是本发明各方面的另一概括的声道重新配置实施例的功能示意框图，其中，在产生部分得出用于声道重新配置的指令，在消费部分应用所述指令。可改进应用于产生部分的信号，以便当在不参考用于声道重新配置的指令的情况下在消费部分执行所述重新配置时，增强它们的声道重新配置。

图4C是本发明各方面的另一概括的声道重新配置实施例的功能示意框图。可改进应用于产生部分的信号，以便当在不参考用于声道重新配置的指令的情况下在消费部分执行所述重新配置时，增强它们的声道重新配置。重新配置信息没有被从产生部分发送到消费部分。

图5A是布置的功能示意框图，在所述布置中，产生部分改进通过采用向上混音器或向上混音功能以及矩阵编码器或矩阵编码功能而应用的信号。

图5B是布置的功能示意框图，在所述布置中，产生部分改进通过降低信号的互相关而应用的信号。

图5C是布置的功能示意框图，在所述布置中，产生部分改进通过基于子带来降低信号的互相关而应用的信号。

图6A是示出在空间编码系统中的现有技术编码器的示例的功能示意框图，在所述空间编码系统中，编码器接收N声道的信号，所述信号期望通过空间编码系统中的解码器来再现。

图6B是示出在空间编码系统中的现有技术编码器的示例的功能示意框图，其中，编码器接收N声道的信号，所述信号期望通过空间编码系统中的解码器来再现，解码器还接收从编码器发送到解码器的M声道的复合信号。

图6C是示出在空间编码系统中的现有技术解码器的示例的功能示意框图，所述空间编码系统可与图6A的编码器或图6B的编码器一起使用。

图7是可在空间编码系统中使用的本发明各方面的编码器实施例的实例的功能示意框图。

图8是示出适于与2∶5有源矩阵解码器一起使用的理想化的现有技术5∶2矩阵编码器的功能框图。

具体实施方式

图3示出在向上混音配置中本发明各方面的示例。在配置的产生20部分，将M声道的原始信号(例如，旧有音频信号)应用于得出一组或多组向上混音侧向信息(“得出向上混音信息”)21的装置或功能以及格式化器装置或格式化功能(“格式化”)22。或者，图3的M声道的原始信号可以是如下所述的旧有音频信号的改进版本。格式化22可包括例如复用器或复用功能，其将M声道的原始信号、向上混音侧向信息和其它数据格式化或排列为例如串行比特流或并行比特流。布置的产生20部分的输出比特流是串行还是并行对于本发明并不重要。格式化22还可包括适当的数据压缩编码器或编码功能，诸如有损、无损或组合有损和无损的编码器或编码功能。输出比特流是否经过编码对于本发明而言也不重要。按照任何适合的方式来发送或存储输出比特流。

在图3的示例的布置的消费24部分，接收输出比特流，去格式化器或去格式化功能(“去格式化”)26取消格式化22的动作以提供M声道的原始信号(或它们的近似)以及向上混音信息。在必要的情况下，去格式化26可包括适当的数据压缩解码器或解码功能。将向上混音信息或M声道的原始信号(或它们的近似)应用于向上混音器装置或向上混音功能(“向上混音”)28，其根据用于提供N声道的向上混音信号的向上混音指令对M声道的原始信号(或它们的近似)进行向上混音。这些可以是多组向上混音指令，例如，它们均提供对不同数量的声道的向上混音。如果存在多组向上混音指令，则选择一组或多组(所述选择可在布置的消费部分被固定，或者以某种方式成为可选)。M声道的原始信号和N声道的向上混音信号是布置的消费24部分的潜在输出。它们中的一个或两者可被提供作为输出(如图所示)，或者可选择它们中的一个或另外一个，例如，通过用户或消费者在自动控制或手动控制下通过选择器或选择功能(未示出)来实现所述选择。尽管图3示意性示出M＝2和N＝6，但是应理解M和N并不受限于此。

在本发明各方面的实际应用的一示例中，通过装置或处理来接收代表各个立体声声音声道的两个音频信号，并且期望得出适合用于对所述两个音频信号向上混音为通常称为“5.1”声道(实际上为6声道，其中，一个声道为获取非常少量数据的低频效果声道)的指令。接着，可以将原始的两个音频信号以及向上混音指令发送到向上混音器或向上混音处理，所述向上混音器或向上混音处理将向上混音指令应用于所述两个音频信号以提供期望的5.1声道(采用侧面信息的向上混音)。然而，在某些情况下，可通过装置或处理接收原始的两个音频信号以及相关的向上混音指令，所述装置或处理可能不能使用向上混音指令，但是，如上所述，其仍可适于执行对接收的两个音频信号的向上混音，通常称为“盲”向上混音的向上混音。例如，可通过有源矩阵解码器(Pro Logic、Pro Logic II和Pro Logic IIx是Dolby实验室注册公司的商标)提供所述盲向上混音。可采用其它有源矩阵解码器。所述有源矩阵盲向上混音器根据并响应于固有的信号特征(诸如应用于其的信号之间的幅度和/或相位关系)来进行操作以执行向上混音。盲向上混音可能导致或不导致如已经由适于使用向上混音指令(例如，在这一示例中，盲向上混音不会导致5.1声道)的装置或功能提供的相同数量的声道。

通过有源矩阵解码器执行的“盲”向上混音当其输入通过与有源矩阵解码器兼容的装置或功能(诸如通过矩阵编码器，具体说来，与解码器互为补充的矩阵编码器)预先编码时为最佳。在这种情况下，输入信号具有固有的幅度和相位关系，有源矩阵解码器利用所述关系。如以下进一步讨论的，没有通过兼容装置预先编码的信号(不具有有用的固有信号特征(或仅具有最小的有用固有信号特征(诸如幅度或相位关系))的信号)的“盲”向上混音通过可称为“艺术”向上混音器(通常为互补的复杂向上混音器)来最佳执行。

尽管本发明的各方面可方便地用于向上混音，但是它们应用于更加通用的情况，其中，对针对特定“声道配置”设计的至少一个音频信号进行变更，以在一个或多个替换(alternate)的声道配置进行重放。例如编码器产生侧向信息，该信息指导例如解码器如何在需要的情况下变更原始信号，用于一个或多个替换的声道配置。“声道配置”在这里作为示例不仅包括与原始音频信号相关的重放音频信号的数量，而且包括想要再现重放音频信号相对于原始音频信号的空间位置的空间位置。因此，声道“重新配置”例如可包括：一个或多个声道以某种方式被映射到较大数量声道的“向上混音”、两个或多个声道以某种方式被映射到较小数量声道的“向下混音”、想要再现声道的位置或声道关联的方向以某种方式被改变或被重新映射的空间位置重新映射，以及从双耳到扬声器格式(通过串扰取消或经由串扰取消器的处理)或从扬声器格式到双耳(通过“双耳化”或通过扬声器格式到双耳转换器，即，“双耳化器”的处理)的转换。因此，在根据本发明各方面的声道重新配置的情况下，原始信号中声道的数量可小于、大于或等于任何产生的替换声道配置中的声道的数量。

空间位置配置的示例是从四声道配置(左前、右前、左后和右后的“正方形”布局)到传统电影配置(左前、中前、右前和环绕的“钻石”布局)的转换。

在Michael John Smithers于2004年8月3日提交的题为“Method for Combining Audio Signals Using Auditory SceneAnalysis”的第10/911,404号美国专利申请中描述的本发明各方面的非向上混音“重新配置”应用的示例。Smithers描述一种用于按照避免公共梳状滤波和相位取消效应与静态向下混音相关的方式对信号进行动态地向下混音的技术。例如，原始信号可包括左、中和右声道，但是在许多重放环境中，中间声道不可用。在这种情况下，中间声道信号需要被混合到左和右以进行立体声的重放。由Smithers公开的方法在重放期间动态地测量中间声道与左和右声道之间的平均整体延迟。相应的补偿延迟随后在其与左和右声道混音之前被应用于中间声道，以便避免梳状滤波。此外，计算功率补偿并将其应用于每个向下混音的声道的每个临界边带，以便去除相位取消效应。本发明不是在重放期间计算所述延迟和功率补偿值，而是允许在编码器端产生它们以作为侧向信息，然后，如果需要在传统立体声配置上进行重放，则所述值可以选择性地在解码器端进行应用。

图4A示出本发明各方面在概括的声道重新配置布置中的示例。在布置的产生30部分，M声道的原始信号(旧有音频信号)被应用于得出一组或多组声道重新配置侧向信息(“得出声道重新配置信息”)32的装置或功能和格式化器装置或格式化功能(“格式化”)22(将结合图3的示例描述)。如下所述，图4A的M声道的原始信号可以是旧有音频信号的改进版本。按照适合的方式来发送或存储输出比特流。

在布置的消费部分34，输出比特流被接收，并且去格式化器或去格式化功能(“去格式化”)26(结合图3来描述)取消格式化22的动作以提供M声道的原始信号(或它们的近似)以及声道重新配置信息。声道重新配置信息和M声道原始信号(或它们的近似)被应用于根据用于提供N声道重新配置的信号的指令对M声道的原始信号(或它们的近似)进行声道重新配置的装置或功能(“重新配置声道”)36。如图3的示例所示，如果存在多组指令，则选择一组或多组(“选择声道重新配置”)(所述选择可以在布置的消费部分固定或者可以按照某种方式进行选择)。如图3的示例所示，M声道的原始信号以及N声道重新配置的信号是布置的消费部分34的潜在输出。它们中的一个或两者可被提供作为输出(如图所示)，或者可选择它们中的一个或另一个，所述选择在自动控制或通过例如用户或消费者的手动控制下，通过选择器或选择功能(未示出)来实现。尽管图4A象征性地示出M＝3和N＝2，但是将理解M和N并不受限于此。如上所述，例如，“声道重新配置”可包括：一个或多个声道以某种方式被映射到较大数量声道的“向上混音”、两个或多个声道以某种方式被映射到较小数量声道的“向下混音”、想要再现声道的位置以某种方式被重新映射的空间位置重新映射、以及从双耳到扬声器格式(通过串扰取消或经由串扰取消器的处理)或从扬声器格式到双耳(通过“双耳化”或通过扬声器格式到双耳转换器，即，“双耳化器”的处理)的转换。在双耳化的情况下，声道重新配置可包括：(1)向上混音到多个虚拟声道和/或(2)作为双声道立体声双耳信号呈现的虚拟空间位置重新配置。早在20世纪60年代，虚拟向上混音和虚拟扬声器定位已经是本领域公知的(例如，参见Atal等人题为“Apparent SoundSource Translator”的第3,236,949号美国专利(1966年2月26日)和Bauer的题为“Stereophonic to Binaural Conversion Apparatus”的第3,088,997号美国专利(1963年5月7日))。

如以上结合图3和图4A所述，可采用M声道的原始信号的改进版本作为输入。对信号进行改进以便有助于通过公共可用的消费者装置(诸如有源矩阵解码器)进行盲重新配置。或者，当未改进的信号是双声道立体声信号时，改进的信号可以是未改进信号的双声道双耳版本。改进的M声道的原始信号可具有与未改进信号相同数量的声道，尽管这对于本发明的这一方面而言并不重要。参照图4B的示例，在装备的产生部分38，M声道的原始信号(旧有音频信号)被应用于产生替换或改进的音频信号组(“产生替换信号”)的装置或功能40，所述替换或改进的信号被应用于得出一组或多组声道重新配置侧向信息(“得出声道重新配置信息”)的装置或功能32和格式化器装置或格式化功能(“格式化”)22(以上描述了32和22)。得出声道重新配置信息32还可从产生替换信号40接收非音频信息，以帮助它得出重新配置信息。以任何适当的方式发送或存储输出比特流。

在布置的消费部分42，输出比特流被接收，并且去格式化26(以上描述过)经历格式化22的动作以提供M声道的替换信号(或它们的近似)以及声道重新配置信息。声道重新配置信息和M声道的替换信号(或它们的近似)可被应用于根据用于提供N声道的重新配置的信号的指令对M声道的替换信号(或它们的近似)进行声道重新配置的装置或功能(“重新配置声道”)44。如图3和图4A中示例，如果存在多组指令，则其中一组被选择(所述选择可固定于布置的消费部分，或者可通过某种方式进行选择)。如以上在图4A的示例中所描述的，“声道重新配置”可包括例如“向上混音”(包括虚拟向上混音，其中，双声道的双耳信号被呈现为具有向上混音的虚拟声道)、“向下混音”、空间位置重新配置和从双耳到扬声器格式或从扬声器格式到双耳的转换。M声道的替换信号(或它们的近似)也可被应用于在不参考重新配置信息的情况下对M声道的替换信号进行重新配置的装置或功能(“没有重新配置信息情况下的重新配置声道”)46以提供P声道的重新配置的信号。声道P的数量不需要与声道M的数量相同。如以上所述，所述装置或功能46可在例如重新配置是向上混音的情况下为诸如有源矩阵解码器(其示例在上面描述)的盲向上混音器。装置或功能46还可提供从双耳到扬声器格式或从扬声器格式到双耳的转换。如同图4A示例中的装置或功能，装置或功能46可提供虚拟向上混音和/或虚拟扬声器重新定位，其中，双声道的双耳信号被呈现为具有向上混音和/或重新定位的虚拟声道。M声道的替换信号、N声道的重新配置信号和P声道的重新配置的信号是布置的消费部分42的潜在输出。它们的任何组合可被作为输出提供(附图示出所有三个)，或者它们中的一个或组合可被选择，可在自动或例如通过用户或消费者的手动控制下，通过选择器或选择功能(未示出)实现所述选择。

另一可选方案在图4C的示例中示出。在该示例中，M声道的原始信号被修改，但是声道重新配置信息没有被发送或记录。因此，在布置的产生部分38可省略得出声道重新配置信息32，从而仅有M声道的替换信号被应用于格式化22。因此，需要可能无法携带除了音频信息之外的重新配置信息的旧有传输或记录布置紧携带诸如双声道立体声信号的旧有类型的信号，在这种情况下，所述旧有类型的信号被改进以便在被应用于诸如有源矩阵解码器的低复杂性消费者类型的向上混音器时提供更好的结果。在布置的消费部分42，可省略重新配置声道44，以便提供两个潜在输出中的一个或两者，所述两个潜在输出为M声道的替换信号和P声道的重新配置信号。

如上所示，会期望改进应用于音频系统的产生部分的M声道原始信号的集合，从而通过诸如自适应矩阵解码器的消费者类型的向上混音器，所述M声道的原始信号(或它们的近似)更适合所述系统的消费部分中的盲向上混音。

改进所述非最佳音频信号的结合的一种方式在于(1)使用比自适应矩阵解码器较少依赖于固有信号特征(诸如应用于其的信号中的幅度和/或相位关系)进行操作的装置或功能对信号的集合进行向上混音，(2)使用与参与的自适应矩阵解码器兼容的矩阵编码器对向上混音的信号集合进行编码。以下将结合图5A的示例对这种方式进行描述。

改进所述信号集合的另一种方式为应用一种或多种已知的“空间化”和/或信号合成技术。所述技术中的某些技术有时候表征为“伪立体声”或“伪四声道”技术。例如，可将去相关和/或反相的内容添加到一个或多个声道。所述处理以减小的中央图像稳定性为代价增加了清楚的声音图像宽度或声音包络。这参考图5B的例子来进行描述。为了帮助达到这些信号特征(宽度/包络对中央图像稳定性)之间的平衡，可利用以下现象：中央图像稳定性主要通过低频到中频来确定，而图像宽度和包括主要通过较高的频率来确定。通过将信号分为两个或多个频带，可独立地处理音频子带，从而通过应用最小限度的去相关在低频和中间频率处保持图像稳定性，并通过采用较大的去相关在较高频率处增加包络的意义。这将在图5C的示例中进行描述。

参照图5A的示例，在布置的产生部分48，通过表征为“艺术”向上混音器装置或“艺术”向上混音功能(艺术向上混音)50将M声道的信号向上混音为P声道的信号。“艺术”向上混音器通常但非必须为计算上复杂的向上混音器，其较少依赖或不依赖于固有信号特征(诸如应用于其的信号中的幅度和/或相位关系)进行操作，有源矩阵解码器依赖所述特征来执行向上混音。相反，“艺术”向上混音器根据向上混音器的设计者认为适合产生特定结果的一个或多个处理来进行操作。所述“艺术”向上混音器可采取多种形式。结合图7以及标题“应用于空间编码器的本发明”下的描述在此提供一示例。根据该图7的示例，所述结果是向上混音的信号，所述向上混音的信号例如通过较好的左/右分离来最小化“中央堆积”，或者通过更强烈的前/后分离来改进“包络”。用于执行“艺术”向上混音的特定技术的选择对于本发明的这一方面而言不重要。

仍旧参照图5A，向上混音的P声道的信号被应用于矩阵编码器或矩阵编码功能(“矩阵编码器”)52，其提供较少数量的声道、M声道的替换信号，通过适合由矩阵解码器进行解码的诸如幅度和相位提示的固有信号特征对其声道进行编码。适合的矩阵编码器是以下结合图8描述的5:2矩阵编码器。其它矩阵编码器也可适用。矩阵编码器输出被应用于格式化22，其产生例如以上描述的串行或并行比特流。理想地，艺术向上混音50和矩阵编码52的结合导致信号的产生，当所述信号被传统的消费者有源矩阵解码器解码时，其提供与应用于艺术向上混音50的原始信号的解码相比改进的收听体验。

在图5A的布置的消费部分54，输出比特流被接收，去格式化26(以上所述)经历格式化22的动作以提供M声道的替换信号(或它们的近似)。M声道的替换信号(或它们的近似)可被应用于在不参考任何重新配置信息的情况下对M声道的替换信号进行重新配置的装置或功能(“没有重新配置信息情况下的重新配置声道”)56以提供P声道的重新配置的信号。声道P的数量不需要与声道M的数量相同。如以上所述，所述装置或功能56可在例如重新配置是向上混音的情况下为诸如有源矩阵解码器(其示例在上面描述)的盲向上混音器。M声道的替换信号和P声道的重新配置的信号是布置的消费部分54的潜在输出。它们中的一个或两个可被选择，可在自动或例如通过用户或消费者的手动控制下，通过选择器或选择功能(未示出)实现所述选择。

在图5B的示例中，示出用于改进输入信号的非最佳集合的另一种方式，即，“空间化”类型，其中，声道之间的相关被改进。在布置的产生部分58，M声道的信号被应用于去相关器装置或去相关功能的集合(“去相关器”)60。可通过利用任何已知的去相关技术独立地处理各个声道来实现信号声道之间的互相关的降低。或者，可通过在声道之间进行相互依赖的处理来实现去相关。例如，可通过对来自一个声道的信号进行缩放和反向并使其与另一声道进行混音来实现声道之间的反相内容(即，负相关)。在这两种情况下，可通过调整每个声道中已处理信号与未处理信号的相对电平来控制处理。如上所述，在清楚的声音图像宽度或声音包络与减小的中央图像稳定性之间存在折中。通过独立地处理各个声道进行去相关的示例在以下的文献中阐述：Seefeldt等人的第60/604,725号(2004年8月25日提交)、第60/700,137号(2008年7月18日提交)、第60/705,784号(2005年8月5日提交，代理人案号为DOL14901)均题为“MultichannelDecorrelation in Spatial Audio Coding”的未决美国专利申请。通过独立地处理各个声道进行去相关的另一示例在以下文献中阐述：Breebaart等人的AEC会议论文6072和以下引用的WO 03/090206国际申请。相关性减小的M声道的信号被应用于格式化22，如上所述，其提供适当的输出，诸如一个或多个比特流，已应用于适当的传输或记录。图5B布置的消费部分54可与图5A布置的消费部分相同。

如上所述，将去相关和/或反相的内容添加到一个或多个声道的处理以减小的中央图像稳定性为代价增加了清楚的声音图像宽度或声音包络。在图5C的示例中，为了帮助达到宽度/包络对中央图像稳定性之间的平衡，将信号分为两个或多个频带，可独立地处理音频子带，从而通过应用最小限度的去相关在低频和中间频率处保持图像稳定性，并通过采用较大的去相关在较高频率处增加包络的感觉。

参照图5C，在产生部分58’，M声道的信号被应用于子带滤波器或子带滤波功能(“子带滤波器”)62。尽管图5C明确示出所述子带滤波器62，但是应理解：可在如上所述的其它示例中采用滤波器或滤波功能。尽管子带滤波器62可采用各种形式，但是滤波器或滤波功能(例如，滤波器组或转换)的选择对于本发明而言不重要。子带滤波器62将M声道信号的频谱划分为R个带，每个带均可应用于各个去相关器。附图示意性地示出带1的去相关器64、带2的去相关器66和带R的去相关器68，理解为每个带可具有它自己的去相关器。某些带不能够应用于去相关器。去相关器基本上与图5B的去相关器60相同，指示它们在少于M声道的信号的整个频谱上进行操作。为了简化描述，图5C示出用于单个信号的子带滤波器和有关的去相关器，应理解为每个信号被划分为子带，每个子带可被去相关。在去相关之后，如果存在，则可通过求和器或求和功能(“求和”)70将每个信号的子带求和到一起。求和70的输出被应用于格式化22，其产生例如如上所述的串行或并行比特流。图5C布置的消费部分54可以于图5A布置和图5B布置的消费部分相同。

与空间编码集成

某些新近引入的受限比特率编码技术(参见以下涉及空间编码的专利、专利申请和公开的示例性列表)分级N声道的输入信号连同M声道的符号信号(N＞M)，以产生包含N声道输入信号的声音场相对于M声道符号信号的声音场的参数模型的侧向信息。通常，符号信号从与原始N声道信号相同的主机素材得出。侧向信息和复合信号被发送到解码器，所述解码器将参数模型应用于复合信号，以便重新创建原始N声道信号的声音场的近似。所述“空间编码”系统的主要目的在于利用非常有限的数据量来重新创建原始声音场；因此，这强化了对于用于模拟原始声音场的参数模型的限制。所述空间编码系统通常采用参数来对原始N声道信号的声音场进行建模，所述声音场诸如声道间的电平差(ILD)、声道间时间或相位差(ITD或IPD)以及声道间相干性(ICC)。通常，对于正被编码的所有N声道的输入信号间的多个频谱带估计所述参数，并随着时间动态地估计所述参数。

在图6A-6B(编码器)和图6C(解码器)中示出现有空间编码技术的某些示例。可通过装置或功能(“时间到频率”)利用适当的时间到频率变换(诸如公知的短时离散傅立叶变换(STDFT))将N声道的原始信号转换为频域。通常，处理所述变换，使得它的频带接近耳朵的临界带。对于每个带计算对于声道间的幅度差、声道间的时间或相位差以及声道间的相干性的估计(“产生空间侧向信息”)。如果与N声道的原始信号相应的M声道的复合信号没有已经存在，则这些估计可被用于将N声道的原始信号向下混音为M声道的复合信号(如图6A的示例中)(“向下混音”)。或者，现有M声道的复合可与相同的时间到频率变化(为了清楚在呈现中分别示出)同时被处理，并且可相对于M声道的复合信号的空间参数计算N声道的原始信号的空间参数(如图6B的示例中)。类似地，如果N声道的原始信号不可用，则可在时间域将M声道的复合信号的可用集合进行向上混音以产生N声道的原始信号-信号的每个集合在图6B的示例中提供到达各个时间到频率装置或功能的输入集合。随后将复合信号和估计的空间参数编码(格式化)为单个比特流。在解码器(图6C)，所述比特流被解码(“去格式化”)以产生M声道的复合信号连同空间侧向信息。复合信号被转换到频域(“时间到频率”)，其中，解码的空间参数被应用于它们相应的带(“应用空间侧向信息”)以在频域中产生N声道的原始信号。最终，频率到时间的变换(“频率到时间”)被应用以产生N声道的原始信号或它们的近似。或者，可忽略空间侧向信息，并且对于重放选择M声道的复合信号。

尽管现有技术的空间编码系统假设存在N声道的信号，通过所述信号，可估计它的声音场的较低数据率的参数表示，但是所述系统可被变更为域公开的发明进行工作。除了从原始N声道的信号估计空间参数之外，相反，可从对旧有M声道信号的估计直接产生所述空间参数，其中，M＜N。产生所述参数，从而当所述参数被应用于解码器时，在解码器产生期望的旧有M声道信号的N声道的向上混音。这可通过不在编码器产生实际N声道的向上混音信号而是通过直接从M声道旧有信号产生期望的向上混音信号的声音场的参数表示来实现。图7示出与在图6C示出的空间解码器兼容的所述向上混音编码器。在标题“应用于空间编码器的本发明”以下提供产生所述参数表示的更多细节。

参照图7的细节，使用适当的时间到频率变换(“时间到频率”)72将时间域的M声道的原始信号转换为频域。装置或功能74(得出作为侧向信息的向上混音信息)按照在空间编码系统中产生空间侧向信息的相同方式得出向上混音指令。在这里引用的一个或多个文献中阐述在空间编码系统中产生空间侧向信息的细节。构成向上混音指令的空间编码参数连同M声道的原始信号被应用于装置或功能(“格式化”)76，其将M声道的原始信号和空间编码参数格式化为适合传输或存储的形式。格式化可包括数据压缩编码。

采用如刚结合用于将参数应用于将被向上混音的信号的装置或功能描述的参数产生的向上混音器如例如图6C的解码器适用于作为计算上复杂的向上混音器，以用于如在图4B、图4C、图5A和图5B的示例中产生替换信号。

尽管可方便地在不在解码器产生期望的N声道向上混音信号的情况下直接从M声道的旧有信号产生参数表示，但是这对于本发明而言不重要。或者，可通过在编码器产生期望的N声道的向上混音信号来得出空间参数。从功能上来说，所述信号可在图7的块74之内产生。因此，即使在该可选方案中，指令得出步骤接收的唯一音频信息是M声道的旧有信号。

图8是与Pro Logic II有源矩阵解码器兼容的传统技术中5:2矩阵无源(线性时变)编码器的详细功能框图。所述编码器适于在如上所述的图5A的示例中使用。所述编码器接收5个分离的输入信号；左、中、右、左环绕和右环绕(L、C、R、LS、RS)并创建两个最终输出，左总和和右总和(Lt和Rt)。C输入被等分，并且在3dB电平(幅度)衰减(由衰减器84提供)的情况下与L和R输入(分别在组合器80和82中)求和，以便保持恒定的声功率。均与电平降低的C输入求和L和R输入具有通过相减和相加方式与它们进行组合的LS和RS输入的移相或移电平的版本。左环绕(LS)输入理想地进行90度相移，如块86所示，然后在衰减器88将电平降低1.2dB，以在组合器90中与求和的L和电平降低的C进行相减组合。随后在衰减器92中进一步降低5dB的电平，以在组合器94中与求和的R、电平降低的C和如接下来描述的RS的相移和电平降低版本进行相加组合，以提供Rt输出。右环绕(RS)输入理想地进行90度相移，如块96所示，然后在衰减器98中将电平降低1.2dB，以在组合器100中与求和的R和电平降低的C进行相加组合。随后在衰减器102中进一步降低5dB的电平，以在组合器104中与求和的R、电平降低的C以及电平降低和相移LS进行相减组合，以提供Lt输出。

如图所示，在原理上，在每个环绕输入路径中仅需要一个90度相移块。实际中，90度相移器无法实现，所以可通过适当的相移使用四个全通网络，从而实现期望的90度相移。全通网络具有不影响正处理的音频信号的音色(频谱)的优点。

可将左总和(Lt)和右总和(Rt)编码的信号表示为：

Lt＝L+m(-3)dB*C-j*[m(-1.2)dB*Ls+m(-6.2)dB*Rs]，以及

Rt＝R+m(-3)dB*C+j*[(m(-1.2)dB*Rs+m(-6.2)dB*Ls)，

其中，L是左输入信号，R是右输入信号，C是中央输入信号，Ls是左环绕输入信号，Rs是右环绕输入信号，j是负1(-1)的平方根(90度相移)，“m”指示乘以分贝表示的衰减(因此，m(-3)dB＝3dB衰减)。

或者，可如下表示等式：

Lt＝L+(0.707)*C-j*(0.87*Ls+0.56*Rs)，  以及

Rt＝R+(0.707)*C+j*(0.87*Rs+0.56*Ls)

其中，0.707是3dB衰减的近似，0.87是1.2dB衰减的近似，0.56是2dB衰减的近似。值(0.707，0.87和0.56)并不关键。在可接受的结果下也可采用其它值。可采用其它值的程度取决于系统的设计者认为可听结果可被接受的程度。

实现本发明的最佳模式

空间编码背景

考虑空间编码系统将N声道信号的声道间的电平差(ILD)和声道间相干性(ICC)的每个临届带估计用作它的侧向信息。我们假设符号信号中声道的数量为M＝2，原始信号中声道的数量为N＝5。定义以下符号：

X_j[b，t]：符号信号x的声道j在带b和时间块t的频域

表示。这一值通过向发送到解码器的复合信号应用时间到频率变换而得出。

Z_i[b，t]：原始信号估计z的声道i在带b和时间块t的频域表示。这一值通过向X_j[b，t]应用侧向信息而计算出。

ILD_i，j[b，t]：原始信号的声道i在带b和时间块t相对于复合的声道j的声道间的电平差。该值作为侧向信息被发送。

ICC_i，j[b，t]：原始信号的声道i在带b和时间块t的声道间的相干性。该值作为侧向信息被发送。

作为解码的第一步骤，如下通过将声道间的电平差应用于复合来产生N声道信号的中间频域表示：

$Y_i[b,t]=\underset{j=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{IL}{D}_{\mathrm{ij}}[b,t]X_j[b,t]$

接着，通过将唯一的去相关滤波器H_i应用于每个声道i来产生Y_i的去相关版本，其中，可通过频域的相乘来实现滤波器的应用：

${\hat{Y}}_i=H_i{Y}_i$

最后，将原始信号z的频域估计计算为Y_i与

的线性组合，其中，声道间的相干性控制所述组合的属性：

$Z_i[b,t]=\mathrm{IC}{C}_i[b,t]Y_i[b,t]+\sqrt{1-\mathrm{IC}{C}_i^2[b,t]}{\hat{Y}}_i[b,t]$

随后，通过将频率到时间的变换应用于Z_i[b，t]来产生最终信号z。

应用于空间编码器的本发明

我们现将描述公开的本发明的实施例，其采用上述空间解码器，以便将M＝2的声道信号向上混音为N＝6的声道信号。编码需要从X_j[b，t]单独的合成侧向信息ILD_ij[b，t]和ICC_i[b，t]，从而当如上所述ILD_ij[b，t]和ICC_i[b，t]被应用于X_j[b，t]时，在解码器产生期望的向上混音。如上所述，所述方式还应用于提供计算上复杂的向上混音，其用于当向上混音的信号随后被应用于矩阵编码器时，产生通过诸如消费者类型的有源矩阵解码器的低复杂性向上混音器进行向上混音的替换信号。

优选的盲向上混音系统的第一步骤为将双声道的输入转换为频谱域。可使用填充了50％块零的75％重叠的DFT来实现到频谱域的转换，以防止由去相关滤波器造成的循环卷积效应。这种DFT方案匹配在空间编码系统的优选实施例中使用的时间频率转换方案。信号的频谱表示随后被分离为多个金丝于相等三角形频带(ERB)标度的频带；再一次，所述频带划分结构与空间编码系统使用的结构相同，从而侧向信息可用于在解码器执行盲向上混音。在每个带b，如以下的等式所示来计算协方差矩阵：

$R_{\mathrm{XX}}^{b,t}=\left[\begin{array}{ccc}{X}_1[k,t]& ...& X_1[k+W,t]\\ X_2[k,t]& ...& X_2[k+W,t]\end{array}\right]\left[\begin{array}{cc}{X}_1[k,t{]}^{*}& X_2[k,t{]}^{*}\\ .& .\\ .& .\\ .& .\\ X_1[k+W,t{]}^{*}& X_2[k+W,t{]}^{*}\end{array}\right]$

其中，X₁[k，t]是第一声道在二进制k和块t的DFT，X₂[k，t]是第二声道在二进制k和块t的DFT，W是按照二进制计数的带b的宽度，R_XX ^b，t是对于两个输入声道在带b和块t的协方差矩阵的即时估计。此外，在上述等式中的“＊”运算符表示DFT值的共轭。

随后在以下等式所示的每个带中，使用应用于协方差矩阵的简单一阶IIR滤波器，在每个块上平滑协方差矩阵的即时估计：

${\tilde{R}}_{\mathrm{XX}}^{b,t}=\mathrm{\λ}{\hat{R}}_{\mathrm{XX}}^{b,t-1}+(1-\mathrm{\λ})R_{\mathrm{XX}}^{b,t}$

其中，

是协方差矩阵的平滑估计，λ是平滑系数，其可取决于信号和带。

对干简单的2到6盲向上混音系统，我们如下定义声道排序：

声道	列举
		左	1
中央	2
		右	3
左环绕	4
		右环绕	5
LFE	6

使用上述声道映射，我们针对平滑的协方差矩阵研发出以下用于每个声道的每带的ILD和ICC：

定义： ${\mathrm{\α}}^{b,t}=\left|{\hat{R}}_{\mathrm{XX}}^{b,t}\right[\mathrm{1,2}\left]\right|$

然后，对于声道1(左)：

$\mathrm{IL}{D}_{\mathrm{1,1}}[b,t]=\sqrt{1-{\left({\mathrm{\α}}^{b,t}\right)}^2}$

ILD_1，2[b，t]＝0

ICC₁[b，t]＝1

对于声道2(中央)：

ILD_2，1[b，t]＝0

ILD_2，2[b，t]＝0

ICC₂[b，t]＝1

对于声道3(右)：

ILD_3，1[b，t]＝0

$\mathrm{IL}{D}_{\mathrm{3,2}}[b,t]=\sqrt{1-{\left({\mathrm{\α}}^{b,t}\right)}^2}$

ICC₃[b，t]＝1

对于声道4(左环绕)：

ILD_4，1[b，t]＝α^b，t

ILD_4，2[b，t]＝0

ICC₄[b，t]＝0

对于声道5(右环绕)：

ILD_5，1[b，t]＝0

ILD_5，2[b，t]＝α^b，t

ICC₅[b，t]＝0

对于声道6(LFE)：

ILD_6，1[b，t]＝0

ILD_6，2[b，t]＝0

ICC₆[b，t]＝1

实际中，已经发现根据上述示例的布置执行良好-其分离来自周围声音的直接声音，将直接声音置入左和右声道，并将周围声音移动到后声道。还可使用在空间编码系统之内发送的侧向信息来创建更加复杂的布置。

通过引用合并

以下专利、专利申请和公开通过引用全部合并于此。

虚拟声音处理

Atal等人的“Apparent Sound Source Translator”，第3,236,949号美国专利(1966年2月26日)。

Bauer的“Stereophonic to Binaural Conversion Apparatus”，第3,088,997号美国专利(1963年5月7日)。

AC-3(Dolby Digital)

ATSC Standard A52/A：Digital Audio Compression Standard(AC-3)，Revision A，Advanced Television Systems Committee，2001年8月20日。在万维网址http://www.atsc.org/standards.html提供A/52A文档。“Design and Implementation of AC-3 Coders”，Steve Vernon，IEEE Trans，Consumer Electronics，Vol.41，No.3，1995年8月。

“The AC-3 Multichannel Coder”by Mark Davis，Audio Engineering SocietyPreprint 3774，95th AES Convention，October，1993.

“High Quality，Low-Rate Audio Transform Coding for Transmission andMultimedia Applications，”by Bosi et al，Audio Engineering Society Preprint 3365，93rd AES Convention，October，1992.

美国专利5,583,962；5,632,005；5,633,981；5,727,119；和6,021,386。

空间编码

美国公开专利申请US2003/0026441，公开于2003年2月6日。

美国公开专利申请US2003/0035553，公开于2003年2月20日。

美国公开专利申请US2003/0219130(Baumgarte和Faller)，公开于2003年11月27日。

Audio Engineering Society Paper 5852，March 2003

公开国际专利申请WO03/090206，公开于2003年10月30日。

公开国际专利申请WO03/090207，公开于2003年10月30日。

公开国际专利申请WO03/090208，公开于2003年10月30日。

公开国际专利申请WO03/007656，公开于2003年1月22日。

美国公开专利申请公开US2003/0236583A1，Baumgarte等人，公开于2003年12月25日，“Hybrid Multichannel/CueCoding/Decoding of Audio Signals”，申请号为10/246,570。

“Binaural Cue Coding Applied to Stereo and Multichannel AudioCompression，”by Faller et al，Audio Engineering Society Convention Paper 5574，112^thConvention，Munich，May 2002.

“Why Binaural Cue Coding is Better than Intensity Stereo Coding，”byBaumgarte et al，Audio Engineering Society Convention Paper 5575，112^thConvention，Munich，May 2002.

“Design and Evaluation of Binaural Cue Coding Schemes，”by Baumgarte etal，Audio Engineering Society Convention Paper 5706，113^thConvention，LosAngeles，October 2002.

“Efficient Representation of Spatial Audio Using PerceptualParameterization，”by Faller et al，IEEE Workshop on Applications of SignalProcessing to Audio and Acoustics 2001，New Paltz，New York，October 2001，pp.199-202.

“Estimation of Auditory Spatial Cues for Binaural Cue Coding，”byBaumgarte et al，Proc.ICASSP 2002，Orlando，Florida，May 2002，pp.II-1801-1804.

“Binaural Cue Coding：A Novel and Efficient Representation of SpatialAudio，”by Faller et al，Proc.ICASSP 2002，Orlando，Florida，May 2002，pp.II-1841-II-1844.

“High-quality parametric spatial audio coding at low bitrates，”by Breebaart etal，Audio Engineering Society Convention Paper 6072，116^th Convention，Berlin，May2004.

“Audio Coder Enhancement using Scalable Binaural Cue Coding withEqualized Mixing，”by Baumgarte et al，Audio Engineering Society Convention Paper6060，116^th Convention，Berlin，May 2004.

“Low complexity parametric stereo coding，”by Schuijers et al，AudioEngineering Society Convention Paper 6073，116^th Convention，Berlin，May 2004.

“Synthetic Ambience in Parametric Stereo Coding，”by Engdegard et al，Audio Engineering Society Convention Paper 6074，116^th Convention，Berlin，May2004.

其它

Kenneth James Cundry的美国专利6,760,448，题为“CompatibleMatrix-Encoded Surrond-Sound Channels in a Discrete DigitalSound Format”。

Michael John Smithers的美国专利申请10/911,404，提交于2004年8月3日，题为“Method for Combining Audio Signals UsingAuditory Scene Analysis”。

Seefeldt等人的美国专利申请60/604,725(2004年8月25日提交)、60/700,137(2005年7月18日提交)和60/705,784(2005年8月5日提交，代理人案号DOL14901)，均题为“MultichannelDecorrelation in Spatial Audio Coding”。

公开的国际专利申请WO03/090206，公开于2003年10月30日。

“High-quality parametric spatial audio coding at low bitrates，”by Breebaart etal，Audio Engineering Society Convention Paper 6072，116^th Convention，Berlin，May2004.

实现

本发明可通过硬件或软件或者它们的组合(例如，可编程逻辑阵列)来实现。除非特别说明，否则作为本发明一部分而包括的算法并不必然涉及特定计算机或其它设备。具体说来，各种通用机器可与根据这里的教导写成的程序一起使用，或者可更加方便地构建更为专用的设备(例如，集成电路)来执行需要的方法步骤。因此，可通过在一个或多个可编程计算机系统上执行的一个或多个计算机程序来实现本发明，所述可编程计算机系统均包括至少一个处理器、至少一个数据存储系统(包括易失性和非易失性存储器和/或存储部件)、至少一个输入装置或端口以及至少一个输出装置或端口。将程序代码应用于输入数据以执行这里描述的功能并产生输出信息。输出信息按照已知的方式应用于一个或多个输出装置。

可按照任何期望的计算机语言(包括机器、汇编或高级进程、逻辑或面向对象的编程语言)来实现每个所述程序。在任何情况下，所述语言可以是编译或解释的语言。

每个所述程序被优选地存储或下载到可由通用或专用可编程计算机读取的存储介质或装置(例如，固态存储器或介质、或者磁或光介质)上，以便当存储介质或装置被计算机系统读取时配置并操作计算机以执行这里所述的进程。本发明的系统还可被看作实现为计算机可读存储介质，利用计算机程序进行配置，其中，对存储介质进行配置以促使计算机系统按照特定的预先定义的方式来操作以执行这里所述的功能。

已经描述了本发明的若干实施例。然而，应理解：在不脱离本发明的精神和范围的情况下，可进行各种改进。例如，这里描述的某些步骤可以不按顺序发生，由此可按照不同于所描述的顺序来执行。

Claims (127)

1.一种用于处理两个或多个音频信号或所述两个或多个音频信号的改进的方法，所述方法包括：

得出用于对所述两个或多个音频信号或它们的改进进行声道重新配置的指令，其中，所述得出步骤接收的唯一音频信息是所述两个或多个音频信号或它们的改进；以及

提供输出，所述输出包括(1)所述两个或多个音频信号或它们的改进，以及(2)用于声道重新配置的指令，以及

其中，(1)每个音频信号代表一个音频声道，(2)所述两个或多个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的两个或多个音频信号提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。

2.如权利要求1所述的方法，其中，音频信号是一对立体声的音频信号，所述改进是如下一对音频信号，该一对音频信号是所述一对立体声的音频信号的双耳化版本。

3.如权利要求1所述的方法，其中，改进的两个或多个音频信号当通过矩阵解码器解码时提供增强的多声道解码。

4.如权利要求3所述的方法，其中，矩阵解码器是有源矩阵解码器。

5.如权利要求1所述的方法，其中，改进的两个或多个音频信号是矩阵编码的改进。

6.如权利要求1所述的方法，其中，改进的两个或多个音频信号是矩阵编码的改进。

7.如权利要求1到6中的任何一个所述的方法，其中，所述得出用于声道重新配置的指令的步骤得出用于对所述两个或多个音频信号或它们的改进进行向上混音的指令，从而当根据用于向上混音的指令被向上混音时，结果产生的音频信号的数量大于构成所述两个或多个音频信号或它们的改进的音频信号的数量。

8.如权利要求1到6中的任何一个所述的方法，其中，所述得出用于声道重新配置的指令的步骤得出用于对所述两个或多个音频信号进行向下混音的指令，从而当根据用于向下混音的指令被向下混音时，结果产生的音频信号的数量少于构成所述两个或多个音频信号的音频信号的数量。

9.如权利要求1到6中的任何一个所述的方法，其中所述得出用于声道重新配置的指令得出用于对所述两个或多个音频信号进行重新配置的指令，从而当根据用于重新配置的指令被重新配置时，音频信号的数量保持不变，但是想要再现所述音频信号的一个或多个空间位置被改变。

10.如权利要求1到6中的任何一个所述的方法，其中，所述输出中的所述两个或多个音频信号或它们的改进分别是所述两个或多个音频信号或它们的改进的数据压缩的版本。

11.如权利要求1到6中的任何一个所述的方法，其中，所述两个或多个音频信号或它们的改进被划分成频带，所述用于声道重新配置的指令是针对所述频带中的频带的。

12.如权利要求3所述的方法，所述方法包括：

改进音频信号之间的固有信号特征中的一个或多个差异。

13.如权利要求12所述的方法，其中，固有信号特征包括幅度和相位中的一个或两个。

14.如权利要求12或13所述的方法，其中，改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

将未改进的信号向上混音成较大数量的信号，以及

使用矩阵编码器对向上混音的信号进行向下混音。

15.如权利要求12或13所述的方法，其中，改进音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

增加或减小所述音频信号中的音频信号之间的互相关。

16.如权利要求15所述的方法，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

17.一种用于处理两个或多个音频信号或它们的改进的方法，所述方法包括：

得出用于对所述两个或多个音频信号或它们的改进进行声道重新配置的指令，其中，所述得出步骤接收的唯一音频信息是所述两个或多个音频信号或它们的改进，

提供输出，该输出包括：(1)所述两个或多个音频信号或它们的改进，以及(2)用于声道重新配置的指令，以及

接收所述输出，

其中，(1)每个音频信号代表一个音频声道，(2)所述两个或多个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的两个或多个音频信号提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。

18.如权利要求17所述的方法，其中，改进的两个或多个音频信号当通过矩阵解码器被解码时提供增强的多声道解码。

19.如权利要求18所述的方法，其中，矩阵解码器是有源矩阵解码器。

20.如权利要求17到19中的任何一个所述的方法，其中，改进的两个或多个音频信号是矩阵编码的改进。

21.如权利要求17到19中的任何一个所述的方法，其中，所述得出用于声道重新配置的指令的步骤得出用于对所述两个或多个音频信号或它们的改进进行向上混音的指令，所述声道重新配置对所述两个或多个音频信号或它们的改进进行向上混音，从而结果产生的音频信号的数量大于构成所述两个或多个音频信号或它们的改进的音频信号的数量。

22.如权利要求17到19中的任何一个所述的方法，其中，所述得出用于声道重新配置的指令的步骤得出用于对所述两个或多个音频信号进行向下混音的指令，所述声道重新配置对所述至少两个或更多音频信号进行向下混音，从而结果产生的音频信号的数量少于构成所述两个或多个音频信号的音频信号的数量。

23.如权利要求17到19中的任何一个所述的方法，其中，所述得出用于声道重新配置的指令的步骤得出用于对所述两个或多个音频信号进行重新配置的指令，所述声道重新配置对所述两个或多个音频信号进行重新配置，从而音频信号的数量保持不变，但是想要再现所述音频信号的一个或多个空间位置被改变。

24.如权利要求17到19中的任何一个所述的方法，其中，所述输出中的所述两个或多个音频信号或它们的改进分别是所述两个或多个音频信号或它们的改进的数据压缩的版本，所述接收所述输出的步骤包括对所述两个或多个音频信号或它们的改进进行数据解压缩。

25.如权利要求17到19中的任何一个所述的方法，其中，所述两个或多个音频信号或它们的改进被划分成频带，所述用于声道重新配置的指令是针对所述频带中的频带的。

26.如权利要求17到19中的任何一个所述的方法，还包括：

提供音频输出，以及

选择以下之一作为音频输出：

(1)所述两个或多个音频信号或它们的改进，或

(2)声道重新配置的两个或多个音频信号。

27.如权利要求17到19中的任何一个所述的方法，还包括：响应于接收的两个或多个音频信号或它们的改进提供音频输出。

28.如权利要求27所述的方法，其中，所述方法还包括对所述两个或多个音频信号进行矩阵解码。

29.如权利要求17到19中的任何一个所述的方法，还包括：

响应于接收的声道重新配置的两个或多个音频信号或它们的改进提供音频输出。

30.如权利要求18所述的方法，所述方法包括：

改进音频信号之间的固有信号特征中的一个或多个差异。

31.如权利要求30所述的方法，其中，固有信号特征包括幅度和相位中的一个或两个。

32.如权利要求30或31所述的方法，其中，改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

将未改进的信号向上混音成较大数量的信号，以及

使用矩阵编码器对向上混音的信号进行向下混音。

33.如权利要求30或31所述的方法，其中，改进音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

增加或减小所述音频信号中的音频信号之间的互相关。

34.如权利要求33所述的方法，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

35.一种用于处理两个或多个音频信号或所述两个或多个音频信号的改进的方法，所述方法包括：

接收两个或多个音频信号或所述两个或多个音频信号的改进，以及用于对所述两个或多个音频信号或所述两个或多个音频信号的改进进行声道重新配置的指令，但是没有接收产生于所述用于声道重新配置的指令的对所述两个或多个音频信号或所述两个或多个音频信号的改进的声道重新配置，所述指令通过如下指令得出来得出，在所述指令得出中，接收的唯一音频信息是所述两个或多个音频信号或所述两个或多个音频信号的改进，以及

使用所述指令对所述两个或多个音频信号或所述两个或多个音频信号的改进进行声道重新配置，以及

其中，(1)每个音频信号代表一个音频声道，(2)所述两个或多个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的两个或多个音频信号提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。

36.如权利要求35所述的方法，其中，改进后的两个或多个音频信号当通过矩阵解码器被解码时提供增强的多声道解码。

37.如权利要求36所述的方法，其中，矩阵解码器是有源矩阵解码器。

38.如权利要求35至37中的任何一个所述的方法，其中，改进后的两个或多个音频信号是矩阵编码的改进。

39.如权利要求35到37中的任何一个所述的方法，其中，所述用于声道重新配置的指令是用于对所述两个或多个音频信号或它们的改进进行向上混音的指令，所述声道重新配置的步骤对所述两个或多个音频信号或它们的改进进行向上混音，从而结果产生的音频信号的数量大于构成所述两个或多个音频信号或它们的改进的音频信号的数量。

40.如权利要求35到37中的任何一个所述的方法，其中，用于声道重新配置的指令是用于对所述两个或多个音频信号进行向下混音的指令，所述声道重新配置的步骤对所述两个或更多音频信号进行向下混音，从而结果产生的音频信号的数量少于构成所述两个或多个音频信号的音频信号的数量。

41.如权利要求35到37中的任何一个所述的方法，其中，用于声道重新配置的指令是用于对所述两个或多个音频信号进行重新配置的指令，从而音频信号的数量保持不变，但是想要再现所述音频信号的各个空间位置被改变。

42.如权利要求35到37中的任何一个所述的方法，其中，用于声道重新配置的指令是用于呈现双耳立体声信号的指令，所述信号具有对所述两个或多个音频信号或它们的改进的多个虚拟声道的向上混音。

43.如权利要求35到37中的任何一个所述的方法，其中，用于声道重新配置的指令是用于呈现双耳立体声信号的指令，所述信号具有虚拟空间位置重新配置。

44.如权利要求35到37中的任何一个所述的方法，其中，所述两个或多个音频信号或它们的改进经过数据压缩，所述方法还包括：对所述两个或多个音频信号或它们的改进进行数据解压缩。

45.如权利要求35到37中的任何一个所述的方法，其中，所述两个或多个音频信号或它们的改进被划分成频带，所述用于声道重新配置的指令针对所述频带中的各个频带。

46.如权利要求35到37中的任何一个所述的方法，还包括：

提供音频输出，以及

选择以下之一作为音频输出：

(1)所述两个或多个音频信号或它们的改进，或

(2)声道重新配置的两个或多个音频信号。

47.如权利要求35到37中的任何一个所述的方法，还包括：

响应于接收的两个或多个音频信号或它们的改进提供音频输出。

48.如权利要求47所述的方法，其中，所述方法还包括对所述两个或多个音频信号进行矩阵解码。

49.如权利要求35到37中的任何一个所述的方法，还包括：

响应于接收的声道重新配置的两个或多个音频信号提供音频输出。

50.如权利要求36所述的方法，所述方法包括：

改进音频信号之间的固有信号特征中的一个或多个差异。

51.如权利要求50所述的方法，其中，固有信号特征包括幅度和相位中的一个或两个。

52.如权利要求50或51所述的方法，其中，改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

将未改进的信号向上混音成较大数量的信号，以及

使用矩阵编码器对向上混音的信号进行向下混音。

53.如权利要求50或51所述的方法，其中，改进音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

增加或减小所述音频信号中的音频信号之间的互相关。

54.如权利要求53所述的方法，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

55.一种用于处理至少两个音频信号或与所述至少两个音频信号的改进的方法，所述方法包括：

接收所述至少两个音频信号以及用于对所述至少两个音频信号进行声道重新配置的指令，但是没有接收产生于所述用于声道重新配置的指令的对所述至少两个音频信号的声道重新配置，所述指令通过如下指令得出来得出，在所述指令得出中，接收的唯一音频信息是所述至少两个音频信号；以及

对所述至少两个音频信号进行矩阵解码，

其中，(1)每个音频信号代表一个音频声道，(2)所述至少两个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的至少两个音频信号提供相对于未改进的至少两个音频信号的解码而言增强的多声道解码。

56.如权利要求55所述的方法，其中，矩阵解码参考接收的指令。

57.如权利要求55-56中的任何一个所述的方法，其中，所述矩阵解码是有源矩阵解码。

58.如权利要求55所述的方法，其中，改进后的两个或多个音频信号是经过矩阵编码的改进。

59.如权利要求55所述的方法，所述方法包括：

改进音频信号之间的固有信号特征中的一个或多个差异。

60.如权利要求59所述的方法，其中，固有信号特征包括幅度和相位中的一个或两个。

61.如权利要求59或60所述的方法，其中，改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

将未改进的信号向上混音成较大数量的信号，以及

使用矩阵编码器对向上混音的信号进行向下混音。

62.如权利要求59或60所述的方法，其中，改进音频信号之间的固有信号特征中的一个或多个差异的步骤包括：

增加或减小所述音频信号中的音频信号之间的互相关。

63.如权利要求62所述的方法，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

64.一种用于处理两个或多个音频信号或它们的改进的设备，所述设备包括：

用于得出用于对所述两个或多个音频信号或它们的改进进行声道重新配置的指令的装置，其中，所述用于得出的装置接收的唯一音频信息是所述两个或多个音频信号或它们的改进；以及

用于提供输出的装置，所述输出包括(1)所述两个或多个音频信号或它们的改进，以及(2)用于声道重新配置的指令，以及

其中，(1)每个音频信号代表一个音频声道，(2)所述两个或多个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的两个或多个音频信号提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。

65.如权利要求64所述的设备，其中，音频信号是一对立体声的音频信号，所述改进是如下一对音频信号，该一对音频信号是所述一对立体声的音频信号的双耳化版本。

66.如权利要求64所述的设备，其中，改进的两个或多个音频信号当通过矩阵解码器解码时提供增强的多声道解码。

67.如权利要求66所述的设备，其中，矩阵解码器是有源矩阵解码器。

68.如权利要求64所述的设备，其中，改进的两个或多个音频信号是矩阵编码的改进。

69.如权利要求64所述的设备，其中，改进的两个或多个音频信号是矩阵编码的改进。

70.如权利要求64到69中的任何一个所述的设备，其中，所述用于得出用于声道重新配置的指令的装置得出用于对所述两个或多个音频信号或它们的改进进行向上混音的指令，从而当根据用于向上混音的指令被向上混音时，结果产生的音频信号的数量大于构成所述两个或多个音频信号或它们的改进的音频信号的数量。

71.如权利要求64到69中的任何一个所述的设备，其中，所述用于得出用于声道重新配置的指令的装置得出用于对所述两个或多个音频信号进行向下混音的指令，从而当根据用于向下混音的指令被向下混音时，结果产生的音频信号的数量少于构成所述两个或多个音频信号的音频信号的数量。

72.如权利要求64到69中的任何一个所述的设备，其中所述用于得出用于声道重新配置的指令的装置得出用于对所述两个或多个音频信号进行重新配置的指令，从而当根据用于重新配置的指令被重新配置时，音频信号的数量保持不变，但是想要再现所述音频信号的一个或多个空间位置被改变。

73.如权利要求64到69中的任何一个所述的设备，其中，所述输出中的所述两个或多个音频信号或它们的改进分别是所述两个或多个音频信号或它们的改进的数据压缩的版本。

74.如权利要求64到69中的任何一个所述的设备，其中，所述两个或多个音频信号或它们的改进被划分成频带，所述用于声道重新配置的指令是针对所述频带中的频带的。

75.如权利要求66所述的设备，所述设备包括：

用于改进音频信号之间的固有信号特征中的一个或多个差异的装置。

76.如权利要求75所述的设备，其中，固有信号特征包括幅度和相位中的一个或两个。

77.如权利要求75或76所述的设备，其中，用于改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于将未改进的信号向上混音成较大数量的信号的装置，以及

用于使用矩阵编码器对向上混音的信号进行向下混音的装置。

78.如权利要求75或76所述的设备，其中，用于改进音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于增加或减小所述音频信号中的音频信号之间的互相关的装置。

79.如权利要求78所述的设备，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

80.一种用于处理两个或多个音频信号或它们的改进的设备，所述设备包括：

用于得出用于对所述两个或多个音频信号或它们的改进进行声道重新配置的指令的装置，其中，所述用于得出的装置接收的唯一音频信息是所述两个或多个音频信号或它们的改进；

用于提供输出的装置，所述输出包括(1)所述两个或多个音频信号或它们的改进，以及(2)用于声道重新配置的指令；以及

用于接收输出的装置，以及

其中，(1)每个音频信号代表一个音频声道，(2)所述两个或多个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的两个或多个音频信号提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。

81.如权利要求80所述的设备，其中，改进的两个或多个音频信号当通过矩阵解码器被解码时提供增强的多声道解码。

82.如权利要求81所述的设备，其中，矩阵解码器是有源矩阵解码器。

83.如权利要求80到82中的任何一个所述的设备，其中，改进的两个或多个音频信号是矩阵编码的改进。

84.如权利要求80到82中的任何一个所述的设备，其中，所述得出用于声道重新配置的指令的装置得出用于对所述两个或多个音频信号或它们的改进进行向上混音的指令，所述声道重新配置对所述两个或多个音频信号或它们的改进进行向上混音，从而结果产生的音频信号的数量大于构成所述两个或多个音频信号或它们的改进的音频信号的数量。

85.如权利要求80到82中的任何一个所述的设备，其中，所述得出用于声道重新配置的指令的装置得出用于对所述两个或多个音频信号进行向下混音的指令，所述声道重新配置对所述至少两个或更多音频信号进行向下混音，从而结果产生的音频信号的数量少于构成所述两个或多个音频信号的音频信号的数量。

86.如权利要求80到82中的任何一个所述的设备，其中，所述得出用于声道重新配置的指令的装置得出用于对所述两个或多个音频信号进行重新配置的指令，所述声道重新配置对所述两个或多个音频信号进行重新配置，从而音频信号的数量保持不变，但是想要再现所述音频信号的一个或多个空间位置被改变。

87.如权利要求80到82中的任何一个所述的设备，其中，所述输出中的所述两个或多个音频信号或它们的改进分别是所述两个或多个音频信号或它们的改进的数据压缩的版本，所述接收所述输出的步骤包括对所述两个或多个音频信号或它们的改进进行数据解压缩。

88.如权利要求80到82中的任何一个所述的设备，其中，所述两个或多个音频信号或它们的改进被划分成频带，所述用于声道重新配置的指令是针对所述频带中的频带的。

89.如权利要求80到82中的任何一个所述的设备，还包括：

用于提供音频输出的装置，以及

用于选择以下之一作为音频输出的装置：

(3)所述两个或多个音频信号或它们的改进，或

(4)声道重新配置的两个或多个音频信号。

90.如权利要求80到82中的任何一个所述的设备，还包括：用于响应于接收的两个或多个音频信号或它们的改进提供音频输出的装置。

91.如权利要求90所述的设备，其中，所述设备还包括用于对所述两个或多个音频信号进行矩阵解码的装置。

92.如权利要求80到82中的任何一个所述的设备，还包括：

用于响应于接收的声道重新配置的两个或多个音频信号或它们的改进提供音频输出的装置。

93.如权利要求81所述的设备，所述设备包括：

用于改进音频信号之间的固有信号特征中的一个或多个差异的装置。

94.如权利要求93所述的设备，其中，固有信号特征包括幅度和相位中的一个或两个。

95.如权利要求93或94所述的设备，其中，用于改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于将未改进的信号向上混音成较大数量的信号的装置，以及

用于使用矩阵编码器对向上混音的信号进行向下混音的装置。

96.如权利要求93或94所述的设备，其中，用于改进音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于增加或减小所述音频信号中的音频信号之间的互相关的装置。

97.如权利要求96所述的设备，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

98.如权利要求80所述的设备，还包括：用于使用接收的用于声道重新配置的指令对接收的两个或多个音频信号或它们的改进进行声道重新配置的装置。

99.一种用于处理两个或多个音频信号或所述两个或多个音频信号的改进的设备，所述设备包括：

如下装置，其用于接收两个或多个音频信号或它们的改进以及用于对所述两个或多个音频信号或所述两个或多个音频信号的改进进行声道重新配置的指令，但是没有接收产生于所述用于声道重新配置的指令的对所述两个或多个音频信号或所述两个或多个音频信号的改进的声道重新配置，所述指令通过如下指令得出来得出，在所述指令得出中，接收的唯一音频信息是所述两个或多个音频信号或所述两个或多个音频信号的改进，以及

用于使用所述指令对所述两个或多个音频信号或所述两个或多个音频信号的改进进行声道重新配置的装置，以及

其中，(1)每个音频信号代表一个音频声道，(2)所述两个或多个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的两个或多个音频信号提供相对于未改进的两个或多个音频信号的解码而言增强的多声道解码。

100.如权利要求99所述的设备，其中，改进后的两个或多个音频信号当通过矩阵解码器被解码时提供增强的多声道解码。

101.如权利要求100所述的设备，其中，矩阵解码器是有源矩阵解码器。

102.如权利要求99至101中的任何一个所述的设备，其中，改进后的两个或多个音频信号是矩阵编码的改进。

103.如权利要求99到101中的任何一个所述的设备，其中，所述用于声道重新配置的指令是用于对所述两个或多个音频信号或它们的改进进行向上混音的指令，所述声道重新配置的装置对所述两个或多个音频信号或它们的改进进行向上混音，从而结果产生的音频信号的数量大于构成所述两个或多个音频信号或它们的改进的音频信号的数量。

104.如权利要求99到101中的任何一个所述的设备，其中，用于声道重新配置的指令是用于对所述两个或多个音频信号进行向下混音的指令，所述声道重新配置的装置对所述两个或更多音频信号进行向下混音，从而结果产生的音频信号的数量少于构成所述两个或多个音频信号的音频信号的数量。

105.如权利要求99到101中的任何一个所述的设备，其中，用于声道重新配置的指令是用于对所述两个或多个音频信号进行重新配置的指令，从而音频信号的数量保持不变，但是想要再现所述音频信号的各个空间位置被改变。

106.如权利要求99到101中的任何一个所述的设备，其中，用于声道重新配置的指令是用于呈现双耳立体声信号的指令，所述信号具有对所述两个或多个音频信号或它们的改进的多个虚拟声道的向上混音。

107.如权利要求99到101中的任何一个所述的设备，其中，用于声道重新配置的指令是用于呈现双耳立体声信号的指令，所述信号具有虚拟空间位置重新配置。

108.如权利要求99到101中的任何一个所述的设备，其中，所述两个或多个音频信号或它们的改进经过数据压缩，所述设备还包括：用于对所述两个或多个音频信号或它们的改进进行数据解压缩的装置。

109.如权利要求99到101中的任何一个所述的设备，其中，所述两个或多个音频信号或它们的改进被划分成频带，所述用于声道重新配置的指令针对所述频带中的各个频带。

110.如权利要求99到101中的任何一个所述的设备，还包括：

用于提供音频输出的装置，以及

用于选择以下之一作为音频输出的装置：

(1)所述两个或多个音频信号或它们的改进，或

(2)声道重新配置的两个或多个音频信号。

111.如权利要求99到101中的任何一个所述的设备，还包括：

用于响应于接收的两个或多个音频信号或它们的改进提供音频输出的装置。

112.如权利要求111所述的设备，其中，所述设备还包括用于对所述两个或多个音频信号进行矩阵解码的装置。

113.如权利要求99到101中的任何一个所述的设备，还包括：

用于响应于接收的声道重新配置的两个或多个音频信号提供音频输出的装置。

114.如权利要求100所述的设备，所述设备包括：

用于改进音频信号之间的固有信号特征中的一个或多个差异的装置。

115.如权利要求114所述的设备，其中，固有信号特征包括幅度和相位中的一个或两个。

116.如权利要求114或115所述的设备，其中，用于改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于将未改进的信号向上混音成较大数量的信号的装置，以及

用于使用矩阵编码器对向上混音的信号进行向下混音装置的。

117.如权利要求114或115所述的设备，其中，用于改进音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于增加或减小所述音频信号中的音频信号之间的互相关的装置。

118.如权利要求117所述的设备，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

119.一种用于处理至少两个音频信号或所述至少两个音频信号的改进的设备，所述设备包括：

如下装置，其用于接收所述至少两个音频信号以及用于对所述至少两个音频信号进行声道重新配置的指令，但是没有接收产生于所述用于声道重新配置的指令的对所述至少两个音频信号的声道重新配置，所述指令通过如下指令得出来得出，在所述指令得出中，接收的唯一音频信息是所述至少两个音频信号；以及

用于对所述至少两个音频信号进行矩阵解码的装置，

其中，(1)每个音频信号代表一个音频声道，(2)所述至少两个音频信号的改进与其进行改进的音频信号具有相同数量的信号和声道，并且(3)当被解码时，改进后的至少两个音频信号提供相对于未改进的至少两个音频信号的解码而言增强的多声道解码。

120.如权利要求119所述的设备，其中，矩阵解码参考接收的指令。

121.如权利要求119-120中的任何一个所述的设备，其中，所述矩阵解码是有源矩阵解码。

122.如权利要求119所述的设备，其中，改进后的两个或多个音频信号是经过矩阵编码的改进。

123.如权利要求119所述的设备，所述设备包括：

用于改进音频信号之间的固有信号特征中的一个或多个差异的装置。

124.如权利要求123所述的设备，其中，固有信号特征包括幅度和相位中的一个或两个。

125.如权利要求123或124所述的设备，其中，用于改进所述音频信号中的音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于将未改进的信号向上混音成较大数量的信号的装置，以及

用于使用矩阵编码器对向上混音的信号进行向下混音的装置。

126.如权利要求123或124所述的设备，其中，用于改进音频信号之间的固有信号特征中的一个或多个差异的装置包括：

用于增加或减小所述音频信号中的音频信号之间的互相关的装置。

127.如权利要求126所述的设备，其中，在一个或多个频带中变化地增加和/或减小音频信号之间的互相关。

Images