CN101006750A - 用于扩展音频混合以填充所有可用输出声道的方法 - Google Patents

Abstract

典型计算机系统中的音频源将不同数量声道的音频信号提供给操作系统的混合组件。该常规设置通常防碍来自所有源的音频信号通过所有输出声道回放。公开了上混和混合组件的新颖设置，其不论音频源的配置和这些音频源提供的声道数如何都使得音频信号能够传送到所有输出声道。

Description

用于扩展音频混合以填充所有可用输出声道的方法

技术领域

本发明总体上涉及对音频信号进行处理，更具体地涉及混合来自多个源的多声道音频信号的方法和设备。

背景技术

诸如数字电视、DVD-视频和DVD-音频的应用的日益普及，使得多声道音频源在消费者音频回放系统中变得更加普遍。普及度的增长反映在能够再现三个或更多个声道的音频信息的消费者回放系统数量的增加上。带五个全带宽声道和低频效应(LFE)声道的消费者系统(例如，在家庭影院应用中采用的消费者系统)正变得日益普遍。这种特定配置有时被称为5.1声道。尽管存在这种趋势，但是诸如光盘(CD)播放器、MP3播放器、常规模拟和数字无线电接收机以及常规电视接收机的一声道和两声道音频源仍得到普遍使用，并可能被广泛使用很多年。

随着消费者开始熟悉可能具有三个或更多个声道的系统的听觉实现方式及效果，他们开始期望并要求仅提供一个和两个声道音频信息的系统组件有类似的性能。通过具有两个以上声道的系统中的仅两个声道来再现两声道音频节目对于越来越多消费者而言变得无法接受。

已知有可将一声道和两声道信号扩展为更多声道的技术。包括Dolby Laboratories Inc.，San Francisco，California的Dolby ProLogic^_II和Dolby Pro Logic IIx技术的产品采用“上混”来将两声道信号扩展为三个或更多个声道的音频信息。这些产品使得消费者能够通过具有三个或更多个声道的系统来回放两声道音频材料，其听觉感受类似于对源自具有三个或更多个声道的源的音频材料进行回放所提供的听觉感受。这些已知技术的正常操作依赖于两个条件。

正常操作的第一个条件是必须知道音频源的声道数。例如包括Dolby Pro Logic II技术的设备被设计为仅在两声道输入时才正常操作。包括Dolby Pro Logic IIx技术的设备可在两个输入声道和5.1输入声道时正常操作，但是必须知道输入声道数，这是因为它们的操作根据输入声道数而改变。对于很多应用，由于声道数是隐含地知道的或者是通过音频信息而明确告知的，所以该条件可容易地得到满足。例如，隐含地知道诸如盒式磁带机、CD播放器以及FM立体声广播接收机的音频源提供的是两声道音频信息。其他源提供的信号，诸如具有符合先进电视系统委员会(ATSC)A/52规范的编码音频信息的电视信号，告知明确指定声道数的“元数据”。

正常操作的第二个条件是源中的所有声道必须是有效的；即，在全部时间内，音频源中没有声道保持安静。例如，如果音频源将5.1声道的音频信息传送到具有Dolby Pro Logic IIx解码器的接收机，并且除左声道和右声道以外的所有声道都静音，则接收机将错误地配置接收机处理器，并无法将有效信号传送到其所有输出声道。尽管这种情形在广播情形中不经常出现，但是在具有音频和多媒体性能的计算机系统中这是典型存在的情况。

采用计算机作为消费者娱乐系统中的音频信息源变得愈加普遍。专用硬件和软件使得常规个人计算机能够用作音频和视频的CD播放器或DVD播放器、视频游戏控制台、数字电视接收机以及音乐合成器(仅给出几例)。这些源中的很多源提供五个或更多个声道的音频信息，而其他的源仅提供两个声道。

在计算机自身内，软件应用程序通常将其音频输出传送到公共混合器，该公共混合器能够组合来自多个源的音频信息，并将所组合的结果提供给诸如所谓的“声卡”的输出设备或其他输出设备。可将来自该设备的输出信号提供给诸如耳机的声学输出换能器或者提供给用于驱动一个或更多个扬声器的放大器，或者可将它们提供给用于后续处理的其他硬件或软件设备。

在诸如运行可从Microsoft Corporation，Redmond，Washington获得的Windows操作系统之一的计算机上所见的环境的环境中，混合功能是由操作系统的组件来提供的，或者是由安装用来支持特定声卡或其他输出设备的专用驱动器来提供的。该混合功能支持的输出声道数通常取决于输出设备支持的声道数。如果输出设备限于两个声道，则混合功能提供两个输出声道。如果输出设备支持5.1声道，则混合功能提供5.1个输出声道。在典型的安装中，无法调整输出声道数和混合功能的混合处理。这一情形表现了已知技术无法克服的限制。

例如，假设计算机系统具有支持5.1输出声道的声卡和两个音频源。原理上，这些源中的任一者或两者可由计算机系统内的硬件和软件来实现，或者由计算机外部的设备来实现。在该示例中，第一个源为CD播放器，其提供被配置为左声道和右声道的两声道音频信息，并且第二个源为音频游戏，其提供被配置为左、右、中央、左环绕、右环绕以及低频效应(L、R、C、LS、RS、LFE)声道的5.1声道音频信息。计算机中的典型混合功能将各个输入声道混合在一起。来自所有源的左声道信号被混合并在混合器的左声道输出处提供。来自所有源的右声道信号被混合并在混合器的右声道输出处提供。类似地，来自所有源的C、LS、RS和LFE声道信号被混合并在相应的输出处提供。然而在该示例中，仅混合来自两个源的左声道信号和右声道信号，这是因为仅有一个源提供C、LS、RS和LFE声道信号。消费者将通过系统的仅两个声道听到来自CD播放器的音频，但是通过所有声道听到来自视频游戏的音频。如上所述，消费者越来越期望并要求通过所有声道给出来自所有源的音频。

所需要的是克服现有技术局限的设施。

发明内容

本发明的目的在于提供一种用于扩展音频混合以填充所有可用输出声道的方法和设备。通过如在独立权利要求中阐述的发明来实现这一目的。其他优点通过如在从属权利要求中阐述的附加特征来实现。

根据本发明的一个方面，一种混合来自多个音频源的音频信号的设备包括：第一混合器，具有耦合到所述多个音频源的输出声道的输入声道；上混器，具有耦合到所述第一混合器的第一组输出声道的一个或更多个输入声道；以及第二混合器，具有耦合到所述上混器的输出声道的第一组输入声道和耦合到所述第一混合器的第二组输出声道的第二组输入声道。

根据本发明的另一方面，一种对音频信号进行处理的方法包括以下步骤：将来自多个音频源的输出声道的信号相混合，以生成多个第一混合信号，所述多个第一混合信号被设置成第一组一个或更多个第一混合信号以及第二组一个或更多个第一混合信号；对所述第一组第一混合信号中的所述第一混合信号进行上混，以生成多个第一上混信号；以及，将一个或更多个声道的所述第一上混信号和根据所述一个或更多个第一混合信号获得的一个或更多个处理信号相混合，以生成多个输出信号。

通过参照以下讨论和附图将更好地理解本发明的各种特征，其中在几个图中，类似的附图标号指代类似的元件。下面的讨论和相关附图描述了通过个人计算机系统的软件组件来实现本发明的几种方式。这些实现仅是作为示例给出的，并不应被理解为表示对本发明的范围的限制。本发明可按照广泛各种方式来实现，这些方式包括计算机系统内的硬件和软件的组合以及使用除计算机之外的其他设备。

附图说明

图1是将来自两声道源的音频信号与来自五声道源的音频信号相混合的常规混合器的示意图。

图2是扩展来自两声道源的音频信号并将其与来自五声道源的音频信号相混合以提供五个输出声道的信号的一种方式的示意图。

图3是将来自两声道源的音频信号与来自五声道源的音频信号相混合并且随后将其扩展以提供五个输出声道的信号的一种方式的示意图。

图4是将来自两声道源的音频信号与来自五声道源的音频信号相混合并且根据需要自适应地对其进行扩展以提供五个输出声道的信号的一种方式的示意图。

图5是根据本发明的用来将来自两声道源的音频信号与来自五声道源的音频信号相混合以提供五个输出声道的信号的一种方式的示意图。

图6是根据本发明的用来将来自两声道源的音频信号、来自五声道源的音频信号以及来自七声道源的音频信号相混合以提供七个输出声道的信号的一种方式的示意图。

图7是可用来实现本发明的各种方面的设备的示意性框图。

具体实施方式

A.介绍

由典型个人计算机系统内的音频源生成的信号将信号提供给音频混合组件，该音频混合组件组合其输入信号以生成一组要传送到所谓的“声卡”或其他输出设备的信号。可将来自输出设备的输出信号提供给诸如耳机的听觉输出换能器或者提供给驱动一个或更多个扬声器的放大器，或者可将它们提供给用于后续信号处理或存储的其他硬件或软件设备。

图1是诸如在常规个人计算机中所见的音频混合组件的、用来混合来自多个音频源1、2的音频信号的音频混合组件10的示意图。通常，混合组件10所提供的输出声道数取决于诸如声卡或主板的等效芯片组的输出设备40的性能。如果输出设备40限于两个声道，则混合组件10通常生成两声道输出。如果输出设备40能够支持5.1声道配置，则混合组件10生成5.1声道输出。

该传统设置带来常规技术无法克服的问题。参照图1，音频源1表示诸如常规立体声CD播放器的两声道音频源，音频源2表示诸如用于回放运动图像和伴音轨的DVD播放器的5.1声道音频源。

当音频源1有效时，将两个声道的信号作为输入提供给混合器10。当音频源2有效时，将5.1声道的信号作为输入提供给混合器10。在典型的计算机架构内，以极为简单的方式将来自音频源1的两个声道信号混合到5.1声道输出中；直接将左声道信号和右声道信号分别传送到左输出声道和右输出声道，而其他输出声道不受影响。通过将各输入声道传送到其相应的输出声道而将来自音频源2的5.1声道信号直接混合到5.1声道输出中。该架构示于图1中。为了清晰例示，从此图和所有其他图中略去了LFE声道，即5.1声道配置中的“.1”声道部分。

听众可以通过所有5.1声道听到来自音频源2的音频，但是只能通过左声道和右声道听到来自音频源1的音频。如上所述，这种设置不再能够被希望通过所有可用输出声道给出来自所有源的音频的消费者所接受。

图2中例示了可解决这一问题的一种方式。根据该解决方案，由上混器5来处理来自两声道音频源1的音频信号，该上混器5响应于两个声道信号来合成一组5.1声道信号，并将合成信号传送到混合器10。原理上，上混器5可通过音频源1内、混合器10内的组件，或者在插入音频源1与混合器10之间的组件内实现。遗憾的是，出于至少以下两个原因，这些设置中没有一种可在常规个人计算机中实现。首先，存在很多无法被修改以包含上混组件的两声道音频源实现。第二，常规计算机系统的软件架构将混合器10实现为操作系统的一部分，这使得无法将上混组件并入混合组件中，或者插入音频源与混合组件之间。

图3中例示了能够克服常规计算机系统的局限的另一种方式。根据该解决方案，上混器15耦合到混合器10的输出。这可通过在与输出设备40相关联的软件驱动器中实现上混器15来完成。遗憾的是，该方案无法良好工作。在输入仅来自两声道音频源时，上混左声道和右声道以合成一组5.1声道信号才提供理想结果，而对于在5.1声道音频源提供的剩余声道中存在的内容，该方法忽略该内容或者使其失真。

图4中例示了对该问题的一个可能解决方案。根据该解决方案，自适应地应用上混器15。例如，如果检测器16检测到中央、左环绕或右环绕混合器输出声道中的任何显著信号能量，则该系统可以禁用上混器15。遗憾的是，该方法具有至少三个缺陷。由于自适应取决于对一些声道中的信号能量的检测，所以自适应的延迟是不可避免的，并且在不将听觉人工信号(artifact)引入到输出信号中的情况下通常难以启用或禁用上混器15。另外，在中央、左环绕或右环绕混合器输出声道中不存在显著信号能量的间隔期间，检测器16可能对于来自音频源2的信号错误地启用上混器15。此外，该方法不能正确地处理来自音频源1和音频源2的信号同时生成并通过混合器10混合在一起的那些情形。

本发明克服了现有技术的局限，并且与音频源的配置和这些音频源提供的声道数无关地将信号传送到所有输出声道。

图5是根据本发明的可将来自两声道源的音频信号与来自5.1声道源的音频信号相混合以提供5.1输出声道的信号的一种方式的示意图。根据该解决方案，将来自音频源1的左声道信号和右声道信号与来自音频源2的左声道信号和右声道信号相混合。将由该混合得到的两个声道提供给上混器15，上混器15从该两声道输入合成一组5.1声道信号。可采用Dolby Pro Logic II产品中包含的上混技术；然而，上混器15基本上可通过所期望的任意一组上混方程来实现。将混合器10的其余输出声道提供给混合器20的输入。将上混器15的输出声道也提供给混合器20的输入。混合器20将从混合器10和上混器15接收到的信号相混合以提供5.1输出声道。该方法从混合器20提供了一组输出信号，其包含来自音频源1的两声道信号的5.1声道扩展以及来自音频源2的5.1声道形式的5.1声道信号。

可根据需要重复地应用本发明的原理以提供更多数目的不同声道配置。图6是根据本发明的一种方式的示意图，其中可混合来自两声道源、5.1声道源以及7.1声道源的音频信号以按照左、右、中央、左环绕、右环绕、左后、右后以及低频效应(L、R、C、LS、RS、LB、RB、LFE)声道配置提供7.1输出声道。根据该解决方案，将来自音频源1、音频源2以及音频源3的相应左声道信号和右声道信号混合在一起，并将其提供给上混器17，上混器17从其两声道输入合成一组7.1声道信号。可采用Dolby Pro Logic IIx产品中包含的上混技术；然而，上混器17可基本上通过所期望的任意一组上混方程来实现。将音频源2的环绕声声道信号与音频源3的对应声道信号混合起来，并将其提供给环绕声道上混器18，环绕声道上混器18合成提供给混合器22的一组四声道环绕声信号。可采用Dolby Pro Logic IIx产品中包含的上混技术；然而，上混器22基本上可通过所期望的任意一组上混方程来实现。将来自音频源3的其余环绕声道信号提供给上混器22，上混器22混合相应后环绕声道的信号。将其输出以及上混器17的输出作为输入提供给上混器30。上混器30混合其输入信号以提供7.1输出声道。该方法从混合器30提供了一组输出信号，其包含来自音频源1和音频源2的信号的7.1声道扩展以及来自音频源3的7.1声道形式的7.1声道信号。

其他实现也是可以的。例如，在一个另选实现中，将混合器12的左声道输出信号和右声道输出信号上混为5.1声道，并在附加混合器中与混合器12输出中的中央、左环绕以及右环绕声道信号相组合。例如可采用Dolby Pro Logic II产品中的上混技术来从两个声道合成5.1声道。在环绕声道上混器中将该附加混合器的5.1声道输出信号上混为7.1声道，并将其作为输入提供给混合器30。例如可采用DolbyPro Logic IIx产品中的上混技术来从5.1声道合成7.1声道。然而图6中所示的实现优于该另选实现，这是因为该另选实现要求一些信号不止经过上混级。

B.实现

可按照多种方式来实现包含本发明各种方面的设备，包括由计算机或某些其他设备执行的软件，所属其他设备包括与类似于在通用计算机中所见的组件的组件相耦合的诸如数字信号处理器(DSP)电路的更专用组件。图7是可用来实现本发明方面的设备70的示意性框图。处理器72提供计算资源。RAM 73是进行处理的处理器72采用的系统随机存取存储器(RAM)。ROM 74表示某种形式的永久存储器，诸如用于存储操作设备70所需的程序并可能用于执行本发明的各种方面的只读存储器(ROM)。I/O控制75表示用于通过通信信道76、77接收并发送信号的接口电路。在所示的实施例中，所有主要系统组件都连接到总线71，总线71可表示一个以上的物理或逻辑总线；然而，对于实现本发明，总线架构并非必需的。

在利用通用计算机系统实现的实施例中，可包括附加组件以用于与诸如键盘或鼠标及显示器的设备相接，并且用于控制具有诸如磁带或磁盘或者光介质的存储介质的存储设备78。可采用存储介质来记录用于操作系统、实用程序及应用的指令程序，并且可包括实现本发明各种方面的程序。

可通过以多种方式实现的组件来执行实践本发明的各种方面所需的功能，这些方式包括离散逻辑组件、集成电路、一个或更多个ASIC和/或程序控制处理器。实现这些组件的方式对于本发明来说并不重要。

本发明的软件实现可通过多种机器可读介质来传输，例如，包括从超声波频率到紫外频率在内的整个频谱中的基带或调制通信路径，或者利用基本上任何记录技术(包括磁带、磁卡或磁盘，光学卡或光盘，固态存储器，以及包括纸在内的介质上的可检测标记)来传输信息的存储介质。

Claims (10)

1、一种用于混合来自多个音频源的音频信号的设备，其中，所述多个音频源中的一个或更多个音频源具有第一数量的输出声道，所述多个音频源中的一个或更多个音频源具有第二数量的输出声道，其中，所述第二数量大于所述第一数量，并且其中，所述设备包括：

第一混合器，包括多个输出声道并包括多个输入，所述多个输入中的每一个都具有与所述多个音频源中的相应音频源的输出声道相耦合的输入声道，其中所述第一混合器的输出声道按照第一组一个或更多个输出声道和第二组一个或更多个输出声道来设置；

第一上混器，包括多个输出声道并包括与所述第一混合器的所述第一组输出声道中的所述一个或更多个输出声道相耦合的一个或更多个输入声道；以及，

第二混合器，包括多个输出声道并包括多个输入声道，所述多个输入声道按照第一组两个或更多个输入声道和第二组一个或更多个输入声道来设置，其中所述第二混合器的所述第一组输入声道耦合到所述第一上混器的输出声道，并且所述第二混合器的所述第二组输入声道中的所述一个或更多个输入声道耦合到所述第一混合器的所述第二组输出声道中的所述一个或更多个输出声道。

2、根据权利要求1所述的设备，其中：

所述第一数量是表示为N的正整数，所述第二数量是表示为M的正整数；

所述第一混合器包括M个输出声道，所述第一组输出声道具有N个输出声道，所述第二组输出声道具有M-N个输出声道；

所述第一上混器包括N个输入声道和M个输出声道；并且

所述第二混合器包括M个输出声道，并包括按照具有M个输入声道的第一组和具有M-N个输入声道的第二组设置的输入声道。

3、根据权利要求1所述的设备，该设备包括介于所述第一混合器与所述第二混合器之间的第二上混器和第三混合器，其中：

所述第一混合器在所述第二组输出声道中具有两个或更多个输出声道；

所述第二上混器包括多个输出声道并包括与所述第一混合器的所述第二组输出声道中的至少一些输出声道相耦合的一个或更多个输入声道；并且

所述第三混合器包括多个输入声道，所述多个输入声道耦合到所述第二上混器的输出声道并耦合到所述第一混合器的所述第二组输出声道中的至少一些输出声道，并且所述第三混合器包括与所述第二混合器的所述第二组输入声道中的所述一个或更多个输入声道中的至少一些相耦合的一个或更多个输出声道。

4、根据权利要求3所述的设备，其中：

所述第一数量是表示为N的正整数，所述第二数量是表示为M的正整数；

所述第一混合器包括M个输出声道，所述第一组输出声道具有N个输出声道，所述第二组输出声道具有M-N个输出声道；

所述第一上混器包括N个输入声道和M个输出声道；

所述第二混合器包括M个输出声道，并包括按照具有M个输入声道的第一组和具有M-N个输入声道的第二组设置的输入声道；

所述第二上混器具有X个输入声道并具有Y个输出声道，其中，X和Y为正整数，X小于Y并且Y小于M-N；

所述第一混合器的所述第二组输出声道中的输出声道按照子组来设置，第一子组具有X个输出声道，第二子组具有(M-N)-X个输出声道，其中，所述第二上混器的输入声道耦合到所述第一混合器的所述第一子组输出声道中的输出声道；并且

所述第三混合器具有至少Y个输出声道。

5、一种用于混合来自多个音频源的音频信号的方法，其中，所述多个音频源中的一个或更多个音频源具有第一数量的输出声道，所述多个音频源中的一个或更多个音频源具有第二数量的输出声道，其中，所述第二数量大于所述第一数量，并且其中，所述方法包括以下步骤：

接收来自所述多个音频源中的一个或更多个音频源的各输出声道的源信号，并混合一个或更多个相应声道的源信号，以生成按照第一组一个或更多个第一混合信号和第二组一个或更多个第一混合信号设置的多个第一混合信号；

对所述第一组第一混合信号中的所述第一混合信号进行上混，以生成多个第一上混信号；以及

将一个或更多个相应声道的所述第一上混信号和从所述一个或更多个第一混合信号获得的一个或更多个处理信号相混合，以生成多个输出信号。

6、根据权利要求5所述的方法，其中，所述处理信号等于所述第一混合信号。

7、根据权利要求5所述的方法，该方法包括以下步骤：

上混所述第二组第一混合信号中的所述一个或更多个第一混合信号，以生成多个第二上混信号；以及

混合一个或更多个相应声道的所述第二上混信号和所述第二组第一混合信号中的至少一些所述一个或更多个第一混合信号，以获得所述处理信号。

8、一种传输指令程序的介质，所述指令程序可由设备执行以进行用于混合来自多个音频源的音频信号的方法，其中，所述音频源中的一个或更多个音频源具有第一数量的输出声道，所述音频源中的一个或更多个音频源具有第二数量的输出声道，其中，所述第二数量大于所述第一数量，并且其中，所述方法包括以下步骤：

接收来自所述音频源中的一个或更多个音频源的各输出声道的源信号，并混合一个或更多个相应声道的所述源信号，以生成按照第一组一个或更多个第一混合信号和第二组一个或更多个第一混合信号设置的多个第一混合信号；

对所述第一组第一混合信号中的所述第一混合信号进行上混，以生成多个第一上混信号；以及

将一个或更多个相应声道的所述第一上混信号和从所述一个或更多个第一混合信号获得的一个或更多个处理信号相混合，以生成多个输出信号。

9、根据权利要求8所述的介质，其中，所述处理信号等于所述第一混合信号。

10、根据权利要求8所述的介质，其中，所述方法包括以下步骤：

上混所述第二组第一混合信号中的所述一个或更多个第一混合信号，以生成多个第二上混信号；以及

混合一个或更多个相应声道的所述第二上混信号和所述第二组第一混合信号中的至少一些所述一个或更多个第一混合信号，以生成所述处理信号。

Images