CN102421054A - 多声道显示器上空间音频配置的方法和设备 - Google Patents

Abstract

一种用于为显示器呈现视听内容的方法和设备，包括：在显示器上定义与具有关联的音频信号的程序相关联的窗口。基于显示器上的窗口位置，以及与显示器相关联的至少两个扬声器的位置，来定义音频信号的至少两个音频位置。基于音频位置修改音频信号，以使音频信号看起来源自所述窗口内的至少一对位置。

Description

多声道显示器上空间音频配置的方法和设备

技术领域

本发明总体涉及与显示器一起提供音频的方法和设备。

背景技术

Ambiosonics是一种环绕声音系统，其中，捕获原始演奏用于重放。用于捕获这种演奏的技术是，使得可以相对良好地重新创建原始环绕声。在一些情况下，可以再现环绕声的“全球形(full sphere)”。

University of California Santa Barabara开发了Allosphere系统，Allosphere系统包括具有几百个扬声器、跟踪系统和交互机构的3-story高球形仪器。Allosphere系统具有水平面3度、仰角10度的空间分辨率，并且使用8个扩音器(loudspeaker)环，其中每个环16-150个扩音器。

NHK开发了一种用于超高清电视的22.2多声道声音系统。目的是再现身临其境和自然三维声场，该声场提供现场感和真实感。22.2声音系统包括具有9个声道的上层，具有10个声道的中间层以及具有3个声道的下层，以及用于低频效果的两个声道。

Ambiosonics、Allosphere和NHK系统适合于再现声音，并且可以与视频内容同时呈现，使得用户可以具有愉悦的体验。

B.Bauer的“Phasor Analysis of Some StereophonicPhenomena，”(Journal Acoust.Society of America，Vol.33，November 1961)和V.Pulkki的“Uniform Spreading of Amplitude Panned VirtualSources，”(Proceedings of the 1999 IEEE Workshop on Applications ofSignal Processing to Audio and Acoustics，1999)描述了立体声移动拍摄(panning)(强度/幅度移动拍摄)来创建左与右扩音器之间的虚源(virtual source)位置。然而，这些系统不涉及显示器上AV窗口以及针对该AV窗口的空间音频再现的构思。

发明内容

在本发明的一个方面中，公开了一种用于为显示器呈现视听内容的方法。该方法包括：在显示器上定义与具有关联的音频信号的程序相关联的窗口；基于显示器上的窗口的位置，以及与显示器相关联的至少两个扬声器的位置，来定义音频信号的至少两个音频位置；基于音频位置修改音频信号，以使音频信号表现为源自窗口内的至少一对位置和/或窗口外的至少一对位置。

在本发明的另一方面中，公开了一种用于为显示器呈现视听内容的设备。该设备包括：窗口定义部分，用于在显示器上定义与具有关联的音频信号的程序相关联的窗口；音频位置定义部分，用于基于显示器上窗口的位置，和与显示器相关联的至少两个扩声器的位置，来定义音频信号的音频位置；修改部分，用于基于音频位置修改音频信号，以使音频信号表现为源自窗口内的至少一对位置和/或窗口外的至少一对位置。

结合附图，考虑本发明的以下详细描述，可以更容易地理解本发明的上述和其他目的、特征和优点。

附图说明

图1示出了动态空间音频区系统。

图2示出了扩音器对平面和虚源位置计算。

图3示出了定义了扩音器对、收听者和圆的三维平面。

图4示出了映射至扩音器对的视听窗口。

图5示出了视听窗口至扩音器对的映射。

图6示出了屏幕上虚源位置计算的流程图。

图7示出了使用常规技术将屏幕上虚源位置映射至实际虚源位置的流程图。

图8示出了使用图7的常规技术将屏幕上虚源位置映射至实际虚源位置的三维映射。

图9示出了使用投影技术将屏幕上虚源位置映射至实际虚源位置的流程图。

图10示出了使用图9的投影技术将屏幕上虚源位置映射至实际虚源位置的三维映射。

图11示出了虚源位置和实际虚源位置对的放大部分。

图12示出了具有4个扩音器的动态空间音频区系统。

图13示出了具有多声道显示器上空间音频(multi-channel on-displayspatial audio)的拼接显示(tiled display)。

图14示出了具有多声道显示器上空间音频的另一拼接显示。

图15示出了具有多声道显示器上空间音频的另一拼接显示。

图16示出了具有多声道显示器上空间音频的另一拼接显示。

图17示出了具有多声道显示器上空间音频的另一拼接显示。

图18示出了空间音频系统。

图19示出了可以实现本发明方法的设备。

具体实施方式

为了解决现有技术中所示的问题，本发明描述了一种用于将显示器上的AV窗口映射至来自所有扩音器对的集合的扩音器对的方法。本发明还描述了一种用于将AV窗口映射至屏幕上虚源位置的方法，以及一种屏幕上虚源位置至实际虚位置的映射。

本发明还提供了一种用于多声音定位以覆盖墙面显示器的新颖的固定扩音器配置。本发明提供了这种扩音器设置，使用固定扩音器集合为显示器上的多个AV窗口提供虚拟声音定位。所提出的设置使用扩音器的固定配置位置来提供空间音频，所述空间音频表现为源自显示器屏幕上多个并发AV窗口的屏幕上位置。在上述方法中，固定扩音器位置在垂直显示平面中。这提供了与现有技术的差别，这是由于提供了一种环绕声和虚拟声定位系统，在该环绕声和虚拟声定位系统中，扩音器在围绕收听者的水平面内。

具有大屏幕尺寸和高分辨率的显示器日益变得经济并普遍存在。这些显示器包括平板LCD和PDP显示器、前和后投影显示器、其他类型的显示器。在家庭环境中，传统上已使用显示器在观看视听内容的同时观看单个节目。随着显示器逐渐变大，多个用户同时使用显示器用于多个分离应用更加可行。单个用户使用显示器用于多个同时使用也是更可行的。这些应用可以包括观看电视、观看网络视听流、现实高清远地视在(tele-presence)、音乐和音频应用、单玩家和多玩家游戏、社交应用(例如，Flickr、Facebook、Twitter等)、以及交互多媒体应用。对于这些应用中的许多应用，音频是必须的方面。不幸地，当同时使用多个应用时，很难确定与每个应用相关联的音频。此外，对于大显示器而言，很难识别声音由哪个应用产生。

为了向用户提供将音频声音与特定源窗口相关联的能力，期望系统修改音频信号，使得音频表现为源自特定窗口。在显示器上有多个活动窗口的情况下，期望系统修改音频信号，使得相应音频表现为源自相应窗口。在一些情况下，根据各个布置在一起的多个显示器来构造显示器，以有效形成单个显示器。在这种情况下，音频可以表现为源自不同的独立显示器和/或每个独立显示器中的一个或多个窗口。此外，在窗口在显示器之间延伸的情况下，可以使音频与相应的显示器相关联以使音频表现为源自在显示器之间延伸的该窗口。

参照图1，空间音频区系统可以首先识别10视听窗口位置。定义窗口是指显示屏幕的应用所使用的AV窗口(或视点)。在这种情况下的词语“窗口”用于描述桌面应用窗口。大尺寸显示(包括拼接显示)可以并发地显示多个应用(多个程序)A(i)，i＝0，1，...，Z-1。每个应用/程序在显示器上具有其自己的窗口/视点/区域，从而创建多个窗口，使得窗口中的一个包括显示器的一部分。每个应用同样倾向于在其自己的窗口/视点中运行。为了简单起见，描述可以考虑单个应用A(i)，其具有C×D个水平和垂直像素的窗口W(i)。然而，同样可以使用多个并发窗口。窗口位于显示器上，使得(在矩形窗口的情况下)窗口的左下角相对于整体显示的x，y坐标在(blx，bly)处。整体显示在显示器的左下角上具有(0，0)位置。

应用窗口中的一些可以是视听程序窗口。如果窗口与音频信号相关联，则可以认为该窗口是视听程序窗口。视听窗口的典型示例可以包括娱乐应用(例如，视频回放)、通信应用(例如，视频会议)、信息应用(例如，音频日程表通知工具)等。定义音频位置涉及：在屏幕上窗口内定义(x，y)位置/地点，其中用户期望音频表现为源自该(x，y)位置/地点。

参照图2，在识别10视听窗口位置之后，系统可以计算20扩音器对和虚源位置弧(arc)(使用虚源位置弧计算)。实质上，在给定扬声器布置的情况下，这可以计算表现为声音源的可用位置。基于音频位置修改音频信号使得音频信号表现为源自窗口涉及：虚源定位算法和其中的各个步骤，以实现音频来自窗口内所选位置的感知。可以定义以下符号：

将扩音器对Sp(i)，Sp(j)表示为P(i，j)。

将扩音器Sp(i)的位置定义100为(X_i，Y_i，Z_i)。在示例中，所有扩音器Sp(i)可以具有相同Z_i坐标。对于

这可以表示为Z_i＝Z_D。可以将从原点到扬声器位置的矢量定义为针对Sp(i)的

将收听者L位置定义110为(X_L，Y_L，Z_L)。将从原点到收听者位置的矢量定义为

然后，如下获得120由点L，Sp(i)，Sp(j)定义的平面E(L，Sp(i)，Sp(j))＝E(i，j)的方程：

将矢量和

定义为：

$\left(a\right)\stackrel{\→}{V_i}=\stackrel{\→}{V_L}-\stackrel{\→}{V_{\mathrm{sp}\left(i\right)}}$

$\left(b\right)\stackrel{\→}{V_j}=\stackrel{\→}{V_L}-\stackrel{\→}{V_{\mathrm{sp}\left(j\right)}}$

然后平面的法向由以下给出：

$\stackrel{\→}{N\left(E(i,j)\right)}=\stackrel{\→}{V_i}\×\stackrel{\→}{V_j},$ 其中，×表示矢量叉乘。

用坐标(X_Lij，Y_Lij，Z_Lij)表示130法向矢量

然后，由点L，Sp(i)，Sp(j)定义的3D平面(E(i，j))的方程是：

X_Lij(x-X_L)+Y_Lij(y-Y_L)+Z_Lij(z-Z_L)＝0。

可以由以下方程定义140在三维平面E(i，j)中以(X_L，Y_L，Z_L)为中心并通过点Sp(i)，Sp(j)的圆：

可以如上定义矢量

和

可以如下应用Gram-Schmidt过程以获得平面E(i，j)中矢量

的正交集合：

$\stackrel{\→}{U_i}=\stackrel{\→}{V_i}$

$\stackrel{\&RightArrow;}{U_j}=\stackrel{\&RightArrow;}{V_i}-<\stackrel{\&RightArrow;}{U_i},\stackrel{\&RightArrow;}{V_j}>\frac{\stackrel{\&RightArrow;}{U_i}}{<\stackrel{\&RightArrow;}{U_i},\stackrel{\&RightArrow;}{U_i>}},$ 其中，

表示矢量

和

的内乘。

然后，圆的半径由 $R(\stackrel{\&RightArrow;}{V_{\mathrm{sp}\left(i\right)}},\stackrel{\&RightArrow;}{V_{\mathrm{sp}\left(j\right)}})=R(i,j)=\sqrt{{\stackrel{\&RightArrow;}{V}}_i\&CenterDot;{\stackrel{\&RightArrow;}{V}}_i}$ 给出，其中，表示矢量

与矢量

的点乘。

参数形式的圆的方程M(L，sp(i)，sp(j))＝M(i，j)由以下给出150：

$M(L,\mathrm{sp}\left(i\right),\mathrm{sp}\left(j\right))=R(i,j)\mathrm{Cos}\left(t\right)\stackrel{\&RightArrow;}{V_i}+R(i,j)\mathrm{Sin}\left(t\right)\stackrel{\&RightArrow;}{V_j}+\stackrel{\&RightArrow;}{V_L}$

可以针对与显示器相关联的多对扩音器对的所有对重复160该过程。应当理解，该技术可以被扩展到三个或更多扬声器或扩音器。

参照图3，示出了三维平面E(i，j)170和圆M(i，j)180的弧。如图所示，对于诸如扩音器对之类的扬声器对，以及两个扬声器之间的弧，确定围绕收听者的弧。基于特定的扬声器或扩音器对，沿着该弧的音频声音可以表现为去往收听者。

再次参照图1，基于扩音器对和虚源20，将显示器上的视听窗映射30至扩音器对。实质上，这确定扩音器对所定义的弧与显示器上用于音频的屏幕上窗口之间的空间关系。优选地，与窗口位置最接近的扩音器对的弧是选定用于提供音频信号的扩音器对。

参照图4，示出了映射技术。

用Ln(i，j)表示通过对由L，Sp(i)，Sp(j)定义的3D平面中的圆的弧进行投影200而在显示平面上形成的线。针对扩音器对的线可以与来自另一扩音器对的线交叠。在线交叠的情况下，使用最长线。在其他实施例中，可以使用多个短线来代替最长线。

可以针对所有扩音器对重复210该过程。由每个扩音器对形成的这种线的集合可以表示为SLn＝{Ln(1，2)，Ln(2，3)，...}。

应用的窗口W(k)可以是A(k)。窗口W(k)的中心可以定义220为C(k)。

令中心C(k)由点(X(k)，Y(k)，Z_D)表示。可以基于窗口W(k)的左下角位置(blx，bly)及其水平和垂直像素尺寸C×D，计算中心点为：

$(X_k,Y_k,Z_D)=(\mathrm{blx}+\frac{C}{2},\mathrm{bly}+\frac{D}{2},Z_D).$

然后，确定230从中心C(k)到每条线Ln(i，j)的最短距离。采用以下步骤来获得从窗口W(k)的中心C(k)到线Ln(i，j)的最短距离：

线Ln(i，j)由点(X_i，Y_i，Z_i)和(X_j，Y_j，Z_j)定义，与扩音器位置Sp(i)，Sp(j)相对应，并且具有以下方程(在显示平面中)：

$(y-Y_i)=\frac{(Y_j-Y_i)}{(X_j-X_i)}(x-X_i),$ 可以写成Ax+By+C＝0，其中：

$A=\frac{-(Y_j-Y_i)}{(X_j-X_i)}$

B＝1

$C=-(Y_i-\frac{(Y_j-Y_i)}{(X_j-X_i)}{X}_i)$

然后，从C(k)到线Ln(i，j)的垂直距离由以下公式给出：

$D(C\left(k\right),i,j)=\frac{|\mathrm{AX}\left(k\right)+\mathrm{BY}\left(k\right)+C|}{\sqrt{A^2+B^2}}$

这可以针对所有扩音器对进行重复240。然后可以确定250集合SLn中具有自中心C(k)最短距离的线。可以将该条线表示为Ln_k(i，j)。

${\mathrm{Ln}}_k(i,j)=\min \left(D(C\left(k\right),i,j)\right)\&ForAll;i,\&ForAll;j$

如果多于一条线在与中心C(k)距离同样最短的位置处，则可以选择那些线中的任一条线。

参照图5，示出了视听窗口至扩音器对的映射技术。应用A(k)的窗口W(k)260具有窗口中心270。针对C(k)270的最短距离来自线Ln(i，j)280。在该特定位置中，选择扩音器对Sp(i)290和Sp(j)295。注意，其他扩音器对与C(k)距离较远(further from)。

再次参照图1，基于视听窗口至扩音器对的映射30，计算40屏幕上虚源位置。实质上，这选择了音频的屏幕上源位置。优选地，针对声音的源选择窗口的中心，但是同样也可以选择在窗口内或在窗口附近的其他位置。

参照图6，示出了屏幕上虚源位置计算。

线Ln_k(i，j)与从C(k)到Ln_k(i，j)的垂线的交叉点由OVS_k(i，j)表示。点OVS_k(i，j)是窗口W(k)的“屏幕上虚源”位置。可以将C(k)表示为窗口W(k)的“未映射屏幕上虚源”位置。

如下计算点OVS_k(i，j)＝(X_o，Y_o，Z_D)的坐标：

平面E(L_k，Sp_k(i)，Sp_k(j))＝E_k(i，j)中线Ln_k(i，j)的方程可以由以下方程给出300：

A_kx+B_ky+C_k＝0，其中：

$A_k=\frac{-(Y_{\mathrm{kj}}-Y_{\mathrm{ki}})}{(X_{\mathrm{kj}}-X_{\mathrm{ki}})}$

B_k＝1

$C_k=-(Y_{\mathrm{ki}}-\frac{(Y_{\mathrm{kj}}-Y_{\mathrm{ki}})}{(X_{\mathrm{kj}}-{\mathrm{Xk}}_i)}{X}_{\mathrm{ki}})$

其中，Sp_k(i)＝(X_ki，Y_ki，Z_D)，SP_k(j)＝(X_kj，Y_kj，Z_D)。

平面E_k(i，j)中从C(k)到线Ln_k(i，j)的垂线的方程可以由以下方程给出310：

$\frac{B_k}{A_k}x-y+(Y\left(k\right)-\frac{B_{k}X\left(k\right)}{A_k})=0.$

然后，通过将以下方程组作为联立方程进行求解320，来获得点OVS_k(i，j)＝(X_o，Y_o，Z_D)的坐标：

$A_{k}x+B_{k}y+C_k=0$

$\frac{B_k}{A_k}x-y+(Y\left(k\right)-\frac{B_{k}X\left(k\right)}{A_k})=0.$

给出以下解：

$X_o=\frac{(A_k{C}_k+A_k{B}_{k}Y\left(k\right)-B_k^{2}X\left(k\right))}{({-A}_k^2-B_k^2)}$

$Y_o=\frac{(A_k{B}_{k}X\left(k\right)-A_k^{2}Y\left(k\right)+C_k{B}_k)}{({-A}_k^2-B_k^2)}.$

再次参照图1，基于40屏幕上虚源位置，可以计算50屏幕上虚源位置至实际虚源位置的映射。实质上，这提供了到音频源自的位置的映射。优选地，使用垂直或定向方式或任何其他适合的技术，将屏幕上源映射至虚源。

参照图7，示出了将屏幕上虚位置映射到实际虚源位置。

系统将屏幕上虚源点OVS_k(i，j)映射至圆M_k(i，j)的弧上的三维点AVS_k(i，j)(实际虚源)。一种针对此类映射的技术可以通过将点OVS_k(i，j)正交投影到显示平面并获得其与M_k(i，j)的交点来进行。(见图8、图11)

该点AVS_k1(i，j)的坐标可以通过获得垂直于平面Z＝Z_D且通过点OVS_k(i，j)＝(X_o，Y_o，Z_D)的线Q(i，j)与圆M_k(i，j)的交点来获得：

定义AVS_k1(i，j)＝(X_a，Y_a，Z_a)。

可以通过对以下方程组进行求解410、420获得Y_a，Z_a，从而获得点坐标(X_o，Y_a，Z_a)：

平面E(L_k，SP_k(i)，Sp_k(j))＝E_k(i，j)的法线NK是由坐标定义400的

将收听者位置与AVS_k1(i，j)结合的矢量定义为

那么

与

的点乘可以为零。

因此， $\stackrel{\&RightArrow;}{N\left(E_k(i,j)\right)}\&CenterDot;\stackrel{\&RightArrow;}{V_{{L,\mathrm{AVS}}_{k1}}}=0,$ 即

$X_{\mathrm{Lij}}^k(X_o-X_L)+Y_{\mathrm{Lij}}^k(Y_a-Y_L)+Z_{\mathrm{Lij}}^k(Z_a-Z_L)=0.$

同样，由于点AVS_k1(i，j)位于圆M_k(i，j)上，则满足：

$\sqrt{{(X_o-X_L)}^2+{(Y_a-Y_L)}^2+{(Z_a-Z_L)}^2}=R(i,j).$

定义：

(X_o-X_L)＝X_oL

(Y_a-Y_L)＝Y_aL。

(Z_a-Z_L)＝Z_aL

然后，针对Y_a，Z_a求解430上述联立方程组，给出以下解：

$Y_a=Y_L+\frac{1}{Y_{\mathrm{Lij}}^k}\{{-X}_{\mathrm{Lij}}^k{X}_{\mathrm{oL}}+\frac{X_{\mathrm{Lij}}^k{X}_{\mathrm{oL}}{\left(Z_{\mathrm{Lij}}^k\right)}^2}{{\left(Y_{\mathrm{Lij}}^k\right)}^2+{\left(Z_{\mathrm{Lij}}^k\right)}^2}$

$-\frac{Z_{\mathrm{Lij}}^k\sqrt{{4\left(X_{\mathrm{Lij}}^k{Z}_{\mathrm{Lij}}^k{X}_{\mathrm{oL}}\right)}^2-4({\left(X_{\mathrm{Lij}}^k{X}_{\mathrm{oL}}\right)}^2-(R(i,j)-{X_{\mathrm{oL}}}^{3/2}){\left(Y_{\mathrm{Lij}}^k\right)}^2)({\left(Y_{\mathrm{Lij}}^k\right)}^2+{\left(Z_{\mathrm{Lij}}^k\right)}^2)}}{2({\left(Y_{\mathrm{Lij}}^k\right)}^2+{\left(Z_{\mathrm{Lij}}^k\right)}^2)}\}$

$Z_a=Z_L+\frac{1}{2({\left(Y_{\mathrm{Lij}}^k\right)}^2+{\left(Z_{\mathrm{Lij}}^k\right)}^2)}\{-2X_{\mathrm{Lij}}^k{X}_{\mathrm{oL}}{Z}_{\mathrm{Lij}}^k+.$

$+\sqrt{4{\left(X_{\mathrm{Lij}}^k{Z}_{\mathrm{Lij}}^k{X}_{\mathrm{oL}}\right)}^2-4({\left(X_{\mathrm{Lij}}^k{X}_{\mathrm{oL}}\right)}^2-(R(i,j)-{X_{\mathrm{oL}}}^{3/2}){\left(Y_{\mathrm{Lij}}^k\right)}^2)({\left(Y_{\mathrm{Lij}}^k\right)}^2+{\left(Z_{\mathrm{Lij}}^k\right)}^2)}\}$

参照图8，示出了屏幕上虚源位置440至实际虚源位置450的映射。

参照图9，示出了屏幕上虚源位置至实际虚源位置的另一映射。系统将屏幕上虚源点OVS_k(i，j)映射至圆M_k(i，j)的弧上的三维点AVS_k(i，j)(实际虚源)。针对此类映射的技术通过沿着点(L，OVS_k(i，j))所定义的线对点OVS_k(i，j)进行投影并获得其与M_k(i，j)的交点来进行。(见图10、图11)。

该点AVS_k2(i，j)的坐标可以通过获得通过点(X_L，Y_L，Z_L)和点OVS_k(i，j)＝(X_o，Y_o，Z_D)的线T(i，j)与圆M_k(i，j)的交点来获得520：

定义AVS_k2(i，j)＝(X_b，Y_b，Z_b)。

(X_L，Y_L，Z_L)至OVS_k(i，j)的矢量500由以下方程给出：

$\stackrel{\&RightArrow;}{V_{{L,\mathrm{OVS}}_k}}=(X_L,Y_L,Z_L)-(X_o,Y_o,Z_D).$

对矢量进行归一化510，获得：

$\stackrel{\&OverBar;}{V_{{L,\mathrm{OVS}}_k}}=\frac{\stackrel{\&RightArrow;}{V_{{L,\mathrm{OVS}}_k}}}{\left|\stackrel{\&RightArrow;}{V_{{L,\mathrm{OVS}}_k}}\right|}.$

那么， ${\mathrm{AVS}}_{k2}(i,j)=(X_L,Y_L,Z_L)-R(i,j)\stackrel{\&OverBar;}{V_{{L,\mathrm{OVS}}_k}}.$

参照图10，示出了屏幕上虚源位置540至虚源位置550的映射。

参照图11，示出了根据两种不同的映射技术而获得的屏幕虚源位置OVS_k(i，j)和两个实际虚源位置(AVS_k1(i，j)，AVS_k2(i，j))的放大部分。这示出了正交技术与投影技术之间的略微不同。

再次参照图1，基于屏幕上虚源位置映射50，计算60扩音器增益。这可以使用用于虚源定位的扩音器增益计算的现有方法来进行。在B.Bauer的“Phasor Analysis of Some Stereophonic Phenomena，”JournalAcoust.Society of America，Vol.33，November 1961中描述了这种公知的方法。

使用扩音器对P_k(i，j)来对点AVS_k(i，j)处针对窗口W(k)的声源进行虚拟定位，k＝k₁或k＝k₂。在一些实施例中，还可以对每个扩音器P_k(i，j)的增益进行修改，以补偿OVS_k(i，j)与AVS_k(i，j)之间的距离。在一些实施例中，可以预先计算OVS_k(i，j)与P_k(i，j)之间的映射，并存储在查找表中。可以以任何方式选择扩音器增益。

在SAGE系统用于拼接显示的实施例中，可以如下实现动态空间音频区。假定存在产生包括应用A(i)的音频数据在内的应用数据的一个呈现节点(node)。假定存在M×N个显示节点。因此一个显示节点与一个拼接片(tile)相对应。然后，可以采用以下步骤来支持如上所述的空间音频。

(1)对于位置(blx，bly)处C×D个像素的窗口W(k)，确定与该窗口交叠的拼接片的集合。将该集合表示为T(o，p)，其中o和p表示如上所述拼接片索引。典型地，SAGE的自由空间管理器可以进行该确定。可以根据该信息来确定窗口W(k)的中心C(k)。

(2)呈现节点可以将应用A(k)图像拆分成子图像。典型地，自由空间管理器可以与呈现节点进行通信，以为其提供来自先前步骤的信息。

(3)创建从呈现节点到每个显示节点

的网络连接，其中，应用窗口可以交叠。

(4)将应用A(k)的音频流传输至每个显示节点

(5)利用如上所述的映射和其他步骤，回放来自音频再现设备Sp_k(i)，Sp_k(j)的音频。

再次参照图1，基于扩音器增益计算60，可以确定70新窗口位置。

图12示出了使用4个固定位置扩音器的动态空间音频区系统的实施例。在该实施例中，相对显示器设置4个扩音器。显示器的尺寸为MH×NW(高度×宽度)。对显示进行量化以显示高度单位(即，MH＝1)。3D坐标系统的原点可以位于任意位置。在一个实施例中，坐标系统的原点位于(x，y，z)＝(0，0，0)，显示器的左下角在(x，y，z)＝(0，0，1)处。在图12中，显示纵横比是

收听者L可以位于如图所示的位置。圆是三维的，以收听者(L)为中心，并且针对每个扩音器对Sp(i)，Sp(j)定向在不同3D平面中。这些圆中的每一个在三个点(L，Sp(i)，Sp(j))所定义的平面中。每个圆是以L为中心的球的大圆。能够使用相应扩音器对在圆的一部分上定位虚源。圆的该部分是显示平面后面的弧。将3D圆的弧投影到显示平面中的2D线上。

在另一实施例中，可以使用3个扩音器，并且音频位置可以基于按照三角布置而设置的3个扩音器。当在3D弧中设置该三角布置时，可以创建“球形三角”，“球形三角”是三角布置的弧形。

在另一实施例中，6扩音器系统可以使用实质上位于接近显示器的4个角位置的4个扩音器，以及实质上位于显示器的两个垂直(或水平)边界的中心附加的2个扩音器。

出于说明的目的，可以将显示器组看作是拼接显示系统。拼接显示系统包括由拼接配置的独立显示面板构成的“显示器”。拼接显示系统同样可以被看作是接续的单个显示器，其中显示器的不同区域起到拼接片(即，窗口)的作用。出于说明的目的，由独立拼接片构成的整个显示器称作“总体显示器”，而总体显示器的每个单个面板/拼接片称作“拼接片”。

显示器包括布置为M列N行拼接片的M×N个拼接片。拼接片包括：拼接片ID：T(x，y)，其中x＝{0，1，2，...}，y＝{0，1，2，...}。总体显示器的左下角的拼接片可以具有拼接片IDT(0，0)。总体显示器的右上角的拼接片可以具有拼接片IDT(M-1，N-1)。

拼接片T(x，y)分别具有W(x，y)和H(x，y)个像素的水平和垂直分辨率。在不失一般性的前提下，出于说明的目的，可以假定每个拼接片的水平和垂直分辨率分别等于W和H个像素。在这种情况下，由M×N个拼接片构成的总体显示器具有MW×NH个水平和垂直像素的分辨率(假定没有边框(mullion))。

在一些实施例中，每个拼接片具有在顶部、底部、右侧和左侧分别为t(x，y)，b(x，y)，r(x，y)，l(x，y)英寸的边框/边界。在这种情况下，基于拼接片的以英寸为单位的水平和垂直尺寸，以及拼接片的W(x，y)，H(x，y)值，可以计算每英寸的像素，从而可以将拼接片边框表示为分别针对顶部、底部、右侧和左侧的tp(x，y)，bp(x，y)，rp(x，y)，lp(x，y)个像素单位。在描述中不失一般性的前提下，可以认为tp(x，y)＝bp(x，y)＝a并且rp(x，y)＝lp(x，y)＝b。在这种情况下，由M×N个拼接片构成的总体显示器具有M(W+2a)×N(H+2b)个水平和垂直像素的分辨率。

拼接显示器可以并发地示出多个应用A(i)，i＝0，1，...，Z-1。每个应用在拼接片上具有其自己的窗口/视点。每个应用可以运行其自己的窗口/视点。单个应用A(i)具有C×D个水平和垂直像素的窗口W(i)。出于说明的目的，在不失一般性的前提下，可以认为窗口最初被放置在拼接显示器上，使得窗口的左下角相对于总体显示器处于(blx，bly)的x，y位置。总体显示器的显示器的左下角处于(0，0)位置。

图13示出了由5x4拼接片矩阵构成的拼接显示器的多声道空间音频的一个实施例。四个扩音器实质上位于显示器的四个角。单个AV(例如，音频-视频)窗口占据整个拼接显示区域。在这种情况下，音频可以表现为来自实质上在窗口左侧(但是在窗口的边界内)的显示器上位置(on-display location)，以及来自实质上在窗口右侧(但是在窗口的边界内)的显示器上位置。这两个输出声道可以称作“左空间”音频输出声道和“右空间”音频输出声道。

图14示出了由5x4拼接片矩阵构成的拼接显示器的多声道空间音频的另一个实施例。四个扩音器实质上位于显示器的四个角。单个AV窗口占据整个拼接显示区域。在这种情况下，音频可以表现为来自实质上在窗口左侧(但是在窗口的边界内)的显示器上位置，来自实质上在窗口中心的显示器上位置，以及来自实质上在窗口右侧(但是在窗口的边界内)的显示器上位置。这三个输出声道可以称作“左空间”音频输出声道、“中心空间”音频输出和“右空间”音频输出声道。

图15示出了由5x4拼接片矩阵构成的拼接显示器的多声道空间音频的另一个实施例。四个扩音器实质上位于显示器的四个角。单个AV窗口仅占据整个拼接显示区域的一部分。在这种情况下，音频可以表现为来自实质上在窗口左侧(但是在窗口的边界内)的显示器上位置，以及来自实质上在窗口右侧(但是在窗口的边界内)的显示器上位置。这两个输出声道可以称作“左空间”音频输出声道和“右空间”音频输出声道。

图16示出了由5x4拼接片矩阵构成的拼接显示器的多声道空间音频的另一个实施例。四个扩音器实质上位于显示器的四个角。单个AV窗口仅占据整个拼接显示区域的一部分。在这种情况下，音频可以表现为来自实质上在窗口左侧(但是在窗口的边界内)的显示器上位置，来自实质上在窗口中心的显示器上位置，以及来自实质上在窗口右侧(但是在窗口的边界内)的显示器上位置。这三个输出声道可以称作“左空间”音频输出声道、“中心空间”音频输出和“右空间”音频输出声道。

图17示出了由5x4拼接片矩阵构成的拼接显示器的多声道空间音频的另一个实施例。四个扩音器实质上位于显示器的四个角。两个AV窗口分别占据整个拼接显示区域的一部分。在这种情况下，每个AV窗口的音频可以表现为来自实质上在窗口左侧(但是在窗口的边界内)的显示器上位置，以及来自实质上在窗口右侧(但是在窗口的边界内)的显示器上位置。这两个输出声道可以称作“左空间”音频输出声道和“右空间”音频输出声道。应理解，窗口可以是重叠的或不重叠的。

在另一实施例中，多个AV窗口中的每个AV窗口占据整个拼接显示区域的一部分，其中每个窗口具有其自己的显示器上“左空间”音频输出声道、“中心空间”音频输出和“右空间”音频输出声道。

参考图8，示出了整个一般性的多声道显示器上空间音频系统800。拼接显示配置信息模块810的确定可以确定与拼接显示有关的以下配置信息。拼接显示的列数(M)、拼接显示的行数(N)、每个拼接片的以像素为单位的水平分辨率(W)、每个拼接片的以像素为单位的垂直分辨率(H)、以像素为单位的水平边框分辨率(rp(x，y)＝lp(x，y)＝b)、以及以像素为单位的垂直边框分辨率(tp(x，y)＝bp(x，y)＝a)。

应用窗口定位和尺寸信息确定模块820的确定可以确定与应用A(i)的窗口W(i)有关的以下信息。窗口W(i)的以像素为单位的水平分辨率(C)、窗口W(i)的以像素为单位的垂直分辨率(D)以及窗口W(i)的相对于总体显示器的以像素为单位的左下角位置(blx，bly)。

应用窗口输入音频声道信息模块830的确定可以确定音频信息。应用A(i)可以具有C×D个水平和垂直像素的窗口W(i)，其中窗口的左下角在相对于总体显示器的的位置(blx，bly)x，y处。应用A(i)可以是与附加图像/视频一起或不与附加图像/视频一起产生音频的应用。音频声道信息模块830确定应用A(i)的音频声道的信息，例如，音频声道(通常称作输入音频声道)的数目N^A(i)以及每个输入音频声道的采样速率F^A(i)KHz和采样尺寸S^A(i)比特。

显示器上多声道输出位置模块840的计算计算出与要回放的应用A(i)的窗口W(i)相对应的音频，使得该音频表现为来自于分别具有自己的显示器上空间位置的多个音频输出声道。在一个实施例中，对于每个窗口，实质上在窗口左侧的显示器上空间位置将被选择为输出“左空间”音频输出声道。此外，对于每个窗口，实质上在窗口右侧的显示器上空间位置将被选择为输出“右空间”音频输出声道。在另一实施例中，除了“左空间”和“右空间”音频输出声道之外，实质上位于窗口中心处的显示器上空间位置将被选择为输出“中心空间”音频输出声道。在一个实施例中，可以基于当前窗口大小和窗口位置来进行针对“左空间”、“右空间”和“中心空间”输出声道的显示器上位置的确定。因此，中心位置可以被选择在窗口矩形的中心处。左右音频输出声道空间位置可以被选择为在窗口高度中心且分别距离窗口左边缘和右边缘x个像素的位置。在一些实施例中，如果占据显示器的整个窗口区域较小，则可以使用仅单个输出声道来代替“左空间”、“右空间”和“中心空间”输出声道，其中所述单个输出声道位于显示器上窗口中心的位置，并且包含所有音频输入声道的下混频。

输入音频声道模块850的下混频可以接收A(i)的窗口W(i)的N^A(i)个输入音频声道，这N^A(i)个输入音频声道可以被下混频以产生“左空间”、“右空间”和“中心空间”输出声道。示出了产生“左空间”音频输出声道的下混频操作的伪码。

其中a(j)^A(i)表示音频样本j，表示音频样本j的第k输入声道的幅度，f(k)表示滤波器系数，所述滤波器系数对第k输入音频声道到“左空间”输出音频声道O_LS(j)^A(i)的贡献予以加权，T表示归一化缩放因子。类似地，可以确定“右空间”和“中心空间”音频输出声道。

对于每个空间音频位置的每个输出声道，计算扩音器增益模块860(扩音器集合)用于将声音定位成表现为来自特定的空间音频位置。可以以合适的方式来计算每个扩音器的增益，以将空间音频定位在期望的显示器上位置。

下混频音频至输出声道的拷贝和选路模块870确定使用期望的音频扬声器。将与扩音器L(p)相对应的输出音频声道表示为O_p。假设存在总计N个输出扩音器。那么以下伪码描述了下混频音频到输出扬声器声道的拷贝和选路。

向多输出环绕声道音频设备发送音频输出数据的模块880发出音频。对于每个环绕输出声道，将O_l(j)音频输出声道样本发送至音频输出设备环绕声道l。

应理解，尽管优选地音频表现为来自相关窗口外围内部的位置，然而音频同样可以表现为来自相关窗口的外围外部的位置。

图19示出了可以用于实现上述方法的设备。设备930可以包括：窗口定义部分900，用于在显示器上定义与具有关联的音频信号的程序相关联的窗口。该设备还可以包括：音频位置定义部分910，用于基于显示器上窗口的位置，和与显示器相关联的至少两个扬声器的位置，来定义音频信号的音频位置。该设备还可以包括修改部分920，用于基于音频位置修改音频信号，以使得音频信号表现为源自窗口内的至少一对位置和/或窗口外的至少一对位置。

在上述说明书中已经采用的术语和表达方式仅用作描述而并非限制，并且使用这样的术语和表达方式并不意在排除所示或所描述的特征的等同物或其一部分，应认识到，本发明的范围仅由所附权利要求定义和限定。

Claims (19)

1.一种用于为显示器呈现视听内容的方法，包括：

在所述显示器上定义与具有关联的音频信号的程序相关联的窗口；

基于所述显示器上的所述窗口的位置，以及与所述显示器相关联的至少两个扬声器的位置，来定义所述音频信号的至少两个音频位置；

基于所述音频位置修改所述音频信号，以使所述音频信号表现为源自所述窗口内的至少一对位置和/或所述窗口外的至少一对位置。

2.根据权利要求1所述的方法，其中，所述方法包括两个扬声器。

3.根据权利要求1所述的方法，其中，所述方法包括三个扬声器。

4.根据权利要求1所述的方法，其中，所述窗口包括所述显示器的一部分。

5.根据权利要求1所述的方法，还包括：在所述显示器上定义与具有关联的音频信号的程序相关联的多个窗口。

6.根据权利要求1所述的方法，还包括：在所述显示器上定义与具有关联的音频信号的多个程序相关联的多个窗口。

7.根据权利要求1所述的方法，其中，所述音频位置基于虚源位置弧计算。

8.根据权利要求1所述的方法，其中，所述至少两个扬声器是扩音器对。

9.根据权利要求1所述的方法，其中，所述至少两个扬声器是三个扩音器，并且所述音频位置基于所述三个扩音器限定的球面三角形。

10.根据权利要求8所述的方法，其中，所述音频位置还基于虚源位置弧。

11.根据权利要求10所述的方法，其中，相对于收听者限定所述虚源位置弧。

12.根据权利要求11所述的方法，其中，相对于多个扩音器对限定所述虚源位置弧。

13.根据权利要求12所述的方法，其中，选择所述虚源位置弧作为所述多个扩音器对中最接近所述窗口的扩音器对。

14.根据权利要求13所述的方法，其中，音频位置还基于屏幕虚源位置确定。

15.根据权利要求14所述的方法，其中，将所述屏幕虚源位置映射至所述虚源位置。

16.根据权利要求15所述的方法，其中，所述源自还基于为所述多个扩音器对中的每一对选择增益。

17.根据权利要求1所述的方法，还包括：基于所述显示器上所述窗口的位置来提供针对所述音频信号的第三音频位置；以及基于所述第三音频位置修改所述音频信号，使得所述第三音频位置表现为源自接近所述窗口的第三位置。

18.根据权利要求17所述的方法，还包括：

在所述显示器上定义与具有关联的第二音频信号的第二程序相关联的第二窗口；

基于所述显示器上的所述第二窗口的位置，以及与所述显示器相关联的至少两个扩音器的位置，来定义所述第二音频信号的至少两个另外音频位置；

基于所述音频位置修改所述第二音频信号，以使所述第二音频信号表现为源自所述第二窗口内的至少一对位置和/或所述第二窗口外的至少一对位置。

19.一种用于为显示器呈现视听内容的设备，包括：

窗口定义部分，用于在显示器上定义与具有关联的音频信号的程序相关联的窗口；

音频位置定义部分，用于基于所述显示器上所述窗口的位置，和与所述显示器相关联的至少两个扬声器的位置，来定义所述音频信号的音频位置；

修改部分，用于基于所述音频位置修改所述音频信号，以使所述音频信号表现为源自所述窗口内的至少一对位置和/或所述窗口外的至少一对位置。

Images