CN103369453B - 转换音频信号的音频设备及其方法 - Google Patents

Abstract

提供一种转换音频信号的音频设备及其方法。所述方法包括：接收包括多个声道的第一音频信号；比较所述多个声道的音频信号，来估计第一音频信号的源位置；基于估计的源位置，将第一音频信号的源定位到具有高度分量的三维(3D)位置；基于定位的源将第一音频信号转换为包括所述多个声道和与所述多个声道具有不同的高度的至少一个声道的第二音频信号；输出第二音频信号。

Description

转换音频信号的音频设备及其方法

本申请要求于2012年12月17日提交到韩国知识产权局的第10-2012-0147621号韩国专利申请的优先权和2012年3月30日提交到美国专利商标局的美国临时申请的利益，这些申请的公开通过引用全部包含于此。

技术领域

示例性实施例的多个方面涉及一种转换音频信号的音频设备及其方法，更具体地讲，提供一种用于将二维(2D)音频信号转换为具有高度分量的三维(3D)音频信号的音频设备及其转换音频信号的方法。

背景技术

存在各种声道的音频信号(例如，2.1声道音频信号、5.1声道音频信号等)来向用户提供音频信号。诸如2.1声道音频信号或5.1声道音频信号的音频信号基于与用户的耳朵相同的高度来形成二维(2D)声场以提供给用户。

在3D图像市场增长的同时，具有高度分量的三维(3D)音频已被发展以为即将到来的超高清晰度TV(UHDTV)时代而准备。例如，已经开发了具有各种高度声场的音频信号(例如，22.2声道音频信号)。具体地讲，22.2声道音频信号具有用于产生与人的耳朵相同的高度的声场的10个音频声道、用于产生高于人的耳朵的声场的9个音频声道以及用于产生低于人的耳朵的声场的3个音频声道和2个低声道。由于这样的22.2声道音频信号，音频设备再现3D环绕声场。

然而，大多数音频内容是形成2D声场的音频信号(如，2.1声道音频信号或5.1声道音频信号)。

因此，需要将形成2D声场的音频信号转换为3D音频信号以向用户提供具有3D效果的3D环绕声场的方法。

发明内容

示例性实施例至少解决上面的问题和/或缺点以及上面没有描述的其他缺点。另外，示例性实施例不被要求克服上述的缺点，而且示例性实施例可不克服上述任何问题。

示例性实施例提供一种转换音频信号的音频设备及其方法，其中，所述音频设备用于估计具有多个声道的音频信号的源，并基于估计的源的位置，将接收的音频信号的源置于具有高度分量的三维(3D)位置中，以向用户提供具有高度分量的3D音频信号。

根据示例性实施例的一方面，提供一种转换音频设备的音频信号的方法，所述方法包括：接收包括多个声道的第一音频信号；比较所述多个声道的音频信号，来估计第一音频信号的源位置；基于估计的源位置，将第一音频信号的源定位到具有高度分量的3D位置；基于定位的源将第一音频信号转换为包括所述多个声道和与所述多个声道具有不同的高度的至少一个声道的第二音频信号；输出第二音频信号。

所述方法还可包括：将所述多个声道的音频信号中的每个音频信号转换为频域，其中，可将转换为频域的所述多个声道的音频信号的能量和所述声道的相关性中的至少一个进行比较，来估计第一音频信号的源位置。

响应于估计的源位置存在于由输出所述多个声道的多个扬声器形成的二维(2D)平面内，可将第一音频信号的源定位到3D位置。

可将存在于由所述多个扬声器形成的2D平面内的源位置可定位到由所述多个扬声器和输出至少一个声道的至少一个扬声器形成的3D立体空间的表面。

第一音频信号可通过使用所述多个扬声器的位置信息和所述至少一个扬声器的位置信息被转换为第二音频信号。

输出所述多个声道的多个扬声器可被定位在平面上，输出所述至少一个声道的所述至少一个扬声器可被定位在与输出所述多个声道的所述多个扬声器具有不同的高度的平面上。

将第一音频信号转换为第二音频信号的步骤可包括：响应于音频设备的屏幕高于收听者的头部的位置，按收听者观看屏幕的中心的角度移动3D立体空间的中心轴，以校正所述多个扬声器的位置信息和所述至少一个扬声器的位置信息。

估计第一音频信号的源位置的步骤可包括：将转换为频域的所述多个声道的音频信号的能量和所述多个声道的相关性中的至少一个进行比较，来确定第一音频信号的源位置的运动。

响应于第一音频信号的源具有大于或等于预设值的运动，根据第一音频信号的源的运动轨迹，可第一音频信号的源位置定位到3D位置。

根据另一示例性实施例的一方面，提供一种音频设备，包括：接收器，接收包括多个声道的第一音频信号；源位置估计器，比较所述多个声道的音频信号，来估计第一音频信号的源位置；音频信号转换器，基于估计的源位置，将第一音频信号的源定位到具有高度分量的3D位置，并基于定位的源，将第一音频信号转换为包括所述多个声道和与所述多个声道具有不同的高度的至少一个声道的第二音频信号；输出部分，输出第二音频信号。

音频设备还可包括：域转换器，将所述多个声道的音频信号转换为频域，其中，源位置估计器可将转换为频域的所述多个声道的音频信号的能量和所述多个声道的相关性中的至少一个进行比较，来估计第一音频信号的源位置。

输出部分可包括：多个扬声器，输出所述多个声道的音频信号，其中，响应于估计的源位置存在于由所述多个扬声器形成的2D平面内，音频信号转换器可将第一音频信号的源定位到3D位置定位。

输出部分还可包括：至少一个扬声器，输出所述至少一个声道的音频信号，其中，音频信号转换器可将存在于由所述多个扬声器形成的2D平面内的源位置定位到由所述多个扬声器和所述至少一个扬声器形成的3D立体空间的表面定位。

音频信号转换器可通过使用所述多个扬声器的位置信息和所述至少一个扬声器的位置信息，将第一音频信号转换为第二音频信号。

所述多个扬声器可被布置在平面上，输出所述至少一个声道的至少一个扬声器可被布置在与输出所述多个声道的所述多个扬声器具有不同的高度的平面上。

音频设备还可包括：布局解析器，存储所述多个扬声器的位置信息和所述至少一个扬声器的位置信息。

响应于音频设备的屏幕高于收听者的头部的位置，布局解析器可按收听者观看屏幕的中心的角度移动3D立体空间的中心轴，以校正所述多个扬声器的位置信息和所述至少一个扬声器的位置信息。

源位置估计器可将转换为频域的所述多个声道的音频信号的能量和所述多个声道的相关性中的至少一个进行比较，来确定第一音频信号的源位置的运动。

响应于第一音频信号的源具有大于或等于预设值的运动，音频信号转换器可根据第一音频信号的运动轨迹将第一音频信号的源位置定位到3D位置。

根据另一示例性实施例的一方面，提供一种用于转换音频设备的音频信号的方法，所述方法包括：基于第一音频信号的源位置，将包括多个声道的第一音频信号的源定位到具有高度分量的3D位置；基于定位的源，将第一音频信号转换为包括所述多个声道和与所述多个声道具有不同的高度的所述至少一个声道的第二音频信号。

附图说明

通过参照附图描述特定示例性实施例，以上和/或其它方面将会变得更加清楚，其中：

图1是示出根据示例性实施例的音频设备的结构的示意框图；

图2至图5是示出根据示例性实施例的转换音频信号的方法的示图；

图6是示出根据示例性实施例的源位置估计器和音频信号转换器的示意框图；

图7是示出根据示例性实施例的转换具有移动源的音频信号的方法的示图；

图8是示出根据示例性实施例的转换音频信号的方法的流程图。

具体实施方式

参照附图更详细地描述示例性实施例。

在以下描述中，甚至在不同的附图中，相同的附图标号被用于相同的元件。提供说明书中定义的诸如详细的结构和元件的内容，以帮助全面理解示例性实施例。因此，在没有这些特别定义的内容的情况下，明显的是示例性实施例可被执行。另外，由于公知的功能或结构将在不必要的细节模糊示例性实施例，因此对公知的功能或结构不进行详细描述。

图1是示出根据示例性实施例的音频设备100的结构的示意框图。

参照图1，音频设备100包括接收器110、域转换器120、源位置估计器130、布局解析器140、音频信号转换器150和输出部分160。这里，音频设备100可以是家庭影院，但不限于此。因此，音频设备100可以是输出多个音频声道的任何类型的音频设备。

接收器110从外部设备(例如，数字视频盘(DVD)设备、蓝光盘(BD)设备等)或广播站接收包括多个声道的第一音频信号。这里，接收的第一音频信号可以是在二维(2D)平面上形成声场的音频信号(如2.1声道音频信号或5.1声道音频信号)。

域转换器120将具有多个声道的第一音频信号转换为频域。例如，域转换器120可通过使用快速傅里叶变换(FFT)根据每个声道将时域的第一音频信号转换为频域。域转换器120可将转换为频域的每个声道的音频信号划分为多个子带。

源位置估计器130比较转换为频域的多个声道的音频信号来估计、确定或获取第一音频信号的源的位置。具体地讲，源位置估计器130检测每个声道的子带的能量，并计算声道之间的相关性。源位置估计器130确定多个声道中的具有最大能量的至少两个声道。源位置估计器130通过使用所述至少两个声道和计算的声道之间的相关性来估计源的位置。

例如，源位置估计器130根据确定的具有最大能量的至少两个声道是相邻声道还是左右声道以及根据声道间交叉相关性(ICC)值大于还是小于阈值0.5来估计每个子带的至少一个源的位置。

这里，源位置估计器130在包括各自输出输入音频信号的声道的扬声器的2D空间内估计源的位置。例如，如果5.1声道音频信号被输入到接收器110，则用于输出5.1声道的5.1声道音频信号的扬声器(即，中央扬声器(C)，左前方扬声器(LF)、右前方扬声器(RF)、左后方扬声器(LS)和右后方扬声器(RS))可实现2D平面声场(如图2中所示)。源位置估计器130通过使用每个声道的至少一个能量和声道之间的相关性在2D平面上估计源位置210。

布局解析器140存储每个声道的扬声器的位置信息。具体地讲，布局解析器140存储用于输出多个声道的第一扬声器的位置信息和与所述扬声器具有不同的高度的第二扬声器的位置信息，并将所述位置信息输出到音频信号转换器150。

这里，布局解析器140根据屏幕的位置将由第一扬声器和第二扬声器形成的三维(3D)立体空间的轴移动到第一扬声器和第二扬声器的正确的位置。

具体地讲，如果屏幕处于与收听者的眼睛相同的位置，则屏幕的位置和收听者的耳朵的位置在相同的平面上。因此，布局解析器140将第一扬声器的位置信息和第二扬声器的位置信息输出到音频信号转换器150，而不改变3D空间的轴(如图4中所示)。然而，如果屏幕的位置高于收听者的眼睛(即，屏幕的位置高于收听者的头部的位置)，则布局解析器140按收听者观看屏幕的中心的角度来移动3D立体空间的中心轴，以校正第一扬声器的位置信息和第二扬声器的位置信息(如图5中所示)，并将校正的第一扬声器和第二扬声器的位置信息输出到音频信号转换器150。另外，如果屏幕的位置低于收听者的眼睛(即，屏幕的位置低于收听者的头部的位置)，则布局解析器140按收听者俯视屏幕的中心的角度来移动3D立体空间的中心轴，以校正第一扬声器和第二扬声器的位置信息，将校正的第一扬声器和第二扬声器的位置信息输出到音频信号转换器150。

音频信号转换器150基于源位置估计器130估计的源位置来确定具有高度分量的3D位置中第一音频信号的源。音频信号转换器150还基于源的位置将第一音频信号转换为包括多个声道的第二音频信号和与所述多个声道具有不同的高度的至少一个声道。

具体地讲，音频信号转换器150将通过源位置估计器130估计的2D平面上的源的位置确定在由第一扬声器和第二扬声器形成的3D立体平面的表面上。例如，如果源位置估计器130估计源的位置(如图2中所示)，则音频信号转换器150将2D平面上的源的位置定位到3D立体空间的表面(如图3中所示)。这里，音频信号转换器150假设音频源的位置从3D立体空间的表面投影到2D平面上，以将2D平面上的源定位到具有高度分量的3D立体空间的位置310。

如果通过源位置估计器130估计的源的位置在由第一扬声器形成的2D平面内，音频信号转换器150将源的位置定位到3D立体空间的表面。例如，仅当源的位置存在于由扬声器形成的圆圈内时，音频信号转换器150将源的位置定位到3D立体空间的表面。然而，如果通过源位置估计器130估计的源的位置不存在于由第一扬声器形成的2D平面内，则音频信号转换器150不转换具有N个声道的第一音频信号，将第一音频信号按原样输出到输出部分160。

音频信号转换器150根据定位在3D立体空间的表面上的源的位置将具有M个声道的第一音频信号渲染为具有N个声道的第二音频信号。这里，第二音频信号包括第一音频信号的M个声道和具有高度分量的至少一个声道。

具体地讲，音频信号转换器150确定位于3D立体空间的表面上的源的位置，以确定最接近于定位的源的位置的至少三个扬声器。这里，所述至少三个扬声器可包括第一扬声器中的至少一个和第二扬声器中的至少一个，以包括具有不同高度的扬声器。

音频信号转换器150基于定位到3D立体空间的表面的位置，转换与最接近于定位的位置的至少三个扬声器相应的声道的音频数据。这里，音频信号转换器150转换与除了最接近于定位的位置的至少三个扬声器之外的其他扬声器相应的声道的音频数据。

例如，如果输入音频信号是5.1声道，则最接近于定位到3D立体空间的表面的位置的扬声器是中央扬声器、右前方扬声器和右上方扬声器，音频信号转换器150可基于定位到3D立体空间的表面的位置，将与中央扬声器和右前方扬声器相应的5.1声道的声道的音频数据转换为与中央扬声器、右前方扬声器和右上方扬声器相应的声道的音频数据。音频信号转换器150可按原样输出其他声道的音频数据。

换句话讲，音频信号转换器150将包括将被通过2D平面上的第一扬声器输出的多个声道的第一音频信号和第二音频信号进行混合，其中，第二音频信号包括：将被通过2D平面上的第一扬声器输出的多个声道和将被通过与第一扬声器具有不同的高度的第二扬声器输出的至少一个声道。

音频信号转换器150执行信号处理(例如，子带样本求和以及频率时间变换)，以将第二音频信号输出到输出部分160。

输出部分160输出包括N个声道的第二音频信号。这里，输出部分160可包括在2D平面上布置的多个扬声器和具有不同高度的至少一个扬声器。例如，输出部分160包括中央扬声器、左前方扬声器、右前方扬声器、左后方扬声器、右后方扬声器和低音扬声器，以在2D平面上输出5.1声道音频信号。输出部分160还包括左上扬声器、右上扬声器和后上扬声器，以输出3声道音频信号。然而，如上描述的扬声器的布局不限于此，因此，可根据其他方法布置扬声器。

由于如上所述的音频设备，所以可向用户提供更立体的音频。

根据另一示例性实施例，可确定源的运动，以将2D音频信号转换为具有高度分量的3D立体音频信号。现在将参照图6对此进行描述。

如图6中所示，音频设备100的源位置估计器130包括运动向量估计器131和移动源划分器132，音频设备100的音频信号转换器150包括移动源定位部分151、静态源定位部分152和合成器153。

运动向量估计器131基于通过使用每个声道的能量和声道之间的相关性估计的源的位置来估计源的运动向量。

移动源划分器132基于估计的源的运动向量确定源位置的运动。移动源划分器132将具有大于或等于预设值的运动的源确定为移动源，将具有小于预设值的运动的源确定为静态源。移动源划分器132将移动源输出到移动源定位部分151，将静态源输出到静态源定位部分152。

这里，左右方向上的运动的预设值可不同于(诸如，小于)前后方向上的运动的预设值。换句话讲，移动源划分器132可将具有左右方向(而不是上下方向)上的运动的源确定为移动源。

移动源定位部分151根据第一音频信号的移动源的运动轨迹将第一音频信号的移动源的位置定位到3D位置。如图7中所示，移动源定位部分151在2D平面上跟踪源的运动路径，以将源定位到3D位置，从而提供在3D立体空间的表面上移动源的效果。

静态源定位部分152在2D平面上按原样定位第一音频信号的静态源。然而，这仅是示例性实施例，应理解，静态源定位部分152可在3D立体空间的平面上定位第一音频信号的静态源，使得静态源具有高度分量(如图2至图5中所示)。

合成器153将分别从移动源定位部分151和静态源定位部分512输出的音频信号合成为第二音频信号。这里，合成器153针对第二音频信号执行信号处理(例如，子带样本求和以及频率时间变换)，并将第二音频信号输出到输出部分160。

如上所述，高度分量可被添加到移动源，以在3D立体空间的表面上定位移动源。因此，用户可将具有2D声场的音频信号重组为具有更宏大壮观效果的3D声场。

现在，将参照图8详细描述转换音频设备的音频信号的方法。

在操作S810，音频设备100接收包括多个声道的第一音频信号。这里，第一音频信号可以是在2D平面上具有声场的音频信号(如，2.1声道音频信号或5.1声道音频信号)。

在操作S820，音频设备100将第一音频信号转换为频域。这里，音频设备100可将第一音频信号的多个声道的每个音频数据转换为频域。

在操作S830，音频设备100估计第一音频信号的源位置。具体地讲，音频设备100可通过使用转换为频域的第一音频信号的每个声道的能量和声道之间的相关性来估计第一音频信号的源位置。这里，估计的第一音频信号的源位置可存在于2D平面上。

在操作S840，音频设备100将第一音频信号的源位置定位到具有高度分量的3D位置。具体地讲，音频设备100将存在于2D平面上的源位置定位到由音频设备100的扬声器形成的3D立体空间的表面，使得所述源位置具有高度分量。这里，仅当源位置存在于由用于输出2D声道的扬声器形成的平面内时，音频设备100可定位源位置。

在操作S850，音频设备100基于定位的3D位置，将第一音频信号转换为第二音频信号。这里，第二音频信号可包括第一音频信号的多个声道和与第一音频信号的多个声道具有不同的高度的至少一个声道。

在操作S860，音频设备100输出第二音频信号。

根据上述转换音频信号的方法，可向用户提供具有更立体效果的音频。

根据上述各种示例性实施例的音频设备的音频信号转换方法可被实现为程序，然后被提供到音频设备。

可设置存储程序的非暂时性计算机可读介质，包括：接收包括多个声道的第一音频信号；比较多个声道的第一音频信号，以估计第一音频信号的源位置；基于估计的源位置，将第一音频信号的源位置定位到具有高度分量的3D位置定位；基于定位的源位置，将第一音频信号转换为包括多个声道和与多个声道具有不同的高度的至少一个声道的第二音频信号；输出第二音频信号。

非暂时性计算机可读介质指示诸如寄存器、高速缓冲存储器、存储器等的短时间内不存储数据而是半永久地存储数据并可被装置读取的介质，。具体地讲，上述应用或程序可被存储并提供在非暂时性计算机可读介质(例如，CD、DVD、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等)。另外，应理解，在示例性实施例中，上述设备100的一个或多个单元可包括电路、处理器、微处理器等，并可执行存储在计算机可读介质中的计算机程序。

上述示例性实施例和优点仅是示例性的，而不应被解释为限制。本教导可容易地应用于其他类型的设备。另外，示例性实施例的描述意在说明性，而不限制权利要求的范围，并且多种替代、修改和改变对本领域的技术人员将是清楚的。

Claims (15)

1.一种转换音频设备的音频信号的方法，所述方法包括：

接收包括多个声道的第一音频信号；

比较所述多个声道的音频信号，来在由输出所述多个声道的多个扬声器形成的二维2D平面内估计第一音频信号的源位置；

基于估计的源位置，将第一音频信号的源定位到三维3D立体空间的表面上的具有高度分量的3D位置；

基于定位的3D位置将第一音频信号转换为包括所述多个声道和与所述多个声道具有不同的高度的至少一个声道的第二音频信号；

输出第二音频信号。

2.如权利要求1所述的方法，还包括：

将所述多个声道的音频信号中的每个音频信号转换为频域，

其中，将转换为频域的所述多个声道的音频信号的能量和所述多个声道的相关性中的至少一个进行比较，来估计第一音频信号的源位置。

3.如权利要求2所述的方法，其中，如果估计的源位置存在于所述2D平面内，则将第一音频信号的源定位到3D位置。

4.如权利要求3所述的方法，其中，将存在于由所述多个扬声器形成的2D平面内的源位置定位到由多个扬声器和输出至少一个声道的至少一个扬声器形成的3D立体空间的表面。

5.如权利要求4所述的方法，其中，第一音频信号通过使用所述多个扬声器的位置信息和所述至少一个扬声器的位置信息被转换为第二音频信号。

6.如权利要求5所述的方法，其中，输出所述多个声道的多个扬声器被定位在平面上，输出所述至少一个声道的所述至少一个扬声器被定位在与输出所述多个声道的所述多个扬声器具有不同的高度的平面上。

7.如权利要求6所述的方法，其中，将第一音频信号转换为第二音频信号的步骤包括：

如果音频设备的屏幕高于收听者的头部的位置，则按收听者观看屏幕的中心的角度移动3D立体空间的中心轴，以校正所述多个扬声器的位置信息和所述至少一个扬声器的位置信息。

8.如权利要求2所述的方法，其中，估计第一音频信号的源位置的步骤包括：

将转换为频域的所述多个声道的音频信号的能量和所述多个声道的相关性中的至少一个进行比较，来确定第一音频信号的源位置的运动。

9.如权利要求8所述的方法，其中，如果第一音频信号的源具有大于或等于预设值的运动，则根据第一音频信号的源的运动轨迹，第一音频信号的源位置被定位到3D位置。

10.一种音频设备，包括：

接收器，接收包括多个声道的第一音频信号；

源位置估计器，比较所述多个声道的音频信号，来在由输出所述多个声道的多个扬声器形成的二维2D平面内估计第一音频信号的源位置；

音频信号转换器，基于估计的源位置，将第一音频信号的源定位到三维3D立体空间的表面上的具有高度分量的3D位置，并基于定位的3D位置将第一音频信号转换为包括所述多个声道和与所述多个声道具有不同的高度的至少一个声道的第二音频信号；

输出部分，输出第二音频信号。

11.如权利要求10所述的音频设备，还包括：

域转换器，将所述多个声道的音频信号转换为频域，

其中，源位置估计器将转换为频域的所述多个声道的音频信号的能量和所述多个声道的相关性中的至少一个进行比较，来估计第一音频信号的源位置。

12.如权利要求11所述的音频设备，其中，输出部分包括：

多个扬声器，输出所述多个声道的音频信号，

其中，如果估计的源位置存在于由所述多个扬声器形成的2D平面内，则音频信号转换器将第一音频信号的源定位到3D位置。

13.如权利要求12所述的音频设备，其中，输出部分还包括：

至少一个扬声器，输出所述至少一个声道的音频信号，

其中，音频信号转换器将存在于由所述多个扬声器形成的2D平面内的源位置定位到由所述多个扬声器和所述至少一个扬声器形成的3D立体空间的表面。

14.如权利要求13所述的音频设备，其中，音频信号转换器通过使用所述多个扬声器的位置信息和所述至少一个扬声器的位置信息，将第一音频信号转换为第二音频信号。

15.如权利要求14所述的音频设备，其中，所述多个扬声器被定位在平面上，输出所述至少一个声道的至少一个扬声器被定位在与输出所述多个声道的所述多个扬声器具有不同的高度的平面上。