CN1498035A - 音频信息变换方法、程序和设备 - Google Patents

Abstract

本发明提供了一种音频信息变换设备、音频信息变换方法和音频信息变换程序，它们能够仅通过一个音频流自由改变收听点，并且能够仅用一个声道音频信息获得多声道。在所提供的方法中，确定虚拟收听点105，然后基于虚拟收听点105和对象103之间的距离和对象103和基本收听点102之间的距离的比、改变向多个扬声器的音频分配比。因此，通过基于一个视频信息改变虚拟收听点105的信息，能够产生很多音频环境。

Description

音频信息变换方法、程序和设备

技术领域

本发明涉及一种音频信息变换设备、音频信息变换方法和音频信息变换程序，它们被应用于如每个对象都具有视频信息和音频信息的MPEG 4(MovingPicture Coding Experts Group运动图像编码专家组)4的视频/音频格式中，或如每个场景都具有视频信息和音频信息的DVD(Digital Versatile Disk数字通用光盘)的视频/音频格式中。

背景技术

近年来，基于DVD或宽带的视频流正在蓬勃发展，并且因此增加了在家里处理视频/音频格式的机会。特别是，由于DVD的推广和比如AV放大器等的音频装置变得价格低廉，欣赏多声道音频的人增加了。在DVD中，使用MPEG2作为视频记录系统，并且使用杜比数字(AC-3)、DTS(Digital TheaterSystem，数字影院系统)、线性PCM(Pulse Code Modulating，脉码调制)、MPEG音频等作为音频记录系统。能够向DVD光盘中安装八个音频流。因此，如果在每个音频流中分别装载不同的声音，则能够实现如多语言的配音、高声音质量的播放、解说、声音跟踪等各种应用。

同时，存在作为下一代的视频/音频格式之一的MPEG 4。在MPEG 4中，构成屏幕上再现的各场景的具有视频/音频信息的对象被感兴趣地观看，并且可以通过对每个对象运动画面进行编码，而有效地获得运动画面压缩。

但是，在现有技术中播放DVD的多声道(如5.1-声道等)音频系统中，不能够改变一个音频流获得的收听点。因此，收听者仅能在自己收听所述音频的收听点上得到听见的感觉。

另外，每个对象的音频信息被转换成多声道音频，数据量增加了。因此，相应地缩短了视频/音频记录时间。

发明内容

鉴于上述情况发明了本发明，本发明的目的是提供一种音频信息变换设备，音频信息变换方法和音频信息变换程序，它们能够仅通过一个音频流自由改变收听点，从而产生使得收听者感觉其就在视频中的音频环境，并且仅通过一个声道音频信息实现多声道，从而节省数据量，并延长视频/音频记录时间。

为了实现上述目的，在权利要求1中说明的音频信息变换方法提供了一种应用到视频/音频格式的音频信息变换方法，在所述视频/音频格式中屏幕包括多个对象，并且每个对象具有视频信息，位置信息和音频信息，所述方法包括下面步骤：虚拟收听点设定步骤，在设定为收听者收听音频的位置的基本收听点的不同的位置上，设定虚拟收听点；比较步骤，将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和改变步骤，基于比较步骤的结果，改变向多个音频输出器件的音频(audio)分配比。

根据这样的方法，在与基本收听位置不同的位置上确定虚拟收听点，然后基于所述对象具有的位置信息计算与虚拟收听点的位置关系，和计算所述对象和所述基本收听点之间的位置关系，然后基于相应所计算的位置关系的比较结果，改变向多个音频输出器件的音频分配比。因此，能够产生使得收听者感到其就是进入到视频(虚拟收听点)中的带有强的感染力/真实感的音频环境。

另外，在权利要求2说明的音频信息变换方法提供了一种应用到视频/音频格式中的音频信息变换方法，在所述音频/视频格式中，在屏幕上产生的每个场景具有视频信息、音频信息和虚拟声源，所述方法包括下面步骤：设定步骤，在与设定为收听者收听音频的位置的基本收听点的不同的位置上，设定虚拟收听点；比较步骤，将所述基本收听点和所述虚拟声源之间的位置关系与所述虚拟收听点和所述虚拟声源之间的位置关系进行比较；和改变步骤，基于在所述比较步骤中的比较结果，改变向多个音频输出器件的音频分配比。

根据所述方法，计算基本收听点和虚拟声源之间的位置关系，并且计算虚拟收听点和虚拟声源之间的位置关系，然后基于相应所计算的位置关系的比较结果，改变向多个音频输出器件的音频分配比。因此，能够产生使得收听者感到其就是进入到视频(虚拟收听点)中的带有强感染力/真实感的音频环境。

另外，权利要求3说明的音频信息变换方法提供了一种应用到视频/音频格式中的音频信息变换方法，在所述视频/音频格式中，屏幕包括多个对象，并且每个对象具有视频信息、位置信息和一个声道音频信息，所述方法包括步骤：计算步骤，计算设定为收听者收听音频的位置的基本收听点和所述对象之间的位置关系；分配步骤，基于所述位置关系向多个音频输出器件分配一个声道音频信息。

根据所述方法，能够基于在所述基本收听点和所述对象之间的位置关系将对象具有的一个声道音频信息分配到所述音频的多个声道，并且能够向多个音频输出器件(如5.1声道扬声器系统)输出。因此，能够节省数据量，能够延长视频/音频记录时间。

另外，权利要求4说明的音频信息变换方法提供了一种应用到视频/视频格式的音频信息变换方法，在所述视频/音频格式中，屏幕包括多个对象，并且每个对象具有视频信息、位置信息和一个声道的音频信息，所述方法包括下面步骤：设定步骤，在与设定为收听者收听音频的位置的基本收听点不同的位置上设定虚拟收听点；比较步骤，将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和分配步骤，基于所述比较步骤的结果，向多个音频输出器件分配一个声道的音频信息。

根据所述方法，在与基本收听点不同的位置上确定虚拟收听点，然后基于所述对象具有的位置信息计算对虚拟收听点的位置关系，并且计算所述对象和所述基本收听点之间的位置关系，然后基于相应的所计算的位置关系的比较结果，能够向多个音频输出器件(如5.1声道扬声器系统)分配一个声道的音频信息。因此，能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境，并且能够节省数据量，并且能够延长视频/音频记录时间。

另外，与权利要求5-7中说明的音频信息变换方法一样，在根据权利要求1、2或4的任何一个的音频信息变换方法中，所述虚拟收听点或所述虚拟声源具有方向信息。

根据所述方法，向虚拟收听点或虚拟声源提供所述方向信息。因此，收听者能够感觉到其就是进入到了视频(虚拟收听点)中，并且能够改变收听者面向的方向和产生带有更强感染力/真实感的音频环境。

为了实现上述目的，权利要求8说明的音频信息变换程序使得计算机执行下面过程：设定虚拟收听点的过程，将基本收听点和对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较的过程；和基于所述比较过程的结果，改变向多个音频输出器件的音频分配比的过程。

例如，在具有如MPEG 4的视频/音频格式的再现的音频中，所述的程序计算在所述基本收听点和所述虚拟声源之间的位置关系，并且计算在所述虚拟收听点和虚拟声源之间的位置关系，然后基于相应所计算的位置关系的比较结果，改变向多个音频输出器件(如5.1声道扬声器系统)的音频分配比。因此，如果使用记录了所述程序的记录媒体(比如ROM的存储器等)，则能够实现产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境的图像/音频播放机(DVD播放机、LD播放机，MPEG播放机，游戏，在电影院中的系统)。

另外，权利要求9说明的音频信息变换程序，使得计算机执行以下过程：设定虚拟收听点的过程；将基本收听点和虚拟声源之间的位置关系与所述虚拟收听点和所述虚拟声源之间的位置关系进行比较的过程；和基于所述比较过程的结果，改变向多个音频输出器件的音频分配比的过程。

在屏幕上再现的场景单元中具有所述音频信息和音频信息的视频/音频格式中，所述程序计算所述基本收听点和所述虚拟声源之间的位置关系，并且计算在所述虚拟收听点和虚拟声源之间的位置关系，然后基于相应的所计算的位置关系的比较结果，改变向多个音频输出器件(如，5.1声道扬声器系统)的音频分配比例。因此，如果使用记录了所述程序的记录媒体(比如ROM的存储器等)，则能够实现产生使得收听者能够感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境的图像/音频播放机(DVD播放机、LD播放机、MPEG播放机、游戏、在电影院中的系统等)。

另外，权利要求10说明的音频信息变换程序使得计算机执行以下过程：计算在基本收听点和对象之间位置关系的过程；基于所述位置关系向多个音频输出器件分配一个声道音频信息的过程。

例如，在具有如MPEG 4的所述视频/音频格式的所述再现音频中，所述程序基于所述基本收听点和所述对象之间的位置关系，向音频的多个声道分配所述对象具有的一个声道音频信息，然后向多个音频输出器件(如5.1声道扬声器系统)输出所述音频。因此，如果使用记录了所述程序的记录媒体(比如ROM的存储器等)，则可以实现能够节省数据量并延长视频/音频记录时间的视频/音频播放机(DVD播放机、LD播放机、MPEG播放机、游戏、在电影院中的系统)。

另外，权利要求11说明的音频信息变换程序使得计算机执行下面过程：设定虚拟收听点的过程；将基本收听点和对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较的过程；和基于所述比较过程中的结果、向多个音频输出器件分配一个声道的音频信息的过程。

例如，在具有如MPEG 4的视频/音频格式再现音频中，所述程序确定在与所述基本收听点不同位置上的虚拟收听点，然后基于所述对象具有的位置信息计算对于所述虚拟收听点的位置关系，并计算所述对象和所述基本收听点之间的位置关系，和然后基于相应所计算的位置关系的比较结果，向多个音频输出器件(如5.1声道扬声器系统)分配一个声道音频信息。因此，如果使用记录所述程序的记录媒体(比如ROM的存储器等)，则能够实现产生使得收听者能够感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境的，并且也能够节省数据量和延长图像/音频记录时间的视频/音频播放机(DVD播放机、LD播放机、MPEG播放机、游戏、在电影院中的系统)。

为了实现上述目的，在权利要求12中说明的音频信息变换设备提供了一种用于视频/音频格式的音频信息变换设备，在所述视频/音频格式中，在屏幕上再现的场景被构造成包含有各对象，并且每个对象具有音频信息、位置信息和音频信息，所述设备包括：确定器件，用于在与设定为收听者收听音频的位置的基本收听点不同的位置上确定虚拟收听点；比较器件，用于将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和改变器件，用于基于所述比较器件的结果、改变向多个音频输出器件的音频分配比例。

根据所述设备，在与基本收听点不同的位置上确定虚拟收听点，然后基于对象具有的位置信息计算相对于虚拟收听点的位置关系，和计算对象和基本收听点之间的位置关系，然后基于相应的所计算的位置关系的比较结果，改变向多个音频输出器件(如5.1声道扬声器系统)的音频分配比。因此，通过使用上述音频信息变换设备能够产生，使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强的感染力/真实感的音频环境。

另外，在权利要求13中说明的音频信息变换设备提供了一种用于视频/音频格式的音频信息变换设备，在所述视频/音频格式中，在屏幕上产生的每个场景具有视频信息、音频信息、和虚拟声源，所述设备包括：确定器件，用于在与设定为收听者收听音频的基本收听点不同的位置上确定虚拟收听点；比较器件，用于将所述基本收听点和所述虚拟声源之间的位置关系与所述虚拟收听点和所述虚拟声源的位置关系进行比较；和改变器件，用于基于所述比较器件的结果、改变向多个音频输出器件的音频分配比例。

根据所述设备，计算基本收听点和虚拟声源之间的位置关系，并且计算虚拟收听点和虚拟声源之间位置关系，然后基于相应所计算的位置关系的比较结果改变向多个音频输出器件(如5.1声道扬声器系统)的音频分配比。因此，通过使用上述音频信息变换设备能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境。

另外，权利要求14说明的音频信息变换设备提供了一种用于视频/音频格式的音频信息变换设备，在所述视频/音频格式中，屏幕含有多个对象，每个对象具有视频信息、位置信息和一个声道的音频信息，所述设备包括：计算器件，用于计算设定为收听者收听音频的位置的基本收听点和所述对象之间位置关系；和分配器件，用于基于所述位置关系、向多个音频输出器件分配一个声道音频信息。

根据所述设备，能够基于所述基本收听点和对象之间的位置关系将对象具有的一个声道音频信息分配到所述音频的多个声道，并且能够将其向多个音频输出器件(如5.1声道扬声器系统)输出。因此，如果使用上述音频信息变换设备，则能够节省数据量，并能够延长视频/音频记录时间。

另外，权利要求15说明的音频信息变换设备提供了一种用于视频/视频格式的音频信息变换设备，在所述视频/音频格式中，屏幕含有多个对象，并且每个对象具有视频信息、位置信息和一个声道的音频信息，所述设备包括：确定器件，用于在与设定为收听者收听音频的位置的基本收听点不同的位置上确定虚拟收听点；比较器件，用于将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和分配器件，用于基于所述比较器件的结果、向多个音频输出器件分配一个声道的音频信息的设备。

根据所述设备，在与基本收听点不同的位置上确定虚拟收听点，然后基于所述对象具有的位置信息计算对虚拟收听点的位置关系，并且计算所述对象和所述基本收听点之间的位置关系，然后基于相应的所计算的位置关系的比较结果，能够向多个音频输出器件(如5.1声道扬声器系统)分配一个声道的音频信息。因此，如果使用上述音频信息变换设备，则能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境，并且能够节省数据量和延长视频/音频记录时间。

另外，如权利要求16-18说明的音频信息变换设备一样、在根据权利要求12、13或15的任何一个的音频信息变换设备中，所述虚拟收听点或虚拟声源具有方向信息。

根据所述设备，向所述虚拟收听点或所述虚拟声源提供所述方向信息。因此，如果使用上述音频信息变换设备，则收听者能够感到其就是进入到了所述视频(虚拟收听点)中，并且能够改变收听者面向的方向和产生具更强感染力/真实感的音频环境。

附图说明

图1是说明本发明第一实施例的示意图；

图2是说明本发明第一实施例的示意图，和示出在X-Z坐标平面上各扬声器、基本收听点和虚拟收听点之间的位置图像的示意图；

图3是说明本发明第一实施例的示意图，和示出在X-Z坐标平面上虚拟声源、基本收听点和虚拟收听点之间的位置图像的示意图；

图4是说明本发明第一实施例的示意图，和示出当虚拟收听点被当作中心时、所述虚拟收听点和虚拟声源之间的位置关系的示意图；

图5是说明本发明的第二实施例的示意图；

图6是说明本发明第三实施例的示意图；

图7是说明本发明第三实施例的示意图，和示出当基本收听点被当作中心时、所述基本收听点和对象之间的位置关系的示意图；

图8是说明本发明第四实施例的示意图，和示出当虚拟收听点被当作中心时、所述虚拟收听点和对象之间的位置关系的示意图；和

图9是说明本发明第五实施例的示意图。

在各图中，参考符号101、501和601每个都表示屏幕；102表示基本收听点；103、104和602每个都表示对象；105表示虚拟收听点；502和901每个都表示虚拟声源；和110-115每个都表示扬声器。

具体实施方式

下面参照附图详细说明根据本发明的各实施例。在下述各实施例中详细说明音频信息变换方法的详细情况。此时，所述音频信息变换方法能够作为计算机执行的各过程的音频信息变换程序实现，并且通过在存储器等存储媒体中存储这个音频信息变换程序构成音频信息变换设备。

(第一实施例)

现在参照图1-4说明根据本发明的第一实施例。

此实施例涉及如MPEG 4等的视频/音频格式，其中屏幕包括多个对象，并且每个对象具有视频信息、位置信息和音频信息。假设在图1中所示的屏幕具有被认为是在基本收听点102的收听者收听的音频信息。

另外，假设在屏幕101上播放场景，在这个场景中存在两个对象103和104。对象103和104分别具有视频流(视频信息)、音频流(音频信息)和位置信息。

在屏幕101的坐标上确定虚拟收听点105，然后产生使得收听者感到就是在虚拟收听点105收听音频的音频环境。

在此说明作为多声道音频系统的例子的5.1声道的例子。

对象103具有在5.1声道中的音频流。例如，假设在各声道中的音频信息，如图2所示是0b1L，0b1R，0b1C，0b1Ls，0b1Rs，0b1Lfe。

在此，观察例如对象103的流数据的R声道。假设对象103本身具有声源，并且如图3所示，对象103的R分量(音频信息0b1R)的虚拟声源是S(k，k)。

另外，如图1所示，假设从基本收听点102到对象103的距离被设定为L1，从虚拟收听点105到对象103的距离被设定为L2。然后，基于在基本收听点102和对象103之间的距离L1与虚拟收听点105和对象103之间的距离L2的比例、通过方程式(1)计算、相对于在基本收听点102收听的R声道中的声音的响度Vbr1的、在虚拟收听点105收听的声音的响度Vvr1。此时，假设声音的响度与距离的平方成反比。

[公式1]

$\mathrm{Vvr}1=\frac{{l1}^2}{{l2}^2}\mathrm{Vbr}1----\left(1\right)$

在虚拟收听点105收听的声音的响度Vvr1被当作从虚拟声源S发出的声音的响度，然后将这个声音分配到各扬声器110、111、113和114。也就是说，如图4所示，虚拟声源S所在圆周上的圆被认为是围绕在以虚拟收听点105为中心的周围。然后，从虚拟声源S向X轴和Z轴分别划垂线，然后测定在垂线和各个轴之间的交点及圆和各个轴之间的交点，然后计算它们的距离的比。然后，如果计算的结果分别表示为T1∶T2和U1∶U2，则给出从虚拟声源S发出的声音的分配比如下。

[公式2]

L∶R＝T2²∶T1²

[公式3]

Front∶Rear＝U2²∶U1²

即，给出的关系如下。基于这个比在虚拟收听点105收听的R声道中的声音的响度Vvr1被分配到各个扬声器110、111、113和114。

[公式4]

$L:R:\mathrm{Ls}:\mathrm{Rs}={T2}^2:{T1}^2:\frac{{U1}^1}{{U2}^2}{T2}^2:\frac{{U1}^2}{{U2}^2}{T1}^2$

也就是说，能够用方程式(2)得出在虚拟收听点105收听相对于基本收听点102在R声道中的对象103的声音时获得的R分量。

[公式5]

$\mathrm{Vv}\_r\_\mathrm{rl}=\frac{{T1}^2}{{T1}^2+{T2}^2+\frac{{U1}^2}{{U2}^2}{T1}^2+\frac{{U1}^2}{{U2}^2}{T2}^2}\mathrm{Vvr}1=\frac{{T1}^2}{(1+\frac{{U1}^1}{{U2}^2})({T1}^2+{T2}^2)}\frac{{l1}^2}{{l2}^2}\mathrm{Vbr}1$

...(2)

此时，上述方程式(2)表示当对象103的R声道分量(在基本收听点102上的R声道的分量)被分配到在虚拟收听点105收听的音频分量时获得的R分量。

另外，以与上述计算相同的方式将在虚拟收听点105收听的声音频度Vvr1分配到L分量，Rs分量和Ls分量。相似地分配除了R声道外的对象103的数据。然后，通过将这些数据相加完成在虚拟收听点105收听对象103的声音时的音频信息。方程式(3)给出作为例子的R分量。

[公式6]

Vv_r1＝Vv_r_r1+Vv_r_l1+Vv_r_rs1+Vv_r_ls1…(3)

通过对每个对象执行这些计算然后将计算结果相加完成每个场景的音频信息。通过以下方程式给出作为例子的R分量。

[公式7]

Vv_r＝Vv_r1+Vv_r2+Vv_r3+…    ...(4)

另外，将上述计算应用于L分量、Rs分量和Ls分量。因此，通过向各个声道上输出音频信息完成在虚拟收听点105收听的音频信息。

以此方式，根据本实施例，在与基本收听点102不同的位置上确定了虚拟收听点105，对每个对象计算虚拟收听点105和对象之间的位置关系和在基本收听点102和对象之间的位置关系，然后基于这些位置关系改变向扬声器110、111、113和114的音频分配比。因此，能够产生使得收听者感到其就是进入到了视频中的虚拟收听点105位置上的带有强感染力/真实感的音频环境。

在此情况中，在此实施例中，说明了作为多声道音频系统的5.1声道系统的例子。但是，也可以用每个具有不同声道数目的其它音频系统。

(第二实施例)

下面，参照图5说明根据本发明的第二实施例。

在上述的第一实施例中说明的情况(MPEG 4等)是，屏幕在对象单元中具有视频和音频信息，与此情况不同，在此将说明的是，在如现有的DVD的的屏幕上再现的场景单元中具有的视频和音频信息。

换句话说，假设在图5所示的屏幕501中再现场景并且这个场景具有被认为是在基本收听点102收听的视频和音频信息。将说明在确定虚拟收听点105时，准备要从各个声道输出的音频信息的例子。

首先，确定虚拟收听点502。通过用这个虚拟声源502替换在第一实施例中的对象，能够利用第一实施例的计算方法。假设确定虚拟声源502以代替图1中的对象，并且将到基本收听点102的距离设定为L1，到虚拟收听点105的距离设定为L2。如图3所示，在扬声器的方向确定虚拟声源S(k，k)。然后，如图4所示，把虚拟声源S所在的圆周上的圆看成是围绕作为中心的虚拟收听点105的。如果通过分配在基本收听点102收听的声道R分量Vbr计算在虚拟收听点105上收听的部分(Vv_r_r)，则方程式(5)给出所述部分。

[公式8]

$\mathrm{Vv}\_r\_r=\frac{{T1}^2}{{T1}^2+{T2}^2+\frac{{U1}^2}{{U2}^2}{T1}^2+\frac{{U1}^2}{{U2}^2}{T2}^2}\mathrm{Vvr}=\frac{{T1}^2}{(1+\frac{{U1}^1}{{U2}^2})({T1}^2+{T2}^2)}\frac{{l1}^2}{{l2}^2}\mathrm{Vbr}$

...(5)

通过相加所有的分配的R分量完成在虚拟收听点105收听的声音的R分量。

[公式9]

Vv_r＝Vv_r_r+Vv_r_l+Vv_r_rs+Vv_r_ls...(6)

此时，通过相似的计算，也将除了R分量外的，在基本收听点102收听的声音的L分量、Rs分量和R1分量分配到在虚拟收听点105收听的声音中。

在用这些数据作为音频信息，并然后从各个扬声器110、111、113和114输出作为音频信息的数据中的音频时，收听者能够欣赏虚拟收听点105被设定为收听点的音频环境。另外，通过改变虚拟收听点105的坐标系统收听者能够欣赏很多音频环境。

以此方式，根据本实施例，在与基本收听点102的不同的位置上确定虚拟收听点，然后对每个场景计算虚拟收听点105和虚拟声源502之间的位置关系及基本收听点102和虚拟声源502之间的位置关系，然后基于这些位置关系改变向扬声器110、111、113和114的音频分配比。因此，能够产生使得收听者感到其就是在视频的虚拟收听点105的带有强感染力/真实感的音频环境。

(第三实施例)

下面参照图6和7说明根据本发明的第三实施例。

在此实施例中，假设在屏幕上再现的场景是由背景和对象构成的，并且每个对象具有视频流和含有一个声道音频信息的音频流。如图6所示地设定基本收听点102。在场景上存在几个对象(各个音频流具有一个声道音频信息)。例如，由基本收听点102和对象602的坐标信息产生对象602的音频信息作为多声道音频信息。

如图7所示，画出圆使得所述圆以基本收听点102为中心并且对象602位于所述圆的圆周上。然后，从对象602向X轴和Z轴分别引垂线，然后，分别测定在垂线和X轴和Z轴之间的交点及圆和X轴和Z轴之间的交点。然后，如果将从圆和相关轴之间的交点到垂线和相关轴之间的交点的距离之比例分别表示为X-轴＝T1∶T2和Z-轴＝U1∶U2，则给出从对象602发出的声音的分配比如下。

[公式10]

L∶R＝T2²∶T1²

[公式11]

Front∶Rear＝U2²∶U1²

即，给出分配比如下。

[公式12]

$L:R:\mathrm{Ls}:\mathrm{Rs}={T2}^2:{T1}^2:\frac{{U1}^1}{{U2}^2}{T2}^2:\frac{{U1}^2}{{U2}^2}{T1}^2$

基于这个比，将对象602具有的在音频流中的音频信息分配到各个声道。在存在多个对象时，对每个对象执行这个处理，然后，将在各个声道中分配的音频信息相加，并从扬声器110、111、113和114输出。因此，即使在由仅具有一个声道音频信息的对象构成的场景中，收听者也能够欣赏多声道音频。另外，因为没有必要预先装多声道数据，因此能够减小数据量。

以此方式，根据此实施例，在每个对象都具有视频信息、该视频数据的位置信息和一个声道音频信息的视频/音频格式中，对每个对象，基于在基本收听点102和对象之间的位置关系，改变向扬声器110、111、113和115的音频分配比。因此，通过从甚至一个声道的音频信息产生多个声道音频信息，能够强化真实感，并且能够将音频信息减小到仅一个声道。

(第四实施例)

下面参照图6和图8说明本发明的第四实施例。

如上述第三实施例说明的，将虚拟收听点105添加到其中对象602具有一个声道音频信息的配置中。通过增加虚拟收听点105能够产生使得收听者能够感到其就是在虚拟收听点105收听声音的音频环境。

在图6中，假设在基本收听点102和对象602之间的距离为L1，虚拟收听点105和对象602之间的距离为L2。在图8中，画出圆使得所述圆以虚拟收听点105为中心，并且对象602在所述圆的圆周上的点上。然后，从对象602向X轴和Z轴分别画垂线，然后分别计算在各垂线和X轴和Z轴之间的交点及圆和X轴和Z轴之间的交点。然后，如果从在圆和相关轴之间的交点到在垂线和相关轴之间的交点的距离的比表示为X-轴＝T1∶T2和Z-轴＝U1∶U2，则可将从对象602发出的声音的分配比给出如下。

[公式13]

L∶R＝T2²∶T1²

[公式14]

Front∶Rear＝U2²∶U1²

即，给出分配比如下。

[公式15]

$L:R:\mathrm{Ls}:\mathrm{Rs}={T2}^2:{T1}^2:\frac{{U1}^1}{{U2}^2}{T2}^2:\frac{{U1}^2}{{U2}^2}{T1}^2$

如果假设对象602的音频信息为Vobj1，则方程式(7)给出作为例子的R分量。

[公式16]

$\mathrm{Vv}\_r1=\frac{{T1}^1}{1+\left(\frac{{U1}^2}{{U2}^2}\right)({T1}^2+{T2}^2)}\frac{{l1}^2}{{l2}^2}\mathrm{Vobj}1$

...(7)

通过基于相似计算确定从所有对象发出的音频信息的各R分量的分配然后相加这些分量、能够产生在虚拟s收听点收听的音频信息的R分量。并且，通过将上述计算应用到其余的L分量、Rs分量、和Ls分量能够产生在虚拟收听点收听的音频信息。

以此方式，根据本实施例，在每个对象具有视频信息、这个视频数据的位置信息和一个声道的音频信息的视频/音频格式中，计算在基本收听点102和对象602之间的距离L1和虚拟收听点105和对象602之间的距离L2，然后基于这个结果改变向扬声器110、111、113和114的音频分配比。因此，通过从甚至一个声道音频信息产生多声道音频信息，能够强化真实感，并且音频信息能够减小到仅一个声道。

(第五实施例)

下面参照图9说明根据本发明的第五实施例。

通过向在第一实施例、第二实施例和第四实施例中的虚拟收听点105提供方向信息能够进一步增加收听者的选择。更具体地说，通过改变向各个声道的音频信息分配、产生使得收听者能够感到就是站在虚拟收听点105并面向虚拟收听点105的方向信息指示的方向的音频环境。虚拟收听点105具有的信息是坐标和方向矢量。

当在第一实施例和第二实施例中考虑虚拟声源S(k，k)和虚拟收听点105之间的位置关系，并且在第四实施例中考虑对象602和虚拟收听点105之间的位置关系时，也考虑到虚拟收听点105的方向信息。

在第一实施例、第二实施例和第四实施例中，在收听者面向Z轴方向的前方的前提下，执行音频信息的分配。因此，在考虑虚拟声源(第一和第二实施例)或对象602(第四实施例)的方向时，考虑到了在Z轴和方向矢量之间的角。在此例子中，考虑在X-Z平面上的旋转。

如图9所示，通过旋转X轴和Z轴一个在方向矢量和Z轴之间的角θ，设定X’轴和Z’轴。然后，从虚拟声源S(k，k)或对象602分别向X’轴和Z’轴画垂线，然后，分别计算在各垂线和X’轴和Z’轴之间的交点和圆和X’和Z’轴之间的交点。然后，将圆和相关轴之间的交点到垂线和相关轴的交点的距离之比分别表示为X’-轴＝T1∶T2和Z’-轴＝U1∶U2。随后，根据第一实施例、第二实施例和第四实施例中说明的计算方法，能够将音频信息提供到音频环境中的各个声道中，在该音频环境中收听者面向从基本收听点102起的方向矢量指示的方向。

以此方式，根据此实施例，向虚拟收听点105提供方向矢量信息以及位置信息，然后基于各个对象具有的场景坐标信息计算相对于虚拟收听点的距离/方向，并基于这个结果改变向扬声器110、111、113和114的音频分配比。因此，通过从即使一个声道视频信息产生多声道音频信息，能够强化真实感。另外，因为向虚拟收听点105提供方向矢量信息以及位置信息，所以能够比上述的第一实施例、第二实施例和第四实施例更进一步强化真实感。

如果通过使用在上述相应实施例中所述的音频信息变换方法、音频信息变换程序、音频信息变换设备，构成解码视频/音频格式的解码器，则能够实现具有相应实施例优点的，视频/视频播放器(DVD播放器、LD播放器、MPEG播放器、游戏、电影院中的系统等)。

本发明优点

如上详细说明的，根据权利要求1的音频信息变换方法，在与基本收听点不同的位置上确定虚拟收听点，然后基于所述对象具有的位置信息计算相对于虚拟收听点的位置关系，并且计算对象和基本收听点之间的位置关系，然后基于相应所计算的位置关系的比较结果、改变向多个音频输出器件(如，5.1声道扬声器系统)的音频分配比。因此，能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境。

另外，根据权利要求2说明的音频信息变换方法，计算基本收听点和虚拟声源之间的位置关系，并且计算虚拟收听点和虚拟声源之间的位置关系，然后基于所述相应所计算的位置关系的比较结果、改变向多个音频输出器件(如，5.1声道扬声器系统)的音频分别比。因此，能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境。

另外，根据权利要求3说明的音频信息变换方法，基于基本收听点和对象之间的位置关系，能够向音频的多个声道分配对象具有的一个声道的音频信息，并能够向多个音频输出器件(如，5.1声道扬声器系统)输出。因此，能够节省数据量，并且能够延长视频/音频记录时间。

另外，根据权利要求4说明的音频信息变换方法，在与基本收听点不同的位置上确定虚拟收听点，然后基于对象具有的位置信息计算对虚拟收听点的位置关系，并计算对象和基本收听点之间的位置关系，然后基于相应所计算的位置关系的比较结果，能够向多个音频输出器件(如，5.1声道扬声器系统)分配一个声道的音频信息。因此，能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境，并且能够节省数据量和延长视频/音频记录时间。

并且，根据权利要求5至7中说明的音频信息变换方法，向虚拟收听点或虚拟声源提供所述方向信息。因此，收听者能够感觉到其就是进入到了视频(虚拟收听点)中，并且能够改变收听者面向的方向，并能够产生带有更强感染力/真实感的音频环境。

根据权利要求8说明的音频信息变换程序，例如，在具有如MPEG 4的视频/音频格式的再现音频中，计算在基本收听点和虚拟声源之间的位置关系和虚拟收听点和虚拟声源之间位置关系，然后基于相应所计算的位置关系的比较结果改变向多个音频输出器件(如5.1声道扬声器系统)的音频分配比。因此，如果使用记录了所述程序的记录媒体(比如ROM的存储器等)，则能够实现产生使得收听者能够感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境的视频/音频播放机(DVD播放机、LD播放机、MPEG播放机、游戏、在电影院中的系统)。

另外，根据权利要求9说明的音频信息变换程序，在屏幕上再现的场景单元中具有音频信息和视频信息的视频/音频格式中，计算在基本收听点和虚拟声源之间的位置关系及虚拟收听点和虚拟声源之间的位置关系，然后基于相应所计算的位置关系的比较结果，改变向多个音频输出器件(5.1声道扬声器系统)的音频分配比。因此，如果使用记录了所述程序的记录媒体(比如ROM的存储器等)，则能够实现产生使得收听者能够感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境的视频/音频播放机(DVD播放机、LD播放机，MPEG播放机，游戏，在电影院中的系统)。

另外，根据权利要求10说明的音频信息变换程序，例如，在具有如MPEG4的视频/音频格式的再现音频中，基于基本收听点和对象之间的位置关系，能够向音频的多个声道分配对象具有的1个音频信息，并向多个音频输出器件(如，5.1声道扬声器系统)输出。因此，如果使用记录了所述程序的记录媒体(比如ROM的存储器等)，则可以实现能够节省数据量并延长视频/音频记录时间的视频/音频播放机(DVD播放机、LD播放机、MPEG播放机、游戏、在电影院中的系统)。

另外，根据权利要求11的说明音频信息变换程序，例如，在具有例如MPEG 4视频/视频格式的再现音频中，在与基本收听点不同的位置确定虚拟收听点，然后基于对象具有的位置信息计算相对于虚拟收听点的位置关系，并且计算对象和基本收听点之间的位置关系，然后基于相应所计算的位置关系的比较结果，向多个音频输出器件(如，5.1声道扬声器系统)分配这1个音频信息。因此，如果使用记录所述程序的记录媒体(比如ROM的存储器等)，则能够实现产生使得收听者能够感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境，并且也能够节省数据量和延长图像/音频记录时间的视频/音频播放机(DVD播放机、LD播放机、MPEG播放机、游戏、在电影院中的系统)。

根据权利要求12中说明的音频信息变换设备，在与基本收听点不同的位置上确定虚拟收听点，然后基于对象具有的位置信息计算相对于虚拟收听点的位置关系，并且计算在对象和基本收听点之间的位置关系，然后基于各个计算位置关系的比较结果，改变向多个音频输出器件(5.1声道扬声器系统)音频分配比例。因此，通过使用上述音频信息变换设备，能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境。

并且根据权利要求13中说明的音频信息变换设备，计算基本收听点和虚拟声源之间的位置关系，并计算虚拟收听点和虚拟声源之间的位置关系，然后基于相应所计算的位置关系的比较结果，改变向多个音频输出器件(如，5.1声道扬声器系统)的音频分配比。因此，通过使用上述音频信息变换设备能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力和真实感的音频环境。

并且，根据权利要求14说明的音频信息变换设备，基于基本收听点和对象之间的位置关系能够向音频的多声道分配对象具有的一个声道的音频信息，并且能够将其输出到多个音频输出器件(如，5.1声道扬声器系统)。因此，如果使用上述音频信息变换设备，则能够节省数据量，并能够延长视频/音频记录时间。

另外，根据权利要求15说明的音频信息变换设备，在与基本收听点不同的位置上确定虚拟收听点，然后基于对象具有的位置信息计算相对于虚拟收听点的位置关系，并且计算在对象和基本收听点之间的位置关系，然后基于各个计算的位置关系的比较结果能够向多个音频输出器件(5.1声道扬声器系统)分配这一个声道音频信息。因此，如果使用上述音频信息变换设备，则能够产生使得收听者感到其就是进入到了视频(虚拟收听点)中的带有强感染力/真实感的音频环境，并且能够节省数据量和延长视频/音频记录时间。

另外，根据权利要求16至18说明的的音频信息变换设备，向虚拟收听点或虚拟声源提供方向信息。因此，如果使用上述音频信息变换设备，则收听者能够感到其就是进入到了视频(虚拟收听点)中，并且能够改变收听者面向的方向和产生带有更强感染力/真实感的音频环境。

Claims (18)

1.一种音频信息变换方法，所述方法应用到视频/音频格式，在所述视频/音频格式中屏幕包括多个对象，并且每个对象具有视频信息、位置信息和音频信息，所述方法包括下面步骤：

虚拟收听点的设定步骤，在与设定为收听者收听音频的位置的基本收听点不同的位置上设定虚拟收听点；

比较步骤，将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和

改变步骤，基于所述比较步骤中的比较结果、改变向多个音频输出器件的音频分配比。

2.一种音频信息变换方法，所述方法应用到视频/视频格式，在所述视频/音频格式中，在屏幕上产生的每个场景具有视频信息、音频信息和虚拟声源，所述方法包括下面步骤：

设定步骤，在与设定为收听者收听音频的位置的基本收听点不同的位置上设定虚拟收听点；

比较步骤，将所述基本收听点和所述虚拟声源之间的位置关系与所述虚拟收听点和所述虚拟声源之间的位置关系进行比较；和

改变步骤，基于在所述比较步骤中的比较结果，改变向多个音频输出器件的音频分配比。

3.一种音频信息变换方法，所述方法应用到视频/视频格式，在所述视频/音频格式中，屏幕包括多个对象，每个对象具有视频信息、位置信息和1个声道音频信息，所述方法包括下面步骤：

计算步骤，计算设定为收听者收听音频的位置的基本收听点和所述对象之间的位置关系；和

分配步骤，基于所述位置关系向多个音频输出器件分配所述1个声道的音频信息。

4.一种音频信息变换方法，所述方法应用到视频/视频格式，在所述视频/音频格式中，屏幕包括多个对象，并且每个对象具有视频信息、位置信息和1个声道的音频信息，所述方法包括步骤：

设定步骤，在与设定为收听者收听音频的位置的基本收听点不同的位置上设定虚拟收听点；

比较步骤，将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和

分配步骤，基于所述比较步骤的结果，向多个音频输出器件分配所述1个声道的音频信息。

5.根据权利要求1的音频信息变换方法，还包括下面步骤：

向所述虚拟收听点或所述虚拟声源添加方向信息。

6.根据权利要求2的音频信息变换方法，还包括下面步骤：

向所述虚拟收听点或所述虚拟声源添加方向信息。

7.根据权利要求4的音频信息变换方法，还包括下面步骤：

向所述虚拟收听点或所述虚拟声源添加方向信息。

8.一种音频信息变换程序产品，使得计算机执行以下过程：

设定虚拟收听点；

将基本收听点和对象之间的位置关系与所述虚拟收听点和所述对象之间位置关系比较；和

基于所述比较过程的结果、改变向多个音频输出器件的音频分配比。

9.一种音频信息变换程序产品，使得计算机执行以下过程：

设定虚拟收听点；

将基本收听点和虚拟声源之间的位置关系与所述虚拟收听点和所述虚拟声源之间的位置关系比较；和

基于所述比较过程的结果、改变向多个音频输出器件的音频分配比。

10.一种音频信息变换程序，使得计算机执行以下过程：

计算基本收听点和对象之间的位置关系；和

基于所述位置关系向多个音频输出器件分配1个声道音频信息。

11.一种音频信息变换程序产品，使得计算机执行以下过程：

设定虚拟收听点；和

将基本收听点和对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和

基于所述比较过程中的结果、向多个音频输出器件分配1个声道的音频信息。

12.一种用于视频/音频格式的音频信息变换设备，在所述视频/音频格式中，将在屏幕上再现的场景构造成包含有各对象，并且每个对象具有视频信息、位置信息和音频信息，所述设备包括：

确定器件，用于在与设定为收听者收听音频的位置的基本收听点不同的位置上确定虚拟收听点；

比较器件，用于将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和

改变器件，用于基于所述比较器件的结果改变向多个音频输出器件的音频分配比例。

13.一种用于视频/音频格式的音频信息变换设备，在所述视频/音频格式中，在屏幕上产生的每个场景具有视频信息、音频信息、和虚拟声源，所述设备包括：

确定器件，用于在与设定为收听者收听音频的位置的基本收听点不同的位置上确定虚拟收听点；

比较器件，用于将所述基本收听点和所述虚拟声源之间的位置关系与所述虚拟收听点和所述虚拟声源的位置关系进行比较；和

改变器件，用于基于所述比较器件的结果改变向多个音频输出器件的音频分配比例。

14.一种用于视频/音频格式的音频信息变换设备，在所述视频/音频格式中，屏幕含有多个对象，并且每个对象具有视频信息、位置信息和1个声道的音频信息，所述设备包括：

计算器件，用于计算在设定为收听者收听音频的位置的基本收听点和所述对象之间位置关系；和

分配器件，用于基于所述位置关系向多个音频输出器件分配所述1个声道音频信息。

15.一种用于视频/音频格式的音频信息变换设备，在所述视频/音频格式中，屏幕含有多个对象，并且每个对象具有视频信息、位置信息和1个声道的音频信息，所述设备包括：

确定器件，用于在与设定为收听者收听音频的位置的基本收听点不同的位置上确定虚拟收听点；

比较器件，用于将所述基本收听点和所述对象之间的位置关系与所述虚拟收听点和所述对象之间的位置关系进行比较；和

分配器件，用于基于所述比较器件的结果向多个音频输出器件分配所述1个声道的音频信息。

16.根据权利要求12的音频信息变换设备，其中所述虚拟收听点或虚拟声源具有方向信息。

17.根据权利要求13的音频信息变换设备，其中所述虚拟收听点或虚拟声源具有方向信息。

18.根据权利要求15的音频信息变换设备，其中所述虚拟收听点或虚拟声源具有方向信息。

Images