CN113055801A - 信息处理装置、信息处理方法及计算机可读介质 - Google Patents

Abstract

公开了信息处理装置、信息处理方法及计算机可读介质。该信息处理装置包括：偏移计算部，其计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；位置校正部，其基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及重映射部，其基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。

Description

信息处理装置、信息处理方法及计算机可读介质

本申请是中国申请号为201680040576.8，申请日为2016年7月1日，发明名称为“信息处理装置、信息处理方法及程序”的发明专利申请的分案申请。

技术领域

本技术涉及信息处理装置、信息处理方法及计算机可读介质，并且更特别地涉及能够执行适当的重映射的信息处理装置、信息处理方法及计算机可读介质。

背景技术

传统上，ISO/IEC 23008-3“3D Audio”标准中已经采用了屏幕相关的对象元素重映射技术(例如参见NPL 1)。

根据该技术，在呈现和再现对象音频时，根据指示用作参考的参考屏幕的位置和大小的参考屏幕信息和指示实际上再现的再现屏幕的位置和大小的再现屏幕信息来重映射(重定位)音频对象的位置。通过这样做，如果图像再现被执行使得例如参考屏幕上的对象以保持不变的位置关系在再现屏幕上显示，则可以将这些对象的音频图像定位在与参考屏幕上的对象的音频图像相同的位置处。

[引用列表]

[非专利文献]

[NPL 1]

ISO/IEC DIS 23008-3“Information technology-High efficiency coding andmedia delivery in heterogeneous environments-Part 3:3D audio”

发明内容

[技术问题]

同时，上面的技术以参考屏幕的中心位置位于再现空间中的用户的前方这一事实为前提。然而，在例如在360°的所有方向上显示图像的全方位图像被再现时或者当整个图像的一部分经历缩放再现时的情况下，参考屏幕的中心位置根据情况并非总是位于用户的前方。

在这样的情况下，当通过上面的技术重映射音频对象的位置时，重映射之后的位置发生扭曲。也就是说，再现屏幕之外的音频对象之间的位置关系发生失真，并且不能实现适当的重映射。

本技术是鉴于这些情况而做出的，并且本技术的目的是能够执行适当的重映射。

[解决技术问题的技术方案]

根据本技术的一方面的信息处理装置包括偏移计算部、位置校正部以及重映射部，其中，偏移计算部计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量，位置校正部基于偏移量，以适合参考屏幕的位置的方式来校正以参考位置为参考的音频对象的位置，并且重映射部基于经校正的音频对象的位置，以适合再现屏幕的位置的方式来来重映射音频对象的位置。

当参考屏幕位于用户的背面方向时，可以使偏移计算部以预定校正值来校正偏移量。

当指示音频对象的位置的信息的范围被指定为预定范围内的范围时，可以使位置校正部调整在校正音频对象的位置期间使用的校正值。

可以使位置校正部基于偏移量来校正参考屏幕的位置，并且可以使重映射部基于经校正的参考屏幕的位置和经校正的音频对象的位置来重映射音频对象的位置。

根据本技术的一方面的信息处理方法或程序包括以下步骤：计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；基于偏移量，以适合参考屏幕的位置的方式来校正以参考位置为参考的音频对象的位置；以及基于经校正的音频对象的位置，以适合再现屏幕的位置的方式来重映射音频对象的位置。

根据本技术的一方面，计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量，基于偏移量，以适合参考屏幕的位置的方式来校正以参考位置为参考的音频对象的位置；并且基于经校正的音频对象的位置，以适合再现屏幕的位置的方式来重映射音频对象的位置。

[本发明的有益效果]

根据本技术的一方面，可以执行适当的重映射。

应当注意的是，效果并不总是限制于这里所描述的效果，而可以是本公开内容中所描述的效果中的任一效果。

附图说明

图1描绘了重映射之前和之后的对象之间的位置关系。

图2描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。

图3是水平位置通过重映射而发生的变化的说明性图。

图4描绘了重映射之后的对象位置信息的示例。

图5描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。

图6描绘了重映射之后的对象位置信息的示例。

图7描绘了重映射之前和之后的对象之间的位置关系。

图8描绘了信息处理装置的配置的示例。

图9描绘了重映射之后的对象位置信息的示例。

图10描绘了重映射之前和之后的对象之间的位置关系。

图11是用于说明重映射处理的流程图。

图12描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。

图13描绘了重映射之后的对象位置信息的示例。

图14描绘了重映射之前和之后的对象之间的位置关系。

图15描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。

图16描绘了重映射之后的对象位置信息的示例。

图17描绘了重映射之前和之后的对象之间的位置关系。

图18描绘了信息处理装置的配置的示例。

图19是用于说明重映射处理的流程图。

图20描绘了计算机的配置的示例。

具体实施方式

在下文中将参照附图来描述应用本技术的实施例。

<第一实施例>

<重映射>

本技术意在能够在通过获取每个音频对象的音频信号和例如指示音频对象的位置的对象位置信息之类的元数据来执行音频再现时执行适当的重映射。应当注意的是，在下文中音频对象通常被简称为“对象”。

例如，当再现内容时，用于再现包括动态图像和伴随动态图像的声音的内容的比特流被输入至内容再现侧。通过对例如用于再现动态图像的视频信号、用于再现每个对象的声音的音频信号以及例如每个对象的元数据和指示用作参考的参考屏幕的位置和大小的参考屏幕信息之类的各条信息进行多路复用来获得该比特流。元数据至少还包括指示再现空间中的每个对象的位置的对象位置信息。

指示再现空间中作为实际上用于再现内容的屏幕的再现屏幕(显示屏幕)的位置和大小的再现屏幕信息也被供应至内容再现侧。然后，在内容再现时，基于参考屏幕信息和再现屏幕信息来执行对由对象位置信息指示的每个对象的位置的重映射。

具体地，如例如图1所描绘的那样执行对对象位置的重映射。

如箭头A11所指示的，假定以围绕再现空间的原点O的位置处存在的虚拟用户U11的方式来定位六个对象OBJ1至OBJ6。这里，对象OBJ1至OBJ6被定位在再现空间中的由元数据中包括的对象位置信息指示的位置处。

此外，参考屏幕信息定义作为用作参考的屏幕的参考屏幕RSC11。在该示例中，参考屏幕RSC11位于用户U11的正面方向。注意，假定用户U11面向存在有参考屏幕RSC11的方向，也就是正面方向。

当在由箭头A11指示的视图中沿从上到下的方向观看对象OBJ1至对象OBJ6和参考屏幕RSC11时，对象OBJ1至对象OBJ6以及参考屏幕RSC11的设置位置在由箭头A12指示的视图中描绘。

在该示例中，特别地，对象OBJ1和对象OBJ2位于参考屏幕RSC11内。此外，当从用户U11观看时，对象OBJ1、对象OBJ3以及对象OBJ5被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上左右对称。

因此，假设在参考屏幕RSC11上再现构成内容的动态图像，则仅在参考屏幕RSC11上显示六个对象中的对象OBJ1和对象OBJ2。

现在，在由箭头A12指示的视图中，假定在从用户U11观看时的前方即该视图中向上的方向是x轴的正方向，在从用户U11观看时的右方是y轴的正方向，并且在从用户U11观看时的天顶方向即该视图中近侧的方向是z轴的正方向。

还假定使用原点O作为原点并且具有x轴、y轴以及z轴的三维坐标系是xyz坐标系。还假定每个对象和参考屏幕RSC11位于中心为原点O并且半径为从原点O开始的预定距离r(以下，也称为“半径r”)的单位球上。这里，例如，半径r为1。

在这种情况下，假定由对象位置信息和参考屏幕信息指示的位置分别由作为在xy平面上与x轴形成的角度的水平角Azimuth和作为在xz平面上与x轴形成的角度的竖向角Elevation来表示。注意，更具体地，竖向角Elevation是在xy平面与将感兴趣的位置(例如每个对象的位置)连接到原点O的线之间形成的角度。还假定由再现屏幕信息指示的位置类似地分别由水平角Azimuth和竖向角Elevation来表示。

这里，关于水平角Azimuth，假定x轴的正方向处于水平角Azimuth＝0°处，在由箭头A12所指示的视图中顺时针方向为水平角Azimuth的负方向，并且逆时针方向为水平角Azimuth的正方向。此外，-180°≤Azimuth≤180°。

因此，例如，y轴的正方向处于水平角Azimuth＝-90°处，并且x轴的负方向处于水平角Azimuth＝-180°＝180°处。

关于竖向角Elevation，假定在x轴的方向上即xy平面上的位置处于竖向角Elevation＝0°处，从xy平面到z轴的正方向的旋转方向为竖向角Elevation的正方向，并且从xy平面到z轴的负方向的旋转方向为竖向角Elevation的负方向。此外，-90°≤Elevation≤90°。

因此，例如，z轴的正方向处于竖向角Elevation＝90°处，并且z轴的负方向处于竖向角Elevation＝-90°处。

此外，在下文中假定单位球与x轴之间的在x轴正方向侧的交点的位置为再现空间中的参考位置。也就是说，参考位置为水平角Azimuth＝0°、竖向角Elevation＝0°并且半径r＝1处的位置，并且参考位置为在位于再现空间中的用户U11的正前方的方向的位置。

以这种方式，假定对象位置信息、参考屏幕信息以及再现屏幕信息分别由水平角Azimuth和竖向角Elevation来描述。在这种情况下，当基于对象位置信息、参考屏幕信息以及再现屏幕信息执行重映射时，每个对象在再现空间中的设置位置如例如箭头A13和箭头A14指示的那样改变。

在该示例中，以适合实际用于再现的再现屏幕PSC11的方式重定位对象OBJ1至对象OBJ6。

也就是说，位于参考屏幕RSC11上的对象OBJ1和对象OBJ2以与参考屏幕RSC11上的位置关系相同的位置关系被定位在再现屏幕PSC11上。

应当注意的是，在该示例中，参考屏幕RSC11和再现屏幕PSC11二者的中心位置与参考位置相同。

此外，对象被以与重映射之前的相对位置关系基本上相同的相对位置关系来定位。当从用户U11观看时，对象OBJ1、对象OBJ3以及对象OBJ5被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上左右对称。

根据这样的重映射，以适合参考屏幕RSC11的方式定位的每个对象可以被重定位在适合实际用于再现的再现屏幕PSC11的位置处。结果，在内容再现时，可以以如下这样的方式再现内容：例如在再现屏幕PSC11上显示的每个对象的声音来自该对象的方向。此外，对于未在再现屏幕PSC11上显示的对象，可以以如下这样的方式再现内容：每个对象的声音来自适当的方向。从而，可以实现适当的音频再现。

现在将通过示例的方式参照图1中所描绘的六个对象来更详细地描述借助于普通的屏幕相关的对象元素重映射技术执行的重映射。

例如，假定给出图2中所描绘的信息作为参考屏幕RSC11的参考屏幕信息、对象OBJ1至对象OBJ6的对象位置信息以及再现屏幕PSC11的再现屏幕信息。

在图2中，在由箭头Q11指示的部分中描绘了参考屏幕信息和对象位置信息，并且在由箭头Q12指示的部分中描绘了再现屏幕信息。另外，在信息的视图中，在右手侧字段中的每个字段中描述了水平角Azimuth或竖向角Elevation的数值。

在该示例中，参考屏幕信息是指示参考屏幕RSC11的位置和大小即参考屏幕RSC11的上端、下端、左端以及右端的位置的信息。

具体地，在用于参考屏幕信息的字段中，文字“Azimuth左端”和“Azimuth右端”分别指示图1中的参考屏幕RSC11的左手侧端与右手侧端的位置，并且“29.0”和“-29.0”被描述为指示参考屏幕RSC11的左手侧端与右手侧端的位置的水平角Azimuth。在下文中，图1中的参考屏幕RSC11的左手侧端和右手侧端通常被称为参考屏幕RSC11的“左端”和“右端”。

此外，在用于参考屏幕信息的字段中，文字“Elevation上端”和“Elevation下端”分别指示图1中的参考屏幕RSC11的上侧端与下侧端的位置，并且“17.5”和“-17.5”被描述为指示参考屏幕RSC11的上侧端与下侧端的位置的竖向角Elevation。在下文中，图1中的参考屏幕RSC11的上侧端和下侧端通常被称为参考屏幕RSC11的“上端”和“下端”。

还在由箭头Q11指示的部分中描绘了对象OBJ1至对象OBJ6中的每个对象的对象位置信息。具体地，在用于“OBJ1”至“OBJ6”的各个字段中，描述了对象OBJ1至对象OBJ6的位置。

例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示对象OBJ1的水平位置和竖向位置，并且“20.2”和“10.0”被描述为指示对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。

此外，在由箭头Q12指示的部分中描绘了再现屏幕信息。

在该示例中，再现屏幕信息是指示再现屏幕PSC11的位置和大小即再现屏幕PSC11的上端、下端、左端以及右端的位置的信息。

具体地，在用于再现屏幕信息的字段中，文字“Azimuth左端”和“Azimuth右端”分别指示图1中的再现屏幕PSC11的左手侧端与右手侧端的位置，并且“14.5”和“-14.5”被描述为指示再现屏幕PSC11的左手侧端与右手侧端的位置的水平角Azimuth。在下文中，图1中的再现屏幕PSC11的左手侧端和右手侧端通常被称为再现屏幕PSC11的“左端”和“右端”。

此外，在用于再现屏幕信息的字段中，文字“Elevation上端”和“Elevation下端”分别指示图1中的再现屏幕PSC11的上侧端与下侧端的位置，并且“8.5”和“-8.5”被描述为指示再现屏幕PSC11的上侧端与下侧端的位置的竖向角Elevation。在下文中，图1中的再现屏幕PSC11的上侧端和下侧端通常被称为再现屏幕PSC11的“上端”和“下端”。

根据由箭头Q12指示的再现屏幕信息理解，再现屏幕PSC11是具有参考屏幕RSC11的大小的基本上一半的大小的屏幕(显示屏幕)。

当给出上面描述的参考屏幕信息、对象位置信息以及再现屏幕信息时，进行由下面的式(1)和式(2)表示的计算，以计算在用普通的屏幕相关的对象元素重映射技术进行重映射之后的对象的位置。

[数学式1]

[数学式2]

注意，在式(1)中，

指示重映射之前的每个对象的水平位置即对象位置信息中包括的水平角Azimuth，并且

表示指示重映射之后的该对象的水平位置的水平角Azimuth。

此外，在式(1)中，

和

表示指示参考屏幕RSC11的左端和右端的水平位置的水平角Azimuth，并且

和

表示指示再现屏幕PSC11的左端和右端的水平位置的水平角Azimuth。

在式(2)中，θ指示重映射之前的每个对象的竖向位置即对象位置信息中包括的竖向角Elevation，并且θ＇表示指示重映射之后的对象的竖向位置的竖向角Elevation。

此外，在式(2)中，

和

表示指示参考屏幕RSC11的上端和下端的竖向位置的竖向角Elevation，并且

和

表示指示再现屏幕PSC11的上端和下端的竖向位置的竖向角Elevation。

如上面的式(1)所表示的那样计算指示重映射之后的每个对象的水平位置的水平角Azimuth，并且如上面的式(2)所表示的那样计算指示重映射之后的该对象的竖向位置的竖向角Elevation。

在通过由式(1)和式(2)表示的计算进行重映射时，参考屏幕RSC11内的对象以如下方式经历重映射：这些对象正好落入再现屏幕PSC11内，同时对象之间的位置关系保持不变。另外，参考屏幕RSC11之外的对象响应于参考屏幕RSC11的端部与再现屏幕PSC11的端部之间的位置关系而经历重映射。

在由式(1)表示的计算中，例如如图3所描绘的那样对水平位置进行重映射。注意，在图3中，横轴表示重映射之前的每个对象的水平角

并且纵轴表示重映射之后的该对象的水平角

在该示例中，由水平角

指示的位置被重映射至由水平角

指示的位置。另外，由水平角

指示的位置被重映射至由水平角

指示的位置，并且由水平角

指示的位置与由水平角

指示的位置之间的位置被线性地重映射。

即使在重映射之后，由水平角

指示的位置也保持不变，仍为由水平角

指示的位置，并且由水平角

指示的位置与由水平角

指示的位置之间的位置被线性地重映射。

同样地，即使在重映射之后，由水平角

指示的位置也保持不变，仍为由水平角

指示的位置，并且由水平角

指示的位置与由水平角

指示的位置之间的位置被线性地重映射。

因此，当基于图2中所描绘的参考屏幕信息、对象位置信息以及再现屏幕信息进行由式(1)和式(2)所表示的计算时，获得了图4中描绘的位置作为重映射之后的对象的位置。换句话说，通过重映射，获得图4中描绘的对象位置信息。

图4描绘了重映射之后的对象OBJ1至对象OBJ6的对象位置信息。具体地，在用于“OBJ1”至“OBJ6”的各个字段中，描述了对象OBJ1至对象OBJ6的位置。

例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“10.0”和“4.9”被描述为指示对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。

该对象OBJ1的水平角Azimuth“10.0”和竖向角Elevation“4.9”分别指示重映射之后的对象OBJ1的水平角

和竖向角θ＇。

如根据图4中描绘的对象的位置可以理解的，即使在重映射之后，当从用户U11观看时，对象OBJ1、对象OBJ3以及对象OBJ5也被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上左右对称。也就是说，可以理解的是，已经适当地执行了重映射。

同时，普通的屏幕相关的对象元素重映射技术以以下事实为前提：参考屏幕RSC11位于用户U11的前方，也就是说，参考屏幕RSC11的中心位置与参考位置相同。换句话说，未假定参考屏幕RSC11的中心位置是除参考位置以外的位置。

为此，当参考屏幕RSC11的中心位置是除参考位置以外的位置并且照常执行重映射时，参考屏幕RSC11之外的对象之间的位置关系发生失真。

具体地，当在给出例如图5中描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时通过式(1)和式(2)表示的计算执行重映射时，重映射之后的对象的对象位置信息是如图6所描绘的对象位置信息。应当注意的是，图5和图6对应于图2和图4，并且将视情况省略图5和图6中与图2和图4中的部分相似的部分的描述。

在图5中，在由箭头Q21指示的部分中描绘了参考屏幕RSC11的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息。

在该示例中，由参考屏幕信息指示的参考屏幕RSC11的位置是通过以下方式获得的位置：在水平角Azimuth的正方向上将图2的示例中描绘的位置旋转多达30°。也就是说，在图2的示例中，参考屏幕RSC11的中心位置与参考位置相同，而在图5描绘的示例中，参考屏幕RSC11的中心位置是由水平角Azimuth＝30°和竖向角Elevation＝0°指示的位置。

同样地，在图5描绘的示例中，由对象位置信息指示的每个对象的位置是通过以下方式获得的位置：在水平角Azimuth的正方向上将图2的示例中描绘的该对象的位置旋转多达30°。

因此，图2描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系和图5描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系相同。

此外，在由箭头Q22指示的部分中描绘了再现屏幕信息，并且该再现屏幕信息与图2中描绘的再现屏幕信息相同。

虽然通过基于如上面所描述的参考屏幕信息、对象位置信息以及再现屏幕信息进行重映射，获得了图6中描绘的对象位置信息，但是根据该对象位置信息理解到，对象之间的位置关系是不对称的。

注意，在图6中，在用于“OBJ1”至“OBJ6”的字段中分别描述了对象OBJ1至对象OBJ6的位置。

在重映射之前，对象OBJ1、对象OBJ3以及对象OBJ5被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到参考屏幕RSC11的中心位置的线段左右对称。

另一方面，在图6描绘的示例中，根据水平角Azimuth理解到，即使在重映射之后，位于参考屏幕RSC11内的对象OBJ1和对象OBJ2也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。

然而，应当理解的是，位于参考屏幕RSC11之外的对象OBJ3和对象OBJ4在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此并非左右对称，并且位于参考屏幕RSC11之外的对象OBJ5和对象OBJ6在水平方向上相对于该线段彼此并非左右对称。也就是说，应当理解的是，重映射之后的对象的位置不是适当的位置并且对象之间的位置关系发生失真。

在该示例中重映射之前和重映射之后对象之间的位置关系的模式图如图7所描绘。应当注意的是，与图1中的部分对应的部分在图7中由相同的附图标记来表示，并且将视情况省略对所述部分的描述。

在图7中，在由箭头A21和箭头A22指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。另一方面，在由箭头A23和箭头A24指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。

在重映射时，期望对象以如下方式经历重映射：从再现屏幕PSC11观看的对象之间的位置关系与重映射之前从参考屏幕RSC11观看的对象之间的位置关系基本上相同。

在该示例中，重映射之前的对象OBJ1至对象OBJ6之间的相对位置关系与图1中描绘的示例中的对象OBJ1至对象OBJ6之间的相对位置关系相同，并且再现屏幕PSC11的位置也与图1中描绘的示例中的再现屏幕PSC11的位置相同。因此，期望重映射之后的对象OBJ1至对象OBJ6被重定位在与图1描绘的对象的位置相同的位置处。

然而，如根据图7所理解的，关于在重映射之前位于参考屏幕RSC11之外的对象OBJ3至对象OBJ6之间的相对位置关系，相对位置关系在重映射之前与重映射之后改变很大。特别是对象OBJ5和对象OBJ6的对象位置明显未对准。

为此，当基于通过重映射获得的对象位置信息来呈现对象的音频信号时，再现屏幕PSC11之外的对象的音频图像被定位在与声音再现时对象原本应该存在的位置不同的位置处。

因此，为了解决该问题，本技术意在通过适当地校正对象位置信息和参考屏幕信息，即使在参考屏幕RSC11的中心位置与参考位置不同的情况下也能够执行适当的重映射。

<信息处理装置的配置的示例>

图8描绘了应用本技术的信息处理装置的一个实施例的配置的示例。

图8中描绘的信息处理装置11包括偏移角计算部21、位置信息校正部22以及对象重映射部23。

参考屏幕信息、每个对象的对象位置信息以及再现屏幕信息被从外部供应至该信息处理装置11。

在本文中假定参考屏幕信息包括例如指示参考屏幕RSC11的左端和右端的位置的水平角以及指示参考屏幕RSC11的上端和下端的位置的竖向角。参考屏幕信息是指示当用户U11的正面方向存在的参考位置被用作参考时参考屏幕RSC11的位置和大小的信息。

同样地，假定再现屏幕信息包括指示再现屏幕PSC11的左端和右端的位置的水平角以及指示再现屏幕PSC11的上端和下端的位置的竖向角。类似地，该再现屏幕信息是指示当参考位置被用作参考时再现屏幕PSC11的位置和大小的信息。

此外，假定每个对象的对象位置信息包括指示该对象的位置的水平角和竖向角。对象位置信息是指示当用户U11的正面方向存在的参考位置被用作参考时每个对象的位置的信息。

偏移角计算部21基于所供应的参考屏幕信息来计算在以下两个方向之间形成的水平角作为偏移角，并将该偏移角供应至位置信息校正部22：(1)再现空间中存在的用户U11的正面方向，即，从原点O到参考位置的方向；和(2)从原点O到参考屏幕RSC11的中心位置的方向。

参考屏幕RSC11的偏移角是指示在水平角Azimuth的方向上参考屏幕RSC11的中心位置相对于参考位置的未对准量的水平角Azimuth。也就是说，偏移角是指示参考屏幕RSC11相对于用户U11的正面方向存在的参考位置的偏移量的信息。注意，虽然在本文中将作为水平角的偏移角描述为指示偏移量的信息的示例，但是指示偏移量的信息可以是任何其他信息。

位置信息校正部22基于从偏移角计算部21供应的偏移角来校正从外部供应的参考屏幕信息和对象位置信息，并将生成的经校正的参考屏幕信息和经校正的对象位置信息供应至对象重映射部23。

对象重映射部23基于从外部供应的再现屏幕信息以及从位置信息校正部22供应的经校正的参考屏幕信息和经校正的对象位置信息来执行对对象位置信息(即，每个对象位置)的重映射，并且输出生成的对象位置信息。

<由各部进行的处理>

现在将更具体地描述构成信息处理装置11的各部所进行的处理。

首先，偏移角计算部21通过基于所供应的参考屏幕信息进行由例如下面的式(3)表示的计算，来计算偏移角

[数学式3]

注意，在式(3)中，

和

表示指示参考屏幕RSC11的左端和右端的位置的水平角Azimuth。信息

和

被包括在参考屏幕信息中。

此外，位置信息校正部22基于偏移角

以如下方式校正参考屏幕信息：参考屏幕RSC11的中心位置变得与参考位置相同。也就是说，位置信息校正部22通过由下面的式(4)和式(5)表示的计算来计算经校正的参考屏幕信息。

[数学式4]

[数学式5]

注意，在式(4)中，

表示指示参考屏幕RSC11的左端的位置的水平角Azimuth，并且

指示在使用偏移角

校正水平角

之后的水平角Azimuth。也就是说，

表示指示经校正的参考屏幕RSC11的左端的位置的水平角Azimuth。

此外，在式(5)中，

表示指示参考屏幕RSC11的右端的位置的水平角Azimuth，并且

指示在使用偏移角

校正水平角

之后的水平角Azimuth。也就是说，

表示指示经校正的参考屏幕RSC11的右端的位置的水平角Azimuth。

因此，通过由式(4)表示的计算来校正参考屏幕信息中包括的水平角

并且通过由式(5)表示的计算来校正参考屏幕信息中包括的水平角

在校正参考屏幕信息时，仅校正水平角

和

而不校正指示参考屏幕RSC11的上端和下端的位置的竖向角。

用于计算经校正的参考屏幕信息的处理是以下处理，所述处理用于将参考屏幕RSC11旋转多达偏移角

即,多达参考屏幕RSC11的中心位置相对于参考位置的未对准。通过该处理，参考屏幕信息以如下方式被校正：参考屏幕RSC11的中心位置变得与参考位置相同。

此外，位置信息校正部22基于偏移角

以如下方式校正对象位置信息：以适合对参考屏幕RSC11的位置的校正(移动)(即对参考屏幕信息的校正)的方式来校正(移动)对象的位置。也就是说，位置信息校正部22通过由下面的式(6)表示的计算来计算经校正的对象位置信息。

[数学式6]

φ_offset＝φ-φ_{offset_value}…(6)

注意，在式(6)中，

指示对象位置信息中包括的每个对象的水平角Azimuth，并且

指示通过使用偏移角

校正水平角

而获得的水平角Azimuth。也就是说，

表示指示经校正的对象位置的水平角Azimuth。

因此，通过由式(6)表示的计算来校正对象位置信息中包括的水平角

在校正对象位置信息时，仅校正水平角

而不校正指示对象的竖向位置的竖向角。

用于计算经校正的对象位置信息的处理是用于将每个对象的位置旋转多达偏移角

的处理。

通过该处理，以适合参考屏幕RSC11的位置的方式校正每个对象的位置。更具体地，以适合对参考屏幕RSC11的中心位置的校正的方式校正每个对象的位置。为此，在校正参考屏幕信息和对象位置信息之前和之后，每个对象与参考屏幕RSC11的相对位置没有改变。

当如到目前为止所描述的那样获得经校正的参考屏幕信息和经校正的对象位置信息时，对象重映射部23执行重映射。也就是说，以适合再现屏幕PSC11的位置的方式对每个对象的位置进行重映射。

这时，指示参考屏幕RSC11与对象之间的位置关系的经校正的参考屏幕信息和经校正的对象位置信息用作指示当参考位置被设置成与参考屏幕RSC11的中心位置相同时的位置关系的信息。

因此，即使在通过与用普通的屏幕相关的对象元素重映射技术进行的计算类似的计算对对象位置进行重映射的情况下，也可以使用经校正的参考屏幕信息和经校正的对象位置信息来防止对象位置的失真。也就是说，可以实现适当的重映射。

具体地，对象重映射部23通过基于经校正的参考屏幕信息、再现屏幕信息以及经校正的对象位置信息进行由下面的式(7)表示的计算，来计算重映射之后的对象位置信息。

[数学式7]

注意，在式(7)中，

表示指示重映射之后的每个对象的水平位置的水平角Azimuth，并且

指示重映射之前的对象的水平位置，即，经校正的对象位置信息中包括的水平角Azimuth。

此外，在式(7)中，

和

表示指示参考屏幕RSC11的左端和右端的经校正的水平位置的水平角Azimuth。也就是说，

和

指示经校正的参考屏幕信息中包括的参考屏幕RSC11的左端和右端的水平角Azimuth。

此外，在式(7)中，

和

表示指示再现屏幕PSC11的左端和右端的水平位置的水平角Azimuth。

此外，更具体地，在确定每个对象的重映射的对象位置信息时，对象重映射部23基于经校正的参考屏幕信息、再现屏幕信息以及经校正的对象位置信息进行由上面描述的式(2)表示的计算。由此，获得指示重映射之后的对象位置信息中包括的对象的重映射的竖向位置的竖向角θ＇。

通过执行上面描述的处理，信息处理装置11可以执行适当的重映射。

具体地，当在给出例如图5描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时信息处理装置11执行重映射时，获得图9描绘的对象位置信息作为重映射之后的对象位置信息。

注意，在图9中，在用于“OBJ1”至“OBJ6”的各个字段中，描绘了对象OBJ1至对象OBJ6的重映射的对象位置信息，即，重映射之后的对象的位置的水平角Azimuth和竖向角Elevation。

例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和文字“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“10.0”和“4.9”被描述为指示重映射之后的对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。水平角Azimuth“10.0”和竖向角Elevation“4.9”分别是如式(7)所表示的那样计算的水平角

和如式(2)所表示的那样计算的竖向角θ＇。

在图9描绘的示例中，重映射之前的所有对象OBJ1至对象OBJ6之间的相对位置关系与重映射之后的所有对象OBJ1至对象OBJ6之间的相对位置关系基本上相同。

也就是说，应当理解的是，即使在重映射之后，位于参考屏幕RSC11内的对象OBJ1和对象OBJ2也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。

此外，应当理解的是，位于参考屏幕RSC11之外的对象OBJ3和对象OBJ4在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称，并且位于参考屏幕RSC11之外的对象OBJ5和对象OBJ6在水平方向上相对于该线段彼此左右对称。也就是说，应该理解的是，重映射之后的所有对象的位置是适当的位置。

图10描绘了该示例中在重映射之前和重映射之后对象之间的位置关系的模式图。应当注意的是，与图1中的部分对应的部分在图10中由相同的附图标记来表示，并且将视情况省略对所述部分的描述。

在图10中，在由箭头A31和箭头A32指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。更具体地，参考屏幕RSC11位于由未校正的参考屏幕信息指示的位置处，并且对象OBJ1至对象OBJ6位于由未校正的对象位置信息指示的位置处。

另一方面，在由箭头A33和箭头A34指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。

在该示例中，由箭头A31和箭头A32指示的重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6位于与图7描绘的示例中的参考屏幕RSC11和对象OBJ1至对象OBJ6的位置相同的位置处。

此外，应当理解的是，在由箭头A33和箭头A34指示的部分中，重映射之后的对象OBJ1、对象OBJ3以及对象OBJ5与重映射之后的对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段左右对称。也就是说，应当理解的是，在重映射之前从屏幕的中心位置观看的对象之间的位置关系与重映射之后从屏幕的中心位置观看的对象之间的位置关系基本上相同，并且已经适当地执行了重映射。

<重映射处理的描述>

接下来将参照图11的流程图来描述由信号处理装置11执行的重映射处理。

在步骤S11中，偏移角计算部21基于所供应的参考屏幕信息来计算偏移角

并将偏移角

供应至位置信息校正部22。

具体地，偏移角计算部21通过进行由式(3)表示的计算来计算偏移角

在步骤S12中，位置信息校正部22基于从偏移角计算部21供应的偏移角

来校正从外部供应的参考屏幕信息和对象位置信息。

例如，位置信息校正部22通过根据偏移角

和参考屏幕信息进行由式(4)和式(5)表示的计算，来校正参考屏幕信息，并将生成的经校正的参考屏幕信息供应至对象重映射部23。

此外，位置信息校正部22通过根据偏移角

和对象位置信息进行由式(6)表示的计算，来校正对象位置信息，并将生成的经校正的对象位置信息供应至对象重映射部23。

在步骤S13中，对象重映射部23基于从外部供应的再现屏幕信息以及从位置信息校正部22供应的经校正的参考屏幕信息和经校正的对象位置信息来执行对每个对象位置的重映射。

例如，对象重映射部23通过基于经校正的参考屏幕信息、再现屏幕信息以及经校正的对象位置信息进行由式(2)和式(7)表示的计算，来计算指示对象的重映射的位置的对象位置信息。然后，对象重映射部23将如上所述获得的对象位置信息输出至后续阶段，并且重映射处理结束。

以这种方式，信息处理装置11在校正参考屏幕信息和对象位置信息之后执行重映射。通过这样做，可以在不依赖于参考屏幕RSC11的定位位置的情况下执行适当的重映射。

<第一实施例的第一变型>

<重映射>

同时，如ISO/IEC 23008-3“3D Audio”标准中所指定的，参考屏幕RSC11的左端的水平角

和右端的水平角

以及每个对象的水平角

中的每个角的范围通常被指定为等于或大于-180°且等于或小于180°。

在这样的情况下，有必要在计算经校正的参考屏幕信息和经校正的对象位置信息时适当地校正水平角，使得水平角为预设范围内的值，即等于或大于-180°且等于或小于180°的值。

此外，当水平角

以及

中的每个角的范围被指定为等于或大于-180°且等于或小于180°并且参考屏幕RSC11位于用户U11的背面方向(即位于从用户U11观看时的x轴的负方向)时，水平角

和

通常满足

在这样的情况下，有必要在计算偏移值

时以适当的校正值适当地校正偏移角

注意，在下文中，当参考屏幕RSC11位于用户U11的背面方向时，除非另外指定，否则假定水平角

和

处于满足

的状态。

当水平角

以及

中的每个角的范围被预先指定为落入等于或大于-180°且等于或小于180°的范围内时，重映射可以被执行如下。

注意，在下文中将在具体参照以下情况的同时继续进行描述：通过示例的方式给出图12描绘的参考屏幕信息、对象位置信息以及再现屏幕信息。另外，图12对应于图2，并且将视情况省略图12中与图2中的部分类似的部分的描述。

在图12中，在由箭头Q31指示的部分中描绘了参考屏幕RSC11的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息。

在该示例中，由参考屏幕信息指示的参考屏幕RSC11的位置是通过以下方式获得的位置：将图2的示例中描绘的位置在水平角Azimuth的方向上旋转多达180°。也就是说，在图2的示例中，参考屏幕RSC11的中心位置与参考位置相同，而在图12描绘的示例中，参考屏幕RSC11的中心位置是由水平角Azimuth＝180°和竖向角Elevation＝0°指示的位置。

同样地，在图12描绘的示例中，由对象位置信息指示的每个对象的位置是通过以下方式获得的位置：将图2的示例中描绘的该对象的位置在水平角Azimuth的方向上旋转多达180°。

因此，图2描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系与图12描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系相同。

此外，在由箭头Q32指示的部分中描绘了再现屏幕信息，并且该再现屏幕信息与图2中描绘的再现屏幕信息相同。

当给出上面描述的参考屏幕信息、对象位置信息以及再现屏幕信息时，偏移角计算部21可以如下面的代替上述式(3)的式(8)所表示的那样来计算偏移角

[数学式8]

注意，在式(8)中，

和

表示指示参考屏幕RSC11的左端和右端的位置的水平角Azimuth。

在式(8)中，当水平角

和

满足

即参考屏幕RSC11存在于背面方向时，将通过式(3)确定的角度加上作为校正值的180°，以获得最终的偏移角

原因如下。当参考屏幕RSC11存在于背面方向并且如式(3)所表示的那样计算偏移角

时，得到与参考屏幕RSC11存在于正面方向时的角度相同的角度作为偏移角

为此，有必要加上作为校正值的180°以准确地校正偏移角。

此外，在式(8)中，当水平角

和

不满足

即参考屏幕RSC11不存在于背面方向时，以与上面描述的式(3)所表示的方式类似的方式来计算偏移角

当如式(8)所表示的那样计算偏移角

时，位置信息校正部22可以如下面的代替式(4)和式(5)的式(9)和式(10)所表示的那样计算经校正的参考屏幕信息。同样地，位置信息校正部22可以如代替式(6)的式(11)所表示的那样计算经校正的对象位置信息。

[数学式9]

[数学式10]

[数学式11]

注意，在式(9)至式(11)中，

指示偏移角

此外，在式(9)中，

表示指示参考屏幕RSC11的左端的位置的水平角Azimuth，并且

指示使用偏移角

校正水平角

之后的水平角Azimuth。

在式(10)中，

表示指示参考屏幕RSC11的右端的位置的水平角Azimuth，并且

指示使用偏移角

校正水平角

之后的水平角Azimuth。

此外，在式(11)中，

表示指示对象位置信息中包括的每个对象的水平位置的水平角Azimuth，并且

指示使用偏移角

校正水平角

之后获得的水平角Azimuth。

例如，在式(9)中，当

时，即当

时，将通过上面描述的式(4)确定的水平角加上360°，以获得最终的水平角

在这样的情况下，当如式(4)所表示的那样获得水平角

时，原本应该等于或大于-180°且等于或小于108°的水平角

的值变得小于-180°。为了解决该问题，在由式(9)表示的计算中，当

时，将如式(4)所表示的那样获得的水平角加上作为校正值的360°，以准确地校正水平角

此外，在式(9)中，当

时，即当

时，以与由式(4)表示的方式类似的方式进行计算。此外，在式(9)中，当

时，即当

时，水平角

的值变得大于180°。为此，类似于

的情况，添加作为校正值的-360°，以准确地校正水平角

此外，不仅在式(9)中而且在式(10)或式(11)中，与式(9)的情况类似地根据需要执行校正。

以这种方式，在校正参考屏幕信息和对象位置信息时针对每条信息(例如

)根据使用偏移角

校正后的水平角(根据需要)添加作为校正值的360°或-360°可以被重述为用于调整在校正参考屏幕RSC11或每个对象位置期间使用的校正值的处理。

当如上面描述的那样计算出经校正的参考屏幕信息和经校正的对象位置信息时，对象重映射部23如式(2)和式(7)所表示的那样计算重映射之后的对象位置信息。

例如，当在给出例如图12中描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时执行上面描述的重映射时，获得图13中描绘的对象位置信息作为重映射之后的对象位置信息。

注意，在图13中，在用于“OBJ1”至“OBJ6”的各个字段中，描绘了对象OBJ1至对象OBJ6的重映射的对象位置信息，即，重映射之后的对象的位置的水平角Azimuth和竖向角Elevation。

例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“10.0”和“4.9”被描述为指示重映射之后的对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。水平角Azimuth“10.0”和竖向角Elevation“4.9”分别是如式(7)所表示的那样计算的水平角

和如式(2)所表示的那样计算的竖向角θ＇。

在图13中描绘的示例中，重映射之前的所有对象OBJ1至对象OBJ6之间的相对位置关系与重映射之后的所有对象OBJ1至对象OBJ6之间的相对位置关系基本上相同。

也就是说，应当理解的是，即使重映射之后，对象OBJ1与对象OBJ2、对象OBJ3与对象OBJ4以及对象OBJ5与对象OBJ6也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。

图14描绘了在该示例中重映射之前和重映射之后对象之间的位置关系的模式图。应当注意的是，与图1中的部分对应的部分在图14中由相同的附图标记来表示，并且将视情况省略对所述部分的描述。

在图14中，在由箭头A41和箭头A42指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。更具体地，参考屏幕RSC11位于由未校正的参考屏幕信息指示的位置处，并且对象OBJ1至对象OBJ6位于由未校正的对象位置信息指示的位置处。

另一方面，在由箭头A43和箭头A44指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。

在该示例中，在由箭头A41和箭头A42指示的部分中参考屏幕RSC11的位置是处于用户U11的背面方向。

此外，应当理解的是，在由箭头A43和箭头A44指示的部分中，重映射之后的对象OBJ1、对象OBJ3以及对象OBJ5与重映射之后的对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段左右对称。也就是说，应当理解的是，重映射之前从屏幕的中心位置观看的对象之间的位置关系与重映射之后从屏幕的中心位置观看的对象之间的位置关系基本上相同，并且已经适当地执行了重映射。

如上所述，当水平角

以及

中的每个角的范围被指定为落入等于或大于-180°且等于或小于180°的范围内时，偏移角计算部21通过在参照图11描述的重映射处理的步骤S11中进行式(8)所表示的计算来计算偏移角

此外，在步骤S12中，位置信息校正部22通过进行由式(9)和式(10)表示的计算来校正参考屏幕信息，并且通过进行由式(11)表示的计算来校正对象位置信息。然后，在步骤S13中，对象重映射部23通过进行由式(2)和式(7)表示的计算来计算指示对象的重映射的位置的对象位置信息。

以这种方式，即使在水平角

以及

中的每个角的范围被指定为落入等于或大于-180°且等于或小于180°的范围内时，信息处理装置11也可以执行适当的重映射。

<第一实施例的第二变型>

<重映射>

注意，作为具体示例，上面已经描述了再现屏幕PSC11的中心位置与参考位置相同的示例。然而，即使在再现屏幕PSC11的中心位置与参考位置不相同时，也可以通过使用再现屏幕的偏移角进行校正来执行适当的重映射如下。

注意，在下文中将在具体参照以下情况的同时继续进行描述：通过示例的方式给出图15中所描绘的参考屏幕信息、对象位置信息以及再现屏幕信息。另外，图15对应于图5，并且将适当省略图15中与图5中的部分类似部分的描述。

在图15中，在由箭头Q41所指示的部分中描绘了参考屏幕RSC11的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息。参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息与图5中所描绘的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息相同。

此外，在由箭头Q42所指示的部分中描绘了再现屏幕信息。

在该示例中，由再现屏幕信息指示的再现屏幕PSC11的位置是通过将图2的示例中所描绘的位置在水平角Azimuth的方向上旋转多达180°而得到的位置。即，在图2的示例中，再现屏幕PSC11的中心位置与参考位置相同，而在图15中所描绘的示例中，再现屏幕PSC11的中心位置是由水平角Azimuth＝180°和竖向角Elevation＝0°指示的位置。

当给出上面描述的参考屏幕信息、对象位置信息以及再现屏幕信息时，偏移角计算部21计算偏移角

并且还通过进行由例如下面的式(12)表示的计算来计算再现屏幕偏移角

[数学式12]

注意，在式(12)中，

和

表示指示再现屏幕PSC11的左端和右端的位置的水平角Azimuth。信息

和

被包括在再现屏幕信息中。

此外，除了上面描述的参考屏幕信息的校正和对象位置信息的校正以外，位置信息校正部22还基于再现屏幕偏移角

以如下方式校正再现屏幕信息：再现屏幕PSC11的中心位置变得与参考位置相同。即，通过由下面的式(13)和式(14)表示的计算来计算经校正的再现屏幕信息。

[数学式13]

[数学式14]

注意，在式(13)中，

表示指示再现屏幕PSC11的左端的位置的水平角Azimuth，并且

指示使用再现屏幕偏移角

校正水平角

之后的水平角Azimuth。即，

表示指示经校正的再现屏幕PSC11的左端的位置的水平角Azimuth。

此外，在式(14)中，

表示指示再现屏幕PSC11的右端的位置的水平角Azimuth，并且

指示使用再现屏幕偏移角

校正水平角

之后的水平角Azimuth。即，

表示指示经校正的再现屏幕PSC11的右端的位置的水平角Azimuth。

因此，通过由式(13)表示的计算来校正再现屏幕信息中包括的水平角

并且通过由式(14)表示的计算来校正再现屏幕信息中包括的水平角

该用于计算经校正的再现屏幕信息的处理是用于将再现屏幕PSC11旋转多达再现屏幕偏移角

(即旋转多达再现屏幕PSC11的中心位置相对于参考位置的未对准)的处理。通过该处理，以使得再现屏幕PSC11的中心位置变得与参考位置相同的方式校正再现屏幕信息。

注意，在下文中，其位置已经被以使得中心位置变得与参考位置相同的方式校正的再现屏幕PSC11还被称为“经校正的再现屏幕PSC11＇”。

当如上面所描述的那样得到经校正的再现屏幕信息以及经校正的参考屏幕信息和经校正的对象位置信息时，对象重映射部23执行重映射。即，以适合经校正的再现屏幕PSC11＇的位置的方式来重映射每个对象的位置。

具体地，对象重映射部23通过基于经校正的参考屏幕信息、经校正的再现屏幕信息以及经校正的对象位置信息进行由下面的式(15)表示的计算，来计算重映射之后的对象位置信息。

[数学式15]

注意，在式(15)中，

表示指示重映射之后的每个对象的水平位置的水平角Azimuth，并且

指示重映射之前的对象的水平位置，即，经校正的对象位置信息中包括的水平角Azimuth。

此外，在式(15)中，

和

表示指示经校正的参考屏幕RSC11的左端和右端的水平位置的水平角Azimuth。即，

和

指示经校正的参考屏幕信息中包括的参考屏幕RSC11的左端和右端的水平角Azimuth。

此外，在式(15)中，

和

表示指示经校正的再现屏幕PSC11＇的左端和右端的水平位置的水平角Azimuth。

这里得到的重映射之后的对象位置信息是针对经校正的再现屏幕PSC11＇的。即，该信息是当再现屏幕PSC11的中心位置与参考位置相同时的对象位置信息。然而，实际上，再现屏幕PSC11处于由再现屏幕信息中包括的

和

指示的位置处，并且被旋转多达再现屏幕偏移角

因此，按照下面的式(16)所表示的那样进行计算，并且重映射之后的对象位置信息被校正为针对实际再现屏幕PSC11的对象位置信息。

[数学式16]

φ”＝φ’+φ_{repro_offset_value}…(16)

注意，在式(16)中，

指示针对经校正的再现屏幕PSC11＇计算的每个对象的重映射之后的对象位置信息中包括的水平角Azimuth，并且

指示使用再现屏幕偏移角

校正水平角

之后的水平角。即，

指示重映射之后的经校正的对象位置信息中包括的水平角Azimuth。

由此，以适合再现屏幕PSC11的位置的方式来校正重映射之后的每个对象位置。

当在给出例如图15中所描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时执行上文中描述的重映射时，得到图16中所描绘的对象位置信息作为重映射之后的对象位置信息。

注意，在图16中，在用于“OBJ1”至“OBJ6”的各个字段中，描绘了对象OBJ1至对象OBJ6的重映射的对象位置信息，即，重映射之后的对象的位置的水平角Azimuth和竖向角Elevation。

例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“-170.0”和“4.9”被描述为指示重映射之后的对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。水平角Azimuth“-170.0”和竖向角Elevation“4.9”分别是按照式(16)所表示的那样计算的水平角

和按照式(2)所表示的那样计算的竖向角θ＇。

在图16中所描绘的示例中，重映射之前的所有对象OBJ1至OBJ6之间的相对位置关系与重映射之后的所有对象OBJ1至OBJ6之间的相对位置关系基本上相同。

即，应当理解的是，即使在重映射之后，对象OBJ1和对象OBJ2、对象OBJ3和对象OBJ4以及对象OBJ5和对象OBJ6也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。

在图17中描绘了在该示例中重映射之前与重映射之后对象之间的位置关系的模式图。应该注意的是，与图1中的部分对应的部分在图17中通过相同的附图标记来表示，并且将视情况省略所述部分的描述。

在图17中，在由箭头A51和箭头A52指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。更具体地，参考屏幕RSC11位于由未经校正的参考屏幕信息指示的位置处，并且对象OBJ1至对象OBJ6位于由未经校正的对象位置信息指示的位置处。

另一方面，在由箭头A53和箭头A54指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。

在该示例中，由箭头A51和箭头A52指示的重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6位于与图7中所描绘的示例中的参考屏幕RSC11和对象OBJ1至对象OBJ6的位置相同的位置处。

此外，应当理解的是，在由箭头A53和箭头A54指示的部分中，重映射之后的对象OBJ1、对象OBJ3以及对象OBJ5与重映射之后的对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段左右对称。即，应当理解的是，从重映射之前的屏幕的中心位置观看的对象之间的位置关系与重映射之后的对象之间的位置关系基本上相同，并且已经适当地执行了重映射。

<信息处理装置的配置的示例>

当执行上面所描述的处理时，信息处理装置11被配置成如例如图18所描绘的那样。应该注意的是，与图8中的部分对应的部分在图18中通过相同的附图标记来表示，并且将视情况省略所述部分的描述。

图18中所描绘的信息处理装置11包括偏移角计算部21、位置信息校正部22以及对象重映射部23。

在该示例中，再现屏幕信息被供应至偏移角计算部21和位置信息校正部22。

偏移角计算部21计算偏移角

另外，偏移角计算部21基于所供应的再现屏幕信息计算在以下两个方向之间形成的水平角作为再现屏幕偏移角

(1)再现空间中存在的用户U11的正面方向，即，从原点O到参考位置的方向，和(2)从原点O到再现屏幕PSC11的中心位置的方向。偏移角计算部21将偏移角

和再现屏幕偏移角

供应至位置信息校正部22。

再现屏幕偏移角

是指示再现屏幕PSC11的中心位置在水平角Azimuth的方向上相对于参考位置的未对准量的水平角Azimuth。即，再现屏幕偏移角

是指示再现屏幕PSC11相对于用户U11的正面方向存在的参考位置的偏移量的信息。注意，指示再现屏幕PSC11的偏移量的信息不限于再现屏幕偏移角

并且可以是任何信息。

位置信息校正部22执行校正以不仅得到经校正的参考屏幕信息和经校正的对象位置信息，而且还得到经校正的再现屏幕信息。位置信息校正部22将经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角

供应至对象重映射部23。

即，位置信息校正部22基于从偏移角计算部21供应的再现屏幕偏移角

来校正从外部供应的再现屏幕信息，并得到经校正的再现屏幕信息。

对象重映射部23基于从位置信息校正部22供应的经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角

来执行对象位置信息即每个对象位置的重映射，并输出生成的对象位置信息。

<重映射处理的描述>

接下来将参照图19的流程图来描述由图18中所描绘的信息处理装置11执行的重映射处理。

在步骤S41中，偏移角计算部21基于所供应的参考屏幕信息和所供应的再现屏幕信息来计算偏移角

和再现屏幕偏移角

并将偏移角

和再现屏幕偏移角

供应至位置信息校正部22。

具体地，偏移角计算部21通过进行由式(3)表示的计算来计算偏移角

此外，偏移角计算部21通过进行由式(12)表示的计算来计算再现屏幕偏移角

在步骤S42中，位置信息校正部22基于从偏移角计算部21供应的偏移角

和再现屏幕偏移角

来校正从外部供应的参考屏幕信息、对象位置信息以及再现屏幕信息。

例如，位置信息校正部22通过执行与图11中的步骤S12的处理类似的处理来校正参考屏幕信息和对象位置信息，并得到经校正的参考屏幕信息和经校正的对象位置信息。

此外，例如，位置信息校正部22基于再现屏幕偏移角

来进行由式(13)和式(14)表示的计算，从而校正再现屏幕信息，并得到经校正的再现屏幕信息。

位置信息校正部22将如上所述得到的经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角

供应至对象重映射部23。

在步骤S43中，对象重映射部23基于从位置信息校正部22供应的经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角

来执行每个对象位置的重映射。

例如，对象重映射部23通过进行由式(2)、式(15)以及式(16)表示的计算来计算指示每个对象的重映射的位置的对象位置信息。然后，对象重映射部23将如上所述得到的对象位置信息输出至后续阶段，并且重映射处理结束。

以这种方式，信息处理装置11在校正参考屏幕信息、对象位置信息以及再现屏幕信息之后执行重映射。然后，信息处理装置11以和再现屏幕信息一样多的校正量校正对象位置信息。通过这样做，可以在不依赖参考屏幕RSC11和再现屏幕PSC11的定位位置的情况下执行适当的重映射。

在第一实施例和第一实施例的第一变型中，已经描述了针对水平角计算偏移角和基于偏移角校正参考屏幕信息和对象位置信息中的每一个中的水平角的示例。然而，可以不仅针对水平角而且针对竖向角来执行类似的处理，并且可以校正参考屏幕信息和对象位置信息的每一个中的竖向角。

在这样的情况下，以与针对水平角的情况类似的方式来另外针对竖向角计算偏移角。基于所计算的偏移角来校正参考屏幕信息和对象位置信息中的竖向角，然后执行重映射。

同样，在第一实施例的第二变型中，还可以校正参考屏幕信息、对象位置信息以及再现屏幕信息中的每一个中的竖向角。此外，可以将第一实施例的第二变型与第一实施例的第一变型相结合。

此外，到目前为止已经描述了在以适合参考屏幕RSC11的方式校正参考屏幕信息和对象位置信息之后，使用通过校正得到的经校正的参考屏幕信息和经校正的对象位置信息来计算指示重映射之后的每个对象的位置的对象位置信息。然而，可以仅以适合参考屏幕RSC11的方式来校正对象位置信息即每个对象的位置。

在这样的情况下，在计算偏移角之后，对象位置信息被基于偏移角来校正并用作经校正的对象位置信息。之后，基于经校正的对象位置信息、参考屏幕信息以及再现屏幕信息来执行每个对象位置的重映射。即，计算指示重映射之后的每个对象的位置的对象位置信息。

同时，上面描述的一系列处理可以由硬件执行或者由软件执行。当一系列处理由软件执行时，构成该软件的程序被安装至计算机中。这里，计算机的类型包括结合到专用硬件中的计算机、能够通过将各种程序安装至计算机中来执行各种功能的计算机例如通用个人计算机等。

图20是示出通过程序执行上面描述的一系列处理的计算机的硬件的配置的示例的框图。

在计算机中，CPU(中央处理单元)501、ROM(只读存储器)502以及RAM(随机存取存储器)503通过总线504互相连接。

输入/输出接口505也连接至总线504。输入部506、输出部507、记录部508、通信部509以及驱动器510连接至输入/输出接口505。

输入部506包括键盘、鼠标、麦克风、成像元件等。输出部507包括显示器、扬声器等。记录部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动可移除记录介质511例如磁盘、光盘、磁光盘或者半导体存储器。

在如上所述配置的计算机中，CPU 501将记录在例如记录部508中的程序经由输入/输出接口505和总线504加载至RAM 503，并执行该程序，从而执行上面描述的一系列处理。

可以通过将程序记录在用作封装介质等的可移除记录介质511中来提供由计算机(CPU 501)执行的程序。可替选地，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供该程序。

在计算机中，可以通过将可移除记录介质511附接至驱动器510，经由输入/输出接口505将程序安装到记录部508中。可替选地，可以由通信部509经由有线或无线传输介质接收该程序，并将该程序安装至记录部508中。在另一替选方案中，可以预先将该程序安装至ROM 502或者记录部508中。

注意，由计算机执行的程序可以是用于以本说明书中描述的次序中的时间序列执行处理的程序，或者可以是用于并行或者在必要的定时例如调用的定时执行处理的程序。

此外，本技术的实施例不限于上面描述的实施例，并且在不偏离本技术的精神的情况下可以作出各种变型和修改。

例如，本技术可以具有用于使多个装置以共享或者合作的方式处理一个功能的云计算配置。

此外，在上面的流程图中所描述的每个步骤不仅可以由一个装置执行，而且还可以由多个装置以共享的方式执行。

此外，当一个步骤包括多个处理时，在一个步骤中包括的多个处理不仅可以由一个装置执行，而且还可以由多个装置以共享的方式执行。

此外，本技术可以配置如下。

(1)

一种信息处理装置，包括：

偏移计算部，其计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；

位置校正部，其基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及

重映射部，其基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。

(2)

根据(1)所述的信息处理装置，其中

当所述参考屏幕位于所述用户的背面方向时，所述偏移计算部以预定校正值来校正所述偏移量。

(3)

根据(1)或(2)所述的信息处理装置，其中

当指示所述音频对象的位置的信息的范围被指定为预定范围内的范围时，所述位置校正部调整在校正所述音频对象的位置期间使用的校正值。

(4)

根据(1)至(3)中任一项所述的信息处理装置，其中

所述位置校正部基于所述偏移量来校正所述参考屏幕的位置，并且

所述重映射部基于经校正的所述参考屏幕的位置和经校正的所述音频对象的位置来重映射所述音频对象的位置。

(5)

一种信息处理方法，包括以下步骤：

计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；

基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及

基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。

(6)

一种存储有用于使计算机执行包括以下步骤的处理的程序的计算机可读介质：

计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；

基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及

基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。

[参考符号列表]

11：信息处理装置

21：偏移角计算部

22：位置信息校正部

23：对象重映射部

Claims (3)

1.一种信息处理装置，包括：

偏移计算部，其计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；

位置校正部，其基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及

重映射部，其基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。

2.一种信息处理方法，包括以下步骤：

计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；

基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及

基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。

3.一种存储有用于使计算机执行包括以下步骤的处理的程序的计算机可读介质：

计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；

基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及

基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。

Images