CN113055803A - 信息处理装置、信息处理方法及计算机可读介质 - Google Patents

信息处理装置、信息处理方法及计算机可读介质 Download PDF

Info

Publication number
CN113055803A
CN113055803A CN202110310767.4A CN202110310767A CN113055803A CN 113055803 A CN113055803 A CN 113055803A CN 202110310767 A CN202110310767 A CN 202110310767A CN 113055803 A CN113055803 A CN 113055803A
Authority
CN
China
Prior art keywords
information
remapping
screen
reference screen
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110310767.4A
Other languages
English (en)
Other versions
CN113055803B (zh
Inventor
辻实
知念彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN113055803A publication Critical patent/CN113055803A/zh
Application granted granted Critical
Publication of CN113055803B publication Critical patent/CN113055803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了信息处理装置、信息处理方法及计算机可读介质。该信息处理装置包括：偏移计算部，其计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；位置校正部，其基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及重映射部，其基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置，其中，当指示所述音频对象的位置的信息的范围被指定为预定范围内的范围时，所述位置校正部调整在校正所述音频对象的位置期间使用的校正值。

Description

信息处理装置、信息处理方法及计算机可读介质
本申请是中国申请号为201680040576.8，申请日为2016年7月1日，发明名称为“信息处理装置、信息处理方法及程序”的发明专利申请的分案申请。
技术领域
本技术涉及信息处理装置、信息处理方法及计算机可读介质，并且更特别地涉及能够执行适当的重映射的信息处理装置、信息处理方法及计算机可读介质。
背景技术
传统上，ISO/IEC 23008-3“3D Audio”标准中已经采用了屏幕相关的对象元素重映射技术(例如参见NPL 1)。
根据该技术，在呈现和再现对象音频时，根据指示用作参考的参考屏幕的位置和大小的参考屏幕信息和指示实际上再现的再现屏幕的位置和大小的再现屏幕信息来重映射(重定位)音频对象的位置。通过这样做，如果图像再现被执行使得例如参考屏幕上的对象以保持不变的位置关系在再现屏幕上显示，则可以将这些对象的音频图像定位在与参考屏幕上的对象的音频图像相同的位置处。
[引用列表]
[非专利文献]
[NPL 1]
ISO/IEC DIS 23008-3“Information technology-High efficiency coding andmedia delivery in heterogeneous environments-Part 3:3D audio”
发明内容
[技术问题]
同时，上面的技术以参考屏幕的中心位置位于再现空间中的用户的前方这一事实为前提。然而，在例如在360°的所有方向上显示图像的全方位图像被再现时或者当整个图像的一部分经历缩放再现时的情况下，参考屏幕的中心位置根据情况并非总是位于用户的前方。
在这样的情况下，当通过上面的技术重映射音频对象的位置时，重映射之后的位置发生扭曲。也就是说，再现屏幕之外的音频对象之间的位置关系发生失真，并且不能实现适当的重映射。
本技术是鉴于这些情况而做出的，并且本技术的目的是能够执行适当的重映射。
[解决技术问题的技术方案]
根据本技术的一方面的信息处理装置包括偏移计算部、位置校正部以及重映射部，其中，偏移计算部计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量，位置校正部基于偏移量，以适合参考屏幕的位置的方式来校正以参考位置为参考的音频对象的位置，并且重映射部基于经校正的音频对象的位置，以适合再现屏幕的位置的方式来来重映射音频对象的位置。
当参考屏幕位于用户的背面方向时，可以使偏移计算部以预定校正值来校正偏移量。
当指示音频对象的位置的信息的范围被指定为预定范围内的范围时，可以使位置校正部调整在校正音频对象的位置期间使用的校正值。
可以使位置校正部基于偏移量来校正参考屏幕的位置，并且可以使重映射部基于经校正的参考屏幕的位置和经校正的音频对象的位置来重映射音频对象的位置。
根据本技术的一方面的信息处理方法或程序包括以下步骤：计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；基于偏移量，以适合参考屏幕的位置的方式来校正以参考位置为参考的音频对象的位置；以及基于经校正的音频对象的位置，以适合再现屏幕的位置的方式来重映射音频对象的位置。
根据本技术的一方面，计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量，基于偏移量，以适合参考屏幕的位置的方式来校正以参考位置为参考的音频对象的位置；并且基于经校正的音频对象的位置，以适合再现屏幕的位置的方式来重映射音频对象的位置。
[本发明的有益效果]
根据本技术的一方面，可以执行适当的重映射。
应当注意的是，效果并不总是限制于这里所描述的效果，而可以是本公开内容中所描述的效果中的任一效果。
附图说明
图1描绘了重映射之前和之后的对象之间的位置关系。
图2描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。
图3是水平位置通过重映射而发生的变化的说明性图。
图4描绘了重映射之后的对象位置信息的示例。
图5描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。
图6描绘了重映射之后的对象位置信息的示例。
图7描绘了重映射之前和之后的对象之间的位置关系。
图8描绘了信息处理装置的配置的示例。
图9描绘了重映射之后的对象位置信息的示例。
图10描绘了重映射之前和之后的对象之间的位置关系。
图11是用于说明重映射处理的流程图。
图12描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。
图13描绘了重映射之后的对象位置信息的示例。
图14描绘了重映射之前和之后的对象之间的位置关系。
图15描绘了参考屏幕信息、对象位置信息以及再现屏幕信息的示例。
图16描绘了重映射之后的对象位置信息的示例。
图17描绘了重映射之前和之后的对象之间的位置关系。
图18描绘了信息处理装置的配置的示例。
图19是用于说明重映射处理的流程图。
图20描绘了计算机的配置的示例。
具体实施方式
在下文中将参照附图来描述应用本技术的实施例。
<第一实施例>
<重映射>
本技术意在能够在通过获取每个音频对象的音频信号和例如指示音频对象的位置的对象位置信息之类的元数据来执行音频再现时执行适当的重映射。应当注意的是，在下文中音频对象通常被简称为“对象”。
例如，当再现内容时，用于再现包括动态图像和伴随动态图像的声音的内容的比特流被输入至内容再现侧。通过对例如用于再现动态图像的视频信号、用于再现每个对象的声音的音频信号以及例如每个对象的元数据和指示用作参考的参考屏幕的位置和大小的参考屏幕信息之类的各条信息进行多路复用来获得该比特流。元数据至少还包括指示再现空间中的每个对象的位置的对象位置信息。
指示再现空间中作为实际上用于再现内容的屏幕的再现屏幕(显示屏幕)的位置和大小的再现屏幕信息也被供应至内容再现侧。然后，在内容再现时，基于参考屏幕信息和再现屏幕信息来执行对由对象位置信息指示的每个对象的位置的重映射。
具体地，如例如图1所描绘的那样执行对对象位置的重映射。
如箭头A11所指示的，假定以围绕再现空间的原点O的位置处存在的虚拟用户U11的方式来定位六个对象OBJ1至OBJ6。这里，对象OBJ1至OBJ6被定位在再现空间中的由元数据中包括的对象位置信息指示的位置处。
此外，参考屏幕信息定义作为用作参考的屏幕的参考屏幕RSC11。在该示例中，参考屏幕RSC11位于用户U11的正面方向。注意，假定用户U11面向存在有参考屏幕RSC11的方向，也就是正面方向。
当在由箭头A11指示的视图中沿从上到下的方向观看对象OBJ1至对象OBJ6和参考屏幕RSC11时，对象OBJ1至对象OBJ6以及参考屏幕RSC11的设置位置在由箭头A12指示的视图中描绘。
在该示例中，特别地，对象OBJ1和对象OBJ2位于参考屏幕RSC11内。此外，当从用户U11观看时，对象OBJ1、对象OBJ3以及对象OBJ5被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上左右对称。
因此，假设在参考屏幕RSC11上再现构成内容的动态图像，则仅在参考屏幕RSC11上显示六个对象中的对象OBJ1和对象OBJ2。
现在，在由箭头A12指示的视图中，假定在从用户U11观看时的前方即该视图中向上的方向是x轴的正方向，在从用户U11观看时的右方是y轴的正方向，并且在从用户U11观看时的天顶方向即该视图中近侧的方向是z轴的正方向。
还假定使用原点O作为原点并且具有x轴、y轴以及z轴的三维坐标系是xyz坐标系。还假定每个对象和参考屏幕RSC11位于中心为原点O并且半径为从原点O开始的预定距离r(以下，也称为“半径r”)的单位球上。这里，例如，半径r为1。
在这种情况下，假定由对象位置信息和参考屏幕信息指示的位置分别由作为在xy平面上与x轴形成的角度的水平角Azimuth和作为在xz平面上与x轴形成的角度的竖向角Elevation来表示。注意，更具体地，竖向角Elevation是在xy平面与将感兴趣的位置(例如每个对象的位置)连接到原点O的线之间形成的角度。还假定由再现屏幕信息指示的位置类似地分别由水平角Azimuth和竖向角Elevation来表示。
这里，关于水平角Azimuth，假定x轴的正方向处于水平角Azimuth＝0°处，在由箭头A12所指示的视图中顺时针方向为水平角Azimuth的负方向，并且逆时针方向为水平角Azimuth的正方向。此外，-180°≤Azimuth≤180°。
因此，例如，y轴的正方向处于水平角Azimuth＝-90°处，并且x轴的负方向处于水平角Azimuth＝-180°＝180°处。
关于竖向角Elevation，假定在x轴的方向上即xy平面上的位置处于竖向角Elevation＝0°处，从xy平面到z轴的正方向的旋转方向为竖向角Elevation的正方向，并且从xy平面到z轴的负方向的旋转方向为竖向角Elevation的负方向。此外，-90°≤Elevation≤90°。
因此，例如，z轴的正方向处于竖向角Elevation＝90°处，并且z轴的负方向处于竖向角Elevation＝-90°处。
此外，在下文中假定单位球与x轴之间的在x轴正方向侧的交点的位置为再现空间中的参考位置。也就是说，参考位置为水平角Azimuth＝0°、竖向角Elevation＝0°并且半径r＝1处的位置，并且参考位置为在位于再现空间中的用户U11的正前方的方向的位置。
以这种方式，假定对象位置信息、参考屏幕信息以及再现屏幕信息分别由水平角Azimuth和竖向角Elevation来描述。在这种情况下，当基于对象位置信息、参考屏幕信息以及再现屏幕信息执行重映射时，每个对象在再现空间中的设置位置如例如箭头A13和箭头A14指示的那样改变。
在该示例中，以适合实际用于再现的再现屏幕PSC11的方式重定位对象OBJ1至对象OBJ6。
也就是说，位于参考屏幕RSC11上的对象OBJ1和对象OBJ2以与参考屏幕RSC11上的位置关系相同的位置关系被定位在再现屏幕PSC11上。
应当注意的是，在该示例中，参考屏幕RSC11和再现屏幕PSC11二者的中心位置与参考位置相同。
此外，对象被以与重映射之前的相对位置关系基本上相同的相对位置关系来定位。当从用户U11观看时，对象OBJ1、对象OBJ3以及对象OBJ5被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上左右对称。
根据这样的重映射，以适合参考屏幕RSC11的方式定位的每个对象可以被重定位在适合实际用于再现的再现屏幕PSC11的位置处。结果，在内容再现时，可以以如下这样的方式再现内容：例如在再现屏幕PSC11上显示的每个对象的声音来自该对象的方向。此外，对于未在再现屏幕PSC11上显示的对象，可以以如下这样的方式再现内容：每个对象的声音来自适当的方向。从而，可以实现适当的音频再现。
现在将通过示例的方式参照图1中所描绘的六个对象来更详细地描述借助于普通的屏幕相关的对象元素重映射技术执行的重映射。
例如，假定给出图2中所描绘的信息作为参考屏幕RSC11的参考屏幕信息、对象OBJ1至对象OBJ6的对象位置信息以及再现屏幕PSC11的再现屏幕信息。
在图2中，在由箭头Q11指示的部分中描绘了参考屏幕信息和对象位置信息，并且在由箭头Q12指示的部分中描绘了再现屏幕信息。另外，在信息的视图中，在右手侧字段中的每个字段中描述了水平角Azimuth或竖向角Elevation的数值。
在该示例中，参考屏幕信息是指示参考屏幕RSC11的位置和大小即参考屏幕RSC11的上端、下端、左端以及右端的位置的信息。
具体地，在用于参考屏幕信息的字段中，文字“Azimuth左端”和“Azimuth右端”分别指示图1中的参考屏幕RSC11的左手侧端与右手侧端的位置，并且“29.0”和“-29.0”被描述为指示参考屏幕RSC11的左手侧端与右手侧端的位置的水平角Azimuth。在下文中，图1中的参考屏幕RSC11的左手侧端和右手侧端通常被称为参考屏幕RSC11的“左端”和“右端”。
此外，在用于参考屏幕信息的字段中，文字“Elevation上端”和“Elevation下端”分别指示图1中的参考屏幕RSC11的上侧端与下侧端的位置，并且“17.5”和“-17.5”被描述为指示参考屏幕RSC11的上侧端与下侧端的位置的竖向角Elevation。在下文中，图1中的参考屏幕RSC11的上侧端和下侧端通常被称为参考屏幕RSC11的“上端”和“下端”。
还在由箭头Q11指示的部分中描绘了对象OBJ1至对象OBJ6中的每个对象的对象位置信息。具体地，在用于“OBJ1”至“OBJ6”的各个字段中，描述了对象OBJ1至对象OBJ6的位置。
例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示对象OBJ1的水平位置和竖向位置，并且“20.2”和“10.0”被描述为指示对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。
此外，在由箭头Q12指示的部分中描绘了再现屏幕信息。
在该示例中，再现屏幕信息是指示再现屏幕PSC11的位置和大小即再现屏幕PSC11的上端、下端、左端以及右端的位置的信息。
具体地，在用于再现屏幕信息的字段中，文字“Azimuth左端”和“Azimuth右端”分别指示图1中的再现屏幕PSC11的左手侧端与右手侧端的位置，并且“14.5”和“-14.5”被描述为指示再现屏幕PSC11的左手侧端与右手侧端的位置的水平角Azimuth。在下文中，图1中的再现屏幕PSC11的左手侧端和右手侧端通常被称为再现屏幕PSC11的“左端”和“右端”。
此外，在用于再现屏幕信息的字段中，文字“Elevation上端”和“Elevation下端”分别指示图1中的再现屏幕PSC11的上侧端与下侧端的位置，并且“8.5”和“-8.5”被描述为指示再现屏幕PSC11的上侧端与下侧端的位置的竖向角Elevation。在下文中，图1中的再现屏幕PSC11的上侧端和下侧端通常被称为再现屏幕PSC11的“上端”和“下端”。
根据由箭头Q12指示的再现屏幕信息理解，再现屏幕PSC11是具有参考屏幕RSC11的大小的基本上一半的大小的屏幕(显示屏幕)。
当给出上面描述的参考屏幕信息、对象位置信息以及再现屏幕信息时，进行由下面的式(1)和式(2)表示的计算，以计算在用普通的屏幕相关的对象元素重映射技术进行重映射之后的对象的位置。
[数学式1]
Figure BDA0002988508340000081
[数学式2]
Figure BDA0002988508340000091
注意，在式(1)中，
Figure BDA0002988508340000092
指示重映射之前的每个对象的水平位置即对象位置信息中包括的水平角Azimuth，并且
Figure BDA0002988508340000093
表示指示重映射之后的该对象的水平位置的水平角Azimuth。
此外，在式(1)中，
Figure BDA0002988508340000094
和
Figure BDA0002988508340000095
表示指示参考屏幕RSC11的左端和右端的水平位置的水平角Azimuth，并且
Figure BDA0002988508340000096
和
Figure BDA0002988508340000097
表示指示再现屏幕PSC11的左端和右端的水平位置的水平角Azimuth。
在式(2)中，θ指示重映射之前的每个对象的竖向位置即对象位置信息中包括的竖向角Elevation，并且θ＇表示指示重映射之后的对象的竖向位置的竖向角Elevation。
此外，在式(2)中，
Figure BDA0002988508340000098
和
Figure BDA0002988508340000099
表示指示参考屏幕RSC11的上端和下端的竖向位置的竖向角Elevation，并且
Figure BDA00029885083400000910
和
Figure BDA00029885083400000911
表示指示再现屏幕PSC11的上端和下端的竖向位置的竖向角Elevation。
如上面的式(1)所表示的那样计算指示重映射之后的每个对象的水平位置的水平角Azimuth，并且如上面的式(2)所表示的那样计算指示重映射之后的该对象的竖向位置的竖向角Elevation。
在通过由式(1)和式(2)表示的计算进行重映射时，参考屏幕RSC11内的对象以如下方式经历重映射：这些对象正好落入再现屏幕PSC11内，同时对象之间的位置关系保持不变。另外，参考屏幕RSC11之外的对象响应于参考屏幕RSC11的端部与再现屏幕PSC11的端部之间的位置关系而经历重映射。
在由式(1)表示的计算中，例如如图3所描绘的那样对水平位置进行重映射。注意，在图3中，横轴表示重映射之前的每个对象的水平角
Figure BDA0002988508340000101
并且纵轴表示重映射之后的该对象的水平角
Figure BDA0002988508340000102
在该示例中，由水平角
Figure BDA0002988508340000103
指示的位置被重映射至由水平角
Figure BDA0002988508340000104
指示的位置。另外，由水平角
Figure BDA0002988508340000105
指示的位置被重映射至由水平角
Figure BDA0002988508340000106
指示的位置，并且由水平角
Figure BDA0002988508340000107
指示的位置与由水平角
Figure BDA0002988508340000108
指示的位置之间的位置被线性地重映射。
即使在重映射之后，由水平角
Figure BDA0002988508340000109
指示的位置也保持不变，仍为由水平角
Figure BDA00029885083400001010
指示的位置，并且由水平角
Figure BDA00029885083400001011
指示的位置与由水平角
Figure BDA00029885083400001012
指示的位置之间的位置被线性地重映射。
同样地，即使在重映射之后，由水平角
Figure BDA00029885083400001013
指示的位置也保持不变，仍为由水平角
Figure BDA00029885083400001014
指示的位置，并且由水平角
Figure BDA00029885083400001015
指示的位置与由水平角
Figure BDA00029885083400001016
指示的位置之间的位置被线性地重映射。
因此，当基于图2中所描绘的参考屏幕信息、对象位置信息以及再现屏幕信息进行由式(1)和式(2)所表示的计算时，获得了图4中描绘的位置作为重映射之后的对象的位置。换句话说，通过重映射，获得图4中描绘的对象位置信息。
图4描绘了重映射之后的对象OBJ1至对象OBJ6的对象位置信息。具体地，在用于“OBJ1”至“OBJ6”的各个字段中，描述了对象OBJ1至对象OBJ6的位置。
例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“10.0”和“4.9”被描述为指示对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。
该对象OBJ1的水平角Azimuth“10.0”和竖向角Elevation“4.9”分别指示重映射之后的对象OBJ1的水平角
Figure BDA00029885083400001017
和竖向角θ＇。
如根据图4中描绘的对象的位置可以理解的，即使在重映射之后，当从用户U11观看时，对象OBJ1、对象OBJ3以及对象OBJ5也被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上左右对称。也就是说，可以理解的是，已经适当地执行了重映射。
同时，普通的屏幕相关的对象元素重映射技术以以下事实为前提：参考屏幕RSC11位于用户U11的前方，也就是说，参考屏幕RSC11的中心位置与参考位置相同。换句话说，未假定参考屏幕RSC11的中心位置是除参考位置以外的位置。
为此，当参考屏幕RSC11的中心位置是除参考位置以外的位置并且照常执行重映射时，参考屏幕RSC11之外的对象之间的位置关系发生失真。
具体地，当在给出例如图5中描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时通过式(1)和式(2)表示的计算执行重映射时，重映射之后的对象的对象位置信息是如图6所描绘的对象位置信息。应当注意的是，图5和图6对应于图2和图4，并且将视情况省略图5和图6中与图2和图4中的部分相似的部分的描述。
在图5中，在由箭头Q21指示的部分中描绘了参考屏幕RSC11的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息。
在该示例中，由参考屏幕信息指示的参考屏幕RSC11的位置是通过以下方式获得的位置：在水平角Azimuth的正方向上将图2的示例中描绘的位置旋转多达30°。也就是说，在图2的示例中，参考屏幕RSC11的中心位置与参考位置相同，而在图5描绘的示例中，参考屏幕RSC11的中心位置是由水平角Azimuth＝30°和竖向角Elevation＝0°指示的位置。
同样地，在图5描绘的示例中，由对象位置信息指示的每个对象的位置是通过以下方式获得的位置：在水平角Azimuth的正方向上将图2的示例中描绘的该对象的位置旋转多达30°。
因此，图2描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系和图5描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系相同。
此外，在由箭头Q22指示的部分中描绘了再现屏幕信息，并且该再现屏幕信息与图2中描绘的再现屏幕信息相同。
虽然通过基于如上面所描述的参考屏幕信息、对象位置信息以及再现屏幕信息进行重映射，获得了图6中描绘的对象位置信息，但是根据该对象位置信息理解到，对象之间的位置关系是不对称的。
注意，在图6中，在用于“OBJ1”至“OBJ6”的字段中分别描述了对象OBJ1至对象OBJ6的位置。
在重映射之前，对象OBJ1、对象OBJ3以及对象OBJ5被定位成与对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到参考屏幕RSC11的中心位置的线段左右对称。
另一方面，在图6描绘的示例中，根据水平角Azimuth理解到，即使在重映射之后，位于参考屏幕RSC11内的对象OBJ1和对象OBJ2也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。
然而，应当理解的是，位于参考屏幕RSC11之外的对象OBJ3和对象OBJ4在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此并非左右对称，并且位于参考屏幕RSC11之外的对象OBJ5和对象OBJ6在水平方向上相对于该线段彼此并非左右对称。也就是说，应当理解的是，重映射之后的对象的位置不是适当的位置并且对象之间的位置关系发生失真。
在该示例中重映射之前和重映射之后对象之间的位置关系的模式图如图7所描绘。应当注意的是，与图1中的部分对应的部分在图7中由相同的附图标记来表示，并且将视情况省略对所述部分的描述。
在图7中，在由箭头A21和箭头A22指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。另一方面，在由箭头A23和箭头A24指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。
在重映射时，期望对象以如下方式经历重映射：从再现屏幕PSC11观看的对象之间的位置关系与重映射之前从参考屏幕RSC11观看的对象之间的位置关系基本上相同。
在该示例中，重映射之前的对象OBJ1至对象OBJ6之间的相对位置关系与图1中描绘的示例中的对象OBJ1至对象OBJ6之间的相对位置关系相同，并且再现屏幕PSC11的位置也与图1中描绘的示例中的再现屏幕PSC11的位置相同。因此，期望重映射之后的对象OBJ1至对象OBJ6被重定位在与图1描绘的对象的位置相同的位置处。
然而，如根据图7所理解的，关于在重映射之前位于参考屏幕RSC11之外的对象OBJ3至对象OBJ6之间的相对位置关系，相对位置关系在重映射之前与重映射之后改变很大。特别是对象OBJ5和对象OBJ6的对象位置明显未对准。
为此，当基于通过重映射获得的对象位置信息来呈现对象的音频信号时，再现屏幕PSC11之外的对象的音频图像被定位在与声音再现时对象原本应该存在的位置不同的位置处。
因此，为了解决该问题，本技术意在通过适当地校正对象位置信息和参考屏幕信息，即使在参考屏幕RSC11的中心位置与参考位置不同的情况下也能够执行适当的重映射。
<信息处理装置的配置的示例>
图8描绘了应用本技术的信息处理装置的一个实施例的配置的示例。
图8中描绘的信息处理装置11包括偏移角计算部21、位置信息校正部22以及对象重映射部23。
参考屏幕信息、每个对象的对象位置信息以及再现屏幕信息被从外部供应至该信息处理装置11。
在本文中假定参考屏幕信息包括例如指示参考屏幕RSC11的左端和右端的位置的水平角以及指示参考屏幕RSC11的上端和下端的位置的竖向角。参考屏幕信息是指示当用户U11的正面方向存在的参考位置被用作参考时参考屏幕RSC11的位置和大小的信息。
同样地，假定再现屏幕信息包括指示再现屏幕PSC11的左端和右端的位置的水平角以及指示再现屏幕PSC11的上端和下端的位置的竖向角。类似地，该再现屏幕信息是指示当参考位置被用作参考时再现屏幕PSC11的位置和大小的信息。
此外，假定每个对象的对象位置信息包括指示该对象的位置的水平角和竖向角。对象位置信息是指示当用户U11的正面方向存在的参考位置被用作参考时每个对象的位置的信息。
偏移角计算部21基于所供应的参考屏幕信息来计算在以下两个方向之间形成的水平角作为偏移角，并将该偏移角供应至位置信息校正部22：(1)再现空间中存在的用户U11的正面方向，即，从原点O到参考位置的方向；和(2)从原点O到参考屏幕RSC11的中心位置的方向。
参考屏幕RSC11的偏移角是指示在水平角Azimuth的方向上参考屏幕RSC11的中心位置相对于参考位置的未对准量的水平角Azimuth。也就是说，偏移角是指示参考屏幕RSC11相对于用户U11的正面方向存在的参考位置的偏移量的信息。注意，虽然在本文中将作为水平角的偏移角描述为指示偏移量的信息的示例，但是指示偏移量的信息可以是任何其他信息。
位置信息校正部22基于从偏移角计算部21供应的偏移角来校正从外部供应的参考屏幕信息和对象位置信息，并将生成的经校正的参考屏幕信息和经校正的对象位置信息供应至对象重映射部23。
对象重映射部23基于从外部供应的再现屏幕信息以及从位置信息校正部22供应的经校正的参考屏幕信息和经校正的对象位置信息来执行对对象位置信息(即，每个对象位置)的重映射，并且输出生成的对象位置信息。
<由各部进行的处理>
现在将更具体地描述构成信息处理装置11的各部所进行的处理。
首先，偏移角计算部21通过基于所供应的参考屏幕信息进行由例如下面的式(3)表示的计算，来计算偏移角
Figure BDA0002988508340000148
[数学式3]
Figure BDA0002988508340000141
注意，在式(3)中，
Figure BDA0002988508340000142
和
Figure BDA0002988508340000143
表示指示参考屏幕RSC11的左端和右端的位置的水平角Azimuth。信息
Figure BDA0002988508340000144
和
Figure BDA0002988508340000145
被包括在参考屏幕信息中。
此外，位置信息校正部22基于偏移角
Figure BDA0002988508340000146
以如下方式校正参考屏幕信息：参考屏幕RSC11的中心位置变得与参考位置相同。也就是说，位置信息校正部22通过由下面的式(4)和式(5)表示的计算来计算经校正的参考屏幕信息。
[数学式4]
Figure BDA0002988508340000147
[数学式5]
Figure BDA0002988508340000151
注意，在式(4)中，
Figure BDA0002988508340000152
表示指示参考屏幕RSC11的左端的位置的水平角Azimuth，并且
Figure BDA0002988508340000153
指示在使用偏移角
Figure BDA0002988508340000154
校正水平角
Figure BDA0002988508340000155
之后的水平角Azimuth。也就是说，
Figure BDA0002988508340000156
表示指示经校正的参考屏幕RSC11的左端的位置的水平角Azimuth。
此外，在式(5)中，
Figure BDA0002988508340000157
表示指示参考屏幕RSC11的右端的位置的水平角Azimuth，并且
Figure BDA0002988508340000158
指示在使用偏移角
Figure BDA0002988508340000159
校正水平角
Figure BDA00029885083400001510
之后的水平角Azimuth。也就是说，
Figure BDA00029885083400001511
表示指示经校正的参考屏幕RSC11的右端的位置的水平角Azimuth。
因此，通过由式(4)表示的计算来校正参考屏幕信息中包括的水平角
Figure BDA00029885083400001512
并且通过由式(5)表示的计算来校正参考屏幕信息中包括的水平角
Figure BDA00029885083400001513
在校正参考屏幕信息时，仅校正水平角
Figure BDA00029885083400001514
和
Figure BDA00029885083400001515
而不校正指示参考屏幕RSC11的上端和下端的位置的竖向角。
用于计算经校正的参考屏幕信息的处理是以下处理，所述处理用于将参考屏幕RSC11旋转多达偏移角
Figure BDA00029885083400001516
即,多达参考屏幕RSC11的中心位置相对于参考位置的未对准。通过该处理，参考屏幕信息以如下方式被校正：参考屏幕RSC11的中心位置变得与参考位置相同。
此外，位置信息校正部22基于偏移角
Figure BDA00029885083400001517
以如下方式校正对象位置信息：以适合对参考屏幕RSC11的位置的校正(移动)(即对参考屏幕信息的校正)的方式来校正(移动)对象的位置。也就是说，位置信息校正部22通过由下面的式(6)表示的计算来计算经校正的对象位置信息。
[数学式6]
φoffset＝φ-φoffset_value…(6)
注意，在式(6)中，
Figure BDA00029885083400001518
指示对象位置信息中包括的每个对象的水平角Azimuth，并且
Figure BDA00029885083400001519
指示通过使用偏移角
Figure BDA00029885083400001520
校正水平角
Figure BDA00029885083400001521
而获得的水平角Azimuth。也就是说，
Figure BDA00029885083400001522
表示指示经校正的对象位置的水平角Azimuth。
因此，通过由式(6)表示的计算来校正对象位置信息中包括的水平角
Figure BDA00029885083400001523
在校正对象位置信息时，仅校正水平角
Figure BDA00029885083400001524
而不校正指示对象的竖向位置的竖向角。
用于计算经校正的对象位置信息的处理是用于将每个对象的位置旋转多达偏移角
Figure BDA0002988508340000161
的处理。
通过该处理，以适合参考屏幕RSC11的位置的方式校正每个对象的位置。更具体地，以适合对参考屏幕RSC11的中心位置的校正的方式校正每个对象的位置。为此，在校正参考屏幕信息和对象位置信息之前和之后，每个对象与参考屏幕RSC11的相对位置没有改变。
当如到目前为止所描述的那样获得经校正的参考屏幕信息和经校正的对象位置信息时，对象重映射部23执行重映射。也就是说，以适合再现屏幕PSC11的位置的方式对每个对象的位置进行重映射。
这时，指示参考屏幕RSC11与对象之间的位置关系的经校正的参考屏幕信息和经校正的对象位置信息用作指示当参考位置被设置成与参考屏幕RSC11的中心位置相同时的位置关系的信息。
因此，即使在通过与用普通的屏幕相关的对象元素重映射技术进行的计算类似的计算对对象位置进行重映射的情况下，也可以使用经校正的参考屏幕信息和经校正的对象位置信息来防止对象位置的失真。也就是说，可以实现适当的重映射。
具体地，对象重映射部23通过基于经校正的参考屏幕信息、再现屏幕信息以及经校正的对象位置信息进行由下面的式(7)表示的计算，来计算重映射之后的对象位置信息。
[数学式7]
Figure BDA0002988508340000171
注意，在式(7)中，
Figure BDA0002988508340000172
表示指示重映射之后的每个对象的水平位置的水平角Azimuth，并且
Figure BDA0002988508340000173
指示重映射之前的对象的水平位置，即，经校正的对象位置信息中包括的水平角Azimuth。
此外，在式(7)中，
Figure BDA0002988508340000174
和
Figure BDA0002988508340000175
表示指示参考屏幕RSC11的左端和右端的经校正的水平位置的水平角Azimuth。也就是说，
Figure BDA0002988508340000176
和
Figure BDA0002988508340000177
指示经校正的参考屏幕信息中包括的参考屏幕RSC11的左端和右端的水平角Azimuth。
此外，在式(7)中，
Figure BDA0002988508340000178
和
Figure BDA0002988508340000179
表示指示再现屏幕PSC11的左端和右端的水平位置的水平角Azimuth。
此外，更具体地，在确定每个对象的重映射的对象位置信息时，对象重映射部23基于经校正的参考屏幕信息、再现屏幕信息以及经校正的对象位置信息进行由上面描述的式(2)表示的计算。由此，获得指示重映射之后的对象位置信息中包括的对象的重映射的竖向位置的竖向角θ＇。
通过执行上面描述的处理，信息处理装置11可以执行适当的重映射。
具体地，当在给出例如图5描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时信息处理装置11执行重映射时，获得图9描绘的对象位置信息作为重映射之后的对象位置信息。
注意，在图9中，在用于“OBJ1”至“OBJ6”的各个字段中，描绘了对象OBJ1至对象OBJ6的重映射的对象位置信息，即，重映射之后的对象的位置的水平角Azimuth和竖向角Elevation。
例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和文字“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“10.0”和“4.9”被描述为指示重映射之后的对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。水平角Azimuth“10.0”和竖向角Elevation“4.9”分别是如式(7)所表示的那样计算的水平角
Figure BDA0002988508340000181
和如式(2)所表示的那样计算的竖向角θ＇。
在图9描绘的示例中，重映射之前的所有对象OBJ1至对象OBJ6之间的相对位置关系与重映射之后的所有对象OBJ1至对象OBJ6之间的相对位置关系基本上相同。
也就是说，应当理解的是，即使在重映射之后，位于参考屏幕RSC11内的对象OBJ1和对象OBJ2也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。
此外，应当理解的是，位于参考屏幕RSC11之外的对象OBJ3和对象OBJ4在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称，并且位于参考屏幕RSC11之外的对象OBJ5和对象OBJ6在水平方向上相对于该线段彼此左右对称。也就是说，应该理解的是，重映射之后的所有对象的位置是适当的位置。
图10描绘了该示例中在重映射之前和重映射之后对象之间的位置关系的模式图。应当注意的是，与图1中的部分对应的部分在图10中由相同的附图标记来表示，并且将视情况省略对所述部分的描述。
在图10中，在由箭头A31和箭头A32指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。更具体地，参考屏幕RSC11位于由未校正的参考屏幕信息指示的位置处，并且对象OBJ1至对象OBJ6位于由未校正的对象位置信息指示的位置处。
另一方面，在由箭头A33和箭头A34指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。
在该示例中，由箭头A31和箭头A32指示的重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6位于与图7描绘的示例中的参考屏幕RSC11和对象OBJ1至对象OBJ6的位置相同的位置处。
此外，应当理解的是，在由箭头A33和箭头A34指示的部分中，重映射之后的对象OBJ1、对象OBJ3以及对象OBJ5与重映射之后的对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段左右对称。也就是说，应当理解的是，在重映射之前从屏幕的中心位置观看的对象之间的位置关系与重映射之后从屏幕的中心位置观看的对象之间的位置关系基本上相同，并且已经适当地执行了重映射。
<重映射处理的描述>
接下来将参照图11的流程图来描述由信号处理装置11执行的重映射处理。
在步骤S11中，偏移角计算部21基于所供应的参考屏幕信息来计算偏移角
Figure BDA0002988508340000191
并将偏移角
Figure BDA0002988508340000192
供应至位置信息校正部22。
具体地，偏移角计算部21通过进行由式(3)表示的计算来计算偏移角
Figure BDA0002988508340000193
在步骤S12中，位置信息校正部22基于从偏移角计算部21供应的偏移角
Figure BDA0002988508340000194
来校正从外部供应的参考屏幕信息和对象位置信息。
例如，位置信息校正部22通过根据偏移角
Figure BDA0002988508340000195
和参考屏幕信息进行由式(4)和式(5)表示的计算，来校正参考屏幕信息，并将生成的经校正的参考屏幕信息供应至对象重映射部23。
此外，位置信息校正部22通过根据偏移角
Figure BDA0002988508340000196
和对象位置信息进行由式(6)表示的计算，来校正对象位置信息，并将生成的经校正的对象位置信息供应至对象重映射部23。
在步骤S13中，对象重映射部23基于从外部供应的再现屏幕信息以及从位置信息校正部22供应的经校正的参考屏幕信息和经校正的对象位置信息来执行对每个对象位置的重映射。
例如，对象重映射部23通过基于经校正的参考屏幕信息、再现屏幕信息以及经校正的对象位置信息进行由式(2)和式(7)表示的计算，来计算指示对象的重映射的位置的对象位置信息。然后，对象重映射部23将如上所述获得的对象位置信息输出至后续阶段，并且重映射处理结束。
以这种方式，信息处理装置11在校正参考屏幕信息和对象位置信息之后执行重映射。通过这样做，可以在不依赖于参考屏幕RSC11的定位位置的情况下执行适当的重映射。
<第一实施例的第一变型>
<重映射>
同时，如ISO/IEC 23008-3“3D Audio”标准中所指定的，参考屏幕RSC11的左端的水平角
Figure BDA0002988508340000201
和右端的水平角
Figure BDA0002988508340000202
以及每个对象的水平角
Figure BDA0002988508340000203
中的每个角的范围通常被指定为等于或大于-180°且等于或小于180°。
在这样的情况下，有必要在计算经校正的参考屏幕信息和经校正的对象位置信息时适当地校正水平角，使得水平角为预设范围内的值，即等于或大于-180°且等于或小于180°的值。
此外，当水平角
Figure BDA0002988508340000204
以及
Figure BDA0002988508340000205
中的每个角的范围被指定为等于或大于-180°且等于或小于180°并且参考屏幕RSC11位于用户U11的背面方向(即位于从用户U11观看时的x轴的负方向)时，水平角
Figure BDA0002988508340000206
和
Figure BDA0002988508340000207
通常满足
Figure BDA0002988508340000208
在这样的情况下，有必要在计算偏移值
Figure BDA0002988508340000209
时以适当的校正值适当地校正偏移角
Figure BDA00029885083400002010
注意，在下文中，当参考屏幕RSC11位于用户U11的背面方向时，除非另外指定，否则假定水平角
Figure BDA00029885083400002011
和
Figure BDA00029885083400002012
处于满足
Figure BDA00029885083400002013
的状态。
当水平角
Figure BDA00029885083400002014
以及
Figure BDA00029885083400002015
中的每个角的范围被预先指定为落入等于或大于-180°且等于或小于180°的范围内时，重映射可以被执行如下。
注意，在下文中将在具体参照以下情况的同时继续进行描述：通过示例的方式给出图12描绘的参考屏幕信息、对象位置信息以及再现屏幕信息。另外，图12对应于图2，并且将视情况省略图12中与图2中的部分类似的部分的描述。
在图12中，在由箭头Q31指示的部分中描绘了参考屏幕RSC11的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息。
在该示例中，由参考屏幕信息指示的参考屏幕RSC11的位置是通过以下方式获得的位置：将图2的示例中描绘的位置在水平角Azimuth的方向上旋转多达180°。也就是说，在图2的示例中，参考屏幕RSC11的中心位置与参考位置相同，而在图12描绘的示例中，参考屏幕RSC11的中心位置是由水平角Azimuth＝180°和竖向角Elevation＝0°指示的位置。
同样地，在图12描绘的示例中，由对象位置信息指示的每个对象的位置是通过以下方式获得的位置：将图2的示例中描绘的该对象的位置在水平角Azimuth的方向上旋转多达180°。
因此，图2描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系与图12描绘的示例中的参考屏幕RSC11与每个对象之间的相对位置关系相同。
此外，在由箭头Q32指示的部分中描绘了再现屏幕信息，并且该再现屏幕信息与图2中描绘的再现屏幕信息相同。
当给出上面描述的参考屏幕信息、对象位置信息以及再现屏幕信息时，偏移角计算部21可以如下面的代替上述式(3)的式(8)所表示的那样来计算偏移角
Figure BDA0002988508340000211
[数学式8]
Figure BDA0002988508340000212
注意，在式(8)中，
Figure BDA0002988508340000213
和
Figure BDA0002988508340000214
表示指示参考屏幕RSC11的左端和右端的位置的水平角Azimuth。
在式(8)中，当水平角
Figure BDA0002988508340000215
和
Figure BDA0002988508340000216
满足
Figure BDA0002988508340000217
即参考屏幕RSC11存在于背面方向时，将通过式(3)确定的角度加上作为校正值的180°，以获得最终的偏移角
Figure BDA0002988508340000218
原因如下。当参考屏幕RSC11存在于背面方向并且如式(3)所表示的那样计算偏移角
Figure BDA0002988508340000221
时，得到与参考屏幕RSC11存在于正面方向时的角度相同的角度作为偏移角
Figure BDA0002988508340000222
为此，有必要加上作为校正值的180°以准确地校正偏移角。
此外，在式(8)中，当水平角
Figure BDA0002988508340000223
和
Figure BDA0002988508340000224
不满足
Figure BDA0002988508340000225
Figure BDA0002988508340000226
即参考屏幕RSC11不存在于背面方向时，以与上面描述的式(3)所表示的方式类似的方式来计算偏移角
Figure BDA0002988508340000227
当如式(8)所表示的那样计算偏移角
Figure BDA0002988508340000228
时，位置信息校正部22可以如下面的代替式(4)和式(5)的式(9)和式(10)所表示的那样计算经校正的参考屏幕信息。同样地，位置信息校正部22可以如代替式(6)的式(11)所表示的那样计算经校正的对象位置信息。
[数学式9]
Figure BDA0002988508340000229
[数学式10]
Figure BDA0002988508340000231
[数学式11]
Figure BDA0002988508340000232
注意，在式(9)至式(11)中，
Figure BDA0002988508340000233
指示偏移角
Figure BDA0002988508340000234
此外，在式(9)中，
Figure BDA0002988508340000235
表示指示参考屏幕RSC11的左端的位置的水平角Azimuth，并且
Figure BDA0002988508340000236
指示使用偏移角
Figure BDA0002988508340000237
校正水平角
Figure BDA0002988508340000238
之后的水平角Azimuth。
在式(10)中，
Figure BDA0002988508340000239
表示指示参考屏幕RSC11的右端的位置的水平角Azimuth，并且
Figure BDA0002988508340000241
指示使用偏移角
Figure BDA0002988508340000242
校正水平角
Figure BDA0002988508340000243
之后的水平角Azimuth。
此外，在式(11)中，
Figure BDA0002988508340000244
表示指示对象位置信息中包括的每个对象的水平位置的水平角Azimuth，并且
Figure BDA0002988508340000245
指示使用偏移角
Figure BDA0002988508340000246
校正水平角
Figure BDA0002988508340000247
之后获得的水平角Azimuth。
例如，在式(9)中，当
Figure BDA0002988508340000248
时，即当
Figure BDA0002988508340000249
时，将通过上面描述的式(4)确定的水平角加上360°，以获得最终的水平角
Figure BDA00029885083400002410
在这样的情况下，当如式(4)所表示的那样获得水平角
Figure BDA00029885083400002411
时，原本应该等于或大于-180°且等于或小于108°的水平角
Figure BDA00029885083400002412
的值变得小于-180°。为了解决该问题，在由式(9)表示的计算中，当
Figure BDA00029885083400002413
时，将如式(4)所表示的那样获得的水平角加上作为校正值的360°，以准确地校正水平角
Figure BDA00029885083400002414
此外，在式(9)中，当
Figure BDA00029885083400002415
时，即当
Figure BDA00029885083400002416
时，以与由式(4)表示的方式类似的方式进行计算。此外，在式(9)中，当
Figure BDA00029885083400002417
时，即当
Figure BDA00029885083400002418
时，水平角
Figure BDA00029885083400002419
的值变得大于180°。为此，类似于
Figure BDA00029885083400002420
的情况，添加作为校正值的-360°，以准确地校正水平角
Figure BDA00029885083400002421
此外，不仅在式(9)中而且在式(10)或式(11)中，与式(9)的情况类似地根据需要执行校正。
以这种方式，在校正参考屏幕信息和对象位置信息时针对每条信息(例如
Figure BDA00029885083400002422
根据使用偏移角
Figure BDA00029885083400002423
校正后的水平角(根据需要)添加作为校正值的360°或-360°可以被重述为用于调整在校正参考屏幕RSC11或每个对象位置期间使用的校正值的处理。
当如上面描述的那样计算出经校正的参考屏幕信息和经校正的对象位置信息时，对象重映射部23如式(2)和式(7)所表示的那样计算重映射之后的对象位置信息。
例如，当在给出例如图12中描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时执行上面描述的重映射时，获得图13中描绘的对象位置信息作为重映射之后的对象位置信息。
注意，在图13中，在用于“OBJ1”至“OBJ6”的各个字段中，描绘了对象OBJ1至对象OBJ6的重映射的对象位置信息，即，重映射之后的对象的位置的水平角Azimuth和竖向角Elevation。
例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“10.0”和“4.9”被描述为指示重映射之后的对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。水平角Azimuth“10.0”和竖向角Elevation“4.9”分别是如式(7)所表示的那样计算的水平角
Figure BDA0002988508340000251
和如式(2)所表示的那样计算的竖向角θ＇。
在图13中描绘的示例中，重映射之前的所有对象OBJ1至对象OBJ6之间的相对位置关系与重映射之后的所有对象OBJ1至对象OBJ6之间的相对位置关系基本上相同。
也就是说，应当理解的是，即使重映射之后，对象OBJ1与对象OBJ2、对象OBJ3与对象OBJ4以及对象OBJ5与对象OBJ6也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。
图14描绘了在该示例中重映射之前和重映射之后对象之间的位置关系的模式图。应当注意的是，与图1中的部分对应的部分在图14中由相同的附图标记来表示，并且将视情况省略对所述部分的描述。
在图14中，在由箭头A41和箭头A42指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。更具体地，参考屏幕RSC11位于由未校正的参考屏幕信息指示的位置处，并且对象OBJ1至对象OBJ6位于由未校正的对象位置信息指示的位置处。
另一方面，在由箭头A43和箭头A44指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。
在该示例中，在由箭头A41和箭头A42指示的部分中参考屏幕RSC11的位置是处于用户U11的背面方向。
此外，应当理解的是，在由箭头A43和箭头A44指示的部分中，重映射之后的对象OBJ1、对象OBJ3以及对象OBJ5与重映射之后的对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段左右对称。也就是说，应当理解的是，重映射之前从屏幕的中心位置观看的对象之间的位置关系与重映射之后从屏幕的中心位置观看的对象之间的位置关系基本上相同，并且已经适当地执行了重映射。
如上所述，当水平角
Figure BDA0002988508340000261
以及
Figure BDA0002988508340000262
中的每个角的范围被指定为落入等于或大于-180°且等于或小于180°的范围内时，偏移角计算部21通过在参照图11描述的重映射处理的步骤S11中进行式(8)所表示的计算来计算偏移角
Figure BDA0002988508340000263
此外，在步骤S12中，位置信息校正部22通过进行由式(9)和式(10)表示的计算来校正参考屏幕信息，并且通过进行由式(11)表示的计算来校正对象位置信息。然后，在步骤S13中，对象重映射部23通过进行由式(2)和式(7)表示的计算来计算指示对象的重映射的位置的对象位置信息。
以这种方式，即使在水平角
Figure BDA0002988508340000264
以及
Figure BDA0002988508340000265
中的每个角的范围被指定为落入等于或大于-180°且等于或小于180°的范围内时，信息处理装置11也可以执行适当的重映射。
<第一实施例的第二变型>
<重映射>
注意，作为具体示例，上面已经描述了再现屏幕PSC11的中心位置与参考位置相同的示例。然而，即使在再现屏幕PSC11的中心位置与参考位置不相同时，也可以通过使用再现屏幕的偏移角进行校正来执行适当的重映射如下。
注意，在下文中将在具体参照以下情况的同时继续进行描述：通过示例的方式给出图15中所描绘的参考屏幕信息、对象位置信息以及再现屏幕信息。另外，图15对应于图5，并且将适当省略图15中与图5中的部分类似部分的描述。
在图15中，在由箭头Q41所指示的部分中描绘了参考屏幕RSC11的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息。参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息与图5中所描绘的参考屏幕信息以及对象OBJ1至对象OBJ6的对象位置信息相同。
此外，在由箭头Q42所指示的部分中描绘了再现屏幕信息。
在该示例中，由再现屏幕信息指示的再现屏幕PSC11的位置是通过将图2的示例中所描绘的位置在水平角Azimuth的方向上旋转多达180°而得到的位置。即，在图2的示例中，再现屏幕PSC11的中心位置与参考位置相同，而在图15中所描绘的示例中，再现屏幕PSC11的中心位置是由水平角Azimuth＝180°和竖向角Elevation＝0°指示的位置。
当给出上面描述的参考屏幕信息、对象位置信息以及再现屏幕信息时，偏移角计算部21计算偏移角
Figure BDA0002988508340000271
并且还通过进行由例如下面的式(12)表示的计算来计算再现屏幕偏移角
Figure BDA0002988508340000272
[数学式12]
Figure BDA0002988508340000273
注意，在式(12)中，
Figure BDA0002988508340000274
和
Figure BDA0002988508340000275
表示指示再现屏幕PSC11的左端和右端的位置的水平角Azimuth。信息
Figure BDA0002988508340000276
和
Figure BDA0002988508340000277
被包括在再现屏幕信息中。
此外，除了上面描述的参考屏幕信息的校正和对象位置信息的校正以外，位置信息校正部22还基于再现屏幕偏移角
Figure BDA0002988508340000278
以如下方式校正再现屏幕信息：再现屏幕PSC11的中心位置变得与参考位置相同。即，通过由下面的式(13)和式(14)表示的计算来计算经校正的再现屏幕信息。
[数学式13]
Figure BDA0002988508340000279
[数学式14]
Figure BDA00029885083400002710
注意，在式(13)中，
Figure BDA00029885083400002711
表示指示再现屏幕PSC11的左端的位置的水平角Azimuth，并且
Figure BDA00029885083400002712
指示使用再现屏幕偏移角
Figure BDA00029885083400002713
校正水平角
Figure BDA00029885083400002714
之后的水平角Azimuth。即，
Figure BDA00029885083400002715
表示指示经校正的再现屏幕PSC11的左端的位置的水平角Azimuth。
此外，在式(14)中，
Figure BDA00029885083400002716
表示指示再现屏幕PSC11的右端的位置的水平角Azimuth，并且
Figure BDA00029885083400002717
指示使用再现屏幕偏移角
Figure BDA00029885083400002718
校正水平角
Figure BDA00029885083400002719
之后的水平角Azimuth。即，
Figure BDA00029885083400002720
表示指示经校正的再现屏幕PSC11的右端的位置的水平角Azimuth。
因此，通过由式(13)表示的计算来校正再现屏幕信息中包括的水平角
Figure BDA00029885083400002721
并且通过由式(14)表示的计算来校正再现屏幕信息中包括的水平角
Figure BDA0002988508340000281
该用于计算经校正的再现屏幕信息的处理是用于将再现屏幕PSC11旋转多达再现屏幕偏移角
Figure BDA0002988508340000282
(即旋转多达再现屏幕PSC11的中心位置相对于参考位置的未对准)的处理。通过该处理，以使得再现屏幕PSC11的中心位置变得与参考位置相同的方式校正再现屏幕信息。
注意，在下文中，其位置已经被以使得中心位置变得与参考位置相同的方式校正的再现屏幕PSC11还被称为“经校正的再现屏幕PSC11＇”。
当如上面所描述的那样得到经校正的再现屏幕信息以及经校正的参考屏幕信息和经校正的对象位置信息时，对象重映射部23执行重映射。即，以适合经校正的再现屏幕PSC11＇的位置的方式来重映射每个对象的位置。
具体地，对象重映射部23通过基于经校正的参考屏幕信息、经校正的再现屏幕信息以及经校正的对象位置信息进行由下面的式(15)表示的计算，来计算重映射之后的对象位置信息。
[数学式15]
Figure BDA0002988508340000283
注意，在式(15)中，
Figure BDA0002988508340000291
表示指示重映射之后的每个对象的水平位置的水平角Azimuth，并且
Figure BDA0002988508340000292
指示重映射之前的对象的水平位置，即，经校正的对象位置信息中包括的水平角Azimuth。
此外，在式(15)中，
Figure BDA0002988508340000293
和
Figure BDA0002988508340000294
表示指示经校正的参考屏幕RSC11的左端和右端的水平位置的水平角Azimuth。即，
Figure BDA0002988508340000295
和
Figure BDA0002988508340000296
指示经校正的参考屏幕信息中包括的参考屏幕RSC11的左端和右端的水平角Azimuth。
此外，在式(15)中，
Figure BDA0002988508340000297
和
Figure BDA0002988508340000298
表示指示经校正的再现屏幕PSC11＇的左端和右端的水平位置的水平角Azimuth。
这里得到的重映射之后的对象位置信息是针对经校正的再现屏幕PSC11＇的。即，该信息是当再现屏幕PSC11的中心位置与参考位置相同时的对象位置信息。然而，实际上，再现屏幕PSC11处于由再现屏幕信息中包括的
Figure BDA0002988508340000299
和
Figure BDA00029885083400002910
指示的位置处，并且被旋转多达再现屏幕偏移角
Figure BDA00029885083400002911
因此，按照下面的式(16)所表示的那样进行计算，并且重映射之后的对象位置信息被校正为针对实际再现屏幕PSC11的对象位置信息。
[数学式16]
φ”＝φ’+φrepro_offset_value…(16)
注意，在式(16)中，
Figure BDA00029885083400002912
指示针对经校正的再现屏幕PSC11＇计算的每个对象的重映射之后的对象位置信息中包括的水平角Azimuth，并且
Figure BDA00029885083400002913
指示使用再现屏幕偏移角
Figure BDA00029885083400002914
校正水平角
Figure BDA00029885083400002915
之后的水平角。即，
Figure BDA00029885083400002916
指示重映射之后的经校正的对象位置信息中包括的水平角Azimuth。
由此，以适合再现屏幕PSC11的位置的方式来校正重映射之后的每个对象位置。
当在给出例如图15中所描绘的参考屏幕信息、对象位置信息以及再现屏幕信息的同时执行上文中描述的重映射时，得到图16中所描绘的对象位置信息作为重映射之后的对象位置信息。
注意，在图16中，在用于“OBJ1”至“OBJ6”的各个字段中，描绘了对象OBJ1至对象OBJ6的重映射的对象位置信息，即，重映射之后的对象的位置的水平角Azimuth和竖向角Elevation。
例如，在用于由文字“OBJ1”表示的对象OBJ1的字段中，文字“Azimuth”和“Elevation”分别指示重映射之后的对象OBJ1的水平位置和竖向位置，并且“-170.0”和“4.9”被描述为指示重映射之后的对象OBJ1的水平位置和竖向位置的水平角Azimuth和竖向角Elevation。水平角Azimuth“-170.0”和竖向角Elevation“4.9”分别是按照式(16)所表示的那样计算的水平角
Figure BDA0002988508340000301
和按照式(2)所表示的那样计算的竖向角θ＇。
在图16中所描绘的示例中，重映射之前的所有对象OBJ1至OBJ6之间的相对位置关系与重映射之后的所有对象OBJ1至OBJ6之间的相对位置关系基本上相同。
即，应当理解的是，即使在重映射之后，对象OBJ1和对象OBJ2、对象OBJ3和对象OBJ4以及对象OBJ5和对象OBJ6也在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段彼此左右对称。
在图17中描绘了在该示例中重映射之前与重映射之后对象之间的位置关系的模式图。应该注意的是，与图1中的部分对应的部分在图17中通过相同的附图标记来表示，并且将视情况省略所述部分的描述。
在图17中，在由箭头A51和箭头A52指示的部分中描绘了重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6。更具体地，参考屏幕RSC11位于由未经校正的参考屏幕信息指示的位置处，并且对象OBJ1至对象OBJ6位于由未经校正的对象位置信息指示的位置处。
另一方面，在由箭头A53和箭头A54指示的部分中描绘了重映射之后的再现屏幕PSC11和对象OBJ1至对象OBJ6。
在该示例中，由箭头A51和箭头A52指示的重映射之前的参考屏幕RSC11和对象OBJ1至对象OBJ6位于与图7中所描绘的示例中的参考屏幕RSC11和对象OBJ1至对象OBJ6的位置相同的位置处。
此外，应当理解的是，在由箭头A53和箭头A54指示的部分中，重映射之后的对象OBJ1、对象OBJ3以及对象OBJ5与重映射之后的对象OBJ2、对象OBJ4以及对象OBJ6在水平方向上相对于将原点O连接到再现屏幕PSC11的中心位置的线段左右对称。即，应当理解的是，从重映射之前的屏幕的中心位置观看的对象之间的位置关系与重映射之后的对象之间的位置关系基本上相同，并且已经适当地执行了重映射。
<信息处理装置的配置的示例>
当执行上面所描述的处理时，信息处理装置11被配置成如例如图18所描绘的那样。应该注意的是，与图8中的部分对应的部分在图18中通过相同的附图标记来表示，并且将视情况省略所述部分的描述。
图18中所描绘的信息处理装置11包括偏移角计算部21、位置信息校正部22以及对象重映射部23。
在该示例中，再现屏幕信息被供应至偏移角计算部21和位置信息校正部22。
偏移角计算部21计算偏移角
Figure BDA0002988508340000311
另外，偏移角计算部21基于所供应的再现屏幕信息计算在以下两个方向之间形成的水平角作为再现屏幕偏移角
Figure BDA0002988508340000312
(1)再现空间中存在的用户U11的正面方向，即，从原点O到参考位置的方向，和(2)从原点O到再现屏幕PSC11的中心位置的方向。偏移角计算部21将偏移角
Figure BDA0002988508340000313
和再现屏幕偏移角
Figure BDA0002988508340000314
供应至位置信息校正部22。
再现屏幕偏移角
Figure BDA0002988508340000315
是指示再现屏幕PSC11的中心位置在水平角Azimuth的方向上相对于参考位置的未对准量的水平角Azimuth。即，再现屏幕偏移角
Figure BDA0002988508340000316
是指示再现屏幕PSC11相对于用户U11的正面方向存在的参考位置的偏移量的信息。注意，指示再现屏幕PSC11的偏移量的信息不限于再现屏幕偏移角
Figure BDA0002988508340000317
并且可以是任何信息。
位置信息校正部22执行校正以不仅得到经校正的参考屏幕信息和经校正的对象位置信息，而且还得到经校正的再现屏幕信息。位置信息校正部22将经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角
Figure BDA0002988508340000318
供应至对象重映射部23。
即，位置信息校正部22基于从偏移角计算部21供应的再现屏幕偏移角
Figure BDA0002988508340000319
来校正从外部供应的再现屏幕信息，并得到经校正的再现屏幕信息。
对象重映射部23基于从位置信息校正部22供应的经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角
Figure BDA00029885083400003110
来执行对象位置信息即每个对象位置的重映射，并输出生成的对象位置信息。
<重映射处理的描述>
接下来将参照图19的流程图来描述由图18中所描绘的信息处理装置11执行的重映射处理。
在步骤S41中，偏移角计算部21基于所供应的参考屏幕信息和所供应的再现屏幕信息来计算偏移角
Figure BDA0002988508340000321
和再现屏幕偏移角
Figure BDA0002988508340000322
并将偏移角
Figure BDA0002988508340000323
和再现屏幕偏移角
Figure BDA0002988508340000324
供应至位置信息校正部22。
具体地，偏移角计算部21通过进行由式(3)表示的计算来计算偏移角
Figure BDA0002988508340000325
此外，偏移角计算部21通过进行由式(12)表示的计算来计算再现屏幕偏移角
Figure BDA0002988508340000326
在步骤S42中，位置信息校正部22基于从偏移角计算部21供应的偏移角
Figure BDA00029885083400003210
和再现屏幕偏移角
Figure BDA00029885083400003211
来校正从外部供应的参考屏幕信息、对象位置信息以及再现屏幕信息。
例如，位置信息校正部22通过执行与图11中的步骤S12的处理类似的处理来校正参考屏幕信息和对象位置信息，并得到经校正的参考屏幕信息和经校正的对象位置信息。
此外，例如，位置信息校正部22基于再现屏幕偏移角
Figure BDA0002988508340000327
来进行由式(13)和式(14)表示的计算，从而校正再现屏幕信息，并得到经校正的再现屏幕信息。
位置信息校正部22将如上所述得到的经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角
Figure BDA0002988508340000328
供应至对象重映射部23。
在步骤S43中，对象重映射部23基于从位置信息校正部22供应的经校正的参考屏幕信息、经校正的对象位置信息、经校正的再现屏幕信息以及再现屏幕偏移角
Figure BDA0002988508340000329
来执行每个对象位置的重映射。
例如，对象重映射部23通过进行由式(2)、式(15)以及式(16)表示的计算来计算指示每个对象的重映射的位置的对象位置信息。然后，对象重映射部23将如上所述得到的对象位置信息输出至后续阶段，并且重映射处理结束。
以这种方式，信息处理装置11在校正参考屏幕信息、对象位置信息以及再现屏幕信息之后执行重映射。然后，信息处理装置11以和再现屏幕信息一样多的校正量校正对象位置信息。通过这样做，可以在不依赖参考屏幕RSC11和再现屏幕PSC11的定位位置的情况下执行适当的重映射。
在第一实施例和第一实施例的第一变型中，已经描述了针对水平角计算偏移角和基于偏移角校正参考屏幕信息和对象位置信息中的每一个中的水平角的示例。然而，可以不仅针对水平角而且针对竖向角来执行类似的处理，并且可以校正参考屏幕信息和对象位置信息的每一个中的竖向角。
在这样的情况下，以与针对水平角的情况类似的方式来另外针对竖向角计算偏移角。基于所计算的偏移角来校正参考屏幕信息和对象位置信息中的竖向角，然后执行重映射。
同样，在第一实施例的第二变型中，还可以校正参考屏幕信息、对象位置信息以及再现屏幕信息中的每一个中的竖向角。此外，可以将第一实施例的第二变型与第一实施例的第一变型相结合。
此外，到目前为止已经描述了在以适合参考屏幕RSC11的方式校正参考屏幕信息和对象位置信息之后，使用通过校正得到的经校正的参考屏幕信息和经校正的对象位置信息来计算指示重映射之后的每个对象的位置的对象位置信息。然而，可以仅以适合参考屏幕RSC11的方式来校正对象位置信息即每个对象的位置。
在这样的情况下，在计算偏移角之后，对象位置信息被基于偏移角来校正并用作经校正的对象位置信息。之后，基于经校正的对象位置信息、参考屏幕信息以及再现屏幕信息来执行每个对象位置的重映射。即，计算指示重映射之后的每个对象的位置的对象位置信息。
同时，上面描述的一系列处理可以由硬件执行或者由软件执行。当一系列处理由软件执行时，构成该软件的程序被安装至计算机中。这里，计算机的类型包括结合到专用硬件中的计算机、能够通过将各种程序安装至计算机中来执行各种功能的计算机例如通用个人计算机等。
图20是示出通过程序执行上面描述的一系列处理的计算机的硬件的配置的示例的框图。
在计算机中，CPU(中央处理单元)501、ROM(只读存储器)502以及RAM(随机存取存储器)503通过总线504互相连接。
输入/输出接口505也连接至总线504。输入部506、输出部507、记录部508、通信部509以及驱动器510连接至输入/输出接口505。
输入部506包括键盘、鼠标、麦克风、成像元件等。输出部507包括显示器、扬声器等。记录部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动可移除记录介质511例如磁盘、光盘、磁光盘或者半导体存储器。
在如上所述配置的计算机中，CPU 501将记录在例如记录部508中的程序经由输入/输出接口505和总线504加载至RAM 503，并执行该程序，从而执行上面描述的一系列处理。
可以通过将程序记录在用作封装介质等的可移除记录介质511中来提供由计算机(CPU 501)执行的程序。可替选地，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供该程序。
在计算机中，可以通过将可移除记录介质511附接至驱动器510，经由输入/输出接口505将程序安装到记录部508中。可替选地，可以由通信部509经由有线或无线传输介质接收该程序，并将该程序安装至记录部508中。在另一替选方案中，可以预先将该程序安装至ROM 502或者记录部508中。
注意，由计算机执行的程序可以是用于以本说明书中描述的次序中的时间序列执行处理的程序，或者可以是用于并行或者在必要的定时例如调用的定时执行处理的程序。
此外，本技术的实施例不限于上面描述的实施例，并且在不偏离本技术的精神的情况下可以作出各种变型和修改。
例如，本技术可以具有用于使多个装置以共享或者合作的方式处理一个功能的云计算配置。
此外，在上面的流程图中所描述的每个步骤不仅可以由一个装置执行，而且还可以由多个装置以共享的方式执行。
此外，当一个步骤包括多个处理时，在一个步骤中包括的多个处理不仅可以由一个装置执行，而且还可以由多个装置以共享的方式执行。
此外，本技术可以配置如下。
(1)
一种信息处理装置，包括：
偏移计算部，其计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；
位置校正部，其基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及
重映射部，其基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。
(2)
根据(1)所述的信息处理装置，其中
当所述参考屏幕位于所述用户的背面方向时，所述偏移计算部以预定校正值来校正所述偏移量。
(3)
根据(1)或(2)所述的信息处理装置，其中
当指示所述音频对象的位置的信息的范围被指定为预定范围内的范围时，所述位置校正部调整在校正所述音频对象的位置期间使用的校正值。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中
所述位置校正部基于所述偏移量来校正所述参考屏幕的位置，并且
所述重映射部基于经校正的所述参考屏幕的位置和经校正的所述音频对象的位置来重映射所述音频对象的位置。
(5)
一种信息处理方法，包括以下步骤：
计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；
基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及
基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。
(6)
一种存储有用于使计算机执行包括以下步骤的处理的程序的计算机可读介质：
计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；
基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及
基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。
[参考符号列表]
11：信息处理装置
21：偏移角计算部
22：位置信息校正部
23：对象重映射部

Claims (5)

1.一种信息处理装置，包括：
偏移计算部，其计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；
位置校正部，其基于所述偏移量，以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置；以及
重映射部，其基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置，
其中，当指示所述音频对象的位置的信息的范围被指定为预定范围内的范围时，所述位置校正部调整在校正所述音频对象的位置期间使用的校正值。
2.根据权利要求1所述的信息处理装置，其中，
当所述参考屏幕位于所述用户的背面方向时，所述偏移计算部以预定校正值来校正所述偏移量。
3.根据权利要求1所述的信息处理装置，其中，
所述位置校正部基于所述偏移量来校正所述参考屏幕的位置，并且
所述重映射部基于经校正的所述参考屏幕的位置和经校正的所述音频对象的位置来重映射所述音频对象的位置。
4.一种信息处理方法，包括以下步骤：
计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；
通过以下方式，基于所述偏移量以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置：当指示所述音频对象的位置的信息的范围被指定为预定范围内的范围时，调整在校正所述音频对象的位置期间使用的校正值；以及
基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。
5.一种存储有程序的非暂态计算机可读介质，所述程序用于使计算机执行包括以下步骤的处理：
计算参考屏幕的位置相对于用户的正面方向存在的参考位置的偏移量；
通过以下方式，基于所述偏移量以适合所述参考屏幕的位置的方式来校正以所述参考位置为参考的音频对象的位置：当指示所述音频对象的位置的信息的范围被指定为预定范围内的范围时，调整在校正所述音频对象的位置期间使用的校正值；以及
基于经校正的所述音频对象的位置，以适合再现屏幕的位置的方式来重映射所述音频对象的位置。
CN202110310767.4A 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质 Active CN113055803B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2015142253 2015-07-16
JP2015-142253 2015-07-16
JP2015-198582 2015-10-06
JP2015198582 2015-10-06
CN201680040576.8A CN107852561B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质
PCT/JP2016/069594 WO2017010313A1 (ja) 2015-07-16 2016-07-01 情報処理装置および方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680040576.8A Division CN107852561B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质

Publications (2)

Publication Number Publication Date
CN113055803A true CN113055803A (zh) 2021-06-29
CN113055803B CN113055803B (zh) 2022-10-28

Family

ID=57757900

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202110310766.XA Active CN113055802B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质
CN202110310767.4A Active CN113055803B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质
CN201680040576.8A Active CN107852561B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质
CN202110310465.7A Active CN113055801B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110310766.XA Active CN113055802B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201680040576.8A Active CN107852561B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质
CN202110310465.7A Active CN113055801B (zh) 2015-07-16 2016-07-01 信息处理装置、信息处理方法及计算机可读介质

Country Status (12)

Country Link
US (3) US10356547B2 (zh)
EP (3) EP3668122B1 (zh)
JP (3) JP6729585B2 (zh)
KR (3) KR102539973B1 (zh)
CN (4) CN113055802B (zh)
AU (2) AU2016292271A1 (zh)
BR (1) BR112018000489B1 (zh)
MY (1) MY198158A (zh)
RU (1) RU2721750C2 (zh)
SG (1) SG11201710889UA (zh)
TW (1) TWI618395B (zh)
WO (1) WO2017010313A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6729585B2 (ja) 2015-07-16 2020-07-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN113439099B (zh) * 2019-02-08 2022-12-09 三菱瓦斯化学株式会社 聚碳酸酯树脂组合物及使用其的光学透镜
EP4090051A4 (en) * 2020-01-09 2023-08-30 Sony Group Corporation INFORMATION PROCESSING DEVICE AND METHOD AND PROGRAM
GB2592610A (en) * 2020-03-03 2021-09-08 Nokia Technologies Oy Apparatus, methods and computer programs for enabling reproduction of spatial audio signals

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258568A (ja) * 2009-04-22 2010-11-11 Canon Inc 映像音声編集装置、制御方法、及びプログラム
CN102075832A (zh) * 2009-11-24 2011-05-25 夏普株式会社 动态空间音频区配置的方法和设备
US20110123055A1 (en) * 2009-11-24 2011-05-26 Sharp Laboratories Of America, Inc. Multi-channel on-display spatial audio system
CN102421054A (zh) * 2010-09-27 2012-04-18 夏普株式会社 多声道显示器上空间音频配置的方法和设备
CN103313182A (zh) * 2012-03-06 2013-09-18 汤姆逊许可公司 用于回放更高阶立体混响音频信号的方法和设备
WO2014097637A1 (ja) * 2012-12-21 2014-06-26 パナソニック株式会社 指向性マイクロホン装置、音響信号処理方法およびプログラム
WO2014175668A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법
US20140337733A1 (en) * 2009-10-28 2014-11-13 Digimarc Corporation Intuitive computing methods and systems

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171460A (ja) * 2000-11-30 2002-06-14 Sony Corp 再生装置
US9002716B2 (en) * 2002-12-02 2015-04-07 Thomson Licensing Method for describing the composition of audio signals
JP2006292900A (ja) * 2005-04-08 2006-10-26 Hitachi Ltd 投写光学ユニット及びそれを用いた投写型映像表示装置
US8046709B2 (en) * 2005-08-05 2011-10-25 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multiple screens
US8487956B2 (en) * 2005-11-29 2013-07-16 Kyocera Corporation Communication terminal, system and display method to adaptively update a displayed image
KR100833241B1 (ko) * 2006-04-28 2008-05-28 삼성전자주식회사 슬라이딩-틸트장치 및 이를 채용한 모바일 기기
DE602007013415D1 (de) * 2006-10-16 2011-05-05 Dolby Sweden Ab Erweiterte codierung und parameterrepräsentation einer mehrkanaligen heruntergemischten objektcodierung
GB2477793A (en) * 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
JP5387478B2 (ja) * 2010-03-29 2014-01-15 ソニー株式会社 音声再生装置及び音声再生方法
US9094771B2 (en) * 2011-04-18 2015-07-28 Dolby Laboratories Licensing Corporation Method and system for upmixing audio to generate 3D audio
JP5798247B2 (ja) * 2011-07-01 2015-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した３ｄオーディオ作成および表現のためのシステムおよびツール
US9622010B2 (en) 2012-08-31 2017-04-11 Dolby Laboratories Licensing Corporation Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers
EP2733964A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
EP3036918B1 (en) * 2013-08-21 2017-05-31 Thomson Licensing Video display having audio controlled by viewing direction
JP6299124B2 (ja) * 2013-09-13 2018-03-28 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
JP6729585B2 (ja) 2015-07-16 2020-07-22 ソニー株式会社 情報処理装置および方法、並びにプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258568A (ja) * 2009-04-22 2010-11-11 Canon Inc 映像音声編集装置、制御方法、及びプログラム
US20140337733A1 (en) * 2009-10-28 2014-11-13 Digimarc Corporation Intuitive computing methods and systems
CN102075832A (zh) * 2009-11-24 2011-05-25 夏普株式会社 动态空间音频区配置的方法和设备
US20110123055A1 (en) * 2009-11-24 2011-05-26 Sharp Laboratories Of America, Inc. Multi-channel on-display spatial audio system
CN102421054A (zh) * 2010-09-27 2012-04-18 夏普株式会社 多声道显示器上空间音频配置的方法和设备
CN103313182A (zh) * 2012-03-06 2013-09-18 汤姆逊许可公司 用于回放更高阶立体混响音频信号的方法和设备
JP2013187908A (ja) * 2012-03-06 2013-09-19 Thomson Licensing 高次アンビソニックス・オーディオ信号の再生のための方法および装置
WO2014097637A1 (ja) * 2012-12-21 2014-06-26 パナソニック株式会社 指向性マイクロホン装置、音響信号処理方法およびプログラム
WO2014175668A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법

Also Published As

Publication number Publication date
JPWO2017010313A1 (ja) 2018-04-26
US20180234786A1 (en) 2018-08-16
KR101902158B1 (ko) 2018-09-27
AU2019204504A1 (en) 2019-07-18
CN113055801A (zh) 2021-06-29
EP4207756A1 (en) 2023-07-05
CN107852561A (zh) 2018-03-27
EP3324653B1 (en) 2020-02-12
EP3324653A4 (en) 2019-03-13
KR20230080512A (ko) 2023-06-07
US10645523B2 (en) 2020-05-05
BR112018000489B1 (pt) 2022-12-27
KR102539973B1 (ko) 2023-06-05
RU2018100009A (ru) 2019-07-10
CN107852561B (zh) 2021-04-13
US20190306653A1 (en) 2019-10-03
US20190166449A1 (en) 2019-05-30
CN113055803B (zh) 2022-10-28
BR112018000489A2 (pt) 2018-09-11
AU2019204504B2 (en) 2019-07-25
CN113055801B (zh) 2023-04-07
JP2020171047A (ja) 2020-10-15
TW201717614A (zh) 2017-05-16
EP3668122B1 (en) 2023-08-30
KR20180107308A (ko) 2018-10-01
AU2016292271A1 (en) 2018-02-08
US10356547B2 (en) 2019-07-16
EP3324653A1 (en) 2018-05-23
TWI618395B (zh) 2018-03-11
JP2021158688A (ja) 2021-10-07
EP3668122A1 (en) 2020-06-17
JP7136283B2 (ja) 2022-09-13
SG11201710889UA (en) 2018-02-27
JP6904466B2 (ja) 2021-07-14
US10623884B2 (en) 2020-04-14
KR20180008871A (ko) 2018-01-24
MY198158A (en) 2023-08-08
CN113055802B (zh) 2022-11-08
CN113055802A (zh) 2021-06-29
RU2018100009A3 (zh) 2019-11-27
WO2017010313A1 (ja) 2017-01-19
RU2721750C2 (ru) 2020-05-21
JP6729585B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
JP7136283B2 (ja) 情報処理装置および方法
US20170080733A1 (en) Correction method and device of laser marking
JP2018110295A (ja) 画像処理装置および画像処理方法
US20140313284A1 (en) Image processing apparatus, method thereof, and program
JP2017191572A (ja) 画像処理装置及びその方法、プログラム
US20140348416A1 (en) Stereo image rectification apparatus and method
CN111480335B (zh) 图像处理装置、图像处理方法、程序以及投影系统
JP2013157890A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant