CN111742353A

CN111742353A - 信息处理装置、信息处理方法和程序

Info

Publication number: CN111742353A
Application number: CN201980014747.3A
Authority: CN
Inventors: 铃木知; 山口浩司; 大井智博; 古泽浩司
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-02-28
Filing date: 2019-02-14
Publication date: 2020-10-02
Anticipated expiration: 2039-02-14
Also published as: CN111742353B; KR20200126367A; DE112019001052T5; US20210092466A1; JP2019149122A; WO2019167632A1

Abstract

本技术涉及用于实现改进的用户便利性的信息处理装置、信息处理方法和程序。提供了一种信息处理装置，该信息处理装置包括显示控制部，当从能够从第一视点观看的第一视频切换到能够从与第一视点不同的第二视点观看的第二视频时，显示控制部控制显示装置以显示转换图像，该转换图像实际上连续变化并且包括第一视频的背景图像和/或第二视频的背景图像，背景图像中的至少一个具有较低信息量。作为示例，本技术可以应用于在头戴式显示器中显示视频的装置。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序，并且特别地，涉及能够改进用户便利性的信息处理装置、信息处理方法和程序。

背景技术

近年来，已经积极地进行了用于使用诸如头戴式显示器(HMD)之类的装置来提供虚拟现实(VR)功能的技术的研究和开发(例如，参见专利文献1)。

专利文献1公开了下述生成和显示游戏场的图像的技术：当选择由标记指示的位置作为连接到游戏机的头戴式显示器中的视点位置时，将由标记指示的位置变为视点位置。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2017-102297号。

发明内容

本发明要解决的问题

顺便提及，在诸如头戴式显示器的装置中，例如，当切换视频的视点时，用户可能会丢失自己的观看方向和位置，并且可能由于视频的突然改变或者视频的改变与实际身体运动的差异而导致动晕症。

因此，在诸如头戴式显示器的装置中，需要用于避免与视频的视点切换相关联的这种不便事件并且改进用户便利性的技术。

鉴于这种情况而作出了本技术，并且本技术旨在能够改进用户便利性。

问题的解决方案

根据本技术的一个方面的信息处理装置是下述的信息处理装置，该信息处理装置包括显示控制部，当从能够从第一视点观看的第一视频切换到能够从与第一视点不同的第二视点观看的第二视频时，显示控制部控制显示装置以显示转换图像，该转换图像基本上连续变化并且包括信息量小于第一视频的背景图像或第二视频的背景图像中的至少一个的背景图像。

根据本技术的一个方面的信息处理装置可以是独立的装置，或者可以是一个装置中包括的内部块。

根据本技术的一方面的信息处理方法和程序是与上述根据本技术的一个方面的信息处理装置对应的信息处理方法和程序。

在根据本技术的一个方面的信息处理装置、信息处理方法和程序中，当从能够从第一视点观看的第一视频切换到能够从与第一视点不同的第二视点观看的第二视频时，控制显示装置以显示转换图像，该转换图像基本上连续变化并且包括信息量小于第一视频的背景图像或第二视频的背景图像中的至少一个的背景图像。

本发明的效果

根据本技术的一方面，可以改进用户便利性。

注意，本文中描述的效果不一定是限制性的，并且可以应用本公开内容中描述的任何效果。

附图说明

图1是示出根据应用了本技术的实施方式的视频再现系统的配置示例的框图。

图2是示出由安装在足球场中的成像装置捕获的全向实况视频的显示示例的图。

图3是示出在足球场中在视点运动之前的全向实况视频的示例的图。

图4是示出在足球场中的视点运动时CG视频的第一示例的图。

图5是示出在足球场中的视点运动时CG视频的第二示例的图。

图6是示出在足球场中的视点运动时CG视频的第三示例的图。

图7是示出足球场中的视点运动之后的全向实况视频的示例的图。

图8是用于说明再现和显示控制处理的流程的流程图。

图9是示出足球的精彩视频分发的示例的时序图。

图10是示出场地中的微缩CG视频的显示示例的图。

图11是示出在显示全向实况视频时到用户视线所在的场地的距离的示例的图。

图12是示出在显示微缩CG视频时到用户视线所在的场地的距离的示例的图。

图13是示出足球的进球场景的微缩CG视频的第一示例的图。

图14是示出足球的进球场景的微缩CG视频的第二示例的图。

图15是示出足球的进球场景的微缩CG视频的第三示例的图。

图16是示出管弦乐队的乐器布置的微缩CG视频的第一示例的图。

图17是示出管弦乐队的乐器布置的微缩CG视频的第二示例的图。

图18是示出管弦乐队的乐器布置的微缩CG视频的第三示例的图。

图19是示出音乐现场视频分发的示例的时序图。

图20是示出音乐现场视频分发中的第一视点中的全向实况视频的示例的图。

图21是示出音乐现场视频分发中的CG视频的示例的图。

图22是示出音乐现场视频分发中的第二视点中的全向实况视频的示例的图。

图23是示出计算机的配置示例的图。

具体实施方式

在下文中，将参照附图描述本技术的实施方式。注意，将按以下顺序给出描述。

1.第一实施方式：足球比赛的视频再现

2.第二实施方式：足球比赛的视频再现(显示比例改变)

3.第三实施方式：管弦乐队音乐会的视频再现(显示比例改变)

4.第四实施方式：音乐现场视频再现

5.修改例

6.计算机配置

<1.第一实施方式>

(视频再现系统的配置示例)

视频再现系统1是这样的系统，该系统处理诸如由诸如全向摄像装置之类的成像装置捕获的图像数据或者计算机图形(CG)模型数据之类的数据，并且使诸如头戴式显示器之类的显示装置显示作为处理结果获得的诸如全向实况视频或CG视频之类的视频。

在图1中，视频再现系统1包括：执行中央处理的信息处理装置10；存储输入到信息处理装置10的数据的视频和CG控制数据存储部21和CG模型数据存储部22；以及呈现从信息处理装置10输出的数据的显示装置31和扬声器32。

例如，信息处理装置10被配置为诸如游戏机、个人计算机或者配备有专用处理器的单元的电子装置。信息处理装置10包括UI和内容控制部101、再现部102和呈现部103。

UI和内容控制部101包括例如中央处理单元(CPU)、微处理器等。UI和内容控制部101操作为信息处理装置10中的中央控制装置，诸如各种算术处理和操作控制。

UI和内容控制部101控制再现部102和呈现部103以控制用户界面(UI)和内容的显示和再现。

例如，根据由佩戴头戴式显示器的用户在操作装置(例如，控制器等)上的操作的操作信号被输入到UI和内容控制部101。UI和内容控制部101基于输入的操作信号来控制信息处理装置10的每个部分的操作。

此外，从根据佩戴头戴式显示器的用户的头部的运动的跟踪信号获得的信息(在下文中称为头部跟踪信息)以及与全向实况视频的成像位置和成像方向相关的信息(在下文中称为全向实况成像点信息)被输入到UI和内容控制部101。

注意，全向实况视频是例如通过处理由诸如安装在例如预定设施中或室外的全向摄像装置(全向摄像装置)之类的成像装置捕获的图像数据而获得的视频，并且是上下左右所有方向上的360度全景视频。

UI和内容控制部101使用输入的头部跟踪信息或全向实况成像点信息中的至少一个来执行预定算术处理(例如，用于计算用户的视点或者计算显示视角的算术处理)。UI和内容控制部101基于通过预定算术处理获得的算术处理结果来控制再现部102和呈现部103。

UI和内容控制部101包括再现控制部111和显示控制部112。

再现控制部111控制由再现部102执行的再现处理。显示控制部112控制由呈现部103执行的呈现处理。

在再现控制部111的控制下，再现部102处理输入到再现部102的内容的视频数据和音频数据，并且执行用于再现该内容的再现处理。

再现部102包括数据获取部121、解复用器122、第一视频解码器123、第二视频解码器124、音频解码器125、CG控制数据解码器126和同步控制部127。

数据获取部121从视频和CG控制数据存储部21获取与要再现的内容相关的输入数据，并将该输入数据提供给解复用器122。

这里，例如，各种类型的数据(例如从由诸如全向摄像装置之类的成像装置捕获的图像数据获得的全向实况视频的数据以及用于控制CG视频的CG控制数据)被记录在视频和CG控制数据存储部21中。

然而，根据预定方法对记录在视频和CG控制数据存储部21中的数据进行编码处理，并且该数据被编码。此外，CG控制数据是随时间变化的CG模型的控制数据，并且包括例如运动数据、位置信息以及顶点和网格变化信息。

解复用器122将从数据获取部121提供的输入数据分离为编码视频数据、编码音频数据和编码CG控制数据。然而，这里，作为输入数据，包括来自不同成像装置(例如，全向摄像装置)的两个系列的编码视频数据(第一编码视频数据和第二编码视频数据)。

解复用器122从通过分离输入数据而获得的数据中将第一编码视频数据提供给第一视频解码器123，将第二编码视频数据提供给第二视频解码器124，将编码音频数据提供给音频解码器125，然后将编码CG控制数据提供给CG控制数据解码器126。

第一视频解码器123根据预定解码方法对从解复用器122提供的第一编码视频数据进行解码，并且将得到的第一视频数据提供给同步控制部127。

第二视频解码器124根据预定解码方法对从解复用器122提供的第二编码视频数据进行解码，并且将得到的第二视频数据提供给同步控制部127。

音频解码器125根据预定解码方法对从解复用器122提供的编码音频数据进行解码，并且将得到的音频数据提供给同步控制部127。

CG控制数据解码器126根据预定解码方法对从解复用器122提供的编码CG控制数据进行解码，并且将得到的CG控制数据提供给同步控制部127。

来自第一视频解码器123的第一视频数据、来自第二视频解码器124的第二视频数据、来自音频解码器125的音频数据以及来自CG控制数据解码器126的CG控制数据被输入到同步控制部127。

同步控制部127执行同步输入到同步控制部127的第一视频数据、第二视频数据、音频数据和CG控制数据的同步控制，并且将经同步的第一视频数据、第二视频数据、音频数据和CG控制数据中的每一个提供给呈现部103。

从再现部102的同步控制部127将第一视频数据、第二视频数据、音频数据和CG控制数据同步地输入到呈现部103。此外，从CG模型数据存储部22将CG模型数据输入到呈现部103。

这里，在CG模型数据存储部22中，记录了各种类型的数据，例如CG模型数据。然而，CG模型数据是不随时间变化的CG模型的数据，并且包括例如网格数据、纹理数据、材料数据等。

在显示控制部112的控制下，呈现部103处理输入到呈现部103的内容的视频数据和音频数据以及CG数据，并且执行用于输出内容和CG的视频和声音的呈现处理。

具体地，呈现部103对第一视频数据或第二视频数据执行呈现处理，并且将得到的视频输出数据经由预定接口输出到显示装置31。因此，显示装置31基于从信息处理装置10(的呈现部103)输出的视频输出数据来显示诸如全向实况视频之类的内容的视频。

此外，呈现部103对音频数据执行呈现处理，并且经由预定接口将得到的声音输出数据输出到扬声器32。因此，扬声器32基于从信息处理装置10(的呈现部103)输出的声音输出数据来输出与诸如全向实况视频之类的内容的视频同步的声音。

此外，呈现部103基于CG控制数据对CG模型数据执行呈现处理，并将得到的CG视频输出数据输出到显示装置31。因此，显示装置31基于从信息处理装置10(的呈现部103)输出的CG视频输出数据来显示CG视频。

这里，例如，在UI和内容控制部101执行在全向实况视频与CG视频之间进行切换的显示切换处理的情况下，根据切换目标进行以下的处理。

即，在从全向实况视频切换到CG视频时，UI和内容控制部101调整CG呈现摄像装置的位置，使得全向实况视频和CG视频的视点方向一致，并向呈现部103给出指示。

另一方面，在从CG视频切换到全向实况视频时，UI和内容控制部101执行例如以下三个处理以转换为相同视点上的全向实况视频。

首先，从多个全向实况视频中选择切换时最接近于CG视频的全向实况视频。接下来，向呈现部103给出指令以将CG呈现摄像装置的位置移动到已经从其捕获了所选择的全向实况视频的成像装置(例如，全向摄像装置)的视点。然后，根据用户在CG上观看的方向，向呈现部103给出指令以改变转换后的全向实况视频的正面的视点方向。

注意，这里，例如，由于由与视频和声音同步的时间戳的数据所保持的CG模型的控制数据(CG控制数据)被同步地传递到呈现部103，因此可以执行以下三个处理。

即，首先，可以同步多个全向实况视频和CG视频，从而即使切换视频也可以表示相同时间的场景。第二，例如可以通过全向实况视频和CG视频的同步来执行诸如快进和倒带的特效播放。第三，即使在多个全向实况视频与CG视频之间进行切换，也能够连续地再现与那些视频同步的声音。

显示装置31被配置为具有显示器(例如，头戴式显示器或智能电话)的电子装置。注意，在下面的描述中，将头戴式显示器(稍后描述的图2中的头戴式显示器31A)作为显示装置31的示例进行描述。

此外，在图1所示的配置中，扬声器32被示为声音输出装置。然而，声音输出装置不限于扬声器32。例如，将头戴式显示器佩戴在头上的用户还可以将耳机插入耳朵(或佩戴耳机)，从而从耳机输出声音。

注意，例如，信息处理装置10、显示装置31和扬声器32可以经由符合预定标准的电缆通过电线连接，或者可以通过符合预定标准的无线通信连接。

视频再现系统1被如上所述地配置。

注意，在图1中，已经描述了将头部跟踪信息用作UI和内容控制部101中的算术处理中使用的跟踪信息。然而，例如，还可以使用指示头戴式显示器的空间位置的位置跟踪信息、根据用户视线的运动的眼睛跟踪信息等。

此外，在图1中，已经描述了各种类型的数据(例如全向实况视频的数据、CG控制数据和CG模型数据)被记录在包括诸如硬盘驱动器(HDD)、半导体存储器或光盘之类的大容量记录介质的例如视频和CG控制数据存储部21和CG模型数据存储部22中，并且信息处理装置10从视频和CG控制数据存储部21和CG模型数据存储部22中获得输入数据。然而，可以通过其他途径获得数据。

例如，可以在信息处理装置10中设置通信I/F，以便可以连接到因特网，从而接收各种类型的数据(例如从因特网上的服务器分发的全向实况视频的数据)，并且将这些数据输入到再现部102。此外，可以在信息处理装置10中设置调谐器，以使得能够经由天线接收广播电波，使得将各种类型的数据(例如从广播电波获得的全向实况视频的数据)输入到再现部102。

(视点运动时的动画显示)

图2示出了由安装在足球场2中的成像装置捕获的全向实况视频的显示示例。

尽管图2示出了足球场2中的场地3，但是实际上设置了包围场地3的看台。在该示例中，摄像装置41-1被安装在相对于场地3的近侧的看台上部，并且摄像装置41-2安装在固定在场地3上的一个球门的后面。

摄像装置41-1和41-2是例如全向摄像装置，并且是能够对作为上下左右所有方向的360度全景视频的全向实况视频进行成像的成像装置。注意，在下面的描述中，将以全向摄像装置捕获的全向实况视频作为示例进行描述，但是该装置不限于全向摄像装置，并且可以使用由另一成像装置捕获的实况视频。例如，可以使用通过将鱼眼镜头或广角镜头附接到普通摄像装置进行成像来捕获的实况视频(例如，视角为180度的视频)。

摄像装置41-1可以捕获根据近侧的看台上部的安装位置的全向实况视频。此外，摄像装置41-2可以捕获根据球门后面的安装位置的全向实况视频。注意，由摄像装置41-1和41-2捕获的全向实况视频的数据可以被记录在视频和CG控制数据存储部21(图1)中。

然后，例如，以这种方式获得的全向实况视频由信息处理装置10(图1)再现并显示在作为显示装置31的头戴式显示器31A上，使得佩戴头戴式显示器31A的用户可以享受逼真的感觉，仿佛他/她在足球场2中一样。

例如，摄像装置41-1允许头戴式显示器31A从看台上部的方向显示全向实况视频。此外，例如，摄像装置41-2允许头戴式显示器31A从球门背面侧的方向显示全向实况视频。

注意，头戴式显示器31A是例如下述显示装置，该显示装置安装在头部上从而覆盖用户的双眼，并且允许用户观看显示在设置在用户前方的显示屏上的静止图像或运动图像。除了足球节目之类的体育节目之外，头戴式显示器31A上显示的目标是例如音乐会或音乐现场的视频、电视节目、电影、游戏图像等。

此外，图2示出了将摄像装置41-1安装在近侧的看台上部并且将摄像装置41-2安装在一个球门后方的情况，但是摄像装置41的安装位置不限于此。例如，可以将任意数目的摄像装置安装在足球场2中的任意位置处，例如远侧的看台(主看台或背侧看台)上部或另一球门的后面。此外，在下面的描述中，除非需要进行特别区分，否则将摄像装置41-1、摄像装置41-2简单地描述为摄像装置41。

这里，假设将头戴式显示器31A上显示的全向实况视频从由摄像装置41-1捕获的看台上部的全向实况视频切换到由摄像装置41-2捕获的球门后面的全向实况视频的情况。

此时，信息处理装置10(图1)通过切换到在其中可以观看看台上部的全向实况视频的第一视点与其中可以观看球门后面的全向实况视频的第二视点之间的视点运动期间的连续CG视频显示来使视点运动的动画的显示作为头戴式显示器31A的显示。

图3示出了显示在头戴式显示器31A上的、视点运动之前的全向实况视频的示例。在图3中，头戴式显示器31A显示具有与观看由看台上部的摄像装置41-1捕获的全向实况视频的用户视线方向对应的视点。

图4至图6示出了在视点运动期间在头戴式显示器31A上显示的CG视频的示例。注意，假定图4至图6中所示的CG视频的顺序按时间顺序显示。

首先，如图4所示，在头戴式显示器31A上显示视点为从看台上部的方向观看的CG视频302。即，在上述视点运动之前，CG视频302的视点与全向实况视频301(图3)的视点基本匹配。

此外，在CG视频302中，不包括看台、观众、选手等，并且与全向实况视频301(图3)相比，标记场地3的线(例如，中场线、边线、球门线等)和设置在每条球门线的中心处的球门由线框表示(仅由轮廓线表示)。

即，CG视频302包括例如由诸如黑色或蓝色之类的预定单色表示的图像作为背景图像，并且具有小于全向实况视频301的背景图像的信息量。注意，线框是三维建模和呈现方法中的一种，并且是由仅包括三维侧面的一组线表示的方法。

接下来，如图5所示，在头戴式显示器31A上显示具有与CG视频302(图4)不同视点的CG视频303。例如，CG视频303的视点在连接看台上部的摄像装置41-1的安装位置与球门后面的摄像装置41-2的安装位置的轨迹上的任意位置处。

此外，与CG视频302(图4)类似，CG视频303通过线框表示标记场地3的线或球门。此外，与CG视频302(图4)类似，CG视频303包括例如由诸如黑色的预定单色表示的图像作为背景图像。

接下来，如图6所示，在头戴式显示器31A上显示视点在从球门的背面侧的方向上的CG视频304。即，CG视频304的视点与稍后描述的视点运动之后的全向实况视频305(图7)的视点基本匹配。

此外，与CG视频302(图4)和CG视频303(图5)类似，CG视频304通过线框表示用于标记场地3的线和球门。此外，CG视频304包括例如由诸如黑色的预定单色表示的图像作为背景图像。

如上所述，在头戴式显示器31A中，当将视点从看台上部的全向实况视频切换到球门后面的全向实况视频时，信息处理装置10(图1)促使连续变化的CG视频(可以说是转换图像)的显示，例如由线框表示的CG视频302(图4)、CG视频303(图5)和CG视频304(图6)，以使得显示视点运动的动画。

此外，此时，在作为转换图像的CG视频302、CG视频303和CG视频304中，视点运动并且可以改变由线框表示的线或球门的比例。因此，可以说转换图像包括根据用户的双眼的会聚角的变化的图像。

图7示出了在头戴式显示器31A上显示的在视点运动之后的全向实况视频的示例。在图7中，头戴式显示器31A显示全向实况视频305，该全向实况视频305具有根据用户观看由球门后面的摄像装置41-2捕获的全向实况视频的用户视线方向的视点。

如上所述，当视点从看台上部的全向实况视频301(图3)切换到球门后面的全向实况视频305(图7)时，显示视点运动的动画(包括CG视频302至CG视频304的CG视频连续变化的转换图像)，从而防止视频变得单调，并且用户可以掌握视点如何变化。

此外，当显示由线框表示的CG视频连续变化的转换图像作为视点运动的动画的显示时，足球场2的详细信息变形，因此可以减少使用头戴式显示器31A的用户的动晕症(所谓的VR动晕症)。

注意，尽管已经描述了将由线框表示的CG视频用作视点运动的动画的情况，但是由线框表示是用于使全向实况视频变形的表示方法的示例，并且可以使用另一种表示方法。此外，在本说明书中，术语“变形”具有简化视频并且强调视频的特征的意思。

(再现和显示控制处理的流程)

接下来，将参照图8的流程图描述由信息处理装置10(图1)的UI和内容控制部101执行的再现和显示控制处理的流程。

注意，包括游戏机、个人计算机等的信息处理装置10连接到头戴式显示器31A，作为图8的流程图所示的处理的前提。然后，在头上佩戴头戴式显示器31A的用户在观看显示器上显示的画面的同时操作控制器等，使得用户例如可以切换在画面上显示的视频(全向实况视频或CG视频)的视点。

在步骤S11中，UI和内容控制部101控制再现部102以再现全向实况视频。因此，例如，全向实况视频301(图3)作为看台上部的全向实况视频被显示在头戴式显示器31A上。

在步骤S12中，UI和内容控制部101基于输入到UI和内容控制部101的操作信号等，确定是否存在视点改变指令，视点改变指令是改变来自用户或分发者的视频的视点的指令。

在步骤S12中确定不存在视点改变指令的情况下，处理返回到步骤S11，并且重复上述处理。在这种情况下，例如，继续具有根据观看看台上部的全向实况视频的用户视线方向的视点的全向实况视频301(图3)的显示。

另一方面，在步骤S12中，例如，在确定用户已经操作了控制器并且已经给出视点改变指令的情况下，处理进行到步骤S13。

注意，对于由分发者给出视点改变指令的情况，例如，当内容创建者创建在特定定时(例如，在看台上部的全向实况视频的再现时间轴上的切换时间)处改变视点的内容时，确定在内容的再现期间在达到定时(切换时间)时已经给出了视点改变指令。

在步骤S13中，UI和内容控制部101获取头戴式显示器31A的全向实况成像点信息和头部跟踪信息。

在步骤S14中，UI和内容控制部101基于在步骤S13的处理中获取的全向实况成像点信息和头部跟踪信息，计算从CG模型数据存储部22读取的CG模型的显示视角。

在步骤S15中，UI和内容控制部101基于在步骤S14的处理中计算出的计算结果来控制呈现部103，并且在初始位置(与全向实况视频相同的位置)处呈现CG模型。因此，例如，在头戴式显示器31A上显示与全向实况视频301(图3)的视点对应的CG视频302(图4)。

在步骤S16中，UI和内容控制部101获取头戴式显示器31A的头部跟踪信息。

在步骤S17中，UI和内容控制部101基于在步骤S16的处理中获取的头部跟踪信息，计算佩戴头戴式显示器31A的用户的视线方向。

在步骤S18中，UI和内容控制部101基于在步骤S17的处理中计算出的计算结果来控制呈现部103，并且在最新视点方向上呈现CG模型。因此，例如，CG视频303(图5)被显示在头戴式显示器31A上。

在步骤S19中，UI和内容控制部101基于输入到UI和内容控制部101的操作信号等来确定是否存在视点确定指令，视点确定指令是用于确定来自用户或分发者的视频的视点的指令。

在步骤S19中确定不存在视点确定指令的情况下，处理返回到步骤S16，并且重复上述处理。即，例如，通过重复步骤S16至S18的处理，在接着CG视频303(图5)之后，在头戴式显示器31A上显示根据用户视线的CG视频(例如，由线框表示的CG视频)。

另一方面，在步骤S19中确定已经给出视点确定指令的情况下，处理进行到步骤S20。在步骤S20中，UI和内容控制部101从多个全向实况视频中选择最接近于最新视点方向的全向实况视频。

这里，例如，在显示了CG视频304(图6)之后立即给出视点确定指令的情况下，选择与CG视频304(图6)的视点对应的球门后面的全向实况视频作为最接近于最新视点方向的全向实况视频。

在步骤S21中，UI和内容控制部101控制再现部102以再现在步骤S20的处理中选择的全向实况视频。例如，具有根据用户的视线方向的视点的全向实况视频305(图7)作为球门后面的全向实况视频被显示在头戴式显示器31A上。然而，当显示球门后面的全向实况视频305(图7)时，其正面被确定为与显示之前的最新的用户视点方向匹配。

上面已经描述了再现和显示控制处理的流程。

在该再现和显示控制处理中，UI和内容控制部101的显示控制部112使例如诸如CG视频302、CG视频303、CG视频304的CG视频被顺序显示，作为当从可以从第一视点(例如，与看台上部对应的视点)观看的第一视频(例如，全向实况视频301)切换到可以从第二视点(例如，与球门后面对应的视点)观看的第二视频(例如，全向实况视频305)时基本上连续变化的转换图像。

作为转换图像的CG视频(例如，CG视频302、CG视频303、CG视频304等)是与从第一视点(例如，与看台上部对应的视点)到第二视点(例如，与球门后面对应的视点)的视点的转换对应的视频的变形图像，并且包括信息量小于第一视频(例如，全向实况视频301)的背景图像或者第二视频(例如，全向实况视频305)的背景图像中的至少一个的背景图像。

这里，信息量由例如包括图像的色阶或分辨率中的至少一种的图像信息确定。然后，作为转换图像的CG视频(例如，CG视频302、CG视频303、CG视频304等)的背景图像包括例如由诸如黑色或蓝色之类的预定单色表示的图像，作为信息量小于第一视频的背景图像或第二视频的背景图像中的至少一个的背景图像。

注意，这里，示出了诸如CG视频302的转换图像包括由预定单色表示的图像作为背景图像的情况。然而，例如，可以使用各种图像作为转换图像，只要该图像包括信息量小于第一视频的背景图像或第二视频的背景图像中的至少一个的背景图像即可，例如通过降低第一视频(例如，全向实况视频301)和第二视频(例如，全向实况视频305)的分辨率而获得的图像。

(精彩视频分发的示例)

接下来，作为结合了上述CG视频的视频分发的示例，将描述在足球比赛中仅拾取诸如进球场景的重要场景的精彩视频的分发示例。图9是示出足球的精彩视频分发的示例的时序图。

图9表示将从看台上部的全向实况视频、视点运动的动画等的CG视频、以及球门后面的全向实况视频中的哪个视频作为精彩视频的内容来按时间顺序显示。

注意，看台上部的全向实况视频由图2中的摄像装置41-1捕获，而球门后面的全向实况视频由图2中的摄像装置41-2捕获。

在图9中，三分钟的精彩片段视频包括上半场的高潮场景、第一次进球场景、几乎进球场景、第二次进球场景和下半场的高潮场景。佩戴头戴式显示器31A的用户可以例如通过操作控制器等在他/她的优选定时处切换全向实况视频的视点，并且在全向实况视频与CG视频之间进行切换。

例如，假设下述情况：在头戴式显示器31A中，从精彩视频的分发的开始时间起，看台上部的全向实况视频被显示为上半场中的高潮场景，但是该全向实况视频从看台上部的视频被切换到球门后面的视频。

在这种情况下，当在时间t11处显示看台上部的全向实况视频301(图3)时，在时间t11至t12处显示作为视点运动动画的CG视频302至304(图4至6)。然后，在时间12处，将视频切换到球门后面的全向实况视频305(图7)。

因此，从第一次进球场景的中间将视点切换到球门后面的全向实况视频，并且佩戴头戴式显示器31A的用户可以从球门后面那一侧的视点观看第一次进球场景。

在第一次进球场景结束后，将视点从球门后面的全向实况视频返回到看台上部的全向实况视频。此时，从时间t13到时间t14，显示作为视点运动的动画的CG视频，并且在时间t14处，将视频切换到看台上部的全向实况视频。

因此，从几乎进球场景的中间将视点切换到看台上部的全向实况视频，并且佩戴头戴式显示器31A的用户可以从看台上部那一侧的视点观看几乎进球场景。

在几乎进球场景之后是第二次进球场景，但是在第二次进球场景的中间，再次将视点从看台上部的全向实况视频切换到球门后面的全向实况视频。此时，从时间t15到时间t16，显示作为视点运动的动画的CG视频，并且在时间t16处，将视频切换到球门后面的全向实况视频。

因此，从第二次进球场景的中间将视点切换到球门后面的全向实况视频，并且佩戴头戴式显示器31A的用户可以与第一次进球场景类似地从球门后面那一侧的视点观看第二次进球场景。

在第二次进球场景之后是下半场的高潮场景。在高潮场景的中间将视点从球门后面的全向实况视频返回到看台上方的全向实况视频。此时，从时间t17到时间t18，显示作为视点运动的动画的CG视频，并且在时间t18处，将视频切换到看台上部的全向实况视频。

因此，从下半场中的高潮场景的中间将视点切换到看台上部的全向实况视频，并且佩戴头戴式显示器31A的用户可以从看台上部那一侧的视角观看下半场中的高潮场景。然后，当下半场中的高潮场景结束时，精彩视频的分发结束。

注意，作为全向实况视频与CG视频之间的切换的定时，例如，佩戴头戴式显示器31A的用户可以在观看精彩视频内容时通过操作控制器等在优选的定时处执行切换，或者，例如，内容创建者(或分发者)可以在创建精彩视频内容时，在期望的定时(例如，全向实况视频的再现时间轴上的切换时间)处执行切换。

此外，当显示CG视频时，可以显示与视频相关的附加信息。例如，在足球比赛中，可以显示与选手和比赛相关的各种信息(静态或动态信息)(例如所关注的选手(例如，在进球场景中得分或助攻的选手)的姓名和位置信息、球的轨迹或者每支球队的控球率)作为附加信息。

如上所述，在本技术中，当将视点从由第一摄像装置(例如，第一全向摄像装置)捕获的第一全向实况视频切换到由第二摄像装置(例如，第二全向摄像装置)捕获的第二全向实况视频时，显示包括连续变化的CG视频的视点运动的动画，从而可以避免伴随视频的视点切换的不便事件，并且改进用户便利性。

例如，如果在没有任何建议的情况下执行从第一全向实况视频到第二全向实况视频的切换，则该视频变得单调，因为用户无法自由地改变视点，并且用户可能会失去他/她的方向和位置。另一方面，在本技术中，当切换视频时，显示视点运动的动画通过自由地改变视点来防止视频变得单调，并且允许用户掌握如何改变视点。

此外，例如，当从第一全向实况视频切换到第二全向实况视频时，由于视频的突然改变或者与身体运动不同的视频的改变，可能导致动晕症。特别地，在佩戴头戴式显示器31A的用户使用控制器等执行切换视点的操作的情况下，由于视频的运动与身体的实际运动不同，因此发生动晕症的可能性增大。相比之下，根据本技术，在视频之间进行切换时，通过线框表示的CG视频显示变形的信息例如作为视点运动的动画，从而可以减少佩戴头戴式显示器31A的用户的动晕症(所谓的VR动晕症)。

注意，近年来，在体育广播等中，通过使用大型摄像装置系统和视频处理过程对实况图像进行3D建模，不仅可以观看2D视频，而且可以观看360度回放视频。然而，在本技术中，可以在通过使用现有设备(例如，全向摄像装置)捕获的全向实况视频来利用现有设备(例如，游戏机、个人计算机或头戴式显示器)的同时以低成本改进有效视点的自由度。

此外，在本技术中，例如，通过显示CG视频，可以容易地实现例如通过用户操作来改变视点或者显示与实况视频相关的附加信息的可交互表达。此外，通过减少全向实况视频的切换难度或者动晕症，全向实况视频的切换变得容易，并且可以减少具有固定视点的全向实况视频的单调性。

<2.第二实施方式>

(显示比例改变)

顺便提及，当在头戴式显示器31A上显示CG视频时，信息处理装置10(其UI和内容控制部101的显示控制部112)可以控制显示以减小显示比例，以使整个场地看起来像微缩图。通过显示这种微缩CG视频(可以说是缩小的图像)，可以通过利用头戴式显示器31A的特征直观地根据用户的头部的运动来改变视点。

图10示出了头戴式显示器31A上的场地的微缩CG视频的显示示例。

在图10的微缩CG视频311中，显示了计算机图形(CG)的场地，在该场地中擦除了看台和观众，并且与由摄像装置41捕获的全向实况视频相比整体尺寸被减小。注意，微缩CG视频311包括由诸如蓝色或黑色的预定单色表示的图像作为背景图像。

此外，在微缩CG视频311中，场地上的选手不是由实际选手自己来代表，而是由绘制在板状面板上的选手的上半身表示的。由于该选手面板执行与实际选手的运动相似的运动，因此佩戴头戴式显示器31A的用户可以通过跟随该选手面板在场地上四处移动来检查实际选手的运动。

此外，根据佩戴头戴式显示器31A的用户的头部的运动，该场地的微缩CG视频的视点变为例如看台那一侧或者球门后方那一侧。因此，通过从各种角度(方向)观看或者改变距CG场地的距离(例如，移动靠近或远离CG场地)，可以更可靠地检查场地上的选手等。

此处，参照图11和图12，将描述在从全向实况视频转换到微缩CG视频时改变显示比例的方法。

图11示出了在使用xyz坐标轴以三维显示全向实况视频时到用户视线所在的场地的距离。在图11中，佩戴头戴式显示器31A的用户401的视线指向全向实况视频中的场地402的中心附近，如图中的箭头所示。

这里，例如，假设边线×球门线为100m×70m作为全向实况视频中的场地402的尺寸，则到用户401的视线所在的场地402的中心附近的距离L1是50m。

另一方面，图12示出了在使用xyz坐标轴以三维显示微缩CG视频时距用户视线所在的场地的距离。在图12中，如图中的箭头所示，佩戴头戴式显示器31A的用户401的视线指向微缩CG视频中的场地403的中心附近。

此处，在图12中，图11中所示的全向实况视频的场地402在图中由虚线指示，因此可以将其尺寸与微缩CG视频的场地403的尺寸进行比较。

例如，假设边线×球门线为100cm×70cm作为微缩CG视频中的场地403的尺寸的情况，则场地403的尺寸为场地402的尺寸(即100m×70m)的1/100。即，当从全向实况视频转换到微缩CG视频时，场地的尺寸减小到1/100(尺寸从实际尺寸改变为微缩尺寸)。

然后，当微缩CG视频中的场地403是1/100的尺寸(即100cm×70cm)时，佩戴头戴式显示器31A的用户401的视线距场地403的中心附近的距离L2是50cm，并且该距离L2是在图11所示的全向实况视频的情况下的视线距离L1(50m)的1/100的长度。即，当从全向实况视频转换到微缩CG视频时，根据场地的尺寸(显示比例)的变化，使场地的位置更接近于视点方向。

如上所述，根据本技术，当从全向实况视频转换到微缩CG视频并且将场地的尺寸从实际尺寸改变为微缩尺寸时，场地的位置也根据尺寸的变化变为在用户视点方向上。结果，可以在不改变佩戴头戴式显示器31A的用户观看的视角的情况下连续改变尺寸。

作为以这种方式显示的微缩CG视频，例如，可以显示图13至图15中示出的CG视频。即，在图13至图15中，由微缩CG视频表示直到在足球场2中举行的足球比赛中的进球场景中获得得分为止的一系列流程。

具体地，图13中的微缩CG视频312表示持有球的进攻队的选手即将在中线附近发起攻击的情况。此后，图14的微缩CG视频313表示进攻队的选手靠近禁区附近，而防守队的选手正在对付这个问题的情况。

然后，图15的微缩CG视频314表示如下情况：防守队的选手无法阻挡进入禁区的进攻队的选手射门，球进入球门，并且进攻队进球得分。

在此，在图13至15所示的进球场景中的进球得分为止的一系列流程中，显示在显示器上的CG视频的视点根据佩戴头戴式显示器31A的用户的头部的运动而改变。

例如，图13中的微缩CG视频312是从看台那一侧观看的CG视频，而图14中的微缩CG视频313是从球门后面那一侧观看的CG视频。此外，例如，图13中的微缩CG视频312是被缩小以观看整个场地的CG视频，而图15中的微缩CG视频314是在靠近球的选手处被放大的CG视频。

如上所述，通过应用本技术，可以通过根据佩戴头戴式显示器31A的用户的头部的运动来改变微缩CG视频的视点，来从各种角度观看场地。

例如，在用户观看足球比赛的内容时有多种需求，一些用户希望观看整个场地，一些用户希望更近地观看选手，一些用户希望从看台那一侧观看比赛，或者一些用户希望从球门后面那一侧观看比赛。然而，通过应用本技术，可以从各种角度观看场地，从而可以满足要求。

注意，对于显示该微缩CG视频的定时，例如，如图9的时序图所示，当观看精彩视频内容时，通过切换看台上部的或者球门后面的全向实况视频的显示，可以将微缩CG视频显示为具有可移动视点的CG视频。例如，通过显示该微缩CG视频，可以检查所关注的选手或球的位置，或者检查诸如进球场景之类的重要场景。

此外，例如，作为全向实况视频和微缩CG视频之间的切换定时，佩戴头戴式显示器31A的用户在观看精彩视频内容时可以通过操作控制器等在优选的定时处执行切换，或者，例如，内容创建者可以在创建精彩视频内容时在期望的定时处执行切换。

此外，例如，当显示微缩CG视频时，可以显示与选手和比赛相关的各种信息(例如所关注的选手的姓名和位置信息、球的轨迹以及每个球队的控球率)作为附加信息。

<3.第三实施方式>

(显示比例改变)

在以上描述中，已经描述了通过使用头戴式显示器31A上的微缩CG视频使足球场的整个场地看起来像微缩图的示例，但是该微缩CG视频不仅可以用于足球场的场地，而且可以用于各种情况。

例如，在头戴式显示器31A上，当显示在音乐厅中演奏的管弦乐队的全向实况视频时，可以显示管弦乐队中乐器的布置的微缩CG视频。

图16示出了头戴式显示器31A上的管弦乐队中的乐器的布置的微缩CG的显示示例。

注意，尽管因为详细描述是冗余的而将被省略，但是一个或更多个摄像装置(例如，全向摄像装置)被安装在管弦乐队演奏的音乐厅中，并且例如，捕获根据诸如在舞台或观众席上的导体的附近的安装位置的全向实况视频。

例如，在头戴式显示器31A中，当将显示从由安装在音乐厅中的摄像装置捕获的全向实况视频切换为微缩CG视频时，显示图16中的微缩CG视频321。

在图16的微缩CG视频321中，与实际乐器布置对应布置的CG乐器被显示在其整体尺寸减小的CG舞台上。此外，在微缩CG视频321中，仅乐器由CG表示，而演奏者未被转换为CG。

由于CG乐器的布置与管弦乐队的实际乐器布置对应，因此佩戴头戴式显示器31A的用户可以检查管弦乐队在音乐厅中的乐器布置。

例如，在微缩CG视频321中，诸如小提琴和中提琴的弦乐器被布置在舞台前部，而诸如长笛和双簧管的木管乐器被布置在那些弦乐器的后面。此外，在微缩CG视频321中，诸如小号和长号的铜管乐器被布置在那些木管乐器的后面，而打击乐器被布置在那些铜管乐器的后面或者舞台后部。

注意，在图16中，仅微缩CG视频被显示在头戴式显示器31A上，但是由安装在音乐厅中的摄像装置捕获的全向实况视频可以与微缩CG视频一起被同时显示作为微缩CG视频的背景图像。例如，通过显示叠加在全向实况视频上的微缩CG视频321，用户可以在观看实际的管弦乐队演奏的同时检查管弦乐队的乐器布置。

此外，微缩CG视频的背景图像可以包括例如通过降低全向实况视频的分辨率而获得的图像、由诸如蓝色或黑色的预定单色表示的图像等。

此外，这种管弦乐队的乐器布置的微缩CG视频的视点根据佩戴头戴式显示器31A的用户的头部的运动而改变。因此，通过从各种角度(方向)观看或者改变距CG舞台的距离(例如，移动靠近或远离CG舞台)，可以更可靠地检查乐器布置。

例如，当从几乎正面观看整个舞台时，图16中的微缩CG视频321是CG视频，而在图17中，当从左上方观看整个舞台时，微缩CG视频322是CG视频。

此外，例如，图16中的微缩CG视频321和图17中的微缩CG视频322是与舞台保持一定距离的CG视频，而在图18中，微缩CG视频323是更靠近布置在舞台后部的铜管乐器和打击乐器的CG视频。

如上所述，通过应用本技术，可以通过根据佩戴头戴式显示器31A的用户的头部的运动来改变微缩CG视频的视点，来从各种角度观看布置有乐器的舞台。

例如，用户观看管弦乐队音乐会的内容时有各种需求，一些用户希望检查音乐厅中管弦乐队的乐器布置，一些用户希望俯视整个乐器布置，一些用户希望更近地观看，一些用户希望从舞台的正面观看，或者一些用户希望从舞台的侧面观看。然而，通过应用本技术，可以从各个角度观看布置有乐器的舞台，从而可以满足要求。

注意，作为在全向实况视频与微缩CG视频之间切换的定时，例如，在观看管弦乐队音乐会内容时，佩戴头戴式显示器31A的用户可以在优选的定时处通过操作控制器等执行切换，或者，例如，内容创建者可以在创建管弦乐队音乐会内容时的期望定时处执行切换。

此外，例如，当显示微缩CG视频时，可以显示与演奏者和乐器相关的各种信息(例如所关注的演奏者的姓名和乐器的名称)作为附加信息。

此外，尽管这里省略了描述，但是与足球场地的上述示例类似，当切换由安装在演奏管弦乐队的音乐厅中的摄像装置捕获的全向实况视频时，可以显示连续变化的CG视频的视点运动的动画。因此，可以避免由于切换视频的视点而引起的不便，并且可以改进用户的便利性。

<4.第四实施方式>

在以上描述中，作为结合CG视频的视频分发的示例，已经描述了足球精彩视频分发的示例。然而，结合CG视频的视频分发不限于足球精彩视频，并且可以在各种视频分发中使用。

例如，在头戴式显示器31A上，当显示现场音乐的全向实况视频时，可以显示各种CG视频。图19示出了时序图，该时序图示出了音乐现场视频分发的示例。

图19按时间顺序表示将舞台前部的全向实况视频、具有可移动视点的CG视频以及看台上部的全向实况视频中的哪个视频显示为音乐现场视频。

注意，尽管因为详细描述是冗余的而将被省略，但是一个或多个摄像装置(例如，全向摄像装置)被安装在演奏音乐现场活动的场所处。例如，在活动场所处，安装在舞台前部的全向摄像装置捕获舞台前部的全向实况视频，而安装在看台上部的全向摄像装置捕获看台上部的全向实况视频。

从音乐现场视频的分发开始时间起，在头戴式显示器31A上显示舞台前部的全向实况视频达30分钟。

图20示出了在头戴式显示器31A上显示的舞台前部的全向实况视频的示例。在图20中，头戴式显示器31A显示全向实况视频331，该全向实况视频331具有在舞台前部捕获的根据观看全向实况视频的用户的视线方向的视点。

佩戴头戴式显示器31A的用户可以例如通过操作控制器等在他/她的优选定时处切换全向实况视频的视点，并且在全向实况视频与CG视频之间进行切换。

在该示例中，在时间t21处，舞台前部的全向实况视频被切换为CG视频。此外，在时间t22处，CG视频被切换为看台上部的全向实况视频。这里，可以将各种CG视频显示为在时间t21与时间t22之间显示的CG视频。例如，执行以下显示。

即，在时间t21与时间t22之间，除了来自多个视点的具有真实感的全向实况视频之外，还可以使用CG视频产生非现实的舞台。

图21示出了在头戴式显示器31A上显示的展现出非现实舞台效果的视频的示例。在图21的CG合成视频332中，头戴式显示器31A在CG视频(合成显示)中显示舞台前部的全向实况视频的中央的女歌者的左侧和右侧的两个女性背景舞蹈演员。在图21中的CG合成视频332中，四个背景舞蹈演员(CG艺人)与被捕获了运动的女歌者(实况艺人)同步地移动。

注意，这里示出了下述示例：通过CG视频来显示另一艺人(背景舞蹈演员)作为真实中所不存在的效果，但是例如可以执行各种效果，例如显示舞台上没有的对象或者灯光效果。

此外，如上所述，假设将全向实况视频从舞台前部切换到看台上部的情况，则可以在时间t21与时间t22之间的时间显示CG视频(例如，由线框表示的活动场所中的CG视频)作为视点运动的动画。因此，可以防止视频变得单调并且使用户能够掌握视点如何改变。

此外，可以在时间t21与时间t22之间显示上述微缩CG视频。作为此处的微缩CG视频，可以显示各种CG视频。例如，与第二实施方式类似，可以示出在现场音乐会中演奏的乐器(例如，吉他、鼓等)的布置。因此，可以根据佩戴头戴式显示器31A的用户的头部的运动来改变微缩CG视频的视点，来从各种角度观看舞台。

然后，在时间t22处，显示切换到看台上部的全向实况视频。图22示出了在头戴式显示器31A上显示的看台上部的全向实况视频的示例。在图22中，头戴式显示器31A显示具有根据观看看台上部的全向实况视频的用户的视线方向的视点的全向实况视频333。

此后，在时间t23处，视频被切换为CG视频，此外，在时间t24处，视频被切换为舞台前部的全向实况视频。此外，在时间t25处，视频被切换为CG视频，此外，在时间t26处，视频被切换为看台前部的全向实况视频。此外，在时间t27处，视频被切换为CG视频，并且此外，在时间t28处，视频被切换为舞台前部的全向实况视频。注意，这些全向实况视频和CG视频的显示内容与上述类似，因此将省略其描述。

如上所述，通过应用本技术，例如，对于佩戴头戴式显示器31A的用户，除了全向实况视频之外，还可以使用CG视频产生非现实的舞台或视点运动的动画。

注意，作为全向实况视频与CG视频之间的切换的定时，例如，佩戴头戴式显示器31A的用户可以在观看音乐现场内容时通过操作控制器等在优选的定时处执行切换，或者内容创建者可以在创建音乐现场内容时在期望的定时处执行切换。

此外，例如，当显示CG视频时，可以显示与艺人和乐器相关的各种信息(例如所关注的艺人的姓名和乐器的名称)作为附加信息。

<5.修改>

(其他用法示例)

在以上描述中，示出了针对足球比赛、管弦乐队音乐会和现场音乐的全向实况视频显示应用了本技术的CG视频的情况。然而，本发明适用于各种其他情况。

例如，假定在提供观光体验或观光指南的情况下，通过头戴式显示器31A观看由安装在观光景点处的摄像装置(例如，全向摄像装置)捕获的高质量全向实况视频(运动图像或现场视频)。

在这种情况下，例如，当在全向实况视频之间进行切换时，通过CG视频插入视点运动的动画或者显示微缩CG视频使得佩戴头戴式显示器31A的用户能够感觉到观光景点的地形、整个城市、距离等。

注意，观光经验和观光指南的示例的使用数据可以包括例如全向实况视频、观光景点的一般路线视频(包括室内和室外视频)以及观光景点的特定地点的高质量的运动图像、现场视频、图像等。此外，例如，可以包括整个观光景点的简单CG模型用于CG视频。

此外，例如，假定在提供安全系统的情况下，由显示装置31(例如，头戴式显示器31A)监视由安装在安全目标设施处的摄像装置(例如，全向摄像装置)捕获的全向实况视频(现场视频)。

在这种情况下，例如，在切换全向实况视频时，通过插入CG视频的视点运动的动画或者显示微缩CG视频，可以获得以下效果。即，通过显示视点运动的动画，例如，当将摄像装置从一个房间切换到另一个房间时，警卫可以直观地识别在房间之间的移动。

此外，通过使用设施中安装的摄像装置(例如，全向摄像装置)捕获的全向实况视频，即使发生诸如警报声之类的异常事件，警卫也可以以相同的方式检查安全目标，而无需走到该地点。此外，通过使全向实况视频具有高图像质量和高声音质量，安保人员更容易注意到安全目标的微小变化。

注意，安全系统的示例的使用数据包括例如作为全向实况视频的安全目标的具有高图像质量和高声音质量的现场视频。此外，例如，可以包括除房间以外的部分的CG模型用于CG视频。此外，这里，可以使用通过各种传感器获得的传感器数据的实时视频、其CG模型等。

(电子装置的配置示例)

在以上描述中，在视频再现系统1中，信息处理装置10控制在诸如头戴式显示器31A的显示装置31上显示的视频，但是显示装置31可以具有再现和呈现视频的功能。

例如，头戴式显示器31A可以具有图1所示的UI和内容控制部101、再现部102和呈现部103的功能。换言之，在视频再现系统1中，可以说，信息处理装置10和显示装置31可以被一体地配置为一个装置。

此外，除了上述游戏机、个人计算机等之外，信息处理装置10还可以应用于例如智能电话或平板型计算机、电视接收机、再现装置、记录器、机顶盒(STB)或者能够再现内容的电子装置(例如存储装置)。此外，除了上述头戴式显示器和智能手机之外，显示装置31还可以应用于例如具有显示器的电子装置，例如诸如眼镜式信息终端之类的可穿戴式计算机、平板计算机、个人计算机和游戏机。

(CG视频的其他示例)

在以上描述中，实现了虚拟现实，虚拟现实使得能够通过显示全向实况视频来使佩戴头戴式显示器31A的用户体验好像他/她在现场的感觉。然而，本技术不限于虚拟现实(VR)，并且可以应用于通过在真实空间中显示附加信息来扩展真实世界的增强现实(AR)等。

例如，当坐在音乐厅中的用户经由已激活了专用应用的智能手机的显示器观看舞台上的管弦乐队时，该显示器可以显示下述视频，在该视频中，管弦乐队的乐器布置的微缩CG视频被叠加在真实空间中的管弦乐队的视频上。

注意，全向实况视频不限于由固定在特定设施中的安装位置的全向摄像装置捕获的视频，并且可以使用通过各种方法捕获的全向实况视频，例如配备有无人飞行器(UAV)的全向摄像装置通过航拍捕获的全向实况视频。此外，在以上描述中，描述了由摄像装置41捕获的全向实况视频。然而，本技术可以应用于各种视频，例如由诸如半球形摄像装置之类的摄像装置捕获的视频。

<6.计算机配置>

上述的一系列处理(例如，图8所示的再现和显示控制处理)还可以由硬件执行或者可以由软件执行。在由软件执行一系列处理的情况下，构成软件的程序被安装在每个装置的计算机中。图23是示出由程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在计算机1000中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004相互连接。输入和输出接口1005还连接至总线1004。输入部1006、输出部1007、记录部1008、通信部1009和驱动器1010连接到输入和输出接口1005。

输入部1006包括键盘、鼠标、麦克风等。输出部1007包括显示器、扬声器等。记录部1008包括硬盘、非易失性存储器等。通信部1009包括网络接口等。驱动器1010驱动可移动记录介质1011，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机1000中，CPU 1001经由输入和输出接口1005和总线1004将记录在ROM 1002或记录部1008中的程序加载到RAM 1003中，并且执行该程序，从而执行上述一系列处理。

例如，可以通过将由计算机1000(CPU 1001)执行的程序记录在作为封装介质等的记录介质1011上来进行提供。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机1000中，通过将记录介质1011安装到驱动器1010，可以经由输入和输出接口1005将程序安装在记录部1008中。此外，可以由通信部1009经由有线或无线传输介质接收程序并且将程序安装在记录部1008中。另外，程序可以被预先安装在ROM 1002或记录部1008中。

在此，在本说明书中，由计算机根据程序执行的处理不必一定按照流程图中描述的顺序按时间序列执行。即，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或者由对象进行的处理)。此外，程序可以由一台计算机(处理器)处理或者由多台计算机以分布式方式处理。

注意，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的要旨的情况下可以进行各种修改。例如，在本技术中，可以采用云计算的配置，在云计算的配置中，一种功能由多个装置经由网络共享，并且被协同处理。

此外，图8所示的再现和显示控制处理的每个步骤可以由一个装置执行，或者由多个装置共享并执行。此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行或者由多个装置共享并执行。

注意，本技术还可以采用以下配置。

(1)

一种信息处理装置，包括：

显示控制部，当从能够从第一视点观看的第一视频切换到能够从与所述第一视点不同的第二视点观看的第二视频时，所述显示控制部控制显示装置以显示转换图像，所述转换图像基本上连续变化并且包括信息量小于所述第一视频的背景图像或所述第二视频的背景图像中的至少一个的背景图像。

(2)

根据上述(1)所述的信息处理装置，

其中，所述转换图像包括通过简化与从所述第一视点到所述第二视点的视点转换对应的视频并且强调所述视频的特征而获得的图像。(3)

(3)

根据上述(2)所述的信息处理装置，

其中，在所述转换图像中，要在切换开始时显示的第一转换图像包括通过简化所述第一视频并且强调所述第一视频的特征而获得的图像，并且要在切换结束时显示的第二转换图像包括通过简化所述第二视频并且强调所述第二视频的特征而获得的图像。

(4)

根据上述(1)至(3)中任一项所述的信息处理装置，

其中，所述转换图像是计算机图形(CG)视频。

(5)

根据上述(4)所述的信息处理装置，

其中，所述CG视频是由线框表示的视频。

(6)

根据上述(5)所述的信息处理装置，

其中，所述第一转换图像包括其中所述第一视频中包括的目标对象仅由轮廓表示的图像，并且

所述第二转换图像包括其中所述第二视频中包括的目标对象仅由轮廓表示的图像。

(7)

根据上述(1)至(6)中任一项所述的信息处理装置，

其中，所述信息量由包括图像的色阶或分辨率中的至少一种的图像信息确定。

(8)

根据上述(7)所述的信息处理装置，

其中，所述转换图像包括由预定单色表示的图像或者通过降低所述第一视频或所述第二视频的分辨率而获得的图像作为所述背景图像。

(9)

根据上述(1)至(8)中任一项所述的信息处理装置，

其中，所述转换图像包括根据用户的双眼的会聚角的变化的图像。

(10)

根据上述(1)至(9)中任一项所述的信息处理装置，

其中，基于用户操作或者在所述第一视频的再现时间轴上的切换定时来进行从所述第一视频到所述第二视频的切换。

(11)

根据上述(1)至(10)中任一项所述的信息处理装置，

其中，所述显示控制部控制通过缩小所述第一视频或所述第二视频中包括的目标对象而获得的缩小图像的显示。

(12)

根据上述(11)所述的信息处理装置，

其中，所述缩小图像是CG视频。

(13)

根据上述(11)或(12)所述的信息处理装置，

其中，当从所述第一视频或所述第二视频切换到所述缩小图像时，所述显示控制部根据所述目标对象的显示比例的变化使所述第一视频或所述第二视频中包括的所述目标对象的位置更接近于所述用户的视点方向。

(14)

根据上述(12)或(13)所述的信息处理装置，

其中，所述显示控制部包括与所述第一视频或所述第二视频中包括的人的运动相对应的CG视频作为所述缩小图像。

(15)

根据上述(12)或(13)所述的信息处理装置，

其中，所述显示控制部包括与所述第一视频或所述第二视频中包括的对象的布置相对应的CG视频作为所述缩小图像。

(16)

根据上述(1)至(15)中任一项所述的信息处理装置，

其中，所述第一视频和所述第二视频中的每一个是全向实况视频。

(17)

根据上述(16)所述的信息处理装置，

其中，捕获所述全向实况视频的摄像装置被安装在举行包括体育比赛的比赛的体育场馆中、举行包括音乐会的活动的建筑物中、结构内部或者室外；并且

所述全向实况视频包括包含体育比赛的比赛的视频、包括音乐会的活动的视频、结构内部的视频或者室外的视频。

(18)

根据上述(1)至(17)中任一项所述的信息处理装置，

其中，所述显示装置是头戴式显示器。

(19)

一种信息处理装置的信息处理方法，

其中，所述信息处理装置

当从能够从第一视点观看的第一视频切换到能够从与所述第一视点不同的第二视点观看的第二视频时，控制显示装置以显示转换图像，所述转换图像基本上连续变化并且包括信息量小于所述第一视频的背景图像或所述第二视频的背景图像中的至少一个的背景图像。

(20)

一种用于使计算机充当下述部件的程序：

附图标记列表

1 视频再现系统

10 信息处理装置

21 视频和CG控制数据存储部

22 CG模型数据存储部

31 显示装置

31A 头戴式显示器

32 扬声器

41、41-1、41-2 摄像装置

101 UI和内容控制部

102 再现部

103 呈现部

111 再现控制部

112 显示控制部

121 数据获取部

122 解复用器

123 第一视频解码器

124 第二视频解码器

125 音频解码器

126 CG控制数据解码器

127 同步控制部

1000 计算机

1001 CPU

Claims

1.一种信息处理装置，包括：

2.根据权利要求1所述的信息处理装置，

其中，所述转换图像包括通过简化与从所述第一视点到所述第二视点的视点转换对应的视频并且强调所述视频的特征而获得的图像。

3.根据权利要求2所述的信息处理装置，

4.根据权利要求3所述的信息处理装置，

其中，所述转换图像是计算机图形(CG)视频。

5.根据权利要求4所述的信息处理装置，

其中，所述CG视频是由线框表示的视频。

6.根据权利要求5所述的信息处理装置，

7.根据权利要求1所述的信息处理装置，

8.根据权利要求7所述的信息处理装置，

9.根据权利要求2所述的信息处理装置，

10.根据权利要求1所述的信息处理装置，

11.根据权利要求1所述的信息处理装置，

12.根据权利要求11所述的信息处理装置，

其中，所述缩小图像是CG视频。

13.根据权利要求12所述的信息处理装置，

其中，当从所述第一视频或所述第二视频切换到所述缩小图像时，所述显示控制部根据所述第一视频或所述第二视频中包括的所述目标对象的显示比例的变化使所述目标对象的位置更接近于用户的视点方向。

14.根据权利要求13所述的信息处理装置，

15.根据权利要求13所述的信息处理装置，

16.根据权利要求1所述的信息处理装置，

17.根据权利要求16所述的信息处理装置，

其中，捕获所述全向实况视频的摄像装置被安装在举行包括体育运动的比赛的体育场馆中、举行包括音乐会的活动的建筑物中、结构内部或者室外；并且

所述全向实况视频包括：包括体育运动的比赛的视频、包括音乐会的活动的视频、结构内部的视频或者室外的视频。

18.根据权利要求1所述的信息处理装置，

其中，所述显示装置是头戴式显示器。

19.一种信息处理装置的信息处理方法，

其中，所述信息处理装置

20.一种用于使计算机作为显示控制部发挥作用的程序，

当从能够从第一视点观看的第一视频切换到能够从与所述第一视点不同的第二视点观看的第二视频时，所述显示控制部控制显示装置以显示转换图像，所述转换图像基本上连续变化并且包括信息量小于所述第一视频的背景图像或所述第二视频的背景图像中的至少一个的背景图像。