CN113454707A - 再现装置、再现方法和程序 - Google Patents

Abstract

本发明涉及：一种再现装置和再现方法，利用其可以在宽视角视频与构成该宽视角视频的一部分的二维视频之间进行切换，以使得能够在不引起陌生感的情况下观看这些视频；以及一种程序。在本发明中，视频控制单元基于从服务器提供的宽视角视频的线路速度或由宽视角视频和部分视频的剩余缓冲数据量表示的线路质量，来确定线路质量是否足以显示宽视角视频，并且在线路质量不足以显示宽视角视频的情况下，在已显示伴随有指示与所述宽视角视频对应的部分视频的视角的白色框的宽视角视频之后，在紧接着执行宽视角视频与部分视频之间的显示切换之前的定时处，切换至部分视频。本发明可应用于再现装置。

Description

再现装置、再现方法和程序

技术领域

本公开内容涉及再现装置、再现方法和程序，并且特别地涉及能够在宽视角视频与作为宽视角视频的一部分的部分视频之间切换而没有观看的不协调感的再现装置、再现方法和程序。

背景技术

提出了一种技术，其中诸如整个天球视频的宽视角视频被分发并且显示在诸如头戴式显示器(HMD)的显示装置上(参见专利文献1)。

引文列表

专利文献

专利文献1：日本专利申请特许公开第2018-113616号

发明内容

本发明要解决的问题

顺便提及，宽视角视频的分发使得能够分发具有逼真的感觉的视频。然而，根据展示或现场演出中的线路条件，存在用于在宽视角视频与作为宽视角视频的一部分的部分视频(下文中也称为平面视频)之间进行切换的场景。

在根据专利文献1的技术中，在从宽视角视频切换至平面视频时，没有明确地显示平面视频切换至宽视角视频中的哪一部分。

出于该原因，在将宽视角视频切换至平面视频的情况下，作为观看者的用户不能识别在切换之后显示的平面视频是从直到那时用户一直在观看的宽视角视频中的哪个部分得到的。因此，在一些情况下，在观看时存在不协调感。

鉴于这样的情况做出了本公开内容，并且特别地，本公开内容具有目的在于，使得能够在宽视角视频与作为宽视角视频的一部分的平面视频之间进行切换时没有不协调感地进行观看。

问题的解决方案

根据本公开内容的一个方面的再现装置包括：切换确定单元，其被配置成确定是否满足用于在宽视角视频与部分视频之间切换显示的切换条件，该部分视频与宽视角视频的部分视角对应；以及视频控制器，其被配置成基于切换确定单元的确定结果来选择性地显示宽视角视频和部分视频，其中，当基于切换确定单元的确定结果在宽视角视频与部分视频之间切换显示时，视频控制器显示已添加指示与宽视角视频对应的部分视频的视角的显示信息的宽视角视频。

根据本公开内容的一个方面的再现方法对应于再现装置。

根据本公开内容的一方面，是否满足用于在宽视角视频和与宽视角视频的部分视角对应的部分视频之间切换显示的切换条件，基于确定结果选择性地显示宽视角视频和部分视频，当基于确定结果在宽视角视频与部分视频之间切换显示时，显示已添加指示与宽视角视频对应的部分视频的视角的显示信息的宽视角视频。

附图说明

图1是说明本公开内容的概述的图。

图2是示出本公开内容的第一实施方式中的再现系统的配置示例的图。

图3是示出由图2的整个天球摄像装置进行的整个天球视频捕获处理的流程图。

图4是示出由图2的平面摄像装置进行的平面视频捕获处理的流程图。

图5是示出由图2的PC进行的元数据生成处理的流程图。

图6是示出由图2的服务器进行的视频传输处理的流程图。

图7是示出由图2的再现装置进行的再现处理的流程图。

图8是示出由图2的HMD进行的显示处理的流程图。

图9是示出本公开内容的第一实施方式中的再现系统的应用示例的图。

图10是示出由图9的PC进行的元数据生成处理的流程图。

图11是示出由图9的服务器进行的视频传输处理的流程图。

图12是示出本公开内容的第二实施方式中的再现系统的配置示例的图。

图13是示出由图12的PC进行的带框的整个天球视频生成处理的流程图。

图14是示出由图12的服务器进行的视频传输处理的流程图。

图15是示出由图12的再现装置进行的再现处理的流程图。

图16是示出由图12的HMD进行的显示处理的流程图。

图17是示出通用个人计算机的配置示例的图。

具体实施方式

在下文中，将参照附图详细地描述本公开内容的优选实施方式。要注意的是，在本说明书和附图中，具有基本上相同的功能配置的部件由相同的附图标记表示，以省略重复的描述。

在下文中，将描述用于实现本技术的方式。将按以下顺序给出描述：

1.本公开内容的概述

2.第一实施方式

3.第一实施方式的应用示例

4.第二实施方式

5.由软件执行的示例

<<1.本公开内容的概述>>

本公开内容旨在在宽视角视频与作为宽视角视频的一部分的平面视频之间进行切换而没有观看的不协调感。

因此，首先，将描述本公开内容的概述。

用户将HMD穿戴在头部上，并且根据用户的头部的移动来显示宽视角视频。考虑一种配置，在该配置中，例如，如图1的左侧部分所示，在头戴式显示器(HMD)的显示单元D上显示包括足球比赛的转播视频的宽视角视频P1。

在这样的配置中，在一些情况下，将图1的左侧部分的宽视角视频P1切换至图1的右侧部分所示的平面视频P2，以放大并且显示区域F'，在该区域F'中，在宽视角视频P1中存在包括持球的球员和正在盯该球员的对手队的球员的两个球员。

要注意的是，宽视角视频P1是已由用于捕获宽视角视频的第一摄像装置捕获的视频，而平面视频P2是具有在宽视角视频P1内的视角并且已由第二摄像装置捕获的视频，该第二摄像装置不同于第一摄像装置，并且捕获具有比视频P1的视角窄的视角的视频。

然而，在预定定时处将如图1的左侧部分所示的宽视角视频P1突然切换至如图1的右侧部分所示的平面视频P2的情况下，观看在显示单元D上显示的视频的用户可以识别出用户正在观看的视频已被切换。

然而，用户可能无法识别在切换之后要显示的平面视频P2相对于紧接在前的宽视角视频P1具有什么位置关系，并且可能感受到不协调感。

因此，在本公开内容中，如图1的中央部分所示，在宽视角视频P1中将与区域F'对应的区域显示为框F，该区域F'成为接下来要切换至的平面视频P2。

然后，在本公开内容中，显示如图1的中央部分所示的那样将框F添加到图1的左侧部分的宽视角视频P1的宽视角视频P1，然后将其切换至图1的右侧部分所示的平面视频P2。

以这种方式，在将宽视角视频P1切换至要显示的平面视频P2紧之前的定时处，与平面视频P2对应的位置被显示为宽视角视频P1中的框F。该配置使用户认识到在下一个定时处要切换至的平面视频P2对应于在切换紧之前的宽视角视频P1中的哪个位置处的视频，并且然后切换该视频。

因此，观看显示单元D的用户识别在宽视角视频P1中显示的框F，以便能够在切换之后观看平面视频P2，同时识别接下来要切换至的平面视频P2与切换紧之前的宽视角视频P1之间的位置关系。

结果，当将宽视角视频P1切换至平面视频P2时，用户可以继续观看而没有不协调感。

<<2.第一实施方式>>

接下来，将参照图2的框图描述本公开内容的第一实施方式中的再现系统的配置示例。

在宽视角视频与作为宽视角视频中的部分视频的平面视频之间进行切换时，根据本公开内容的再现系统将接下来要切换至的平面视频的位置显示为宽视角视频中的框，然后切换至平面视频，以在没有不协调感的情况下在视频之间进行切换。

图2的再现系统1包括整个天球摄像装置11、平面摄像装置12、个人计算机(PC)13、服务器14、再现装置15、头戴式显示器(HMD)16和编码装置21和22。

图2的再现系统1是从场所中继并且分发诸如体育、戏剧等内容的系统，并且整个天球摄像装置11、平面摄像装置12以及个人计算机(PC)13被配置为体育设施、剧院等的场所设施。

此外，再现装置15和HMD 16被配置为接收内容分发的用户侧的设施。

然后，服务器14经由网络从场所设施获取视频作为内容，并且将视频分发至用户侧的设施。

整个天球摄像装置11是以固定状态安装的摄像装置，并且捕获包括相对于水平方向和垂直方向具有180度范围、360度范围等的宽视角视频的整个天球视频，并且将视频输出至编码装置21。编码装置21对整个天球视频进行编码，并且将已编码的整个天球视频输出至服务器14。要注意的是，整个天球摄像装置11可以具有编码装置21的功能，以对捕获的整个天球视频进行编码，并且可以将已编码的整个天球视频输出至服务器14。此外，由整个天球摄像装置11捕获的整个天球视频被编码装置21编码，并且然后被输出至服务器14。然而，在下面的描述中，根据需要省略由编码装置21对整个天球视频进行编码的处理，并且例如，将该处理描述为“整个天球摄像装置11将已捕获的整个天球视频输出至服务器14”。然而，仅省略了该表达，并且实际上，由编码装置21对已由整个天球摄像装置11捕获的整个天球视频进行编码，并且然后输出至服务器14。

平面摄像装置12是设置在摄像装置平台12a上的摄像装置，并且在使用摄像装置平台12a改变视频捕获位置和平移倾斜(pan-tilt)的同时，例如以16:9的水平-垂直比捕获由整个天球摄像装置11捕获的范围中的部分范围作为平面视频，并且将平面视频输出至编码装置22。编码装置22对整个天球视频进行编码，并且将视频已被编码的整个天球视频输出至服务器14。应当注意，平面摄像装置12可以具有编码装置22的功能以对已捕获的平面视频进行编码，并且可以将已编码的平面视频输出至服务器14。进一步，由平面摄像装置12捕获的平面视频由编码装置22编码，并且然后输出至服务器14。然而，在下面的描述中，根据需要省略由编码装置22对平面视频进行编码的处理，并且该处理将被简单地描述为“平面摄像装置12将已捕获的平面视频输出至服务器14”。然而，仅省略了该表达，并且实际上，已由平面摄像装置12捕获的平面视频由编码装置22编码，然后被输出至服务器14。

此外，在本公开内容中，将关于其中由整个天球摄像装置11和平面摄像装置12分别捕获整个天球视频和包括整个天球视频的部分视频的平面视频的示例给出描述。然而，可以使用除了整个天球摄像装置11和平面摄像装置12之外的配置，只要这样的配置能够捕获宽视角视频和包括作为整个天球视频的一部分的部分视频的平面视频即可。

摄像装置平台12a将指示平面摄像装置12的视频捕获位置和平移倾斜方向的信息作为平移倾斜信息输出至PC 13。

PC 13获取从平面摄像装置12的摄像装置平台12a提供的平移倾斜信息，基于平移倾斜信息来生成元数据，并且将元数据输出至服务器14。

更具体地，PC 13包括控制器31、数据控制器32和延迟处理单元33。

控制器31包括处理器、存储器等，并且控制PC 13的整体操作，并且控制数据控制器32和延迟处理单元33。

数据控制器32基于从摄像装置平台12a提供的平移倾斜信息来生成包括平移倾斜信息的元数据，并且将元数据输出至延迟处理单元33。

延迟处理单元33临时存储从数据控制器32提供的元数据，延迟预定时间段，以将定时调整成与由平面摄像装置12捕获的平面视频被输出至服务器14时的定时匹配，并且将元数据输出至服务器14。

即，从平面摄像装置12输出至服务器14的平面视频和包括正在捕获平面视频的平面摄像装置12的平移倾斜信息的元数据在同一定时处被提供给服务器14。

服务器14接收并且存储从整个天球摄像装置11提供的整个天球视频、从平面摄像装置12提供的平面视频以及从PC 13提供的元数据，并且此外，将整个天球视频、平面视频和元数据输出至再现装置13。

更具体地，服务器14包括控制器51、元数据存储单元52、平面视频存储单元53和整个天球视频存储单元54。

控制器51包括处理器、存储器等，并且控制服务器14的整体操作。

控制器51控制元数据存储单元52、平面视频存储单元53和整个天球视频存储单元54的操作。

当从PC 13提供元数据时，控制器51获取元数据，并且使元数据存储单元52存储元数据。此外，控制器51读取在元数据存储单元52中存储的元数据，并且将元数据发送至再现装置15。

当从平面摄像装置12提供平面视频时，控制器51获取平面视频并且使平面视频存储单元53存储平面视频。此外，控制器51读取在平面视频存储单元53中存储的平面视频，并且将平面视频发送至再现装置15。

当从整个天球摄像装置11提供整个天球视频时，控制器51获取整个天球视频，并且使整个天球视频存储单元54存储整个天球视频。此外，控制器51读取在整个天球视频存储单元54中存储的整个天球视频，并且将整个天球视频发送至再现装置15。

再现装置15获取从服务器14提供的整个天球视频、平面视频和元数据，基于来自由用户穿戴的HMD 16的头部跟踪信息来执行渲染，并且将视频输出至HMD 16以供显示。

再现装置15在线路质量良好的情况下使HMD 16显示整个天球视频，并且在线路质量劣化的情况下，根据与服务器14的通信线路的线路质量，使HMD 16显示平面视频。

在这种情况下，在从整个天球视频切换至平面视频时，再现装置15在整个天球视频中将接下来要切换至的平面视频的范围显示为框，以显示接下来要切换至的平面视频在整个天球视频中的哪个位置，并且然后切换至平面视频并显示平面视频。

通过以这种方式从整个天球视频切换至平面视频，用户可以在没有不协调感的情况下观看从整个天球视频切换至平面视频的视频。

要注意的是，当将平面视频切换至整个天球视频时，在切换至整个天球视频的定时处，在整个天球视频中将指示平面视频的范围的框显示预定时段。

通过以这种方式从平面视频切换至整个天球视频，用户可以在没有不协调感的情况下观看从平面视频切换至整个天球视频的视频。

更具体地，再现装置15包括连接控制器71、切换确定单元72、解码单元73、元解析器单元74、视频控制器75、用户接口处理单元76和渲染单元77。

连接控制器71从服务器14获取整个天球视频和平面视频，并且将视频输出至解码单元73。

在这种情况下，连接控制器71向切换确定单元72输出指示用于从服务器14获取整个天球视频的线路的线路质量的信息，例如，关于线路速度的信息、关于正在被接收的整个天球视频和平面视频的剩余缓冲数据量的信息等。

基于从连接控制器71提供的指示线路质量的信息，在例如线路质量如线路速度比预定线路速度快并且比预定质量好的情况下，切换确定单元72向视频控制器75提供用于指示在HMD 16上显示整个天球视频的切换确定信息。此外，在指示线路质量的信息是关于正在接收的整个天球视频和平面视频的剩余缓冲数据量的信息的情况下，当剩余缓冲数据量等于或大于预定阈值时，切换确定单元72可以确定线路质量比预定质量好，并且可以指示在HMD 16上显示整个天球视频。

此外，在线路质量不比预定质量好的情况下，切换确定单元72向视频控制器75提供用于指示在HMD 16上显示平面视频的切换确定信息。

解码单元73对整个天球视频和平面视频进行解码，并且将视频输出至视频控制器75。

元解析器单元74获取从服务器14提供的元数据，并且将元数据输出至视频控制器75。

用户接口处理单元76获取从HMD 16提供的头部跟踪信息，并且将头部跟踪信息输出至视频控制器75。

头部跟踪信息是例如关于穿戴在用户的头部上的HMD 16的位置和方向的信息，并且是指示用户面对的位置和方向的信息。

视频控制器75基于从切换确定单元72提供的切换确定信息、从解码单元73提供的整个天球视频和平面视频、从元解析器单元74提供的元数据以及从用户接口处理单元76提供的头部跟踪信息来确定视频，并且将确定的视频输出至渲染单元77。

渲染单元77渲染从视频控制器75提供的视频，将已渲染的视频输出至HMD 16以供显示。

HMD 16是穿戴在用户头部上的显示装置，并且显示从再现装置15提供的视频。

更具体地，HMD 16包括控制器81、头部跟踪信息获取单元82和显示单元83。

控制器81包括处理器和存储器，并且控制HMD 16的整体操作。

头部跟踪信息获取单元82包括例如运动传感器等，获取关于用户的头部的位置、方向等的信息作为头部跟踪信息，并且将头部跟踪信息发送至再现装置15。

显示单元83包括液晶显示器(LCD)和有机电致发光(EL)，被设置在穿戴HMD 16的用户的观看方向上，并且显示从再现装置15提供的视频。

<整个天球视频捕获处理>

接下来，将参照图3的流程图描述由整个天球摄像装置11进行的整个天球视频捕获处理。

在步骤S11中，整个天球摄像装置11捕获整个天球视频，并且将整个天球视频输出至编码装置21。

在步骤S12中，编码装置21对从整个天球摄像装置11提供的整个天球视频进行编码，并且将已编码的整个天球视频发送至服务器14。

在步骤S13中，整个天球摄像装置11确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S11，并且重复随后的处理。

然后，在步骤S13中，在指示处理的结束的情况下，处理结束。

通过以上处理，整个天球视频由整个天球摄像装置11捕获，由编码装置21编码，并且被连续地发送至服务器14。

<平面视频捕获处理>

接下来，将参照图4的流程图来描述由平面摄像装置12进行的平面视频捕获处理。

在步骤S31中，平面摄像装置12捕获包括由整个天球摄像装置11捕获的整个天球视频的部分视频的平面视频，并且将该平面视频输出至编码装置22。

在步骤S32中，平面摄像装置12的摄像装置平台12a获取平移倾斜信息，平移倾斜信息包括关于作为平面摄像装置12的视频捕获方向的平移倾斜和视频捕获位置的信息。

在步骤S33中，编码装置22对已捕获的平面视频进行编码，并且将已编码的平面视频输出至服务器14。

在步骤S34中，摄像装置平台12a将平移倾斜信息输出至PC 13。

在步骤S35中，平面摄像装置12确定是否已经指示处理的结束。在未指示结束的情况下，处理返回至步骤S31，并且重复随后的处理。

然后，在步骤S35中，在已经指示处理的结束的情况下，处理结束。

通过以上处理，平面视频被平面摄像装置12捕获，由编码装置22编码，并且被发送至服务器14，并且此外，包括捕获平面视频时的定时处的平面摄像装置12的视频捕获位置和关于平移倾斜的信息的平移倾斜信息被输出至PC 13。

<由图2中的PC进行的元数据生成处理>

接下来，将参照图5的流程图描述由图2中的PC 13进行的元数据生成处理。

在步骤S51中，数据控制器32获取从平面摄像装置12的摄像装置平台12a提供的平移倾斜信息。

在步骤S52中，数据控制器32基于已获取的平移倾斜信息来生成元数据，并且将该元数据输出至延迟处理单元33。

在步骤S53中，延迟处理单元33获取从数据控制器32提供的元数据，存储元数据直到将平面摄像装置12中的对应平面视频发送至服务器14的定时，并且延迟输出。

在步骤S54中，延迟处理单元33在将与所存储的元数据中包括的平移倾斜信息对应的平面视频发送至服务器14的定时处，将元数据输出至服务器14。

在步骤S55中，控制器31确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S51，并且重复随后的处理。

然后，在步骤S55中，在已经指示处理的结束的情况下，处理结束。

通过以上处理，生成了基于包括在由平面摄像装置12捕获平面视频时的定时处的视频捕获位置和关于平移倾斜的信息的平移倾斜信息的元数据，并且此外，在将对应的平面视频发送至服务器14的定时处，将元数据输出至服务器14。

结果，平面视频和包括对应的平移倾斜信息的元数据在同一定时处被调整以被发送至服务器14。

<由图2中的服务器进行的视频传输处理>

接下来，将参照图6的流程图描述由图2的服务器14进行的视频传输处理。

在步骤S71中，服务器14的控制器51获取已由整个天球摄像装置11捕获并且已由编码装置21编码的整个天球视频，并且使整个天球视频存储单元54存储整个天球视频。

在步骤S72中，控制器51读取在整个天球视频存储单元54中存储的整个天球视频，并且将整个天球视频输出至再现装置15。

在步骤S73中，控制器51获取已由平面摄像装置12捕获的并且已由编码装置22编码的平面视频，并且使平面视频存储单元53存储平面视频。

在步骤S74中，控制器51读取在平面视频存储单元53中存储的平面视频，并且将平面视频输出至再现装置15。

在步骤S75中，控制器51获取从PC 13提供的元数据，并且使元数据存储单元52存储元数据。

在步骤S76中，控制器51读取在元数据存储单元52中存储的元数据，并且将元数据输出至再现装置15。

在步骤S77中，控制器51确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S71，并且重复随后的处理。

然后，在步骤S77中，在已指示处理的结束的情况下，处理结束。

通过以上处理，已由整个天球摄像装置11捕获并且已由编码装置21编码的整个天球视频、已由平面摄像装置12捕获并且已由编码装置22编码的平面视频和由PC 13生成的元数据分别被发送至再现装置15。

在这种情况下，关于整个天球视频、平面视频和元数据，同一定时处的对应的信息分别被提供给再现装置15。

因此，图6的流程图中的步骤S71和S72的处理、步骤S73和S74的处理以及步骤S75和S76的处理是基本上并行的处理。

<由图2中的再现装置进行的再现处理>

接下来，将参照图7的流程图描述由图2的再现装置15进行的再现处理。

在步骤S111中，连接控制器71从服务器14获取编码的整个天球视频和平面视频，并且将视频输出至解码单元73。

在步骤S112中，解码单元73对从连接控制器71提供并且被编码的整个天球视频和平面视频进行解码，并且将已解码的视频输出至视频控制器75。即，视频控制器75获取已解码的整个天球视频和平面视频。

在步骤S113中，元解析器单元74获取从服务器14提供的元数据，并且将元数据输出至视频控制器75。即，视频控制器75获取元数据。

在步骤S114中，视频控制器75从HMD 16获取头部跟踪信息。

在步骤S115中，连接控制器71向切换确定单元72输出关于例如正在接收的整个天球视频和平面视频的线路速度和剩余缓冲数据量的信息，作为来自服务器14的关于整个天球视频的线路质量的信息。即，切换确定单元72获取关于视频的线路速度和剩余缓冲数据量的信息，作为关于线路质量的信息。

在步骤S116中，切换确定单元72基于关于包括正在接收的整个天球视频和平面视频的线路速度或剩余缓冲数据量的线路质量的信息来确定线路速度是否比预定速度快以及剩余缓冲数据量是否等于或大于预定阈值，以确定线路质量是否足以能够再现整个天球视频，即是否再现整个天球视频。

在步骤S116中确定线路质量足以再现整个天球视频的情况下，切换确定单元72将用于指示整个天球视频的再现的切换确定信息输出至视频控制器75。处理进行至步骤S117。

在步骤S117中，视频控制器75基于用于指示整个天球视频的再现的切换确定信息和头部跟踪信息来选择已解码的整个天球视频，并且将已选择的整个天球视频输出至渲染单元77。

在步骤S118中，渲染单元77渲染从再现装置15提供的整个天球视频，并且将已渲染的整个天球视频输出至HMD 16以供显示。

在步骤S119中，视频控制器75确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S111，并且重复随后的处理。

然后，在步骤S119中，在确定已指示结束的情况下，处理结束。

另一方面，在步骤S116中确定线路质量不足以再现整个天球视频的情况下，切换确定单元72将用于指示平面视频的再现的切换确定信息输出至视频控制器75，并且处理进行到步骤S120。

在步骤S120中，视频控制器75基于切换确定信息来读取在元数据中包括的指示平面摄像装置12的视频捕获位置和方向的平移倾斜信息，识别平面视频在整个天球视频中的位置并且设置指示整个天球视频中的对应位置的框的显示位置和大小。

在步骤S121中，视频控制器75生成已基于头部跟踪信息、已解码的整个天球视频以及关于框的位置和大小的信息添加指示与平面视频对应的位置和大小的框的整个天球视频，并且将具有该框的整个天球视频输出至渲染单元77。

在步骤S122中，渲染单元77渲染具有指示与平面视频对应的位置和大小的框的整个天球视频，并且将具有框的整个天球视频输出至HMD 16以供显示。

在步骤S123中，视频控制器75生成用于从整个天球视频过渡至平面视频的过渡视频。

用于从整个天球视频过渡至平面视频的过渡视频是例如以下处理中的视频：将在整个天球视频中显示为框的平面视频中的区域逐渐放大并且过渡至平面视频。整个天球视频和平面视频用于例如插值生成。

在步骤S124中，渲染单元77渲染用于从整个天球视频过渡至平面视频的过渡视频，并且将过渡视频输出至HMD 16以供显示。

在步骤S125中，视频控制器75将已解码的平面视频输出至渲染单元77。

在步骤S126中，渲染单元77渲染平面视频，并且将平面视频输出至HMD 16以供显示。

即，通过步骤S120至S126的处理，在HMD 16中，在添加指示平面视频的对应位置的框并且显示整个天球视频之后，显示用于过渡至平面视频的过渡视频，然后切换至平面视频的显示。

在步骤S127中，连接控制器71从服务器14获取整个天球视频和平面视频，并且将视频输出至解码单元73。

在步骤S128中，解码单元73对从连接控制器71提供的整个天球视频和平面视频进行解码，并且将已解码的整个天球视频和平面视频输出至视频控制器75。即，视频控制器75获取已解码的整个天球视频和平面视频。

在步骤S129中，元解析器单元74获取从服务器14提供的元数据，并且将元数据输出至视频控制器75。即，视频控制器75获取元数据。

在步骤S130中，视频控制器75从HMD 16获取头部跟踪信息。

在步骤S131中，连接控制器71向切换确定单元72输出关于例如正在接收的整个天球视频和平面视频的线路速度或剩余缓冲数据量的信息，作为来自服务器14的关于整个天球视频的线路质量的信息。即，连接控制器71获取关于视频的线路速度或剩余缓冲数据量的信息，作为关于线路质量的信息。

在步骤S132中，切换确定单元72根据关于包括正在接收的整个天球视频和平面视频的线路速度和剩余缓冲数据量的线路质量的信息来确定线路质量是否足以能够再现整个天球视频，即，是否再现整个天球视频。

在步骤S132中确定线路质量不足以再现整个天球视频的情况下，切换确定单元72将用于指示平面视频的再现的切换确定信息输出至视频控制器75。处理进行至步骤S133。

在步骤S133中，视频控制器75确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S125，并且重复随后的处理。

然后，在步骤S133中，在确定已指示结束的情况下，处理结束。

即，在不能获得用于再现整个天球视频的足够的线路质量的状态继续的情况下，重复步骤S125至S133的处理，并且连续渲染平面视频并且将其显示在HMD 16上。

此外，在步骤S132中，在确定线路质量足以再现整个天球视频的情况下，切换确定单元72将用于指示整个天球视频的再现的切换确定信息输出至视频控制器75。处理进行至步骤S134。

在步骤S134中，视频控制器75生成用于从平面视频过渡至整个天球视频的过渡视频，并且将已生成的过渡视频输出至渲染单元77。

用于从平面视频过渡至整个天球视频的过渡视频是例如以下处理中的视频：将平面视频逐渐缩小以以对应位置和大小嵌入在整个天球视频中，并且过渡至整个天球视频。整个天球视频和平面视频用于例如插值生成。

在步骤S135中，渲染单元77将过渡视频输出至HMD 16以供显示。

在步骤S136中，视频控制器75读取在元数据中包括的指示平面摄像装置12的视频捕获位置和方向的平移倾斜信息，识别平面视频在整个天球视频中的位置，并且设置指示整个天球视频中的对应位置的框的显示位置和大小。

在步骤S137中，视频控制器75生成已基于头部跟踪信息、已解码的整个天球视频以及关于框的位置和大小的信息添加指示与平面视频对应的位置和大小的框的整个天球视频，并且将具有该框的整个天球视频输出至渲染单元77。

在步骤S138中，渲染单元77将已添加框的整个天球视频输出至HMD 16以供显示。处理返回至步骤S117。

即，通过整个天球视频过渡至平面视频的情况的相反处理，同样当平面视频过渡至整个天球视频时，平面视频过渡至整个天球视频，并且然后在整个天球视频中临时显示与平面视频对应的框，使得可以识别在整个天球视频中已显示在哪个位置处的平面视频。

注意，例如，在上文中，已经关于整个天球视频中的与接下来要切换至的平面视频对应的位置和大小由包括图1中的框F的显示信息表示的示例给出描述。然而，除框之外的显示信息也可以是可应用的，只要可以表示整个天球视频中的与接下来要切换至的平面视频对应的位置和大小即可。例如，对应区域可以被半透明地着色，或者仅对应区域可以被显示为黑白视频。

此外，根据用户穿戴HMD 16的方向，在用户的视野中，不存在整个天球视频中的接下来要切换至的平面视频的区域。因此，存在不能显示指示与接下来要切换至的平面视频对应的位置和大小的框的可能性。

在这种情况下，例如，可以等待从整个天球视频切换至平面视频，直到指示与接下来要切换至的平面视频对应的位置和大小的框可以显示在用户的视野中，并且然后可以进行切换。

替选地，例如，在从整个天球视频切换至平面视频时，临时生成其中可以观看到已添加框的整个天球视频的整体的视频，并且将该视频显示为过渡视频。在强制地使用户观看已添加框的视频之后，可以通过过渡至平面视频来进行切换。

此外，在上文中，已经关于其中作为整个天球视频的线路质量的线路速度或正在接收的整个天球视频和平面视频的剩余缓冲数据量用作用于在整个天球视频的显示与平面视频的显示之间进行切换的参考的示例给出描述。然而，可以利用另一参考来进行切换，例如，可以响应于用户的指令来进行切换，或者可以在根据内容的展示等显示预定的特定场景时进行切换。

<由图2中的HMD进行的显示处理>

接下来，将参照图8的流程图描述由图2的HMD 16进行的显示处理。

在步骤S151中，HMD 16的头部跟踪信息获取单元82获取用户的头部跟踪信息。

在步骤S152中，头部跟踪信息获取单元82将已获取的头部跟踪信息输出至再现装置15。

在步骤S153中，控制器81获取从再现装置15提供的整个天球视频、平面视频或过渡视频，并且使显示单元83显示视频。

在步骤S154中，控制器81确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S151，并且重复随后的处理。

然后，在步骤S154中，在确定已指示结束的情况下，处理结束。

通过以上一系列处理，获取头部跟踪信息，并且将其连续地输出至再现装置15，并且此外，还获取从再现装置15提供的整个天球视频、平面视频或过渡视频，并且将其连续地显示在显示单元83上。

因此，根据线路质量切换并显示整个天球视频或平面视频。在进行切换时，在整个天球视频中显示位于对应平面视频的位置并具有对应平面视频的大小的框。此外，显示过渡视频，然后将过渡视频切换至平面视频。

因此，即使当将整个天球视频切换至平面视频时，用户也可以识别出已切换至整个天球视频中的哪个位置处的平面视频。

此外，当将平面视频切换至整个天球视频时，显示过渡视频，并且然后显示已添加框的整个天球视频。该配置使得能够识别出整个天球视频是从已切换至的、整个天球视频中的哪个位置处的平面视频切换的。

结果，使得能够在没有观看的不协调感的情况下在宽视角视频与作为宽视角视频的一部分的平面视频之间进行切换。

<<3.第一实施方式的应用示例>>

在上文中，已经关于其中PC 13的延迟处理单元33使平面摄像装置12捕获包括平移倾斜信息的元数据以及由编码装置21编码和输出的平面视频和定时被调整的示例给出描述。然而，服务器14可以生成指示平面视频的定时的时间信息，可以在元数据中包括该信息，并且可以将元数据输出至再现装置15。

利用这样的配置，在再现装置15中，在选择平面视频时，可以根据包括在元数据中的时间信息来使用对应的平面视频和元数据。

图9示出了再现系统1的配置示例，其中服务器14生成指示平面视频的定时的时间信息，将时间信息包括在元数据中，并且将元数据输出至再现装置15。

在图9的再现系统1中，PC 13中省略了延迟处理单元33，并且此外，在服务器14中，代替元数据存储单元52，提供了接收元数据存储单元91、视频监测单元92、时间信息生成单元93以及发送元数据存储单元94。

即，在图9的PC 13中，已生成的元数据在没有延迟调整的情况下被输出至服务器14。因此，在PC 13中，可以省略延迟处理单元33等。

此外，接收元数据存储单元91由控制器51控制，并且将从PC 13提供的元数据存储为接收元数据。

视频监测单元92监测平面视频被存储在平面视频存储单元53中的定时，并且将指示平面视频被存储时的定时的信号输出至时间信息生成单元93。

时间信息生成单元93基于指示从视频监测单元92提供的平面视频被存储在平面视频存储单元53中时的定时的信号来生成时间信息，读取存储在接收元数据存储单元91中的接收元数据，添加已生成的时间信息，并且使发送元数据存储单元94存储为发送元数据。

然后，控制器51读取在发送元数据存储单元94中存储的发送元数据，并且将其作为元数据输出至再现装置15。

在再现装置15中，在基于切换确定信息选择平面视频的情况下，可以通过选择包括对应时间信息的元数据来使用与平面视频对应的平移倾斜信息。

<由图9中的PC进行的元数据生成处理>

接下来，将参照图10的流程图描述由图9的PC 13进行的元数据生成处理。

注意，图10的流程图中的步骤S171至S174的处理与图5的步骤S51、S52、S54和S55的处理类似。因此，将省略其描述。

即，在图10的元数据生成处理中，省略了由延迟处理单元33在图5的元数据生成处理中的步骤S53中对元数据的延迟处理。

结果，可以省略由延迟处理单元33进行的延迟处理。

<由图9中的服务器进行的视频传输处理>

接下来，将参照图11的流程图描述由图9的服务器14进行的视频传输处理。

在步骤S191中，服务器14的控制器51获取已由整个天球摄像装置11捕获并且已由编码装置21编码和提供的整个天球视频，并且使整个天球视频存储单元54存储整个天球视频。

在步骤S192中，控制器51读取在整个天球视频存储单元54中存储的整个天球视频，并且将整个天球视频输出至再现装置15。

在步骤S193中，控制器51获取从PC 13提供的元数据，并且使接收元数据存储单元91存储为接收元数据。

在步骤S194中，控制器51获取已由平面摄像装置12捕获并且已由编码装置22编码和提供的平面视频，并且使平面视频存储单元53存储平面视频。

在步骤S195中，视频监测单元92将指示已由平面摄像装置12捕获并且已由编码装置22编码和提供的平面视频被存储在平面视频存储单元53中时的定时的信号输出至时间信息生成单元93。

在步骤S196中，时间信息生成单元93生成接收从视频监测单元92提供的信号的定时处的时间信息。

在步骤S197中，时间信息生成单元93读取已存储在接收元数据存储单元91中的接收元数据，添加已生成的时间信息，并且使发送元数据存储单元94存储为发送元数据。

在步骤S198中，控制器51读取在平面视频存储单元53中存储的平面视频，并且将平面视频输出至再现装置15。

在步骤S199中，控制器51读取在发送元数据存储单元94中存储的发送元数据，并且将发送元数据作为元数据输出至再现装置15。

在步骤S200中，控制器51确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S191，并且重复随后的处理。

然后，在步骤S200中，在已指示处理的结束的情况下，处理结束。

通过以上处理，除了整个天球视频和平面视频之外，已被添加与获取平面视频时的定时对应的时间信息的元数据也被发送至再现装置15。

应当注意，在再现装置15中，在处理平面视频时，包括在包括相同时间信息的元数据中的平移倾斜信息被用于执行与图7的再现处理类似的处理。因此，将省略对再现处理的描述。

<<4.第二实施方式>>

在上文中，已经关于以下示例给出描述：其中在整个天球视频、平面视频和元数据被提供给再现装置15的情况下以及在再现装置15中当根据线路质量将整个天球视频切换至平面视频时，基于元数据在整个天球视频中的与接下来要切换至并显示的平面视频对应的位置处添加并且显示框。

然而，在PC 13中，可以生成在整个天球视频中已添加指示平面视频的位置的框的带框的整个天球视频，并且除了整个天球视频和平面视频之外，还可以将带框的整个天球视频提供给再现装置15，使得再现装置15可以切换和显示视频。

图12示出了再现系统1的配置示例，其中，在PC 13中，生成了在整个天球视频中已添加指示平面视频的位置的框的带框的整个天球视频，并且除了整个天球视频和平面视频之外，还将带框的整个天球视频提供给再现装置15，使得再现装置15切换并显示视频。

在图12的再现系统1中，代替图2的PC 13的数据控制器32和延迟处理单元33，提供了延迟处理单元111、合成处理单元112和数据控制器113。该配置与图2中的再现系统1不同。

此外，在图12的再现系统1中，代替图2的服务器14中的元数据存储单元52，提供了带框的整个天球视频存储单元121。此外，在再现装置15中省略了元解析器单元74。该配置与图2中的再现系统1不同。

PC 13的延迟处理单元111临时存储已由整个天球摄像装置11捕获的整个天球视频，并且将整个天球视频输出至合成处理单元112以匹配整个天球视频从整个天球摄像装置11输出时的定时。

数据控制器113基于从摄像装置平台12a提供的平移倾斜信息来获得平面视频在整个天球视频中的位置和大小，生成用于识别对应范围的框数据，并且将框数据输出至合成处理单元112。

合成处理单元112基于从数据控制器113提供的框数据，将与平面视频对应的框的视频添加到整个天球视频，以生成带框的整个天球视频，并且将带框的整个天球视频输出至服务器14。

服务器14的控制器51获取从PC 13提供的带框的整个天球视频，并且使带框的整个天球视频存储单元121存储带框的整个天球视频。

然后，控制器51读取存储在带框的整个天球视频存储单元121中的带框的整个天球视频，并且将带框的整个天球视频输出至再现装置15。

因此，图12的再现装置15中的连接控制器71除了从服务器14提供的整个天球视频和平面视频之外，还获取带框的整个天球视频，并且将视频输出至解码单元73。

此外，除了整个天球视频和平面视频之外，解码单元73还对带框的整个天球视频进行解码，并且将视频输出至视频控制器75。

视频控制器75基于从切换确定单元72提供的切换确定信息，选择已解码的整个天球视频、平面视频和带框的整个天球视频中的任何一个，并且将所选择的一个视频输出至渲染单元77。

<带框的整个天球视频生成处理>

接下来，将参照图13的流程图描述PC 13中的带框的整个天球视频生成处理。

应当注意，带框的整个天球视频生成处理是在PC 13上执行的处理，而不是已参照图5的流程图描述的元数据生成处理。

在步骤S221中，数据控制器113获取从平面摄像装置12的摄像装置平台12a提供的平移倾斜信息。

在步骤S222中，数据控制器113基于已获取的平移倾斜信息，生成关于整个天球视频中的与平面视频对应的框的位置和大小的信息作为框数据，并且将框数据输出至合成处理单元112。

在步骤S223中，延迟处理单元111获取从整个天球摄像装置11提供的整个天球视频，临时存储整个天球视频，延迟预定时段，并且然后将整个天球视频输出至合成处理单元112。

在步骤S224中，合成处理单元112基于框数据来设置整个天球视频上的与平面视频对应的框的位置和大小。

在步骤S225中，合成处理单元112将已设置的位置和大小的框添加到整个天球视频上，生成带框的整个天球视频，对带框的整个天球视频进行编码，并且然后将带框的整个天球视频输出至服务器14。

在步骤S226中，控制器31确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S221，并且重复随后的处理。

然后，在步骤S226中，在已指示处理的结束的情况下，处理结束。

通过以上处理，生成在由平面摄像装置12捕获平面视频时的定时处的基于平移倾斜信息的框数据，并且此外，还生成已基于框数据添加指示对应平面视频的位置和大小的框的带框的整个天球视频，并且然后将带框的整个天球视频输出至服务器14。

结果，除了整个天球视频和平面视频之外，带框的整个天球视频被发送至服务器14。

<由图12中的服务器进行的视频传输处理>

接下来，将参照图14的流程图描述由图12的服务器14进行的视频传输处理。

注意，图14的流程图中的步骤S241至S244和S247的处理与已经参照图6的流程图描述的步骤S71至S74和S77的处理类似。因此，将省略其描述。

即，在步骤S245中，控制器51获取从PC 13提供的带框的整个天球视频，并且使带框的整个天球视频存储单元121存储带框的整个天球视频。

在步骤S246中，控制器51读取存储在带框的整个天球视频存储单元121中的带框的整个天球视频，并且将带框的整个天球视频输出至再现装置15。

通过以上处理，分别从整个天球摄像装置11、平面摄像装置12和PC 13提供整个天球视频、平面视频和带框的整个天球视频，并且将其发送至再现装置15。

在这种情况下，关于整个天球视频、平面视频和带框的整个天球视频，将同一定时处的各自对应的信息提供给再现装置15。

因此，图6的流程图中的步骤S241和S242的处理、步骤S243和S244的处理以及步骤S245和S246的处理是基本上并行的处理。

<由图12中的再现装置进行的再现处理>

接下来，将参照图15的流程图描述由图12的再现装置15进行的再现处理。

在步骤S261中，连接控制器71从服务器14获取整个天球视频、平面视频以及带框的整个天球视频，并且将视频输出至解码单元73。

在步骤S262中，解码单元73对已从连接控制器71提供的整个天球视频、平面视频和带框的整个天球视频进行解码，并且将视频输出至视频控制器75。即，视频控制器75获取已解码的整个天球视频、平面视频和带框的整个天球视频。

在步骤S263中，视频控制器75从HMD 16获取头部跟踪信息。

在步骤S264中，连接控制器71向切换确定单元72输出关于例如正在接收的整个天球视频和平面视频的线路速度或剩余缓冲数据量的信息，作为来自服务器14的关于整个天球视频的线路质量的信息。即，切换确定单元72获取关于视频的线路速度和剩余缓冲数据量的信息，作为关于线路质量的信息。

在步骤S265中，切换确定单元72根据关于包括正在接收的整个天球视频和平面视频的线路速度以及剩余缓冲数据量的线路质量的信息来确定线路速度是否比预定速度快或者剩余缓冲数据量是否等于或大于预定阈值，以确定线路质量是否足以能够再现整个天球视频，即是否再现整个天球视频。

在步骤S265中确定线路质量足以再现整个天球视频的情况下，切换确定单元72将用于指示整个天球视频的再现的切换确定信息输出至视频控制器75。处理进行至步骤S266。

在步骤S266中，视频控制器75基于切换确定信息将已解码的整个天球视频输出至渲染单元77。

在步骤S267中，渲染单元77渲染整个天球视频，并且将整个天球视频输出至HMD16以供显示。

在步骤S268中，视频控制器75确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S261，并且重复随后的处理。

然后，在步骤S268中，在确定已指示结束的情况下，处理结束。

另一方面，在步骤S265中确定线路质量不足以再现整个天球视频的情况下，处理进行至步骤S269。

在步骤S269中，视频控制器75将已解码的带框的整个天球视频输出至渲染单元77。

在步骤S270中，渲染单元77渲染带框的整个天球视频，并且将带框的整个天球视频输出至HMD 16以供显示。

在步骤S271中，视频控制器75生成用于从整个天球视频过渡至平面视频的过渡视频，并且将过渡视频输出至渲染单元77。

在步骤S272中，渲染单元77渲染用于从整个天球视频过渡至平面视频的过渡视频，并且将过渡视频输出至HMD 16以供显示。

在步骤S273中，视频控制器75将已解码的平面视频输出至渲染单元77。

在步骤S274中，渲染单元77渲染平面视频，并且将平面视频输出至HMD 16以供显示。

即，通过步骤S270至S274的处理，在HMD 16中，在显示已添加指示整个天球视频上的与平面视频对应的位置的框的带框的整个天球视频之后，显示用于过渡至平面视频的过渡视频，并且将过渡视频切换以显示平面视频。

在步骤S275中，连接控制器71从服务器14获取整个天球视频、平面视频和带框的整个天球视频，并且将视频输出至解码单元73。

在步骤S276中，解码单元73对已从连接控制器71提供的整个天球视频、平面视频和带框的整个天球视频进行解码，并且将视频输出至视频控制器75。即，视频控制器75获取已解码的整个天球视频、平面视频和带框的整个天球视频。

在步骤S277中，视频控制器75从HMD 16获取头部跟踪信息。

在步骤S278中，连接控制器71向切换确定单元72输出例如关于正在接收的整个天球视频和平面视频的线路速度或剩余缓冲数据量的信息，作为来自服务器14的关于整个天球视频的线路质量的信息。即，切换确定单元72获取关于视频的线路速度和剩余缓冲数据量的信息，作为关于线路质量的信息。

在步骤S279中，切换确定单元72根据关于包括正在接收的整个天球视频和平面视频的线路速度和剩余缓冲数据量的线路质量的信息来确定线路速度是否比预定速度快以及剩余缓冲数据量是否等于或大于预定阈值，以确定线路质量是否足以能够再现整个天球视频，即是否再现整个天球视频。

在步骤S279中确定线路质量不足以再现整个天球视频的情况下，切换确定单元72将用于指示平面视频的再现的切换确定信息输出至视频控制器75。处理进行至步骤S280。

在步骤S280中，视频控制器75确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S273，并且重复随后的处理。

然后，在步骤S280中，在确定已指示结束的情况下，处理结束。

即，在不能获得用于再现整个天球视频的足够的线路质量的状态继续的情况下，重复步骤S273至S280的处理，并且连续渲染平面视频并且将其显示在HMD 16上。

此外，在步骤S279中，在确定线路质量足以再现整个天球视频的情况下，切换确定单元72将用于指示整个天球视频的再现的切换确定信息输出至视频控制器75。处理进行至步骤S281。

在步骤S281中，视频控制器75生成用于从平面视频过渡至整个天球视频的过渡视频，并且将过渡视频输出至渲染单元77。

在步骤S282中，渲染单元77将过渡视频输出至HMD 16以供显示。

在步骤S283中，视频控制器75将已解码的带框的整个天球视频输出至渲染单元77。

在步骤S284中，渲染单元77将带框的整个天球视频输出至HMD 16以供显示。处理返回到步骤S266。

即，通过整个天球视频过渡至平面视频的情况的相反处理，同样在平面视频过渡至整个天球视频的情况下，在通过过渡视频过渡至整个天球视频之后，显示带框的整个天球视频，并且然后显示整个天球视频。

<由图12中的HMD进行的显示处理>

接下来，将参照图16的流程图描述由图12的HMD 16进行的显示处理。

在步骤S291中，HMD 16的头部跟踪信息获取单元82获取用户的头部跟踪信息。

在步骤S292中，头部跟踪信息获取单元82将已获取的头部跟踪信息输出至再现装置15。

在步骤S293中，控制器81获取从再现装置15提供的整个天球视频、平面视频、过渡视频或带框的整个天球视频，并且使显示单元83进行显示。

在步骤S294中，控制器81确定是否已指示处理的结束。在未指示结束的情况下，处理返回至步骤S291，并且重复随后的处理。

然后，在步骤S294中，在确定已指示结束的情况下，处理结束。

通过以上一系列处理，获取头部跟踪信息，并且将其连续地输出至再现装置15，并且此外，还获取从再现装置15提供的整个天球视频、平面视频或带框的整个天球视频，并且将其连续地显示在显示单元83上。

因此，根据线路质量切换整个天球视频或平面视频。当切换时，显示在整个天球视频中已添加对应平面视频的位置和大小的框的带框的整个天球视频，使得即使当整个天球视频被切换至平面视频时，用户也可以识别出已切换至哪个位置处的平面视频。

此外，同样在将平面视频切换至整个天球视频时，在过渡之后临时显示带框的整个天球视频，以使得能够识别出整个天球视频是从整个天体视频中的哪个位置处的平面视频切换的。

结果，使得能够在没有观看的不协调感的情况下在宽视角视频与作为宽视角视频的一部分的平面视频之间进行切换。

<<5.要由软件执行的示例>>

顺便提及，上述一系列处理可以由硬件执行，但是也可以由软件执行。在通过软件执行一系列处理的情况下，构成软件的程序被安装到嵌入专用硬件中的计算机中，或者各种程序从记录介质被安装到例如能够执行各种功能的通用计算机等中。

图17示出了通用计算机的配置示例。这样的个人计算机包括内置的中央处理单元(CPU)1001。输入和输出接口1005经由总线1004与CPU 1001连接。只读存储器(ROM)1002和随机存取存储器(RAM)1003与总线1004连接。

输入和输出接口1005与包括用于用户输入操作命令的诸如键盘和鼠标的输入装置的输入单元1006、用于将处理操作画面和处理结果的图像输出至显示装置的输出单元1007、包括用于存储程序和各种数据的硬盘驱动器等的存储单元1008以及包括局域网(LAN)适配器等并经由由因特网表示的网络执行通信处理的通信单元1009连接。还连接有驱动器1010，其用于从磁盘(包括软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字多功能光盘(DVD))、磁光盘(包括迷你盘(MD))或可移除存储介质1011(例如半导体存储器)读取数据并将数据写入磁盘(包括软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字多功能光盘(DVD))、磁光盘(包括迷你盘(MD))或可移除存储介质1011(例如半导体存储器)中。

CPU 1001根据存储在ROM 1002中的程序或已从诸如磁盘、光盘、磁光盘或半导体存储器的可移除存储介质1011中读取、安装到存储单元1008中并且从存储单元1008加载到RAM 1003中的程序来执行各种处理。例如，在RAM 1003中，还适当地存储CPU 1001执行各种处理所需的数据。

在如上所述配置的计算机中，CPU 1001经由输入和输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中，并且执行上述一系列处理。

例如，可以将由计算机(CPU 1001)执行的程序记录到可移除存储介质1011中，以将其作为封装介质等提供。此外，还可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质提供程序。

在计算机上，通过将可移除存储介质1011附接到驱动器1010上，可以经由输入和输出接口1005将程序安装到存储单元1008中。此外，程序可以经由有线或无线传输介质由通信单元1009接收并安装到存储单元1008中。此外，可以将程序预先安装到ROM 1002或存储单元1008中。

要注意的是，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行地或在必要定时处(例如，当进行调用时)处理的程序。

注意，图17中的CPU 1001实现了图2中的控制器31、51、81和视频控制器75的功能。

此外，在本说明书中，系统是指多个部件(装置、模块(部件)等)的集合，并且所有部件是否都包括在同一壳体中并不重要。因此，容纳在分开的壳体中并且经由网络连接的多个装置和其中多个模块被容纳在一个壳体中的装置两者都是系统。

要注意的是，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种改变。

例如，本公开内容可以被配置为云计算，在元计算中多个装置经由网络共享一个功能并且协作地进行处理。

此外，以上提及的流程图中描述的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。

此外，在一个步骤包括多个处理的情况下，可以由一个装置执行或由多个装置共享在这样的一个步骤中包括的多个处理。

要注意的是，本公开内容还可以具有以下配置。

<1>一种再现装置，包括：

切换确定单元，其被配置成确定是否满足用于在宽视角视频与部分视频之间切换显示的切换条件，所述部分视频与所述宽视角视频的部分视角对应；以及

视频控制器，其被配置成基于所述切换确定单元的确定结果来选择性地显示所述宽视角视频和所述部分视频，

其中，当基于所述切换确定单元的确定结果在所述宽视角视频与所述部分视频之间切换显示时，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

<2>在以上的<1>中所述的再现装置，还包括：

视频获取单元，其被配置成从外部提供的服务器获取所述宽视角视频和所述部分视频。

<3>在以上的<2>中所述的再现装置，

其中，基于与所述视频获取单元从中获取所述宽视角视频的所述服务器的线路质量，所述切换确定单元确定是否满足用于在所述宽视角视频与所述部分视频之间切换显示的所述切换条件。

<4>在以上的<3>中所述的再现装置，

其中，所述切换条件包括以下项中的至少一个：所述线路质量是否比预定线路速度快；以及所述宽视角视频和所述部分视频的剩余缓冲数据量是否比预定阈值大。

<5>在以上的<2>中所述的再现装置，还包括：

元数据获取单元，其被配置成从所述服务器获取用于识别与所述宽视角视频对应的所述部分视频的视角的位置和大小的元数据，

其中，所述视频控制器显示已基于所述元数据添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

<6>在以上的<5>中所述的再现装置，

其中，所述元数据基于平移倾斜信息来生成，所述平移倾斜信息包括关于捕获所述部分视频的部分视频捕获单元的视频捕获位置和平移倾斜的信息。

<7>在以上的<5>中所述的再现装置，

其中，所述元数据获取单元在被调整成用于在与所述视频获取单元获取所述部分视频的定时相同的定时处获取所述元数据的状态下获取所述元数据。

<8>在以上的<5>中所述的再现装置，

其中，所述元数据获取单元获取包括提供对应的所述部分视频时的时间信息的元数据，并且

所述视频控制器使用包括与所述部分视频对应的所述时间信息的所述元数据来显示已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

<9>在以上的<1>至<8>中任一项所述的再现装置，

其中，指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息包括指示与所述宽视角视频对应的所述部分视频的视角的框。

<10>在以上的<2>中所述的再现装置，

其中，除了所述宽视角视频和所述部分视频之外，所述视频获取单元还获取已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

<11>在以上的<10>中所述的再现装置，

其中，通过基于包括与捕获所述部分视频的部分视频捕获单元的平移倾斜有关的信息和视频捕获位置的平移倾斜信息将所述显示信息添加至所述宽视角视频，来生成已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

<12>在以上的<1>中所述的再现装置，

其中，所述切换确定单元基于包括所述宽视角视频的内容的展示内容来确定是否满足用于在所述宽视角视频与所述部分视频之间切换显示的所述切换条件。

<13>在以上的<1>至<12>中任一项所述的再现装置，

其中，在显示所述宽视角视频的情况下，在紧接着基于所述切换确定单元的确定结果而将显示从所述宽视角视频切换至所述部分视频之前的定时处，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

<14>在以上的<13>中所述的再现装置，

其中，当将所述显示从所述宽视角视频切换至所述部分视频时，所述视频控制器显示用于从所述宽视角视频过渡至所述部分视频的过渡视频。

<15>在以上的<14>中所述的再现装置，

其中，当将所述显示从所述宽视角视频切换至所述部分视频时，所述视频控制器显示用于在扩大所述宽视角视频的视角的同时过渡至所述部分视频的过渡视频。

<16>在以上的<1>至<12>中任一项所述的再现装置，

其中，在显示所述部分视频的情况下，在紧接着在基于所述切换确定单元的确定结果而将所述显示从所述部分视频切换至所述宽视角视频之后的定时处，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

<17>在以上的<16>中所述的再现装置，

其中，当将所述显示从所述部分视频切换至所述宽视角视频时，所述视频控制器显示用于从所述部分视频过渡至所述宽视角视频的过渡视频。

<18>在以上的<17>中所述的再现装置，

其中，当将所述显示从所述部分视频切换至所述宽视角视频时，所述视频控制器显示用于在减小所述部分视频的视角的同时过渡至所述宽视角视频的过渡视频。

<19>一种再现方法，包括：

用于确定是否满足用于在宽视角视频与部分视频之间切换显示的切换条件的切换确定处理，所述部分视频与所述宽视角视频的部分视角对应；以及

用于基于所述切换确定处理的确定结果来选择性地显示所述宽视角视频和所述部分视频的视频控制处理，

其中，当基于所述切换确定处理的确定结果在所述宽视角视频与所述部分视频之间切换显示时，所述视频控制处理显示已添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

<20>一种程序，所述程序用于使计算机用作：

切换确定单元，其被配置成确定是否满足用于在宽视角视频与部分视频之间切换显示的切换条件，所述部分视频与所述宽视角视频的部分视角对应；以及

视频控制器，其被配置成基于所述切换确定单元的确定结果来选择性地显示所述宽视角视频和所述部分视频，

其中，当基于所述切换确定单元的确定结果在所述宽视角视频与所述部分视频之间切换显示时，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

附图标记列表

1 再现系统

11 整个天球摄像装置

12 平面摄像装置

13 PC

14 服务器

15 再现装置、HMD

31 控制器

32 数据控制器

33 延迟处理单元

51 控制器

52 元数据存储单元

53 平面视频存储单元

54 整个天球视频存储单元

71 连接控制器

72 切换确定单元

73 解码单元

74 元解析器单元

75 视频控制器

76 呈现单元

81 控制器

82 头部跟踪信息获取单元

83 显示单元

91 接收元数据存储单元

92 视频监测单元

93 时间信息生成单元

94 发送元数据存储单元

111 延迟处理单元

112 合成处理单元

113 数据控制器

121 带框的整个天球视频存储单元

Claims (20)

1.一种再现装置，包括：

切换确定单元，其被配置成确定是否满足用于在宽视角视频与部分视频之间切换显示的切换条件，所述部分视频与所述宽视角视频的部分视角对应；以及

视频控制器，其被配置成基于所述切换确定单元的确定结果来选择性地显示所述宽视角视频和所述部分视频，

其中，当基于所述切换确定单元的确定结果在所述宽视角视频与所述部分视频之间切换显示时，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

2.根据权利要求1所述的再现装置，还包括：

视频获取单元，其被配置成从外部提供的服务器获取所述宽视角视频和所述部分视频。

3.根据权利要求2所述的再现装置，

其中，基于与所述视频获取单元从中获取所述宽视角视频的所述服务器的线路质量，所述切换确定单元确定是否满足用于在所述宽视角视频与所述部分视频之间切换显示的所述切换条件。

4.根据权利要求3所述的再现装置，

其中，所述切换条件包括以下项中的至少一个：所述线路质量是否比预定线路速度快；以及所述宽视角视频和所述部分视频的剩余缓冲数据量是否比预定阈值大。

5.根据权利要求2所述的再现装置，还包括：

元数据获取单元，其被配置成从所述服务器获取用于识别与所述宽视角视频对应的所述部分视频的视角的位置和大小的元数据，

其中，所述视频控制器显示已基于所述元数据添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

6.根据权利要求5所述的再现装置，

其中，所述元数据基于平移倾斜信息来生成，所述平移倾斜信息包括关于捕获所述部分视频的部分视频捕获单元的视频捕获位置和平移倾斜的信息。

7.根据权利要求5所述的再现装置，

其中，所述元数据获取单元在被调整成用于在与所述视频获取单元获取所述部分视频的定时相同的定时处获取所述元数据的状态下获取所述元数据。

8.根据权利要求5所述的再现装置，

其中，所述元数据获取单元获取包括提供对应的所述部分视频时的时间信息的元数据，并且

所述视频控制器使用包括与所述部分视频对应的所述时间信息的所述元数据来显示已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

9.根据权利要求1所述的再现装置，

其中，指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息包括指示与所述宽视角视频对应的所述部分视频的视角的框。

10.根据权利要求2所述的再现装置，

其中，除了所述宽视角视频和所述部分视频之外，所述视频获取单元还获取已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

11.根据权利要求10所述的再现装置，

其中，通过基于包括与捕获所述部分视频的部分视频捕获单元的平移倾斜有关的信息和视频捕获位置的平移倾斜信息将所述显示信息添加至所述宽视角视频，来生成已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

12.根据权利要求1所述的再现装置，

其中，所述切换确定单元基于包括所述宽视角视频的内容的展示内容来确定是否满足用于在所述宽视角视频与所述部分视频之间切换显示的所述切换条件。

13.根据权利要求1所述的再现装置，

其中，在显示所述宽视角视频的情况下，在紧接着基于所述切换确定单元的确定结果而将显示从所述宽视角视频切换至所述部分视频之前的定时处，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

14.根据权利要求13所述的再现装置，

其中，当将所述显示从所述宽视角视频切换至所述部分视频时，所述视频控制器显示用于从所述宽视角视频过渡至所述部分视频的过渡视频。

15.根据权利要求14所述的再现装置，

其中，当将所述显示从所述宽视角视频切换至所述部分视频时，所述视频控制器显示用于在扩大所述宽视角视频的视角的同时过渡至所述部分视频的过渡视频。

16.根据权利要求1所述的再现装置，

其中，在显示所述部分视频的情况下，在紧接着在基于所述切换确定单元的确定结果而将所述显示从所述部分视频切换至所述宽视角视频之后的定时处，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的所述显示信息的宽视角视频。

17.根据权利要求16所述的再现装置，

其中，当将所述显示从所述部分视频切换至所述宽视角视频时，所述视频控制器显示用于从所述部分视频过渡至所述宽视角视频的过渡视频。

18.根据权利要求17所述的再现装置，

其中，当将所述显示从所述部分视频切换至所述宽视角视频时，所述视频控制器显示用于在减小所述部分视频的视角的同时过渡至所述宽视角视频的过渡视频。

19.一种再现方法，包括：

用于确定是否满足用于在宽视角视频与部分视频之间切换显示的切换条件的切换确定处理，所述部分视频与所述宽视角视频的部分视角对应；以及

用于基于所述切换确定处理的确定结果来选择性地显示所述宽视角视频和所述部分视频的视频控制处理，

其中，当基于所述切换确定处理的确定结果在所述宽视角视频与所述部分视频之间切换显示时，所述视频控制处理显示已添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

20.一种程序，所述程序用于使计算机用作：

切换确定单元，其被配置成确定是否满足用于在宽视角视频与部分视频之间切换显示的切换条件，所述部分视频与所述宽视角视频的部分视角对应；以及

视频控制器，其被配置成基于所述切换确定单元的确定结果来选择性地显示所述宽视角视频和所述部分视频，

其中，当基于所述切换确定单元的确定结果在所述宽视角视频与所述部分视频之间切换显示时，所述视频控制器显示已添加指示与所述宽视角视频对应的所述部分视频的视角的显示信息的宽视角视频。

Images