CN111133764A - 信息处理设备、信息提供设备、控制方法和程序 - Google Patents

Abstract

信息处理装置获得描述与视频数据有关的信息的第一数据；判断在第一数据中是否描述了预定值，预定值表示包括了与通过设置视点位置、视线方向和焦点位置至少之一而能够观看的虚拟视点视频有关的信息；基于判断结果和第一数据来获取包括视频数据的第二数据；以及对第二数据中所包括的视频数据进行再现控制。

Description

信息处理设备、信息提供设备、控制方法和程序

技术领域

本发明涉及信息处理设备、信息提供设备、控制方法和程序，并且具体涉及用于分发媒体数据的技术。

背景技术

近年来，与使得能够从虚拟视点观看内容的虚拟视点视频(自由视点视频)有关的讨论正在进展。专利文献1描述了用于生成这样的虚拟视点视频的方法。此外，专利文献2描述了配备有处理设备的系统，该处理设备选择要发送由多个照相机分别拍摄到并且具有彼此不同的分辨率的多个视频中的哪个视频，以进行向一个客户端PC的多视点视频的流传输。

现有技术文献

专利文献

专利文献1：日本特开2015-187797

专利文献2：日本特开2013-183209

发明内容

发明要解决的问题

在专利文献2所述的技术中，没有考虑到作为在分发视频时设置分别与多个视点相对应的多个处理设备的结果而导致处理负荷可能增加这一事实。

用于解决问题的方案

本发明的目的在于建立用于在抑制处理负荷的同时分发媒体数据的技术。

根据本发明的一个实施例的一种信息处理设备，其特征在于，包括：获得部件，用于获得描述与视频数据有关的信息的第一数据、以及包括所述视频数据的第二数据；判断部件，用于判断在所述第一数据中是否描述了预定值，所述预定值表示包括了与通过设置视点位置、视线方向和焦点位置至少之一而能够观看的虚拟视点视频有关的信息；以及控制部件，用于进行所述第二数据中所包括的视频数据的再现控制，其中，所述获得部件基于所述判断部件所进行的判断的结果和所述第一数据来获得所述第二数据。

发明的效果

根据本发明，可以在抑制处理负荷的同时分发媒体数据。

通过以下结合附图进行的说明，本发明的其它特征和优点将变得明显。注意，在整个附图中，相同的附图标记表示相同或相似的组件。

附图说明

包括在说明书中并构成说明书的一部分的附图示出本发明的实施例，并且连同本发明的说明书一起用来解释本发明的原理。

图1是示出系统的示例性结构的图。

图2A是示出要分发的虚拟视点视频的结构的图。

图2B是示出要分发的虚拟视点视频的结构的图。

图2C是示出要分发的虚拟视点视频的结构的图。

图2D是示出要分发的虚拟视点视频的结构的图。

图2E是示出要分发的虚拟视点视频的结构的图。

图3A是示出虚拟视点视频的分发的图。

图3B是示出虚拟视点视频的分发的图。

图4A是示出客户端的示例性硬件结构的框图。

图4B是示出服务器的示例性硬件结构的框图。

图5是示出客户端的示例性功能结构的框图。

图6A是示出客户端的处理流程的第一示例的流程图。

图6B是示出客户端的处理流程的第一示例的流程图。

图7A是示出客户端的处理流程的第二示例的流程图。

图7B是示出客户端的处理流程的第二示例的流程图。

图8A是示出客户端的处理流程的第三示例的流程图。

图8B是示出客户端的处理流程的第三示例的流程图。

图9A是示出客户端的处理流程的第四示例的流程图。

图9B是示出客户端的处理流程的第四示例的流程图。

图10A是示出客户端的处理流程的第五示例的流程图。

图10B是示出客户端的处理流程的第五示例的流程图。

图11是示出服务器的示例性功能结构的框图。

图12是示出服务器的处理流程的第一示例的流程图。

图13是示出服务器的处理流程的第二示例的流程图。

图14是示出服务器的处理流程的第三示例的流程图。

图15是示出服务器的处理流程的第四示例的流程图。

图16是示出服务器的处理流程的第五示例的流程图。

图17是示出MPD文件的描述内容的第一示例的图。

图18A是示出MPD文件的描述内容的第二示例的图。

图18B是示出MPD文件的描述内容的第二示例的图。

图19是示出MPD文件的描述内容的第三示例的图。

图20A是示出MPD文件的描述内容的第四示例的图。

图20B是示出MPD文件的描述内容的第四示例的图。

图21是示出MPD文件的描述内容的第五示例的图。

具体实施方式

以下将参考附图来说明实施例。注意，以下实施例并不意图限制本发明。例如，不包括以下实施例的方法的结构或步骤的至少一部分或者在一些情况下为全部的情况也可以包括在本发明的范围中。

(系统结构)

图1示出根据本实施例的通信系统的示例性结构。在一个示例中，通信系统包括客户端101和服务器102，并且客户端101和服务器102经由网络103连接。客户端101可以是诸如DTV(数字TV)、HMD(头戴式显示器)、多视点电视、智能电话或平板电脑等的包括显示功能的信息处理设备。客户端101可以是表示PC(个人计算机)等中所安装的Web浏览器或其它应用的概念。也就是说，客户端101不一定被实现为设备。此外，客户端101也可以是包括投影设备的投影仪、或者包括多个投影设备的多投影仪。在一个示例中，服务器102是数字照相机、数字摄像机、网络照相机、投影仪、移动电话、智能电话、PC或服务器设备，并且是用作发送视频数据的服务器设备的信息提供设备。在本实施例中，作为示例，服务器102是一个PC，但服务器102的功能例如可以由以分布式方式布置在云中的一个或多个设备以分布式方式实现。网络103例如可以是诸如LAN(局域网)、WAN(广域网)或LTE(长期演进)等的公共移动通信网络，或者可以是它们的组合。LAN由诸如以太网(Ethernet，注册商标)等的有线LAN或者符合IEEE 802.11标准系列等的无线LAN构成。WAN例如可以是因特网。注意，客户端101和服务器102可以在这两者之间未插入有网络103的情况下直接连接。例如，客户端101和服务器102可以使用无线自组织网络进行直接通信。

在本实施例中，服务器102可以向其它设备提供通过对虚拟视点视频数据进行编码而获得的视频数据，该虚拟视点视频数据是在空间中自由地设置(移动)视点位置、视线方向和焦点位置至少之一的情况下可以观看到的。客户端101根据状况来获得并再现视频数据。这里，在本实施例中，假定使用用于根据客户端101的能力和通信状况来动态地改变要获得的流的技术(MPEG-DASH或HTTP Live Streaming(直播流传输)等)。注意，MPEG-DASH是Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP(运动图像专家组-通过HTTP的动态自适应流传输)的首字母缩写。在这些技术中，将视频数据分割成以精细时间段为单位的分段(segment)，并且在被称为播放列表的文件中描述用于获得这些分段的URL(统一资源定位符)。服务器102准备该播放列表并将该播放列表提供至客户端101，并且客户端101在接收到该文件时，首先获得该播放列表并使用该播放列表中所描述的信息来获得期望的视频数据。作为在播放列表中描述与多个版本的视频数据分段相对应的URL的结果，客户端101可以根据自身的能力或通信环境来获得最佳版本的视频数据分段。在这种情况下，服务器102将与播放列表有关的文件提供至客户端101，但无需将视频数据直接提供至客户端101。也就是说，客户端101可以通过基于从服务器102提供的信息访问所描述的URL来从外部设备获得视频数据分段。注意，在下文，将假定使用在MPEG-DASH中规定的MPD(Media Presentation Description(媒体呈现描述))作为播放列表的文件来给出说明。注意，代替MPEG-DASH，还可以使用诸如HTTP Live Streaming或Smooth Streaming(平滑流传输)等的利用播放列表描述的其它协议。也就是说，以下论述可以应用于如下的系统，在该系统中，至少客户端101获得与视频数据有关的播放列表等的信息并且基于该信息来获得视频数据。

在下文，首先将说明要发送的虚拟视点视频(自由视点视频)数据的概述，之后将说明设备结构和处理流程的示例。

(要发送的虚拟视点视频数据的概述)

在下文，将说明在本实施例中要发送的虚拟视点视频数据。注意，假定如已知技术那样生成虚拟视点视频，并且将主要说明本实施例中要发送的与虚拟视点视频有关的参数。

图2A示出虚拟视点视频中的用户的视线方向的移动范围的示例。用户111可以使视线绕表示横摆的轴112、表示俯仰的轴113和表示侧倾的轴114转动。注意，在下文，将假定用户可以在三个轴中的各轴上自由地改变视线来给出说明，但例如，可以限制视线可设置范围，诸如根据视频数据的内容或预定设置来限制范围等。例如，可以使用不允许视线绕侧倾轴的转动的限制、或者用户视点的可设置范围为半天球的限制。此外，可以单独地或以相互相关的方式限制相对于三个轴的视点可设置范围。此外，可以使用相对坐标或使用绝对坐标来表现表示视线可设置范围的值。在使用相对坐标的情况下，例如，可以使用在0.0～1.0的范围内的值作为视线可设置范围。在使用绝对坐标的情况下，可以使用在0～360或-180～180的范围内的值作为视线可设置范围。此外，视线方向的移动单位可以是固定值，或者可以是可变值。此外，可以提供视线方向可以移动的值的列表。

接着，图2B示出虚拟视点视频中的用户的视点位置的移动范围的示例。用户111可以使视点位置在z轴122方向、x轴123方向和y轴124方向各自上移动。这里，范围120表示虚拟视点视频中用户视点可以移动的范围。注意，在下文，将假定可以使用户视点沿着三个轴中的各轴移动来给出说明，但例如，可以根据视频数据的内容或预定设置来限制该移动。例如，可以应用视点不能在诸如z轴方向等的预定方向上移动的限制，或者可以将可移动范围设置到x轴、y轴和z轴中的各轴。注意，相对于多个轴的可移动范围例如可以以相互相关的方式设置，或者可以单独设置。此外，可移动范围可以用相对坐标或绝对坐标来表现。在使用相对坐标的情况下，例如，可以使用0.0～1.0的范围内的值作为可移动范围。此外，在使用绝对坐标的情况下，可移动范围可以由以预定距离为单位的数值来定义。注意，可移动范围在x轴、y轴和z轴方向各自上的值例如可以是基于虚拟视点视频数据而单独地或以处于固定关系的方式设置的，或者可以是预定的值。此外，视点位置的移动单位可以是固定值或可变值。此外，还可以提供视点位置可以移动的值的列表。

此外，在虚拟视点视频中，可以指定焦点位置的范围。图2C是示出虚拟视点视频中的焦点位置的示例的图。用户111可以使焦点位置相对于轴130的深度方向移动。注意，关于相对于虚拟视点视频的焦点位置的移动，可以允许用户自由地移动焦点，或者可以预先将诸如位置132～134等的位置定义为焦点位置可以到达的位置。作为除了向用户提供视点位置和视线方向之外、还提供与焦点位置有关的信息的结果，用户可以灵活地观看虚拟视点视频。这样，通过利用与焦点位置有关的信息，可以提高用户体验。

注意，可以针对分割后的各空间区域对虚拟视点视频进行编码。图2D示出基于用户移动范围的三个轴来将虚拟视点视频的空间200分割成多个区域的示例。图2D的示例示出将空间200分割成3×3×3个区域的示例。在进行这样的分割的情况下，用户可以通过仅获得用户所需的空间区域的视频数据来进行解码和再现。例如，用户111基于正观看的虚拟视点视频中的视点位置仅获得用户所属的区域201的视频数据。之后，在用户视点位置沿x轴方向移动并进入区域202的情况下，用户111获得区域202的视频数据。另一方面，在用户视点位置沿z轴方向移动并进入区域203的情况下，用户111获得区域203的视频数据。因此，可以实现对观看虚拟视点视频所需的网络的通信频带增加的防止和对解码处理的负荷的减少至少之一。

注意，虚拟视点视频的空间区域的分割不限于如图2D所示分割成由3×3×3个长方体所示的空间。例如，可以进行区域分割，以在各个移动方向上具有不同数量的长方体，诸如1×2×3或2×3×2等。此外，在图2D的示例中，针对三个轴中的各轴进行分割，但可以进行诸如仅利用一个平面的分割等的针对一些轴的分割，例如，利用沿着z轴的xy平面的分割、利用沿着x轴的yz平面的分割、或利用沿着y轴的xz平面的分割。此外，在图2D中，进行针对移动方向的分割，但代替针对移动方向的分割或除针对移动方向的分割之外，还可以执行针对视点方向或焦点位置的分割。

此外，通过仅获得用户期望观看的对象的数据、以及背景数据，可以进一步进行对观看虚拟视点视频所需的网络的通信频带增加的防止和对解码处理的负荷的减少。图2E示出如下情况的示例：将视频数据分割成背景数据和对象数据，并且针对各数据进行编码，以进行这样的处理。背景数据包括背景210和该背景中所包括的背景对象211，并且是以与同虚拟视点视频的空间中所包括的一个或多个对象212和213有关的对象数据分开的方式处理的。客户端101单独地获得对象数据和背景数据，并且生成虚拟视点视频。此外，客户端101可以获得并显示期望显示的背景视频和对象(例如，关注的对象)。例如，可以应用诸如用于单独地对背景和对象进行编码的点组编码等的技术。

注意，在提供虚拟视点视频的系统中，作为限制用户视点位置的移动范围的结果，用户可以按照创建虚拟视点视频的内容创建者的意图来观看内容，或者可以增大这样的概率，并且可以提高用户体验。图3A示出移动范围受到限制的虚拟视点视频(窗口虚拟视点视频，其也可被称为窗口6自由度(Windowed 6 Degrees of Freedom))的示例。在图3A中，进入禁止范围300是窗口虚拟视点视频中禁止视点位置的进入的范围。用户111的视点位置不能进入该进入禁止范围300。对象301是虚拟视点视频中要显示的对象。区域302表示通过窗口切出的部分。可以通过智能电话或平板电脑等的显示设备303来观看这样的窗口虚拟视点视频。显示设备303可以将从区域302切出的虚拟视点视频显示在显示区域304中。用户111不能将视点位置移动到进入禁止范围300的内部，但可以从进入禁止范围300之外的位置沿着任何方向观看对象301。注意，在图3A的示例中，进入禁止范围300被例示为圆柱，但这仅仅是示例，并且可以通过指定诸如长方体或三角柱等的任何区域来指定移动禁止范围。注意，在窗口虚拟视点视频中，可以限制用户的视线方向。例如，在图3A的示例中，可以应用限制，使得用户的视线方向一直朝向圆锥的中央部。

此外，还可以使用TimedMetadata(定时元数据)来控制用户的视点位置和视线方向。TimedMetadata例如是用于向客户端101提供对于提高用户体验有效的元数据的以ISO基媒体文件格式(Base Media File Format)定义的机制。图3B示出服务器102通过TimedMetadata提供表示视点位置和视线方向与时刻之间的关系的信息的情况的示例。例如，假定在虚拟视点视频中，在时刻t01存在于地点314处的对象在时刻t02移动到位置315。在这种情况下，通过TimedMetadata，例如，提供用于允许用户以推荐视点位置/推荐视线方向观看虚拟视点视频的元数据。例如，提供时刻t11处的视点位置/视线方向310、时刻t12处的视点位置/视线方向311、时刻t13处的视点位置/视线方向、以及时刻t14处的视点位置/视线方向313作为与推荐视点位置/推荐视线方向有关的信息。客户端101可以使用线性插值或其它插值方法基于在元数据中描述的视点位置和视线方向来获得照相机在元数据中未描述的时刻的视点位置和视线方向。注意，可以通过除TimedMetadata以外的机制来指定推荐视点位置/推荐视线方向。此外，可以使用诸如TimedMetadata等的机制来禁止视点和视线的移动。这样，可以针对各时刻动态地改变用户不能移动的范围等。这样，利用诸如TimedMetadata等的用于定义时刻与视点位置/视线方向之间的关系的数据，可以提高用户能够从推荐视点观看虚拟视点视频中用户应关注的对象的概率。此外，这样，可以提高用户体验。

注意，通过TimedMetadata，除了视点位置/视线方向之外或者代替视点位置/视线方向，还可以提供焦点信息。TimedMetadata例如可用作用于指定诸如视点位置、视线方向和焦点位置等的一个或多个参数的指定信息。此外，可以定义多个TimedMetadata。例如，在虚拟视点视频数据中存在用户应关注的多个对象(人物等)的情况下，可以针对各人物定义TimedMetadata。

(设备的硬件结构)

接着，将使用图4A和图4B来说明客户端101和服务器102的示例性硬件结构。

图4A是示出客户端101的示例性硬件结构的图。客户端101例如包括控制单元401、存储单元402、显示单元403、操作单元404、解码单元405、通信单元406、通信接口407和系统总线408。

控制单元401例如通过经由系统总线408控制其它构成单元来整体地控制客户端101中的操作。控制单元401可以是诸如CPU(中央处理单元)、ASIC(专用集成电路)、FPGA(现场可编程门阵列)和DSP(数字信号处理器)等的一个或多个处理器。存储单元402存储并管理各种数据。存储单元402例如可以是诸如SRAM(静态RAM)或DRAM(动态RAM)等的存储器、或者诸如硬盘驱动器等的大容量存储器。显示单元403例如是被配置为在控制单元401的控制下进行各种显示的液晶面板。操作单元404是接受用户所进行的操作的诸如键和按钮等的用户接口。注意，显示单元403和操作单元404例如可被配置为使用触摸面板的一个设备。解码单元405对视频数据进行解码处理。注意，解码单元405可以由专用电路等构成，但例如，该结构也可以如下：通过控制单元401执行存储单元402中所存储的程序来进行所获得的视频的解码。通信单元406例如经由通信接口407执行各种通信处理。通信单元406例如由诸如调制/解调电路等的通信电路构成。通信接口407例如是用于经由以太网等的有线通信、或者用于经由诸如无线LAN或蓝牙(Bluetooth，注册商标)等的公共无线通信网络的无线通信的接口。例如，在通信接口407是无线通信接口的情况下，通信接口407由RF前端和天线构成，将通信单元406所生成的信号转换成无线信号，并且经由天线发送无线信号。此外，在通信接口407是有线通信接口的情况下，通信接口407例如可以由线缆连接所用的连接器和光电转换单元等构成。可以使用任何单元或电路作为通信单元406和通信接口407，只要可以与诸如服务器102等的其它设备进行通信即可。此外，客户端101可以包括多个通信接口。

注意，在本实施例中，显示单元403被例示为客户端101的一个构成元件，但例如，可以使用经由HDMI(注册商标)等连接的诸如显示器或电视等的外部显示设备。在这种情况下，客户端101例如可以包括显示控制单元。此外，操作单元404可以是诸如HMD等的检测用户所进行的与视点/视线/焦点有关的操作的设备，或者可以用作连接至外部操纵杆、键盘或鼠标并接受用户操作的操作接受单元。这样，显示单元403或操作单元404例如可被设置为客户端101外部的装置，并且在这种情况下，客户端101的显示单元403可以被显示控制单元替代，并且操作单元404可以被操作接受单元替代。此外，除了内部显示单元403和操作单元404之外，客户端101还可以包括用于允许外部装置显示信息并接受操作的显示控制单元和操作接受单元。此外，上述其它功能单元也可同样地被设置为客户端101外部的设备，并且在这种情况下，客户端101可通信地连接至客户端101外部的这些设备，并且可以包括用于输入/输出信息的功能单元。

图4B是示出服务器102的示例性硬件结构的框图。服务器102例如包括控制单元421、存储单元422、显示单元423、操作单元424、拍摄单元425、编码单元426、通信单元427、通信接口428和系统总线429。

控制单元421例如通过经由系统总线429控制其它构成单元来整体地控制服务器102中的操作。控制单元421可以是诸如CPU(中央处理单元)、ASIC(专用集成电路)、FPGA(现场可编程门阵列)和DSP(数字信号处理器)等的一个或多个处理器。存储单元422存储并管理各种数据。存储单元422例如可以是诸如SRAM(静态RAM)或DRAM(动态RAM)等的存储器、或者诸如硬盘驱动器等的大容量存储器。显示单元423例如是被配置为在控制单元421的控制下进行各种显示的液晶面板。操作单元424例如是用于接受用户所进行的操作的键和按钮。注意，显示单元423和操作单元424例如可被配置为使用触摸面板的一个设备。拍摄单元425进行视频的拍摄。拍摄单元425例如包括透镜和传感器。注意，服务器102在不拍摄视频的情况下，可以从一个或多个其它设备获得视频数据。此外，服务器102可以基于从一个或多个其它设备获得的数据来生成视频数据。此外，服务器102可以从第一其它设备获得由第一其它设备基于从一个或多个第二其它设备获得的数据所生成的视频数据。编码单元426对视频数据进行编码处理。注意，编码单元426可以由专用电路等构成，但结构也可以如下：控制单元421例如通过执行存储单元422中所存储的程序来对拍摄单元425所拍摄到的视频进行编码。注意，服务器102可被被配置为在不包括编码单元426的情况下从其它设备获得编码视频数据。此外，服务器102在不获得视频数据的情况下可以仅掌握视频数据的位置，并且向客户端101通知与该位置有关的信息。通信单元427经由通信接口428执行各种通信处理。通信单元427例如由诸如调制/解调电路等的通信电路构成。通信接口428是有线通信接口或无线通信接口，并且例如具有与通信接口407相同的结构。服务器102可以包括多个通信接口。

(客户端101的功能结构)

接着，将说明客户端101的功能结构。图5是示出客户端101的示例性功能结构的框图。客户端101例如包括MPD分析单元501、视点控制单元502、视线控制单元503、焦点控制单元504、编码方法判断单元505、解码控制单元506、显示控制单元507、MPD获得单元509和AdaptationSet(自适应集)管理单元508。此外，客户端101包括通信控制单元510、操作控制单元511、分段获得单元512和分段分析单元513。注意，这些功能块可以通过控制单元401的CPU(未示出)执行存储器(未示出)中所存储的软件程序来实现。注意，这些功能块的一部分或全部可以通过硬件来实现。

MPD分析单元501分析作为从服务器102获得的MPEG-DASH播放列表文件的MPD(媒体呈现描述)文件。在该播放列表中，描述用于在特定定时访问特定分段的URL(统一资源定位符)。此外，MPD分析单元501分析要用于获得/再现在MPD文件中描述的虚拟视点视频数据的元数据。

视点控制单元502执行与虚拟视点视频的空间内的视点移动有关的控制。视点控制单元502保持表示当前视点位置和虚拟视点视频中能够进行视点移动的范围的信息，并且进行控制，使得视点位置不会移动到虚拟视点视频的范围之外或移动到进入禁止范围。此外，在对空间区域进行分割的情况下，视点控制单元502保持与各分割空间中能够进行视点移动的范围有关的信息。

视线控制单元503控制虚拟视点视频的空间内的视线方向和视线范围。视线控制单元503保持与当前的视线方向和视线范围以及虚拟视点视频中的视线范围有关的信息，并且执行控制，使得视线方向和视线范围将不会在虚拟视点视频的范围之外。

焦点控制单元504控制虚拟视点视频的空间内的焦点位置。焦点控制单元504保持与当前焦点位置和虚拟视点视频中的焦点位置可以移动的范围有关的信息，并且执行控制，使得焦点位置将不会移动到虚拟视点视频的范围之外。

编码方法判断单元505判断对在MPD中描述的视频数据进行编码所利用的编码方法，并由此判断客户端101是否可以对视频数据进行解码。例如，编码方法判断单元505基于客户端101所获得的MPD中包括的codecs(编解码器)的值，来判断与codecs相对应的AdaptationSet或Representation(表现)中所包括的视频数据是否是可解码的。

解码控制单元506通过控制解码单元405来对虚拟视点视频数据进行解码。此外，解码控制单元506除了可以对虚拟视点视频数据进行解码之外，还可以对其它编码视频数据进行解码。

显示控制单元507执行视点控制单元502、视线控制单元503和焦点控制单元504的控制，并且基于解码控制单元506解码后的视频数据来执行将虚拟视点视频显示在显示单元403中的控制。此外，显示控制单元507可以对虚拟视点视频执行包括放大和缩小的缩放处理。

AdaptationSet管理单元508管理MPD中所包括的AdaptationSet和各AdaptationSet中所包括的元数据。此外，AdaptationSet管理单元508管理正再现的AdaptationSet。

MPD获得单元509经由通信控制单元510从服务器102获得用作播放列表的MPD文件。通信控制单元510通过控制通信单元406来执行与其它设备的通信。例如，通信控制单元510控制根据诸如HTTP(超文本传输协议)和TCP/IP等的各种通信协议的通信。操作控制单元511接受用户通过控制操作单元404所进行的操作。分段获得单元512经由通信控制单元510从服务器102获得分段(视频数据)。分段分析单元513分析经由分段获得单元512所获得的分段。

(客户端101所执行的处理流程)

接着，将说明客户端101所要执行的处理流程的一些示例。在本实施例中，与视频数据有关的信息包括在MPEG-DASH MPD文件中，并且客户端101基于该信息来执行视频再现处理。例如，在客户端101与虚拟视点视频的再现兼容、并且与虚拟视点视频有关的信息包括在MPD文件中的情况下，客户端101基于该信息来再现虚拟视点视频。此外，在客户端101与虚拟视点视频的再现不兼容、并且与虚拟视点视频有关的信息包括在MPD文件中的情况下，客户端101不获得虚拟视点视频。这样，客户端101将不会获得不能再现的视频。这里，作为将与客户端101可以再现的并非虚拟视点视频数据的视频数据有关的信息包括在MPD文件中的结果，即使客户端101与虚拟视点视频的再现不兼容，客户端101也可以允许视频的观看。此外，作为将各种显示控制所用的描述包括在MPD文件中的结果，可以进行要显示的虚拟视点视频的详细控制。

<处理示例1-1>

首先，将使用图17来说明该处理中所要使用的MPD，然后将使用图6A和图6B来说明客户端101所要执行的处理流程的示例。

图17示出包括与虚拟视点视频数据相对应的描述的MPD 1700，并且作为示例，MPD1700包括AdaptationSet 1701、1706和1707。AdaptationSet 1701是表示虚拟视点视频数据的AdaptationSet的示例，并且包括codecs作为表示其编码方法的信息。在一个示例中，在codecs为“6dof_v_codec”的情况下，指定了该AdaptationSet与虚拟视点视频数据有关。codecs为包括“avc”的字符串的AdaptationSet 1706对应于通过H.264/AVC编码后的视频数据。codecs为包括“hvc”的字符串的AdaptationSet 1707对应于通过H.265/HEVC编码后的视频数据。与AdaptationSet 1706或1707相对应的视频数据是通过对利用预定视点、视线和焦点创建了视频的创建者所创建的视频进行编码而获得的数据。注意，在本实施例中，MPD包括AdaptationSet 1701，并且无需包括AdaptationSet 1706和1707。

SupplementalProperty(补充属性)1702表示与AdaptationSet 1701有关的补充信息。这里，SupplementalProperty 1702作为示例描述了AdaptationSet 1701是包括具有SchemeIdUri的虚拟视点视频数据的AdaptationSet。虚拟视点视频数据的元数据由SupplementalProperty 1702的value的值描述。这里，source(源)是用于识别未编码的虚拟视点视频数据的视频数据的标识符，并且指定了具有相同的source的值的AdaptationSet是通过对相同的视频数据进行编码所获得的数据。x、y、z和“*_offset”(*是x、y或z)定义虚拟视点视频的视点的范围。例如，x方向上的范围由x～x+x_offset定义。y方向和z方向上的范围是同样定义的。同样，yaw(横摆)、roll(侧倾)、pitch(俯仰)和与它们相对应的“*_offset”定义虚拟视点视频的视线的范围，并且depth(深度)和depth_offset定义虚拟视点视频的焦点的范围。注意，在SupplementalProperty 1702的value中可以描述的元数据不限于上述元数据。此外，无需描述上述信息中的一些信息。例如，depth和depth_offset的值无需由value来定义。此外，无需描述与观点和视线有关的信息。例如，在视点、视线和焦点至少之一固定的情况下、或者在未施加限制的情况下，可以用这样的格式描述元数据。此外，value的值可被描述为value＝“source,x,y,z”。在这种情况下，虚拟视点视频的视点位置的可移动范围沿着各个xyz轴被定义为0～x、0～y和0～z。此外，value的值可被描述为value＝“source,6dof_idc”。6dof_idc是表示AdaptationSet 1701与虚拟视点视频是否兼容的标识符。例如，这可能意味着，在该值为0的情况下，AdaptationSet 1701包括虚拟视点视频数据，并且在该值为1的情况下，AdaptationSet 1701不包括虚拟视点视频数据。在使用这样的标识符的情况下，该标识符是针对多个AdaptationSet 1701、1706和1707各自所定义的。在这种情况下，AdaptationSet 1701中的6dof_idc值被设置为1，并且AdaptationSet 1706和1707各自中的6dof_idc的值被设置为0。例如，通过将同一source和这样的标识符组合，可以针对一个视频数据定义与虚拟视点视频有关的AdaptationSet和与虚拟视点视频不相关的AdaptationSet。这样，即使利用不能处理虚拟视点视频格式的编码的客户端，也可以增加再现视频的机会。

SupplementalProperty 1703使用矢量来表示虚拟视点视频数据的视点、视线和焦点各自的单位移动量。客户端101判断为SupplementalProperty 1703表示具有schemeIdUri的值的虚拟视点视频的单位移动量的矢量，并且可以利用value的值指定沿着各个轴的单位移动量的大小。SupplementalProperty 1704表示虚拟视点视频的初始视点位置、初始视线方向和初始焦点。客户端101判断为SupplementalProperty 1704表示具有schemeIdUri的值的虚拟视点视频的初始视点位置、初始视线方向和初始焦点，并且可以利用value的值指定设置值。SupplementalProperty 1705表示AdaptationSet 1701的虚拟视点视频是单视场视频(Monoscopic)还是立体视频(Stereoscopic)。客户端101判断为SupplementalProperty 1705是表示具有schemeIdUri的值的单视场视频或立体视频的信息元素。此外，客户端101指定AdaptationSet 1701的虚拟视点视频是具有value的值的单视场视频或立体视频。注意，在图17的示例中，指定“stereo”以描述虚拟视点视频是立体视频，而可以指定“mono”的值以描述立体视点视频是单视场视频。注意，“stereo”和“mono”是用于描述值的示例，并且例如，可以使用诸如0(单视场视频)和1(立体视频)等的其它值。

此外，可以使用与所述的值不同的值、或者字符串作为上述的值，并且可以定义与所述的解释不同的解释。例如，可以定义解释，使得使用“x”和“x_offset”来将视点在x轴上的范围指定为x-x_offset～x+x_offset或者x-x_offset～x。此外，定义可以如下：使用“x0”和“x1”来指定x0～x1的范围。也就是说，可以使用与所述的值和解释不同的值和解释，只要在诸如MPD等的描述文件中定义本实施例中所指代的值即可。此外，描述的顺序不限于图17所示的顺序。例如，视点位置的范围按“x,x_offset,y,y_offset,z,z_offset”的顺序描述，但该范围可以按诸如“x,y,z,x_offset,y_offset,z_offset”的顺序等的不同顺序描述。

注意，SupplementalProperty也可以在AdaptationSet 1706和1707中定义，但为了简化说明，将省略对这两者的说明。

在图6A和图6B的处理中，首先，MPD获得单元509经由通信控制单元510从服务器102获得MPD文件(步骤S601)。然后，MPD分析单元501分析从服务器102获得的MPD文件(步骤S602)。在步骤S602中，例如，MPD分析单元501向编码方法判断单元505通知AdaptationSet和Representation中所包括的codecs的值，并且编码方法判断单元505根据这些值来判断编码方法。此外，MPD分析单元501可以通过分析AdaptationSet中所包括的SupplementalProperty的信息来判断编码方法。此外，编码方法判断单元505判断在MPD文件中描述的服务器102所要分发的视频数据中是否包括虚拟视点视频数据。

在图17的示例中，例如，分析AdaptationSet 1701、1706和1707中所包括的codecs的值。在这种情况下，由于AdaptationSet 1701中所包括的codecs的值是“6dof_v_codec”，因此判断为AdaptationSet 1701与以虚拟视点视频格式编码的视频数据有关。注意，值“6dof_v_codec”是表示AdaptationSet与以虚拟视点视频格式编码的视频数据有关的值的示例，并且可以定义具有相同含义的其它值。另一方面，AdaptationSet 1706和1707中所包括的codecs的值表示以不是虚拟视点视频格式的格式(即，AVC或HEVC)进行编码。因此，编码方法判断单元505判断为这些AdaptationSet与虚拟视点视频无关。注意，在图17的示例中，例如，可以分析AdaptationSet中的SupplementalProperty的信息。在这种情况下，基于SupplementalProperty 1702中所包括的schemeIdUri的值来判断AdaptationSet 1701与以虚拟视点视频格式编码的视频数据是否有关。例如，在schemeIdUri的值为“urn:mpeg:dash:6dof”的情况下，相应的AdaptationSet被判断为与以虚拟视点视频格式编码的视频数据有关。也就是说，在图17的示例中，可以基于SupplementalProperty 1702的schemeIdUri的值来将AdaptationSet 1701判断为与以虚拟视点视频格式编码的视频数据有关。注意，值“urn:mpeg:dash:6dof”是表示以虚拟视点视频格式编码的值的示例，并且可以定义具有相同含义的schemeIdUri的其它值。

MPD分析单元501还分析与MPD有关的其它元数据。例如，MPD分析单元501分析分辨率、位速率、帧率和虚拟视点视频数据的元数据，并将结果保存在AdaptationSet管理单元508中。在图17的示例中，与AdaptationSet 1701有关的SupplementalProperty 1702～1705的value中的值形成与虚拟视点视频数据有关的元数据。SupplementalProperty 1702是表示虚拟视点视频数据中视点位置的可移动范围、视线方向的可移动范围和焦点位置的可移动范围的元数据。可以单独设置视点位置的可移动范围、视线方向的可移动范围和焦点位置的可移动范围。SupplementalProperty 1703是表示观看虚拟视点视频数据时的视点位置的移动矢量值、视线方向的移动矢量值和焦点位置的矢量值的元数据。SupplementalProperty 1704是表示观看虚拟视点视频数据时推荐的初始视点位置、初始视点方向、初始焦点位置的元数据。SupplementalProperty 1705是表示虚拟视点视频数据是立体视频数据的元数据。MPD分析单元501将AdaptationSet 1701中所包括的编码方法、分辨率、位速率、帧率等的元数据、以及虚拟视点视频的元数据保存在AdaptationSet管理单元508中。MPD分析单元501进一步分析MPD，并将与以除虚拟视点视频格式以外的格式编码的视频数据有关的信息保存在AdaptationSet管理单元508中。例如，保存与利用AVC、HEVC或其它编码方法编码的视频数据有关的AdaptationSet 1706和1707以及这些AdaptationSet中所包括的元数据。

编码方法判断单元505判断在AdaptationSet管理单元508所管理的AdaptationSet中是否包括与采用客户端101可以解码的格式的虚拟视点视频数据有关的AdaptationSet(步骤S603)。在包括与采用客户端101可以解码的格式的虚拟视点视频数据有关的AdaptationSet的情况下(步骤S603中为“是”)，客户端101确定要获得的虚拟视点视频数据，并且开始获得它的媒体数据(步骤S604)。例如，客户端101通过访问在与虚拟视点视频数相对应的AdaptationSet中包括的Representation中所描述的URL来开始获得视频数据的分段。此外，这里，AdaptationSet管理单元508管理当前正再现的AdaptationSet。在MPD中包括诸如初始视点位置、初始视线方向和初始焦点信息等的信息的情况下，AdaptationSet管理单元508可以向视点控制单元502、视线控制单元503和焦点控制单元504通知各个信息。在这种情况下，视点控制单元502、视线控制单元503和焦点控制单元504例如可以基于所通知的信息来分别设置初始视点位置、初始视线方向和初始焦点信息。

在开始获得媒体数据之后，操作控制单元511开始监视是否进行了用以使视点位置、视线方向和焦点位置至少之一移动的操作(步骤S605)。在操作控制单元511未检测到该移动操作的情况下(步骤S605中为“否”)，客户端101使处理转变到步骤S609。另一方面，在操作控制单元511检测到进行了该移动操作的情况下(步骤S605中为“是”)，操作控制单元511判断移动之后的视点位置、视线方向或焦点位置是否包括在虚拟视点视频的范围内(步骤S606)。步骤S606的判断是通过将移动之后的视点位置、视线方向或焦点位置的值与表示AdaptationSet管理单元508所管理的虚拟视点视频数据的范围的信息进行比较来进行的。

在操作控制单元511判断为移动之后的视点位置、视线方向或焦点位置包括在虚拟视点视频的范围内的情况下(步骤S606中为“是”)，操作控制单元511经由显示控制单元507将所检测到的移动操作反映在显示单元403中要显示的视频上(步骤S607)。例如，在检测到用以移动视点位置的操作的情况下，操作控制单元511经由视点控制单元502将反映了新视点位置的视点数据显示在显示单元403中。此外，在检测到用以移动视线方向的操作的情况下，操作控制单元511经由视线控制单元503将反映了新视线方向的视频数据显示在显示单元403中。此外，在检测到用以移动焦点位置的操作的情况下，操作控制单元511经由焦点控制单元504将反映了新焦点位置的视频数据显示在显示单元403中。

另一方面，在操作控制单元511判断为移动之后的视点位置、视线方向或焦点位置未包括在虚拟视点视频的范围内的情况下(步骤S606中为“否”)，操作控制单元511对视点位置、视线方向或焦点位置的移动施加限制(步骤S608)。例如，操作控制单元511可以进行控制，使得视点位置、视线方向或焦点位置根据所检测到的移动操作而移动到定义虚拟视点视频的范围的边界，但不进行超出该边界的移动。此外，操作控制单元511也可以忽视导致超出该范围的移动操作。此外，在视点位置、视线方向或焦点位置的移动包括多个轴方向上的分量、并且沿着轴的任何分量超出所定义的范围的情况下，操作控制单元511可以仅对沿着该轴的分量施加限制，但不对沿着其它轴的其它分量施加限制。作为操作控制单元511施加这样的限制的结果，可以防止用户观看虚拟视点视频的可观看范围之外的视频。这样，不再向用户呈现非预期的视频数据，或者至少进行这样的显示的概率下降，结果可以防止用户体验变差。此外，可以在解码控制单元506中进行解码处理之前基于AdaptationSet管理单元508所管理的信息来限制向解码控制单元506不能处理的虚拟视点视频范围的移动。这样，可以防止解码控制单元506的非预期操作和错误的发生，并且可以减少处理负荷。

在执行步骤S607或S608的处理之后，使得处理转变到步骤S609。

在步骤S609中，分段获得单元512经由通信控制单元510从服务器102获得视频数据的分段。分段获得单元512根据AdaptationSet管理单元508所管理的信息来判断与要获得的视频数据相对应的AdaptationSet，并且通过访问在AdaptationSet中描述的URL来获得分段。解码控制单元506对虚拟视点视频数据进行解码，并且基于操作控制单元511所保持的用户视点位置/视线方向/焦点信息来经由显示控制单元507使得显示单元403显示解码后的视频数据(步骤S610)。之后，客户端101判断虚拟视点视频的再现是否已经结束(步骤S611)。然后，在判断为虚拟视点视频的再现结束时(步骤S611中为“是”)，客户端101结束处理，并且在判断为虚拟视点视频的再现未结束时(步骤S611中为“否”)，客户端101使处理返回到步骤S605。

在步骤S603中，在不包括与采用客户端101可以解码的格式的虚拟视点视频数据有关的AdaptationSet的情况下(步骤S603中为“否”)，客户端101使得处理转变到步骤S612。在步骤S612中，解码控制单元506判断在AdaptationSet管理单元508所管理的AdaptationSet中是否存在利用除虚拟视点视频编码方法以外的方法可解码的视频数据。例如，解码控制单元506判断AdaptationSet管理单元508是否管理与通过诸如AVC或HEVC等的客户端101可以再现的方法所编码的视频数据相对应的AdaptationSet。在判断为没有管理与通过客户端101可以再现的方法所编码的视频数据相对应的AdaptationSet的情况下(步骤S612中为“否”)，客户端101例如使得显示单元403进行错误显示(步骤S614)，并且结束处理。通过错误显示，向用户通知试图再现的MPD不包括通过可以再现的方法所编码的数据这一事实。

另一方面，在判断为管理与通过客户端101可以再现的方法所编码的视频数据相对应的AdaptationSet时(步骤S612中为“是”)，客户端101获得与AdaptationSet相对应的视频数据(步骤S613)。例如，在客户端101与HEVC兼容的情况下，客户端101通过访问在与通过HEVC编码的视频数据相对应的AdaptationSet 1707中描述的URL来获得相应的分段。此外，在客户端101与HEVC不兼容、但与AVC兼容的情况下，客户端101通过访问在与通过AVC编码的视频数据相对应的AdaptationSet 1706中描述的URL来获得相应的分段。因此，即使客户端101与虚拟视点视频编码方法不兼容，客户端101也可以通过获得并再现利用客户端101兼容的方法所编码的视频数据来向用户提供视频。这样，可以防止由于没有再现视频数据而导致用户体验下降。

如上所述，客户端101根据MPD获得客户端101可以再现的视频数据(媒体数据)。也就是说，在客户端101能够处理虚拟视点视频的再现、并且MPD包括与虚拟视点视频数据相对应的AdaptationSet的情况下，客户端101获得虚拟视点视频数据并进行虚拟视点视频的再现。这样，在可以再现虚拟视点视频的情况下，客户端101通过获得虚拟视点视频数据来允许用户观看高临场感的视频。注意，即使客户端101能够再现虚拟视点视频，客户端101也可以通过例如接受用户所配置的设置来再现例如通过HEVC编码的视频。在这种情况下，在MPD中包括与被设置成再现的视频数据相对应的AdaptationSet的情况下，客户端101可以根据这些设置来再现视频数据。注意，在MPD中不包括与被设置成再现的视频数据相对应的AdaptationSet的情况下，客户端101可以基于与视频数据相对应的AdaptationSet来获得客户端101可以再现的视频数据。这样，再现一些视频，并且也可以防止发生未向用户呈现视频的状况。如上所述，客户端101可以通过确认MPD来获得客户端101能够可靠地再现的视频数据。

<处理示例1-2>

图7A和图7B示出客户端101所执行的处理流程的第二示例。在该处理示例中，如图2D所示，将说明将虚拟视点视频的空间区域分割成多个区域的情况的示例。在图18A和图18B中示出该处理中所使用的MPD的示例性描述。在下文，首先将说明图18A和图18B中的MPD，然后将说明图7A和图7B中的处理流程。注意，在图7A和图7B的处理中，执行与处理示例1-1中的处理相同的处理的步骤被赋予与图6A和图6B中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

图18A的MPD 1800是描述与如图2D所示对空间区域进行分割的虚拟视点视频有关的信息的MPD。AdaptationSet 1801和1802这两者都描述与通过对虚拟视点视频进行分割所获得的子空间相对应的信息，并且对应于不同的子空间。SupplementalProperty 1803和1804描述与分别对应于AdaptationSet 1801和1802的、通过对虚拟视点视频进行分割所获得的各个子空间有关的信息。这里，除了向SupplementalProperty 1702的value的值添加预定值以外，SupplementalProperty 1803与图17中的SupplementalProperty 1702相同，因此将省略对共同项的说明。所添加的信息为“total_*”和“total_*_offset”，并且这些信息表示虚拟视点视频的总范围。注意，将表示视点位置的x、y和z值、表示视线方向的yaw、roll和pitch的值、以及表示焦点的depth的值被插入“*”。SupplementalProperty 1803用“x”和“x_offset”表示一个子空间的视点位置的沿着x轴的范围，并且用“total_x”和“total_x_offset”表示整个空间的视点位置的沿着x轴的范围。根据该信息，例如将total_x～total_x+total_x_offset的范围指定为整个空间的沿着x轴的范围。同样指定相对于y、z、yaw、roll和pitch的范围。注意，图18A的示例示出描述所有的移动方向、视线方向和焦点方向的示例，但不限于此，并且可以描述一些信息或这些信息的任何组合，诸如仅移动方向、移动方向和视线方向、或者移动方向和焦点方向等。

注意，这里的MPD可被描述为图18B的MPD 1810。在MPD 1800中，子空间和整个空间的范围由一个SupplementalProperty 1803描述，但在MPD 1810中，可以单独描述这两个范围。也就是说，SupplementalProperty 1811描述子空间的范围，并且SupplementalProperty 1812描述整个空间的范围。注意，在这种情况下，SupplementalProperty 1811与图17的SupplementalProperty 1702相同。在下文，将说明使用MPD 1800的情况，但即使使用MPD 1810，客户端101也可以执行相同的处理。

在图7A和图7B中，在步骤S701中，MPD分析单元501分析从服务器102获得的MPD文件。MPD分析单元501分析在MPD中描述的整个虚拟视点视频数据的空间区域信息、以及各个AdaptationSet中所包括的虚拟视点视频数据的区域。客户端101选择与子空间相对应的AdaptationSet其中之一，并且开始获得与所选择的AdaptationSet相对应的媒体数据(步骤S702)。这里，AdaptationSet管理单元508管理与当前正再现的视频数据相对应的AdaptationSet。这样，管理当前正再现的视频数据中的子空间。注意，客户端101例如可以基于指定在MPD中描述的初始视点位置、初始视线方向和初始焦点等的信息来确定要首先获得的AdaptationSet。例如，如图17的SupplementalProperty 1704那样定义初始视点位置、初始视线方向和初始焦点。

在检测到进行了用以移动视点位置、视线方向或焦点位置的操作时(步骤S605中为“是”)，操作控制单元511判断移动之后的值是否包括在AdaptationSet中所定义的当前正再现的子空间的范围内(步骤S703)。在该判断中，将各个视点位置、视线方向和焦点位置的移动之后的值与在AdaptationSet管理单元508所管理的同当前正再现的子空间相对应的AdaptationSet中定义的可移动范围的值进行比较。在判断为移动之后的值未包括在当前正再现的子空间的范围内时(步骤S703中为“否”)，操作控制单元511使处理进入步骤S704。在步骤S704中，操作控制单元511判断移动之后的值是否包括在由AdaptationSet管理单元508中所管理的其它AdaptationSet定义的、与当前正再现的子空间不同的其它子空间的范围内。然后，在判断为移动之后的值包括在其它子空间的范围内时(步骤S704中为“是”)，操作控制单元511将再现目标的AdaptationSet切换到与包括移动之后的值的子空间有关的AdaptationSet(步骤S705)。此外，AdaptationSet管理单元508改变被管理为正在再现的AdaptationSet。

这样，在将虚拟视点视频分割成多个子空间的状况中，作为跨多个AdaptationSet进行再现的结果，可以进行根据用户所进行的移动操作的虚拟视点视频的适当再现。另外，作为对虚拟视点视频进行空间分割的结果，减少了视频数据的大小，并且可以减少解码处理的处理负荷。

<处理示例1-3>

接着，将使用图8A和图8B来说明客户端101所执行的处理的第三示例。该处理与如参考图2E所述、单独提供对象和背景的视频数据时的处理有关。在图19中示出该处理中所使用的MPD的示例性描述。在下文，首先将说明图19的MPD，然后将说明图8A和图8B的处理流程。注意，在图8A和图8B的处理中，执行与处理示例1-1中的处理相同的处理的步骤被赋予与图6A和图6B中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

图19的MPD 1900是描述与生成虚拟视点视频的背景数据和对象数据有关的信息的MPD。AdaptationSet 1901是与通过对背景进行编码所获得的视频数据有关的AdaptationSet，并且AdaptationSet 1902和1903是与通过对对象进行编码所获得的视频数据有关的AdaptationSet。EssentialProperty(必需属性)1904表示相对于AdaptationSet 1901的背景数据的视点、视线和焦点的范围。背景数据是通过组合背景和对象来生成虚拟视点视频的情况下的必需数据，因此背景数据包括在EssentialProperty中。然而，不限于此，并且可以在SupplementalProperty中描述类似的信息。客户端101可以根据在EssentialProperty 1904的schemeIdUri的值中的字符串“background”来判断为该AdaptationSet 1901对应于背景数据。此外，可以从value的值获得与背景数据有关的元数据的值。注意，value的值具有与图17的SupplementalProperty 1702相同的含义。注意，客户端101可以基于字符串“background”包括在codecs的值中来判断为AdaptationSet 1901对应于背景数据。

AdaptationSet 1902是与必需对象相对应的AdaptationSet，并且AdaptationSet1903是与可选对象相对应的AdaptationSet。在AdaptationSet 1902和1903各自中所包括的associationType(关联类型)和associationID(关联ID)中，定义了关联的AdaptationSet和关联的类型。例如，作为associationType的值被设置为“pcbg”的结果，表示对象与背景相关联的关联关系。因此，由于associationType的值为“pcbg”，因此这表示AdaptationSet 1902和1903与同背景相关联的对象有关。注意，“pcbg”是表示associationType的示例，并且可以使用其它字符串。此外，associationID表示关联的AdaptationSet的AdaptationSet ID。也就是说，由于associationID为“1”，因此指定了AdaptationSet 1902和1903与AdaptationSet ID为“1”的AdaptationSet 1901相关联。

SupplementalProperty 1905和1906分别描述与同AdaptationSet 1902和1903相对应的对象数据有关的信息。客户端101可以通过SupplementalProperty 1905和1906中所包括的schemeIdUri而判断为AdaptationSet 1902和1903对应于对象数据。此外，客户端101可以基于SupplementalProperty 1905和1906各自中所包括的value的值来判断相应的对象数据是否是必需的。也就是说，客户端101可以指定，针对在value的值中包括“Mandatory(强制性的)”的AdaptationSet 1902，相应的对象数据是必需的。另一方面，客户端101可以指定，针对在value的值中包括“Optional(可选的)”的AdaptationSet 1903，相应的对象数据是可选的。注意，在value的值中，x、y和z是用于描述对象的位置的信息，并且yaw、roll和pitch是用于描述对象的转动方向的信息。

在图8A和图8B中，在步骤S801中，MPD分析单元501分析从服务器102获得的MPD文件。在该处理中，MPD分析单元501分析与背景数据相对应的AdaptationSet和与对象相对应的AdaptationSet。这里，AdaptationSet管理单元508保持与背景数据相对应的AdaptationSet的视点位置、视线方向和焦点位置的可移动范围。此外，AdaptationSet管理单元508还管理该AdaptationSet是与背景数据有关的信息这一事实。AdaptationSet管理单元508还管理与对象数据相对应的AdaptationSet的元数据，诸如表示必需或可选的标志、显示位置和显示方向等。

编码方法判断单元505基于AdaptationSet管理单元508所管理的AdaptationSet来判断是否存在采用可解码格式的虚拟视点视频数据(步骤S802)。在AdaptationSet管理单元508管理与可解码的背景数据和对象数据这两者有关的AdaptationSet的情况下，编码方法判断单元505判断为存在采用可解码格式的虚拟视点视频数据。注意，在即使未管理背景数据的AdaptationSet、也管理对象数据的AdaptationSet的情况下，编码方法判断单元505可以判断为存在采用可解码格式的虚拟视点视频数据。在判断为存在采用可解码格式的虚拟视点视频数据时(步骤S802中为“是”)，客户端101指定要获得的AdaptationSet，并且开始获得媒体数据(背景数据和对象数据)(步骤S803)。注意，关于对象数据，客户端101可以仅获得与设置了必需标志的AdaptationSet相对应的对象数据，或者也可以获得可选的对象数据。这里，AdaptationSet管理单元508管理客户端101所选择的AdaptationSet、即分别对应于正再现的背景数据和对象数据的AdaptationSet。

在开始媒体数据的获得时，操作控制单元511继续进行与是否关于用户的视点位置、视线方向和焦点位置的变化或者要显示(获得)的背景/对象的变化而进行了用户输入有关的监视(步骤S804)。然后，在判断为进行了用户输入时(步骤S804中为“是”)，操作控制单元511判断用户输入是否与要显示的背景或对象的变化有关(步骤S805)。在判断为用户输入与背景或对象的变化有关时(步骤S805中为“是”)，操作控制单元511将再现目标的AdaptationSet切换到与变化之后的背景或对象相对应的AdaptationSet(步骤S806)。此外，AdaptationSet管理单元508改变被管理为正在再现的AdaptationSet。此外，在存在由于用户输入而导致将要结束获得的背景或对象的情况下，AdaptationSet管理单元508将与该背景或对象相对应的AdaptationSet从要被管理为正在再现的目标中删除。此外，在存在由于用户输入而将新获得的背景或对象的情况下，AdaptationSet管理单元508将与该背景或对象相对应的AdaptationSet设置为要被管理为正在再现的目标。

注意，在该处理中，解码控制单元506通过基于操作控制单元511所保持的用户的位置/视线方向/焦点信息对背景数据和对象数据进行解码来生成虚拟视点视频。此外，解码控制单元506经由显示控制单元507使得显示单元403显示所生成的虚拟视点视频(步骤S807)。

这样，在根据背景数据和对象数据生成虚拟视点视频并显示该虚拟视点视频的系统中，可以使用AdaptationSet的描述来指定要用于生成虚拟视点视频的数据。这样，可以生成虚拟视点视频的客户端101可以通过获得用于生成虚拟视点视频的背景数据和对象数据来显示合适的虚拟视点视频。

<处理示例1-4>

在图9A和图9B中示出客户端101所要执行的处理流程的第四示例。该处理与如参考图3A所述的、使用用户的移动范围受到限制的窗口6DoF的情况下的处理有关。在图20A和图20B中示出该处理中所要使用的MPD的示例性描述。在下文，首先将说明图20A和图20B中的MPD，然后将说明图9A和图9B中的处理流程。注意，在图9A和图9B的处理中，执行与处理示例1-1中的处理相同的处理的步骤被赋予与图6A和图6B中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

图20A的MPD 2000是描述与窗口6DoF有关的信息的MPD。注意，MPD 2000示出在视点位置、视线方向和焦点位置的移动限制范围静止且不改变的情况下的MPD的示例。AdaptationSet 2001中所包括的SupplementalProperty 2003描述虚拟视点视频中移动受到限制的范围(移动限制范围)。客户端101例如可以基于字符串“windowed_area”是否包括在schemeIdUri的值中来判断该SupplementalProperty是否描述移动限制范围。也就是说，客户端101可以判断为在schemeIdUri中包括字符串“windowed_area”的SupplementalProperty 2003描述移动限制范围。注意，SupplementalProperty 2003的value中的描述内容具有与图17中的SupplementalProperty 1702的描述相同的含义。也就是说，SupplementalProperty 2003中的value例如表示视点向由x轴上的x～x+x_offset、y轴上的y～y+y_offset和z轴上的z～z+z_offset确定的范围的移动受到限制。客户端101不能使视点位置、视线方向和焦点位置移动到这里指定的范围内。

图20B的MPD 2010是在视点位置、视线方向和焦点位置的移动限制范围动态改变的情况下的MPD的示例。SupplementalProperty 2013描述AdaptationSet 2011是包括可移动范围的TimedMetadata的AdaptationSet。客户端101可以基于字符串“limited_6dof”是否包括在schemeIdUri中来判断AdaptationSet 2011是否包括动态改变的移动限制范围。此外，利用value的值，将描述可移动范围的TimedMetadata定义为Representation id＝4的Representation 2014。AdaptationSet 2012是包括包含可移动范围的TimedMetadata的AdaptationSet。AdaptationSet 2012可被判断为包括利用Representation 2014中的codecs的值来定义可移动范围的元数据。

在图9A和图9B中，在步骤S901中，MPD分析单元501分析从服务器102获得的MPD文件。MPD分析单元501根据与虚拟视点视频数据相对应的AdaptationSet来指定虚拟视点视频的移动范围和移动限制范围。例如，MPD分析单元501分析在AdaptationSet中定义的视点位置、视线方向和焦点位置的可移动范围。另外，MPD分析单元501分析在AdaptationSet中定义的视点位置、视线方向和焦点位置的移动限制范围。AdaptationSet管理单元508将所分析的元数据连同AdaptationSet一起保持并管理。注意，在该处理示例中，移动限制范围被假定为静态值，但不限于此，并且可以指定动态移动限制范围。例如，分析包括与图20B的MPD 2010中所描述的AdaptationSet 2011相关联的TimedMetadata的AdaptationSet2012。客户端101可以通过分析包括TimedMetadata的AdaptationSet 2012中所描述的分段来获得移动限制范围。

此外，操作控制单元511除了执行与移动之后的视点位置、视线方向或焦点位置是否包括在虚拟视点视频的范围内有关的判断(步骤S606)之外，还执行与移动之后的视点位置、视线方向或焦点位置是否包括在移动限制范围内有关的判断(步骤S902)。例如，操作控制单元511判断移动之后的视点位置、视线方向或焦点位置是否包括在由与正再现的视频数据相关联的AdaptationSet定义的移动限制范围内。此外，在移动之后的视点位置、视线方向或焦点位置在虚拟视点视频的范围之外(步骤S606中为“否”)或者在移动限制范围之内(步骤S902中为“是”)的情况下，操作控制单元511限制移动(用户动作)(步骤S608)。在移动之后的视点位置、视线方向或焦点位置在移动限制范围内的情况下限制移动的具体方法与在移动之后的视点位置、视线方向或焦点位置在虚拟视点视频外的情况下限制移动的具体方法相同。

这样，客户端101可以根据MPD指定虚拟视点视频的移动限制范围，并且可以进行与该移动限制范围相对应的显示控制。因此，可以使用适当的视点位置、视线方向和焦点位置来显示虚拟视点视频，并且可以提高用户体验。

<处理示例1-5>

在图10A和图10B中示出客户端101所要执行的处理流程的第五示例。该处理与如针对图3B所述的、在服务器102在TimedMetadata中提供用户的视线方向和移动方向的信息的情况下的处理有关。在图21中示出该处理中所使用的MPD的示例性描述。在下文，首先将说明图21的MPD，之后将说明图10A和图10B的处理流程。注意，在图10A和图10B的处理中，执行与处理示例1-1中的处理相同的处理的步骤被赋予与图6A和图6B中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

图21的MPD 2100是包括包含虚拟视点视频的元数据的TimedMetadata的MPD的示例。AdaptationSet 2101是与虚拟视点视频相对应的AdaptationSet，并且AdaptationSet2102是包括用于定义视点位置、视线方向和焦点位置的TimedMetadata的AdaptationSet。

SupplementalProperty 2104描述用于识别要参考的TimedMetadata的Representation的信息。客户端101判断字符串“dynamic_6dof”是否包括在schemeIdUri的值中。此外，客户端101可以基于该判断结果来指定该SupplementalProperty是否表示定义动态地改变的视点位置、视线方向和焦点位置的TimedMetadata轨。在图21的示例中，指定了SupplementalProperty 2104表示定义动态地改变的视点位置、视线方向和焦点位置的TimedMetadata轨。此外，由于SupplementalProperty 2104的value的值为“4.5”，因此参考Representation id为4和5的Representation。

Representation 2105是包括TimedMetadata的Representation。该Representation 2105的codecs的值是6dcc(6Degrees Cartesian Coordinate(6度笛卡尔坐标))。这样，指定了Representation 2105中所包括的媒体数据是与虚拟视点视频有关的TimedMetadata。注意，TimedMetadata包括视点位置、视线方向和焦点位置。客户端101可以使用该TimedMetadata来确定视点位置、视线方向和焦点位置。此外，客户端101可以使用由TimedMetadata定义的视点位置、视线方向和焦点位置中的任意一个或多个。这样，客户端101可以进行再现控制，以允许用户在服务器102中按内容创建者所意图的视点位置、视线方向和焦点位置查看虚拟视点视频。注意，图21的MPD中的schemeIdUri的值仅仅是示例，并且可以使用其它标识符。此外，可以利用除诸如SupplementalProperty或EssentialProperty等的机制以外的方法在MPD中定义元数据，只要该元数据是具有与上述元数据相同的含义的元数据即可。

在图10A和图10B中，在步骤S1001中，MPD分析单元501分析从服务器102获得的MPD文件。这里，MPD分析单元501分析与虚拟视点视频相对应的AdaptationSet和包括TimedMetadata的AdaptationSet。此外，MPD分析单元501还执行针对与虚拟视点视频相对应的AdaptationSet和包括TimedMetadata的AdaptationSet之间的关联的分析。例如，MPD分析单元501分析与虚拟视点视频相对应的AdaptationSet中所包括的视点位置、视线方向和焦点位置的可移动范围。此外，AdaptationSet管理单元508管理分析结果。此外，MPD分析单元501分析是否存在应与虚拟视点视频数据相关联的TimedMetadata。此外，在存在这样的TimedMetadata的情况下，AdaptationSet管理单元508管理虚拟视点视频数据与其TimedMetadata之间的关联。此外，MPD分析单元501分析包括TimedMetadata的AdaptationSet中的TimedMetadata的编码信息。MPD分析单元501使得AdaptationSet管理单元508管理分析结果。

操作控制单元511在开始媒体数据的获得时(步骤S604)，判断是否将使用TimedMetadata的值(步骤S1002)。操作控制单元511例如可以基于表示是否应遵循TimedMetadata的用户操作来判断是否将使用TimedMetadata。注意，操作控制单元511例如可以基于视点位置来判断是否将使用TimedMetadata。在这种情况下，例如，可以确定在视点位置在预定范围内的时间段中将使用TimedMetadata。此外，操作控制单元511例如可以基于与用户的合约来判断是否将使用TimedMetadata。例如，配置可以如下：在用户免费观看虚拟视点视频时，使用TimedMetadata，并且在用户付费观看虚拟视点视频时，接受与是否将使用TimedMetadata有关的用户选择。

在操作控制单元511判断为将使用TimedMetadata的值的情况下(步骤S1002中为“是”)，AdaptationSet管理单元508选择要获得的TimedMetadata(步骤S1003)。AdaptationSet管理单元508例如可以基于用户关注的对象来确定要获得的TimedMetadata。这里，AdaptationSet管理单元508例如可以基于该时间点的视点位置和视线方向来指定关注对象，或者可以基于诸如对象的选择等的预定用户操作来指定关注对象。然后，分段获得单元512获得被指定获得的TimedMetadata(步骤S1004)。操作控制单元511基于所获得的TimedMetadata来将视点位置、视线方向和焦点位置中的一个或全部设置为由TimedMetadata指定的值(步骤S1005)。

注意，在判断为将不使用TimedMetadata的值时(步骤S1002中为“否”)，操作控制单元511根据用户操作来控制视点位置、视线方向和焦点位置(步骤S1006)。例如，操作控制单元511可以执行图6A和图6B的步骤S605～S608中的处理。

这样，例如，在虚拟视点视频的创建者期望使得用户根据预定的视点位置、视线方向和焦点位置观看虚拟视点视频的情况下，可以使用TimedMetadata来描述这样的设置。结果，客户端101可以按照创建者的意图显示虚拟视点视频。此外，如下变得可能：允许被施加了限制的一些用户按特定视点位置、视线方向和焦点位置观看虚拟视点视频，并且允许未被施加限制的用户按自由的视点位置、视线方向和焦点位置观看虚拟视点视频。此外，允许这两个用户按推荐的视点位置、视线方向和焦点位置观看虚拟视点视频。注意，例如，可以采用如下的配置：在当前的视点位置、视线方向和焦点位置满足预定条件的情况下，执行图10A和图10B的处理。也就是说，在当前的视点位置、视线方向和焦点位置不满足预定条件的情况下，客户端101可以执行诸如图6A～图9B所示的处理等的处理。

如上述的处理示例那样，客户端101在获得视频数据之前分析MPD，并且获得客户端101可以解码的视频数据。另外，在视频数据是虚拟视点视频数据的情况下，可以使用MPD中的描述来限制客户端101再现虚拟视点视频时的视点位置、视线方向和焦点位置。因此，可以防止发生诸如客户端101尝试对不能解码的视频数据进行解码、以及由于使用不应设置的视点位置、视线方向和焦点而引起的错误等的不便。

(服务器102的功能结构)

接着，将说明服务器102的功能结构。图11是示出服务器102的示例性功能结构的框图。服务器102例如包括MPD生成单元1101、视点移动范围生成单元1102、视线移动范围生成单元1103、焦点移动范围生成单元1104、编码方法判断单元1105、通信控制单元1106和分段管理单元1107。

MPD生成单元1101生成诸如上述的图17～图21所示的MPD等的MPD。视点移动范围生成单元1102生成与虚拟视点视频中的视点位置的可移动范围有关的信息。视点移动范围生成单元1102例如通过分析虚拟视点视频数据或虚拟视点视频数据的容器来获得视点的可移动范围。视线移动范围生成单元1103生成与虚拟视点视频中的视线方向的可移动范围有关的信息。视线移动范围生成单元1103通过分析虚拟视点视频数据或虚拟视点视频数据的容器来获得视线的可移动范围。焦点移动范围生成单元1104生成与虚拟视点视频中的焦点方向的可移动范围有关的信息。焦点移动范围生成单元1104通过分析虚拟视点视频数据或虚拟视点视频数据的容器来获得焦点的可移动范围。视点移动范围生成单元1102、视线移动范围生成单元1103和焦点移动范围生成单元1104所生成的信息由MPD生成单元1101在MPD中描述。编码方法判断单元1105判断视频数据的编码方法。编码方法判断单元1105分析编码数据或编码数据的容器，并且例如指定该数据是以虚拟视点视频格式编码的数据还是以其它编码方法编码的数据。注意，对于利用不是虚拟视点视频格式的编码方法编码的数据，编码方法判断单元1105可以详细地指定编码方法。所指定的编码方法的信息由MPD生成单元1101在MPD中描述。

通信控制单元1106控制经由通信单元427的通信。例如，通信控制单元1106进行利用诸如HTTP(超文本传输协议)和TCP/IP等的各种通信协议的通信的控制。分段管理单元1107管理以虚拟视点视频格式编码的视频数据分段、以除虚拟视点视频格式以外的格式编码的视频数据分段、以及TimedMetadata的分段。分段管理单元1107可以生成分段，或者可以从其它设备获得分段。

(服务器102所执行的处理流程)

接着，将说明服务器102所要执行的处理流程的一些示例。在本实施例中，服务器102将与视频数据有关的信息包括在MPEG-DASH MPD文件中，并且将该MPD文件发送至客户端101。在下文，将具体说明与MPD文件的生成有关的处理。

<处理示例2-1>

该处理示例是与处理示例1-1相对应的处理流程的示例，并且与生成诸如图17的MPD 1700等的MPD时的处理有关。在图12中示出该处理流程的示例。

在该处理中，首先，分段管理单元1107准备要用于分发的分段(步骤S1201)。服务器102准备初始化分段和媒体分段。注意，要分发的分段可以通过对服务器102所编码的数据进行分段来获得，或者可以是除服务器102以外的设备所生成的分段。注意，服务器102无需保持分段，并且可以准备与其它设备所保持的分段的位置(例如，URL)有关的信息。然后，MPD生成单元1101开始生成MPD(步骤S1202)。

MPD生成单元1101生成与虚拟视点视频相对应的AdaptationSet(步骤S1203)。此外，MPD生成单元1101在步骤S1203中生成的AdaptationSet中描述与相应的虚拟视点视频数据的编码方法有关的信息(步骤S1204)。例如，MPD生成单元1101在AdaptationSet中描述通过编码方法判断单元1105分析分段文件所判断出的编码方法、或者与从外部输入的编码方法有关的信息。例如，在AdaptationSet内的codecs中描述与编码方法有关的信息。

MPD生成单元1101在步骤S1203中所生成的AdaptationSet中描述与相应虚拟视点视频中的视点位置的可移动范围有关的信息(步骤S1205)。例如，MPD生成单元1101在AdaptationSet中描述通过视点移动范围生成单元1102分析片段文件所判断出的视点位置的可移动范围、或者与从外部输入的视点位置的可移动范围有关的信息。

此外，MPD生成单元1101在步骤S1203中所生成的AdaptationSet中描述与相应虚拟视点视频中的视线方向的可移动范围有关的信息(步骤S1206)。例如，MPD生成单元1101在AdaptationSet中描述通过视线移动范围生成单元1103分析分段文件所判断出的视线方向的可移动范围、或者与从外部输入的视线方向的可移动范围有关的信息。

此外，MPD生成单元1101在步骤S1203中生成的AdaptationSet中描述与相应虚拟视点视频中的焦点位置的可移动范围有关的信息(步骤S1207)。例如，MPD生成单元1101在AdaptationSet中描述通过焦点移动范围生成单元1104分析分段文件所判断出的焦点位置的可移动范围、或者与从外部输入的焦点位置的可移动范围有关的信息。

注意，步骤S1204～S1207的处理无需按图12所示的顺序执行，并且各个处理可以按任何顺序执行。此外，在如步骤S1204～S1207那样指定了编码方法、视点位置的可移动范围、视线方向的可移动范围和焦点位置的可移动范围之后，可以进行包括这些信息的AdaptationSet的生成。

在完成与虚拟视点视频相对应的AdaptationSet的生成之后，MPD生成单元1101判断在MPD中是否要包括与利用不同于虚拟视点视频编码方法的方法所编码的视频数据有关的AdaptationSet(步骤S1208)。在判断为在MPD中要包括与除虚拟视点视频以外的视频数据相对应的AdaptationSet时(步骤S1208中为“是”)，MPD生成单元1101在MPD中描述与视频数据有关的AdaptationSet(步骤S1209)。例如，MPD生成单元1101可以将与利用AVC、HEVC或其它编码方法编码的视频数据相对应的AdaptationSet包括在MPD中。这样，作为将利用除虚拟视点视频编码方法以外的方法编码的视频数据有关的信息包括在MPD中的结果，与虚拟视点视频编码方法不兼容的MPD的接收方能够根据MPD再现内容的概率提高。

之后，MPD生成单元1101在MPD中描述其它所需的元数据，并且完成MPD的生成(步骤S1210)。注意，这里所述的MPD与本实施例不直接相关，因此将省略对MPD的说明。

作为发送如上所述生成的MPD的结果，接收到该MPD的设备可以选择并获得该设备能够解码的视频数据。例如，接收到MPD的设备在该设备能够对虚拟视点视频数据进行解码的情况下，可以基于与虚拟视点视频数据相对应的AdaptationSet中所包括的URL来获得虚拟视点视频数据。这样，接收到MPD的设备获得已被判断为基于MPD可解码的视频数据，因此可以降低所获得的视频数据的解码失败的概率。

<处理示例2-2>

该处理示例是与处理示例1-2相对应的处理流程的示例，并且与生成诸如图18A的MPD 1800或图18B的MPD 1810等的MPD时的处理有关。在图13中示出该处理流程的示例。注意，在图13的处理中，执行与处理示例2-1中的处理相同的处理的步骤被赋予与图12中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

在步骤S1301中，MPD生成单元1101生成分别与多个分割区域相对应的AdaptationSet。此外，MPD生成单元1101在步骤S1301中所生成的各AdaptationSet中描述与虚拟视点视频数据的编码方法有关的信息(步骤S1302)。步骤S1302的处理与步骤S1204的处理的不同之处在于，该处理针对虚拟视点视频中的子空间，但具体处理与步骤S1204中的处理相同。

之后，MPD生成单元1101在步骤S1301中所生成的各AdaptationSet中描述与虚拟视点视频的整体(分割之前的虚拟视点视频)中的视点位置、视线方向和焦点位置的可移动范围有关的信息(步骤S1303～S1305)。注意，在MPD中可以描述与针对虚拟视点视频的整体的视点位置、视线方向和焦点位置的可移动范围有关的仅一个信息。在这种情况下，例如，可以生成如下的AdaptationSet，在该AdaptationSet中描述与针对虚拟视点视频的整体的视点位置、视线方向和焦点位置的可移动范围有关的信息。此外，在步骤S1301中所生成的AdaptationSet中，可以包括指向描述了与针对虚拟视点视频的整体的视点位置、视线方向和焦点位置有关的信息的AdaptationSet的指针。注意，视点移动范围生成单元1102、视线移动范围生成单元1103和焦点移动范围生成单元1104可以通过分析与虚拟视点视频的所有子空间有关的分段来指定针对虚拟视点视频的整体的视点位置、视线方向和焦点位置的可移动范围。此外，视点移动范围生成单元1102、视线移动范围生成单元1103和焦点移动范围生成单元1104可以从外部设备获得与针对虚拟视点视频的整体的视点位置、视线方向和焦点位置的可移动范围有关的信息。

此外，MPD生成单元1101在步骤S1301中所生成的各个AdaptationSet中描述与针对分别对应于AdaptationSet的虚拟视点视频的各个子空间的视点位置、视线方向和焦点位置的可移动范围有关的信息(步骤S1306～S1308)。注意，视点移动范围生成单元1102、视线移动范围生成单元1103和焦点移动范围生成单元1104可以通过分析与虚拟视点视频的各子空间有关的分段，来指定针对该子空间的视点位置、视线方向和焦点位置的可移动范围。视点移动范围生成单元1102、视线移动范围生成单元1103和焦点移动范围生成单元1104可以从外部设备获得针对各子空间的视点位置、视线方向和焦点位置的可移动范围。

注意，步骤S1302～S1308中的处理无需按图13所示的顺序执行，并且各个处理可以按任何顺序执行。此外，在如步骤S1302～S1308那样指定编码方法、视点位置的可移动范围、视线方向的可移动范围和焦点位置的可移动范围之后，可以进行包括这些信息的AdaptationSet的生成。

这样，在将虚拟视点视频分割成多个子空间的状况中，作为利用多个AdaptationSet描述与各个子空间有关的信息的结果，接收到MPD的设备不再需要一次获得针对整个空间的虚拟视点视频。这样，由于从空间上对虚拟视点视频进行分割，因此视频数据的大小减小，并且结果，可以减少接收到MPD的设备中的解码处理的处理负荷。

<处理示例2-3>

该处理示例是与处理示例1-3相对应的处理流程的示例，并且与生成诸如图19的MPD 1900等的MPD时的处理有关。在图14中示出该处理流程的示例。注意，在图14的处理中，执行与处理示例2-1中的处理相同的处理的步骤被赋予与图12中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

在步骤S1401中，MPD生成单元1101生成与虚拟视点视频的背景数据相对应的AdaptationSet。此外，MPD生成单元1101在步骤S1401中生成的AdaptationSet中描述与背景数据的相应编码方法有关的信息(步骤S1402)。步骤S1402的处理与步骤S1204的处理不同之处在于，该处理针对虚拟视点视频中的背景数据，但具体处理与步骤S1204中的处理相同。

之后，MPD生成单元1101在步骤S1401中生成的AdaptationSet中描述与背景数据中的视点位置和视线方向的可移动范围有关的信息(步骤S1403～S1404)。步骤S1403～S1404的处理与步骤S1205～S1206的处理不同之处在于，该处理针对虚拟视点视频中的背景数据，但具体处理与步骤S1205～S1206的处理相同。

此外，MPD生成单元1101生成分别与虚拟视点视频的对象数据相对应的AdaptationSet(步骤S1405)。此外，MPD生成单元1101在步骤S1405中生成的AdaptationSet中针对各个对象数据描述表示虚拟视点视频空间中的对象的位置的信息(步骤S1406)。MPD生成单元1101例如可以通过分析分段文件或者通过接收来自外部的输入来获得对象的位置。此外，MPD生成单元1101在步骤S1405中生成的AdaptationSet中针对各个对象数据描述表示虚拟视点视频空间中的对象的朝向的信息(步骤S1407)。MPD生成单元1101例如可以通过分析分段文件或者通过接收来自外部的输入来获得对象的朝向。此外，MPD生成单元1101在与各个对象数据相对应的AdaptationSet中描述用于使MPD的接收方在生成虚拟视点视频时判断各对象是必需的还是可选的信息(步骤S1408)。此外，MPD生成单元1101在步骤S1405中生成的AdaptationSet中针对各个对象数据描述表示存在对象数据依赖于与背景数据相对应的自适应集的关系的信息(步骤S1409)。

注意，步骤S1401～S1409的处理无需按图14所示的顺序执行，并且各个处理可以按任何顺序执行。例如，与对象数据有关的AdaptationSet的生成之前可以在与背景数据有关的AdaptationSet的生成之前开始。注意，一旦生成了与背景数据有关的AdaptationSet，其识别信息可以作为与依赖关系有关的信息包括在与对象数据有关的AdaptationSet中。

这样，在从背景数据和对象数据生成虚拟视点视频的系统中，可以生成使得可以指定要用于生成虚拟视点视频的数据的MPD。这样，可以生成虚拟视点视频，并且接收到MPD的设备可以通过获得用于生成虚拟视点视频的背景数据和对象数据来显示适当的虚拟视点视频。

<处理示例2-4>

该处理示例是与处理示例1-4相对应的处理流程的示例，并且与生成诸如图20A的MPD 2000等的MPD时的处理有关。在图15中示出该处理流程的示例。注意，在图15的处理中，执行与处理示例2-1中的处理相同的处理的步骤被赋予与图12中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

在步骤S1501中，MPD生成单元1101在AdaptationSet中描述与虚拟视点视频中的视点位置的移动限制范围有关的信息。MPD生成单元1101在AdaptationSet中描述与视点移动范围生成单元1102通过分析分段文件或通过接收来自外部的输入所获得的视点位置的移动限制范围有关的信息。此外，MPD生成单元1101在AdaptationSet中描述与虚拟视点视频中的视线方向的移动限制范围有关的信息(步骤S1502)。MPD生成单元1101在AdaptationSet中描述与视线移动范围生成单元1103通过分析分段文件或通过接收来自外部的输入所获得的视线方向的移动限制范围有关的信息。此外，MPD生成单元1101在AdaptationSet中描述与虚拟视点视频中的焦点位置的移动限制范围有关的信息(步骤S1503)。MPD生成单元1101在AdaptationSet中描述与焦点移动范围生成单元1104通过分析分段文件或通过接收来自外部的输入所获得的视线方向的移动限制范围有关的信息。

注意，步骤S1501～S1503的处理无需按图15所示的顺序执行，并且各个处理可以按任何顺序执行。

作为如上所述生成指定虚拟视点视频的移动限制范围的MPD的结果，接收该MPD的设备可以根据该描述进行虚拟视点视频的显示控制。因此，可以使用适当的视点位置、视线方向和焦点位置来显示虚拟视点视频，并且可以提高用户体验。

<处理示例2-5>

该处理示例是与处理示例1-5相对应的处理流程的示例，并且与生成诸如图21的MPD 2100等的MPD时的处理有关。在图16中示出该处理流程的示例。注意，在图16的处理中，执行与处理示例2-1的处理相同的处理的步骤被赋予与图12中的附图标记相同的附图标记，并且将省略对这些步骤的说明。

在步骤S1601中，MPD生成单元1101生成包括TimedMetadata的AdaptationSet。TimedMetadata可以存储在与步骤S1203中所生成的AdaptationSet不同的AdaptationSet中。此外，多个TimedMetadata可以存储在一个AdaptationSet中。注意，在多个TimedMetadata存储在一个AdaptationSet中的情况下，各TimedMetadata包括在不同的Representation中。

此外，MPD生成单元1101在包括TimedMetadata的AdaptationSet中将用于指定TimedMetadata的格式的值描述为编码方法(步骤S1602)。注意，这里，描述表示目标TimedMetadata是与虚拟视点视频有关的TimedMetadata的值。MPD生成单元1101可以通过分析该TimedMetadata或者通过接收来自外部的输入来判断该格式。注意，可以在Representation中描述TimedMetadata的编码方法的值。

此外，MPD生成单元1101将包括TimedMetadata的AdaptationSet所依赖于的AdaptationSet描述为要依赖的AdaptationSet(步骤S1610)。MPD生成单元1101可以通过分析该TimedMetadata或通过接收来自外部的输入来判断要依赖的AdaptationSet。

这样，在例如虚拟视点视频的创建者期望使得用户根据预定的视点位置、视线方向和焦点位置来观看虚拟视点视频时，服务器102可以使用TimedMetadata来描述这样的设置。结果，接收到该MPD的设备可以按创建者的意图显示虚拟视点视频。此外，如下变得可能：允许被施加了限制的用户按特定视点位置、视线方向和焦点位置观看虚拟视点视频，并且允许未被施加限制的用户按自由的视点位置、视线方向和焦点位置观看虚拟视点视频。此外，允许这两个用户按推荐的视点位置、视线方向和焦点位置观看虚拟视点视频。

如上述的处理示例那样，服务器102与视频数据分开地生成并发送与视频数据有关的MPD。这样，该MPD的接收方通过获得自身设备可以解码的视频数据且不获得不能解码的视频数据，来不获得不需要的视频数据。可以通过可靠地使得MPD的接收方在存在虚拟视点视频的情况下识别该虚拟视点视频的存在来增加该接收方能够观看虚拟视点视频的机会。在视频数据是虚拟视点视频数据的情况下，可以通过MPD中的描述来限制观看其虚拟视点视频时的视点位置、视线方向和焦点位置。因此，可以防止发生诸如MPD的接收方尝试对不能解码的视频数据进行解码、以及由于使用不应设置的视点位置、视线方向和焦点位置而引起的错误等的不便。

在本实施例中，诸如视点位置、视线方向和焦点位置等的元数据包括在包含与虚拟视点视频有关的信息的MPD中，所有这些都不是必需的，并且例如，仅视点位置可以作为元数据包括在MPD中。此外，除了视点位置、视线方向和焦点位置至少之一之外，还可以包括其它设置要素作为元数据。这样，作为使用至少一个设置信息作为元数据的结果，可以在再现视频数据时进行灵活的控制。

此外，在本实施例中，描述了MPEG-DASH作为示例，但不限于此。上述论述例如可应用于包括播放列表的诸如HTTP Live Streaming和Microsoft Smooth Streaming(微软平滑流传输)等的标准。也就是说，作为在与诸如播放列表等的视频数据不同的数据中描述与虚拟视点视频有关的元数据的结果，可以进行与上述处理相同的处理。

注意，在本实施例中，已经说明了在播放列表中描述与虚拟视点视频数据有关的元数据的处理，但不限于此，并且可以利用其它方法提供与虚拟视点视频数据有关的元数据。例如，与虚拟视点视频数据有关的元数据可以包括在Javascript文件等中，或者服务器可以使用不同类型的协议来提供与虚拟视点视频数据有关的元数据。利用这些方法，可以在不使用播放列表的情况下将获得虚拟视点视频数据所需的元数据提供至客户端。

此外，在本实施例中，描述了服务器对虚拟视点视频进行编码和分发的示例，但可以不仅是虚拟视点视频数据，还并行地分发通过其它编码方法所编码的视频数据。例如，可以分发通过使用HEVC、AVC、VP8、VP9或其它编码方法基于虚拟视点视频数据对通过限制视点/视线的移动所生成的视频进行编码而获得的视频数据。这样，即使与虚拟视点视频的编码不兼容的客户端也可以再现与虚拟视点视频相对应的运动图像。

注意，可以使用任何编码方法来获得虚拟视点视频数据。例如，可以使用作为用于进行编码以包括焦点信息的编码方法的Light Field Compression(光场压缩)和Plenoptic Image Compression(全光图像压缩)，或者可以使用与这些编码方法不同的编码方法。例如，可以使用生成不包括焦点信息的数据所利用的编码方法。此外，在本实施例中，将经过了编码处理的虚拟视点视频数据存储在运动图像容器中。运动图像容器可以是ISOBMFF(ISO基媒体文件格式)、MPEG2-TS、WebM或其它运动图像容器格式。此外，视频数据在以运动图像容器格式被存储时，通过分段化而被分割成多个运动图像文件，但不限于此，并且可以不对视频数据进行分割。注意，在未对视频数据进行分割的情况下，客户端获得所有的单个视频数据文件，或者通过指定特定范围(字节范围)来获得分段。

如上所述，服务器102在MPD文件中描述用于识别虚拟视点视频数据的元数据。客户端101分析与在MPD文件中描述的虚拟视点视频数据有关的元数据，管理所分析的结果，并且基于管理内容来再现视频。这样，客户端101获得客户端101可以解码的视频数据，并且可以在不分析视频数据的情况下执行与视频数据有关的操作的控制。因此，客户端101可以在减少处理负荷的同时，从服务器102获得虚拟视点视频数据。

注意，上述方法可应用于如下的系统：将与视频数据有关但不是视频数据的第一数据提供至客户端，并且客户端基于第一数据来获得包括视频数据的第二数据。也就是说，在使用MPD文件或采用任何其它格式的文件作为第一数据的情况下，可以针对第一数据使用如上所述的描述方法。注意，代替视频数据或除视频数据之外，还针对语音数据，执行与上述处理相同的处理。也就是说，上述方法也可应用于诸如虚拟听点(listening point)声音等的其它媒体数据。

<<其它实施例>>

本发明还可以通过如下的处理来实现：将实现上述实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备，并且该系统或设备的计算机的一个或多个处理器读出该程序并执行所读取的程序。此外，本发明还可以通过实现一个或多个功能(例如，ASIC)的电路来实现。

本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了公开本发明的范围，添加了所附权利要求书。

Claims (19)

1.一种信息处理设备，其特征在于，包括：

获得部件，用于获得描述与视频数据有关的信息的第一数据、以及包括所述视频数据的第二数据；

判断部件，用于判断在所述第一数据中是否描述了预定值，所述预定值表示包括了与通过设置视点位置、视线方向和焦点位置至少之一而能够观看的虚拟视点视频有关的信息；以及

控制部件，用于进行所述第二数据中所包括的视频数据的再现控制，

其中，所述获得部件基于所述判断部件所进行的判断的结果和所述第一数据来获得所述第二数据。

2.根据权利要求1所述的信息处理设备，其特征在于，在所述信息处理设备能够处理所述虚拟视点视频的再现、并且在所述第一数据中描述了所述预定值的情况下，所述获得部件获得包括与所述第一数据中所包括的信息相关联的虚拟视点视频数据的所述第二数据。

3.根据权利要求2所述的信息处理设备，其特征在于，

连同所述预定值一起，所述第一数据还包括如下的信息，该信息与所述虚拟视点视频中的视点位置、视线方向和焦点位置至少之一的范围有关，以及

所述控制部件进行所述再现控制，以避免所述虚拟视点视频中的视点位置、视线方向和焦点位置至少之一被设置为不包括在所述范围中的值的状况。

4.根据权利要求2或3所述的信息处理设备，其特征在于，

连同所述预定值一起，所述第一数据还包括如下的信息，该信息针对通过分割所述虚拟视点视频所获得的各个子空间，同与用于指定该子空间的视点位置、视线方向和焦点位置至少之一有关的范围相关，以及

所述获得部件基于与同所述虚拟视点视频中的视点位置、视线方向和焦点位置至少之一的设置相对应的子空间有关的信息，来获得包括与该子空间有关的虚拟视点视频数据的所述第二数据。

5.根据权利要求2至4中任一项所述的信息处理设备，其特征在于，

连同所述预定值一起，所述第一数据还包括指定信息，所述指定信息表示各时刻的视点位置、视线方向和焦点位置至少之一，以及

所述控制部件基于所述指定信息来进行所述再现控制，使得针对再现所述虚拟视点视频时的各时刻设置视点位置、视线方向和焦点位置至少之一。

6.根据权利要求5所述的信息处理设备，其特征在于，还包括：

选择部件，用于选择是否要使用所述指定信息，

其中，所述控制部件在所述选择部件选择了要使用所述指定信息的情况下，基于所述指定信息来进行控制，以针对再现所述虚拟视点视频时的各时刻设置视点位置、视线方向和焦点位置至少之一，以及

在所述选择部件选择了不使用所述指定信息的情况下，基于用户操作来进行控制，以设置再现所述虚拟视点视频时的视点位置、视线方向和焦点位置至少之一。

7.根据权利要求2至6中任一项所述的信息处理设备，其特征在于，

连同所述预定值一起，所述第一数据还包括与限制范围有关的信息，在所述限制范围中，视点位置、视线方向和焦点位置至少之一的设置受到限制，以及

所述控制部件进行所述再现控制，以避免所述虚拟视点视频中的视点位置、视线方向和焦点位置至少之一被设置为所述限制范围中所包括的值的状况。

8.根据权利要求1至7中任一项所述的信息处理设备，其特征在于，

所述虚拟视点视频是基于背景数据和对象数据而生成的，以及

所述预定值表示包括了与所述背景数据和所述对象数据至少之一有关的信息。

9.根据权利要求1至8中任一项所述的信息处理设备，其特征在于，

所述第一数据是作为MPEG-DASH的媒体呈现描述而提供的。

10.一种信息提供设备，用于将描述与视频数据有关的信息的第一数据提供至信息处理设备，所述信息处理设备用于基于所述第一数据来获得包括视频数据的第二数据，所述信息处理设备的特征在于包括：

生成部件，用于生成包括预定值的所述第一数据，所述预定值表示包括了与通过设置视点位置、视线方向和焦点位置至少之一而能够观看的虚拟视点视频有关的信息，以及

提供部件，用于将所述第一数据提供至所述信息处理设备。

11.根据权利要求10所述的信息提供设备，其特征在于，

所述生成部件生成所述第一数据，

连同所述预定值一起，所述第一数据还包括如下的信息，该信息同与所述虚拟视点视频中的视点位置、视线方向和焦点位置至少之一有关的范围相关。

12.根据权利要求10或11所述的信息提供设备，其特征在于，

所述生成部件生成所述第一数据，

连同所述预定值一起，所述第一数据还包括如下的信息，该信息针对通过分割所述虚拟视点视频所获得的各个子空间，同与用于指定该子空间的视点位置、视线方向和焦点位置至少之一有关的范围相关。

13.根据权利要求10至12中任一项所述的信息提供设备，其特征在于，

所述虚拟视点视频是基于背景数据和对象数据而生成的，以及

所述生成部件生成包括如下值的所述第一数据作为所述预定值，该值表示包括了与所述背景数据和所述对象数据至少之一有关的信息。

14.根据权利要求10至13中任一项所述的信息提供设备，其特征在于，

所述生成部件生成所述第一数据，

连同所述预定值一起，所述第一数据还包括指定信息，所述指定信息表示各时刻的视点位置、视线方向和焦点位置至少之一。

15.根据权利要求10至14中任一项所述的信息提供设备，其特征在于，

所述生成部件生成所述第一数据，

连同所述预定值一起，所述第一数据还包括与限制范围有关的信息，在所述限制范围中，视点位置、视线方向和焦点位置至少之一的设置受到限制。

16.根据权利要求10至15中任一项所述的信息提供设备，其特征在于，

所述生成部件生成MPEG-DASH的媒体呈现描述作为所述第一数据。

17.一种信息处理设备的控制方法，其特征在于，包括：

获得描述与视频数据有关的信息的第一数据；

判断在所述第一数据中是否描述了预定值，所述预定值表示包括了与通过设置视点位置、视线方向和焦点位置至少之一而能够观看的虚拟视点视频有关的信息；

基于所述判断中的判断的结果和所述第一数据来获得包括视频数据的第二数据；以及

进行所述第二数据中所包括的视频数据的再现控制。

18.一种信息提供设备的控制方法，所述信息提供设备用于将描述与视频数据有关的信息的第一数据提供至信息处理设备，所述信息处理设备用于基于所述第一数据来获得包括视频数据的第二数据，所述控制方法的特征在于包括：

生成包括预定值的所述第一数据，所述预定值表示包括了与通过设置视点位置、视线方向和焦点位置至少之一而能够观看的虚拟视点视频有关的信息，以及

将所述第一数据提供至所述信息处理设备。

19.一种程序，用于使计算机执行根据权利要求17或18所述的控制方法。

Images