CN108702534B - 文件生成装置、文件生成方法以及再现装置和再现方法 - Google Patents

文件生成装置、文件生成方法以及再现装置和再现方法 Download PDF

Info

Publication number
CN108702534B
CN108702534B CN201780011574.0A CN201780011574A CN108702534B CN 108702534 B CN108702534 B CN 108702534B CN 201780011574 A CN201780011574 A CN 201780011574A CN 108702534 B CN108702534 B CN 108702534B
Authority
CN
China
Prior art keywords
file
depth
quality
image
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780011574.0A
Other languages
English (en)
Other versions
CN108702534A (zh
Inventor
胜股充
平林光浩
浜田俊也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108702534A publication Critical patent/CN108702534A/zh
Application granted granted Critical
Publication of CN108702534B publication Critical patent/CN108702534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开内容涉及使得可以管理文件的文件生成装置和文件生成方法以及再现装置和再现方法，该文件有中效地存储包括至少深度图像的深度相关图像的质量信息。根据本发明，MPD文件生成单元生成MPD文件，MPD文件是用于管理质量文件的管理文件，在质量文件中，表示包括至少深度图像的多个深度相关图像的质量的质量信息被划分成多个轨道，并且MPD文件描述每个轨道与指定深度相关图像的关联ID之间的对应关系。本公开内容可以例如应用于使用基于MPEG‑DASH的技术来分配具有运动图像内容的片段文件和MPD文件的信息处理系统的文件生成装置等。

Description

文件生成装置、文件生成方法以及再现装置和再现方法
技术领域
本公开内容涉及文件生成装置和文件生成方法以及再现装置和再现方法，并且具体地涉及可以管理用于有效地存储至少包括深度图像的深度相关图像的质量信息的文件的文件生成装置和文件生成方法以及再现装置和再现方法。
作为用于实现立体视觉的技术，使用纹理图像和深度图像的技术是可用的。深度图像是其中用于表示每个像素在图像拍摄对象的深度方向上的位置的值是像素值的图像。
在刚刚描述的这种技术中，存在为了实现自然的立体视觉而将遮挡图像用作附加信息的情况。遮挡图像是遮挡区域中的纹理图像，遮挡区域是图像拍摄对象的在纹理图像中不存在的区域，即，图像拍摄对象的从纹理图像的视点不可见的区域(例如，被较近的图像拍摄对象挡住的图像拍摄对象)。通过不仅使用纹理图像和深度图像而且还使用遮挡图像，可以生成在执行从彼此不同的视点等进行窥视的情况下实现立体视觉的3D图像。
纹理图像和深度图像可以例如通过现有的MPEG-DASH(基于HTTP标准的运动图像专家组动态自适应流媒体)方法(例如，参考非专利文献1)来传输。
在这种情况下，考虑到DASH客户端本身的传输请求路径和缓冲量，DASH客户端从存储在DASH服务器中的多个比特率的深度图像中选择并获取具有最大可接受比特率的深度图像。
然而，在深度图像的比特率对3D图像的图片质量的影响较小的情况下，在深度图像的像素值的变化量较小的情况下，或者在类似的情况下，3D图像的图像质量不会因深度图像的比特率而变化很大。因此，在这种情况下，如果DASH客户端选择并且获取具有最大可接受比特率的深度图像，则传输请求路径和缓冲器变得无用。
另一方面，ISO/IEC 23001-10提出将表示纹理图像的一种或更多种类型的质量的质量信息存储到ISO基本媒体文件格式的MP4文件中。
[参考列表]
[非专利文献]
[非专利文献1]ISO/IEC 23009-1Dynamic adaptive streaming over HTTP(DASH)第1部分：Media presentation description and segment formats，2012年4月
发明内容
[技术问题]
如上所述，同样，关于至少包括深度图像的深度相关图像，要求将质量信息与纹理图像类似地存储到文件中，使得DASH客户端使用质量信息来获取具有适当的比特率的深度相关图像。然而，没有考虑管理其中有效地存储深度相关图像的质量信息的文件。
鉴于如上所述的这种情况做出了本公开内容，并且本公开内容使得可以生成文件，至少包括深度图像的深度相关图像的质量信息被有效地存储在该文件中。
[问题的解决方案]
本公开内容的第一方面的文件生成装置是包括文件生成单元的文件生成装置，文件生成单元被配置成生成管理文件，管理文件对文件进行管理，在该文件中以按照多个轨道或子样本划分的形式来设置质量信息，质量信息表示包括至少深度图像的多个深度相关图像的质量，并且在管理文件中描述各个轨道或子样本与用于指定深度相关图像的深度相关图像指定信息之间的对应关系。
本公开内容的第一方面的文件生成方法对应于本公开内容的第一方面的文件生成装置。
在本公开内容的第一方面中，生成管理文件，管理文件对文件进行管理，在该文件中以按照多个轨道或子样本划分的形式来设置质量信息，质量信息表示包括至少深度图像的多个深度相关图像的质量，并且在管理文件中描述各个轨道或子样本与用于指定深度相关图像的深度相关图像指定信息之间的对应关系。
本公开内容的第二方面的再现装置是包括获取单元的再现装置，该获取单元被配置成基于管理文件来获取多个深度相关图像中的至少一部分的质量信息，管理文件管理其中以按照多个轨道或子样本划分的形式来设置表示包括至少深度图像的多个深度相关图像的质量的质量信息的文件，并且在管理文件中描述各个轨道或子样本与用于指定深度相关图像的深度相关图像指定信息之间的对应关系。
本公开内容的第二方面的再现方法对应于本公开内容的第二方面的再现装置。
在本公开内容的第二方面中，基于管理文件来获取多个深度相关图像中的至少一部分的质量信息，管理文件管理其中以按照多个轨道或子样本划分的形式来设置表示包括至少深度图像的多个深度相关图像的质量的质量信息的文件，并且在管理文件中描述各个轨道或子样本与用于指定深度相关图像的深度相关图像指定信息之间的对应关系。
应该注意，可以通过使计算机执行程序来实现本公开内容的第一方面的文件生成装置和第二方面的再现装置。
此外，为了实现本公开内容的第一方面的文件生成装置和第二方面的再现装置，可以通过经由传输介质发送程序或者通过将程序记录在记录介质上来提供由计算机执行的程序。
[本发明的有益效果]
利用本公开内容的第一方面，可以生成文件。此外，利用本公开内容的第一方面，可以管理将至少包括深度图像的深度相关图像的质量信息有效地存储在其中的文件。
利用本公开内容的第二方面，可以执行再现。此外，利用本公开内容的第二方面，可以基于管理文件来执行再现，该管理文件其中有效地存储至少包括深度图像的深度相关图像的质量信息的文件。
应该注意，这里描述的效果不一定是限制性的，并且所述效果可以是本公开内容中描述的效果中的任何一种。
附图说明
图1是示出根据应用本公开内容的第一实施方式的信息处理系统的概况的图。
图2是示出遮挡图像的图。
图3是示出MPD文件的分层结构的图。
图4是描绘图1的文件生成装置的配置的示例的框图。
图5是描绘第一实施方式中的片段文件的示例的图。
图6是描绘第一实施方式中的QualityMetricsSampleEntry的描述的示例的图。
图7是示出图6的QualityMetricsSampleEntry的描述内容的图。
图8是描绘metric_code的示例的图。
图9是描绘第一实施方式中的MPD文件的表示元素的示例的图。
图10是描绘第一实施方式中的MPD文件的描述的示例的图。
图11是示出第一实施方式中的leva框(leva box)的图。
图12是示出文件生成处理的流程图。
图13是描绘流送再现单元的配置的示例的框图。
图14是示出第一实施方式中的再现处理的第一示例的流程图。
图15是示出第一实施方式中的再现处理的第二示例的流程图。
图16是示出应用本公开内容的信息处理系统的第二实施方式中的片段文件的示例的图。
图17是示出应用本公开内容的信息处理系统的第三实施方式中的片段文件的示例的图。
图18是描绘第三实施方式中的MPD文件的描述的示例的图。
图19是示出第三实施方式中的再现处理的第一示例的流程图。
图20是示出第三实施方式中的再现处理的第二示例的流程图。
图21是示出应用本公开内容的信息处理系统的第四实施方式中的片段文件的示例的图。
图22是示出应用本公开内容的信息处理系统的第五实施方式中的片段文件的示例的图。
图23是示出应用本公开内容的信息处理系统的第六实施方式中的片段文件的示例的图。
图24是描绘第六实施方式中的MPD文件的描述的示例的图。
图25是描绘应用本公开内容的信息处理系统的第七实施方式中的片段文件的示例的图。
图26是描绘图25的轨道的样本的配置的示例的图。
图27是描绘深度文件的moov框的配置的示例的图。
图28是描绘QualityMetricsConfigurationBox的描述的示例的图。
图29是描绘在七实施方式中的QualityMetricsSampleEntry的描述中对QualityMetricsSampleEntry的描述的示例的图。
图30是描绘SubsampleInformationBox的描述的示例的图。
图31是描绘SubsampleReferenceBox的描述的示例的图。
图32是描绘第七实施方式中的MPD文件的描述的示例的图。
图33是示出应用本公开内容的信息处理系统的第八实施方式中的片段文件的示例的图。
图34是描绘leva框的描述的第一示例的图。
图35是示出通过图34的leva框彼此相关联的级别和子样本的第一示例的图。
图36是描绘leva框的描述的第二示例的图。
图37是示出通过图36的leva框彼此相关联的级别和子样本的第二示例的图。
图38是描绘子样本组条目的描述的示例的图。
图39是示出通过leva框彼此相关联的级别和子样本的第三示例的图。
图40是描绘计算机的硬件配置的示例的框图。
具体实施方式
在下文中，描述用于实施本公开内容的模式(在下文中称为实施方式)。要注意的是，按照以下顺序给出描述。
1.第一实施方式：信息处理系统(图1至图15)
2.第二实施方式：信息处理系统(图16)
3.第三实施方式：信息处理系统(图17至图20)
4.第四实施方式：信息处理系统(图21)
5.第五实施方式：信息处理系统(图22)
6.第六实施方式：信息处理系统(图23和图24)
7.第七实施方式：信息处理系统(图25至图32)
8.第八实施方式：信息处理系统(图33和图39)
9.第九实施方式：计算机(图40)
<第一实施方式>
(信息处理系统的概述)
图1是示出根据应用本公开内容的第一实施方式的信息处理系统的概况的图。
图1的信息处理系统10通过将连接到文件生成装置11的作为DASH服务器的Web服务器12和作为DASH客户端的视频再现终端14通过因特网13进行连接来配置。
在信息处理系统10中，Web服务器12通过符合MPEG-DASH的方法将由文件生成装置11生成的视频内容的文件分发到视频再现终端14。
具体地，文件生成装置11以一种或更多种比特率将视频内容的纹理图像、深度图像和遮挡图像的图像数据和声音数据、包括深度图像和遮挡图像等的质量信息的元数据进行编码。
假设在本说明书中，对于纹理图像有8Mbps和4Mbps两种比特率可用；对于深度图像有2Mbps和1Mbps两种比特率可用；并且对于遮挡图像有1Mbps一种比特率可用。此外，在以下描述中，在不需要特别彼此区分深度图像和遮挡图像的情况下，这些图像被称为深度遮挡图像。
文件生成装置11以ISO基本媒体文件格式将作为以被称为片段的几秒至大约十秒的时间单位进行编码的结果而生成的相应比特率的图像数据和声音数据的编码流进行文件化。文件生成装置11将作为上述处理的结果而生成的图像数据和声音数据的MP4文件的片段文件上传到Web服务器12。
此外，文件生成装置11针对每种类型的深度遮挡图像以片段为单位对包括深度遮挡图像的质量信息的元数据的编码流进行划分，并且以ISO基础媒体文件格式对编码流的划分进行文件化。文件生成装置11将作为刚刚描述的处理的结果而生成的元数据的片段文件上传到Web服务器12。
此外，文件生成装置11生成用于管理视频内容的片段文件组的MPD(媒体呈现描述)文件(管理文件)。文件生成装置11将MPD文件上传到Web服务器12。
Web服务器12将从文件生成装置11上传的片段文件和MPD文件存储在其中。Web服务器12响应于来自视频再现终端14的请求，将所存储的片段文件或MPD文件发送到视频再现终端14。
视频再现终端14(再现装置)执行用于流数据的控制软件(在下文中称为控制软件)21、视频再现软件22、用于HTTP(超文本传输请求协议)访问的客户端软件(在下文中称为访问软件)23等等。
控制软件21是用于控制要从Web服务器12流送的数据的软件。具体地，控制软件21使视频再现终端14从Web服务器12获取MPD文件。
此外，控制软件21基于由视频再现软件22指定的再现目标的时间和表示比特率的再现目标信息等，向访问软件23发送针对再现目标的片段文件的编码流的发送请求。
视频再现软件22是用于再现从Web服务器12获取的编码流的软件。具体地，视频再现软件22向控制软件21指定其中元数据的编码流是再现目标的再现目标信息。然后，当从访问软件23接收到元数据的编码流的接收开始的通知时，视频再现软件22对由视频再现终端14接收到的元数据的编码流进行解码。
视频再现软件22基于作为解码的结果而获得的元数据中包括的质量信息、因特网13的网络带宽等向控制软件21指定其中预定比特率的图像数据或声音数据的编码流是再现目标的再现目标信息。然后，当从访问软件23接收到图像数据或声音数据的编码流的接收开始通知时，视频再现软件22对由视频再现终端14接收到的图像数据或声音数据的编码流进行解码。
视频再现软件22原样输出作为解码的结果而获得的纹理图像的图像数据。此外，视频再现软件22使用纹理图像和深度图像来生成并输出3D图像的图像数据。此外，视频再现软件22使用纹理图像、深度图像和遮挡图像来生成并输出3D图像的图像数据。此外，视频再现软件22输出作为解码的结果而获得的声音数据。
访问软件23是用于使用HTTP通过因特网13控制与Web服务器12的通信的软件。具体地，响应于控制软件21的指令，访问软件23使视频再现终端14发送针对再现目标的片段文件的编码流的发送请求。此外，访问软件23响应于发送请求使视频再现终端14开始接收从Web服务器12发送的编码流，并且向视频再现软件22提供开始接收通知。
应该注意，由于本公开内容是涉及视频内容的图像数据和元数据的发明，因此在下文中，省略对声音数据的片段文件的存储和再现的描述。
(遮挡图像的描述)
图2是示出遮挡图像的图。
如果从箭头标记51指示的正面方向拍摄图2上部的圆柱体41和立方体42的图像，则获得图2下部左侧的纹理图像61。
在使用纹理图像61和纹理图像61的深度图像来生成从箭头标记52指示的从左侧看的方向拍摄的纹理图像62的情况下，基于纹理图像61的深度图像来获取与纹理图像62的像素对应的纹理图像61的像素值。然后，通过将纹理图像62的像素的像素值确定为与所述像素对应的纹理图像61的像素值来生成纹理图像62。
然而，如图2下部的右侧所示，在纹理图像62中不存在对应的纹理图像61。具体地，生成遮挡区域43，该遮挡区域43是在从箭头标记51指示的方向进行图像拍摄时未被拍摄而是在从箭头标记52指示的方向进行图像拍摄时拍摄的图像拍摄对象的区域(在图2的示例中为立方体42的侧面)。遮挡区域43的纹理图像是遮挡图像。
因此，可以通过使用纹理图像61、纹理图像61的深度图像和遮挡区域43的纹理图像来生成从与纹理图像61的视点不同的视点的纹理图像62。此外，可以根据纹理图像62和纹理图像61的深度图像生成纹理图像62的深度图像。因此，可以根据纹理图像62和纹理图像62的深度图像生成从与纹理图像61的视点不同的视点的3D图像。
(MPD文件的描述)
图3是示出MPD文件的分层结构的图。
在MPD文件中，以XML格式按照分层关系描述视频内容的编码方法和比特率的信息、图像的大小、说话的语言等等。
具体地，如图3所示，在MPD文件中分层地包括诸如时间段(Period)、自适应集(AdaptationSet)、表示(Representation)、片段信息(SegmentInfo)等元素。
在MPD文件中，由MPD文件本身管理的视频内容按照预定时间范围(例如，诸如节目、CM(商业消息)等的单位)来划分。针对所划分的视频内容的每个划分来描述时间段元素。时间段元素具有视频内容的节目的再现开始时间的信息(彼此同步的一组图像数据或声音数据等的数据)、要存储视频内容的片段文件的Web服务器12的URL(统一资源定位符)等等。
自适应集元素被包括在时间段元素中，并且将下述表示元素进行分组，所述表示元素对应于与时间段元素对应的视频内容的相同编码流的片段文件组。表示元素例如按照对应编码流的数据的类型分组。自适应集元素具有作为媒体类型、语言、字幕、配音等该组共用的用途。
表示元素被包括在用于对表示元素进行分组的自适应集元素中，并且针对与上层中的时间段元素对应的视频内容的相同编码流的每个片段文件组来描述。表示元素具有片段文件组共用的比特率、图像大小等。
分段信息元素被包括在表示元素中并且具有与表示对应的片段文件组的各个片段文件有关的信息。
(文件生成装置的配置的示例)
图4是描绘图1的文件生成装置的配置的示例的框图。
图4的文件生成装置11由获取单元81、编码单元82、片段文件生成单元83、MPD文件生成单元84和上传单元85配置而成。
文件生成装置11的获取单元81获取视频内容的纹理图像、深度图像和遮挡图像的图像数据，并且将该图像数据提供给编码单元82。此外，获取单元81获取包括2Mbps和1Mbps的深度图像的编码流的质量信息和1Mbps的遮挡图像的元数据，并且将该元数据提供给编码单元82。
编码单元82以8Mbps和4Mbps对从获取单元81提供的纹理图像的图像数据进行编码，并且以2Mbps和1Mbps对深度图像的图像数据进行编码。此外，编码单元82以1Mbps对遮挡图像的图像数据进行编码。此外，编码单元82以2Mbps和1Mbps对深度图像的元数据进行编码，并且以预定比特率分别对1Mbps的遮挡图像进行编码。编码单元82将作为编码的结果而生成的编码流提供给片段文件生成单元83。
片段文件生成单元83针对每个比特率以片段为单位将从编码单元82提供的纹理图像、深度图像和遮挡图像的编码流进行文件化，以生成图像数据的片段文件。
此外，片段文件生成单元83(文件生成单元)针对每种类型的深度遮挡图像将从编码单元82提供的元数据的编码流划分成两个。然后，片段文件生成单元83以片段为单位将元数据的编码流的划分设置到不同片段文件中，以生成元数据的片段文件。
具体地，片段文件生成单元83将从编码单元82提供的元数据的编码流划分成以2Mbps和1Mbps的深度图像的片段为单位的元数据的编码流以及以1Mbps的遮挡图像的片段为单位的元数据的编码流。然后，片段文件生成单元83分别将以2Mbps和1Mbps的深度图像的片段为单位的元数据的编码流和以1Mbps的遮挡图像的片段为单位的元数据的编码流进行文件化，以生成元数据的片段文件。片段文件生成单元83将所生成的片段文件提供给上传单元85。
MPD文件生成单元84(文件生成单元)生成MPD文件并且将MPD文件提供给上传单元85。
上传单元85将从片段文件生成单元83提供的片段文件以及从MPD文件生成单元84提供的MPD文件上传到Web服务器12。
(片段文件的示例)
图5是描绘由图4的片段文件生成单元83生成的片段文件的示例的图。
如图5所示，片段文件生成单元83生成8Mbps的纹理图像的片段文件作为纹理文件(纹理1文件)，并生成4Mbps的纹理图像的片段文件作为另一纹理文件(纹理2文件)。此外，片段文件生成单元83生成2Mbps的深度图像的片段文件作为深度文件(深度1文件)，并且生成1Mbps的深度图像的片段文件作为深度文件(深度2文件)。此外，片段文件生成单元83生成1Mbps的遮挡图像的片段文件作为遮挡文件(遮挡1文件)。
此外，片段文件生成单元83生成包括2Mbps和1Mbps的深度图像的质量信息的元数据的片段文件作为质量文件(质量1文件)。在质量文件(质量1文件)中，包括2Mbps的深度图像的质量信息的元数据和包括1Mbps的深度图像的质量信息的元数据被设置到彼此不同的轨道(质量轨道(深度1)和质量轨道(深度2))中。
此外，片段文件生成单元83生成包括1Mbps的遮挡图像的质量信息的元数据的片段文件作为质量文件(质量2文件)。
如上所述，片段文件生成单元83针对不同类型的深度遮挡图像分别将包括质量信息的元数据的编码流进行文件化。因此，在视频再现终端14使用纹理图像和深度图像来生成3D图像的情况下，可以从深度图像的质量文件(质量1文件)容易地获取期望的深度图像的质量信息。
相反，在对所有深度遮挡图像的质量信息的编码流进行集中文件化的情况下，从包括不必要的遮挡图像的质量信息的文件中获取期望的深度图像的质量信息，并且获取效率低。
此外，在针对每个编码流分别对所有深度遮挡图像的质量信息的编码流进行文件化的情况下，当获取多个所要求的深度遮挡图像时，需要从多个文件获取质量信息，并且获取效率低。
要注意的是，虽然获取单元81不获取包括8Mbps和4Mbps的纹理图像的质量信息的元数据，但是也可以获取元数据。在这种情况下，片段文件生成单元83还生成下述片段文件，在该片段文件中包括8Mbps和4Mbps的纹理图像的质量信息的元数据的编码流以片段为单位被集中存储。此外，8Mbps的纹理图像的元数据和4Mbps的纹理图像的元数据被设置到彼此不同的轨道中。
(QualityMetricsSampleEntry的描述的示例)
图6是描绘质量文件中设置的QualityMetricsSampleEntry的描述的示例的图。
如图6所示，在QualityMetricsSampleEntry中，设置有QualityMetricsConfigurationBox。在QualityMetricsConfigurationBox中，描述了field_size_bytes和metric_count，并且描述了与metric_code相等的metric_count的数目。
如图7所示，field_size_bytes指示质量文件的样本包括中的质量信息的编码流的每一种质量(质量)的数据大小。在某种类型的质量信息的编码流的实际大小小于field_size_bytes的情况下，将填充添加到质量信息的编码流中。
此外，metric_count指示与质量文件的样本中包括的质量信息的编码流对应的质量的类型的数目。metric_code是表示与质量文件的样本中包括的质量信息的编码流对应的每种类型的质量的信息，并且按照样本中设置的质量信息的编码流的顺序来描述。
(metric_code的示例)
图8是描绘metric_code的示例的图。
如图8所示，作为metric_code，不仅可以设置ISO/IEC 23001-10中定义的psnr、ssim、msim、j144、j247、mops和fsig，而且还可以设置ocer和ocpr。
例如，psnr表示由质量信息表示的质量类型是整个画面的PSNR(峰值信噪比)。
此外，当样本中包括遮挡图像的质量信息时，设置ocer和ocpr。ocer表示由质量信息表示的质量类型指示相对于纹理图像的整个画面而言遮挡图像对应的遮挡区域，即，遮挡区域的有效范围的比率。ocpr表示由质量信息表示的质量类型仅是遮挡图像的PSNR，即，仅遮挡区域的有效范围的PSNR。
如上所述，在样本中包括遮挡图像的质量信息的情况下，可以将ocer或ocpr设置为metric_code。因此，表示PSNR的遮挡区域与质量信息的比率可以被存储在样本中。因此，视频再现终端14可以基于质量信息来选择并再现最佳遮挡文件。
具体地，由于遮挡图像是仅在画面内的遮挡区域的图像，因此存在对整个画面的诸如PSNR的现有的质量的影响可能较小的可能性。因此，现有的质量信息不能充分表现遮挡图像的质量。因此，通过使得能够将对遮挡图像的质量具有大的影响的作为表示遮挡区域的比例或PSNR的质量的质量信息存储到样本中，使视频再现终端14能够基于质量信息来选择更合适的遮挡文件。
(表现元素的示例)
图9是描绘由图4的MPD文件生成单元84生成的MPD文件的表示元素的示例的图。
如图5所示，片段文件生成单元83生成包括下述的七种类型的片段文件：纹理文件(纹理1文件)、另一纹理文件(纹理2文件)、深度文件(深度1文件)、另一深度文件(深度2文件)、遮挡文件(遮挡1文件)、质量文件(质量1文件(深度))和另一质量文件(质量2文件(遮挡))。因此，如图9所示，在MPD文件中包括七个表示元素。
(MPD文件的描述的示例)
图10是描绘由图4的MPD文件生成单元84生成的MPD文件的描述的示例的图。
应该注意，在本说明书中，假设即使在再现纹理文件(纹理2文件)时使用了深度文件(深度1文件)或遮挡文件(遮挡文件)，也没有提高3D图像的画面质量。因此，不执行使用纹理文件(纹理2文件)和深度文件(深度1文件)或遮挡文件(遮挡文件)的3D图像的再现。因此，下面描述的再现模式1至7是要再现的模式。
再现模式1.再现纹理文件(纹理1文件)的纹理图像
再现模式2.再现纹理文件(纹理2文件)的纹理图像
再现模式3.使用纹理文件(纹理1文件)和深度文件(深度1文件)的3D图像再现
再现模式4.使用纹理文件(纹理1文件)和深度文件(深度2文件)的3D图像再现
再现模式5.使用纹理文件(纹理1文件)，深度文件(深度1文件)和遮挡文件(遮挡文件)的3D图像再现
再现模式6.使用纹理文件(纹理1文件)，深度文件(深度2文件)和遮挡文件(遮挡文件)的3D图像再现
再现模式7.使用纹理文件(纹理2文件)和深度文件(深度2文件)的3D图像再现
在图10的MPD文件中，纹理文件(纹理1文件)组和另一纹理文件(纹理2文件)组按照一个自适应集(AdaptationSet)分组。
在用于纹理文件的自适应集元素中，描述了与纹理文件(纹理1文件)组对应的表示元素以及与纹理文件(纹理2文件)组对应的另一表示元素。
表示元素包括表示id、带宽、基础地址(BaseURL)、关联ID等。表示id是表示元素唯一的ID，并且是用于指定与表示元素对应的编码流的信息。带宽是表示纹理文件组的比特率的信息，基础地址是表示文件名的基础的信息。此外，关联ID是与解码或显示(再现)有关的某些其他表示元素的表示id。该关联ID由ISO/IEC 23009-1修正2规定。
因此，在与纹理文件(纹理1文件)组对应的表示元素中，将vt1描述为表示id，将表示8Mbps的8192000描述为带宽，并且将“texture1.mp4”描述为基础地址。
在与纹理文件(纹理2文件)组对应的表示元素中，将vt2描述为表示id，将表示4Mbps的4096000描述为带宽，并且将“texture2.mp4”描述为基础地址。
应该注意，由于与纹理文件(纹理1文件)组和纹理文件(纹理2文件)组对应的表示元素与其他表示元素不相关，因此不在与纹理文件(纹理1文件)组和纹理文件(纹理2文件)组对应的表示元素中描述关联ID。
此外，深度文件(深度1文件)组和深度文件(深度2文件)组按照一个自适应集元素分组。在用于深度文件的自适应集元素中，描述了与深度文件(深度1文件)组对应的表示元素和与深度文件(深度2文件)组对应的另一表示元素。
在与深度文件(深度1文件)对应的表示元素中，将vd1描述为表示id，将表示2Mbps的2048000描述为带宽，并且将“depth1.mp4”描述为基础地址。
此外，在再现模式1至7中，与深度文件(深度1文件)相关的纹理文件组是纹理文件(纹理1文件)组。因此，在与深度文件(深度1文件)组对应的表示元素中，将作为纹理文件(纹理1文件)组的表示id的vt1描述为关联ID。
在与深度文件(深度2文件)对应的表示元素中，将vd2描述为表示id，将表示1Mbps的1024000描述为带宽，并且将“depth2.mp4”描述为基础地址。
此外，在再现模式1至7中，在显示时与深度文件(深度2文件)相关的纹理图像的纹理文件组是纹理文件(纹理1文件)组或纹理文件(纹理2文件)组。因此，在与深度文件(深度1文件)组对应的表示元素中，将作为纹理文件(纹理1文件)组的表示id的vt1和作为纹理文件(纹理2文件)组的表示id的vt2描述为关联ID。
此外，使用一个自适应集元素对遮挡文件(遮挡1文件)组进行分组。在用于遮挡文件的自适应集元素中，描述了与遮挡文件(遮挡文件)组对应的表示元素。
在与遮挡文件(遮挡文件)组对应的表示元素中，将vo1描述为表示ID，将表示1Mbps的1024000描述为带宽，并且将“occlusion.mp4”描述为基础地址。
此外，在再现模式1至7中，与显示时的遮挡文件(遮挡文件)相关的深度图像的深度文件组是深度文件(深度1文件)组或深度文件(深度2文件)组。因此，在与遮蔽文件(遮挡文件)组对应的代表元素中，将作为深度文件(深度1文件)组的代表性id的vd1和作为深度文件(深度2文件)组的代表性id的vd2描述为关联ID。
此外，质量文件(质量1文件)组和质量文件(质量2文件)组按照一个自适应集元素分组。
在用于质量文件的自适应集元素中，可以描述schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015”，这是使用SupplementalProperty根据纹理图像、深度图像和遮挡图像中的要再现图像的组合——即在再现时使用候选制成的图像的组合——的schemeIdUri。将用于构成组合的图像的表示id描述为schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015”的值。
具体地，作为表示要用于上述再现模式1的再现的纹理图像的信息，描述了<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015value＝'vt1'”>，其中vt1是纹理文件(纹理1文件)的表示id。
类似地，作为用于再现模式3的再现的表示纹理图像和深度图像的信息，描述了<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015value＝'vt1vd1'”>，其中的值vt1是纹理文件(纹理1文件)的表示id，vd1是深度文件(深度1文件)的表示id。
作为表示要用于再现模式4的再现的纹理图像和深度图像的信息，描述了<SupplementProperty schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015value＝'vt1vd2'”>,其中的值vt1是纹理文件(纹理1文件)的表示id，vd2是深度文件(深度2文件)的表示id。
作为表示用于在再现模式5中进行再现的纹理图像、深度图像和遮挡图像的信息，描述了<SupplementProperty schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015value＝'vt1vd1vo1'”>，其中的值vt1是纹理文件(纹理1文件)的表示id，vd1是深度文件(深度1文件)的表示id，并且vo1是遮挡文件(遮挡文件)的表示id。
作为表示用于在再现模式6中进行再现的纹理图像、深度图像和遮挡图像的信息，描述了<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015value＝'vt1vd2vo1'”>，其中的值vt1是纹理文件(纹理1文件)的表示id，vd2是深度文件(深度2文件)的表示id，并且vo1是遮挡文件(遮挡文件)的表示id。
作为表示用于在再现模式2中进行再现的纹理图像的信息，描述了<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015”>，其中的值vt2是纹理文件(纹理1文件)的表示id。
作为表示用于在再现模式7中进行再现的纹理图像和深度图像的信息，描述了<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015”>，其中的值vt2是纹理文件(纹理1文件)的表示id，并且vd2是深度文件(深度2文件)的表示id。
如上所述，在MPD文件中描述了构成在要再现的模式中使用的图像的组合的图像的表示id。因此，视频再现终端14可以参考MPD文件来执行再现，使得不使用除要再现的模式以外的任何其他模式来执行再现。
此外，在用于质量文件的自适应集元素中，描述了分别与质量文件(质量1文件)组和质量文件(质量2文件)组对应的表示元素。
在与质量文件(质量1文件(深度))组对应的表示元素中，将vq1描述为表示id，并且将“quality1.mp4”描述为基础地址。
此外，存储在质量文件(质量1文件)中的质量信息是存储在深度文件(深度1文件)和深度文件(深度2文件)中的深度图像的质量信息。因此，在与质量文件(质量1文件)组对应的表示元素中，将作为深度文件(深度1文件)的表示id的vd1和作为深度文件(深度2文件)的表示id的vd2描述为关联ID。
因此，视频再现终端14可以识别到，存储在质量文件(质量1文件)组中的质量信息是与深度文件(深度1文件)组和深度文件(深度2文件)组对应的深度图像的质量信息。
然而，视频再现终端14不能识别到存储在质量文件(质量1文件)的两个轨道之一中的质量信息是存储在深度文件(深度1文件)组还是深度文件(深度2文件)组中的深度图像的质量信息。
因此，在图10的MPD文件中，扩展了通过针对可以与轨道相关联的每个级别来划分表示元素而获得的子表示(SubRepresentation)元素，使得子表示元素可以具有与表示元素类似的关联ID。因此，可以描述质量文件(质量1文件)的各个轨道与用于指定深度图像的表示ID(深度相关图像指定信息)之间的对应关系。
具体地，在图10的示例中，存储要存储到深度文件(深度1文件)中的深度图像的质量信息的轨道通过设置在质量文件(质量1文件)中的leva框(LevelAssignmentBox)与级别1相关联。此外，存储要存储到深度文件(深度2文件)中的深度图像的质量信息的轨道与级别2相关联。
因此，描述了将级别1与作为关联ID的深度文件(深度1文件)的表示id的vd1相关联的<SubRepresentation level＝“1”associationID＝“vd1”>此外，描述了将级别2与作为关联ID的深度文件(深度2文件)的表示id的vd2彼此相关联的<SubRepresentationlevel＝“2”associationID＝“vd2”>。
此外，在与质量文件(质量2文件)组对应的表示元素中，vq2被描述为表示id，并且“quality2.mp4”被描述为基础地址。
存储在质量文件(质量2文件)中的元数据中包括的质量信息是存储在遮挡文件(遮挡文件)中的遮挡图像的质量信息。因此，在与质量文件(质量1文件)组对应的表示元素中，将作为遮挡文件(遮挡文件)组的表示id的vo1描述为关联ID。
要注意的是，在图10的示例中，虽然在用于质量文件的自适应集中没有描述带宽，但是也可以描述带宽。
(leva框的描述)
图11是示出在MPD文件是图10的MPD文件的情况下质量文件(质量1文件)中设置的leva框的图。
如图11所示，leva框(级别设置框)被设置在具有多个轨道的质量文件(质量1文件)中。在该leva框中，按照从级别1开始的顺序来描述指定与每个级别对应的轨道的信息，以描述级别与轨道之间的对应关系。
相应地，视频再现终端14可以通过leva框来指定与MPD文件的子表示元素具有的关联ID对应的轨道。具体地，视频再现终端14可以将与作为vd1的关联ID对应的轨道指定为从与级别1对应的顶部的第一轨道(质量轨道(深度1))。此外，视频再现终端14可以将作为vd2的关联ID对应的轨道指定为从与级别2对应的顶部的第二轨道(质量轨道(深度2))。
(文件再现装置的处理的描述)
图12是示出图1的文件生成装置11的文件生成处理的流程图。
在图12的步骤S11处，文件生成装置11的获取单元81获取视频内容的纹理图像、深度图像和遮挡图像的图像数据以及包括2Mbps和1Mbps的深度图像和1Mbps的遮挡图像的编码流的质量信息的元数据。然后，获取单元81将所获取的图像数据和元数据提供给编码单元82。
在步骤S12处，编码单元82以8Mbps和4Mbps对从获取单元81提供的纹理图像的图像数据进行编码，并且以2Mbps和1Mbps对深度图像的图像数据进行编码。此外，编码单元82以1Mbps对遮挡图像的图像数据进行编码。此外，编码单元82以预定比特率分别以2Mbps和1Mbps对深度图像的元数据以及以1Mbps对遮挡图像进行编码。编码单元82将作为编码结果而生成的编码流提供给片段文件生成单元83。
在步骤S13处，片段文件生成单元83针对每个比特率以片段为单位对从编码单元82提供的纹理图像、深度图像和遮挡图像的编码流进行文件化。片段文件生成单元83将作为文件化的结果而生成的纹理文件、深度文件和遮挡文件提供给上传单元85。
在步骤S14处，片段文件生成单元83针对每种类型的深度遮挡图像将从编码单元82提供的元数据的编码流划分成两个。
在步骤S15处，片段文件生成单元83以片段为单位将元数据的编码流的划分设置到彼此不同的质量文件中，以生成质量文件并且将质量文件提供给上传单元85。
在步骤S16处，MPD文件生成单元84生成MPD文件并且将MPD文件提供给上传单元85。在步骤S17处，上传单元85将纹理文件、深度文件、遮挡文件、质量文件和MPD文件上传到Web服务器12。
如上所述，文件生成装置11针对每种深度遮挡图像划分深度遮挡图像的质量信息，并且将所划分的信息的划分设置到彼此不同的质量文件中。因此，与针对每个深度遮挡图像将质量信息设置到彼此不同的质量文件中的替代情况相比，可以减少质量文件的数目。因此，可以说可以有效地存储深度遮挡图像的质量信息。此外，可以减少与由视频再现终端14获取质量信息相关的处理量。
此外，在纹理图像和深度图像被用于再现的情况下，视频再现终端14可以从仅存储深度图像的质量信息的质量文件(质量1文件)中获取质量信息。因此，与其中从存储有所有深度遮挡图像的质量信息的质量文件获取质量信息的替代情况相比，可以提高质量信息的获取效率。
此外，文件生成装置11生成其中在子表示元素中描述associationId的MPD文件。因此，MPD文件可以管理其中多个深度遮挡图像的质量信息被划分地设置到彼此不同的轨道的质量文件的轨道与深度遮挡图像之间的对应关系。结果，视频再现终端14可以从其中多个深度遮挡图像的质量信息被划分地设置到彼此不同的轨道中的质量文件中提取深度遮挡图像的质量信息。
此外，由于文件生成装置11生成其中描述了要用于再现的模式的再现要使用的图像的组合的MPD文件，所以只能由视频再现终端14执行要用于再现的模式的再现。结果，例如，视频内容的制作者可以向用户提供制作者期望的质量的图像。此外，由于只有视频再现终端14需要从要用于再现的模式中选择再现模式，所以与从能够用于再现的所有再现模式中选择再现模式的替代情况相比，减小了处理负荷。
(视频再现终端的功能配置的示例)
图13是描述由执行控制软件21、视频再现软件22和访问软件23的图1的视频再现终端14实现的流送再现单元的配置的示例的框图。
流送再现单元由MPD获取单元101、MPD处理单元102、质量信息获取单元103、解码单元104、图像获取单元105、解码单元106、输出控制单元107和测量单元108配置而成。
流送再现单元100的MPD获取单元101向Web服务器12请求获取MPD文件。MPD获取单元101将所获取的MPD文件提供给MPD处理单元102。
MPD处理单元102分析从MPD获取单元101提供的MPD文件。具体地，MPD处理单元102获取MPD文件的每个表示元素具有的带宽作为与表示元素对应的图像的比特率。
此外，MPD处理单元102从MPD文件的schemeIdUri＝“urn:mpeg:dash:quality:playback:combination:2015”的值以及每个表示元素具有的表示id中获取要用于再现的用于再现的模式的图像的组合。此外，MPD处理单元102从MPD文件的每个表示元素具有的基础地址、子表示元素的关联Id等获取诸如与表现元素对应的片段文件组的文件名、与各个深度遮挡图像的质量信息对应的级别之类的获取信息。
MPD处理单元102从要用于再现的模式中选择再现模式的候选。MPD处理单元102基于因特网13的网络带宽和从测量单元108提供的图像的比特率来创建深度遮挡图像的获取候选列表。MPD处理单元102将列表中登记的深度遮挡图像的质量信息的获取信息提供给质量信息获取单元103。
例如，在深度图像被登记在深度遮挡图像的获取候选的列表中的情况下，MPD处理单元102将质量文件(质量1文件)中的列表中登记的深度图像的质量信息的获取信息提供给质量信息获取单元103。在遮挡图像被登记在深度遮挡图像的获取候选的列表中的情况下，MPD处理单元102将登记在质量文件(质量2文件)的列表中的遮挡图像的质量信息的获取信息提供给质量信息获取单元103。
此外，MPD处理单元102基于从解码单元104提供的质量信息从用于再现模式的候选中选择再现模式。MPD处理单元102将要用于所选择的再现模式的再现的纹理文件的纹理图像的获取信息提供给图像获取单元105。此外，在深度遮挡图像的文件被用于所选择的再现模式的再现的情况下，MPD处理单元102将深度遮挡图像的获取信息提供给图像获取单元105。
质量信息获取单元103基于从MPD处理单元102提供的获取信息向Web服务器12请求并且获取包括质量信息的元数据的编码流。质量信息获取单元103将所获取的编码流提供给解码单元104。
解码单元104对从质量信息获取单元103提供的编码流进行解码并且生成包括质量信息的元数据。解码单元104将质量信息提供给MPD处理单元102。
图像获取单元105、解码单元106和输出控制单元107被用作再现单元，并且基于从MPD处理单元102提供的获取信息仅再现纹理图像或者纹理图像和深度遮挡图像。
具体地，图像获取单元105基于从MPD处理单元102提供的获取信息，向Web服务器12请求并且获取纹理文件的编码流或深度阻挡图像的文件。图像获取单元105将所获取的编码流提供给解码单元104。
解码单元106对从图像获取单元105提供的编码流进行解码以生成图像数据。解码单元106将所生成的图像数据提供给输出控制单元107。
在从解码单元106提供的图像数据仅是纹理图像的图像数据的情况下，输出控制单元107基于纹理图像的图像数据，使诸如视频再现终端14的显示器之类的未示出的显示单元必须将纹理图像显示在其上。
另一方面，在从解码单元106提供的图像数据是纹理图像和深度遮挡图像的图像数据的情况下，输出控制单元107基于纹理图像和深度遮挡图像的图像数据来生成3D图像的图像数据。然后，输出控制单元107基于所生成的3D图像的图像数据，使诸如显示器之类的未示出的显示单元显示3D图像。
测量单元108测量因特网13的网络带宽并且将所测量的网络带宽提供给MPD处理单元102。
(流送再现单元的处理的第一示例的描述)
图14是示出图13的流送再现单元100的再现处理的第一示例的流程图。应当指出，在图14的再现处理中，流送再现单元100使用纹理图像和深度图像来执行3D图像的再现。
在图14的步骤S31处，MPD获取单元101向Web服务器12请求并且获取MPD文件。MPD获取单元101将所获取的MPD文件提供给MPD处理单元102。
在步骤S32处，MPD处理单元102分析从MPD获取单元101提供的MPD文件。因此，MPD处理单元102获取各个纹理图像和深度图像的比特率、在要被再现的模式中要用于再现的图像的组合以及纹理图像、深度图像和质量信息的获取信息。
在步骤S33处，MPD处理单元102基于在要被再现的模式中要用于再现的图像的组合从作为再现模式的候选的要被再现的模式中选择仅使用纹理图像和深度图像来执行再现的再现模式3、4和7。后续步骤S34至S43的处理以片段为单位执行。
在步骤S34处，测量单元108测量因特网13的网络带宽并且将其提供给MPD处理单元102。
在步骤S35处，MPD处理单元102基于网络带宽和纹理图像的比特率，确定要从要用于使用再现模式的候选来现的纹理图像中获取的纹理图像。
例如，MPD处理单元102假设80％的网络带宽是纹理图像的最大可接受比特率，并且从用于使用再现模式的候选来再现的纹理图像中确定低于最大可接受比特率低的比特率的纹理图像作为要获取的纹理图像。
在步骤S36处，MPD处理单元102基于用于再现要获取的纹理图像的再现模式的候选以及深度图像的比特率来创建用于深度图像的获取候选的列表。
例如，MPD处理单元102确定20％的网络带宽是深度图像的最大可接受比特率。然后，在要获取的纹理图像是纹理文件(纹理1文件)的纹理图像并且深度文件(深度1文件)和深度文件(深度2文件)的深度图像的比特率低于最大可接受比特率时，MPD处理单元102基于再现模式3和4来创建其中登记了深度文件(深度1文件)和深度文件(深度2文件)的深度图像的列表。
另一方面，在要获取的纹理图像是纹理文件(纹理2文件)的纹理图像并且深度文件(深度2文件)的深度图像的比特率低于最大可接受比特率的情况下，MPD处理单元102基于再现模式7来创建其中登记了深度文件(深度2文件)的深度图像的列表。
然后，MPD处理单元102将列表中登记的深度图像的质量信息的获取信息提供给质量信息获取单元103。要注意的是，在要再现的深度图像的所有比特率连同要获取的纹理图像一起等于或高于最大可接受比特率的情况下，不将任何内容登记到深度图像的获取候选的列表中，并且仅纹理图像的编码流被获取、解码和显示，并且该处理进行到步骤S43。
在步骤S37处，质量信息获取单元103基于从MPD处理单元102提供的获取信息来向Web服务器12请求包括深度图像的质量信息的元数据的编码流以获取编码流。质量信息获取单元103将所获取的编码流提供给解码单元104。
在步骤S38处，解码单元104对从质量信息获取单元103提供的深度图像的质量信息的编码流进行解码，以生成包括深度图像的质量信息的元数据。解码单元104将深度图像的质量信息提供给MPD处理单元102。
在步骤S39处，MPD处理单元102基于从解码单元104提供的质量信息，从登记在深度图像的列表中的深度图像中确定要获取的深度图像。
例如，MPD处理单元102将下述图像确定为要获取的深度图像：由质量信息表示的质量最好的深度图像；由质量信息表示的质量信息与紧邻在前的片段(或子片段)的深度图像的质量最接近的深度图像；或者由质量信息表示的质量信息是可接受的质量并且除此之外比特率最低的深度图像。
在由质量信息表示的质量信息与紧邻在前的片段(或子片段)的深度图像的质量最接近的深度图像被确定为要获取的深度图像的情况下，可以减少要再现的3D图像的图像外观的不协调感。MPD处理单元102将要获取的深度图像的获取信息提供给图像获取单元105。
在步骤S40处，图像获取单元105基于从MPD处理单元102提供的用于获取编码流的获取信息向Web服务器12请求纹理图像和深度图像的编码流。图像获取单元105将所获取的编码流提供给解码单元104。
在步骤S41处，从图像获取单元105提供的编码流被解码以生成纹理图像和深度图像的图像数据。解码单元106将所生成的纹理图像和深度图像的图像数据提供给输出控制单元107。
在步骤S42处，输出控制单元107基于从解码单元106提供的纹理图像和深度图像的图像数据来生成3D图像的图像数据，并且控制未示出的显示单元以显示3D图像。
在步骤S43处，流送再现单元100决定是否显示了视频内容的最后片段的图像。在步骤S43中决定视频内容的最后片段的图像尚未显示的情况下，处理返回到步骤S34。
另一方面，在步骤S43中确定显示了视频内容的最后片段的图像的情况下，处理结束。
应该注意，虽然没有描绘，但是除了以下几点之外，由流送再现单元100使用纹理图像、深度图像和遮挡图像来执行3D图像的再现的再现处理的第一示例类似于图14的再现处理。
具体地，在图14的步骤S33中选择的再现模式的候选是再现模式5和6。此外，在步骤S39和步骤S40之间，与用于深度图像的质量信息的步骤S36至S39中的处理类似地执行关于遮挡图像的质量信息的处理。
然而，在这种情况下，纹理图像、深度图像和遮挡图像的最大可接受比特率分别是网络带宽的70％、15％和15％。此外，步骤S40至S42的处理中的深度图像是深度图像和遮挡图像二者。
(流送再现单元的处理的第二示例的描述)
图15是示出图13的流送再现单元100的再现处理的第二示例的流程图。要注意的是，在图15的再现处理中，流送再现单元100执行其中使用纹理图像和深度图像的3D图像的再现。
图15的再现处理与图14的再现处理的不同之处在于，未确定纹理图像和深度图像的最大可接受比特率与网络带宽的比率。
图15的步骤S61至S64分别与图14的步骤S31至S34的处理类似，因此省略对步骤S61至S64的描述。步骤S64至S73的处理以片段为单位来执行。
在步骤S65处，MPD处理单元102基于再现模式的候选、从测量单元108提供的因特网13的网络带宽以及纹理图像和深度图像的比特率来创建用于纹理图像和深度图像的组合的获取候选列表。
具体地，创建这样的列表，在该列表中，从用于在再现模式3、4和7中进行再现的纹理图像和深度图像的组合中登记了纹理图像和深度图像的比特率的总和不超过网络带宽的组合。
应该注意，可以预先确定纹理图像和深度图像的比特率的下限，使得从登记在列表中的组合中将其中至少一个的比特率低于下限的组合排除在外。
此外，用于在再现模式3、4和7中进行再现的纹理图像和深度图像的比特率的总和超过网络带宽的情况下，不将任何内容登记到纹理图像和深度图像的组合的获取候选的列表中。然后，只有不超过网络带宽的最大比特率的纹理图像的编码流被获取、解码并显示，并且处理进入步骤S73。
在步骤S66处，MPD处理单元102创建在步骤S65创建的列表中登记的深度图像的列表。然后，MPD处理单元102将在列表中登记的深度图像的质量信息的获取信息提供给质量信息获取单元103。
步骤S67和S68的处理分别与图14的步骤S37和S38的处理类似，因此省略对步骤S67和S68的描述。
在步骤S69处，MPD处理单元102基于质量信息从纹理图像和深度图像的组合列表中登记的组合中确定要获取的纹理图像和深度图像的组合。
例如，MPD处理单元102与图14的步骤S39类似地确定要获取的深度图像。然后，MPD处理单元102从其与要获取的深度图像的组合被登记在组合列表中的纹理图像中将最高比特率的纹理图像确定为要获取的纹理图像。
步骤S70至S73的处理分别类似于图14的步骤S40至S43的处理，因此省略对步骤S70至S73的描述。
应该注意，尽管没有示出，但是除了以下几点之外，流送再现单元100使用纹理图像、深度图像和遮挡图像来执行3D图像的再现的再现处理的第二示例类似于图15的再现处理。
具体地，在图15的步骤S63中选择的再现模式的候选是再现模式5和6。此外，步骤S65至S72的处理中的深度图像包括深度图像和遮挡图像二者。
由于视频再现终端14如上所述地获取深度图像和遮挡图像的质量信息，因此视频再现终端14可以基于质量信息来获取适当的深度遮挡图像。
<第二实施方式>
(片段文件的示例)
除了包括质量信息的元数据的编码流不是针对每种类型的深度相关图像而是针对每个纹理图像并且被设置到质量文件中的不同质量文件中以外，应用本公开内容的信息处理系统的第二实施方式的配置基本上与图1的信息处理系统10的配置相同。因此，在下面的描述中，适当省略除了对质量文件的描述之外的描述。
图16描绘了应用本公开内容的信息处理系统的第二实施方式的由片段文件生成单元83生成的片段文件的示例。
除质量文件之外，图16的片段文件与图5的片段文件相同。
如图16所示，片段文件生成单元83针对要使用编码流再现的每个纹理图像将2Mbps和1Mbps的深度图像的质量信息的编码流和1Mbps的遮挡图像的质量信息的编码流中的每个划分成两个。然后，片段文件生成单元83以片段为单位将元数据的编码流的划分分成不同的质量文件以生成质量文件。
具体地，用于连同使用要再现的模式进行再现的纹理文件(纹理1文件)一起再现的深度遮挡图像是2Mbps和1Mbps的深度图像以及1Mbps的遮挡图像。相应地，片段文件生成单元83生成其中以片段为单位来设置包括2Mbps和1Mbps的深度图像的质量信息的元数据的编码流和包括1Mbps的遮挡图像的质量信息的元数据的编码流的质量文件(质量1文件)。
在质量文件(质量1文件)中，各个编码流被设置在不同的轨道(质量轨道(深度1)、质量轨道(深度2)和质量轨道(遮挡1))中。
此外，用于连同使用要再现的模式进行再现的纹理文件(纹理2文件)一起再现的深度遮挡图像是1Mbps的深度图像。因此，片段文件生成单元83生成其中以片段为单位显示的包括1Mbps深度图像的质量信息的元数据的编码流的质量文件(质量2文件)。
以这种方式，片段文件生成单元83针对每个纹理图像将包括质量信息的元数据的编码流文件化到文件中。因此，通过从要获取的纹理图像的质量文件中获取质量信息，视频再现终端14能够容易地获取用于要以与纹理图像一起再现的模式来要再现的深度遮挡图像的质量信息。
具体地，在质量文件中，存储用于要以与质量文件对应的纹理图像一起再现的模式来再现的深度遮挡图像的质量信息。因此，与将所有深度遮挡图像的质量信息的编码流进行集中文件化的替代情况相比，可以容易地获取要用于与要获取的纹理图像一起再现的深度遮挡图像的质量信息。
此外，虽然未被检测到，但是除了以下一点之外，第二实施方式中的MPD文件与图10的MPD文件类似。具体地，在第二实施方式中的MPD文件中，质量文件(质量1文件)的表示元素的关联ID不仅包括vd1和vd2，还包括vo1。此外，质量文件(质量1文件)的表示元素还包括具有级别3和作为关联ID的vo1的子表示元素。此外，质量文件(质量2文件)的表示元素的关联ID不是vo1而是vd2。
此外，尽管没有描绘，但是除了包括质量信息的元数据的编码流不是在步骤S14处针对每种类型的深度相关图像而是针对每个纹理图像来划分以外，第二实施方式中的文件再现处理与图12的文件再现处理相同。
此外，尽管没有描述，但是在步骤S36处，除了MPD处理单元102将从在列表中登记的深度图像的质量信息的获取信息内要获取的纹理图像的质量文件中存储的质量信息的获取信息提供给质量信息获取单元103以外，第二实施方式中的再现处理与图14的再现处理相同。
如上所述，第二实施方式中的文件生成装置11针对要与深度遮挡图像一起再现的每个纹理图像来划分深度遮挡图像的质量信息，并且将质量信息的划分设置到不同的质量文件中。因此，与将质量信息设置在用于不同的深度遮挡图像的不同质量文件中的替代情况相比，可以减少质量文件的数目。因此，可以说深度遮挡图像的质量信息可以被有效地存储。此外，可以减少与由视频再现终端14获取质量信息相关的处理量。
此外，视频再现终端14可以从仅存储要与再现目标的纹理图像一起再现的深度遮挡图像的质量信息的质量文件内获取质量信息。因此，与从存储所有深度遮挡图像的质量信息的质量文件中获取质量信息的替代情况相比，可以提高质量信息的获取效率。
<第三实施方式>
(片段文件的示例)
除了下述几点以外，应用本公开内容的信息处理系统的第三实施方式的配置与图1的信息处理系统10的配置基本上相同：深度遮挡图像的质量信息被以要被再现的模式再现的纹理图像或3D图像的质量信息代替；并且针对与质量信息对应的每种类型的再现模式来划分质量信息的编码流；将编码流的划分设置到不同的质量文件中。因此，在下文中，适当省略除质量文件的描述以外的描述。
图17是示出应用本公开内容的信息处理系统的第三实施方式中由片段文件生成单元83生成的片段文件的示例的图。
除质量文件外，图17的片段文件与图5的片段文件相同。
如图17所示，片段文件生成单元83针对每种类型的再现模式将从编码单元82提供的包括模式1至7的质量信息的元数据的编码流划分成三种。然后，片段文件生成单元83以片段为单位将编码流的划分设置到不同的质量文件中以生成质量文件。
具体地，片段文件生成单元83以片段为单位生成其中设置有仅使用纹理图像来执行再现的再现模式1和2的质量信息的编码流的质量文件(质量1文件)。在质量文件(质量1文件)中，各个编码流被设置在不同的轨道(质量轨道(纹理1)和质量轨道(纹理2))中。
此外，片段文件生成单元83以片段为单位生成其中设置有仅使用纹理图像和深度图像来执行再现的再现模式3、4和7的质量信息的编码流的质量文件(质量2文件)。在质量文件(质量2文件)中，各个编码流被设置在不同的轨道(质量轨道(纹理1+深度1)、质量轨道(纹理1+深度2)和质量轨道(纹理2+深度2))上。
此外，片段文件生成单元83以片段为单位生成其中设置有包括使用纹理图像、深度图像和遮挡图像来执行再现的再现模式5和6的质量信息的元数据的编码流的质量文件(质量3文件)。在质量文件(质量3文件)中，各个编码流被设置在不同的轨道(质量轨道(纹理1+深度1+遮挡1)和质量轨道(纹理1+深度2+遮挡1))中。
如上所述，片段文件生成单元83将包括要被再现的纹理图像或3D图像的质量信息的元数据的编码流设置在要再现的模式中。因此，视频再现终端14可以基于质量信息来执行其中要再现的纹理图像或3D图像的质量最终高的再现。
此外，片段文件生成单元83针对每种类型的再现模式分别将要再现的模式的质量信息的编码流进行文件化。因此，视频再现终端14可以容易地从成为候选的各种类型的再现模式的质量文件中获取再现模式的质量信息。
相反，在所有再现模式的质量信息的编码流被集中文件化的情况下，有必要从还包括不是成为候选的再现模式的类型的不必要再现模式的质量信息的文件中获取成为候选的再现模式的质量信息。
(MPD文件的描述的示例)
图18是描绘第三实施方式中的MPD文件的描述的示例的图。
除了用于质量文件的自适应集元素之外，图18的MPD文件的描述与图10的描述相同。
在图18的MPD文件中，按照一个自适应集元素将质量文件(质量1文件)组、另一质量文件(质量2文件)组和另一质量文件(质量3文件)组分组。
在用于质量文件的自适应集元素中，描述了与质量文件(质量1文件)组、质量文件(质量2文件)组和质量文件(质量3文件)组分别对应的表示元素。
在与质量文件(质量1文件)组对应的表示元素中，将vq1描述为表示id，并且将“quality1.mp4”描述为基础地址。
同时，存储在质量文件(质量1文件)中的质量信息是纹理文件(纹理1文件)和另一纹理文件(纹理2文件)的质量信息。因此，在与质量文件(质量1文件)对应的表示元素中，将作为纹理文件(纹理1文件)组和纹理文件(纹理2文件)组的表示id的vt1和vt2描述为关联ID。
此外，在图18的示例中，与级别1和级别2对应的轨道分别存储有纹理文件(纹理1文件)和纹理文件(纹理2文件)的质量信息。
因此，在与质量文件(质量1文件)组对应的表示元素中，描述了将级别1和作为关联id的纹理文件(纹理1文件)的表示id的vt1相关联的<SubRepresentation level＝“1”associationID＝“vt1”>。此外，描述了将级别2和作为关联id的纹理文件(纹理2文件)的表示id的vt2相关联的<SubRepresentation level＝“2”associationID＝“vt2”>。换言之，描述了质量文件(质量1文件)的各个轨道与指定纹理图像的表示(纹理图像指定信息)之间的对应关系。
同时，在与质量文件(质量2文件)组对应的表示元素中，将vq2描述为表示id，并且将“quality2.mp4”描述为基础地址。
此外，存储在质量文件(质量2文件)中的质量信息是要使用纹理文件(纹理1文件)和深度文件(深度1文件)来再现的3D图像的质量信息、要使用纹理文件(纹理1文件)和深度文件(深度2文件)来再现的另一3D图像以及要使用纹理文件(纹理2文件)和深度文件(深度2文件)来再现的另一3D图像。
因此，在与质量文件(质量2文件)组对应的表示元素中，将作为纹理文件(纹理1文件)、纹理文件(纹理2文件)、深度文件(深度2文件)和深度文件(深度2文件)的表示id的vt1、vt2、vd1和vd2描述为关联ID。
此外，在图18的示例中，与级别1对应的轨道存储有要使用纹理文件(纹理1文件)和深度文件(深度1文件)来再现的3D图像的质量信息。与级别2对应的轨道存储有要使用纹理文件(纹理1文件)和深度文件(深度2文件)来再现的3D图像的质量信息。与级别3对应的轨道存储有要使用纹理文件(纹理2文件)和深度文件(深度2文件)来再现的3D图像的质量信息。
因此，在与质量文件(质量2文件)组对应的表示元素中，描述了将级别1与作为关联ID的纹理文件(纹理1文件)和深度文件(深度1文件)的表现id的vt1和vd2彼此相关联的<SubRepresentation level＝“1”associationID＝“vt1d1”>。此外，描述了将级别2与作为关联ID的纹理文件(纹理1文件)和深度文件(深度2文件)的表现id彼此相关联的<SubRepresentation level＝“2”associationID＝“vt1vd2”>。
此外，描述了将级别3与作为关联ID的纹理文件(纹理2文件)和深度文件(深度2文件)的表现id的vt2和vd2彼此相关联的<SubRepresentation level＝“3”associationID＝“vt2vd2”>。
此外，在与质量文件(质量3文件)对应的表示元素中，将vq3描述为表示id，并且将“quality3.mp4”描述为基础地址。
此外，存储在质量文件(质量3文件)中的质量信息是要使用纹理文件(纹理1文件)、深度文件(深度1文件)和遮挡文件(遮挡文件)来再现的3D图像的质量信息以及要使用纹理文件(纹理1文件)、深度文件(深度2文件)和遮挡文件(遮挡文件)来再现的3D图像的质量信息。
因此，在与质量文件(质量3文件)组对应的表示元素中，将作为纹理文件(纹理1文件)、深度文件(深度1文件)、深度文件(深度2文件)和遮挡文件(遮挡文件)的表示id的vt1、vd1、vd2和vo1描述为关联ID。
此外，在图18的示例中，与级别1对应的轨道存储有要使用纹理文件(纹理1文件)、深度文件(深度1文件)和遮挡文件(遮挡文件)来再现的3D图像的质量信息。与级别2对应的轨道存储有要使用纹理文件(纹理1文件)、深度文件(深度2文件)和遮挡文件(遮挡文件)来再现的3D图像的质量信息。
因此，在与质量文件(质量3文件)组对应的表示元素中，描述了将级别1与作为关联ID的纹理文件(纹理1文件)、深度文件(深度1文件)和遮挡文件(遮挡文件)的表现id的vt1、vd1和vo1彼此相关联的<SubRepresentation level＝“1”associationID＝“vt1vd1vo1”>。此外，描述了将级别2与作为关联ID的纹理文件(纹理1文件)、深度文件(深度2文件)和遮挡文件(遮挡文件)的表现id的vt1、vd2和vo1彼此相关联的<SubRepresentation level＝“2”associationID＝“vt1vd2vo1”>。
要注意的是，在图18的示例中，虽然在质量文件的自适应集元素中没有描述带宽，但是也可以描述带宽。
此外，尽管没有描绘，但是除了在步骤S11处获取的质量信息是在再现模式中再现的纹理图像或3D图像的质量信息以及在步骤S14处包括质量信息的元数据的编码流不是针对每种类型的深度相关图像而是针对每种类型的再现模式划分的以外，第三实施方式中的文件生成处理与图12的文件再现处理相同。
(流送再现单元的处理的第一示例的描述)
图19是示出第三实施方式中的流送再现单元100的再现处理的第一示例的流程图。要注意的是，在图19的再现处理中，流送再现单元100执行其中使用了纹理图像和深度图像的3D图像的再现。
图19的步骤S91至S95的处理分别类似于图14的步骤S31至S35的处理，因此省略对步骤S91至S95的描述。步骤S94至S103的处理以片段为单位来执行。
在步骤S96处，MPD处理单元102创建用于再现要获取的纹理图像的再现模式的列表。
例如，假设MPD处理单元102中的深度图像的最大可接受比特率是网络带宽的20％。然后，在要获取的纹理图像是纹理文件(纹理1文件)的纹理图像并且深度文件(深度1文件)和深度文件(深度2文件)的深度图像的比特率低于最大可接受比特率，则MPD处理单元102创建其中登记了再现模式3和4的列表。
另一方面，在要获取的纹理图像是纹理文件(纹理2文件)的纹理图像并且深度文件(深度2文件)的深度图像的比特率低于最大可接受比特率的情况下，MPD处理单元102创建其中登记了再现模式7的列表。然后，MPD处理单元102将在列表中登记的再现模式的质量信息的获取信息提供给质量信息获取单元103。
要注意的是，在要与要获取的纹理图像一起再现的所有深度图像的比特率等于或高于最大可接受比特率的情况下，不将任何内容登记到深度图像的获取候选的列表中，并且只有纹理图像的编码流被获取、解码和显示，然后处理进入步骤S103。
在步骤S97处，质量信息获取单元103基于从MPD处理单元102提供的获取信息向Web服务器12请求包括用于获取编码流的预定再现模式的质量信息的元数据的编码流。质量信息获取单元103将所获取的编码流提供给解码单元104。
在步骤S98处，解码单元104对从质量信息获取单元103提供的预定再现模式的质量信息的编码流进行解码，并且生成包括预定再现模式的质量信息的元数据。解码单元104将预定再现模式的质量信息提供给MPD处理单元102。
在步骤S99处，MPD处理单元102基于从解码单元104提供的质量信息来确定要从登记在列表中的深度图像中获取的并且将用于再现模式的再现的深度图像。
例如，MPD处理单元102确定要在其中由质量信息表示的质量最好的再现模式中用于再现的、由质量信息表示的质量最接近于紧邻前一个片段(或者子片段)的再现模式的质量的、或者由质量信息表示的质量是可接受的质量的再现模式的并且比特率最低的深度图像作为要获取的深度图像。
在由质量信息表示的质量最接近于紧邻前一个片段(或者子片段)的再现模式的质量的再现模式中要使用的深度图像被确定为要获得的深度图像的情况下，可以减小再现的3D图像的外观的不协调感。MPD处理单元102将要获取的深度图像的获取信息提供给图像获取单元105。
步骤S100至S103的处理分别与图14的步骤S40至S43的处理类似，因此省略对步骤S100至S103的描述。
应该注意，虽然没有描绘，但是除了以下几点以外，当流送再现单元100使用纹理图像、深度图像和遮挡图像来执行3D图像的再现时的再现处理与图19的再现处理类似。
具体地，在图19的步骤S93处选择的再现模式的候选是再现模式5和6。此外，在步骤S99至S102处的处理中，深度图像被深度图像和遮挡图像替代。要注意的是，在这种情况下，纹理图像、深度图像和遮挡图像的最大可接受比特率分别是例如网络带宽的70％、15％和15％。
(流送再现单元的处理的第二示例的描述)
图20是示出第三实施方式中的流送再现单元100的再现处理的第二示例的流程图。应该注意，在图20的再现处理中，流送再现单元100使用纹理图像和深度图像来执行3D图像的再现。
图20的再现处理与图19的再现处理的主要不同之处在于，未确定纹理图像和深度图像的最大可接受比特率与网络带宽的比率。
图20的步骤S121至S124的处理分别类似于图19的步骤S91至S94的处理，因此省略对步骤S121至S124的描述。步骤S124至S132的处理以片段为单位执行。
在步骤S125中，MPD处理单元102基于再现模式的候选、从测量单元108提供的因特网13的网络带宽以及用于纹理图像和深度图像的比特率来创建再现模式的列表。
具体地，MPD处理单元102创建其中登记了再现模式3、4和7中的其中用于再现的纹理图像和深度图像的比特率的总和不超过网络带宽的列表。
应该注意，可以预先确定用于纹理图像和深度图像的比特率的下限，使得在登记在列表中的再现模式中，要用于再现的纹理图像和深度图像的比特率中的至少一个的任何再现模式低于下限，因而被排除在外。
此外，在再现模式3、4和7中用于再现的纹理图像和深度图像的比特率的总和超过网络带宽的情况下，不将任何内容登记到再现模式的列表中。然后，仅最大比特率不超过网络带宽的纹理图像的编码流被获取、解码并显示，并且处理进入步骤S132。
步骤S126和S127的处理分别类似于图19的步骤S97和S98的处理，因此省略对步骤S126和S127的描述。
在步骤S128中，类似于图15的S69的处理，MPD处理单元102基于质量信息从在列表中登记的再现模式中的用于再现的纹理图像和深度图像的组合中确定要获取的纹理图像和深度图像的组合。
步骤S129至S132的处理分别与图19的步骤S100至S103的处理类似，因此省略对步骤S129至S132的描述。
应该注意，虽然没有描绘，但是除了以下几点以外，当流送再现单元100使用纹理图像、深度图像和遮挡图像来执行3D图像的再现时的再现处理的第二示例类似于图20的再现处理。
具体地，在图20的步骤S123中选择的再现模式的候选是再现模式5和6。此外，步骤S128至S131的处理中的深度图像包括深度图像和遮挡图像二者。
如上所述，第三实施方式中的文件生成装置11针对每种类型的再现模式将要再现的模式的质量信息划分成质量信息，并且将所划分的质量信息设置到不同的质量文件中。因此，与在要再现的不同模式之间质量信息被设置在不同的质量文件中的替代情况相比，可以减少质量文件的数目。因此，可以说质量信息可以被有效地存储。此外，可以减少与视频再现终端14获取质量信息相关的处理量。
此外，视频再现终端14可以从其中仅存储将成为候选的类型的再现模式的质量信息的质量文件中获取质量信息。因此，与从其中存储全部再现模式的质量信息的质量文件中获取质量信息的替代情况相比，可以提高候选的再现模式的质量信息的获取效率。
<第四实施方式>
(片段文件的示例)
除了包括质量信息的元数据的编码流不是针对每种类型的再现模式而是针对用于再现的每个纹理图像并且划分中的每个被设置到不同的质量文件中以外，应用本公开内容的信息处理系统的第四实施方式的配置与第三实施方式的配置基本相同。因此，在下面的描述中，适当省略除了对质量文件的描述之外的描述。
图21描绘了应用本公开内容的信息处理系统的第四实施方式的由片段文件生成单元83生成的片段文件的示例。
除质量文件外，图21的片段文件与图5的片段文件相同。
如图21所示，片段文件生成单元83针对要在再现模式中再现的每个纹理图像将包括从编码单元82提供的再现模式1至7的质量信息的元数据的编码流划分成两个。然后，片段文件生成单元83以片段为单位将元数据的编码流的划分设置在不同的质量文件中，以生成质量文件。
具体地，片段文件生成单元83生成其中以片段为单位设置的要使用纹理文件(纹理1文件)再现的再现模式1至5的质量信息的编码流的质量文件(质量1文件)。在质量文件(质量1文件)中，各编码流被设置在不同的轨道(质量轨道(纹理1)、质量轨道(纹理1+深度1)、质量轨道(纹理1+深度2)、质量轨道(纹理1+深度1+遮挡)和质量轨道(纹理1+深度2+遮挡))中。
此外，片段文件生成单元83生成其中以片段为单位设置的要使用纹理文件(纹理2文件)再现的再现模式6和7的质量信息的编码流的质量文件(质量2文件)。在质量文件(质量2文件)中，各编码流被设置在不同的轨道(质量轨道(纹理2)和质量轨道(纹理2+深度2))中。
如上所述，片段文件生成单元83针对每个纹理图像分别对再现模式的质量信息的编码流进行文件化。因此，通过获取要获取的纹理图像的质量文件的质量信息，视频再现终端14可以容易地获取要使用纹理图像执行再现的要再现的模式的质量信息。
此外，尽管没有描述，但是除了以下一点之外，第四实施方式中的MPD文件与图18的MPD文件类似。具体地，在第四实施方式中的MPD文件中，质量文件的自适应集元素中包括的表示元素的数目是两个。
第一质量文件(质量1文件)组的表示元素具有的关联ID为vt1、vt2、vd1、vd2和vo1。此外，质量文件(质量1文件)的表示元素包括五个子表示元素，这五个子表示元素具有级别1和作为关联ID的vt1、级别2和作为关联ID的vt1和vd1、级别3和作为关联ID的vt1和vd2、级别4和作为关联ID的vt1、vd1和vo1以及级别5和作为关联ID的vt1、vd2和vo1。
第二质量文件(质量2文件)的表示元素具有的关联ID是vt2和vd2。此外，质量文件(质量1文件)的表示元素包括两个子表示元素，这两个子表示元素分别具有级别1和作为关联ID的vt2以及级别2和作为关联ID的vd2和vt2。
此外，尽管没有描绘，但是除了包括质量信息的元数据的编码流不是针对每种类型的再现模式而是针对每个纹理图像进行划分之外，第四实施方式中的文件生成处理与第三实施方式中的文件生成处理相同。
此外，尽管没有描绘，但是第四实施方式中的再现处理与图19或图20的再现处理相同。
如上所述，第四实施方式中的文件生成装置11针对每个纹理图像划分要再现的模式的质量信息，并且将质量信息的划分设置到单独的不同的质量文件中。因此，与在要再现的不同模式之中将质量信息设置在不同的的质量文件中的替代情况相比，可以减少质量文件的数目。因此，可以说可以有效地存储要再现的模式的质量信息。此外，可以减少与视频再现终端14获取质量信息相关的处理量。
此外，视频再现终端14可以从仅存储有要使用再现目标的纹理图像来执行再现的要再现的模式的质量信息的质量文件中获取质量信息。因此，与从存储有全部再现模式的质量信息的质量文件中获取质量信息的替代情况相比，可以提高使用再现目标的纹理图像来执行再现的要再现的模式的质量信息的获取效率。
<第五实施方式>
(片段文件的示例)
除了包括质量信息的元数据的编码流不仅针对每种类型的再现模式而且还针对每个纹理图像来划分并且被被置到质量文件中的不同质量文件中以外，应用本公开内容的信息处理系统的第五实施方式的配置与第三实施方式的配置基本相同。具体地，第五实施方式是第三实施方式和第四实施方式的组合。因此，在下面的描述中，适当对省略质量文件的描述之外的描述。
图22描绘了应用本公开内容的信息处理系统的第五实施方式的由片段文件生成单元83生成的片段文件的示例。
除质量文件外，图22的片段文件与图5的片段文件相同。
如图22所示，片段文件生成单元83针对每种类型的再现模式并且针对在每种再现模式中要用于再现的每个纹理图像将包括从编码单元82提供的再现模式1至7的质量信息的元数据的编码流划分成五个。然后，片段文件生成单元83以片段为单位将编码流的划分设置到不同的质量文件中以生成质量文件。
具体地，片段文件生成单元83以片段为单位生成其中设置有要使用纹理文件(纹理1文件)来再现的再现模式1的质量信息的编码流的质量文件(质量1文件)。
此外，片段文件生成单元83以片段为单位生成其中设置有仅使用纹理文件(纹理1文件)和深度文件来再现的再现模式3和4的质量信息的编码流的质量文件(质量2文件)。在质量文件(质量2文件)中，各编码流被设置在不同的轨道(质量轨道(纹理1+深度1)和质量轨道(纹理1+深度2))中。
此外，片段文件生成单元83以片段为单位生成其中设置有仅使用纹理文件(纹理1文件)，深度文件和遮挡件来再现来再现的再现模式5和6的质量信息的编码流的质量文件(质量3文件)。在质量文件(质量3文件)中，各个编码流被设置在不同的轨道(质量轨道(纹理1+深度1+遮挡)和质量轨道(纹理1+深度2+遮挡))上。
此外，片段文件生成单元83以片段为单位生成其中设置有仅使用纹理文件(纹理2文件)来再现的再现模式2的质量信息的编码流的质量文件(质量4文件)。
此外，片段文件生成单元83以片段为单位生成其中设置有仅使用纹理文件(纹理2文件)和深度文件来再现的再现模式2的质量信息的编码流的质量文件(质量5文件)。
如上所述，片段文件生成单元83针对每种再现模式以及针对每个纹理图像分别对再现模式的质量信息的编码流进行文件化。因此，从使用成为候选的再现模式的类型的再现目标的纹理图像来执行再现的要再现的模式中，容易获取使用质量文件的纹理图像来执行再现成为候选的多个模式的质量信息。
此外，虽然没有描绘，但是除了以下一点以外，第五实施方式中的MPD文件与图18的MPD文件类似。具体地，在第五实施方式中的MPD文件中，质量文件的自适应集元素中包括的表示元素的数目是五。
第一质量文件(质量1文件)的表示元素具有的关联ID是vt1，并且第四质量文件(质量4文件)的表示元素具有的关联ID是vt2。第五质量文件(质量5文件)的表示元素具有的关联ID是vt2和vd2。
第二质量文件(质量2文件)的表示元素具有的关联ID是vt1、vd1和vd2。同时，质量文件(质量1文件)的表示元素包括分别具有级别1和作为关联ID的vt1和vd1以及级别2和作为关联ID的vt1和vd2的子表示元素。
第三质量文件(质量3文件)的表示元素具有的关联ID是vt1、vd1、vd2和vo1。同时，质量文件(质量1文件)的表示元素包括分别具有级别1和作为关联ID的vt1、vd1和vo1以及级别2和和作为关联ID的vt1、vd2和vo1的子表示元素。
另外，虽然没有描绘，但是除了包括质量信息的元数据的编码流不仅针对每种类型的再现模式而且针对每种纹理图像进行划分以外，第五实施方式中的文件生成处理与第三实施方式中的文件生成处理相同。此外，尽管没有描绘，但是第五实施方式中的再现处理与图19或图20的再现处理相同。
如上所述，第五实施方式中的文件生成装置11对每种再现类型的再现模式并且针对每个纹理图像将要再现的模式的质量信息进行划分，并且将质量信息的划分设置到不同的质量文件中。因此，与在要再现的不同模式之中将质量信息设置到不同的质量文件中的替代情况相比，可以减少质量文件的数目。因此，可以说可以有效地存储要再现的模式的质量信息。此外，可以减少与由视频再现终端14获取质量信息相关的处理量。
此外，视频再现终端14可以从其中仅存储有成为候选的再现模式的类型的要再现的模式的质量信息并且其中使用再现目标的纹理图像来执行再现的质量文件中获取质量信息。因此，与从存储有全部再现模式的质量信息的质量文件中获取质量信息的替代情况相比，可以提高使用再现目标的纹理图像来执行再现的要再现的模式的质量信息的获取效率。
<第六实施方式>
(片段文件的示例)
除了包括质量信息的元数据的编码流被集中设置到单个质量文件中以外，应用本公开内容的信息处理系统的第六实施方式的配置与图1的信息处理系统10的配置基本上相同。因此，在下面的描述中，适当省略除了对质量文件的描述之外的描述。
图23是示出应用本公开内容的信息处理系统的第六实施方式中由片段文件生成单元83生成的片段文件的示例的图。
除质量文件外，图23的片段文件与图5的片段文件相同。
如图23所示，片段文件生成单元83通过以片段为单位将包括2Mbps和1Mbps的深度图像的质量信息的元数据的编码流和包括1Mbps的遮挡图像的质量信息的元数据的编码流设置到一个质量文件(质量1文件)中来生成一个质量文件(质量1文件)。
在质量文件(质量1文件)中，不同的轨道(质量轨道(深度1)、质量轨道(深度2)和质量轨道(遮挡1))被分配给不同的编码流。
(MPD文件的描述的示例)
图24是描绘第六实施方式中的MPD文件的描述的示例的图。
除了用于质量文件的自适应集(AdaptationSet)元素之外，图24的MPD文件的配置与图10的配置相同。
在图24的MPD文件中，质量文件(质量1文件)组按照一个自适应集元素分组。
在用于质量文件的自适应集元素中，描述了与质量文件(质量1文件)对应的表示元素。在与质量文件(质量1文件)对应的表示元素中，将vq1描述为表示id，并且将“quality1.mp4”描述为基础地址。
此外，存储在质量文件(质量1文件)中的质量信息是深度文件(深度1文件)、深度文件(深度2文件)以及遮挡文件(遮挡1文件)的质量信息。因此，在与质量文件(质量1文件)对应的表示元素中，作为深度文件(深度1文件)组、深度文件(深度2文件)和遮挡文件(遮挡1)组的表示id的vd1、vd2和vo1被描述为关联ID。
此外，在图24的示例中，与级别1至级别3对应的轨道分别存储有深度文件(深度1文件)、深度文件(深度2文件)和遮挡文件(遮挡1文件)的质量信息。
因此，在与质量文件(质量1文件)组对应的表示元素中，描述了将级别1与作为关联ID的深度文件(深度1文件)的表示id的vd1彼此关联的<SubRepresentation level＝“1”associationID＝“vd1”>。描述了将级别2与作为关联ID的深度文件(深度2文件)的表示id的vd2彼此关联的<SubRepresentation level＝“2”associationID＝“vd2”>。描述了将级别3与作为关联ID的遮挡文件(遮挡1文件)的表示id的vo1彼此关联的<SubRepresentationlevel＝“3”associationID＝“vo1”>。
应该注意的是，尽管在图24的示例中，没有在质量文件的自适应集元素中描述带宽，但是也可以描述带宽。
此外，尽管没有描述，但是除了步骤S14处的处理未被执行以及在步骤S15处以片段为单位将包括质量信息的元数据的编码流设置在一个质量文件中以外，是第六实施方式中的文件生成处理与图12的文件生成处理相同。
此外，尽管没有描述，但是第六实施方式中的再现处理与图14或图15中的再现处理相同。
要注意的是，在第一实施方式和第六实施方式中，虽然在MPD文件中描述了要再现的模式中的图像的组合，但是可以不描述。在这种情况下，使用从可以被组合的图像的所有组合的再现模式中选择的再现模式的候选。
此外，质量信息的编码流可以设置到对于各个编码流不同的质量文件中。
<第七实施方式>
(片段文件的配置示例)
除了深度遮挡图像的编码流和深度遮挡图像的质量信息的编码流针对每种深度遮挡图像来划分并且被设置到不同的片段文件中并且同一片段文件内的质量信息的编码流被设置在相同的轨道上以外，应用本公开内容的信息处理系统的第七实施方式的配置与图1的信息处理系统10的配置基本相同。因此，在下面的描述中，适当地省略除了用于每种类型的深度遮挡图像的片段文件的描述之外的描述。
图25是描绘由应用本公开内容的信息处理系统的第七实施方式的片段文件生成单元83生成的片段文件的示例的图。
图25的纹理文件与图5的纹理文件相同。如图25所示，片段文件生成单元83针对每种类型的深度遮挡图像将2Mbps和1Mbps的深度图像和1Mbps的遮挡图像的质量信息的编码流以及2Mbps和1Mbps的深度图像的编码流和1Mbps的遮挡图像的编码流划分成两个。
然后，片段文件生成单元83以片段为单位生成其中设置有2Mbps和1Mbps的深度图像的编码流以及1Mbps的深度图像的划分的质量信息的编码流的片段文件。
具体地，片段文件生成单元83生成其中设置有2Mbps和1Mbps的深度图像的编码流以及2Mbps和1Mbps的深度图像的质量信息的编码流的深度文件(深度1文件)。
在深度文件(深度1文件)中，2Mbps和1Mbps的深度图像的质量信息的编码流被设置到在相同的轨道(质量1轨道)上，并且2Mbps的深度图像的编码流和1Mbps的深度图像被设置在彼此分开的轨道(深度1轨道、深度2轨道)上。
因此，在2Mbps和1Mbps的深度图像的质量信息的编码流的轨道(质量1轨道)中，2Mbps和1Mbps二者的深度图像的质量信息的编码流被集中采样。
此外，片段文件生成单元83生成其中设置有1Mbps的遮挡图像的编码流和1Mbps的遮挡图像的质量信息的编码流的遮挡文件(遮挡1文件)。
如上所述，在第七实施方式中，设置在相同的深度遮挡图像的片段文件中的质量信息的编码流被设置在相同的轨道上。因此，与其中设置在相同的深度遮挡图像的片段文件上的质量信息的编码流被设置到用于不同编码流的彼此不同的轨道上的替代情况相比，可以减少深度遮挡图像的片段文件中的轨道数目。结果，可以减小深度遮挡图像的片段文件的大小。此外，可以减少视频再现终端14上的负载。
(样品的配置的示例)
图26是描绘图25的轨道样本(质量1轨道)的配置的示例的图。
如图26所示，轨道(质量1轨道)的样本被划分成两个子样本，2Mbps和1Mbps的深度图像的编码流以分开的形式被设置在这两个子样本中的每个中。
在图26的示例中，在第i(i＝1,2,...,n)个样本的第一子样本中，设置有2Mbps的深度图像的编码流(深度质量i)，并且在第二子样本中，设置有1Mbps深度图像的编码流(深度2质量i)。在ISO/IEC 23001-10中描述了子样本的细节。
(深度图像的moov框的配置的示例)
图27是描绘深度文件(深度1文件)的moov框(电影框)的配置的示例的图。
如图27所示，在深度文件(深度1文件)的moov框中，针对每个轨道来设置trak框。在trak框中，设置有tkhd框(轨道标题框)，在tkhd框中描述了对于轨道唯一的ID的轨道ID(track_ID)。
在图27的示例中，设置有2Mbps的深度图像的编码流的轨道(深度1轨道)的轨道ID是1，并且设置有1Mbps的深度图像的编码流的轨道(深度2轨道)的轨道ID是2。此外，设置有2Mbps和1Mbps的深度图像的质量信息的编码流的轨道(质量1轨道)的轨道ID是3。
此外，在trak框中，可以设置tref框(轨道参考)，在tref框中描述了具有与自己的轨道有关的不同轨道的轨道ID。具体地，轨道(质量1轨道)是其上存储有设置在轨道(深度1轨道)和轨道(深度2轨道)上的深度图像的编码流的质量信息的编码流的轨道。相应地，在轨道(质量1轨道)上设置有tref框，在tref框中描述了作为轨道(深度1轨道)和轨道(深度2轨道)的轨道ID的1和2。
因此，视频再现终端14可以识别到轨道(质量1轨道)已经在其中容纳了设置在轨道(深度1轨道)和轨道(深度2轨道)上的深度图像的编码流的质量信息的编码流。
然而，视频再现终端14不能识别轨道(深度1轨道)的哪个子样本存储在轨道(质量1轨道)或轨道(深度2轨道)上容纳的深度图像的编码流的质量信息的编码流。
因此，在第七实施方式中，描述了子样本与用于指定与设置在子样本中的质量信息的编码流对应的深度遮挡图像的轨道轨道ID(轨道指定信息)之间的对应关系(在下文中称为子样本轨道对应关系)。因此，视频再现终端14可以识别存储在每个子样本中的深度遮挡图像的编码流的质量信息。结果，视频再现终端14可以从轨道(质量1轨道)中获取每个深度遮挡图像的质量信息的编码流。
尽管在第七实施方式中，在QualityMetricsConfigurationBox、QualityMetricsSampleEntry、SubsampleInformationBox或SubsampleReferenceBox中描述了子样本轨道对应关系，但是也可以在除了上述之外的任何框中描述子样本轨道对应关系。
(QualityMetricsConfigurationBox的描述的示例)
图28是描绘在轨道(质量1轨道)的trak框中设置的QualityMetricsConfigurationBox中描述了子样本轨道对应关系的情况下QualityMetricsConfigurationBox的描述的示例的图。
在图28的QualityMetricsConfigurationBox中，描述了field_size_bytes和metric_count，并且描述了与metric_count相等的metric_code的数目。除了质量文件被轨道(质量1轨道)替代以外，field_size_bytes、metric_count和metric_count与图6的情况类似。
在第七实施方式中，在质量文件中，轨道(深度1轨道)和轨道(深度2轨道)的两种类型的质量信息的编码流被存储在轨道(质量1轨道)的样本中。因此，metric_count是2。
同时，在QualityMetricsConfigurationBox中，指示可以描述子样本轨道对应关系的1被设置为标志。
在标志为1的情况下，在QualityMetricsConfigurationBox中，针对每个metric_code描述了referenced_track_in_file_flag，referenced_track_in_file_flag指示在包括轨道(质量1轨道)的深度文件(深度1文件)中是否存要参考的轨道。
在每个metric_code的referenced_track_in_file_flag是1的情况下，在QualityMetricsConfigurationBox中，描述了与metric_code对应的子样本的reference_track_id_num和与reference_track_id_num相等的track_id的数目。
reference_track_id_num是要参考的深度文件(深度1文件)中的轨道数。track_id是要参照的深度文件(深度1文件)中的轨道的轨道ID。
在第七实施方式中，轨道样本(质量1轨道)中的第一子样本对应于深度文件(深度1文件)中的轨道(质量1轨道)，并且第二子样本对应于轨道(深度2轨道)。因此，与每个子样本对应的metric_code的referenced_track_in_file_flag被设置为1，这指示在包括轨道(质量1轨道)的深度文件(深度1文件)中存在要参考的轨道。
此外，与每个子样本对应的metric_code的reference_track_id_num是1。此外，与第一子样本对应的metric_code的track_id是1，而1是指定与子样本中设置的质量信息的编码流对应的深度图像的轨道(深度1轨道)的轨道ID(轨道指定信息)。同时，与第二子样本对应的metric_code的track_id是2，而2是与设置在子样本中的质量信息的编码流对应的深度图像的轨道(深度2轨道)的轨道ID。
以这种方式，在QualityMetricsConfigurationBox中，与子样本对应的深度图像的轨道ID按照子样本被设置在样本中的顺序进行描述，从而描述子样本轨道对应关系。
(QualityMetricsSampleEntry的描述的示例)
图29是描绘在轨道(质量1轨道)的trak框中设置的QualityMetricsSampleEntry中描述了子样本轨道对应关系的情况下QualityMetricsSampleEntry的描述的示例的图。
在图29的QualityMetricsSampleEntry中，设置了QualityMetricsReferenceBox。在QualityMetricsReferenceBox中，与在图28的QualityMetricsConfigurationBox中类似地描述了metric_count。此外，按照QualityMetricsConfigurationBox的metric_code的顺序来描述referenced_track_in_file_flag，并且在每个metric_code的referenced_track_in_file_flag为1的情况下，描述了该metric_code的reference_track_id_num和与reference_track_id_num相等的track_id的数目。
(SubsampleInformationBox的描述的示例)
图30是描绘在轨道(质量1轨道)的trak框中设置的SubsampleInformationBox中描述了子轨道对应关系的情况下SubsampleInformationBox的描述的示例的图。
SubsampleInformationBox是描述与子样本有关的信息的框。trak框可以具有多个SubSampleInformationBox，多个SubSampleInformationBox具有彼此不同的标志的值。在图30的SubsampleInformationBox中，指示子样本轨道对应关系的2可以被设置为版本。
在版本大于1的情况下，在SubsampleInformationBox中，针对每个子样本描述track_reference_is_exist_flag和referenced_track_in_file_flag。track_reference_is_exist_flag是指示是否存在扩展以使得能够描述子样本轨道对应关系的必要性的标志。这使得当等于或大于3的值被设置为版本时，可以防止无用地执行描述子样本轨道对应关系的扩展。
在第七实施方式中，由于有必要扩展以描述子样本轨道对应关系，所以track_reference_is_exist_flag被设置为1，这指示有必要扩展以便能够描述子样本轨道对应关系。
在每个子样本的track_reference_is_exist_flag和referenced_track_in_file_flag都是1的情况下，在SubsampleInformationBox中，描述了子样本的reference_track_id_num和与reference_track_id_num相等的track_id的数目。
(SubsampleReferenceBox的描述的示例)
图31是描绘在SubsampleReferenceBox中描述的子轨道对应关系被设置到轨道(质量1轨道)的trak框中的情况下SubsampleReferenceBox的描述的示例的图。
在图31的SubsampleReferenceBox中，针对每个子样本来描述referenced_track_in_file_flag，并且在每个子样本的referenced_track_in_file_flag是1的情况下，描述了子样本的reference_track_id_num和与reference_track_id_num相等的track_id的数目。
(MPD文件的描述的示例)
图32是描绘第七实施方式中的MPD文件的描述的示例的图。
除了用于深度文件的自适应集元素和用于遮挡文件的自适应集元素的配置以及没有提供用于质量文件的自适应集元素以外，图32的MPD文件的配置与图10的MPD文件的配置相同。
在图32的用于深度文件的自适应集元素中，描述了与深度文件(深度1文件)组对应的表示元素。
在与深度文件(深度1文件)对应的表示元素中，将vd1描述为表示id，并且将“depth1.mp4”描述为基础地址。要注意的是，尽管在图32的示例中没有描述带宽，但是也可以描述带宽。
此外，要与深度文件(深度1文件)一起再现的纹理文件是纹理文件(纹理1文件)或纹理文件(纹理2文件)。因此，在与深度文件(深度1文件)对应的表示元素中，描述了作为纹理文件(纹理1文件)和纹理文件(纹理2文件)的表示id的vt1和vt2。
此外，在图32的示例中，轨道(深度1轨道)和轨道(深度2轨道)分别通过leva框与级别1和2相关联。
因此，在与图32的深度文件(深度1文件)组对应的表示元素中，描述了将级别1和vt1进行关联的<SubRepresentation level＝“1”associationID＝“vt1”>，vt1是作为要和轨道(深度1轨道)一起再现的纹理文件(纹理1文件)的表示id的关联ID。
类似地，描述了将级别2和vt1和vt2进行关联的<SubRepresentation level＝“2”associationID＝“vt1vt2”>,vt1和vt2是作为要和轨道(深度2轨道)一起再现的纹理文件(纹理1文件)和纹理文件(纹理2文件)的表示id的关联ID。
在与遮挡文件(遮挡1文件)组对应的表示元素中，将vo1描述为表示id，并且将“occlusion1.mp4”描述为基础地址。要注意的是，尽管在图32的示例中没有描述带宽，但是也可以描述带宽。
此外，要与遮挡文件(遮挡1文件)一起再现的深度文件是深度文件(深度1文件)。因此，在与遮挡文件(遮挡1文件)对应的表示元素中，将作为深度文件(深度1文件)的表示id的vd1描述为关联ID。
应该注意的是，在图32的示例中，尽管在在MPD文件中没有描述要再现的模式中要使用的图像的组合，但是也可以描述该组合。
此外，尽管没有描绘，但是除了在步骤S13处生成的深度文件和遮挡文件中设置有相应的质量信息并且不执行步骤S14和S15以外，第七实施方式中的文件生成处理与图12的文件生成处理相同。
此外，尽管没有描绘，但是除了还参考子样本轨道对应关系来获取编码流之外，第七实施方式中的再现处理与图14或图15的再现处理相同。
以这种方式，根据第七实施方式的文件生成装置11将设置在深度遮挡图像的片段文件中的多条质量信息的编码流集中设置到一个轨道中。因此，与将不同类型的质量信息的编码流设置在不同轨道上的替代情况相比，可以减少配置深度遮挡图像的片段文件的轨道的数目。换言之，可以有效地存储深度遮挡图像的质量信息。因此，减小了深度遮挡图像的片段文件的大小。结果，减少了当文件生成装置11上传深度遮挡图像的片段文件时的传输请求量。
应该注意，在第七实施方式中，虽然质量信息是遮挡图像的质量信息，但是质量信息还可以是使用纹理图像或者纹理图像和深度遮挡图像来再现的3D图像的质量信息。
在这种情况下，例如，纹理图像的轨道和纹理图像的质量信息的轨道被设置到纹理文件中，并且深度图像的轨道以及使用纹理图像和深度图像来再现的3D图像的质量信息的轨道被设置到深度文件中。此外，遮挡图像的轨道以及使用纹理图像、深度图像和遮挡图像来再现的3D图像的质量信息的轨道被设置到遮挡文件中。
<第八实施方式>
(片段文件的配置的示例)
除了同一质量文件中的质量信息的编码流被设置到同一轨道上以外，应用本公开内容的信息处理系统的第八实施方式的配置与图1的信息处理系统10的配置原则上相同。因此，在以下描述中，适当省略除了对质量文件(质量1文件)的描述以外的描述。
图33是描述由应用本公开内容的信息处理系统的第八实施方式的片段文件生成单元83生成的片段文件的示例的图。
除了深度图像的质量文件(质量1文件)之外，图33的片段文件与图5的片段文件相同。
如图33所示，片段文件生成单元83生成其中将2Mbps和1Mbps的深度图像的质量信息的编码流集中设置到一个轨道(质量1轨道)上的质量文件(质量1文件)。在轨道(质量1轨道)上，2Mbps和1Mbps二者的深度图像的质量信息的编码流被集中采样。
第八实施方式中的MPD文件与图10的MPD文件相同。具体地，在第八实施方式中的MPD文件中，在与质量文件(质量1文件)对应的表示元素中描述了每个级别和指定深度遮挡图像的关联ID之间的对应关系。
(leva框的描述的第一示例)
图34是描绘质量文件(质量文件)的leva框描述的第一示例的图。
如图34所示，在质量文件(质量文件)的leva框中，描述了子表示元素的级别的数目的level_count，level_count对应于MPD文件中描述的质量文件(质量文件)。
此外，在质量文件(质量文件)的leva框中，按照从级别1开始的顺序描述了与每个级别的level_count相等的track_id的数目、assignment_type等。assignment_type是与级别相关联的内容的类型。
在图34的leva框中，可以将5设置为assignment_type。在图34的示例中，作为assignment_type的5表示与该级别关联的类型是在QualityMetricsConfigurationBox中描述的metric_code。具体地，在assignment_type为5的情况下，级别i(i＝1,2)和QualityMetricsConfigurationBox中的描述的从顶部起的第i个metric_code彼此相关联。
(通过leva框关联的级别和子样本的第一示例的描述)
图35是示出通过图34的leva框彼此相关联的质量文件(质量1文件)中的级别和子样本的第一示例的图。
在第八实施方式的MPD文件中，与质量文件(质量1文件)对应的子表示元素具有的级别的数目是两个。因此，如图35所示，2被描述为质量文件(质量文件)的leva框中的level_count。
此外，与两个级别对应的轨道是轨道ID为1的轨道(质量1轨道)。因此，在质量文件(质量文件)的leva框中，1被描述为两个级别的track_id。此外，5被描述为两个级别的assignment_type。
因此，通过图35的leva框，每个子表示元素具有的级别i可以与QualityMetricsConfigurationBox中描述的从顶部起的第i个metric_code相关联。此外，通过QualityMetricsConfigurationBox的描述，QualityMetricsConfigurationBox中描述的从顶部起的第i个metric_code和从顶部起的第i个子样本可以彼此相关联。
如上所述，通过将5描述为leva框的assignment_type，可以将在MPD文件中描述的级别i和第i个子样本彼此相关联。因此，作为assignment_type的5可以被认为是将级别和子样本彼此相关联的信息。
(leva框的第二示例)
图36是描绘质量文件(质量文件)的leva框描述的第二示例的图。
除了将5设置为assignment_type的情况之外，图36的质量文件(质量文件)的leva框具有与图34的质量文件(质量文件)的leva框相同的配置。
在图36的示例中，作为表示与级别相关联的内容的类型的assignment_type的5是信息被描述在子框(子样本信息框)中的子样本。具体地，在assignment_type为5的情况下，级别i对应于信息在子框中描述的从顶部起的第ith个子样本。此外，在图36的leva框中，在assignment_type是5的情况下，描述了与级别i相关联的子框的标志。
(通过leva框相关联的级别和子样本的第二示例的描述)
图37是示出通过图36的leva框彼此相关联的质量文件(质量1文件)中的级别和子样本的第二示例的图。
除了0被描述为每个级别的subample_flag之外，图37的leva框与图35的leva框相同。
相应地，通过图37的leva框，每个子表示元素具有的级别i可以与其中信息在标志为0的子框中被描述的从顶部起的第i个子样本相关联。此外，通过子框的描述，可以指定信息在子框中被描述的从顶部起的第i个子样本。
通过以如上所述的方式将5描述为leva框的assignment_type，可以将MPD文件中描述的级别和子样本彼此相关联。因此，作为assignment_type的5可以被认为是将级别和子样本彼此相关联的信息。
应该注意的是，设置到轨道(质量1轨道)上的两个子样本可以被分组到一个组中。在这种情况下，图38所示的子样本组条目(Sub-SampleGroupEntry)被设置到轨道(质量1轨道)的trak框中。
图38的子样本组条目是SampleGroupDescriptionEntry的扩展条目，不仅其中要存储图像的子样本，而且其中要存储图像以外的子样本的子样本组条目都基于SampleGroupDescriptionEntry。
在图38的子样本组条目中，描述了子样本组的类型(在图38的示例中为sgss)。此外，在图38的子样本组条目中，描述了作为属于该组的子样本的样本条目的名称的code_parameter和作为子框的标志的sub_sample_flags。
此外，如图39所示，leva框的assignment_type被设置为0，这表示与该级别相关联的内容的类型是与属于sgpd框(样本组描述框)中描述的预定组的样本有关的信息。
此外，在leva框中，不是描述了subsample_flag，而是描述了与级别i(i＝1,2)相关联的sgpd框中描述的grouping_type。grouping_type是与sgpd框对应的子样本组的类型。在图36的示例中，设置到轨道(质量1轨道)上的两个子样本所属的组的类型是sgss，并且对于两个子样本二者，与leva框的每个级别对应的grouping_type都是sgss。
通过图39的leva框，每个子代表元素具有的级别i与在sgpd框中描述的信息相关联，并且与属于其grouping_type的子样本有关的信息中从顶部起的第i个子样本相关。
作为与子样本相关的信息，描述了配置子样本的采样的采样条目的名称和子框的标志。在图36的示例中，配置设置到轨道(质量1轨道)上的两个子样本的样本的样本条目的名称都是vqme，并且二者的标记都是零。因此，在sgpd框中，vqme和0被描述为与每个子样本有关的信息。
通过对sgpd框的描述，每个子表示元素具有的级别i可以与从顶部起的第i个子样本关联，所述子样本的标志为0并且其中信息被描述在样本的名称条目是vqme的子框中。然后，通过子框的描述，可以指定子框中描述信息的从顶部起的第i个子样本。
以这种方式，MPD文件中描述的级别和子样本可以通过图39的leva框彼此相关联。
应该注意的是，在第八实施方式中，质量文件可以如在第二实施方式至第六实施方式中那样被划分。
此外，在第一实施方式至第八实施方式中，尽管扩展了子表示元素以使得可以描述关联ID，但是还可以扩展子表示元素，使得可以描述除了关联ID之外的属性。
例如，可以新定义其中描述了与子表示元素对应的表征ID的SubassociationID等的属性，并且可以扩展子表示元素，使得可以描述这样的属性。
例如，子表示元素可以被扩展，使得在子表示元素中还可以描述依赖性Id，依赖性Id是表示在解码时需要参考的轨道的ID的属性，并且与子表示元素对应的表示ID可以被描述为子表示元素的依赖性Id。
应该注意到，当要表示纹理图像与深度遮挡图像之间的关系或者除深度遮挡图像与质量信息关系之间的关系之外的关系时，也可以使用指示子表示元素与表示ID之间的对应关系的子表示元素的属性。
<第九实施方式>
(应用本公开内容的计算机的描述)
尽管上述一系列处理可以由硬件执行，但是也可以通过软件执行。在一系列处理由软件执行的情况下，构建软件的程序被安装到计算机中。这里，计算机包括内置在专用硬件中的计算机，例如可以通过安装各种程序来执行各种功能的通用个人计算机等。
图40是描绘根据程序执行上述一系列处理的计算机的硬件的配置的示例的框图。
在计算机200中，CPU(中央处理单元)201、ROM(只读存储器)202和RAM(随机存取存储器)203通过总线204相互连接。
输入/输出接口205还连接至总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接至输入/输出接口205。
输入单元206由键盘、鼠标、麦克风等配置而成。输出单元207由显示器、扬声器等配置而成。存储单元208由硬盘、非易失性存储器等配置而成。通信单元209由网络接口等配置而成。驱动器210驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质211。
在以上述方式配置的计算机200中，CPU 201通过输入/输出接口205和总线204将例如存储在存储单元208中的程序加载到RAM 203中，并且执行程序以执行上述一系列处理。
由计算机200(CPU 201)执行的程序可以被记录在可移动介质211上并且提供为可移动介质211，例如提供为封装介质等。此外，程序可以通过诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供。
在计算机200中，通过将可移动介质211加载到驱动器210中，可以通过输入/输出接口205将程序安装到存储单元208中。此外，程序可以由通信单元209通过有线或无线传输介质接收并且被安装到存储单元208中。此外，可以将程序预先安装到ROM 202或存储单元208中。
应该注意，由计算机200执行的程序可以是根据本说明书中描述的顺序以时间序列执行处理的程序，或者并行执行处理的程序或者在程序被调用的时间处执行等的程序。
应该注意的是，在本说明书中，术语系统表示一组多个部件(装置、模块(部分)等)，并且所有部件是否设置在相同的壳体中并不重要。因此，下述中的任一个构成系统：容纳在分开的壳体中并且通过网络彼此连接的多个装置；以及其中多个模块被容纳在一个壳体中的一个装置。
此外，本说明书中描述的效果仅是示例性的，并且不应该是限制性的，并且可以实现其他效果。
此外，本公开内容的实施方式不限于上文中描述的实施方式，并且可以在不脱离本公开内容的主题的情况下以各种方式进行改变。
例如，可以不生成遮挡图像的片段文件。具体地，本公开内容可以应用于这样的信息处理系统，在该信息处理系统中，生成仅包括深度图像的片段文件或者包括深度图像和遮挡图像二者的深度相关图像，即生成包括至少深度图像的深度相关图像。
要注意的是，本公开内容可以具有如下所述的配置
(1)
一种文件生成装置，包括：
文件生成单元，其被配置成生成管理文件，所述管理文件对文件进行管理，在所述文件中以按照多个轨道或子样本划分的形式来设置质量信息，所述质量信息表示包括至少深度图像的多个深度相关图像的质量，并且在所述管理文件中描述各个轨道或子样本与用于指定所述深度相关图像的深度相关图像指定信息之间的对应关系。
(2)
根据以上(1)所述的文件生成装置，其中，
所述文件生成装置被配置成使得：
所述文件生成单元将所述多个深度相关图像和与所述多个深度相关图像对应的纹理图像中的在再现时成为使用候选的纹理图像和深度相关图像的组合描述到所述管理文件中。
(3)
根据以上(1)或(2)所述的文件生成装置，其中，
所述文件生成装置被配置成使得：
所述深度相关图像包括遮挡图像，所述遮挡图像是与所述深度图像对应的遮挡区域的纹理图像。
(4)
根据以上(1)至(3)中任一项所述的文件生成装置，其中，
所述文件生成装置被配置成使得：
所述深度相关图像的质量信息是表示要使用所述深度相关图像和与所述深度相关图像对应的纹理图像来生成的3D图像的质量的信息，并且
在所述管理文件中，描述所述各个轨道与所述深度相关图像指定信息和用于指定所述纹理图像的纹理图像指定信息之间的对应关系。
(5)
根据以上(4)所述的文件生成装置，其中，
所述文件生成装置被配置成使得：
在所述文件中，与所述深度相关图像对应的纹理图像的质量信息被设置在与所述深度相关图像的质量信息的轨道不同的轨道上，并且
在所述管理文件中，描述所述纹理图像的质量信息的轨道与用于指定所述纹理图像的纹理图像指定信息之间的对应关系。
(6)
根据以上(1)至(3)中任一项所述的文件生成装置，其中，
所述文件生成装置被配置成使得：
在所述文件中，描述将所述子样本与级别彼此相关联的信息，并且
在所述管理文件中，描述所述级别与所述深度相关图像指定信息之间的对应关系。
(7)
一种文件生成方法，包括：
文件生成装置生成管理文件的文件生成步骤，所述管理文件对文件进行管理，在所述文件中以按照多个轨道或子样本划分的形式来设置质量信息，所述质量信息表示包括至少深度图像的多个深度相关图像的质量，并且在所述管理文件中描述各个轨道或子样本与用于指定所述深度相关图像的深度相关图像指定信息之间的对应关系。
(8)
一种再现装置，包括：
获取单元，其被配置成基于管理文件来获取多个深度相关图像中的至少一部分的质量信息，所述管理文件对文件进行管理，在所述文件中以按照多个轨道或子样本划分的形式来设置所述质量信息，所述质量信息表示包括至少深度图像的所述多个深度相关图像的质量，并且在所述管理文件中描述各个轨道或子样本与用于指定所述深度相关图像的深度相关图像指定信息之间的对应关系。
(9)
根据以上(8)所述的文件生成装置，其中，
所述再现装置被配置成使得：
所述多个深度相关图像的比特率彼此不同，
在所述管理文件中，描述所述多个深度相关图像的比特率，并且
所述获取单元基于所述多个深度相关图像的比特率和所述对应关系来获取所述多个深度相关图像中的至少一部分的质量信息。
(10)
根据以上(9)所述的文件生成装置，其中，
所述再现装置被配置成使得：
在所述文件中，设置与所述多个深度相关图像对应的纹理图像，
在所述管理文件中，描述所述纹理图像的比特率，并且
所述获取单元基于所述纹理图像的比特率来获取所述多个深度相关图像中的至少一部分的质量信息。
(11)
根据以上(10)所述的文件生成装置，其中，
所述再现装置被配置成使得：
在所述文件中，设置具有彼此不同的比特率的多个纹理图像，并且
在所述管理文件中，描述所述多个纹理图像的比特率。
(12)
根据以上(8)或(9)所述的文件生成装置，其中，
所述再现装置被配置成使得：
所述获取单元基于比特率彼此不同的多个纹理图像的比特率从所述多个纹理图像中选择再现对象的纹理图像。
(13)
根据以上(8)至(12)中任一项所述的文件生成装置，其中，
所述再现装置被配置成使得：
所述质量信息是表示要使用所述深度相关图像和与所述深度相关图像对应的纹理图像来生成的3D图像的质量的信息。
(14)
根据以上(8)至(13)中任一项所述的文件生成装置，其中，
所述再现装置被配置成使得：
在所述管理文件中描述所述多个深度相关图像和与所述多个深度相关图像对应的纹理图像中的在再现时成为使用候选的纹理图像和深度相关图像的组合，并且
所述获取单元基于所述组合和所述对应关系来获取所述多个深度相关图像中的至少一部分的质量信息。
(15)
根据以上(8)至(14)中任一项所述的文件生成装置，其中，
再现单元，其被配置成基于由所述获取单元获取的质量信息来再现所述多个深度相关图像中的给定深度相关图像。
(16)
一种再现方法，包括：
再现装置基于管理文件来获取多个深度相关图像中的至少一部分的质量信息的获取步骤，所述管理文件对文件进行管理，在所述文件中以按照多个轨道或子样本划分的形式来设置所述质量信息，所述质量信息表示包括至少深度图像的所述多个深度相关图像的质量，并且在所述管理文件中描述各个轨道或子样本与用于指定所述深度相关图像的深度相关图像指定信息之间的对应关系。
[附图标记列表]
11文件生成装置，14视频再生终端，83片段文件生成单元，84MPD文件生成单元，103质量信息获取单元，105图像获取单元，106解码单元，107输出控制单元。

Claims (16)

1.一种文件生成装置，包括：
文件生成单元，其被配置成：
生成媒体呈现描述MPD文件，在所述MPD文件中描述指定质量文件中包括的多个轨道与关于两个或更多个深度图像的质量的相应的多个质量信息之间的对应关系的信息，其中，所述MPD文件通过将所述多个轨道分配给关于所述两个或更多个深度图像的质量的相应的多个质量信息来配置，并且
针对相应的多个轨道生成多个关联ID，其中所述多个关联ID中的相应关联ID是指定所述两个或更多个深度图像中与对应于所述多个轨道中的相应轨道的所述多个质量信息中的相应质量信息关联的相应深度图像的信息，
其中，所述文件生成单元经由至少一个处理器来实现。
2.根据权利要求1所述的文件生成装置，其中，
所述MPD文件将来自所述两个或更多个深度图像和与所述两个或更多个深度图像对应的纹理图像当中的在再现时成为使用候选的纹理图像和所述两个或更多个深度图像中的深度图像的组合描述到所述MPD文件中。
3.根据权利要求1所述的文件生成装置，其中，
所述两个或更多个深度图像包括遮挡图像，所述遮挡图像是与所述深度图像对应的遮挡区域的纹理图像。
4.根据权利要求1所述的文件生成装置，其中，
所述两个或更多个深度图像的所述多个质量信息是表示要使用所述两个或更多个深度图像和与所述两个或更多个深度图像对应的纹理图像来生成的3D图像的质量的信息，并且
在所述MPD文件中，描述所述相应轨道与所述相应关联ID和用于指定所述纹理图像的纹理图像指定信息之间的对应关系。
5.根据权利要求4所述的文件生成装置，其中，
在所述MPD文件中，与所述两个或更多个深度图像对应的纹理图像的质量信息被设置在与所述两个或更多个深度图像的所述多个质量信息的轨道不同的轨道上，并且
在所述MPD文件中，描述所述纹理图像的质量信息的轨道与用于指定所述纹理图像的纹理图像指定信息之间的对应关系。
6.根据权利要求1所述的文件生成装置，其中，
以按照多个轨道或子样本划分的形式来设置表示所述两个或更多个深度图像的所述多个质量信息，
在所述MPD文件中，描述将所述子样本与级别彼此相关联的信息，并且
在所述MPD文件中，描述所述级别与所述多个关联ID之间的对应关系。
7.一种文件生成方法，其中所述方法包括：
生成媒体呈现描述MPD文件，在所述MPD文件中描述指定质量文件中包括的多个轨道与关于两个或更多个深度图像的质量的相应的多个质量信息之间的对应关系的信息，其中，所述MPD文件通过将所述多个轨道分配给关于所述两个或更多个深度图像的质量的相应的多个质量信息来配置，并且
针对相应的多个轨道生成多个关联ID，其中所述多个关联ID中的相应关联ID是指定所述两个或更多个深度图像中与对应于所述多个轨道中的相应轨道的所述多个质量信息中的相应质量信息关联的相应深度图像的信息。
8.一种再现装置，包括：
获取单元，其被配置成基于媒体呈现描述MPD文件来获取两个或更多个深度图像中的至少一部分的质量信息，在所述MPD文件中描述指定质量文件中包括的多个轨道与关于两个或更多个深度图像的质量的相应的多个质量信息之间的对应关系的信息，并且所述MPD文件通过将所述多个轨道分配给关于所述两个或更多个深度图像的质量的相应的多个质量信息来配置，
其中所述MPD文件包括针对相应的多个轨道的多个关联ID，
其中所述多个关联ID中的相应关联ID是指定所述两个或更多个深度图像中与对应于所述多个轨道中的相应轨道的所述多个质量信息中的相应质量信息关联的相应深度图像的信息，并且
其中，所述获取单元经由至少一个处理器来实现。
9.根据权利要求8所述的再现装置，其中，
所述两个或更多个深度图像的比特率彼此不同，
在所述MPD文件中，描述所述两个或更多个深度图像的比特率，并且
所述获取单元基于所述两个或更多个深度图像的比特率和所述对应关系来获取所述两个或更多个深度图像中的至少一部分的质量信息。
10.根据权利要求9所述的再现装置，其中，
在所述MPD文件中，设置与所述两个或更多个深度图像对应的纹理图像，
在所述MPD文件中，描述所述纹理图像的比特率，并且
所述获取单元基于所述纹理图像的比特率来获取所述两个或更多个深度图像中的至少一部分的质量信息。
11.根据权利要求10所述的再现装置，其中，
在所述MPD文件中，设置具有彼此不同的比特率的多个纹理图像，并且
在所述MPD文件中，描述所述多个纹理图像的比特率。
12.根据权利要求8所述的再现装置，其中，
所述获取单元基于比特率彼此不同的多个纹理图像的比特率从所述多个纹理图像中选择再现对象的纹理图像。
13.根据权利要求8所述的再现装置，其中，
所述质量信息是表示要使用所述两个或更多个深度图像和与所述两个或更多个深度图像对应的纹理图像来生成的3D图像的质量的信息。
14.根据权利要求8所述的再现装置，其中，
在所述MPD文件中描述所述两个或更多个深度图像和与所述两个或更多个深度图像对应的纹理图像中的在再现时成为使用候选的纹理图像和所述两个或更多个深度图像中的深度图像的组合，并且
所述获取单元基于所述组合和所述对应关系来获取所述两个或更多个深度图像中的至少一部分的质量信息。
15.根据权利要求8所述的再现装置，还包括：
再现单元，其被配置成基于由所述获取单元获取的质量信息来再现所述两个或更多个深度图像中的给定深度图像，
其中所述再现单元经由至少一个处理器来实现。
16.一种再现方法，其中所述方法包括：
基于媒体呈现描述MPD文件来获取两个或更多个深度图像中的至少一部分的质量信息，在所述MPD文件中描述指定质量文件中包括的多个轨道与关于两个或更多个深度图像的质量的相应的多个质量信息之间的对应关系的信息，并且所述MPD文件通过将所述多个轨道分配给关于所述两个或更多个深度图像的质量的相应的多个质量信息来配置，
其中所述MPD文件包括针对相应的多个轨道的多个关联ID，并且
其中所述多个关联ID中的相应关联ID是指定所述两个或更多个深度图像中与对应于所述多个轨道中的相应轨道的所述多个质量信息中的相应质量信息关联的相应深度图像的信息。
CN201780011574.0A 2016-02-22 2017-02-08 文件生成装置、文件生成方法以及再现装置和再现方法 Active CN108702534B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-030860 2016-02-22
JP2016030860 2016-02-22
PCT/JP2017/004532 WO2017145757A1 (ja) 2016-02-22 2017-02-08 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法

Publications (2)

Publication Number Publication Date
CN108702534A CN108702534A (zh) 2018-10-23
CN108702534B true CN108702534B (zh) 2021-09-14

Family

ID=59686026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780011574.0A Active CN108702534B (zh) 2016-02-22 2017-02-08 文件生成装置、文件生成方法以及再现装置和再现方法

Country Status (5)

Country Link
US (1) US10945000B2 (zh)
EP (1) EP3422731B1 (zh)
JP (1) JP6944131B2 (zh)
CN (1) CN108702534B (zh)
WO (1) WO2017145757A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
JP2019054417A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
EP3474562A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
EP4270962A4 (en) * 2020-12-28 2024-05-01 Sony Group Corp INFORMATION PROCESSING DEVICE AND METHOD

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907347A (zh) * 2011-08-31 2014-07-02 诺基亚公司 多视图视频编码和解码
WO2015012605A1 (ko) * 2013-07-24 2015-01-29 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
CN104509094A (zh) * 2013-07-19 2015-04-08 索尼公司 文件生成设备、文件生成方法、文件再现设备及文件再现方法
CN104604236A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码的方法和装置
CN105230024A (zh) * 2013-07-19 2016-01-06 华为技术有限公司 基于超文本传输协议的动态自适应流媒体中的元数据信息的指示及携带

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012036903A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
JP6493765B2 (ja) * 2013-07-19 2019-04-03 ソニー株式会社 情報処理装置および方法
JP6508206B2 (ja) * 2014-07-01 2019-05-08 ソニー株式会社 情報処理装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907347A (zh) * 2011-08-31 2014-07-02 诺基亚公司 多视图视频编码和解码
CN104604236A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码的方法和装置
CN104509094A (zh) * 2013-07-19 2015-04-08 索尼公司 文件生成设备、文件生成方法、文件再现设备及文件再现方法
CN105230024A (zh) * 2013-07-19 2016-01-06 华为技术有限公司 基于超文本传输协议的动态自适应流媒体中的元数据信息的指示及携带
WO2015012605A1 (ko) * 2013-07-24 2015-01-29 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치

Also Published As

Publication number Publication date
JPWO2017145757A1 (ja) 2018-12-13
EP3422731B1 (en) 2021-08-25
JP6944131B2 (ja) 2021-10-06
EP3422731A1 (en) 2019-01-02
CN108702534A (zh) 2018-10-23
US10945000B2 (en) 2021-03-09
US20190028744A1 (en) 2019-01-24
WO2017145757A1 (ja) 2017-08-31
EP3422731A4 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
CN108702478B (zh) 文件生成装置、文件生成方法、再现装置和再现方法
CN108702534B (zh) 文件生成装置、文件生成方法以及再现装置和再现方法
KR101777348B1 (ko) 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
JP5497919B2 (ja) ファイルフォーマットベースの適応的ストリーム生成、再生方法及び装置とその記録媒体
US9277252B2 (en) Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
RU2652099C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
KR101786050B1 (ko) 데이터 전송 방법 및 장치
US9197689B2 (en) Method and apparatus for adaptively streaming content including plurality of chapters
US9967598B2 (en) Adaptive streaming method and apparatus
US9756364B2 (en) Streaming method and apparatus operating by inserting other content into main content
JP7238948B2 (ja) 情報処理装置および情報処理方法
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
KR101452269B1 (ko) 콘텐트 가상 세그멘테이션 방법과, 이를 이용한 스트리밍 서비스 제공 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant