CN105519131B - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN105519131B
CN105519131B CN201480039821.4A CN201480039821A CN105519131B CN 105519131 B CN105519131 B CN 105519131B CN 201480039821 A CN201480039821 A CN 201480039821A CN 105519131 B CN105519131 B CN 105519131B
Authority
CN
China
Prior art keywords
image
images
information
parts
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480039821.4A
Other languages
English (en)
Other versions
CN105519131A (zh
Inventor
服部忍
平林光浩
五十岚卓也
安田干太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105519131A publication Critical patent/CN105519131A/zh
Application granted granted Critical
Publication of CN105519131B publication Critical patent/CN105519131B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及信息处理装置和方法，其中能够自适应地提供部分图像数据。该信息处理装置包括：接收单元，其接收文件，该文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的部分图像的第二轨道、以及使第一轨道与第二轨道链接的关联信息；以及解码单元，其对接收单元接收到的文件中包括的部分图像的经编码的数据进行解码。本发明可以应用于例如执行涉及自适应提供图像数据的处理的图像处理装置。

Description

信息处理装置和方法
技术领域
本公开涉及信息处理装置和方法，更具体地，涉及自适应地提供部分图像的数据的信息处理装置和方法。
背景技术
近年来，作为使用超文本传送协议(HTTP)的内容递送技术，移动图片专家组-通过HTTP的动态自适应流式传送(MPEG-DASH)被标准化(例如，参见非专利文献1)。MPEG-DASH采用自适应位率流式传送(ABS)技术，其中以不同位率表示同一内容的多条编码数据被存储在内容服务器上并且客户端根据网络带宽选择多条编码数据中的一条编码数据并且对其进行再现。
顺便提及，考虑了选择作为图像一部分的部分图像而非选择完整图像并且自适应地递送部分图像。例如，考虑了以下：递送部分图像，或者根据终端的性能(例如，CPU等的处理能力或显示器的尺寸)、传送路径或服务器的负荷情况等来控制要递送的部分图像的尺寸，部分图像是在接收图像数据的终端侧在完整图像中选择的部分。
引用文献列表
非专利文献
非专利文献1：MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-da m-1)
发明内容
技术问题
然而，相关技术的MPEG-DASH标准仅涉及切换位率(Bitrates)的概念，并且可以不执行对任何部分图像的选择或者使用上述码片结构执行的数据供给，即部分图像的自适应数据供给。
期望提供一种用于自适应地供给部分图像的数据的技术。
对问题的解决方案
根据本技术的一个方面，提供了一种信息处理装置，包括：文件生成单元，被配置成生成文件，文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使第一轨道与第二轨道相关联的关联信息；以及传送单元，被配置成传送文件生成单元生成的文件。
关联信息可以是包括在第一轨道中并且参考第二轨道中包括的经编码的部分图像的参考信息。
关联信息可以是包括在第一轨道中并且指示与第一轨道相关联的轨道的信息。
关联信息可以是包括在第二轨道中并且指示第二轨道是否与第一轨道关联的信息。
第一轨道的样本跟踪条目可以针对每个样本管理参数集。
第二轨道可以进一步包括定义第二轨道中包括的部分图像的码片区域群组条目(TileRegionGroupEntry)。
参数集可以包括高效视频编码(HEVC)的视频参数集、序列参数集、图片参数集和补充增强信息(SEI)。
部分图像可以是高效视频编码(HEVC)的码片(TILE)。
文件可以是MP4文件。
信息处理装置可以进一步包括：部分图像信息生成单元，被配置成生成指示部分图像在完整图像中的位置的位置信息；以及元数据生成单元，被配置成生成用于提供完整图像的位流以及提供部分图像的位流的元数据。
元数据生成单元可以将位置信息存储在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中，一个表示属于元数据的一个适应集(AdaptationSet)。
根据本技术的另一方面，提供了一种信息处理方法，包括：生成文件，文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使第一轨道与第二轨道相关联的关联信息；以及传送所生成的文件。
根据本技术的另一方面，提供了一种信息处理装置，包括：接收单元，被配置成接收文件，文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使第一轨道与第二轨道相关联的关联信息；以及解码单元，被配置成对接收单元接收到的文件中包括的部分图像的经编码的数据进行解码。
关联信息可以是包括在第一轨道中并且参考第二轨道中包括的经编码的部分图像的参考信息。
关联信息可以是包括在第一轨道中并且指示与第一轨道相关联的轨道的信息。
关联信息可以是包括在第二轨道中并且指示第二轨道是否与第一轨道关联的信息。
第一轨道的样本跟踪条目可以针对每个样本管理参数集。
第二轨道可以进一步包括定义第二轨道中包括的部分图像的码片区域群组条目(TileRegionGroupEntry)。
参数集可以包括高效视频编码(HEVC)的视频参数集、序列参数集、图片参数集和补充增强信息(SEI)。
部分图像可以是高效视频编码(HEVC)的码片(TILE)。
文件可以是MP4文件。
信息处理装置可以进一步包括：画面组合处理单元，被配置成根据对位流解码的解码单元获得的部分图像的图像数据生成完整图像的图像数据。
信息处理装置可以进一步包括：元数据分析单元，被配置成分析用于提供完整图像的位流以及提供部分图像的位流的元数据；以及选择单元，被配置成基于在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中存储并且指示部分图像在完整图像中的位置的位置信息来选择期望的部分图像，一个表示属于元数据的一个适应集(AdaptationSet)。接收单元可以接收包括存储选择单元选择的部分图像的第二轨道的文件。
根据本技术的另一方面，提供了一种信息处理方法，包括：接收文件，文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使第一轨道与第二轨道相关联的关联信息；以及对接收到的文件中包括的部分图像的经编码的数据进行解码。
根据本技术的一个方面，生成文件，文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使第一轨道与第二轨道相关联的关联信息；以及传送所生成的文件。
根据本技术的另一方面，接收文件，文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使第一轨道与第二轨道相关联的关联信息；以及对接收到的文件中包括的部分图像的经编码的数据进行解码。
本发明的有利效果
根据本公开的一个实施例，可以处理信息。特别地，可以自适应地供给部分图像的数据。
附图说明
图1是用于描述MPEG-DASH的概况的示图。
图2是图示MPD(媒体表示描述)的配置的示例的示图。
图3为用于描述内容的时间分离的示图。
图4为示出MPD中在时段(period)以下的分层结构的示例的示图。
图5为用于描述MPD文件在时间轴上的配置的示例的示图。
图6为示出码片图像的位流的示例的示图。
图7为用于描述码片图像的MP4文件的示例的示图。
图8为用于描述码片图像的MP4文件的其他示例的示图。
图9为用于描述划分尺寸的示例的示图。
图10为用于描述扩展数据的示例的示图。
图11为示出递送系统的主要配置的示例的框图。
图12为示出递送数据生成装置的主要配置的示例的框图。
图13为示出终端装置的主要配置的示例的框图。
图14为用于描述递送数据生成处理的流程示例的流程图。
图15为用于描述码片型MPD文件生成处理的流程示例的流程图。图16为用于描述递送数据再现处理的流程示例的流程图。
图17为示出MPD扩展方法的示例的示图。
图18为示出扩展MPD的示例的示图。
图19为示出MPD扩展方法的示例的示图。
图20为示出MPD扩展方法的示例的示图。
图21为示出扩展MPD的示例的示图。
图22为示出MPD扩展方法的示例的示图。
图23为示出MPD扩展方法的示例的示图。
图24为示出扩展MPD的示例的示图。
图25为示出MPD扩展方法的示例的示图。
图26为示出扩展MPD的示例的示图。
图27为示出MPD扩展方法的示例的示图。
图28为示出扩展MPD的示例的示图。
图29为示出MPD扩展方法的示例的示图。
图30为示出扩展MPD的示例的示图。
图31为示出MPD扩展方法的示例的示图。
图32为示出MPD扩展方法的示例的示图。
图33为示出扩展MPD的示例的示图。
图34为示出MPD扩展方法的示例的示图。
图35为示出使用码片图像递送(tile image delivery)的应用的示例的示图。
图36为示出使用码片图像递送的应用的另一示例的示图。
图37为示出使用码片图像递送的应用的另一示例的示图。
图38为示出MPD扩展方法的示例的示图。
图39为用于描述码片图像的MP4文件的配置的示例的示图。
图40为示出MPD的配置的示例的示图。
图41为用于描述码片图像的MP4文件的配置的示例的示图。
图42为示出MPD的配置的示例的示图。
图43为用于描述码片图像的MP4文件的配置的示例的示图。
图44为示出MPD的配置的示例的示图。
图45为用于描述码片图像的MP4文件的配置的示例的示图。
图46为示出MPD的配置的示例的示图。
图47为用于描述码片图像的MP4文件的配置的示例的示图。
图48为示出MPD的配置的示例的示图。
图49为用于描述码片图像的MP4文件的配置的示例的示图。
图50为示出MPD的配置的示例的示图。
图51为用于描述码片图像的MP4文件的配置的示例的示图。
图52为示出MPD的配置的示例的示图。
图53为用于描述码片图像的MP4文件的配置的示例的示图。
图54为示出MPD的配置的示例的示图。
图55为用于描述码片图像的MP4文件的配置的示例的示图。
图56为示出MPD的配置的示例的示图。
图57为示出计算机的主要配置的示例的框图。
图58为示出多视图图像编码方案的示例的示图。
图59为示出多视图图像编码装置的配置的示例的示图。
图60为示出多视图图像解码装置的配置的示例的示图。
图61为示出分层图像编码方案的示例的示图。
图62为用于描述空间可分级编码的示例的示图。
图63为用于描述时间可分级编码的示例的示图。
图64为用于描述信噪比的可分级编码的示例的示图。
图65为示出分层图像编码装置的配置的示例的示图。
图66为示出分层图像解码装置的配置的示例的示图。
图67为示出电视装置的示意性配置的示例的框图。
图68为示出移动电话的示意性配置的示例的框图。
图69为示出视频设备的示意性配置的示例的框图。
图70为示出视频处理器的示意性配置的示例的框图。
图71为示出视频处理器的示意性配置的另一示例的框图。
具体实施方式
在下文中，将描述用于实现本公开内容的模式(在下文中被称为实施方式)。将按照以下顺序进行描述。
1.第一实施方式(MPD扩展)
2.第二实施方式(递送系统)
3.第三实施方式(MPD扩展的特定示例)
4.第四实施方式(MPD扩展的其他示例)
5.第五实施方式(MP4文件和MPD扩展的其他示例)
6.第六实施方式(计算机)
7.第七实施方式(多视图图像编码装置和多视图图像解码装置)
8.第八实施方式(分层图像编码装置和分层图像解码装置)
9.第九实施方式(应用示例)
10.第十实施方式(设备、单元、模块和处理器)
<1.第一实施例>
<DASH>
传统上，作为使用超文本传送协议(HTTP)的内容递送技术，有非专利文献1中描述的移动图像专家组-基于HTTP的动态自适应流(MPEG-DASH)。MPEG-DASH采用自适应位率流式传输(ABS)技术，在该技术中，多条编码数据——在该多条编码数据中以不同位率来表达同一内容——存储于内容服务器中并且客户端根据网络带宽来选择并且再现多条编码数据中的一条编码数据。
将参照图1来描述通过DASH的内容传送过程。首先，在获取内容侧的移动图像再现终端中，用于控制流式传输数据的软件选择所期望内容的媒体表示描述(MPD(mediapresentation description))文件并且从网络服务器获取MPD文件。MPD是用于对要进行递送的内容例如移动图像或音频进行管理的元数据。
在获取MPD时，用于控制移动图像再现终端的流式传输数据的软件对MPD进行分析并且执行控制以使得适合于通信线的质量、移动图像再现终端的性能等的期望内容的数据(DASH片段(segment))从网络服务器被获取。用于HTTP访问的客户端软件在控制之下使用HTTP从网络服务器获取DASH片段。以该方式获取的内容通过移动图像再现软件进行再现。
MPD具有例如图2所示的配置。在对MPD的分析(语法分析)中，客户端根据包括在MPD(图2中的媒体表示(Media Presentation))的时段(Period)中的表示(Representation)的属性来选择最优表示。
客户端读取所选表示(Representation)的开始片段(Segment)以获取并且处理初始化片段(Initialization Segment)。随后，客户端获取并且再现随后的片段(Segment)。
图3示出了MPD中的时段(Period)、表示(Representation)和片段(Segment)之间的关系。即，可以针对每个时段(Period)来管理一条媒体内容以及可以针对每个片段(Segment)来管理每个时段(Period)，其中，时段是沿时间方向的数据单位，片段是沿时间方向的数据单位。对于每个时段(Period)，可以配置具有不同属性例如位率的多个表示(Representation)。
相应地，MPD的文件(又被称为MPD文件)具有在时段(Period)以下的图4所示的分层结构。当在时间轴上布置MPD的结构时，MPD具有图5的示例中所示出的结构。对于同一片段(Segment)，如根据图5的示例是明显的，存在多个表示(Representation)。客户端可以根据通信环境或客户端的解码能力等、通过自适应地选择表示中的任意表示来获取合适的流数据以再现流数据。
<码片结构>
在相关技术的DASH中，自适应地控制完整图像的数据的递送，但是已经考虑了选择部分图像——而不是完整图像——并且自适应地递送该部分图像，部分图像为图像的一部分。例如，已经考虑了以下：递送部分图像，或者根据终端的性能(例如，CPU等的处理能力或显示器的尺寸)、传送路径或服务器的负荷情况等来控制要递送的部分图像的尺寸，部分图像是在接收图像数据的终端侧在完整图像中选择的部分。
为了执行对于部分图像的自适应递送，使用了码片(Tile)的概念。码片(Tile)是通过以预定的布局(尺寸、形状或数目等)对完整图像进行划分而获得的部分区域。在下文中，将一个码片的图像称为码片图像。当以该方式预先使完整图像码片化时，可以仅通过选择要递送的码片图像来促进对于部分图像的自适应递送。在该情况下，通过单个码片图像或多个码片图像来对部分图像进行配置。
当如在DASH中使用HTTP来递送部分图像时，图像数据被编码并且图像数据的位流被文件化以进行递送(作为文件进行发布)。当完整图像具有上述的码片结构时，针对每个码片图像独立地编码图像数据。此时，如在图6A所示的示例中，可以将每个码片的每条编码数据配置在一个位流中。
在图6A的示例中，准备有以下图像以作为用于递送的图像：具有640×480尺寸的完整图像；具有1980×1080尺寸的完整图像；以及通过沿垂直方向和水平方向将完整图像划分为二而获得的具有960×540尺寸的码片图像(四个部分图像)中的每一者。具有640×480尺寸的完整图像的数据被编码并且被视为一个位流(bitstream1)以及具有1980×1080尺寸的完整图像的数据同样被编码并且被视为一个位流(bitstream2)。除了数据以外，具有960×540尺寸的每个码片图像的数据被独立地编码并且被视为一个位流(bitstream3至bitstream6)。
在每个位流中，附加有例如视频参数集(VPS(video parameter set))、序列参数集(SPS(sequence parameter set))、补充增强信息(SEI(supplemental enhancementinformation))和图片参数集(PPS(pic真parameter set))的信息，并且针对每个切片(Slice)对图像数据的位流进行布置。
通过设置这样的结构，可以通过选择从bitstream3至bitstream6中选择的要递送的位流来选择要递送的码片图像。在图6A的示例的情况下，可以将每个码片图像作为完整图像进行递送。
附带地，例如，在例如高效视频编码(HEVC)的编码方案中，支持完整图像被划分成的被称为码片(Tile)的结构，因此可以针对每个码片来独立地执行编码。例如，可以执行解码使得仅获得码片中的一些码片的图像。即，可以执行解码使得仅获得部分图像——部分图像是完整图像的一部分。
如在图6B所示的示例中，还可以使用这样的编码方案的功能将多个码片图像的编码数据配置为一个位流(bitstream7)。即，在该情况下，将上述用于递送的码片(Tile)处理为由编码方案支持以进行编码的码片。在该情况下，在位流中，码片的数据被布置为切片(Slice)。
<MP4文件>
如上所述，根据例如MP4文件格式来使用于递送的位流文件化。在该情况下，如在图7所示的示例中，可以将每个码片的位流设置为单独的文件。每个码片的位流以被称为轨道(Track)的单位进行管理。此外，提供了与每个码片有关的报头(Header)信息以及基本轨道(Base Track)并且使报头信息和基本轨道文件化为与每个码片的位流不同的文件，在基本轨道中，描述了对于每个轨道的参考(reference)。在对所有码片进行解码时，再现基本轨道。在对每个码片进行解码时，在报头信息中参考基本轨道。
如在图8所示的示例中，也可以将码片的位流集中并且配置在一个文件中。此时，也可以将码片的数据集中在如图8A的一个轨道中并且对其进行管理并且还可以按照如图8B中的彼此不同的轨道来对码片进行管理。在该情况下，如在图7的情况下，提供了与每个码片有关的报头(Header)信息和基本轨道(Base Track)，在基本轨道中，描述了对于每个轨道的参考。
<划分方法>
码片(Tile)可以是如在图9A的示例中通过均等地划分完整图像而获得的码片，或者可以是如在图9B的示例中通过非均等地划分完整图像而获得的码片。即，形成完整图像的码片图像的图像尺寸可以彼此相同或彼此不同。
<应用>
作为使用这样的码片(Tile)结构的应用的示例，例如，可以考虑对要显示的部分图像的尺寸进行控制的应用。
假定图9A中示出的完整图像10为经码片化的并且被划分成具有相同尺寸的多个码片图像11。例如，当通过具有小尺寸显示器的能动装置21来显示图像时，应用对部分图像12进行显示，部分图像12为2×2的4个码片图像。例如，当通过具有大尺寸显示器的电视信号接收器(TV)22来显示图像时，应用对部分图像13进行显示，部分图像13为6×5的30个码片图像。以该方式，考虑以下的应用：该应用根据显示图像的终端的性能等来控制所显示的部分图像的图像尺寸。
在图9B的示例的情况下，码片图像的图像尺寸是不相等的。应用可以通过显示码片3(Tile 3)的图像来显示具有高清(HD)分辨率的图像，可以通过显示码片2(Tile 2)至码片(Tile 4)的图像来显示具有电影(cinema)分辨率的图像，并且还可以通过显示码片1(Tile 1)至码片5(Tile 5)的图像来显示具有进一步扩展的尺寸(EXT)的图像。以该方式，考虑以下的应用：该应用通过控制要显示的部分图像的图像尺寸来控制显示图像的分辨率或纵横比。
因为在这样的应用中通过根据要显示的部分图像的图像尺寸来如上所述自适应地控制要递送的部分图像的尺寸(通过控制要递送的码片图像的数目)而不必递送将不会被显示的不必要的部分的图像，所以可以自适应地控制服务器、终端或传送路径等的负荷，并且因而可以抑制不必要的负荷的增加。
<码片图像的自适应供给>
然而，相关技术的MPEG-DASH标准仅涉及切换位率(Bitrate)的概念，而不会执行：使用上述码片结构执行的选择任意的部分图像或者对于数据的供给——即部分图像的数据的自适应供给。
相应地，生成部分图像信息作为MPD的扩展数据并且使用所生成的部分图像信息来生成扩展MPD，其中，部分图像信息是与部分图像有关的信息，部分图像是完整图像的一部分，扩展MPD被扩展以包括元数据，元数据用于提供完整图像的位流并且提供部分图像的位流即部分图像信息。
要提供的部分图像可以是任意的部分图像——只要部分图像是完整图像的一部分即可，并且形状和尺寸等是任意的。例如，部分图像可以是可以根据其他部分而被独立编码的部分。然而，在下文中，为了便于描述，假定部分图像为以上述的码片为单位的图像。即，假定部分图像由单个码片图像或多个码片图像形成。
MPD具有分层结构，例如自适应集(AdaptationSet)层、表示(Representation)层、子表示(Sub-Representation)层和子片段(Sub-Segment)层。可以对这些层中的任意的层进行扩展。
例如，使用MPD的描述符型元素(DescriptorType element)来定义码片(Tile)的描述。例如，图10A中定义了码片的被称为视点(Viewpoint)的描述。
视点为存在于自适应集(AdaptationSet)中的元素。视点是定义视图是什么的描述。例如，视点定义视图为立体图像的右(R)图像还是左(L)图像。
即，在对自适应集进行扩展时，使用(扩展)相关技术的元素。通过使用相关技术的元素，可以抑制与相关技术的MPD的密切关系的减小(可以抑制不会被相关技术的解码器进行分析的描述的增加)。另一方面，在对表示(Representation)或子表示(Sub-Representation)进行扩展时，定义新的元素。
在上述视点的元素中，定义了用于存储部分图像信息的模式(schemeIdUri)。在图10A的示例的情况下，将(urn:mpeg:DASH:tile:2013)定义为用于码片的模式。当对自适应集、表示和子表示中的任意者进行扩展时执行对于模式的扩展。
此外，定义了用于新的码片的模式(urn:mpeg:DASH:tile:2013)的值。在这些值中，定义了上述部分图像信息。例如，将以下定义为值：指示由元素所指示的图像是什么的视图类型((1)viewtype)；与完整图像的尺寸有关的信息((2)完整图像的宽度和高度)；指示部分图像在完整图像中的位置的信息((3)由元素所指示的图像的x坐标和y坐标)；对群组进行识别的群组识别信息((4)TilegroupID)，群组是部分图像所属于的群组并且是可显示为一幅图像的部分图像的群组。
视图类型(viewtype)是指示例如图像是否为码片图像的信息，如图10B所示。例如，在图像为完整图像时假定值为“0”，在图像为码片图像并且位流如在图6A的示例中被针对每个码片进行划分时假定值为“1”，以及在图像为码片图像并且所有码片的数据如在图6B的示例中被集中在一个位流中时假定值为“2”。提前决定这些值以及由这些值所指示的状态(值的定义)。当然，定义这些值的方法是任意的并且可以使用除了该示例以外的示例。通过参考这些值，可以容易地理解是否有必要参考另一元素(即，另一码片是否存在)。特别地，当图像为完整图像时，可以仅通过参考该值来容易地理解是否有必要参考另一元素。
如图10B所示，与完整图像的尺寸有关的信息(完整图像的宽度和高度)为指示图像——在该图像中与图像(码片图像)属于同一群组的所有码片图像被合为一体——的尺寸(水平宽度和高度)的信息。在相关技术的MPD的情况下，假定位流的图像的尺寸与显示图像的尺寸相同。在提供部分图像时，如上所述，位流的图像的尺寸在一些情况下与显示图像的尺寸不同。例如，在使多个彼此不同的位流的码片图像一体化以进行显示时，显示图像的尺寸在一些情况下可以大于位流的图像的尺寸。为了处理这样的情况，对图像的尺寸进行指示，在该图像中与图像(码片图像)属于同一群组的所有码片图像被合为一体。即，通过参考该值，在属于图像(码片图像)的同一群组的所有码片图像被解码时，可以容易地理解最大处理负荷。在图10B的示例的情况下，将图像的尺寸(1920×1080)指示为与完整图像的尺寸有关的信息，在图像中具有960×540尺寸的4(2×2)个码片图像被合为一体。
如图10B所示，指示部分图像在完整图像中的位置的信息(由元素指示的图像的x坐标和y坐标)是指示图像——在该图像中与图像(码片图像)属于同一群组的所有码片图像被合为一体——被定位在何处的信息。对于位置的表达(用何值进行指示)是任意的。例如，位置可以用图像的左上方的坐标进行表达。例如，位置可以用另一条信息进行表达，例如与码片有关的识别信息或者除了左上方以外的另一定位的坐标。通过参考该值，在图像(码片图像)被合为一体(组合)时，可以容易地理解图像的位置。即，通过参考要合为一体(进行组合)的每个码片图像的该值，可以容易地理解每个码片图像被如何布置并合为一体(组合)。
如图10B所示，群组识别信息(TilegroupID)是指示图像所属的码片图像群组的识别信息。可以将相同的值分配至同一群组的码片图像。与此相反，可以将不同的值分配至各个群组。在图10B的示例的情况下，因为可以使码片1(Tile 1)至码片4(Tile 4)的码片图像合为一体，所以可以将相同的值作为群组识别信息来分配至码片图像。通过参考该值，可以容易地理解哪些码片图像可以被合为一体(组合)。换言之，可以在显示时容易地识别要与图像合为一体(组合)的其他码片图像。
可以不将群组识别信息(TilegroupID)定义为视点的值，而是定义为例如如下的另一元素的属性。
<AdaptationSet mimeType＝“video/mp4”group＝“1”>
在自适应集中，已经存在被称为群组的属性。在前述示例中，意义可以作为码片(Tile)的集(Tilegroup)被分配至群组。
<Representation mimeType＝“video/mp4”group＝“1”>
另一方面，被称为群组的属性并不存在于表示或子表示中。即，当对表示或子表示进行扩展时，设置被称为群组(group)的新的属性。
也可以在如图7或图8的示例中位流被文件化(特别是以MP4形式文件化)时应用上述扩展方法。在该情况下，因为分配至其他轨道的位流的报头信息等被分配至基本轨道(Base Track)，所以与片段有关的位置信息是不必要的。由于该原因，在与基本轨道相对应的描述(视点)中，可以将并非实际坐标的值定义为与图像的位置有关的信息。例如，可以设置NULL(空)、空或空白(space)等。例如，可以将相当大的值或负值设置为坐标。当然，可以单独提供对基本轨道进行指示的识别(标记等)。
在相关技术的MPD的情况下，片段(Segment)不必存在于表示(Representation)之下。即，在紧在表示之下的片段中描述MP4文件的URL。子表示(Sub-Representation)为例如以下信息：该信息用于仅再现特技播放(trickplay)或音乐并且指定紧在表示之下的片段的MP4文件中的一部分的数据。
在对MPD进行扩展使得可以包括部分图像信息时，可以对MPD进行扩展使得片段存在于子表示(Sub-Representation)之下。即，可以将码片图像分配至子表示使得可以参考MP4文件的URL。
更具体地，在子表示中另外定义了基本URL(<BaseURL>)的标签、片段基本(<SegmentBase>)的标签、片段列表(<SegmentList>)的标签和片段模板(<SegmentTemplate>)的标签。
然而，在该情况下，有必要生成以下片段信息作为部分图像信息并且将该片段信息存储于MPD中：片段信息指示与位流有关的信息存在于子表示(Sub-Representation)之下。例如，将指示与位流有关的信息是否存在于子表示之下的标记(@SegmentInSubRepresentation:真或假)定义为片段信息。
以该方式，可以通过多个码片图像的子表示来对表示进行配置。通过实现这样的结构，与相关技术的表示的分离是可能的。
在相关技术的MPD的情况下，片段(Segment)表达时间概念，因而不允许相同时间的片段存在于一个表示(Representation)中。
在对MPD进行扩展使得包括部分图像信息时，可以通过将码片图像分配至片段来对MPD进行扩展使得相同时间的多个片段可以存在于一个表示中。
然而，在该情况下，有必要生成以下多片段信息作为部分图像信息并且将该多片段信息存储于MPD中：多片段信息指示多个片段——相同时间的码片图像被分配至该多个片段——存在于表示之下。例如，将指示与相同时间的位流有关的多条信息是否存在于表示之下的标记(@multiSegmentInRepresentation:真或假)定义为多片段信息。
以该方式，与相关技术的片段的分离是可能的。
可以仅在相关技术的访问单元(AU)中指定片段，但是可以将子片段(Sub-Segment)定义在片段——存储有单个码片图像或多个码片图像的位流的MP4文件被分配至该片段——之下，其中，子片段(Sub-Segment)分配被扩展使得可以指定以码片为单位的数据的ssix箱(ssix box)。即，在MP4文件被分配至的片段之下，包括ssix——ssix指定与来自MP4文件的片段相对应的码片——的一个子片段或多个子片段可能存在。
以该方式，可以表达比子片段中的样本(sample)小的单位。
为此，有必要允许片段信息是假的(@SegmentInSubRepresentation＝假)并且在片段中定义视点(Viewpoint)以用于暗示。即，根据两条信息，可以理解到码片图像根据子片段被表达(MP4文件被扩展)。
可以单独定义专用的标记信息以阐明码片图像根据子片段被表达(MP4文件被扩展)。
部分图像信息并不限于上述示例，而是可以使用任意的部分图像信息。例如，在值中，可以定义除了在上述示例中指示的信息(视图类型((1)viewtype)、与完整图像的尺寸有关的信息((2)完整图像的宽度和高度)、指示部分图像在完整图像中的位置的信息((3)由要素指示的图像的x坐标和y坐标)以及对群组——部分图像属于该群组并且该群组是可显示为一幅图像的部分图像的群组——进行识别的群组识别信息((4)TilegroupID))以外的信息。此外，可以将除了上述标记信息以外的标记信息定义为部分信息。
通过如上所述生成部分图像信息并且使用部分图像信息对MPD(元数据)进行扩展，可以使用元数据来实现对于部分图像的数据的自适应供给。
<2.第二实施方式>
<递送系统>
接着，将描述实现了上面所述的本技术的装置及其方法。图11为示出递送系统的图，递送系统为本技术所应用于的一种系统。图11中示出的递送系统100为可以自适应地递送作为完整图像的一部分的部分图像的数据的系统。
如图11所示，递送系统100包括递送数据生成装置101、递送服务器102和终端装置103。
递送数据生成装置101生成例如由递送服务器102递送的例如图像和音频的内容的文件以及文件的MPD文件并且将内容文件和MPD文件提供至递送服务器102。递送服务器102通过网络104来发布从递送数据生成装置101提供的内容文件和MPD文件并且执行对于部分图像的自适应递送。
终端装置103经由网络104来访问递送服务器102并且获取由递送服务器102发布的期望内容的MPD。
终端装置103根据MPD文件、经由网络104来访问递送服务器102，自适应地选择与MPD文件相对应的合适的文件，并且通过HTTP协议来获取内容文件。终端装置103再现所获取的内容文件。
<递送数据生成装置>
图12为示出递送数据生成装置101的主要配置的示例的框图。如图12所示，递送数据生成装置101包括画面划分处理单元121、图像编码单元122、文件生成单元123、码片型图像信息生成单元124、MPD生成单元125和服务器上载处理单元126。
画面划分处理单元121对从外部提供的图像数据进行编辑(处理)以针对每个码片对图像数据的完整图像进行划分并且生成码片图像的图像数据。画面划分处理单元121将以该方式生成的每个码片的图像数据提供至图像编码单元122。画面划分处理单元121将例如与码片结构有关的信息例如每个码片的尺寸或位置等提供至码片型图像信息生成单元124。
图像编码单元122对从画面划分处理单元121提供的每个码片的图像数据进行编码以生成位流。如图12所示，图像编码单元122包括多个编码处理单元例如编码处理单元131、编码处理单元132和编码处理单元133等，并且可以并行地对所提供的码片中的每个码片的图像数据进行编码。如参照图6等所描述的，图像编码单元122可以根据一条图像数据来生成任意数目的位流。图像编码单元122还可以将多条图像数据集中于一个位流中。例如，图像编码单元122还可以针对每个码片图像生成位流并且还可以将多个码片图像集中于一个位流中。图像编码单元122将所生成的位流提供至文件生成单元123。
图像编码单元122的编码方法是任意的。编码处理单元执行相同的编码方法或者可以执行彼此不同的编码方法。
文件生成单元123根据预定的格式例如MP4文件格式来使所提供的位流文件化以生成内容文件。如参照图7和图8等所描述的，文件生成单元123还可以使一个位流文件化为任意数目个文件。文件生成单元123还可以将多个位流集中于一个文件中。文件生成单元123将所生成的内容文件提供至MPD生成单元125。文件生成单元123将与文件化有关的信息——例如如何使每个位流文件化——提供至码片型图像信息生成单元124。
文件生成单元123可以根据任意格式来执行文件化。
码片型图像信息生成单元124基于从画面划分处理单元121提供的与码片结构有关的信息、从文件生成单元123提供的与文件化有关的信息等来生成码片型图像信息(即部分图像信息)以使MPD与码片结构匹配。码片型图像信息(部分图像信息)是包括在第一实施方式中所描述的内容的信息并且被生成作为例如视点或标记信息的值。码片型图像信息生成单元124将所生成的码片型图像信息提供至MPD生成单元125。
MPD生成单元125生成与从文件生成单元123提供的内容文件有关的MPD，使用从码片型图像信息生成单元124提供的码片型图像信息(部分图像信息)来扩展MPD，并且生成与码片结构相对应的码片型MPD。MPD生成单元125将所生成的码片型MPD的文件(MPD文件)和内容文件提供至服务器上载处理单元126。
服务器上载处理单元126将所提供的MPD文件或内容文件上载至递送服务器102(图11)以发布MPD文件或内容文件。
递送数据生成装置101以该方式生成与码片结构相对应的码片型MPD，并且因此递送服务器102可以基于DASH标准自适应地递送(提供)部分图像的数据。即，递送系统100可以实现对于部分图像的数据的自适应供给。
可以将上述处理单元配置为独立装置。特别地，可以将码片型图像信息生成单元124或MPD生成单元125配置为独立装置。即，与内容文件的生成有关的配置不是必需的而且可以仅执行码片型图像信息(部分图像信息)的生成。例如，还可以基于从另一装置提供的信息来生成码片型图像信息(部分图像信息)。例如，可以将所生成的码片型图像信息(部分图像信息)提供至另一装置。
可以仅执行码片型MPD的生成。例如，可以使用从其他装置提供的码片型图像信息(部分图像信息)来生成与在另一装置中生成的内容文件相对应的码片型MPD。还可以将所生成的MPD文件提供至另一装置。
如在码片型MPD生成单元141中，可以将码片型图像信息生成单元124和MPD生成单元125进行集成。例如，可以将码片型MPD生成单元141配置为一个独立装置。
<终端装置>
图13为示出终端装置103的主要配置的示例的框图。如图13所示，终端装置103包括MPD获取单元151、语法分析处理单元152、码片图像选择单元153、文件获取单元154、图像解码单元155、码片图像组合单元156和显示单元157。
MPD获取单元151基于例如终端装置103的用户或控制程序的指令、经由网络104从递送服务器102获取所期望的内容的MPD文件。MPD获取单元151将所获取的MPD文件提供至语法分析处理单元152。
语法分析处理单元152对所提供的MPD文件进行分析(语法分析)。语法分析处理单元152还对包括在MPD文件中的码片型图像信息(部分图像信息)进行分析(语法分析)。语法分析处理单元152将分析结果提供至码片图像选择单元153。
在码片图像选择单元153获取从外部提供并且用于指定要进行再现的部分图像(根据单个码片图像或多个码片图像形成的图像)的码片图像指定信息时，码片图像选择单元153基于语法分析处理单元152中对MPD文件(码片型图像信息)的分析结果，在包括在码片型图像信息中的码片图像中间选择由码片图像指定信息所指定的码片图像。码片图像选择单元153将所选择的码片图像的文件的URL(递送地址)提供至文件获取单元154。
文件获取单元154经由网络104来访问从码片图像选择单元153提供的递送服务器102的递送地址以获取所期望的内容文件。文件获取单元154从所获取的内容文件来获取位流并且将位流提供至图像解码单元155。
图像解码单元155对从文件获取单元154提供的位流进行解码以获得码片图像的图像数据。如图13所示，图像解码单元155包括多个解码处理单元例如解码处理单元161、解码处理单元162和解码处理单元163等，并且可以并行地对多个所提供的位流进行解码。图像解码单元155将通过对位流进行解码而获得的码片图像的图像数据提供至码片图像组合单元156。
图像解码单元155可以根据与图像编码单元122的编码方法相对应的任意的解码方法来执行解码。相应地，每个解码处理单元还可以根据相同的方法来执行解码或者还可以根据彼此不同的方法来执行解码。
当从图像解码单元155提供属于同一群组的多个码片图像的图像数据时，码片图像组合单元156将码片图像组合(合为一体)并且将图像数据组合，使得形成一幅图像。即，码片图像组合单元156生成用于显示的图像的图像数据。当图像未被组合时(例如，当单个码片图像被显示时或者当多个码片图像在递送时已经被形成为一个位流时)，则所提供的图像被视为用于显示的图像。码片图像组合单元156将用于显示的图像数据提供至显示单元157。
显示单元157再现所提供的用于显示的图像数据并且将用于显示的图像显示在显示器上。
如上所述，终端装置103可以正确地分析与码片结构相对应的码片型MPD并且获得通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，部分图像的数据可以从递送服务器102被正确地获取并且可以被再现。即，递送系统100可以实现对于部分图像的数据的自适应供给。
如上所述，终端装置103可以显示具有与在递送时的图像尺寸不同的图像尺寸的图像。即，终端装置103可以根据递送服务器102或网络104的负荷情况等来更加自适应地控制数据递送。例如，因为可以对是获取完整图像还是获取码片图像进行控制，所以可以在不改变显示图像的尺寸的情况下适当地增加或减小所获取的内容文件的数目。因此，可以适当地执行控制例如递送源或路径的分送或集中。
可以将上述处理单元配置为独立装置。特别地，可以将语法分析处理单元152或码片图像选择单元153配置为独立装置。即，与内容文件的获取或再现(解码)有关的配置不是必需的并且可以仅执行对于码片型MPD或码片型图像信息(部分图像信息)的分析。例如，可以对由另一装置从递送服务器102获取的MPD文件进行分析。例如，可以将分析结果提供至另一装置。
如在码片型图像信息处理单元171中，可以将语法分析处理单元152和码片图像选择单元153进行集成。例如，可以将码片型图像信息处理单元171配置为一个独立装置。
可以将从码片图像组合单元156输出的用于显示的图像数据提供至另一装置或者将其记录在记录介质上。此时，可以对图像数据进行编码。
<递送数据生成处理的流程>
接着，将对由上述递送系统100的每个装置执行的每个处理的流程进行描述。首先，将参照图14的流程图来描述通过递送数据生成装置101的递送数据生成处理的流程的示例。
在递送数据生成处理开始时，在步骤S101中，递送数据生成装置101的画面划分处理单元121对图像数据进行编辑(处理)使得画面(即完整图像)被划分为码片。
在步骤S102中，图像编码单元122对在步骤S101中生成的每个码片图像的图像数据进行编码。
在步骤S103中，文件生成单元123使在步骤S102中生成的编码数据(位流)文件化(即生成内容文件)。
在步骤S104中，码片型MPD生成单元141根据处理结果(处理结果例如步骤S101的划分或步骤S103的文件化)来生成码片型MPD的文件。
在步骤S105中，服务器上载处理单元126将以该方式生成的MPD文件和内容文件上载至递送服务器102。
当步骤S105的处理结束时，递送数据生成处理结束。
<码片型MPD文件生成处理的流程>
接着，将参照图15的流程图来对图14的步骤S104中执行的码片型MPD文件生成处理的流程的示例进行描述。
当码片型MPD文件生成处理开始时，在步骤S121中，码片型图像信息生成单元124例如在视点的元素中设置码片型图像信息的模式(例如，urn:mpeg:DASH:tile:2013)。
在步骤S122中，码片型图像信息生成单元124将模式的值中的视图类型(viewtype)设置为码片型图像信息。
在步骤S123中，码片型图像信息生成单元124将模式的值中的完整图像的尺寸(宽度和高度)设置为码片型图像信息。
在步骤S124中，码片型图像信息生成单元124将模式的值中的码片图像的位置(x和y)设置为码片型图像信息。
在步骤S125中，码片型图像信息生成单元124将模式的值中的群组识别信息(TilegroupID)设置为码片型图像信息。
在步骤S126中，码片型图像信息生成单元124在必要时将片段信息(@SegmentInSubRepresentation)设置为码片型图像信息。例如，在MPD被扩展使得片段存在于子表示(Sub-Representation)之下时，码片型图像信息生成单元124生成片段信息，该片段信息指示与位流有关的信息存在于子表示(Sub-Representation)之下。
在步骤S127中，码片型图像信息生成单元124在必要时将多片段信息(@multiSegmentInRepresentation)设置为码片型图像信息。例如，在码片图像被分配至片段并且MPD被扩展使得相同时间的多个片段存在于一个表示中时，码片型图像信息生成单元124生成多片段信息，该多片段信息指示多个片段——相同时间的码片图像被分配至该多个片段——存在于表示之下。
当步骤S127的处理结束时，码片型MPD文件生成处理结束并且处理返回至图14。
通过执行上述处理，递送数据生成装置101可以使得递送服务器102能够基于DASH标准自适应地递送(提供)部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<递送数据再现处理的流程>
接着，将参照图16的流程图对由终端装置103执行的递送数据再现处理的流程的示例进行描述。
当递送数据再现处理开始时，在步骤S141中，MPD获取单元151从递送服务器102获取与所期望的内容相对应的MPD文件。
在步骤S142中，语法分析处理单元152对在步骤S141中获取的MPD文件进行分析(语法分析)。
在步骤S143中，语法分析处理单元152对包括在MPD文件中的码片型图像信息(部分图像信息)进行分析(语法分析)。
在步骤S144中，码片图像选择单元153在码片型图像信息中所指示的码片图像中选择由从外部提供的码片图像指定信息所指定的码片图像。
在步骤S145中，文件获取单元154获取在步骤S144中所选择的码片图像的文件。
在步骤S146中，图像解码单元155对包括在步骤S145中所获取的文件中的码片图像的位流进行解码。
在步骤S147中，在必要时，码片图像组合单元156对通过在步骤S146中对位流进行解码而获得的码片图像的图像数据进行编辑(处理)使得将码片图像组合。
在步骤S148中，显示单元157将用于显示的图像例如在步骤S147中获得的码片图像的组合图像显示在显示器上。
当步骤S148的处理结束时，递送数据再现处理结束。
如上所述，通过执行递送数据再现处理，终端装置103可以正确地分析与码片结构相对应的码片型MPD并且获得通过递送服务器102的部分图像的数据的基于DASH标准的自适应递送(供给)。即，部分图像的数据可以从递送服务器102被正确地获取并且可以被再现。即，可以实现对于部分图像的数据的自适应供给。
可以连同对于完整图像的递送(供给)一起使用对于部分图像的上述自适应递送(供给)。即，例如，服务器可以根据来自终端的请求等来自适应地递送完整图像或任意部分图像。
<3.第三实施方式>
<MPD扩展的特定示例>
接着，将描述MPD扩展方法的特定示例。
<示例1>
图17示出扩展MPD的主要配置示例。在图17的示例的情况下，将要递送的图像数据的每个码片的编码数据配置在一个位流(MP4文件)中(bitstream3.mp4至bitstream6.mp4)。在MPD中，对自适应集(AdaptationSet)进行扩展并且将每个码片图像的位流(MP4文件)定义在彼此不同的自适应集中。将作为对于码片的描述的视点(Viewpoint)定义在自适应集中并且将与视点相对应的码片的位流(MP4文件)的URL设置于表示(Representation)之下的片段(Segment)中，其中，表示(Representation)在自适应集之下。
即，将与属于同一群组的多个部分图像有关的部分图像信息存储于彼此不同的自适应集中，并且将多个部分图像的位流分配至彼此不同的自适应集。
在该示例的情况下，如图17所示，可以提供与完整图像的自适应集(bitstream1.mp4和bitstream2.mp4)一起布置的码片图像的自适应集，因此可以以统一的方式来管理对于完整图像的递送以及对于部分图像的自适应递送。
在相关技术的DASH中，例如，在许多情况下将具有不同的显示内容的图像例如立体图像的R图像和L图像定义在彼此不同的自适应集中。在该示例中，模仿这样的方式将码片图像定义在彼此不同的自适应集中。因此，即使在对于部分图像的递送控制中，也可以实现接近于相关技术的自然的方式。因此，可以促进发展。
在图17的示例中，将具有不同分辨率的完整图像定义在同一自适应集中，但是可以将这些完整图像定义在彼此不同的自适应集中。
图18示出了该示例的MPD的具体描述示例。
<示例2>
图19示出扩展MPD的另一配置示例。在图19的示例的情况下，将要递送的图像数据的码片的所有编码数据配置在一个位流(MP4)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，对自适应集(AdaptationSet)进行扩展并且将每个码片图像的位流(MP4文件)定义在与定义有完整图像的自适应集不同的自适应集中。然而，与<示例1>的情况不同，将码片图像的位流(MP4文件)定义在同一自适应集中。
将作为对码片的描述的视点(Viewpoint)定义于自适应集之下的表示(Representation)中并且将与视点相对应的码片的位流(MP4文件)的URL设置于在表示之下的片段(Segment)中。
即，与属于同一群组的多个部分图像有关的部分图像信息被存储于属于元数据的一个自适应集的彼此不同的表示中，而多个部分图像的位流被分配至彼此不同的表示。
在该示例的情况下，如图19所示，提供了与完整图像的自适应集一起布置的码片图像的自适应集，因此可以以统一的方式来管理对于完整图像的递送以及对于部分图像的自适应递送。
在图19的示例中，将具有不同分辨率的完整图像(bitstream1.mp4和bitstream2.mp4)定义在同一自适应集中，但是可以将这些完整图像定义在彼此不同的自适应集中。
<示例3>
图20示出扩展MPD的另一配置示例。在图20的示例的情况下，将要递送的图像数据的码片的编码数据集中在一个位流中。位流被文件化为针对每个码片的MP4文件(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)。如参照图7所描述的，其中集中有码片的报头信息等的基本轨道独立于码片的位流被文件化(bitstream7_base.mp4)。
在MPD中，对自适应集(AdaptationSet)进行扩展并且将码片图像的位流(MP4文件)(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)定义在彼此不同的自适应集中。
将作为对于码片的描述的视点(Viewpoint)定义在自适应集中并且将与视点相对应的码片的位流(MP4文件)的URL设置于在表示(Representation)之下的片段(Segment)中，其中，表示(Representation)在自适应集之下。
在定义于基本轨道的位流(MP4文件)(bitstream7_base.mp4)的视点的值中的x坐标和y坐标中，如在第一实施方式中所述，设置了与正常坐标明显不同的值例如NULL等。在定义于每个视点的值中的视图类型的值中，设置了指示以下码片(Tile)的值(图20的示例的情况下的“2”)：在该码片中，支持例如HEVC等的编码方案。
即，与属于同一群组的多个部分图像有关的部分图像信息被存储于元数据的彼此不同的自适应集中，包括多个部分图像的一个位流被针对每个部分图像所划分为的多个文件被分配至彼此不同的自适应集。
图21示出了该示例的MPD的具体描述示例。
<示例4>
图22示出扩展MPD的另一配置示例。在图22的示例的情况下，扩展方法与<示例3>的扩展方法相同。如图22所示(与图9B相对应)，对码片进行设置使得尺寸不相等。在该情况下，可以通过将如以四边形所示的码片相加来获得具有期望的尺寸的图像。
在该示例的情况下，要递送的图像数据的每个码片的每条编码数据被配置在一个位流(MP4文件)(tile1.mp4至tile5.mp4)中。因此，不像在<示例3>中存在基本轨道。
即，与包括在位流中的控制信息有关的部分图像信息被另外生成，关于控制信息的部分图像信息被存储于与关于每个部分图像的部分图像信息不同的自适应集中，并且控制信息的文件被分配至自适应集。
<示例5>
图23示出扩展MPD的另一配置示例。在图23的示例的情况下，要递送的图像数据的每个码片的每条编码数据被配置在一个位流(MP4文件)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，将表示(Representation)进行扩展并且将码片图像的位流(MP4文件)定义在与完整图像的位流(MP4文件)(bitstream1.mp4和bitstream2.mp4)相同的自适应集之下的彼此不同的表示中。
将作为对于码片的描述的视点(Viewpoint)定义在表示中并且将与视点相对应的码片的位流(MP4文件)的URL设置在表示之下的片段(Segment)中。
即，与属于同一群组的多个部分图像有关的部分图像信息被存储于属于元数据的完整图像的同一自适应集的彼此不同的表示中，并且多个部分图像的位流被分配至彼此不同的表示。
即，在该示例的情况下，如图23所示，可以提供与完整图像(bitstream1.mp4和bitstream2.mp4)的表示一起布置的码片图像的表示，因此可以以统一的方式来管理对于完整图像的递送和对于部分图像的自适应递送。
图24示出了该示例的MPD的具体描述示例。
<示例6>
图25示出扩展MPD的另一配置示例。在图25的示例的情况下，要递送的图像数据的码片的编码数据被集中在一个位流中。位流被文件化为针对每个码片的MP4文件(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)。如参照图7所描述的，其中集中有码片的报头信息等的基本轨道独立于码片的位流被文件化(bitstream7_base.mp4)。
在MPD中，将表示(Representation)进行扩展，并且将码片图像的位流(MP4文件)(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)定义在同一自适应集之下的彼此不同的表示中。
将作为对于码片的描述的视点(Viewpoint)定义在表示中并且将与视点相对应的码片的位流(MP4文件)的URL设置在表示之下的片段(Segment)中。
在定义于基本轨道的位流(MP4文件)(bitstream7_base.mp4)的视点的值中的x坐标和y坐标中，如第一实施方式所述，设置了与正常坐标明显不同的值例如NULL等。在定义于每个视点的值中视图类型的值中，设置了指示以下码片(Tile)的值(图25的示例的情况下的“2”)：在该码片中，支持例如HEVC等的编码方案。
即，与包括在一个位流——该位流包括属于同一群组的多个部分图像——中的控制信息有关的部分图像信息被另外生成，与多个部分图像有关的部分图像信息被存储于属于元数据的一个自适应集的彼此不同的表示中，位流被针对每个部分图像所划分为的多个文件被分配至彼此不同的表示，关于控制信息的部分图像信息被存储于与关于每个部分图像的部分图像信息不同的表示中，并且控制信息的文件被分配至表示。
图26示出了该示例的MPD的具体描述示例。
<示例7>
图27示出扩展MPD的另一配置示例。在图27的示例的情况下，要递送的图像数据的每个码片的每条编码数据被配置在一个位流(MP4文件)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，对子表示(Sub-Representation)进行扩展并且将码片图像的位流(MP4文件)定义在与完整图像的位流(MP4文件)(bitstream1.mp4和bitstream2.mp4)相同的自适应集之下并且在与完整图像的位流(MP4文件)不同的表示之下的彼此不同的子表示中。
将作为对于码片的描述的视点(Viewpoint)定义在子表示中并且将与视点相对应的码片的位流(MP4文件)的URL设置在子表示之下的片段(Segment)中。
在其中定义了每个码片图像的位流(MP4文件)的表示中，定义了以下的片段信息(@SegmentInSubRepresentation＝真)：该片段信息指示与位流有关的信息存在于子表示之下。
即，与属于同一群组的多个部分图像有关的部分图像信息被存储于属于一个表示——该表示属于元数据的一个自适应集——的彼此不同的子表示中，并且多个部分图像的位流被分配至彼此不同的子表示。
即，在该示例的情况下，如图27所示，可以提供与完整图像的表示(bitstream1.mp4和bitstream2.mp4)一起布置的码片图像的表示，因此可以以统一的方式来管理对于完整图像的递送和对于部分图像的自适应递送。
图28示出了该示例的MPD的具体描述示例。
<示例8>
图29示出扩展MPD的另一配置示例。在图29的示例的情况下，要递送的图像数据的码片的编码数据被集中在一个位流中。位流被文件化为针对每个码片的MP4文件(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)。如参照图7所描述的，其中集中有码片的报头信息等的基本轨道独立于码片的位流被文件化(bitstream7_base.mp4)。
在MPD中，对子表示(Sub-Representation)进行扩展，并且将码片图像的位流(MP4文件)(bitstream7_Tile1.mp4至bitstream7.Tile4.mp4)定义在同一表示(Representation)之下的彼此不同的子表示中，其中，所述同一表示(Representation)在同一自适应集(AdaptationSet)之下。
将作为对于码片的描述的视点(Viewpoint)定义在子表示中并且将与视点相对应的码片的位流(MP4文件)的URL设置在子表示之下的片段(Segment)中。
将基本轨道的视点定义在子表示之上的表示中并且将基本轨道的位流(MP4文件)(bitstream7_base.mp4)的URL设置在表示之下的片段中。在其中定义有每个码片图像的位流(MP4文件)的表示中，定义了以下的片段信息(@SegmentInSubRepresentation＝真)：该片段信息指示与位流有关的信息存在于子表示之下。此外，可以用图4所示的MPD的另一构成元素(例如AdaptationSet)来定义以下片段信息(@SegmentInSubRepresentation＝真)：该片段信息指示与位流有关的信息存在于子表示之下。
在定义于基本轨道的位流(MP4文件)(bitstream7_base.mp4)的视点的值中的x坐标和y坐标中，如第一实施方式所述，设置与正常坐标明显不同的值例如NULL等。在定义于每个视点的值中视图类型的值中，设置指示以下码片(Tile)的值(图29的示例的情况下的“2”)：在该码片中，支持例如HEVC等的编码方案。
即，与包括在一个位流——该位流包括属于同一群组的多个部分图像——中的控制信息有关的部分图像信息以及指示与位流有关的信息存在于子表示(Sub-Representation)之下的片段信息被另外生成，片段信息和控制信息的部分图像信息被存储于属于元数据的一个自适应集的一个表示中，控制信息的文件被分配至表示，与多个部分图像有关的部分图像信息被存储于属于表示的彼此不同的子表示中，并且位流被针对每个部分图像所划分为的多个文件被分配至彼此不同的子表示。
图30示出了该示例的MPD的具体描述示例。
<示例9>
图31示出扩展MPD的另一配置示例。在图31的示例的情况下，要递送的图像数据的码片的编码数据被集中在一个位流中。如在图8的示例中位流被文件化为一个MP4文件(bitstream7.mp4)。
在MPD中，对子表示(Sub-Representation)进行扩展并且将码片图像的位流(MP4文件)(bitstream7.mp4)定义在表示(Representation)之下，其中，表示(Representation)在自适应集(AdaptationSet)之下。在子表示之上的表示中，定义与码片图像的位流(MP4文件)(bitstream7.mp4)相对应的视点(Viewpoint)并且另外定义片段信息(@SegmentInSubRepresentation＝真)——该片段信息指示与位流有关的信息存在于子表示之下。
在表示之下的子表示中，设置每个码片的视点并且用表示之下的片段中的字节来指定(bitstream7.mp4)中每个码片的数据的位置。
即，指示与位流有关的信息存在于子表示之下的片段信息以及包括在一个位流——该位流包括属于同一群组的多个部分图像——中的控制信息的部分图像信息被另外生成，控制信息的部分图像信息以及片段信息被存储于属于元数据的一个自适应集的一个表示中，位流被分配至表示，与多个部分图像有关的部分图像信息被存储于属于表示的彼此不同的子表示中，并且指示位流中部分图像的数据的位置的信息被分配至彼此不同的子表示。
<示例10>
图32示出扩展MPD的另一配置示例。在图32的示例的情况下，要递送的图像数据的码片的编码数据被配置在一个位流(MP4文件)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，对片段(Segment)进行扩展并且将多个片段(Segment)定义在表示之下，其中，表示在自适应集之下。
在表示中，定义了所有码片图像的组合图像的视点并且将指示多个片段——相同时间的码片图像被分配至该多个片段——存在的多片段信息(@multiSegmentInRepresentation＝真)定义在表示之下。此外，可以用图4所示的MPD的另一构成元素(例如AdaptationSet)来定义对与位流有关的信息存在于子表示之下进行指示的片段信息(@SegmentInSubRepresentation＝真)。
将码片图像的位流(MP4文件)定义在与完整图像的位流(MP4文件)不同的表示之下并且在与完整图像的位流(MP4文件)(bitstream1.mp4和bitstream2.mp4)相同的自适应集之下的彼此不同的片段中。
将作为对于码片的描述的视点(Viewpoint)定义在片段(Segment)中并且将与视点相对应的码片的位流(MP4文件)的URL设置在每个片段(Segment)中。
即，指示与相同时间的位流有关的多条信息存在于表示之下的多片段信息被另外生成，多片段信息被存储于属于元数据的一个自适应集的一个表示中，与属于同一群组的多个部分图像有关的部分图像信息被存储于属于表示的彼此不同的片段中，并且多个部分图像的位流被分配至彼此不同的片段。
即，如图32所示，在该示例的情况下，可以提供与完整图像(bitstream1.mp4和bitstream2.mp4)的表示一起布置的码片图像的表示，因此可以以统一的方式来管理对于完整图像的递送和对于部分图像的自适应递送。
图33示出了该示例的MPD的具体描述示例。
<示例11>
图34示出扩展MPD的另一配置示例。在图34的示例的情况下，要递送的图像数据的码片的编码数据被集中地配置在一个位流(MP4文件)(bitstream7.mp4)中。在MPD中，对子片段(Sub-Segment)进行扩展并且将多个子片段(Sub-Segment)定义在片段之下，其中，片段在表示之下，表示在自适应集之下。
在表示中，定义以下片段信息(@SegmentInSubRepresentation＝假)：该片段信息指示与位流有关的信息不存在于子表示之下。
在片段中，定义所有码片图像的组合图像的视点并且根据在片段之下的子片段中的ssix来示出每个码片图像的数据。
即，指示与位流有关的信息不存在于子表示之下的片段信息以及与一个位流——该一个位流包括属于同一群组的多个部分图像——有关的部分图像信息被另外生成，片段信息被存储于属于元数据的一个自适应集的一个表示中，部分图像信息被存储于属于表示的一个片段中，位流被分配至片段，并且指示位流中的每个部分图像的数据的位置的信息被分配至属于片段的彼此不同的子片段。
当然，MPD扩展方法是任意的并且可以使用除了上述方法以外的方法。
<使用对于码片图像的递送的应用的其他示例>
接着，将对使用上述的对于码片图像的自适应递送(供给)的应用的另一示例进行描述。
例如，在图35的左边所示的系统中，假定移动装置221使用3G线从服务器220获取由完整图像210的四个码片图像211形成的具有1920×1080尺寸的部分图像212并且再现该部分图像212。
为了切换电视信号接收器(TV)222上的显示，从TV 222获取与切换目的地的TV222的再现环境(网络带宽)或再现能力(分辨率和解码器能力)有关的信息。获取信息的方法是任意的。例如，移动装置221可以通过执行与TV 222的直接通信来获取信息。可替代地，移动装置221可以经由服务器220来获取信息。
移动装置221根据与MPD有关的信息来选择最优的码片图像以用于切换目的地的TV 222。在图35的示例的情况下，选择了由5×5个码片图像211形成的部分图像213。
切换目的地的TV 222获取以该方式选择的码片图像的位流并且再现位流。
上述对于最优流的选择和获取可以由移动装置221来执行以推送至切换目的地的TV 222，或者这样的选择或获取可以由TV 222来执行。
<使用对于码片图像的递送的应用的其他示例>
例如，在图36的左边示出的系统中，假定移动装置221再现完整图像的一部分(移动装置的状态221A)。
为了在再现期间通过偏移区域来再现另一区域，移动装置221的用户用他的或她的手指在触控面板上偏移区域以移动图像(如箭头233所述指示)，使得期望要再现的方向被显示在画面上。例如，当用户期望显示当前显示区域(部分图像231)的如箭头234所指示的右上区域(部分图像232)时，用户从画面的右上开始沿左下方向描画他的或她的手指。
在这样的用户输入被执行时，移动装置221基于所输入的手指运动等来计算图像的移动目的地并且根据与MPD有关的信息来选择要显示的码片图像的流。
然后，移动装置221从服务器220获取所选择的位流并且执行再现和显示(移动装置的状态221B)。
对于码片图像的选择可以由在移动装置221中执行的应用来执行，或者可以将根据手指运动所获取的图像的移动目的地的方向发送至服务器220并且可以由服务器220来选择图像。
为了实际地移动图像，可以使显示区域突然切换或者可以使显示区域逐渐偏移和切换以执行平滑切换。
<4.第四实施方式>
<MPD扩展的其他示例>
图37为示出使用码片图像递送的应用的另一示例的图。
为了使用户能够在广播等的多个信道的节目中选择最喜欢的节目，例如，通过将多个信道的图像编码为一幅图像(HD)来生成菜单。将经组合使得布置了这样的不同图像的组合图像定义为马赛克视频。
例如，在具有如在电视信号接收器中的大显示器的装置的情况下，用户可以根据马赛克视频——在马赛克视频中组合了所有信道的节目——容易地理解每个节目的内容，选择期望的节目并且显示节目。
然而，在移动装置的情况下，移动装置的显示器小，因此仅可以显示具有小的图像尺寸(低分辨率)的图像，例如HD(高清)或更低的图像。即，可以仅将具有1920×1080的图像递送至这样的移动装置。
然而，在这样的小的图像尺寸中，显示了马赛克视频的每个信道的节目的区域太小，因此用户难以根据这样的马赛克视频来理解每个节目的内容并选择期望的节目。
相应地，在如上所述应用了用于自适应地提供部分图像的数据的技术并且用户在他或她所感兴趣的节目被展示在马赛克视频中的位置上进行选择和放大时，图像被配置成切换至另一HD图像，在该另一HD图像中显示了较少节目的图像。用户可以通过重复这样的缩放(图像切换)来容易地仅显示期望的节目。
在图37的示例的情况下，假定在由椭圆指示的范围内的码片要由移动装置进行获取和显示。在最左边的马赛克视频中，可以显示整个马赛克视频。此时，显示了与16个信道相对应的节目的图像。在该状态下，节目的显示区域(A至P)太小，因此用户难以选择期望的节目。相应地，在用户例如通过轻击左上部分来执行选择时，如图37的中部所示，所递送的文件(位流)被切换并且马赛克视频中具有1920×1080的图像尺寸的左上码片图像被显示。在码片图像中，显示了4个节目(A、B、E和F)。即，减小了所显示的节目的数目并且展宽了每个节目的显示区域。
此外，在用户例如通过轻击马赛克视频的左上部分来执行选择时，如图37的右边所示，所递送的文件(位流)被切换并且马赛克视频中具有1920×1080的图像尺寸的左上码片图像被显示。在码片图像中，显示了1个节目(A)。即，进一步减小了所显示的节目的数目并且展宽了每个节目的显示区域。
上述对于递送数据的切换如上所述通过对DASH标准进行扩展来实现。即，例如，将形成一个画面的马赛克视频的结构定义在MPD中使得可以将马赛克视频用作用户接口(UI/UX)。
例如，获得画面结构与用户选择的位置信息之间的关系并且选择随后要切换的流。获得用户在画面上所触摸的坐标和马赛克视频上的坐标并且获得包括坐标位置的后继层(扩展)的马赛克视频以进行切换。
使用视点的元素(Viewpoint element)来定义新的schemeIdUri(urn:mpeg:DASH:mosaic:2013)。例如，在新的schemeIdUri的值的内容(部分图像信息)中定义以下信息。
·形成一个画面的马赛克图像的数目
·指示马赛克图像的尺寸相等的标记
·每个马赛克图像的左上方的原点的坐标以及在尺寸不相等时与宽度和高度有关的信息
更特别地，对视点如下进行定义。然后，使用这样的部分图像信息对MPD进行扩展。
<视点schemeIdUri＝“urn:mpeg:DASH:mosaic:2013”值＝“马赛克图像的数目，相等图像标记，与马赛克图像有关的位置信息”>
视点的元素是与马赛克视频相对应的元素(urn:mpeg:DASH:mosaic:2013)。为了如上所述自适应地提供部分图像的数据，有必要对如图10A所示的视点的针对码片的元素进行进一步定义。即，将视点的针对上述马赛克视频的元素定位为视点的针对码片的元素的扩展元素。
例如，如图38的上侧所示，在显示了多个节目的状态的情况下，有必要在自适应集中定义视点的针对码片的元素和视点的针对马赛克视频的元素二者。
另一方面，如图38的下侧所示，在仅显示了一个节目的状态的情况下，作为经由用户的对于节目的缩小结果，未形成马赛克视频，因此不必定义视点的针对马赛克视频的元素。然而，为了指示完整图像(全部视频)，有必要定义视点的针对码片的元素。
当码片图像的尺寸在视点的针对上述马赛克视频的元素的值中相等时，任选地处理与图像有关的位置信息。可以不行执写入(writing)。在写入被执行时，有必要写入所有图像。此外，可以将除了上述信息以外的信息定义为值。
<5.第五实施方式>
<MP4文件的配置的示例以及相对应的MPD的扩展示例>
已经在第一实施方式中参照图7和图8描述了MP4文件的配置的示例。然而，本公开内容的实施方式并不限于MP4文件的配置的示例。在下文中，将描述MP4文件的配置的示例以及相对应的MPD的配置的示例(扩展示例)。
<1个轨道的情况：MP4文件>
图39为示出通过使具有例如图6B所示的码片(tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图39的示例的情况下，如在图8A的示例中，码片的位流被集中并且被视为一个文件，并且码片的数据作为一个轨道被进一步管理。
通过样本条目(Sample Entry)针对样本对参数集(parameter set)例如视频参数集(VPS(video parameter set))、序列参数集(SPS(sequence parameter set))和图片参数集(PPS(picture parameter set))进行管理。每个码片通过样本群组描述(SampleGroup Description)中的码片区域群组条目(TileRegionGroupEntry)进行定义。如图39所示，将以下5个参数的值定义为码片区域群组条目(TileRegionGroupEntry)：GroupID，其为对码片进行识别的识别信息；H_offset，其指示码片沿水平方向的位置(偏移)；V_offset，其指示码片沿垂直方向的位置(偏移)；H_width，其指示码片沿水平方向的尺寸(宽度)；以及V_height，其指示码片沿垂直方向的尺寸(高度)。
例如，在码片1(Tile 1)的码片区域群组条目(TileRegionGroupEntry)中，定义有GroupID＝1、H_offset＝0、V_offset＝0、H_width＝960以及V_height＝540。例如，在码片2(Tile 2)的码片区域群组条目(TileRegionGroupEntry)中，定义有GroupID＝2、H_offset＝960、V_offset＝0、H_width＝960以及V_height＝540。例如，在码片3(Tile 3)的码片区域群组条目(TileRegionGroupEntry)中，定义有GroupID＝3、H_offset＝0、V_offset＝540、H_width＝960以及V_height＝540。例如，在码片4(Tile 4)的码片区域群组条目(TileRegionGroupEntry)中，定义有GroupID＝4、H_offset＝960、V_offset＝540、H_width＝960以及V_height＝540。在该情况下，完整图像(1920×1080)由2个垂直码片×2个水平码片的4个码片(960×540)形成。
假定该MP4文件的文件名为bitstream.mp4。
<1个轨道的情况：MPD>
为了管理具有图39的示例中的码片结构的位流的MP4文件，例如，如图40中对相关技术的MPEG-DASH标准的MPD进行扩展。
在图40的示例的情况下，将完整图像和每个码片定义在彼此不同的自适应集(AdaptationSet)中。在完整图像中定义的附图中的最高的自适应集中，如图40所示，将补充性质(SupplementalProperty)而非第一实施方式中描述的视点(Viewpoint)定义为针对码片的描述。
补充性质(SupplementalProperty)是相关技术的元素。通过使用相关技术的元素，可以抑制在与相关技术的MPD的密切关系方面的减小(可以抑制其中相关技术的解码器不可分析的描述的增加)。在以下自适应集中定义了补充性质：在该自适应集中，定义了即使在相关技术的解码器中也可以解码的位流。例如，在图40的情况下，将补充性质定义在关于完整图像所定义的自适应集中，其中，完整图像即使在相关技术的解码器中也可以被解码。
例如，将补充性质如下进行扩展和定义。
<补充性质schemeIdUri＝““
值＝“源id，x，y，宽度，高度，width_all，height_all，流类型”>
即，在补充性质的元素中，定义了用于存储图像信息的模式(schemeIdUri)。在图40的示例的情况下，将“urn:mpeg:dash:srd:2013”定义为模式。
定义了模式的值。“源id”为指示自适应集的内容源与另一自适应集的内容源是否相同的识别信息。在图40的情况下，因为每个自适应集的内容源是公共的(bitstream.mp4)，所以将“1”定义为“source id”。
“x，y”为指示由自适应集定义的码片的位置(左上方的x坐标和y坐标)的信息。在图40的情况下，因为自适应集对完整图像进行定义，所以将“0，0”定义为“x，y”。
“宽度，高度”为指示由自适应集定义的码片的尺寸(宽度和高度)的信息。在图40的情况下，因为自适应集对完整图像进行定义，所以将“1920，1080”定义为“宽度，高度”。
“width_all，height_all”为指示完整图像的尺寸(宽度和高度)的信息。在图40的情况下，将“1920，1080”定义为“width_all，height_all”。
“流类型”为指示自适应集对完整位流还是位流的一部分进行定义的识别信息。在图40的情况下，将“0”定义为“stream type”，其中“0”指示自适应集对完整位流进行定义。
即，在图40的示例中的附图中的最高的自适应集的情况下，例如将补充性质如下进行定义。
<补充性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，1920，1080，1920，1080，0”>
如图40所示，在定义了码片1(Tile 1)并且作为从附图的顶部的第二个自适应集的自适应集中，代替第一实施方式中被描述为针对码片的描述的视点(Viewpoint)，定义了基本性质(EssentialProperty)。
基本性质(EssentailProperty)为相关技术的元素。通过使用相关技术的元素，可以抑制在与相关技术的MPD的密切关系方面的减小(可以抑制其中相关技术的解码器不可分析的描述的增加)。在以下的自适应集中定义了基本性质：在该自适应集中，定义了在相关技术的解码器中不可解码的位流。例如，在图40的情况下，将基本性质定义在关于每个码片图像所定义的自适应集中，其中，在相关技术的解码器中不能对码片图像进行解码。
即，能够解释基本性质的解码器才对由自适应集管理的位流进行解码，而不能解释基本性质的解码器则跳过自适应集。
例如，将基本性质如下进行扩展和定义。即，如在补充性质(SupplementalProperty)中对基本性质进行定义。
<基本性质schemeIdUri＝““
值＝“源id，x，y，宽度，高度，width_all，height_all，流类型”>
在从图40的示例中的附图的顶部的第二个自适应集的情况下，将“urn:mpeg:dash:srd:2013”定义为模式。此外，将“1”定义为模式的值的“源id”，将“0，0”定义为“x，y”，将“960，540”定义为“宽度，高度”，将“1920，1080”定义为“width_all，height_all”，以及将“1”——“1”指示自适应集对位流的一部分进行定义——定义为“流类型”。
当“流类型”的值为“1”时，即当在自适应集中定义了位流的一部分时，基本性质被进一步扩展为指示位流的一部分的信息。例如，当在自适应集中管理的MP4文件包括HEVC的码片(Tile)时，与码片相对应的自适应集对应于位流的一部分。在该情况下，例如，将关于位流的一部分的基本性质如下进行进一步扩展和定义。
<基本性质schemeIdUri＝““
值＝“Sub-Sample-Type，Sub-Sample-is-extracted.ID”>
在该情况下，在基本性质的元素中，定义了用于存储对文件的一部分进行指示的信息的模式(schemeIdUri)。在从图40的示例中的附图的顶部的第二个自适应集的情况下，将“urn:mpeg:dash:hevc:2013”定义为模式。
定义了模式的值。“Sub-Sample-Type”是指示自适应集所对应于的位流的部分通过哪些信息进行配置的信息。例如，当信息的值为“0”时，指示的是位流的该部分通过基于Nal(Nal based)进行配置。例如，当信息的值为“1”时，指示的是位流的该部分通过基于解码单元(Decoding-unit-based)进行配置。此外，例如，当信息的值为“2”时，指示的是位流的该部分通过基于码片(Tile-based)进行配置。例如，当信息的值为“3”时，指示的是位流的该部分通过基于CUT行(CUT-row-based)进行配置。此外，例如，当信息的值为“4”时，指示的是位流的该部分通过基于切片(slice-based)进行配置。在从图40的示例中的附图的顶部的第二个自适应集的情况下，将“2”定义为“Sub-Sample-Type”。
“Sub-Sample-is-extracted”是指示自适应集所对应于的位流的部分是否被划分(提取)为轨道的信息。例如，当信息的值为“0”时，指示的是位流的该部分未被划分(假)。当信息的值为“1”时，指示的是位流的该部分被划分成为轨道(真)。在从图40的示例中的附图的顶部的第二个自适应集的情况下，如参照图39所描述的，轨道的数目为1(未被划分)，并且将“0”定义为“Sub-Sample-is-extracted”。
“ID”为识别信息。在将“2”定义为“Sub-Sample-Type”时，即在码片的情况下，定义了MP4文件的码片区域群组条目(TileRegionGroupEntry)的GroupID。在从图40的示例中的附图的顶部的第二个自适应集的情况下，位流的该部分为码片1(Tile 1)的数据，因此将“1”定义为“ID”。
即，在从图40的示例中的附图的顶部的第二个自适应集的情况下，例如，将基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，1”>
类似地，在从图40的示例中的附图的顶部的第三个自适应集的情况下，例如，将基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，0，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，2”>
类似地，在从图40的示例中的附图的顶部的第四个自适应集的情况下，例如，将基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，540，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，3”>
类似地，在图40的示例中的附图的最底部的自适应集的情况下，例如，将基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，540，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，4”>
<1个轨道的情况:使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过提取器的参考)的情况：MP4文件>
图41为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图41的示例的情况下，如在图8B的示例中，码片的位流被集中并且被视为一个文件，并且码片的数据作为一个轨道被进一步管理。
在图41的示例的情况下，轨道1(Track 1)管理完整图像(1920×1080)的数据，因此可以通过再现轨道(Track 1)来再现完整图像。此外，轨道2(Track 2)管理码片1(Tile1)的数据，因此可以通过再现轨道2(Track 2)来再现码片1(Tile 1)的图像。类似地，轨道3(Track3)管理码片2(Tile 2)的数据，因此可以通过再现轨道3(Track 3)来再现码片2(Tile 2)的图像。类似地，轨道4(Track 4)管理码片3(Tile 3)的数据，因此可以通过再现轨道4(Track 4)来再现码片3(Tile 3)的图像。类似地，轨道5(Track 5)管理码片4(Tile4)的数据，因此可以通过再现轨道5(Track 5)来再现码片4(Tile 4)的图像。
如图41所示，在轨道1(Track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；例如补充增强信息(SEI(supplemental enhancementinformation))的实体(又被称为实际数据)；以及码片的位流的参考信息(又被称为提取器)。
提取器(Track 2)是用于参考存储于轨道2(Track 2)中的码片1(Tile 1)的实际数据(Slice 1)的信息(参考信息)。例如，提取器指示实际数据(Slice 1)的存储位置。类似地，提取器(Track 3)是与轨道3(Track 3)中存储的码片2(Tile 2)的实际数据(Slice 2)有关的参考信息，提取器(Track 4)是与轨道4(Track 4)中存储的码片3(Tile 3)的实际数据(Slice 3)有关的参考信息，以及提取器(Track 5)是与轨道5(Track 5)中存储的码片4(Tile 4)的实际数据(Slice 4)有关的参考信息。
通过样本条目(Sample Entry)针对每个样本来管理参数集和提取器等。
在轨道2(Track 2)中，存储有例如参数集的提取器(Track 1)和码片1(Tile 1)的实际数据(Slice 1)等。参数集的提取器(Track 1)为实际数据(VPS、SPS、SEI和PPS等)的参考信息，其中，实际数据例如轨道1(Track 1)中存储的参数集。例如，提取器指示实际数据的存储位置。
此外，在轨道3(Track 3)中，存储有例如参数集的提取器(Track 1)和码片2(Tile2)的实际数据(Slice 2)等。在轨道4(Track 4)中，存储有例如参数集的提取器(Track 1)和码片3(Tile 3)的实际数据(Slice3)等。在轨道5(Track 5)中，存储有例如参数集的提取器(Track 1)和码片4(Tile 4)的实际数据(Slice 4)等。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义码片区域群组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个码片。
针对每个样本定义指示参考关系的提取器。即，可以针对每个样本来设置参考关系。相应地，通过使用提取器，可以构造更自由的参考关系，例如，位流中的参考关系的改变。更具体地，例如，可以更容易地实现位流中的码片的尺寸或形状的改变等。
假定该MP4文件的文件名为bitstream.mp4。
<1个文件和多个轨道(通过提取器的参考)的情况：MPD>
即使在该情况的MPD中，如在上述1个轨道的情况中，对自适应集(AdaptationSet)的基本性质(EssentialProperty)或补充性质(SupplementalProperty)进行扩展。图42中示出示例。
即，即使在图42的示例的情况下，将完整图像和每个码片定义在彼此不同的集(AdaptationSet)中。在附图中对完整图像进行定义的最顶部的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将补充性质(SupplementalProperty)定义为对于码片的描述。
即使在该情况下，如图42所示，例如对附图中最顶部的自适应集的补充性质如下进行定义。
<补充性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，1920，1080，1920，1080，0”>
即使在图42的示例的情况下，在作为从附图的顶部的第二个自适应集并且其中定义了码片1(Tile 1)的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将基本性质(EssentialProperty)定义为针对码片的描述。将关于位流的一部分的基本性质进一步进行扩展和定义。
即，如图42所示，例如将从附图的顶部的第二自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，1”>
在该情况下，因为自适应集所对应于的位流的部分被划分(提取)为轨道(即，形成多个轨道)，所以将“1(真)”定义为“提取子样本”。
类似地，例如将从图42的示例中的附图的顶部的第三个自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，0，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，2”>
类似地，例如将从图42的示例中的附图的顶部的第四个自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，540，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，3”>
类似地，例如将图42的示例中的附图中最下面的自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，540，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，4”>
<1个文件和多个轨道(通过提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过提取器的参考)的情况：MP4文件>
图43为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图43的示例的情况下，如在图7的示例中，将码片的位流作为彼此不同的文件进行管理。因为文件的轨道彼此不同，所以也可以说码片的位流作为彼此不同的轨道被管理。
图43中最顶部的MP4文件(MP4 File)(即轨道1(Track 1))存储(管理)完整图像(1920×1080)的数据。通过再现MP4文件(即轨道1)，可以再现完整图像。
从图43的顶部的第二个MP4文件(MP4 File)(即轨道2(Track 2))存储(管理)码片1(Tile 1)的数据。通过再现MP4文件(即轨道2)，可以再现码片1(Tile 1)的图像。类似地，从图43的顶部的第三个MP4文件(MP4 File)(即轨道3(Track 3))存储(管理)码片2(Tile2)的数据。通过再现MP4文件(即轨道3)，可以再现码片2(Tile 2)的图像。类似地，从图43的顶部的第四个MP4文件(MP4 File)(即轨道4(Track 4))存储(管理)码片3(Tile 3)的数据。通过再现MP4文件(即轨道4)，可以再现码片3(Tile 3)的图像。类似地，图43中最底部的MP4文件(MP4 File)(即轨道5(Track 5))存储(管理)码片4(Tile 4)的数据。通过再现MP4文件(即轨道5)，可以再现码片4(Tile 4)的图像。
在图43的最顶部的MP4文件(轨道1)中，如图43所示，存储了：参数集，所述参数集例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)；例如SEI的实际数据；以及码片的位流的提取器(Track 2、Track 3、Track 4和Track 5)等。通过样本条目(SampleEntry)针对每个样本来管理参数集和提取器等。
在从图43的顶部的第二个MP4文件(轨道2)中，存储了例如参数集的提取器(Track1)和码片1(Tile 1)的实际数据(Slice 1)等。此外，在从图43的上侧的第三个MP4文件(轨道3)中，存储了例如参数集的提取器(Track 1)和码片2(Tile 2)的实际数据(Slice 2)等。在从图43的顶部的第四个MP4文件(轨道4)中，存储了例如参数集的提取器(Track 1)和码片3(Tile 3)的实际数据(Slice 3)等。此外，在图43的最底部的MP4文件(轨道5)中，存储了例如参数集的提取器(Track 1)和码片4(Tile 4)的实际数据(Slice 4)等。
如在图39的情况下，在MP4文件(轨道2至轨道5)中的每一者中定义了码片区域群组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个码片。
如上所述，即使在示例的情况下，提取器仍用作指示参考关系的信息。相应地，例如，可以构造较自由的参考关系，例如位流中的参考关系的改变。
假定图43中最顶部的MP4文件的文件名称为bitstream_base.mp4，假定从图43的顶部的第二个MP4文件的文件名称为bitstream_tile1.mp4，假定从图43的顶部的第三个MP4文件的文件名称为bitstream_tile2.mp4，假定从图43的顶部的第四个MP4文件的文件名称为bitstream_tile3.mp4，以及假定图43中最底部的MP4文件的文件名称为bitstream_tile4.mp4。
<多个文件和多个轨道(通过提取器参考)的情况：MPD>
即使在该情况的MPD中，如在上述1个轨道的情况中，对自适应集(AdaptationSet)的基本性质(EssentialProperty)或补充性质(SupplementalProperty)进行扩展。图44中示出示例。
即，即使在图44的示例的情况下，仍将完整图像和每个码片定义在彼此不同的自适应集(AdaptationSet)中。在附图中对完整图像进行定义的最顶部的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将补充性质(SupplementalProperty)定义为对于码片的描述。
即使在该情况下，如图44所示，例如将附图中最顶部的自适应集的补充性质如下进行定义。
<补充性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，1920，1080，1920，1080，0”>
在该情况下，对属于自适应集的表示(Representation)进行扩展并且另外定义指示文件(码片)之间的相依性(dependency)的信息。
在属于从附图的上侧的最顶部的自适应集的表示中，如图44所示，例如定义了以下信息。
<id＝“bs”dependencyId＝“tl1.tl2.tl3.tl4”>
在属于表示的片段(Segment)中，定义了bitstream_base.mp4。
即使在图44的示例的情况下，在作为从附图的顶部的第二个自适应集并且其中定义了码片1(Tile 1)的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将基本性质(EssentialProperty)定义为针对码片的描述。将关于位流的部分的基本性质进一步进行扩展和定义。
即，如图44所示，例如将从附图的顶部的第二个自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，1”>
在该情况下，因为自适应集所对应于的位流为被划分成轨道(即形成多个轨道(多个文件))的HEVC码片，所以将“1(真)”定义为“提取子样本”。
在该情况下，因为文件被划分并且在1个文件中仅包括1个轨道，所以省略“ID”。相应地，在一定程度上抑制信息量的增加。
在属于自适应集的表示中，如图44所示，例如定义以下信息。
<id＝“tl1”dependencyId＝“be”>
在属于表示的片段(Segment)中，定义了bitstream_tile1.mp4。
类似地，例如将从图44的示例中的附图的顶部的第三个自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，0，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1”>
例如，在属于自适应集的表示中，定义以下信息。
<id＝“tl2”dependencyId＝“be”>
在属于表示的片段(Segment)中，定义了bitstream_tile2.mp4。
类似地，例如将从图44的示例中的附图的顶部的第四个自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，540，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1”>
例如，在属于自适应集的表示中，定义以下信息。
<id＝“tl3”dependencyId＝“be”>
在属于表示的片段(Segment)中，定义了bitstream_tile3.mp4。
类似地，例如将图44的示例中的附图的最底部的自适应集的基本性质如下进行定义。
<基本性质schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，540，960，540，1920，1080，1”>
<基本性质schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1”>
例如，在属于自适应集的表示中，定义以下信息。
<id＝“tl4”dependencyId＝“be”>
在属于表示的片段(Segment)中，定义bitstream_tile4.mp4。
<多个文件和多个轨道(通过提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过轨道参考的参考)的情况：MP4文件>
图45为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图45的示例的情况下，如在图41的示例中，码片的位流被集中并且被视为一个文件，并且码片的数据作为一个轨道被进一步管理。
在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。然而，在图45的示例的情况下，使用轨道参考(Track Reference)来定义参考关系。
轨道参考(Track Reference)是指示轨道之间的参考关系(哪一轨道参考哪一轨道(或者参考哪一轨道))的信息。即，轨道参考是以轨道为单位的信息并且一次针对1个轨道进行定义。“dpnd”是定义对轨道进行参考的轨道(即参考源)的信息而“prnt”是定义被轨道参考的轨道(参考目的地)的信息。
例如，在图45的示例的情况下，“dpnd＝2，3，4，5”在轨道1(Track1)中被定义为轨道参考(Track Reference)。这指示轨道1被轨道2至轨道5参考。类似地，在轨道2(Track 2)至轨道5(Track 5)中，“prnt＝1”被定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意码片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考被参考。
如上所述，因为针对每个样本来定义提取器，所以提高了设置参考关系的自由度。然而，当参考关系固定时，提取器的冗余增加，因此存在信息量不必要地增加的可能性。例如，当码片的尺寸或形状在位流中一致时，对于参考关系而言一次足够。
另一方面，如上所述，针对1个轨道仅定义轨道参考(Track Reference)一次。相应地，通过使用轨道参考，可以减小参考关系的定义冗余并且抑制不必要的信息的量的增加。
在该示例的情况下，轨道1(Track 1)存在以用于存储参数集并且对于轨道1的再现(完整图像(1920×1080)的再现)可以不被执行。然而，通过按照轨道参考的顺序来再现轨道2至轨道5的实际数据，可以再现完整图像。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义码片区域群组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个码片。
假定该MP4文件的文件名称为bitstream.mp4。
<1个文件和多个轨道(通过轨道参考的参考)的情况：MPD>
在该情况的MPD中，如在上述的通过提取器的参考的情况下，同样对自适应集(AdaptationSet)的补充性质(SupplementalProperty)或基本性质(EssentialProperty)进行扩展。图46示出这里的示例。
即，如图46所示，在该情况下，MP4文件可以如在图42的示例中通过MPD进行管理。
<1个文件和多个轨道(通过轨道参考的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过轨道参考的参考)的情况：MP4文件>
图47为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图47的示例的情况下，如在图43的示例中，将码片的位流作为彼此不同的文件进行管理。因为文件的轨道彼此不同，所以也可以说码片的位流作为彼此不同的轨道被管理。
图47中最顶部的MP4文件(MP4File)(即轨道1(Track 1))存储(管理)参数集等(VPS、SPS、PPS和SEI等)。
从图47的顶部的第二个MP4文件至第五个MP4文件(MP4 File)(即轨道2(Track 2)至轨道5(Track 5))存储(管理)码片1(Tile 1)至码片4(Tile 4)的数据。通过再现文件中的任意的MP4文件(即任意的轨道)，可以再现任意码片的图像。
在图43的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。然而，在图47的示例的情况下，使用轨道参考(Track Reference)以与图45的情况类似的方式来定义参考关系。
例如，在图47的示例的情况下，“dpnd＝2，3，4，5”在轨道1(Track 1)中被定义为轨道参考(Track Reference)。这指示轨道1被轨道2至轨道5参考。类似地，在轨道2(Track 2)至轨道5(Track 5)中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意码片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义码片区域群组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个码片。
即使在该示例的情况下，如上所述，仍将轨道参考用作指示参考关系的信息。相应地，可以减小参考关系的定义冗余并且抑制不必要的信息的量的增加。
按照从顶部起的顺序，假定图47中的MP4文件的文件名称为bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4和bitstream_tile4.mp4。
<多个文件和多个轨道(通过轨道参考的参考)的情况：MPD>
在该情况的MPD中，如在上述的通过提取器的参考的情况下，同样对自适应集(AdaptationSet)的补充性质(SupplementalProperty)或基本性质(EssentialProperty)进行扩展。图48示出这里的示例。
即，如图48所示，在该情况下，MP4文件可以如在图44示例中通过MPD进行管理。
<多个文件和多个轨道(通过参考轨道的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
图49为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图49的示例的情况下，如在图41和图45的示例中，码片的位流被集中并且被视为一个文件，并且码片的数据作为一个轨道被进一步管理。
然而，在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图45的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。然而，在图49的示例的情况下，使用提取器和轨道参考二者来定义参考关系。
更具体地，轨道1(Track 1)如在图41的情况下使用提取器来参考与轨道2(Track2)至轨道5(Track 5)有关的信息。此外，轨道2(Track2)至轨道5(Track 5)如在图45的情况下使用轨道参考来参考与轨道1(Track 1)有关的信息。
即，在轨道1(Track 1)中，如图49所示，存储了：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；例如SEI的实际数据；以及用于参考轨道2至轨道5的码片的数据的提取器等。
在轨道2(Track 2)至轨道5(Track 5)中，如图49所示，将“prnt＝1”被定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意码片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
以该方式，可以如在图41的情况下执行对于轨道1的再现(完整图像(1920×1080)的再现)，同时如在图45的情况下减小冗余。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义码片区域群组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个码片。
假定该MP4文件的文件名称为bitstream.mp4。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
即使在该情况的MPD中，如在通过提取器的参考的情况下(图42)或者在通过轨道参考的参考的情况下(图46)，如上所述，对自适应集(AdaptationSet)的补充性质(SupplementalProperty)或基本性质(EssentialProperty)进行扩展。图50中示出示例。
即，如图50所示，在该情况下，可以如在图42和图46的示例中通过MPD来管理MP4文件。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
图51为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图51的示例的情况下，如在图43和图47的示例中，将码片的位流作为彼此不同的文件进行管理。因为文件的轨道彼此不同，所以也可以说码片的位流作为彼此不同的轨道被管理。
然而，在图43的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图47的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。然而，在图51的示例的情况下，使用提取器和轨道参考二者来定义参考关系。
更具体地，图51中最顶部的MP4文件(轨道1(Track 1))如在图43的情况下使用提取器来参考与从图51的顶部的第二个MP4文件至第五个MP4文件(轨道2(Track 2)至轨道5(Track 5))有关的信息。此外，从图51的顶部的第二个MP4文件至第五个MP4文件(轨道2(Track 2)至轨道5(Track 5))如在图47的情况下使用轨道参考来参考与图51中最顶部的MP4文件(轨道1(Track 1))有关的信息。
如图51所示，在最顶部的MP4文件(track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；例如SEI的实际数据；以及码片的位流的提取器(Track 2、Track 3、Track 4和Track 5)等。通过样本条目(Sample Entry)针对每个样本来管理参数集和提取器等。
如图51所示，在从顶部的第二个MP4文件至第五个MP4文件(轨道2(Track 2)至轨道5(Track 5))中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意码片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
以该方式，可以如在图43的情况下执行对于图51中最顶部的MP4文件(轨道1)的再现(完整图像(1920×1080)的再现)，同时如在图47的情况下减小冗余。
如在图39的情况下，在从顶部的第二个MP4文件至第五个MP4文件(轨道2(Track2)至轨道5(Track 5))中的每一者中，定义码片区域群组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个码片。
按照从顶部起的顺序，假定图51中的MP4文件的文件名称为bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4和bitstream_tile4.mp4。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
即使在该情况的MPD中，如在上述的通过提取器的参考的情况下，对自适应集(AdaptationSet)的补充性质(SupplementalProperty)或基本性质(EssentialProperty)进行扩展。图52中示出示例。
即，如图52所示，在该情况下，可以如在图44和图48的示例中通过MPD来管理MP4文件。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
如上在图41、图45和图49中所述，在一个MP4文件包括多个轨道的示例中，在不同的轨道中针对每个码片来存储作为实际数据的切片。然而，当一个MP4文件包括多个轨道时，可以将码片的切片集中并且置于一个轨道中。将在下面参照图53来描述该情况的示例。
图53为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。如在图41、45和49的示例中，在图53的示例的情况下，将码片的位流集中并且视为一个MP4文件。此外，码片在彼此不同的轨道中被管理。然而，在图53的MP4文件中，作为码片的实际数据的切片被集中并且存储于一个轨道中。
在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图45的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。另一方面，在图53的示例的情况下，如在图49的示例中，使用提取器和轨道参考二者。然而，使用提取器和轨道参考的方法与图49的情况不同。
更具体地，如图53所示，在作为基本轨道的轨道1(Track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；以及例如SEI的实际数据。通过样本条目(Sample Entry)针对每个样本对例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集进行管理。此外，在轨道1(Track 1)中，存储有作为HEVC的码片的实际数据的切片1至切片4等。
在此，轨道2(Track 2)至轨道5(Track 5)具有用于参考与轨道1(Track 1)有关的信息的提取器和轨道参考二者。
换言之，如图53所示，在轨道2(Track 2)至轨道5(Track 5)中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意码片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
在轨道2(Track 2)至轨道5(Track 5)中的每一者中，将“ext1”定义为提取器。即，例如，在轨道2的码片被再现时，轨道1的切片1根据提取器而被参考。类似地，在轨道3的码片被再现时轨道1的切片2被参考。此外，在轨道4的码片被再现时轨道1的切片3被参考，以及在轨道5的码片被再现时轨道1的切片4被参考。
以该方式，在完整图像(1920×1080)被再现时仅可以再现轨道1，并且可以在完整图像被再现时减小负荷。
如在图39、图41、图43、图45、图47、图49和图51的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义码片区域群组条目(TileRegionGroupEntry)。即，针对每个轨道定义一个码片。定义与图41、图43、图45、图47、图49和图51中每个轨道的情况(图39中每个码片的情况)相同。
假定该MP4文件的文件名称为bitstream.mp4。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
图54中示出图53中MP4的MPD。即使在MPD中，仍执行与图42、图46和图50中的对应于图41、图45和图49中的MP4文件的MPD相同的扩展。即，对自适应集(AdaptationSet)的补充性质(SupplementalProperty)或基本性质(EssentialProperty)进行扩展。
图54中的MPD具有与图42、图46和图50中的MPD基本相同的配置。然而，图54中的MPD与图42、图46和图50中的MPD在以下方面不同：ID存储于每个表示(Representation)中。在定位于图54的顶部处的表示(Representation)中，存储有指示基本轨道的ID(bs)。在从顶部的第二个表示(Representation)中，存储有指示码片1的ID的ID(tl1)。类似地，在第三个表示至第五个表示(Representation)中，存储有指示码片2至码片4的ID的ID(tl2至tl4)。
此外，在从顶部的第二个表示中，存储有对依赖于基本轨道的轨道进行指示的ID(dependencyid＝bs)。类似地，在第三个表示至第五个表示(Representation)中的每一者中，存储有对依赖于基本轨道的轨道进行指示的ID(dependencyid＝bs)。
图53中的MP4文件可以通过图54中的MPD进行管理。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
图55为示出通过使具有例如图6B所示的码片(Tile)结构的位流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图55的示例的情况下，如在图43、图47和图51的示例中，码片的轨道被视为不同的MP4文件。此外，作为码片的实际数据的切片被集中并且被存储于作为基本轨道的轨道1(Track 1)中。
在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图45的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。另一方面，在图55的示例的情况下，如在图49的示例中，使用提取器和轨道参考二者。然而，使用提取器和轨道参考的方法以与图53的情况类似的方式与图49的情况不同。
更具体地，在如图55所示的轨道1(Track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；以及例如SEI的实际数据。此外，在轨道1(Track 1)中，存储有作为HEVC的码片的实际数据的切片1至切片4。在此，轨道2(Track 2)至轨道5(Track 5)具有用于参考与轨道1(Track 1)有关的信息的提取器和轨道参考二者。
换言之，如图55所示，在轨道2(Track 2)至轨道5(Track 5)中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意码片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
在轨道2(Track 2)至轨道5(Track 5)中的每一者中，将“ext1”定义为提取器。即，例如，在轨道2的码片被再现时，根据提取器来参考轨道1的切片1。类似地，在轨道3的码片被再现时，参考轨道1的切片2。此外，在轨道4的码片被再现时参考轨道1的切片3，以及在轨道5的码片被再现时参考轨道1的切片4。
以该方式，在完整图像(1920×1080)被再现时可以仅再现轨道1，并且可以在完整图像被再现时减小负荷。
同样在图55中，如在图39、图41、图43、图45、图47、图49、图51和图53的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义码片区域群组条目(TileRegionGroupEntry)。即，针对每个轨道定义一个码片。其内容与图39等的相同。
以该方式，除了在图53的示例中被分离的MP4文件被集中为一个MP4文件以外，图55中的MP4文件具有与图53中的MP4文件相同的基本配置。
按照从顶部起的顺序，假定图55中的MP4文件的文件名称为bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4和bitstream_tile4.mp4。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
即使在图55的MP4文件的MPD中，如在上述通过提取器的参考的情况下，对自适应集(AdaptationSet)的补充性质(SupplementalProperty)或基本性质(EssentialProperty)进行扩展。图56中示出示例。图56中的MPD具有与图54中的MPD相同的配置。
图55中的MP4文件可以通过图56中的MPD进行管理。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在递送数据生成装置101(图12)执行递送数据生成处理(图14)并且码片型MPD生成单元141(码片型图像信息生成单元124)(图12)执行码片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，递送数据生成装置101可以基于DASH标准将部分图像的数据自适应地递送(提供)至递送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现递送数据。例如，终端装置103(图13)可以通过执行递送数据生成处理(图16)来正确地分析扩展MPD并且得到通过递送服务器102的对于部分图像的数据的基于DASH标准的自适应递送(供给)。即，可以从递送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
以该方式，在图53至图56的示例中，部分图像信息包括轨道参考和提取器，轨道参考和提取器存储于与多个部分图像相对应的轨道中，并且存储有部分图像的切片的轨道被参考。
可以将本技术的应用范围应用于提供或接收部分图像的任意的信息处理装置。
<6.第六实施方式>
<计算机>
上述一系列处理也可以通过硬件来执行以及也可以通过软件来执行。在通过软件来执行一系列处理时，将软件程序安装于计算机中。在此，计算机包括嵌入专用硬件的计算机以及例如通过安装各种程序能够各种功能的通用个人计算机。
图57为示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在图57示出的计算机500中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503经由总线504彼此连接。
输入和输出接口510同样连接至总线504。输入单元511、输出单元512、存储单元513、通信单元514和驱动器515连接至输入和输出接口510。
输入单元511由例如键盘、鼠标、麦克风、触控面板或输入终端形成。输出单元512由例如显示器、扬声器或输出终端形成。存储单元513由例如硬盘、RAM盘或非易失性存储器形成。通信单元514由例如网络接口形成。驱动器515对例如磁盘、光盘、磁光盘或半导体存储器的可移除介质521进行驱动。
在具有上述配置的计算机中，例如，CPU 501通过经由输入和输出接口510和总线504将存储单元513中存储的程序加载至RAM 503并且执行程序来执行上述处理。RAM 503也适当地存储有对于CPU 501执行各种处理所必需的数据。
例如，由计算机(CPU 501)执行的程序可以记录在可移除介质521上，其中，可移除介质521例如要应用的封装介质(package medium)。在该情况下，通过将可移除介质521安装在驱动器515上，可以经由输入和输出接口510将程序安装在存储单元513中。
也可以经由有线或无线传送介质例如局域网、因特网或数字卫星广播来提供程序。在该情况下，程序可以由通信单元514进行接收以安装在存储单元513中。
此外，也可以将程序提前安装在ROM 502或存储单元513中。
由计算机执行的程序可以是按时间顺序地以本说明书中所描述的顺序进行处理的程序，或者可以是在必要的时刻处例如并行地或在被调用时进行处理的程序。
在本说明书中，描述记录在记录介质中的程序的步骤不仅包括在时间上按照所述顺序进行执行的处理，而且包括并行或单独而非按时间顺序进行执行的处理。
<7.第七实施方式>
<多视图图像编码和多视图图像解码的应用>
多视图图像编码和多视图图像解码可以作为与上述一系列处理有关的图像编码和图像解码的方案进行应用。图58示出多视图图像编码方案的示例。
如图58所示，多视图图像包括具有多个视图的图像。多视图图像的的多个视图包括基视图和非基视图，其中，对于基视图，仅使用基视图自身的视图的图像而不使用其他视图的图像来执行编码/解码；以及对于非基视图，使用其他视图的图像来执行编码/解码。在非基视图中，可以使用基视图的图像，并且可以使用其他非基视图的图像。
在如图58中的多视图图像的递送中，可以应用上述每个实施方式的方法。以该方式，也可以关于多视图图像实现对于部分图像的数据的自适应供给。
此外，对于对在上述每个实施方式的方法中所使用的标记或参数(例如作为编码信息的VPS和SPS等)进行编码和解码所必需的信息可以在每个视图的编码和解码之间进行共享。以该方式，可以抑制冗余信息的传送并且抑制编码效率的下降。
<多视图图像编码装置>
图59为示出执行上述多视图图像编码的多视图图像编码装置的图。如图59所示，多视图图像编码装置600具有编码单元601、编码单元602和复用单元603。
编码单元601对基视图图像进行编码以生成基视图图像编码流。编码单元602对非基视图图像进行编码以生成非基视图图像编码流。复用单元603将由编码单元601生成的基视图图像编码流和由编码单元602生成的非基视图图像编码流进行复用以生成多视图图像编码流。
例如，可以应用多视图图像编码装置600作为递送数据生成装置101(图11)的图像编码单元122(图像编码单元122是图像编码单元的一个编码处理单元)(图12)。以该方式，还可以将上述每个实施方式的方法应用于多视图图像的递送，并且因此可以实现对于部分图像的数据的自适应供给。
<多视图图像解码装置>
图60为示出执行上述多视图图像解码的多视图图像解码装置的图。如图60所示，多视图图像解码装置610具有解复用单元611、解码单元612和另一解码单元613。
解复用单元611对多视图图像编码流进行解复用以提取基视图图像编码流和非基视图图像编码流，其中，所述多视图图像编码流是通过将基视图图像编码流和非基视图图像编码流进行复用而获得的。解码单元612对由解复用单元611提取的基视图图像编码流进行解码以获得基视图图像。解码单元613对由解复用单元611提取的非基视图图像编码流进行解码以获得非基视图图像。
例如，可以应用多视图图像解码装置610作为终端装置103(图11)的图像解码单元155(图像解码单元的一个解码处理单元)。以该方式，还可以将上述每个实施方式的方法应用于多视图图像的递送，并且因此可以实现对于部分图像的数据的自适应供给。
<第八实施方式>
<分层图像编码/分层图像解码的应用>
上述一系列处理可以应用于分层图像编码/分层图像解码(可分级编码/可分级解码)。图61示出分层图像编码方案的示例。
分层图像编码(可分级编码)与将图像划分成多个层(多层次)有关并且针对每一层执行编码使得图像数据关于预定参数可以具有可分级性。分层图像解码(可分级解码)是与分层图像编码相对应的解码。
对于图像的分层是与图像有关的参数并且通过改变具有可分级性的预定参数来执行。即，如图61所示，经受分层的图像(分层图像)被配置成包括多个图像，所述多个图像的具有可分级性的预定参数的值彼此不同。多个图像中的每个图像被视为层。
分层图像的多个层包括基层和非基层(又被称为增强层)：在基层中，在编码和解码时仅使用与自身的层有关的信息而不使用与其他层有关的信息；在非基层中，在编码和解码时可以使用与其他层有关的信息。在非基层中，也可以使用与基层有关的信息并且也可以使用与其他非基层有关的信息。
分层图像编码是对这样的分层图像进行编码的处理。例如，仅使用与基层有关的信息来对基层的图像进行编码以生成基层的编码数据。例如，使用与基层有关的信息和与非基层有关的信息来对非基层的图像进行编码，并且生成非基层的编码数据。
分层图像解码是对经受了分层图像编码的编码数据进行解码并且生成任意层的解码图像的处理。例如，对基层的编码数据进行解码以生成基层的解码图像。例如，对基层的编码数据进行解码，并且使用与基层有关的信息对非基层的编码数据进行解码以生成非基层的解码图像。
以该方式，针对每一层通过分层编码来对编码数据进行划分和生成。因此，在解码时，所有层的编码数据可能未必是必需的，并且可以仅获得对于获得期望的解码图像而言所必需的层的编码数据。相应地，可以抑制数据从编码侧至解码侧的传送量的增加。
可以使用用于编码和解码的另一层的任意的信息。然而，例如，可以使用图像(例如解码图像)。例如，可以使用另一层的图像来执行层之间的预测。以该方式，可以减小层之间的冗余。特别地，可以抑制非基层的编码量的增加。可以在移动图像的所有图片中执行对于层之间的信息(例如层之间的预测)的使用。如图61所示，可以在一些图片中执行对于信息的使用。
如上所述，分层图像的层的图像的质量对于具有可分级性的预定参数彼此不同。即，通过对分层图像执行分层图像编码和分层图像解码，可以根据情况来容易地获得具有各种质量的图像。可以对每一层的质量执行任意设置。然而，通常，使用与基层有关的信息将基层的图像的质量设置成低于增强层的图像的质量。
例如，可以将仅与基层有关的图像压缩信息(编码数据)传送至例如移动电话的具有低处理能力的终端，而可以将与除了基层以外的增强层有关的图像压缩信息(编码数据)传送至例如电视或个人计算机的具有高处理能力的终端。
通常，再现具有低质量的图像的处理的负荷小于再现具有高质量的图像的处理的负荷。相应地，通过以该方式执行传送，可以使得每个终端能够根据能力来执行再现处理，例如，使得具有低处理能力的终端能够再现具有低质量的移动图像以及使得具有高处理能力的终端能够再现具有高质量的移动图像。即，可以使得具有更加多样的处理能力的终端能够正常地再现移动图像(没有失败)。如上所述，可以仅将必需的层的编码数据传送至每个终端。因此，可以抑制要传送的编码数据的数据量(传送量)的增加。此外，如上所述，通过使用与其他层有关的信息，可以抑制编码量的增加。在分层编码和分层解码的情况下，可以在没有转码处理的情况下实现依据终端的数据递送。
在如图61中的分层图像的递送中，可以应用上述每个实施方式的方法。以该方式，即使在分层图像中也可以实现对于部分图像的数据的自适应供给。
此外，对于对在上述每个实施方式的方法中使用的标记或参数(例如作为编码信息的VPS和SPS)进行编码和解码所必需的信息可以在每一层的编码和解码之间进行共享。以该方式，可以抑制冗余信息的传送并且抑制编码效率的下降。
<可分级参数>
在分层图像编码和分层图像解码(可分级编码和可分级解码)中，可以使用具有可分级性的任意参数。例如，可以假定图62所示的空间分辨率为参数(空间可分级性)。在空间可分级性的情况下，对于每一层，空间分辨率(即图片的像素的数目)不同。在图62的示例中，每个图片被分层成为两层：具有低分辨率的基层和具有高分辨率的增强层。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。
作为具有这样的可分级属性的参数，例如，可以应用时间分辨率，如图63所示(时间可分级性)。在时间可分级性的情况下，对于每一层，时间分辨率(即帧率)不同。在图63的示例的情况下，图片被分层成三层：具有低帧率(7.5帧/秒)的层；具有中间帧率(15帧/秒)的层；以及具有高帧率(30帧/秒)的层。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。
作为具有这样的可分级属性的参数，例如，可以应用信噪比(SNR)，如图64所示(SNR可分级性)。在SNR可分级性的情况下，对于每一层，SN比不同。在图64的示例的情况下，每个图片被分层成两层：具有低SNR的基层和具有高SNR的增强层。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。
具有这样的可分级属性的参数当然可以是除了上述示例以外的参数。例如，可以将位深度用作具有这样的可分级属性(位深度可分级性)的参数。在位深度可分级性的情况下，对于每一层，位深度不同。例如，基层可以由8位图像形成，而增强层可以由10位图像形成。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。关于每一层也可以使用任意的位深度，并且每一层的任意的位深度并不限于上述示例。
例如，可以假定基层为具有标准动态范围的标准动态范围(SDR)图像并且可以假定增强层为具有较宽的动态范围的高动态范围(HDR)图像。可以假定SDR图像为例如具有8位或16位的整数精度的图像数据并且可以假定HDR图像为例如具有32位的浮点精度的图像数据。
作为具有可分级属性的参数，例如，还可以使用色度格式(色度可分级性)。在色度可分级性的情况下，对于每一层，色度格式不同。例如，基层可以由具有4:2:0的格式的分量图像形成，而增强层可以由具有4:2:2格式的分量图像形成。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。关于每一层也可以使用任意的色度格式，并且每一层的任意色度格式并不限于上述示例。
作为具有可分级属性的参数，例如，还可以使用色饱和度(colorgamut)。例如，增强层的色饱和度可以被配置成包括基层的色饱和度(即，比基层的色饱和度宽)。
<分层图像编码装置>
图65为示出执行上述分层图像编码的分层图像编码装置的图。如图65所示，分层图像编码装置620具有编码单元621、另一编码单元622和复用单元623。
编码单元621对基层图像进行编码以生成基层图像编码流。编码单元622对非基层图像进行编码以生成非基层图像编码流。复用单元623将由编码单元621生成的基层图像编码流和由编码单元622生成的非基层图像编码流进行复用以生成分层图像编码流。
例如，可以应用分层图像编码装置620作为递送数据生成装置101(图11)的图像编码单元122(图像编码单元122是图像编码单元的一个编码处理单元)(图12)。以该方式，还可以将上述每个实施方式的方法应用于分层图像的递送，并且因此可以实现对于部分图像的数据的自适应供给。
<分层图像解码装置>
图66为示出执行上述分层图像解码的分层图像解码装置的图。如图66所示，分层图像解码装置630具有解复用单元631、解码单元632和另一解码单元633。
解复用单元631对分层图像编码流进行解复用以提取基层图像编码流和非基层图像编码流，其中，分层图像编码流是通过对基层图像编码流和非基层图像编码流进行复用而获得的。解码单元632对由解复用单元631提取的基层图像编码流进行解码以获得基层图像。解码单元633对由解复用单元631提取的非基层图像编码流进行解码以获得非基层图像。
例如，可以应用分层图像解码装置630作为终端装置103(图11)的图像解码单元155(图像解码单元的一个解码处理单元)。以该方式，还可以将上述每个实施方式的方法应用于分层图像的递送，并且因此可以实现对于部分图像的数据的自适应供给。
可以将根据上述实施方式的图像编码装置和图像解码装置应用于各种电子装置，例如：在卫星广播、有线广播例如有线电视或因特网的递送中以及在通过蜂窝通信至终端的递送中的发射器或接收器；将图像记录在介质例如光盘、磁盘或闪速存储器中的记录装置；或者再现来自存储介质的图像的再现装置。在下文中，将描述两个应用示例。
<9.应用示例>
<第一应用示例：电视接收器>
图67示出上述实施方式所应用于的电视装置的示意性配置的示例的框图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907和扬声器908。电视装置900还包括外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。电视装置900还包括MP4处理单元914和MPEG-DASH处理单元915。
调谐器902从经由天线901接收的广播波信号提取期望信道(调谐信道)的信号并且对所提取的信号进行解调。调谐器902将通过解调所获得的编码位流输出至解复用器903。
解复用器903对来自编码位流的观看目标节目的视频流和音频流进行解复用并且将解复用的流输出至解码器904。解复用器903从编码位流提取辅助数据例如电子节目指南(EPG)并且将所提取的数据提供至控制单元910。当编码位流经受了加扰时，解复用器903可以对编码位流执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。在必要时，解码器904使用MP4处理单元914或MPEG-DASH处理单元915来执行解码。解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据并且使得显示单元906能够显示图像。例如，视频信号处理单元905还可以再现经由接收单元913从外部提供的视频数据并且使得显示单元906能够显示图像。例如，视频信号处理单元905还可以通过执行经由接收单元913从外部提供的应用来生成图像并且使得显示单元906能够显示图像。
在视频数据的再现和图像的生成中，视频信号处理单元905还可以执行例如附加的处理，例如针对由显示单元906显示的图像的去噪。例如，视频信号处理单元905还可以生成图形用户接口(GUI)例如菜单、按钮或光标的图像并且将图像叠加在由显示单元906所显示的图像上。
音频信号处理单元907对从解码器904输入的音频数据执行再现处理例如数模转换和放大并且从扬声器908输出音频。例如，音频信号处理单元907还可以再现经由接收单元913从外部提供的音频数据并且从扬声器908输出音频。例如，音频信号处理单元907还可以通过执行经由接收单元913从外部提供的应用来生成音频并且从扬声器908输出音频。
在音频数据的再现和音频的生成中，音频信号处理单元907还可以执行例如附加的处理，例如针对要从扬声器908输出的音频的去噪。
外部接口单元909是用于将电视装置900连接至外部装置或网络的接口。外部装置可以是任意的电子装置——只要装置能够将信息传送至电视装置900以及从电视装置900接收信息即可，其中，所述电子装置例如：计算机；经由预定标准(例如通用串行总线(USB)或IEEE1394)的通信电缆连接的外部附接硬盘驱动器(HDD)；外部附接光盘驱动器；或网络附接存储装置(NAS(network attached storage))。
网络为充当通信媒介的通信网络。网络可以是任意的通信网络，有线通信网络、无线通信网络或者二者。例如，网络可以是有线局域网(LAN)、无线LAN、公用电话线网络、用于无线移动对象的广域通信网络例如所谓的3G网络或4G网络或者用于无线移动对象的因特网，或者他们的组合。网络可以是单个通信网络或者多个通信网络。例如，网络可以通过经由服务器或中继装置等彼此连接的多个通信网络进行配置。例如，网络的一部分或者全部可以通过预定标准的通信电缆例如通用串行总线(USB)电缆或高清晰度多媒体接口(HDMI：注册商标)电缆进行配置。例如，网络的一部分或全部可以通过基于预定标准的方法进行配置，或者可以通过唯一通信方案的无线通信进行配置，其中，预定标准例如电气与电子工程师协会(IEEE)802.11无线LAN的点对点模式(ad hoc mode)、例如红外线数据协会(IrDA)等的红外线的光通信或者蓝牙(注册商标)。
除了电视装置900以外，可以将另一装置(外部装置)等连接至网络。电视装置900可以经由网络执行与外部装置的通信(传送和接收信息)。
外部接口单元909可以接收经由通信电缆或网络从外部装置提供的编码位流。当外部接口单元909接收编码位流时，外部接口单元909经由总线912将编码位流提供至解复用器903。
解复用器903对从调谐器902提供的编码位流中的编码位流进行处理以将视频流和音频流解复用，提取辅助数据例如EPG或者执行去扰。以该方式，电视装置900可以接收包括编码位流的广播波信息并且还可以接收经由网络传送的编码位流，对编码位流进行解码并且输出视频或音频。
即，天线901或外部接口单元909充当电视装置900中的接收单元。
电视装置900还可以经由外部接口单元909将信息传送至外部装置。该信息是任意的。例如，信息可以是针对例如视频或音频的内容的请求、与电视装置900的通信功能有关的对于建立通信所必需的信息或者与电视装置900的解码功能、图像显示功能和音频输出功能有关的信息。电视装置900还可以将经由天线901接收的编码位流经由外部接口单元909传送至外部装置。即，外部接口单元909可以充当电视装置900中的传送单元。
控制单元910与用户接口单元911相连。用户接口单元911被配置为操纵开关或远程控制的信号接收单元，并且根据用户操作来向控制单元910提供操作信号。
控制单元910被使用CPU和存储器等进行配置。存储器存储有由CPU执行的程序、对于CPU执行处理所必需的各种数据、EPG数据以及通过外部接口单元909获取的数据。存储器中存储的程序由CPU在预定时间例如在电视装置被打开时进行读取和执行。通过执行程序，CPU控制相应的单元，使得电视装置900根据用户操作被进行操作。
注意，在电视装置900中，提供了总线912以将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907和外部接口单元909等与控制单元910相连。
当经由天线901或外部接口单元909接收的视频流为MP4文件时，解码器904将MP4文件提供至MP4处理单元914。MP4处理单元914对所提供的MP4文件进行分析并且对包括在MP4文件中的编码数据进行解码。MP4处理单元914将通过解码所获得的图像数据提供至解码器904。解码器904将图像数据提供至视频信号处理单元905。
作为MP4处理单元914的处理，可以应用上述每个实施方式的方法。即，MP4处理单元914可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和码片图像组合单元156(图13)。在该情况下，MP4处理单元914经由解码器904等来获取包括码片——该码片包括在期望的范围内——的数据的MP4文件，提取码片的编码数据并且对其进行解码，将所获取的码片的图像数据(码片图像)适当地组合以在期望的范围内生成图像数据，并且将图像数据提供至解码器904。以该方式，MP4处理单元914可以对上面在实施方式中描述的各种MP4文件进行处理以获得期望的图像数据。即，电视装置900可以实现对于部分图像的数据的自适应供给。
当经由天线901或外部接口单元909接收的视频流为MP4文件时，解码器904将MPD文件提供至MPEG-DASH处理单元915。MPEG-DASH处理单元915对所提供的MPD进行分析并且基于MPD来获取期望的图像数据。例如，当包括通过对图像数据进行编码而获得编码数据的MP4文件通过MPD进行管理时，MPEG-DASH处理单元915基于MPD获取与期望图像相对应的MP4文件，对包括在MP4文件中的编码数据进行解码，并且将通过解码获得的图像数据提供至解码器904。解码器904将图像数据提供至视频信号处理单元905。
作为MPEG-DASH处理单元915的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元915可以包括终端装置103(图11)的MPD获取单元151至码片图像组合单元156(除了图13中的显示单元157以外的每个处理单元)。MPEG-DASH处理单元915对MPD进行分析，经由解码器904等获取包括码片——码片包括在期望的范围内——的数据的MP4文件，提取码片的编码数据并且对其进行解码，将所获得的码片的图像数据(码片图像)适当地组合以生成在期望的范围内的图像数据，并且将图像数据提供至解码器904。以该方式，MPEG-DASH处理单元915可以对在实施方式中描述的各种MP4文件进行处理以获得期望的图像数据。即，电视装置900可以实现对于部分图像的数据的是自适应供给。
<第二实施方式：移动电话>
图68示出本公开内容所应用于的移动电话的示意性配置。移动电话920具有通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录和再现单元929、显示单元930以及控制单元931。构成元件通过总线933互相连接。
另外，天线921连接至通信单元922，以及扬声器924和麦克风925连接至音频编解码器923。此外，操作单元932连接至控制单元931。
移动电话920包括MP4处理单元934和MPEG-DASH处理单元935。MP4处理单元934和MPEG-DASH处理单元935连接至总线933。
通信单元922执行与经由天线921的无线电信号的传送和接收有关的处理。音频编解码器923执行与音频数据的编码以及通过对音频数据进行解码而获得的音频编码数据的解码有关的处理。相机单元926对对象进行成像并且执行与成像有关的处理，例如图像数据的生成。
图像处理单元927对图像数据执行处理。例如，图像处理单元927可以对图像数据执行任意的图像处理。图像处理单元927还可以对图像数据进行编码或者对通过对图像数据进行编码而获得的编码数据进行解码。
解复用单元928执行例如与多条数据(例如图像数据或音频数据)的复用或者与复用的数据的解复用有关的处理。
记录和再现单元929包括能够执行读和写的任意的存储介质并且执行与将数据写(记录)至存储介质或者与读取(再现)存储于存储介质中的数据有关的处理。存储介质可以是内部型的存储介质例如RAM或闪速存储器，或者可以是外部安装型的存储介质例如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。
显示单元930包括显示装置(例如液晶显示器、等离子体显示器或有机电致发光显示器(OELD)(有机EL显示器))并且执行与图像显示有关的处理。
控制单元931包括处理器和存储器，处理器例如CPU，存储器例如RAM和ROM。存储器存储有由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据等。存储于存储器中的程序例如在移动电话920被激活时由CPU进行读取和执行。CPU例如通过执行程序根据从操作单元932输入的操作信号来控制移动电话920的每个处理单元的操作。
MP4处理单元934执行与MP4文件有关的处理。MPEG-DASH处理单元935执行与以基于MPEG-DASH标准或控制信息的方法进行递送的递送数据的生成有关的处理，例如MPD或MP4文件的生成。MPEG-DASH处理单元935还执行与以基于MPEG-DASH标准的方法进行递送的递送数据的再现有关的处理，例如MPD的分析或MP4文件的处理。
移动电话920执行各种操作，例如音频信号的传送和接收、电子邮件或图像数据的传送和接收、图像的捕获以及各种操作模式——操作模式例如音频呼叫模式、数据通信模式、拍摄模式和视频电话模式——下的数据的记录。
例如，在音频呼叫模式的情况下，由麦克风925生成的模拟音频信号被提供至音频编解码器923。音频编解码器923执行模数转换以将模拟音频信号转换成数字音频数据并且对数字音频数据进行编码(压缩)。音频编解码器923在压缩之后将音频数据(音频编码数据)输出至通信单元922。通信单元922对音频编码数据进行进一步编码或调制以生成传送信号。然后，通信单元922经由天线921将所生成的传送信号传送至基站(未示出)。
通信单元922对经由天线921接收的无线电信号执行放大或频率转换以获取所接收的信号，对所接收的信号进行解调或解码以生成音频编码数据，并且将音频编码数据输出至音频编解码器923。音频编解码器923对所提供的音频编码数据进行解码(解压缩)或者执行数模转换以生成模拟音频信号。音频编解码器923将模拟音频信号提供至扬声器924以输出音频。
例如，当在数据通信模式下执行邮件传送时，控制单元931接收由用户经由操作单元932输入的文本并且使得显示单元930能够显示所输入的文本。控制单元931经由操作单元932接收来自用户的邮件传送指令，根据指令生成电子邮件数据，并且将电子邮件数据提供至通信单元922。通信单元922对所提供的电子邮件数据进行编码或调制以生成传送信号，对传送信号执行频率转换或放大，并且将信号经由天线921传送至基站(未示出)。
例如，当在数据通信模式下执行邮件接收时，通信单元922对经由天线921接收的无线电信号执行放大或频率转换以获取所接收的信号，对所接收的信号进行解调或解码以存储电子邮件数据，并且将所存储的电子邮件数据提供至控制单元931。控制单元931使得显示单元930能够显示电子邮件的内容并且将电子邮件数据存储于记录和再现单元929的存储介质中。
例如，在拍摄模式的情况下，相机单元926对对象进行成像以生成图像数据。相机单元926将所生成的图像数据经由总线933提供至图像处理单元927。图像处理单元927对图像数据执行图像处理。相机单元926将经受了图像处理的图像数据经由总线933提供至显示单元930以显示图像。图像处理单元927基于控制单元931的控制(经由操作单元932输入的用户指令等)对经受了图像处理的图像数据进行编码以生成编码数据、将编码数据(图像编码数据)经由总线933提供至记录和再现单元929、并且将编码数据存储于存储介质中。
当在拍摄模式下连同拍摄一起还执行了声音采集时，相机单元926对对象进行成像并且生成图像数据，麦克风925采集声音并且模拟音频信号被生成。图像处理单元927对由相机单元926生成的图像数据执行图像处理并且使得显示单元930能够显示经受了图像处理的图像数据的图像。音频编解码器923将由麦克风925生成的模拟音频信号的音频从扬声器924输出。
图像处理单元927基于控制单元931的控制(经由操作单元932输入的用户指令等)对图像数据进行编码以生成图像编码数据并且将编码数据经由总线933提供至解复用单元928。音频编解码器923基于控制单元931的控制(经由操作单元932输入的用户指令等)对模拟音频信号执行模数转换以生成音频数据、对音频数据进一步进行编码以生成音频编码数据并且将音频编码数据经由总线933提供至解复用单元928。解复用单元928对所提供的图像编码数据和音频编码数据进行复用以生成复用的数据。解复用单元928将复用的数据经由总线933提供至记录和再现单元929并且将复用的数据存储于存储介质中。
例如，当在数据通信模式下传送图像数据时，通信单元922基于控制单元931的控制(经由操作单元932的用户指令等)从图像处理单元927或记录和再现单元929经由总线933获取图像编码数据、对图像编码数据进行编码或解调以生成传送信号、对传送信号执行频率转换或放大并且将信号经由天线921传送至基站(未示出)。
例如，当如在视频通话中传送图像和音频时，通信单元922基于控制单元931的控制(经由操作单元932输入的用户指令等)从解复用单元928经由总线933获取复用的数据——在复用的数据中图像和音频的数据(例如图像编码数据和音频编码数据)被复用、对复用的数据进行编码或调制以生成传送信号、对传送信号执行频率转换或放大并且将信号经由天线921传送至基站(未示出)。
例如，当对图像数据进行编码以生成MP4文件并且传送MP4文件时，MP4处理单元934基于控制单元931的控制(经由操作单元932输入的用户指令等)从相机单元926、图像处理单元927或记录和再现单元929等经由总线933获取图像数据(可以从解复用单元928获取复用的数据)，对图像数据进行编码以生成编码数据，进一步生成存储有编码数据的MP4文件，并且将MP4文件经由总线933提供至通信单元922。通信单元922基于控制单元931的控制对所提供的MP4文件进行编码或调制以生成传送信号、对传送信号执行频率转换或放大并且将信号经由天线921传送至基站(未示出)。
作为MP4处理单元934的处理，可以应用上述每个实施方式的方法。即，MP4处理单元934可以包括递送数据生成装置101(图11)的画面划分处理单元121、图像编码单元122、文件生成单元123和服务器上载处理单元126(图12)。在该情况下，MP4处理单元934针对每个码片对图像进行划分和编码，生成存储有每个码片的数据的MP4文件，并且将MP4文件上载至递送服务器102。以该方式，MP4处理单元934可以生成上面在实施方式中描述的各种MP4文件。即，移动电话920可以实现对于部分图像的数据的自适应供给。
例如，当对与图像数据有关的信息进行管理的MPD被生成并且MPD被传送时，MPEG-DASH处理单元935基于控制单元931的控制(经由操作单元932输入的用户指令等)从相机单元926、图像处理单元927或记录和再现单元929等经由总线933获取图像数据(可以从解复用单元928获取复用的数据)，生成对图像数据进行管理的MPD，并且将MPD文件经由总线933提供至通信单元922。通信单元922基于控制单元931的控制对所提供的MPD文件进行编码或调制以生成传送信号、对传送信号执行频率转换或放大并且将信号经由天线921提供至基站(未示出)。此时，MPEG-DASH处理单元935可以经由通信单元922、连同MPD文件一起来传送图像数据。
MPEG-DASH处理单元935可以对图像数据进行编码以生成对编码数据进行管理的MPD并且经由通信单元922来传送MPD文件。此外，MPEG-DASH处理单元935可以经由通信单元922、连同MPD文件一起来传送编码数据。
MPEG-DASH处理单元935可以对图像数据进行编码以生成存储有编码数据的MP4文件、生成对MP4文件进行管理的MPD并且经由通信单元922来传送MPD文件。此外，MPEG-DASH处理单元935可以经由通信单元922、连同MPD文件一起来传送MP4文件。
作为MPEG-DASH处理单元935的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元935可以包括递送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的码片型MPD生成单元141)。在该情况下，MPEG-DASH处理单元935针对每个码片对图像进行划分和编码，生成存储有每个码片的数据的MP4文件，生成对MP4文件进行管理的MPD，并且将他们上载至递送服务器102。以该方式，MPEG-DASH处理单元935可以生成上面在实施方式中描述的各种MPD(或MP4文件)。即，移动电话920可以实现对于部分图像的数据的自适应供给。
例如，当在数据通信模式下接收图像数据时，通信单元922基于控制单元931的控制(经由操作单元932输入的用户指令等)经由天线921接收无线电信号、对所接收的信号执行放大或频率转换以生成所接收的信号、对信号进行解调或解码以生成图像编码数据并且将图像编码数据经由总线933提供至图像处理单元927或记录和再现单元929。例如，图像处理单元927对所提供的图像编码数据进行解码并且将所获得的图像数据提供至显示单元930以显示图像。例如，记录和再现单元929将所提供的图像编码数据存储于存储介质中。
例如，当图像和音频如在视频通话中被接收时，通信单元922基于控制单元931的控制(经由操作单元932输入的用户指令等)经由天线921接收无线电信号、对无线电信号执行放大或频率转换以生成接收的信号并且对信号进行解调或解码以生成复用数据——在复用数据中图像和音频的数据(例如图像编码数据和音频编码数据)被复用。通信单元922将复用数据经由总线933提供至解复用单元928。例如，解复用单元928对包括在所提供的复用数据中的图像编码数据和音频编码数据进行解复用，将图像编码数据经由总线933提供至图像处理单元927或记录和再现单元929，并且将音频编码数据经由总线933提供至音频编解码器923。例如，图像处理单元927对所提供的图像编码数据进行解码并且将所获得的图像数据提供至显示单元930以显示图像。例如，记录和再现单元929将所提供的图像编码数据存储于存储介质中。例如，音频编解码器923对所提供的音频编码数据进行解码并且对所获得的音频数据执行数模转换以生成模拟音频信号并且将模拟音频信号的音频从扬声器924输出。
例如，当通信单元922接收存储有图像数据的编码数据的MP4文件时，MP4处理单元934基于控制单元931的控制(经由操作单元932输入的用户指令等)从通信单元922经由总线933获取MP4文件，对MP4文件进行分析以提取编码数据，对编码数据进一步进行解码，并且将所获得的图像数据经由总线933提供至图像处理单元927、记录和再现单元929以及显示单元930等。当从MP4文件提取复用数据或者对编码数据进行解码以获得复用数据时，MP4处理单元934将所获得的复用数据提供至解复用单元928。
作为MP4处理单元934的处理，可以应用上述每个实施方式的方法。即，MP4处理单元934可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和码片图像组合单元156(图13)。在该情况下，MP4处理单元934经由通信单元922等来获取MP4文件——MP4文件包括包括在期望的范围内的码片的数据，提取码片的编码数据并且对码片的编码数据进行解码，适当地组合所获得的码片的图像数据(码片图像)以生成期望的范围内的图像数据，并且将图像数据经由总线933提供至图像处理单元927、记录和再现单元929以及显示单元930等。以该方式，MP4处理单元934可以生成上面在实施方式中描述的各种MP4文件。即，移动电话920可以实现对于部分图像的数据的自适应供给。
例如，当通信单元922接收对与图像数据有关的信息进行管理的MPD文件时，MPEG-DASH处理单元935基于控制单元931的控制(经由操作单元932输入的用户指令等)从通信单元922经由总线933获取MPD文件并且对MPD文件进行分析以基于MPD来获取期望的图像数据。例如，当包括编码数据——编码数据是通过对图像数据进行编码而获得的——的MP4文件通过MPD被管理时，MPEG-DASH处理单元935基于MPD、经由通信单元922来获取与期望的图像相对应的MP4文件，对包括在MP4文件中的编码数据进行解码，并且将通过解码而获得图像数据经由总线933提供至图像处理单元927、记录和再现单元929或显示单元930等。当从MP4文件提取复用数据或者对编码数据进行解码以获得复用数据时，MPEG-DASH处理单元935将所获得的复用数据提供至解复用单元928。
作为MPEG-DASH处理单元935的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元935可以包括终端装置103(图11)的MPD获取单元151至码片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)。MPEG-DASH处理单元935对MPD进行分析，经由通信单元922等来获取MP4文件——MP4文件包括包括在期望的范围内的码片的数据，提取码片的编码数据并且对码片的编码数据进行解码，适当地组合所获得的码片的图像数据(码片图像)以生成在期望的范围内的图像数据，并且将图像数据提供至图像处理单元927、记录和再现单元929以及显示单元930等。以该方式，MPEG-DASH处理单元935可以对在实施方式中描述的各种MP4文件进行处理以获得期望的图像数据。即，移动电话920可以实现对于部分图像的数据的自适应供给。
<第十实施方式>
<其他示例>
虽然已经在上面描述了本技术所应用于的装置和系统等的示例，但是本技术不限于此，而是可以被实现为安装在装置或构成系统的装置中的任意配置，例如，具有系统大规模集成(LSI)的形式的处理器、使用多个处理器的模块、使用多个模块的单元和通过向单元另外添加其他功能而获得的设备(即，装置的部分配置)等。
<视频设备>
将参照图69来描述其中将本技术实现为设备的示例。图69为示出本公开内容所应用于的视频设备的示意性配置的示例。
近年来，由于电子装置逐渐变得多功能，所以当在开发和制造阶段针对销售和供应等来准备每个装置的一些配置时，则不仅存在这样的装置被配置成具有一个功能的情况，而且存在具有相关功能的多个配置被组合并且被实现为具有多个功能的一个装置的许多情况。
通过将具有图像的编码和解码功能的装置(该装置可以具有编码和解码功能中的任一者或者二者)与具有与前述功能有关的其他功能的装置进行组合，图69所示的视频设备1300被如上所述配置成多功能的。
如图69所示，视频设备1300具有包括视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314等的模块群组以及具有例如连接1321、相机1322和传感器1323等的相关功能的装置。
模块为其中若干个相关的组成功能被结合以提供结合的功能的部件的形式。具体的物理配置是任意的，然而，认为具体的物理配置是下述集成:在该集成中，将例如每一者均具有功能的多个处理器、电子电路元件例如电阻器和电容器以及其他装置布置在电路板上。另外，也考虑通过将模块与另一模块或处理器等进行组合来构造新的模块。
在图69的示例中，视频模块1311是具有与图像处理有关的功能的配置的组合，并且具有应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
处理器是使用片上系统(SoC(System-On-Chip))与具有预定功能的配置集成的半导体芯片，并且又被称为例如系统大规模集成(LSI)等。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是连同CPU、ROM和RAM一起通过使用元件进行执行的程序(软件配置)，或者可以是两种配置的组合。例如，处理器可以具有逻辑电路、CPU、ROM和RAM等并且可以用逻辑电路实现一些功能(硬件配置)，或者可以用由CPU执行的程序来实现其他功能(软件配置)。
图69的应用处理器1331为执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用不仅可以执行运算处理，而且可以在必要时控制视频模块1311内部和外部的配置例如视频处理器1332以实现预定功能。
视频处理器1332是具有与图像的编码和解码(编码和解码中的一者或二者)有关的功能的处理器。
宽带调制解调器1333是执行与通过宽带线例如因特网或公共电话线网络执行的有线或无线(或有二者)宽带通信有关的处理的处理器(模块)。例如，宽带调制解调器1333通过执行数字调制等将要传送的数据(数字信号)转换成模拟信号，或者通过执行解调将所接收的模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333可以对例如要由视频处理器1332处理的图像数据、通过对图像数据进行编码而获得的流、应用程序或设置数据的任意信息进行数字调制/解调。
RF模块1334是对经由天线进行传送和接收的无线电频率(RF)信号执行频率转换、调制和解调、放大以及滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。另外，RF模块1334例如通过对经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。
注意，如图69中的虚线1341所指示的，可以将应用处理器1331和视频处理器1332进行集成以组成一个处理器。
外部存储器1312是设置在视频模块1311的外部的模块，具有由视频模块1311使用的存储装置。外部存储器1312的存储装置可以用任意物理配置进行实现，但是其通常在存储大量数据例如以帧为单位的图像数据时被使用，因此期望的是以相对便宜且高容量的半导体存储器例如动态随机存取存储器(DRAM)来实现存储装置。
电力管理模块1313管理并且控制向视频模块1311(视频模块1311内部的每个组成元件)的电力供给。
前端模块1314是向RF模块1334提供前端功能的模块(充当天线侧的传送和接收端的电路)。如图38所示，前端模块1314具有例如天线单元1351、滤波器1352和放大单元1353。
天线单元1351被配置有传送和接收无线信号的天线及其外围装置。天线单元1351将从放大单元1353提供的信号作为无线电信号进行传送并且将所接收的无线电信号作为电信号(RF信号)提供至滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波处理等并且将经处理的RF信号提供至RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大并且将信号提供至天线单元1351。
连接1321是具有涉及与外部的连接的功能的模块。连接1321的物理配置是任意的。连接1321具有例如：具有除了宽带调制解调器1333所对应于的通信标准的通信功能以外的通信功能的配置，或者外部输入和输出端等。
例如，连接1321可以具有基于无线通信标准的通信功能或基于该标准来传送和接收信号的天线等，所述无线通信标准例如蓝牙(注册商标)、IEEE 802.11(例如，无线保真(Wi-Fi；注册商标))、近场通信(NFC)或红外数据协会(IrDA)。另外，连接1321可以具有例如具有基于有线通信标准的通信功能的模块或者基于该标准的终端，所述有线通信标准例如通用串行总线(USB)或高清晰度多媒体接口(HDMI；注册商标)。再者，连接1321可以具有例如模拟输入和输出端等的另一数据(信号)传送功能。
注意，可以将连接1321设置成包括充当数据(信号)传送目的地的装置。例如，可以将连接1321设置成具有关于记录介质来读和写数据的驱动器(不仅包括可移除介质的驱动器，而且包括硬盘、固态驱动器(SSD)或网络附接存储装置(NAS)等的驱动器)，所述记录介质例如磁盘、光盘、磁光盘或半导体存储器等。另外，可以将连接1321设置成具有图像或音频输出装置(监控器或扬声器等)。
相机1322是具有对对象进行拍摄并且获得对象的图像数据的功能的模块。从由相机1322的拍摄所获得的图像数据例如被提供至视频处理器1332并且由视频处理器1332进行编码。
传感器1323是具有例如以下传感器的任意的感测功能的模块：声音传感器；超声波传感器；光传感器；照度传感器；红外传感器；图像传感器；旋转传感器；角度传感器；角速度传感器；速度传感器；加速度传感器；倾角传感器；磁识别传感器；震动传感器；以及温度传感器等。由传感器1323检测的数据例如被提供至应用处理器1331并且由应用等进行使用。
可以将在上面描述为模块的配置实现为处理器，或者相反地，可以将描述为处理器的配置实现为模块。
在具有上述配置的视频设备1300中，本技术可以应用于将在下面描述的视频处理器1332。因此，可以将视频设备1300实现为本技术所应用于的设备。
例如，视频处理器1332可以执行与MP4文件有关的处理或者执行与以基于MPEG-DASH标准的方法递送的递送数据或控制信息的生成或再现有关的处理。将在下面描述视频处理器1332的细节。
应用处理器1331可以执行应用以执行与MP4文件有关的处理或者执行与以基于MPEG-DASH标准的方法进行递送的递送数据或控制信息的生成或在线有关的处理。作为应用处理器1331的处理，可以应用上述每个实施方式的方法。
即，例如，应用处理器1331可以执行应用以具有递送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的码片型MPD生成单元141)的功能。在该情况下，应用处理器1331针对每个码片对图像进行划分和编码，生成存储有每个码片的数据的MP4文件，并且将MP4文件上载至递送服务器102。应用处理器1331还可以生成对所生成的MP4文件进行管理的MPD并且将他们上载至递送服务器102。以该方式，应用处理器1331可以生成上面在实施方式中描述的各种MPD或MP4文件。即，视频设备1330可以实现对于部分图像的数据的自适应供给。
例如，应用处理器1331可以执行应用以具有终端装置103(图11)的MPD获取单元151至码片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)的功能。在该情况下，基于用户指令等，应用处理器1331可以获取MP4文件——该MP4文件包括包括在期望的范围内的码片的数据，提取码片的编码数据并且对码片的编码数据进行解码，并且适当地组合所获得的码片的图像数据(码片图像)以生成在期望的范围内的图像数据。应用处理器1331还可以获取MPD，对所获取的MPD进行分析，基于分析结果来获取MP4文件——MP4文件包括包括在期望的范围内的码片的数据，提取码片的编码数据并且对码片的编码数据进行解码，并且适当地组合所获得的码片的图像数据(码片图像)以生成在期望的范围内的图像数据。以该方式，应用处理器1331可以对上面在实施方式中描述的各种MPD或MP4文件进行处理以获得期望的图像数据。即，视频设备1330可以实现对于部分图像的数据的自适应供给。
<视频处理器的配置的示例>
图70示出本公开内容所应用于的视频处理器1332(图69的视频处理器1332)的示意性配置的示例。
如图70所示，视频处理器1332具有视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。另外，视频处理器1332具有编码/解码引擎1407、视频基本流(ES)缓冲器1408A和视频基本流(ES)缓冲器1408B，以及音频ES缓冲器1409A和音频ES缓冲器1409B。再者，视频处理器1332具有音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413以及流缓冲器1414。此外，视频处理器1332包括MP4处理单元1415和MPEG-DASH处理单元1416。
视频输入处理单元1401获取从例如连接1321输入的视频信号并且将信号转换成数字图像数据。第一图像放大和缩小单元1402对图像数据执行格式转换或者图像放大或缩小处理等。第二图像放大和缩小单元1403根据数据经由视频输出处理单元1404被输出至的目的地的格式对图像数据执行图像放大或缩小处理，或者以与第一图像放大和缩小单元1402相同的方式执行格式转换或者图像放大或缩小处理等。视频输出处理单元1404对图像数据执行格式转换、转换成模拟信号等，并且将数据作为再现的视频信号输出至例如连接1321。
帧存储器1405是针对由下述单元所共享的图像数据的存储器：视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404和编码/解码引擎1407。帧存储器1405被实现为半导体存储器，例如DRAM等。
存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的对帧存储器1405的访问时间表来控制对帧存储器1405进行写和读的访问。访问管理表1406A由存储器控制单元1406根据在编码/解码引擎1407、第一图像放大和缩小单元1402和第二图像放大和缩小单元1403等中执行的处理进行更新。
编码/解码引擎1407执行对图像数据的编码处理以及对视频流的解码处理，所述视频流是通过对图像数据进行编码而获得的数据。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将数据作为视频流顺序地写入视频ES缓冲器1408A。另外，例如，编码/解码引擎1407从视频ES缓冲器1408B顺序地读取视频流，并且将数据作为图像数据顺序地写入帧存储器1405。编码/解码引擎1407将帧存储器1405用作工作区以进行这样的编码和解码。另外，编码/解码引擎1407在例如开始对每个微块的处理时向存储器控制单元1406输出同步信号。此外，编码/解码引擎1407执行图像数据的编码或编码数据的解码，所述编码数据是通过在必要时使用MP4处理单元1415或MPEG-DASH处理单元1416对图像数据进行编码而获得的。
视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲并且将流提供至复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413提供的视频流进行缓冲并且将流提供至编码/解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲并且将流提供至复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413提供的音频流进行缓冲并且将流提供至音频解码器1411。
音频编码器1410例如对从例如连接1321等输入的音频信号进行数字转换，并且以预定方案对信号进行编码，所述预定方案例如MPEG音频方案或音频编码序号3(AudioCodenumber 3)(AC3)方案等。音频编码器1410将作为通过对音频信号进行编码而获得的数据的音频流顺序写入音频ES缓冲器1409A中。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行到例如模拟信号的转换，并且将信号作为再现的音频信号提供至例如连接1321。
复用器(MUX)1412对视频流或音频流进行复用。用于该复用(即，根据复用而生成的位流的格式)的方法是任意的。另外，在复用期间，复用器(MUX)1412还可以向位流添加预定的报头信息等。换言之，复用器(MUX)1412可以通过复用对流的格式进行转换。通过对视频流和音频流进行复用，例如，复用器(MUX)1412将流转换成输送流(transport stream)，输送流是用于输送的格式的位流。另外，通过对视频流和音频流进行复用，例如，复用器(MUX)1412将流转换成用于记录的文件格式的数据(文件数据)。
解复用器(DMUX)1413使用与由复用器(MUX)1412执行的复用相对应的方法对通过对视频流和音频流进行复用而获得的位流进行解复用。换言之，解复用器(DMUX)1413根据从流缓冲器1414读取的位流提取视频流和音频流(将位流分离成视频流和音频流)。解复用器(DMUX)1413可以通过解复用对流的格式进行转换(经由复用器(MUX)1412的转换的相反转换)。例如，解复用器(DMUX)1413可以经由流缓冲器1414来获取从例如连接1321、宽带调制解调器1333等提供的输送流(transport stream)，并且通过解复用将流转换成视频流和音频流。另外，例如，解复用器(DMUX)1413可以经由流缓冲器1414来获取由例如连接1321从各种记录介质读取的文件数据，并且通过解复用将数据转换成视频流和音频流。
流缓冲器1414对位流进行缓冲。例如，流缓冲器1414对从复用器(MUX)1412提供的输送流进行缓冲，并且在预定时刻或者基于来自外部的请求等将流提供至例如连接1321、宽带调制解调器1333等。
另外，例如，流缓冲器1414对从复用器(MUX)1412提供的文件数据进行缓冲，并且在预定时刻或者基于来自外部的请求等将数据提供至例如连接1321等以使得数据能够被记录在各种记录介质中的任意记录介质上。
再者，流缓冲器1414对经由例如连接1321、宽带调制解调器1333等获取的输送流进行缓冲，并且在预定时刻或者基于来自外部的请求等将流提供至解复用器(DMUX)1413。
另外，流缓冲器1414对经由例如连接1321等从各种记录介质中的任意记录介质读取的文件数据进行缓冲，并且在预定时刻或者基于来自外部的请求等将数据提供至解复用器(DMUX)1413。
MP4处理单元1415执行与MP4文件有关的处理，例如MP4文件的生成或再现。MPEG-DASH处理单元1416执行与以基于MPEG-DASH标准或控制信息的方法递送的递送数据的生成或再现有关的处理，例如MPD或MP4文件的生成或再现。
接着，将描述具有该配置的视频处理器1332的操作的示例。例如，从连接1321等输入至视频处理器1332的视频信号在视频输入处理单元1401中以预定的格式例如4:2:2的YCbCr格式被转换成数字图像数据，并且被顺序地写入帧存储器1405中。该数字图像数据由第一图像放大和缩小单元1402或第二图像放大和缩小单元1403进行读取，以预定格式例如4:2:0的YCbCr格式经历格式转换和放大或缩小处理，并且然后又被写入帧存储器1405中。该图像数据由编码/解码引擎1407进行编码并且作为视频流被写入视频ES缓冲器1408A中。
另外，从连接1321输入至视频处理器1332的音频信号通过音频编码器1410进行编码，并且然后作为音频流被写入音频ES缓冲器1409A。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流由复用器(MUX)1412进行读取和复用以转换成输送流或文件数据等。由复用器(MUX)1412生成的输送流在流缓冲器1414中被缓冲，并且然后经由例如连接1321、宽带调制解调器1333等被输出至外部网络。另外，由复用器(MUX)1412生成的文件数据在流缓冲器1414中被缓冲，并且被输出至例如连接1321(图29的连接1321)以记录在各种记录介质中的任意记录介质中。
另外，经由例如连接1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的输送流在流缓冲器1414中被缓冲，并且然后被解复用器(DMUX)1413解复用。另外，例如，经由连接1321从各种记录介质中的任意的记录介质读取并且被输入至视频处理器1332的文件数据在流缓冲器1414中被缓冲，并且然后被解复用器(DMUX)1413解复用。换言之，输入至视频处理器1332的输送流或文件数据被解复用器(DMUX)1413分离成视频流和音频流。
音频流经由音频ES缓冲器1409B被提供至音频解码器1411以进行解码并且音频信号被再现。另外，视频流被写入视频ES缓冲器1408B中，然后由编码/解码引擎1407顺序地读取视频流以进行解码，并且视频流被写入帧存储器1405中。解码的图像数据通过第二图像放大和缩小单元1403经历放大和缩小处理，并且被写入帧存储器1405中。然后，解码的图像数据由视频输出处理单元1404读取，以预定格式例如4:2:2的YCbCr格式经历格式转换，并且被进一步转换成模拟信号，并且视频信号被再现以进行输出。
MP4处理单元1415经由编码/解码引擎1407来获取存储于例如帧存储器1405中的图像数据，对图像数据进行编码以生成编码数据，并且进一步生成存储有编码数据的MP4文件。MP4处理单元1415将所生成的MP4文件提供至编码/解码引擎1407。编码/解码引擎1407经由例如视频ES缓冲器1408A、复用单元(MUX)1412和流缓冲器1414等将所提供的MP4文件输出至视频处理器1332的外部，并且经由连接1321、宽带调制解调器1333等将MP4文件输出至外部网络。
例如，MP4处理单元1415经由编码/解码引擎1407来获取MP4文件——MP4文件是经由连接1321、宽带调制解调器1333等从外部网络获取的并且被存储于视频ES缓冲器1408B中，对MP4文件进行分析以提取编码数据，并且进一步对编码数据进行解码。MP4处理单元1415将所获得的图像数据提供至编码/解码引擎1407。编码/解码引擎1407将所提供的图像数据经由帧存储器1405提供至视频输出处理单元1404，并且将图像数据作为视频信号输出至视频处理器1332的外部。
作为MP4处理单元1415的处理，可以应用上述每个实施方式的方法。即，MP4处理单元1415可以包括递送数据生成装置101(图11)的画面划分处理单元121、图像编码单元122、文件生成单元123和服务器上载处理单元126(图12)。在该情况下，MP4处理单元1415针对每个码片对图像进行划分和编码，生成存储有每个码片的数据的MP4文件，并且经由连接1321等将MP4文件上载至递送服务器102。以该方式，MP4处理单元1415可以生在上面的实施方式中描述的各种MP4文件。
MP4处理单元1415可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和码片图像组合单元156(图13)。在该情况下，MP4处理单元1415经由连接1321等从递送服务器102下载MP4文件——MP4文件包括包括在期望范围内的码片的数据，从MP4文件提取码片的编码数据并且对码片的编码数据进行解码，适当地组合所获得的码片的图像数据(码片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MP4处理单元1415可以对上面在实施方式中所述的各种MP4文件进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
例如，MPEG-DASH处理单元1416经由编码/解码引擎1407来获取存储于帧存储器1405中的图像数据，生成对图像数据进行管理的MPD，并且将MPD文件提供至编码/解码引擎1407。例如，编码/解码引擎1407经由视频ES缓冲器1408A、复用单元(MUX)1412和流缓冲器1414等将所提供的MPD文件输出至视频处理器1332的外部，并且经由连接1321、宽带调制解调器1333等将MPD文件输出至外部网络。
MPEG-DASH处理单元1416可以对图像数据进行编码以生成存储有编码数据的MP4文件以及生成对MP4文件进行管理的MPD，并且将MPD文件输出至外部网络。MPEG-DASH处理单元1416可以将MP4文件连同MPD文件一起输出至外部网络。
例如，MPEG-DASH处理单元1416经由编码/解码引擎1407来获取MPD文件——MPD文件是经由连接1321、宽带调制解调器1333等从外部网络获取的并且被存储于视频ES缓冲器1408B中，对MPD文件进行分析，并且基于MPD获取期望的图像数据。例如，当MP4文件——MP4文件包括通过对图像数据进行编码而获得的编码数据——通过MPD被管理时，MPEG-DASH处理单元1416基于MPD从外部网络获取与期望的图像相对应的MP4文件，对包括在MP4文件中的编码数据进行解码，并且将通过解码而获得的图像数据提供至编码/解码引擎1407。编码/解码引擎1407将所提供的图像数据经由帧存储器1405提供至视频输出处理单元1404，并且将图像数据作为视频信号输出至视频处理器1332的外部。
作为MPEG-DASH处理单元1416的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元1416可以包括递送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的码片型MPD生成单元141)。在该情况下，MPEG-DASH处理单元1416针对每个码片对图像进行划分和编码，生成存储有的每个码片的数据的MP4文件，生成对MP4文件进行管理的MPD，并且将他们经由连接1321等上载至递送服务器102。以该方式，MPEG-DASH处理单元1416可以生成在实施方式中描述的各种MPD。
MPEG-DASH处理单元1416可以包括终端装置103(图11)的MPD获取单元151至码片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)。在该情况下，MPEG-DASH处理单元1416对MPD进行分析，经由连接1321等从递送服务器102下载MP4文件——MP4文件包括包括在期望范围内的码片的数据，从MP4文件提取码片的编码数据并且对码片的编码数据进行解码，适当地组合所获得的码片的图像数据(码片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MPEG-DASH处理单元1416可以对在上面的实施方式中描述的各种MPD进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
在MP4处理单元1415和MPEG-DASH处理单元1416中，本技术(上述递送数据生成装置101或终端装置103的功能)可以通过硬件例如逻辑电路进行实现，可以通过软件例如嵌入式程序进行实现，或者可以通过二者进行实现。
<视频处理器的配置的其他示例>
图71示出本公开内容所应用于的视频处理器1332的示意性配置的另一示例。在图71的示例的情况下，视频处理器1332具有以预定方案对视频数据进行编码和解码的功能。
更具体地，如图71所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332包括编解码引擎1516、存储器接口1517、复用和解复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的每个处理单元例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。
如图71所示，例如，控制单元1511包括主CPU 1531、子CPU 1532和系统控制器1533。主CPU 1531执行程序等以控制视频处理器1332中的每个处理单元的操作。主CPU1531根据程序等来生成控制信号并且将控制信号提供至每个处理单元(即，控制每个处理单元的操作)。子CPU1532充当主CPU 1531的辅助角色。例如，子CPU 1532执行由主CPU 1531所执行的程序等的子代处理(offspring process)或子例程。系统控制器1533控制主CPU1531和子CPU 1532的操作，例如指定由主CPU 1531和子CPU 1532执行的程序。
显示接口1512在控制单元1511的控制下将图像数据输出至例如连接1321。例如，显示接口1512将数字数据的图像数据转换成模拟信号并且将图像数据作为再现的视频信号或数字数据的图像数据输出至连接的监视装置(monitor device)等。
显示引擎1513在控制单元1511的控制下对图像数据执行各种变换处理例如格式变换、尺寸变换或色饱和度变换以匹配显示图像的监视装置等的硬件规格。
图像处理引擎1514在控制单元1511的控制下对图像数据执行预定的图像处理例如滤波处理以例如改进图像质量。
内部存储器是由显示引擎1513、图像处理引擎1514和编解码引擎1516共享的存储器并且被设置在视频处理器1332的内部。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码引擎1516中间传送和接收数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据并且在必要时(例如根据请求)将数据提供至显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以通过任意的存储装置进行实现，但是内部存储器1515在许多情况下通常用于存储具有小容量的数据例如以块为单位的参数或图像数据。因此，内部存储器1515优选地通过例如具有相对小的容量(与例如内部存储器1312相比)和快的响应速度的半导体存储器例如静态随机存取存储器(SRAM)进行实现。
编解码引擎1516执行与图像数据的编码或解码有关的处理。可以使用编解码引擎1516所对应的任意的编码和解码方案，并且方案的数目可以是单数或复数。例如，编解码引擎1516可以包括多个编码和解码方案的编解码功能，并且可以使用从那里选择的编解码功能来对图像数据进行编码并且对编码数据进行解码。
在图71所示的示例中，作为与编解码器的处理有关的功能块，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可分级)1544和HEVC/H.265(多视图)1545并且包括MPEG-DASH 1551和MP4处理单元1552。
MPEG-2视频1541为以MPEG-2方案对图像数据进行编码或解码的功能块。AVC/H.2641542为以AVC方案对图像数据进行编码或解码的功能块。HEVC/H.2651543为以HEVC方案对图像数据进行编码或解码的功能块。HEVC/H.265(可分级)1544为以HEVC方案对图像数据执行可分级编码或可分级解码的功能块。HEVC/H.265(多视图)1545为以HEVC方案对图像数据执行多视图编码或多视图解码的功能块。
MPEG-DASH 1551执行以基于MPEG-DASH标准的方法递送的递送数据或控制信息的生成或再现有关的处理，例如MPD或MP4文件的生成或再现。MP4处理单元1552执行与MP4文件有关的处理，例如MP4文件的生成或再现。当MPEG-DASH 1551和MP4处理单元1552执行图像数据的编码和解码时，MPEG-DASH 1551和MP4处理单元1552使用上述的MPEG-2视频1541至HEVC/H.265(多视图)1545。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516提供的数据经由存储器接口1517被提供至外部存储器1312。从外部存储器1312读取的数据经由存储器接口1517被提供至视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用和解复用单元(MUX DMUX)1518对与图像有关的各种数据例如图像数据、视频信号、编码数据的位流进行复用或解复用。可以使用任意的复用和解复用方法。例如，在进行复用时，复用和解复用单元(MUX DMUX)1518可以将多条数据集中到一条数据中并且还可以将预定的报头信息等添加至数据。在进行解复用时，复用和解复用单元(MUX DMUX)1518将一条数据划分成多条数据并且还可以将预定的报头信息等添加至每条划分的数据。即，复用和解复用单元(MUX DMUX)1518可以通过复用和解复用来转换数据的格式。例如，复用和解复用单元(MUX DMUX)1518可以通过对位流进行复用来将数据转换成作为具有传送格式的位流的输送流或者转换成具有用于记录的文件格式的数据(文件数据)。当然，也可以通过解复用来执行反向转换。
网络接口1519是例如用于宽带调制解调器1333、连接1321等的接口。视频接口1520是用于连接1321、相机1322的接口。
接着，将描述视频处理器1332的操作的示例。例如，当输送流经由连接1321、宽带调制解调器1333等从外部网络被接收时，输送流经由网络接口1519被提供至复用和解复用单元(MUX DMUX)1518以进行解复用，并且然后通过编解码引擎1516被解码。例如，通过编解码引擎1516的解码而获得的图像数据通过图像处理引擎1514受到预定的图像处理，通过显示引擎1513受到预定的转换，并且经由显示接口1512被提供至例如连接1321，并且然后图像被显示在监视器上。例如，通过编解码引擎1516的解码而获得的图像数据通过编解码引擎1516被重新编码，被复用和解复用单元(MUX DMUX)1518复用以转换成文件数据，经由视频接口1520被输出至例如连接1321并且被记录在各种记录介质中。
此外，例如，由连接1321等从记录介质(未示出)读取的以及通过对图像数据进行编码而获得的编码数据的文件数据经由视频接口1520被提供至复用和解复用单元(MUXDMUX)1518以进行解复用，并且然后由编解码引擎1516进行解码。通过编解码引擎1516的解码而获得的图像数据通过图像处理引擎1514受到预定的图像处理，通过显示引擎1513受到预定的转换，并且经由显示接口1512被提供至例如连接1321，并且然后图像被显示在监视器上。例如，通过编解码引擎1516的解码而获得的图像数据通过编解码引擎1516被重新编码，通过复用和解复用单元(MUX DMUX)1518被复用以转换成输送流，经由网络接口1519被提供至例如连接1321、宽带调制解调器1333，并且被传送至另一装置(未示出)。
使用例如内部存储器1515或外部存储器1312来执行图像数据或其他数据在视频处理器1332中的处理单元之间的传送和接收。电力管理模块1313控制向例如控制单元1511的电力供给。
编解码引擎1516的MP4处理单元1552获取例如从外部存储器1312读取的图像数据，使用MPEG-2视频1541至HEVC/H.265(多视图)1545中的任意者对图像数据进行编码以生成编码数据，并且进一步生成存储有编码数据的MP4文件。MP4处理单元1552经由例如存储器接口1517将所生成的MP4文件提供至外部存储器1312以存储MP4文件。例如，MP4文件由存储器接口1517读取，经由复用和解复用单元(MUX DMUX)1518或网络接口1519被输出至视频处理器1332的外部，并且经由连接1321、宽带调制解调器1333等被输出至外部网络。
例如，MP4处理单元1552经由存储器接口1517获取MP4文件，其中，MP4文件经由连接1321、宽带调制解调器1333等被获取，经由网络接口1519、复用和解复用单元(MUX DMUX)1518以及存储器接口1517等被提供至外部存储器1312，并且被存储。MP4处理单元1552对所获取的MP4文件进行分析，提取编码数据，并且使用MPEG-2视频1541至HEVC/H.265(多视图)1545中的任意者对编码数据进一步进行解码。MP4处理单元1552经由例如存储器接口1517将所获得的图像数据提供至外部存储器1312以存储图像数据。例如，图像数据通过存储器接口1517被读取并且经由图像处理引擎1514、显示引擎1513和显示接口1512等被提供至例如连接1321，使得图像被显示在监视器上。
作为MP4处理单元1552的处理，可以应用上述每个实施方式的方法。即，MP4处理单元1552可以包括递送数据生成装置101(图11)的画面划分处理单元121、图像编码单元122、文件生成单元123和服务器上载处理单元126(图12)。在该情况下，MP4处理单元1552针对每个码片对图像进行划分和编码，生成存储有每个码片的数据的MP4文件，并且经由连接1321等将MP4文件上载至递送服务器102。以该方式，MP4处理单元1552可以生成实施方式中的上述的各种MP4文件。
MP4处理单元1552可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和码片图像组合单元156(图13)。在该情况下，MP4处理单元1552经由连接1321等从递送服务器102下载MP4文件——MP4文件包括包括在期望范围内的码片的数据，从MP4文件提取码片的编码数据并且对码片的编码数据进行解码，适当地组合所获得的码片的图像数据(码片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MP4处理单元1552可以对上面在实施方式中所述的各种MP4文件进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
MPEG-DASH 1551获取从例如外部存储器1312读取的图像数据并且生成对图像数据进行管理的MPD。MPEG-DASH 1551经由例如存储器接口1517将所生成的MPD文件提供至外部存储器以存储MPD文件。例如，MP4文件由存储器接口1517读取，经由复用和解复用单元(MUX DMUX)1518或网络接口1519被输出至视频处理器1332的外部，并且经由连接1321、宽带调制解调器1333等被输出至外部网络。
MPEG-DASH 1551可以对图像数据进行编码以生成存储有编码数据的MP4文件以及生成对MP4文件进行管理的MPD，并且将MPD文件输出至外部网络。MPEG-DASH 1551可以将MP4文件连同MPD文件一起输出至外部网络。
例如，MPEG-DASH 1551经由存储器接口1517获取MPD文件，其中，MPD文件经由连接1321、宽带调制解调器1333等被获取，经由网络接口1519、复用和解复用单元(MUX DMUX)1518以及存储器接口1517等被提供至外部存储器1312，并且被存储。MPEG-DASH 1551对所获取的MPD进行分析并且基于MPD来获取期望的图像数据。例如，当包括通过对图像数据进行编码而获得的编码数据的MP4文件通过MPD被管理时，MPEG-DASH 1551基于MPD从外部网络获取与期望的图像相对应的MP4，提取包括在MP4文件中的编码数据，使用MPEG-2视频1541至HEVC/H.265(多视图)1545中的任意者来对编码数据进一步进行解码。MPEG-DASH1551经由例如存储器接口1517将所获得的图像数据提供至外部存储器以存储图像数据。例如，图像数据通过存储器接口1517被读取并且经由图像处理引擎1514、显示引擎1513和显示接口1512等被提供至例如连接1321，使得图像被显示在监视器上。
作为MPEG-DASH 1551的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH1551可以包括递送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的码片型MPD生成单元141)。在该情况下，MPEG-DASH 1551针对每个码片对图像进行划分和编码，生成存储有的每个码片的数据的MP4文件，生成对MP4文件进行管理的MPD，并且将他们经由连接1321等上载至递送服务器102。以该方式，MPEG-DASH1551可以生成在实施方式中描述的各种MPD。
MPEG-DASH 1551可以包括终端装置103(图11)的MPD获取单元151至码片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)。在该情况下，MPEG-DASH 1551对MPD进行分析，经由连接1321等从递送服务器102下载MP4文件——MP4文件包括包括在期望范围内的码片的数据，从MP4文件提取码片的编码数据并且对码片的编码数据进行解码，适当地组合所获得的码片的图像数据(码片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MPEG-DASH 1551可以对上面在实施方式中描述的各种MPD进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
在MP4 1551和MP4处理单元1552中，本技术(上述递送数据生成装置101或终端装置103的功能)可以通过硬件例如逻辑电路进行实现，可以通过软件例如嵌入式程序进行实现，或者可以通过二者进行实现。
已经简化了视频处理器1332的两个配置，但是视频处理器1332的配置是任意的并且可以是除了上述配置以外的配置。可以将视频处理器1332配置为单个半导体芯片或者可以将视频处理器1332配置为多个半导体芯片。例如，可以使用3维层压LSI，在三维层压LSI中多个半导体被层压。视频处理器1332可以通过多个LSI进行实现。
<装置的应用示例>
可以将视频设备1300嵌入对图像数据进行处理的各种装置中。例如，可以将视频设备1300嵌入电视装置900(图67)中或移动电话920(图68)中。通过使视频设备1300嵌入，装置可以获得与参照图1至图66所描述的优点相同的优点。
也可以将上述视频设备1300的每个配置的一部分实现为本技术所应用于的配置，只要配置的该部分包括视频设备1332即可。例如，可以仅将视频处理器1332实现为本技术所应用于的视频处理器。例如，可以将上述的由虚线1341所指示的视频模块1331或处理器实现为本技术所应用于的处理器或模块等。此外，例如，可以将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314进行组合以实现为本技术所应用于的视频单元1361。可以不管配置而获得与参照图1至图66所描述的优点相同的优点。
即，如在视频设备1300的情况下，可以将任意配置嵌入处理图像数据的各种装置中，只要配置包括视频设备1332即可。例如，可以将由虚线1341指示的视频处理器1332或处理器、视频模块1311或视频单元1361嵌入电视装置900(图67)和移动电话920(图68)等。通过嵌入本技术所应用于的任意配置，如在视频设备1300中，装置可以获得与参照图1至图66所描述的优点相同的优点。
本说明书中描述的优点仅是示例性的且不被限制并且可以获得其他优点。
在本说明书中，系统指一组多个构成元件(装置和模块(部件)等)并且所有构成元件可以被包括或者可以不被包括在同一个壳中。相应地，容纳于单独的壳中并且经由网络连接的多个装置以及其中多个模块被容纳于单个壳中的单个装置均为系统。
可以将上面描述为单个装置(或处理单元)的配置进行划分并且配置为多个装置(或处理单元)。与此相反，可以将上面描述为多个装置(或处理单元)的配置进行集中并且配置为单个装置(或处理单元)。当然可以将除了上述配置以外的配置添加至装置(或处理单元)的配置。此外，只要配置或操作在整个系统中基本相同，就可以将某些装置(或处理单元)的配置的一部分包括在其他装置(或其他处理单元)的配置中。
上面已经参照附图描述了本公开内容的优选实施方式，然而本公开内容当然并不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解的是所述各种变更和修改将自然地归入本公开内容的技术范围内。
例如，在本技术中，可以实现云计算配置，在云计算配置中，单个功能经由网络被多个装置共享和处理。
上述流程图中描述的每一步可以由单个装置执行并且也可以由多个装置共享和执行。
当单个步骤中包括多个处理时，包括在单个步骤中的多个处理可以由单个装置执行并且也可以由多个装置共享和执行。
可以将根据上述实施方式的信息处理装置应用于各种电子装置，例如：在卫星广播、有线广播例如有线电视或因特网的递送中以及在通过蜂窝通信至终端的递送中的发射器或接收器；将图像记录在介质例如光盘、磁盘或闪速存储器中的记录装置；或者再现来自存储介质的图像的再现装置。
在本说明书中，已经描述了以下示例：在该示例中，各种元数据在位流中被复用并且被从编码侧传送至解码侧。然而，传送信息的方法并不限于示例。例如，可以将信息作为与位流相关联的单独的各条数据进行传送或记录，而不将信息在位流中进行复用。在此，术语“相关联”指包括在位流中的图像(所述图像可以为图像的一部分，例如切片或块)以及与图像相对应的信息可以在解码时被链接。即，可以根据图像的位流沿不同的传送路径来传送信息。可以根据图像的位流将信息记录在不同的记录介质(或同一记录介质的不同记录区域)中。此外，可以使信息和图像的位流在任意的单元例如多个帧、单个帧或帧的一部分中彼此相关联。
另外，还可以对本技术如下进行配置。
(1)一种信息处理装置，包括：
部分图像信息生成单元，该部分图像信息生成单元被配置成生成部分图像信息，部分图像信息是与每个作为完整图像的一部分的部分图像有关的信息；以及
元数据生成单元，该元数据生成单元被配置成使用由部分图像信息生成单元生成的部分图像信息来生成元数据，元数据要用于完整图像的位流的供给以及部分图像的位流的供给。
(2)在(1)中描述的信息处理装置中，部分图像信息包括：
视图类型，其指示与部分图像信息相对应的图像是否为部分图像；
与完整图像的尺寸有关的信息；
指示部分图像在完整图像中的位置的信息；以及
对群组进行识别的群组识别信息，群组是部分图像所属的群组并且是可显示为一幅图像的部分图像的群组。
(3)在(1)或(2)中描述的信息处理装置中，
元数据生成单元将与属于同一群组的多个部分图像有关的部分图像信息存储于元数据的彼此不同的自适应集(AdaptationSet)中并且将多个部分图像的位流分配至彼此不同的自适应集。
(4)在(1)至(3)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一群组的多个部分图像有关的部分图像信息存储于属于元数据的一个自适应集(AdaptationSet)的彼此不同的表示(Representation)中并且将多个部分图像的位流分配至彼此不同的表示。
(5)在(1)至(4)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一群组的多个部分图像有关的部分图像信息存储于元数据的彼此不同的自适应集(AdaptationSet)中并且将包括多个部分图像的一个位流被针对每个部分图像所划分为的多个文件分配至彼此不同的自适应集。
(6)在(1)至(5)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成与包括在位流中的控制信息有关的部分图像信息，以及
元数据生成单元可以将控制信息的部分图像信息存储于与每个部分图像的部分图像信息不同的自适应集中并且将控制信息的文件分配至自适应集。
(7)在(1)至(6)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一群组的多个部分图像有关的部分图像信息存储于属于元数据的完整图像的同一适应集(AdaptationSet)的彼此不同的表示(Representation)中，并且将多个部分图像的位流分配至彼此不同的表示。
(8)在(1)至(7)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成与包括在一个位流中的控制信息有关的部分图像信息，所述一个位流包括属于同一群组的多个部分图像。元数据生成单元可以将与多个部分图像有关的部分图像信息存储于属于元数据的一个自适应集(AdaptationSet)的彼此不同的表示(Representation)中并且将位流被针对每个部分图像所划分的多个文件分配至彼此不同的表示，以及可以将控制信息的部分图像信息存储于与关于每个部分图像的部分图像信息不同的表示中并且将控制信息的文件分配至表示。
(9)在(1)至(8)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一群组的多个部分图像有关的部分图像信息存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中并且将多个部分图像的位流分配至彼此不同的子表示，所述一个表示(Representation)属于元数据的一个自适应集(AdaptationSet)。
(10)在(1)至(9)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成指示与位流有关的信息存在于子表示(Sub-Representation)之下的片段信息以及与包括在一个位流中的控制信息有关的部分图像信息，所述一个位流包括属于同一群组的多个部分图像。元数据生成单元可以将控制信息的部分图像信息和片段信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中并且将控制信息的文件分配至表示，以及可以将与多个部分图像有关的部分图像信息存储于属于表示的彼此不同的子表示中并且将位流被针对每个部分图像所划分为的多个文件分配至彼此不同的子表示。
(11)在(1)至(10)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成指示与位流有关的信息存在于子表示(Sub-Representation)之下的片段信息以及与包括在一个位流中的控制信息有关的部分图像信息，所述一个位流包括属于同一群组的多个部分图像。元数据生成单元可以将控制信息的部分图像信息和片段信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中并且将位流分配至表示，以及可以将与多个部分图像有关的部分图像信息存储于属于表示的彼此不同的子表示中并且可以将指示位流中的部分图像的数据的位置的信息分配至彼此不同的子表示。
(12)在(1)至(11)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成多片段信息，多片段信息指示与相同时间的位流有关的多条信息存在于表示(Representation)之下。元数据生成单元可以将多片段信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中，以及可以将与属于同一群组的多个部分图像有关的部分图像信息存储于属于表示的彼此不同的片段中并且将多个部分图像的位流分配至彼此不同的片段。
(13)在(1)至(12)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成指示与位流有关的信息不存在于子表示(Sub-Representation)之下的片段信息以及与包括属于同一群组的多个部分图像的一个位流有关的部分图像信息。元数据生成单元可以将片段信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中，可以将部分图像信息存储于属于表示的一个片段(Segment)中并且将位流分配至片段，以及可以将指示位流中的部分图像的数据的位置的信息分配至属于片段的彼此不同的子片段(Sub-Segment)中。
(14)在(1)至(13)中的任一者中描述的信息处理装置，还包括：
编码单元，其被配置成对完整图像和部分图像的图像数据进行编码并且生成位流。
(15)在(1)至(14)中的任一者中描述的信息处理装置，还包括：
画面划分处理单元，其被配置成根据完整图像的图像数据来生成每个部分图像的图像数据。
(16)一种信息处理方法，包括：
生成部分图像信息，该部分图像信息是与每个作为完整图像的一部分的部分图像有关的信息；以及
使用所生成的部分图像信息来生成元数据，该元数据要用于完整图像的位流的供给以及部分图像的位流的供给。
(17)一种信息处理装置，包括：
分析单元，其被配置成对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为完整图像的一部分的部分图像有关的信息，元数据用于完整图像的位流的供给以及部分图像的位流的供给；
选择单元，其被配置成使用由分析单元获得的部分图像信息来选择期望的部分图像的位流；以及
位流获取单元，其被配置成获取由选择单元选择的位流。
(18)在(17)中描述的信息处理装置还可以包括被配置成获取元数据的元数据获取单元。
(19)在(17)或(18)中描述的信息处理装置，还可以包括：
解码单元，其被配置成对由位流获取单元获取的位流进行解码。
(20)一种信息处理方法，包括：
对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为完整图像的一部分的部分图像有关的信息，元数据用于完整图像的位流的供给以及部分图像的位流的供给；
使用所获得的部分图像信息来选择期望的部分图像的位流；以及
获取所选择的位流。
(21)一种信息处理装置，包括：
部分图像信息生成单元，其被配置成生成部分图像信息，部分图像信息是与每个作为完整图像的一部分的部分图像有关的信息；以及
元数据生成单元，其被配置成使用由部分图像信息生成单元生成的部分图像信息来生成元数据，元数据要用于完整图像的位流的供给以及部分图像的位流的供给，
其中，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息。
(22)在(21)中描述的信息处理装置中，部分图像信息还可以包括指示部分图像在完整图像中的位置的信息、与部分图像的尺寸有关的信息以及与完整图像的尺寸有关的信息。
(23)在(21)或(22)中描述的信息处理装置中，部分图像信息还可以包括指示存储有部分图像信息的自适应集是否对完整位流或位流的一部分进行定义的识别信息。
(24)在(21)至(23)中的任一者中描述的信息处理装置中，部分图像信息还可以包括指示哪些信息对位流中的存储有部分图像信息的自适应集所对应于的部分进行配置的信息。
(25)在(21)至(24)中的任一者中描述的信息处理装置中，部分图像信息还可以包括指示位流中的存储有部分图像信息的自适应集所对应于的部分是否被划分成轨道的信息。
(26)在(21)至(25)中的任一者中描述的信息处理装置中，部分图像信息还可以包括存储有部分图像信息的自适应集所对应的部分图像的识别信息。
(27)在(21)至(26)中的任一者中描述的信息处理装置中，部分图像信息还可以包括轨道参考和提取器。轨道参考和提取器可以存储于与多个部分图像相对应的轨道中并且参考存储有部分图像的切片的基本轨道。
(28)一种信息处理方法，包括：
生成部分图像信息，部分图像信息是与每个作为完整图像的一部分的部分图像有关的信息，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息；以及
使用所生成的部分图像信息来生成元数据，元数据要用于完整图像的位流的供给以及部分图像的位流的供给。
(29)一种信息处理装置，包括：
分析单元，其被配置成对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像是与每个作为完整图像的一部分的部分图像有关的信息，元数据用于完整图像的位流的供给以及部分图像的位流的供给的
选择单元，其被配置成使用由分析单元获得的部分图像信息来选择期望的部分图像的位流；以及
位流获取单元，其被配置成获取由选择单元选择的位流，
其中，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息。
(30)一种信息处理方法，包括：
对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为完整图像的一部分的部分图像有关的信息，元数据用于完整图像的位流的供给以及部分图像的位流的供给，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息；
使用所获得的部分图像信息来选择期望的部分图像的位流；以及
获取所选择的位流。
(41)一种信息处理装置，包括：
文件生成单元，被配置成生成文件，所述文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使所述第一轨道与所述第二轨道相关联的关联信息；以及
传送单元，被配置成传送所述文件生成单元生成的文件。
(42)在(41)中描述的信息处理装置中，
其中所述关联信息是包括在所述第一轨道中并且参考所述第二轨道中包括的经编码的部分图像的参考信息。
(43)在(41)或(42)中描述的信息处理装置中，
其中所述关联信息是包括在所述第一轨道中并且指示与所述第一轨道相关联的轨道的信息。
(44)在(41)至(43)中的任一者中描述的信息处理装置中，
其中所述关联信息是包括在所述第二轨道中并且指示所述第二轨道是否与所述第一轨道关联的信息。
(45)在(41)至(44)中的任一者中描述的信息处理装置中，
其中所述第一轨道的样本跟踪条目针对每个样本管理所述参数集。
(46)在(41)至(45)中的任一者中描述的信息处理装置中，
其中所述第二轨道进一步包括定义所述第二轨道中包括的部分图像的码片区域群组条目(TileRegionGroupEntry)。
(47)在(41)至(46)中的任一者中描述的信息处理装置中，
其中所述参数集包括高效视频编码(HEVC)的视频参数集、序列参数集、图片参数集和补充增强信息(SEI)。
(48)在(41)至(47)中的任一者中描述的信息处理装置中，
其中所述部分图像是高效视频编码(HEVC)的码片(TILE)。
(49)在(41)至(48)中的任一者中描述的信息处理装置中，
其中所述文件是MP4文件。
(50)在(41)至(49)中的任一者中描述的信息处理装置中，可以进一步包括：
部分图像信息生成单元，被配置成生成指示所述部分图像在所述完整图像中的位置的位置信息；以及
元数据生成单元，被配置成生成用于提供所述完整图像的位流以及提供所述部分图像的位流的元数据。
(51)在(41)至(50)中的任一者中描述的信息处理装置中，
其中所述元数据生成单元将所述位置信息存储在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中，所述一个表示属于元数据的一个适应集(AdaptationSet)。
(52)一种信息处理方法，包括：
生成文件，所述文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使所述第一轨道与所述第二轨道相关联的关联信息；以及
传送所生成的文件。
(53)一种信息处理装置，包括：
接收单元，被配置成接收文件，所述文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使所述第一轨道与所述第二轨道相关联的关联信息；以及
解码单元，被配置成对所述接收单元接收到的文件中包括的所述部分图像的经编码的数据进行解码。
(54)在(53)中描述的信息处理装置中，
其中所述关联信息是包括在所述第一轨道中并且参考所述第二轨道中包括的经编码的部分图像的参考信息。
(55)在(53)或(54)中描述的信息处理装置中，
其中所述关联信息是包括在所述第一轨道中并且指示与所述第一轨道相关联的轨道的信息。
(56)在(53)至(55)中的任一者中描述的信息处理装置中，
其中所述关联信息是包括在所述第二轨道中并且指示所述第二轨道是否与所述第一轨道关联的信息。
(57)在(53)至(56)中的任一者中描述的信息处理装置中，
其中所述第一轨道的样本跟踪条目针对每个样本管理所述参数集。
(58)在(53)至(57)中的任一者中描述的信息处理装置中，
其中所述第二轨道进一步包括定义所述第二轨道中包括的部分图像的码片区域群组条目(TileRegionGroupEntry)。
(59)在(53)至(58)中的任一者中描述的信息处理装置中，
其中所述参数集包括高效视频编码(HEVC)的视频参数集、序列参数集、图片参数集和补充增强信息(SEI)。
(60)在(53)至(59)中的任一者中描述的信息处理装置中，
其中所述部分图像是高效视频编码(HEVC)的码片(TILE)。
(61)在(53)至(60)中的任一者中描述的信息处理装置中，
其中所述文件是MP4文件。
(62)在(53)至(61)中的任一者中描述的信息处理装置中，可以进一步包括：
画面组合处理单元，被配置成根据对所述位流解码的所述解码单元获得的所述部分图像的图像数据生成所述完整图像的图像数据。
(63)在(53)至(62)中的任一者中描述的信息处理装置中，进一步包括：
元数据分析单元，被配置成分析用于提供所述完整图像的位流以及提供所述部分图像的位流的元数据；以及
选择单元，被配置成基于在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中存储并且指示所述部分图像在所述完整图像中的位置的位置信息来选择期望的部分图像，所述一个表示属于元数据的一个适应集(AdaptationSet)，
其中所述接收单元接收包括存储所述选择单元选择的所述部分图像的所述第二轨道的文件。
(64)一种信息处理方法，包括：
接收文件，所述文件包括存储与经编码的完整图像相关的参数集的第一轨道、存储作为经编码的完整图像的一部分的每个部分图像的第二轨道、以及使所述第一轨道与所述第二轨道相关联的关联信息；以及
对接收到的文件中包括的所述部分图像的经编码的数据进行解码。
附图标记列表
100 递送系统
101 递送数据生成装置
102 递送服务器
103 终端装置
104 网络
121 画面划分处理单元
122 图像编码单元
123 文件生成单元
124 码片型图像信息生成单元
125 MPD生成单元
126 服务器上载处理单元
131 至133编码处理单元
141 码片型MPD生成单元
151 MPD获取单元
152 语法分析处理单元
153 码片图像选择单元
154 文件获取单元
155 图像解码单元
156 码片图像组合单元
157 显示单元
161 至163解码处理单元
171 码片型图像信息处理单元

Claims (32)

1.一种信息处理装置，包括：
部分图像信息生成单元，被配置成生成部分图像信息，所述部分图像信息是关于作为完整图像的一个或更多个码片的每个部分图像的信息；以及
元数据生成单元，被配置成使用所述部分图像信息生成单元生成的所述部分图像信息生成用于提供所述完整图像的位流以及提供所述部分图像的位流的元数据，并且将关于多个部分图像的部分图像信息存储在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中，并且将所述多个部分图像的各个位流分配给所述互不相同的子表示，所述一个表示属于元数据的一个适应集(AdaptationSet)。
2.根据权利要求1所述的信息处理装置，
其中所述部分图像信息包括指示所述部分图像在所述完整图像中的位置的位置信息。
3.根据权利要求2所述的信息处理装置，
其中所述位置信息指示所述部分图像的左上位置。
4.根据权利要求1所述的信息处理装置，
其中所述元数据生成单元将关于多个部分图像的部分图像信息存储在所述元数据的互不相同的适应集(AdaptationSet)中并且将所述多个部分图像的各个位流分配给所述互不相同的适应集。
5.根据权利要求1所述的信息处理装置，
其中所述元数据生成单元将关于多个部分图像的部分图像信息存储在所述元数据的互不相同的适应集(AdaptationSet)中并且将针对每个部分图像划分包括所述多个部分图像的一个位流的多个文件分配给所述互不相同的适应集。
6.根据权利要求1所述的信息处理装置，
其中所述部分图像信息生成单元进一步生成指示在所述子表示(Sub-Representation)下存在关于位流的信息的信息。
7.根据权利要求1所述的信息处理装置，
其中所述多个部分图像的位流中的每个位流存储在一个MP4文件的轨道中。
8.根据权利要求7所述的信息处理装置，
其中所述元数据生成单元进一步生成指示所述一个MP4文件的数据的位置的信息。
9.根据权利要求1所述的信息处理装置，
其中所述部分图像信息包括关于所述完整图像的尺寸的信息。
10.根据权利要求1所述的信息处理装置，
其中所述部分图像信息包括群组识别信息，所述群组识别信息识别作为所述部分图像所属的群组并且作为能够被显示为一个图像的所述部分图像的群组的群组。
11.根据权利要求1所述的信息处理装置，
其中所述部分图像是高效视频编码(HEVC)中的码片(Tile)。
12.根据权利要求1所述的信息处理装置，
其中所述部分图像信息包括指示图像是否是部分图像的观看类型(viewtype)。
13.根据权利要求1所述的信息处理装置，进一步包括：
编码单元，被配置成对所述完整图像和所述部分图像的图像数据编码并且生成位流。
14.根据权利要求1所述的信息处理装置，进一步包括：
画面划分处理单元，被配置成根据所述完整图像的图像数据生成每个部分图像的图像数据。
15.根据权利要求1所述的信息处理装置，
其中所述部分图像信息包括指示形成所述完整图像的部分图像的数目的信息、指示所述部分图像的尺寸相等的识别信息、以及当所述部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
16.一种信息处理方法，包括：
生成部分图像信息，所述部分图像信息是关于作为完整图像的一个或更多个码片的每个部分图像的信息；以及
使用所生成的部分图像信息生成用于提供所述完整图像的位流以及提供所述部分图像的位流的元数据，将关于多个部分图像的所述部分图像信息存储在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中，并且将所述多个部分图像的各个位流分配给所述互不相同的子表示，所述一个表示属于元数据的一个适应集(AdaptationSet)。
17.一种信息处理装置，包括：
分析单元，被配置成分析包括部分图像信息的元数据以及获得部分图像信息，所述部分图像信息是关于作为完整图像的一个或更多个码片的每个部分图像的信息，所述元数据用于提供所述完整图像的位流以及提供所述部分图像的位流，其中关于多个部分图像的部分图像信息被存储在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中，并且所述多个部分图像的各个位流被分配给所述互不相同的子表示，并且所述一个表示属于一个适应集(AdaptationSet)；
选择单元，被配置成使用所述分析单元获得的所述部分图像信息来选择期望的部分图像的位流；以及
位流获取单元，被配置成获取所述选择单元选择的位流。
18.根据权利要求17所述的信息处理装置，
其中所述部分图像信息包括指示所述部分图像在所述完整图像中的位置的位置信息。
19.根据权利要求18所述的信息处理装置，
其中所述位置信息指示所述部分图像的左上位置。
20.根据权利要求17所述的信息处理装置，
其中所述分析单元分析所述元数据，在所述元数据中关于多个部分图像的部分图像信息被存储在互不相同的适应集(AdaptationSet)中并且所述多个部分图像的各个位流被分配给所述互不相同的适应集。
21.根据权利要求17所述的信息处理装置，
其中所述分析单元分析所述元数据，在所述元数据中关于多个部分图像的部分图像信息被存储在互不相同的适应集(AdaptationSet)中并且针对每个部分图像划分包括所述多个部分图像的一个位流的多个文件被分配给所述互不相同的适应集。
22.根据权利要求17所述的信息处理装置，
其中所述部分图像信息包括指示在所述子表示(Sub-Representation)下存在关于位流的信息的信息。
23.根据权利要求17所述的信息处理装置，
其中所述多个部分图像的位流中的每个位流存储在一个MP4文件的轨道中。
24.根据权利要求23所述的信息处理装置，
其中所述元数据包括指示所述一个MP4文件的数据的位置的信息。
25.根据权利要求17所述的信息处理装置，
其中所述部分图像信息包括关于所述完整图像的尺寸的信息。
26.根据权利要求17所述的信息处理装置，
其中所述部分图像信息包括群组识别信息，所述群组识别信息识别作为所述部分图像所属的群组并且作为能够被显示为一个图像的所述部分图像的群组的群组。
27.根据权利要求17所述的信息处理装置，
其中所述部分图像是高效视频编码(HEVC)中的码片(Tile)。
28.根据权利要求17所述的信息处理装置，
其中所述部分图像信息包括指示图像是否是部分图像的观看类型(viewtype)。
29.根据权利要求17所述的信息处理装置，进一步包括：
解码单元，被配置成对所述位流获取单元获取的位流进行解码。
30.根据权利要求29所述的信息处理装置，进一步包括：
画面组合处理单元，被配置成根据对所述位流解码的所述解码单元获得的所述部分图像的图像数据生成所述完整图像的图像数据。
31.根据权利要求17所述的信息处理装置，
其中所述部分图像信息包括指示形成所述完整图像的部分图像的数目的信息、指示所述部分图像的尺寸相等的识别信息、以及当所述部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
32.一种信息处理方法，包括：
分析包括部分图像信息的元数据以及获得部分图像信息，所述部分图像信息是关于作为完整图像的一个或更多个码片的每个部分图像的信息，所述元数据用于提供所述完整图像的位流以及提供所述部分图像的位流，其中关于多个部分图像的所述部分图像信息被存储在属于一个表示(Representation)的互不相同的子表示(Sub-Representation)中，所述多个部分图像的各个位流被分配给所述互不相同的子表示，并且所述一个表示属于一个适应集(AdaptationSet)；
使用所获得的部分图像信息来选择期望的部分图像的位流；以及
获取所选择的位流。
CN201480039821.4A 2013-07-19 2014-07-16 信息处理装置和方法 Expired - Fee Related CN105519131B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2013150977 2013-07-19
JP2013-150977 2013-07-19
JP2014-002046 2014-01-08
JP2014002046 2014-01-08
JP2014058762 2014-03-20
JP2014-058762 2014-03-20
PCT/JP2014/068861 WO2015008775A1 (ja) 2013-07-19 2014-07-16 情報処理装置および方法

Publications (2)

Publication Number Publication Date
CN105519131A CN105519131A (zh) 2016-04-20
CN105519131B true CN105519131B (zh) 2019-05-03

Family

ID=52346223

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480039821.4A Expired - Fee Related CN105519131B (zh) 2013-07-19 2014-07-16 信息处理装置和方法
CN201910098491.0A Withdrawn CN110035300A (zh) 2013-07-19 2014-07-16 信息处理装置和方法
CN201480039820.XA Expired - Fee Related CN105519130B (zh) 2013-07-19 2014-07-16 信息处理装置和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201910098491.0A Withdrawn CN110035300A (zh) 2013-07-19 2014-07-16 信息处理装置和方法
CN201480039820.XA Expired - Fee Related CN105519130B (zh) 2013-07-19 2014-07-16 信息处理装置和方法

Country Status (12)

Country Link
US (3) US10306273B2 (zh)
EP (3) EP3461142B1 (zh)
JP (3) JPWO2015008775A1 (zh)
KR (1) KR102224332B1 (zh)
CN (3) CN105519131B (zh)
AU (2) AU2014291253B2 (zh)
CA (1) CA2916878A1 (zh)
MX (2) MX364810B (zh)
MY (1) MY182338A (zh)
RU (2) RU2018135725A (zh)
SG (1) SG11201600223UA (zh)
WO (2) WO2015008774A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101836421B1 (ko) 2013-07-25 2018-03-09 콘비다 와이어리스, 엘엘씨 종단간 m2m 서비스 계층 세션
WO2015014773A1 (en) 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
EP3062523B1 (en) * 2013-10-22 2019-01-30 Sharp Kabushiki Kaisha Display processing device, distribution device, and metadata
JP6572222B2 (ja) * 2014-01-07 2019-09-04 キヤノン株式会社 メディアファイルの生成方法、生成装置、及びプログラム
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
EP3162074A1 (en) 2014-06-27 2017-05-03 Koninklijke KPN N.V. Determining a region of interest on the basis of a hevc-tiled video stream
ES2908859T3 (es) * 2014-08-07 2022-05-04 Divx Llc Sistemas y métodos para proteger flujos de bits elementales que incorporan mosaicos codificados independientemente
WO2016092759A1 (ja) 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
EP3035326B1 (en) * 2014-12-19 2019-07-17 Alcatel Lucent Encoding, transmission , decoding and displaying of oriented images
WO2016127374A1 (zh) * 2015-02-12 2016-08-18 华为技术有限公司 多媒体流业务呈现方法和相关装置及相关系统
JP6478357B2 (ja) * 2015-02-15 2019-03-06 ホアウェイ・テクノロジーズ・カンパニー・リミテッド メディアストリーミング・オーバー・ハイパーテキストトランスファープロトコルにおけるメディアプレゼンテーションガイドを提供するための方法及び関連する装置
CN113613009A (zh) * 2015-02-27 2021-11-05 索尼公司 发送装置、发送方法、接收装置和接收方法
CN107534794A (zh) * 2015-04-23 2018-01-02 Lg 电子株式会社 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法
US10681107B2 (en) 2015-06-16 2020-06-09 Apple Inc. Adaptive video content for cellular communication
US20180242028A1 (en) * 2015-08-20 2018-08-23 Koninklijke Kpn N.V. Forming A Tiled Video On The Basis Of Media Streams
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
WO2017060423A1 (en) 2015-10-08 2017-04-13 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
CN113014930B (zh) * 2016-01-13 2024-04-26 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
EP3405865A1 (en) * 2016-01-21 2018-11-28 Playgiga S.L. Modification of software behavior in run time
WO2017145756A1 (ja) * 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
EP3422731B1 (en) * 2016-02-22 2021-08-25 Sony Group Corporation File generation device, file generation method, reproduction device, and reproduction method
US9992517B2 (en) * 2016-02-23 2018-06-05 Comcast Cable Communications, Llc Providing enhanced content based on user interactions
US10390071B2 (en) * 2016-04-16 2019-08-20 Ittiam Systems (P) Ltd. Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients
JP2017199994A (ja) * 2016-04-26 2017-11-02 日本放送協会 映像配信装置及び映像配信方法
EP3456058A1 (en) 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
CN115118952A (zh) * 2016-05-13 2022-09-27 索尼公司 信息处理装置和信息处理方法以及再现装置和再现方法
CN109565610B (zh) * 2016-05-25 2021-03-30 皇家Kpn公司 处理全向视频的方法、装置以及存储介质
EP3761645A1 (en) * 2016-05-26 2021-01-06 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US10491963B1 (en) * 2016-06-28 2019-11-26 Amazon Technologies, Inc. Use video codecs to deliver images
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10805614B2 (en) 2016-10-12 2020-10-13 Koninklijke Kpn N.V. Processing spherical video data on the basis of a region of interest
WO2018097947A2 (en) 2016-11-03 2018-05-31 Convida Wireless, Llc Reference signals and control channels in nr
KR102130429B1 (ko) * 2016-11-07 2020-07-07 한화테크윈 주식회사 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치
US11336909B2 (en) * 2016-12-27 2022-05-17 Sony Corporation Image processing apparatus and method
CN110301136B (zh) 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
WO2018180511A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像生成装置および画像生成方法、並びに画像再生装置および画像再生方法
JP7200935B2 (ja) * 2017-05-30 2023-01-10 ソニーグループ株式会社 画像処理装置および方法、ファイル生成装置および方法、並びにプログラム
WO2019002662A1 (en) 2017-06-26 2019-01-03 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
EP3734982A4 (en) * 2018-01-12 2020-11-25 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
JP7246855B2 (ja) * 2018-02-16 2023-03-28 キヤノン株式会社 撮像装置、記録装置及び表示制御装置
JP7396267B2 (ja) * 2018-03-29 2023-12-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019199024A1 (ko) * 2018-04-10 2019-10-17 엘지전자 주식회사 360 영상 데이터의 서브픽처 기반 처리 방법 및 그 장치
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
JP2022503848A (ja) 2018-09-27 2022-01-12 コンヴィーダ ワイヤレス， エルエルシー 新無線のアンライセンススペクトルにおけるサブバンドオペレーション
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN114026849A (zh) * 2019-07-03 2022-02-08 索尼集团公司 信息处理装置、信息处理方法、再现处理装置以及再现处理方法
CN110381331A (zh) * 2019-07-23 2019-10-25 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、航拍设备及存储介质
CN112215743A (zh) * 2020-02-08 2021-01-12 朱明华 图像数据处理方法、装置及图像处理系统
CN113824958A (zh) * 2020-06-18 2021-12-21 中兴通讯股份有限公司 视频分块方法、传输方法、服务器、适配器和存储介质
US11276206B2 (en) 2020-06-25 2022-03-15 Facebook Technologies, Llc Augmented reality effect resource sharing
US11888913B2 (en) 2021-04-28 2024-01-30 Lemon Inc. External stream representation properties
CN114998112A (zh) * 2022-04-22 2022-09-02 南通悦福软件有限公司 基于自适应频域滤波的图像去噪方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389021A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 视频编解码方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532332B2 (ja) * 1995-11-10 2004-05-31 パイオニア株式会社 画像情報再生装置
DE60119660T2 (de) * 2000-10-10 2007-02-22 Koninklijke Philips Electronics N.V. Verfahren zur Verarbeitung von Videodateien
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
JP4443181B2 (ja) * 2003-10-15 2010-03-31 株式会社日立製作所 コミュニケーションシステム及び方法
JP5239423B2 (ja) * 2008-03-17 2013-07-17 株式会社リコー 情報処理装置，情報処理方法，プログラム，および記録媒体
JP4539754B2 (ja) * 2008-04-11 2010-09-08 ソニー株式会社 情報処理装置及び情報処理方法
JP2012505569A (ja) * 2008-10-07 2012-03-01 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 多視点メディアデータ
JP5222227B2 (ja) * 2009-05-22 2013-06-26 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP5037574B2 (ja) * 2009-07-28 2012-09-26 株式会社ソニー・コンピュータエンタテインメント 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、および画像処理方法
WO2011087449A1 (en) * 2010-01-18 2011-07-21 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for http media stream distribution
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN102130936B (zh) * 2010-08-17 2013-10-09 华为技术有限公司 一种在动态http流传输方案中支持时移回看的方法和装置
KR101206698B1 (ko) 2010-10-06 2012-11-30 한국항공대학교산학협력단 스트리밍 콘텐츠 제공 장치 및 방법
CN102136948B (zh) * 2011-03-15 2014-04-02 华为技术有限公司 用于统计用户体验的方法、终端设备和系统
WO2012125006A2 (ko) * 2011-03-16 2012-09-20 한국전자통신연구원 레프리젠테이션을 사용하는 스트리밍 콘텐츠 제공 장치 및 방법
KR20140016357A (ko) * 2011-06-08 2014-02-07 코닌클리즈케 케이피엔 엔.브이. 공간적으로-세그먼트된 콘텐츠 전달
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
WO2013089437A1 (ko) 2011-12-12 2013-06-20 엘지전자 주식회사 미디어 컨텐트를 수신하는 장치 및 방법
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
CN104904225B (zh) * 2012-10-12 2019-05-07 佳能株式会社 用于对视频数据进行流传输的方法和相应装置
CA2897152C (en) * 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
WO2014111547A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating partitioned timed media data
GB2513140B (en) 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
JP2014230055A (ja) 2013-05-22 2014-12-08 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
KR102264477B1 (ko) 2013-07-12 2021-06-15 캐논 가부시끼가이샤 푸시 메시지 제어를 이용하는 적응적 데이터 스트리밍 방법
MX2017008774A (es) * 2014-12-31 2018-02-13 Nokia Technologies Oy Prediccion inter-capa para codificacion y decodificacion de video escalable.

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389021A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 视频编解码方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Interactive ROI streaming with DASH》;Franck Denoual et al;《ISO/IEC JTC1/SC29/WG11 MPEG2012/M29232》;20130430;第3-4节

Also Published As

Publication number Publication date
US10306273B2 (en) 2019-05-28
EP3013064B1 (en) 2019-03-13
CN105519130A (zh) 2016-04-20
MX364810B (es) 2019-05-07
AU2014291253A1 (en) 2016-02-11
JP6493765B2 (ja) 2019-04-03
EP3013065B1 (en) 2019-10-16
JPWO2015008775A1 (ja) 2017-03-02
CA2916878A1 (en) 2015-01-22
EP3013064A4 (en) 2016-11-16
EP3013065A1 (en) 2016-04-27
EP3461142A1 (en) 2019-03-27
CN105519131A (zh) 2016-04-20
WO2015008775A1 (ja) 2015-01-22
US10038922B2 (en) 2018-07-31
JP6658931B2 (ja) 2020-03-04
KR102224332B1 (ko) 2021-03-08
AU2018241185B2 (en) 2019-08-08
EP3461142B1 (en) 2020-12-30
WO2015008774A1 (ja) 2015-01-22
EP3013065A4 (en) 2016-11-16
KR20160034282A (ko) 2016-03-29
RU2671946C2 (ru) 2018-11-08
US20190191194A1 (en) 2019-06-20
AU2018241185A1 (en) 2018-11-01
CN110035300A (zh) 2019-07-19
US20160156943A1 (en) 2016-06-02
MX2019004446A (es) 2019-07-15
CN105519130B (zh) 2019-03-08
JPWO2015008774A1 (ja) 2017-03-02
JP2019088023A (ja) 2019-06-06
EP3013064A1 (en) 2016-04-27
MX2016000335A (es) 2016-05-05
RU2018135725A (ru) 2018-11-21
SG11201600223UA (en) 2016-02-26
AU2014291253B2 (en) 2018-07-05
RU2016100862A (ru) 2017-07-17
US20160156949A1 (en) 2016-06-02
MY182338A (en) 2021-01-20

Similar Documents

Publication Publication Date Title
CN105519131B (zh) 信息处理装置和方法
US10187648B2 (en) Information processing device and method
CN105122828B (zh) 信息处理装置、内容请求方法以及计算机程序
WO2016002513A1 (ja) 情報処理装置および方法
RU2668549C2 (ru) Устройство сервера, устройство клиент, способ распределения содержания и компьютерная программа

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503

CF01 Termination of patent right due to non-payment of annual fee