CN105519130B - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN105519130B
CN105519130B CN201480039820.XA CN201480039820A CN105519130B CN 105519130 B CN105519130 B CN 105519130B CN 201480039820 A CN201480039820 A CN 201480039820A CN 105519130 B CN105519130 B CN 105519130B
Authority
CN
China
Prior art keywords
images
parts
information
image
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480039820.XA
Other languages
English (en)
Other versions
CN105519130A (zh
Inventor
服部忍
平林光浩
五十岚卓也
安田干太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201910098491.0A priority Critical patent/CN110035300A/zh
Publication of CN105519130A publication Critical patent/CN105519130A/zh
Application granted granted Critical
Publication of CN105519130B publication Critical patent/CN105519130B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)

Abstract

本发明涉及信息处理装置和方法，通过该信息处理装置和方法可以自适应地提供部分图像数据。信息处理装置包括：部分图像信息生成单元，其生成部分图像信息，部分图像信息是与作为整个图像的一部分的部分图像有关的信息；以及元数据生成单元，其使用由部分图像信息生成单元生成的部分图像信息来生成元数据，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给。本发明可以应用于例如执行与图像数据的自适应的供给有关的处理的图像处理装置。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和方法，以及更特别地，涉及自适应地提供部分图像的数据的信息处理装置和方法。
背景技术
近年来，作为使用超文本传输协议(HTTP)的内容传送技术，运动图像专家组-基于HTTP的动态自适应流(MPEG-DASH)被标准化(例如，参见非专利文献1)。MPEG-DASH采用自适应比特率流送(ABS)技术，在该技术中，多条编码数据——在该多条编码数据中以不同比特率来表达同一内容——存储于内容服务器中并且客户端根据网络带宽来选择并且再现多条编码数据中的一条编码数据。
偶然地，考虑了选择作为图像一部分的部分图像而非选择整个图像并且自适应地传送部分图像。例如，考虑了以下：传送部分图像，或者根据终端的性能(例如，CPU等的处理能力或显示器的尺寸)、传输路径或服务器的负荷情况等来控制要传送的部分图像的尺寸，部分图像是在接收图像数据的终端侧在整个图像中选择的部分。
引文列表
非专利文献
非专利文献1：MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
发明内容
技术问题
然而，相关技术的MPEG-DASH标准仅涉及切换比特率(Bitrate)的概念，而不会执行对于任意部分图像的选择或者不会执行使用上述瓦片(tile)结构执行的对于数据的供给——即部分图像的数据的自适应供给。
期望的是提供用于自适应地提供部分图像的数据的技术。
问题解决方案
根据本技术的方面，提供了一种信息处理装置，该信息处理装置包括：部分图像信息生成单元，其被配置成生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及元数据生成单元，其被配置成使用由部分图像信息生成单元生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给。
部分图像信息可以包括指示部分图像在整个图像中的位置的位置信息。
位置信息可以指示部分图像的左上方的位置。
元数据生成单元可以将与多个部分图像有关的部分图像信息存储于元数据的彼此不同的自适应集(AdaptationSet)中并且将多个部分图像的比特流分配至彼此不同的自适应集。
元数据生成单元可以将与多个部分图像有关的部分图像信息存储于元数据的彼此不同的自适应集(AdaptationSet)中并且将包括多个部分图像的一个比特流被针对每个部分图像所划分为的多个文件分配至彼此不同的自适应集。
元数据生成单元可以将与多个部分图像有关的部分图像信息存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中并且将多个部分图像的比特流分配至彼此不同的子表示，所述一个表示(Representation)属于元数据的一个自适应集(AdaptationSet)。
部分图像信息生成单元还可以生成指示与比特流有关的信息存在于子表示(Sub-Representation)之下的信息。
多个部分图像的比特流中的每一者均可以存储于一个MP4文件的轨道中。
元数据生成单元还可以生成指示一个MP4文件的数据的位置的信息。
部分图像信息还可以包括与整个图像的尺寸有关的信息。
部分图像信息还可以包括对以下的组进行识别的组识别信息：该组是部分图像所属的组并且是可显示为一幅图像的部分图像的组。
信息处理装置还可以包括编码单元，编码单元被配置成对整个图像和部分图像的图像数据进行编码并且生成比特流。
信息处理装置还可以包括画面划分处理单元，画面划分处理单元被配置成根据整个图像的图像数据来生成每个部分图像的图像数据。
部分图像信息可以包括指示形成整个图像的部分图像的数目的信息、指示部分图像的尺寸相等的识别信息以及在部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
根据本技术的方面，提供了一种信息处理方法，该信息处理方法包括：生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及使用所生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给。
根据本技术的另一方面，提供了一种信息处理装置，该信息处理装置包括：分析单元，其被配置成对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给；选择单元，其被配置成使用由分析单元获得的部分图像信息来选择期望的部分图像的比特流；以及比特流获取单元，其被配置成获取由选择单元选择的比特流。
部分图像信息可以包括指示部分图像在整个图像中的位置的位置信息。
位置信息可以指示部分图像的左上方的位置。
分析单元可以对元数据进行分析，在元数据中，与多个部分图像有关的部分图像信息被存储于彼此不同的自适应集(AdaptationSet)中并且多个部分图像的比特流被分配至彼此不同的自适应集。
分析单元可以对元数据进行分析，在元数据中，与多个部分图像有关的部分图像信息被存储于彼此不同的自适应集(AdaptationSet)中并且包括多个部分图像的一个比特流被针对每个部分图像所划分为的多个文件被分配至彼此不同的自适应集。
分析单元可以对元数据进行分析，在元数据中，与多个部分图像有关的部分图像信息被存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中并且多个部分图像的比特流被分配至彼此不同的子表示，所述一个表示(Representation)属于一个自适应集(AdaptationSet)。
部分图像信息可以包括指示与比特流有关的信息存在于子表示(Sub-Representation)之下的信息。
多个部分图像的比特流中的每一者均可以存储于一个MP4文件的轨道中。
元数据可以包括指示一个MP4文件的数据的位置的信息。
部分图像信息还可以包括与整个图像的尺寸有关的信息。
部分图像信息还可以包括对以下的组进行识别的组识别信息：该组是部分图像所属的组并且是可显示为一幅图像的部分图像的组。
信息处理装置还可以包括解码单元，解码单元被配置成对由比特流获取单元所获取的比特流进行解码。
信息处理装置还可以包括画面组合处理单元，画面组合处理单元被配置成根据由解码单元对比特流进行解码而获得的部分图像的图像数据来生成整个图像的图像数据。
部分图像信息可以包括指示形成整个图像的部分图像的数目的信息、指示部分图像的尺寸相等的识别信息以及在部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
根据本技术的另一方面，提供了一种信息处理方法，该信息处理方法包括：对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给；使用所获得的部分图像信息来选择期望的部分图像的比特流；以及获取所选择的比特流。
根据本技术的方面：生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及，使用所生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给。
根据本技术的另一方面，
对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给；使用所获得的部分图像信息来选择期望的部分图像的比特流；以及，获取所选择的比特流。
本发明的有益效果
根据本公开内容的实施方式，可以对信息进行处理。特别地，可以自适应地提供部分图像的数据。
附图说明
图1为用于描述MPEG-DASH的概况的图。
图2为示出MPD(媒体表示描述)的配置的示例的图。
图3为用于描述内容的时间分离的图。
图4为示出MPD中在时段(period)以下的分层结构的示例的图。
图5为用于描述MPD文件在时间轴上的配置的示例的图。
图6为示出瓦片图像的比特流的示例的图。
图7为用于描述瓦片图像的MP4文件的示例的图。
图8为用于描述瓦片图像的MP4文件的其他示例的图。
图9为用于描述划分尺寸的示例的图。
图10为用于描述扩展数据的示例的图。
图11为示出传送系统的主要配置的示例的框图。
图12为示出传送数据生成装置的主要配置的示例的框图。
图13为示出终端装置的主要配置的示例的框图。
图14为用于描述传送数据生成处理的流程示例的流程图。
图15为用于描述瓦片型MPD文件生成处理的流程示例的流程图。
图16为用于描述传送数据再现处理的流程示例的流程图。
图17为示出MPD扩展方法的示例的图。
图18为示出扩展MPD的示例的图。
图19为示出MPD扩展方法的示例的图。
图20为示出MPD扩展方法的示例的图。
图21为示出扩展MPD的示例的图。
图22为示出MPD扩展方法的示例的图。
图23为示出MPD扩展方法的示例的图。
图24为示出扩展MPD的示例的图。
图25为示出MPD扩展方法的示例的图。
图26为示出扩展MPD的示例的图。
图27为示出MPD扩展方法的示例的图。
图28为示出扩展MPD的示例的图。
图29为示出MPD扩展方法的示例的图。
图30为示出扩展MPD的示例的图。
图31为示出MPD扩展方法的示例的图。
图32为示出MPD扩展方法的示例的图。
图33为示出扩展MPD的示例的图。
图34为示出MPD扩展方法的示例的图。
图35为示出使用瓦片图像传送(tile image delivery)的应用的示例的图。
图36为示出使用瓦片图像传送的应用的另一示例的图。
图37为示出使用瓦片图像传送的应用的另一示例的图。
图38为示出MPD扩展方法的示例的图。
图39为用于描述瓦片图像的MP4文件的配置的示例的图。
图40为示出MPD的配置的示例的图。
图41为用于描述瓦片图像的MP4文件的配置的示例的图。
图42为示出MPD的配置的示例的图。
图43为用于描述瓦片图像的MP4文件的配置的示例的图。
图44为示出MPD的配置的示例的图。
图45为用于描述瓦片图像的MP4文件的配置的示例的图。
图46为示出MPD的配置的示例的图。
图47为用于描述瓦片图像的MP4文件的配置的示例的图。
图48为示出MPD的配置的示例的图。
图49为用于描述瓦片图像的MP4文件的配置的示例的图。
图50为示出MPD的配置的示例的图。
图51为用于描述瓦片图像的MP4文件的配置的示例的图。
图52为示出MPD的配置的示例的图。
图53为用于描述瓦片图像的MP4文件的配置的示例的图。
图54为示出MPD的配置的示例的图。
图55为用于描述瓦片图像的MP4文件的配置的示例的图。
图56为示出MPD的配置的示例的图。
图57为示出计算机的主要配置的示例的框图。
图58为示出多视图图像编码方案的示例的图。
图59为示出多视图图像编码装置的配置的示例的图。
图60为示出多视图图像解码装置的配置的示例的图。
图61为示出分层图像编码方案的示例的图。
图62为用于描述空间可伸缩编码的示例的图。
图63为用于描述时间可伸缩编码的示例的图。
图64为用于描述信噪比的可伸缩编码的示例的图。
图65为示出分层图像编码装置的配置的示例的图。
图66为示出分层图像解码装置的配置的示例的图。
图67为示出电视装置的示意性配置的示例的框图。
图68为示出移动电话的示意性配置的示例的框图。
图69为示出视频设备的示意性配置的示例的框图。
图70为示出视频处理器的示意性配置的示例的框图。
图71为示出视频处理器的示意性配置的另一示例的框图。
具体实施方式
在下文中，将描述用于实现本公开内容的模式(在下文中被称为实施方式)。将按照以下顺序进行描述。
1.第一实施方式(MPD扩展)
2.第二实施方式(传送系统)
3.第三实施方式(MPD扩展的特定示例)
4.第四实施方式(MPD扩展的其他示例)
5.第五实施方式(MP4文件和MPD扩展的其他示例)
6.第六实施方式(计算机)
7.第七实施方式(多视图图像编码装置和多视图图像解码装置)
8.第八实施方式(分层图像编码装置和分层图像解码装置)
9.第九实施方式(应用示例)
10.第十实施方式(设备、单元、模块和处理器)
<1.第一实施方式>
<DASH>
传统上，作为使用超文本传输协议(HTTP)的内容传送技术，有非专利文献1中描述的运动图像专家组-基于HTTP的动态自适应流(MPEG-DASH)。MPEG-DASH采用自适应比特率流送(ABS)技术，在该技术中，多条编码数据——在该多条编码数据中以不同比特率来表达同一内容——存储于内容服务器中并且客户端根据网络带宽来选择并且再现多条编码数据中的一条编码数据。
将参照图1来描述通过DASH的内容传输过程。首先，在获取内容侧的运动图像再现终端中，用于控制流送数据的软件选择所期望内容的媒体表示描述(MPD(mediapresentation description))文件并且从网络服务器获取MPD文件。MPD是用于对要进行传送的内容例如运动图像或音频进行管理的元数据。
在获取MPD时，用于控制运动图像再现终端的流送数据的软件对MPD进行分析并且执行控制以使得适合于通信线的质量、运动图像再现终端的性能等的期望内容的数据(DASH分片(segment))从网络服务器被获取。用于HTTP访问的客户端软件在控制之下使用HTTP从网络服务器获取DASH分片。以该方式获取的内容通过运动图像再现软件进行再现。
MPD具有例如图2所示的配置。在对MPD的分析(语法分析)中，客户端根据包括在MPD(图2中的媒体表示(Media Presentation))的时段(Period)中的表示(Representation)的属性来选择最优表示。
客户端读取所选表示(Representation)的开始分片(Segment)以获取并且处理初始分片(Initialization Segment)。随后，客户端获取并且再现随后的分片(Segment)。
图3示出了MPD中的时段(Period)、表示(Representation)和分片(Segment)之间的关系。即，可以针对每个时段(Period)来管理一条媒体内容以及可以针对每个分片(Segment)来管理每个时段(Period)，其中，时段是沿时间方向的数据单位，分片是沿时间方向的数据单位。对于每个时段(Period)，可以配置具有不同属性例如比特率的多个表示(Representation)。
相应地，MPD的文件(又被称为MPD文件)具有在时段(Period)以下的图4所示的分层结构。当在时间轴上布置MPD的结构时，MPD具有图5的示例中所示出的结构。对于同一分片(Segment)，如根据图5的示例是明显的，存在多个表示(Representation)。客户端可以根据通信环境或客户端的解码能力等、通过自适应地选择表示中的任意表示来获取合适的流数据以再现流数据。
<瓦片结构>
在相关技术的DASH中，自适应地控制整个图像的数据的传送，但是已经考虑了选择部分图像——而不是整个图像——并且自适应地传送该部分图像，部分图像为图像的一部分。例如，已经考虑了以下：传送部分图像，或者根据终端的性能(例如，CPU等的处理能力或显示器的尺寸)、传输路径或服务器的负荷情况等来控制要传送的部分图像的尺寸，部分图像是在接收图像数据的终端侧在整个图像中选择的部分。
为了执行对于部分图像的自适应传送，使用了瓦片(Tile)的概念。瓦片(Tile)是通过以预定的布局(尺寸、形状或数目等)对整个图像进行划分而获得的部分区域。在下文中，将一个瓦片的图像称为瓦片图像。当以该方式预先使整个图像瓦片化时，可以仅通过选择要传送的瓦片图像来促进对于部分图像的自适应传送。在该情况下，通过单个瓦片图像或多个瓦片图像来对部分图像进行配置。
当如在DASH中使用HTTP来传送部分图像时，图像数据被编码并且图像数据的比特流被文件化以进行传送(作为文件进行发布)。当整个图像具有上述的瓦片结构时，针对每个瓦片图像独立地编码图像数据。此时，如在图6A所示的示例中，可以将每个瓦片的每条编码数据配置在一个比特流中。
在图6A的示例中，准备有以下图像以作为用于传送的图像：具有640×480尺寸的整个图像；具有1980×1080尺寸的整个图像；以及通过沿垂直方向和水平方向将整个图像划分为二而获得的具有960×540尺寸的瓦片图像(四个部分图像)中的每一者。具有640×480尺寸的整个图像的数据被编码并且被视为一个比特流(bitstream1)以及具有1980×1080尺寸的整个图像的数据同样被编码并且被视为一个比特流(bitstream2)。除了数据以外，具有960×540尺寸的每个瓦片图像的数据被独立地编码并且被视为一个比特流(bitstream3至bitstream6)。
在每个比特流中，附加有例如视频参数集(VPS(video parameter set))、序列参数集(SPS(sequence parameter set))、补充增强信息(SEI(supplemental enhancementinformation))和图片参数集(PPS(pic真parameter set))的信息，并且针对每个片(Slice)对图像数据的比特流进行布置。
通过设置这样的结构，可以通过选择从bitstream3至bitstream6中选择的要传送的比特流来选择要传送的瓦片图像。在图6A的示例的情况下，可以将每个瓦片图像作为整个图像进行传送。
附带地，例如，在例如高效视频编码(HEVC)的编码方案中，支持整个图像被划分成的被称为瓦片(Tile)的结构，因此可以针对每个瓦片来独立地执行编码。例如，可以执行解码使得仅获得瓦片中的一些瓦片的图像。即，可以执行解码使得仅获得部分图像——部分图像是整个图像的一部分。
如在图6B所示的示例中，还可以使用这样的编码方案的功能将多个瓦片图像的编码数据配置为一个比特流(bitstream7)。即，在该情况下，将上述用于传送的瓦片(Tile)处理为由编码方案支持以进行编码的瓦片。在该情况下，在比特流中，瓦片的数据被布置为片(Slice)。
<MP4文件>
如上所述，根据例如MP4文件格式来使用于传送的比特流文件化。在该情况下，如在图7所示的示例中，可以将每个瓦片的比特流设置为单独的文件。每个瓦片的比特流以被称为轨道(Track)的单位进行管理。此外，提供了与每个瓦片有关的头(Header)信息以及基本轨道(Base Track)并且使头信息和基本轨道文件化为与每个瓦片的比特流不同的文件，在基本轨道中，描述了对于每个轨道的参考(reference)。在对所有瓦片进行解码时，再现基本轨道。在对每个瓦片进行解码时，在头信息中参考基本轨道。
如在图8所示的示例中，也可以将瓦片的比特流集中并且配置在一个文件中。此时，也可以将瓦片的数据集中在如图8A的一个轨道中并且对其进行管理并且还可以按照如图8B中的彼此不同的轨道来对瓦片进行管理。在该情况下，如在图7的情况下，提供了与每个瓦片有关的头(Header)信息和基本轨道(Base Track)，在基本轨道中，描述了对于每个轨道的参考。
<划分方法>
瓦片(Tile)可以是如在图9A的示例中通过均等地划分整个图像而获得的瓦片，或者可以是如在图9B的示例中通过非均等地划分整个图像而获得的瓦片。即，形成整个图像的瓦片图像的图像尺寸可以彼此相同或彼此不同。
<应用>
作为使用这样的瓦片(Tile)结构的应用的示例，例如，可以考虑对要显示的部分图像的尺寸进行控制的应用。
假定图9A中示出的整个图像10为经瓦片化的并且被划分成具有相同尺寸的多个瓦片图像11。例如，当通过具有小尺寸显示器的能动装置21来显示图像时，应用对部分图像12进行显示，部分图像12为2×2的4个瓦片图像。例如，当通过具有大尺寸显示器的电视信号接收器(TV)22来显示图像时，应用对部分图像13进行显示，部分图像13为6×5的30个瓦片图像。以该方式，考虑以下的应用：该应用根据显示图像的终端的性能等来控制所显示的部分图像的图像尺寸。
在图9B的示例的情况下，瓦片图像的图像尺寸是不相等的。应用可以通过显示瓦片3(Tile 3)的图像来显示具有高清(HD)分辨率的图像，可以通过显示瓦片2(Tile 2)至瓦片(Tile 4)的图像来显示具有电影(cinema)分辨率的图像，并且还可以通过显示瓦片1(Tile 1)至瓦片5(Tile 5)的图像来显示具有进一步扩展的尺寸(EXT)的图像。以该方式，考虑以下的应用：该应用通过控制要显示的部分图像的图像尺寸来控制显示图像的分辨率或纵横比。
因为在这样的应用中通过根据要显示的部分图像的图像尺寸来如上所述自适应地控制要传送的部分图像的尺寸(通过控制要传送的瓦片图像的数目)而不必传送将不会被显示的不必要的部分的图像，所以可以自适应地控制服务器、终端或传输路径等的负荷，并且因而可以抑制不必要的负荷的增加。
<瓦片图像的自适应供给>
然而，相关技术的MPEG-DASH标准仅涉及切换比特率(Bitrate)的概念，而不会执行：使用上述瓦片结构执行的选择任意的部分图像或者对于数据的供给——即部分图像的数据的自适应供给。
相应地，生成部分图像信息作为MPD的扩展数据并且使用所生成的部分图像信息来生成扩展MPD，其中，部分图像信息是与部分图像有关的信息，部分图像是整个图像的一部分，扩展MPD被扩展以包括元数据，元数据用于提供整个图像的比特流并且提供部分图像的比特流即部分图像信息。
要提供的部分图像可以是任意的部分图像——只要部分图像是整个图像的一部分即可，并且形状和尺寸等是任意的。例如，部分图像可以是可以根据其他部分而被独立编码的部分。然而，在下文中，为了便于描述，假定部分图像为以上述的瓦片为单位的图像。即，假定部分图像由单个瓦片图像或多个瓦片图像形成。
MPD具有分层结构，例如自适应集(AdaptationSet)层、表示(Representation)层、子表示(Sub-Representation)层和子分片(Sub-Segment)层。可以对这些层中的任意的层进行扩展。
例如，使用MPD的描述符型元素(DescriptorType element)来定义瓦片(Tile)的描述。例如，图10A中定义了瓦片的被称为视点(Viewpoint)的描述。
视点为存在于自适应集(AdaptationSet)中的元素。视点是定义视图是什么的描述。例如，视点定义视图为立体图像的右(R)图像还是左(L)图像。
即，在对自适应集进行扩展时，使用(扩展)相关技术的元素。通过使用相关技术的元素，可以抑制与相关技术的MPD的密切关系的减小(可以抑制不会被相关技术的解码器进行分析的描述的增加)。另一方面，在对表示(Representation)或子表示(Sub-Representation)进行扩展时，定义新的元素。
在上述视点的元素中，定义了用于存储部分图像信息的模式(schemeIdUri)。在图10A的示例的情况下，将(urn:mpeg:DASH:tile:2013)定义为用于瓦片的模式。当对自适应集、表示和子表示中的任意者进行扩展时执行对于模式的扩展。
此外，定义了用于新的瓦片的模式(urn:mpeg:DASH:tile:2013)的值。在这些值中，定义了上述部分图像信息。例如，将以下定义为值：指示由元素所指示的图像是什么的视图类型((1)viewtype)；与整个图像的尺寸有关的信息((2)整个图像的宽度和高度)；指示部分图像在整个图像中的位置的信息((3)由元素所指示的图像的x坐标和y坐标)；对组进行识别的组识别信息((4)TilegroupID)，组是部分图像所属于的组并且是可显示为一幅图像的部分图像的组。
视图类型(viewtype)是指示例如图像是否为瓦片图像的信息，如图10B所示。例如，在图像为整个图像时假定值为“0”，在图像为瓦片图像并且比特流如在图6A的示例中被针对每个瓦片进行划分时假定值为“1”，以及在图像为瓦片图像并且所有瓦片的数据如在图6B的示例中被集中在一个比特流中时假定值为“2”。提前决定这些值以及由这些值所指示的状态(值的定义)。当然，定义这些值的方法是任意的并且可以使用除了该示例以外的示例。通过参考这些值，可以容易地理解是否有必要参考另一元素(即，另一瓦片是否存在)。特别地，当图像为整个图像时，可以仅通过参考该值来容易地理解是否有必要参考另一元素。
如图10B所示，与整个图像的尺寸有关的信息(整个图像的宽度和高度)为指示图像——在该图像中与图像(瓦片图像)属于同一组的所有瓦片图像被合为一体——的尺寸(水平宽度和高度)的信息。在相关技术的MPD的情况下，假定比特流的图像的尺寸与显示图像的尺寸相同。在提供部分图像时，如上所述，比特流的图像的尺寸在一些情况下与显示图像的尺寸不同。例如，在使多个彼此不同的比特流的瓦片图像一体化以进行显示时，显示图像的尺寸在一些情况下可以大于比特流的图像的尺寸。为了处理这样的情况，对图像的尺寸进行指示，在该图像中与图像(瓦片图像)属于同一组的所有瓦片图像被合为一体。即，通过参考该值，在属于图像(瓦片图像)的同一组的所有瓦片图像被解码时，可以容易地理解最大处理负荷。在图10B的示例的情况下，将图像的尺寸(1920×1080)指示为与整个图像的尺寸有关的信息，在图像中具有960×540尺寸的4(2×2)个瓦片图像被合为一体。
如图10B所示，指示部分图像在整个图像中的位置的信息(由元素指示的图像的x坐标和y坐标)是指示图像——在该图像中与图像(瓦片图像)属于同一组的所有瓦片图像被合为一体——被定位在何处的信息。对于位置的表达(用何值进行指示)是任意的。例如，位置可以用图像的左上方的坐标进行表达。例如，位置可以用另一条信息进行表达，例如与瓦片有关的识别信息或者除了左上方以外的另一定位的坐标。通过参考该值，在图像(瓦片图像)被合为一体(组合)时，可以容易地理解图像的位置。即，通过参考要合为一体(进行组合)的每个瓦片图像的该值，可以容易地理解每个瓦片图像被如何布置并合为一体(组合)。
如图10B所示，组识别信息(TilegroupID)是指示图像所属的一组瓦片图像的识别信息。可以将相同的值分配至同一组的瓦片图像。与此相反，可以将不同的值分配至各个组。在图10B的示例的情况下，因为可以使瓦片1(Tile 1)至瓦片4(Tile 4)的瓦片图像合为一体，所以可以将相同的值作为组识别信息来分配至瓦片图像。通过参考该值，可以容易地理解哪些瓦片图像可以被合为一体(组合)。换言之，可以在显示时容易地识别要与图像合为一体(组合)的其他瓦片图像。
可以不将组识别信息(TilegroupID)定义为视点的值，而是定义为例如如下的另一元素的属性。
<AdaptationSet mimeType＝“video/mp4”group＝“1”>
在自适应集中，已经存在被称为组的属性。在前述示例中，意义可以作为瓦片(Tile)的集(Tilegroup)被分配至组。
<Representation mimeType＝“video/mp4”group＝“1”>
另一方面，被称为组的属性并不存在于表示或子表示中。即，当对表示或子表示进行扩展时，设置被称为组(group)的新的属性。
也可以在如图7或图8的示例中比特流被文件化(特别是以MP4形式文件化)时应用上述扩展方法。在该情况下，因为分配至其他轨道的比特流的头信息等被分配至基本轨道(Base Track)，所以与分片有关的位置信息是不必要的。由于该原因，在与基本轨道相对应的描述(视点)中，可以将并非实际坐标的值定义为与图像的位置有关的信息。例如，可以设置NULL(空)、空或空白(space)等。例如，可以将相当大的值或负值设置为坐标。当然，可以单独提供对基本轨道进行指示的识别(标记等)。
在相关技术的MPD的情况下，分片(Segment)不必存在于表示(Representation)之下。即，在紧在表示之下的分片中描述MP4文件的URL。子表示(Sub-Representation)为例如以下信息：该信息用于仅再现特技播放(trickplay)或音乐并且指定紧在表示之下的分片的MP4文件中的一部分的数据。
在对MPD进行扩展使得可以包括部分图像信息时，可以对MPD进行扩展使得分片存在于子表示(Sub-Representation)之下。即，可以将瓦片图像分配至子表示使得可以参考MP4文件的URL。
更具体地，在子表示中另外定义了基本URL(<BaseURL>)的标签、分片基本(<SegmentBase>)的标签、分片列表(<SegmentList>)的标签和分片模板(<SegmentTemplate>)的标签。
然而，在该情况下，有必要生成以下分片信息作为部分图像信息并且将该分片信息存储于MPD中：分片信息指示与比特流有关的信息存在于子表示(Sub-Representation)之下。例如，将指示与比特流有关的信息是否存在于子表示之下的标记(@SegmentInSubRepresentation:真或假)定义为分片信息。
以该方式，可以通过多个瓦片图像的子表示来对表示进行配置。通过实现这样的结构，与相关技术的表示的分离是可能的。
在相关技术的MPD的情况下，分片(Segment)表达时间概念，因而不允许相同时间的分片存在于一个表示(Representation)中。
在对MPD进行扩展使得包括部分图像信息时，可以通过将瓦片图像分配至分片来对MPD进行扩展使得相同时间的多个分片可以存在于一个表示中。
然而，在该情况下，有必要生成以下多分片信息作为部分图像信息并且将该多分片信息存储于MPD中：多分片信息指示多个分片——相同时间的瓦片图像被分配至该多个分片——存在于表示之下。例如，将指示与相同时间的比特流有关的多条信息是否存在于表示之下的标记(@multiSegmentInRepresentation:真或假)定义为多分片信息。
以该方式，与相关技术的分片的分离是可能的。
可以仅在相关技术的访问单元(AU)中指定分片，但是可以将子分片(Sub-Segment)定义在分片——存储有单个瓦片图像或多个瓦片图像的比特流的MP4文件被分配至该分片——之下，其中，子分片(Sub-Segment)分配被扩展使得可以指定以瓦片为单位的数据的ssix箱(ssix box)。即，在MP4文件被分配至的分片之下，包括ssix——ssix指定与来自MP4文件的分片相对应的瓦片——的一个子分片或多个子分片可能存在。
以该方式，可以表达比子分片中的样本(sample)小的单位。
为此，有必要允许分片信息是假的(@SegmentInSubRepresentation＝假)并且在分片中定义视点(Viewpoint)以用于暗示。即，根据两条信息，可以理解到瓦片图像根据子分片被表达(MP4文件被扩展)。
可以单独定义专用的标记信息以阐明瓦片图像根据子分片被表达(MP4文件被扩展)。
部分图像信息并不限于上述示例，而是可以使用任意的部分图像信息。例如，在值中，可以定义除了在上述示例中指示的信息(视图类型((1)viewtype)、与整个图像的尺寸有关的信息((2)整个图像的宽度和高度)、指示部分图像在整个图像中的位置的信息((3)由要素指示的图像的x坐标和y坐标)以及对组——部分图像属于该组并且该组是可显示为一幅图像的部分图像的组——进行识别的组识别信息((4)TilegroupID))以外的信息。此外，可以将除了上述标记信息以外的标记信息定义为部分信息。
通过如上所述生成部分图像信息并且使用部分图像信息对MPD(元数据)进行扩展，可以使用元数据来实现对于部分图像的数据的自适应供给。
<2.第二实施方式>
<传送系统>
接着，将描述实现了上面所述的本技术的装置及其方法。图11为示出传送系统的图，传送系统为本技术所应用于的一种系统。图11中示出的传送系统100为可以自适应地传送作为整个图像的一部分的部分图像的数据的系统。
如图11所示，传送系统100包括传送数据生成装置101、传送服务器102和终端装置103。
传送数据生成装置101生成例如由传送服务器102传送的例如图像和音频的内容的文件以及文件的MPD文件并且将内容文件和MPD文件提供至传送服务器102。传送服务器102通过网络104来发布从传送数据生成装置101提供的内容文件和MPD文件并且执行对于部分图像的自适应传送。
终端装置103经由网络104来访问传送服务器102并且获取由传送服务器102发布的期望内容的MPD。
终端装置103根据MPD文件、经由网络104来访问传送服务器102，自适应地选择与MPD文件相对应的合适的文件，并且通过HTTP协议来获取内容文件。终端装置103再现所获取的内容文件。
<传送数据生成装置>
图12为示出传送数据生成装置101的主要配置的示例的框图。如图12所示，传送数据生成装置101包括画面划分处理单元121、图像编码单元122、文件生成单元123、瓦片型图像信息生成单元124、MPD生成单元125和服务器上载处理单元126。
画面划分处理单元121对从外部提供的图像数据进行编辑(处理)以针对每个瓦片对图像数据的整个图像进行划分并且生成瓦片图像的图像数据。画面划分处理单元121将以该方式生成的每个瓦片的图像数据提供至图像编码单元122。画面划分处理单元121将例如与瓦片结构有关的信息例如每个瓦片的尺寸或位置等提供至瓦片型图像信息生成单元124。
图像编码单元122对从画面划分处理单元121提供的每个瓦片的图像数据进行编码以生成比特流。如图12所示，图像编码单元122包括多个编码处理单元例如编码处理单元131、编码处理单元132和编码处理单元133等，并且可以并行地对所提供的瓦片中的每个瓦片的图像数据进行编码。如参照图6等所描述的，图像编码单元122可以根据一条图像数据来生成任意数目的比特流。图像编码单元122还可以将多条图像数据集中于一个比特流中。例如，图像编码单元122还可以针对每个瓦片图像生成比特流并且还可以将多个瓦片图像集中于一个比特流中。图像编码单元122将所生成的比特流提供至文件生成单元123。
图像编码单元122的编码方法是任意的。编码处理单元执行相同的编码方法或者可以执行彼此不同的编码方法。
文件生成单元123根据预定的格式例如MP4文件格式来使所提供的比特流文件化以生成内容文件。如参照图7和图8等所描述的，文件生成单元123还可以使一个比特流文件化为任意数目个文件。文件生成单元123还可以将多个比特流集中于一个文件中。文件生成单元123将所生成的内容文件提供至MPD生成单元125。文件生成单元123将与文件化有关的信息——例如如何使每个比特流文件化——提供至瓦片型图像信息生成单元124。
文件生成单元123可以根据任意格式来执行文件化。
瓦片型图像信息生成单元124基于从画面划分处理单元121提供的与瓦片结构有关的信息、从文件生成单元123提供的与文件化有关的信息等来生成瓦片型图像信息(即部分图像信息)以使MPD与瓦片结构匹配。瓦片型图像信息(部分图像信息)是包括在第一实施方式中所描述的内容的信息并且被生成作为例如视点或标记信息的值。瓦片型图像信息生成单元124将所生成的瓦片型图像信息提供至MPD生成单元125。
MPD生成单元125生成与从文件生成单元123提供的内容文件有关的MPD，使用从瓦片型图像信息生成单元124提供的瓦片型图像信息(部分图像信息)来扩展MPD，并且生成与瓦片结构相对应的瓦片型MPD。MPD生成单元125将所生成的瓦片型MPD的文件(MPD文件)和内容文件提供至服务器上载处理单元126。
服务器上载处理单元126将所提供的MPD文件或内容文件上载至传送服务器102(图11)以发布MPD文件或内容文件。
传送数据生成装置101以该方式生成与瓦片结构相对应的瓦片型MPD，并且因此传送服务器102可以基于DASH标准自适应地传送(提供)部分图像的数据。即，传送系统100可以实现对于部分图像的数据的自适应供给。
可以将上述处理单元配置为独立装置。特别地，可以将瓦片型图像信息生成单元124或MPD生成单元125配置为独立装置。即，与内容文件的生成有关的配置不是必需的而且可以仅执行瓦片型图像信息(部分图像信息)的生成。例如，还可以基于从另一装置提供的信息来生成瓦片型图像信息(部分图像信息)。例如，可以将所生成的瓦片型图像信息(部分图像信息)提供至另一装置。
可以仅执行瓦片型MPD的生成。例如，可以使用从其他装置提供的瓦片型图像信息(部分图像信息)来生成与在另一装置中生成的内容文件相对应的瓦片型MPD。还可以将所生成的MPD文件提供至另一装置。
如在瓦片型MPD生成单元141中，可以将瓦片型图像信息生成单元124和MPD生成单元125进行集成。例如，可以将瓦片型MPD生成单元141配置为一个独立装置。
<终端装置>
图13为示出终端装置103的主要配置的示例的框图。如图13所示，终端装置103包括MPD获取单元151、语法分析处理单元152、瓦片图像选择单元153、文件获取单元154、图像解码单元155、瓦片图像组合单元156和显示单元157。
MPD获取单元151基于例如终端装置103的用户或控制程序的指令、经由网络104从传送服务器102获取所期望的内容的MPD文件。MPD获取单元151将所获取的MPD文件提供至语法分析处理单元152。
语法分析处理单元152对所提供的MPD文件进行分析(语法分析)。语法分析处理单元152还对包括在MPD文件中的瓦片型图像信息(部分图像信息)进行分析(语法分析)。语法分析处理单元152将分析结果提供至瓦片图像选择单元153。
在瓦片图像选择单元153获取从外部提供并且用于指定要进行再现的部分图像(根据单个瓦片图像或多个瓦片图像形成的图像)的瓦片图像指定信息时，瓦片图像选择单元153基于语法分析处理单元152中对MPD文件(瓦片型图像信息)的分析结果，在包括在瓦片型图像信息中的瓦片图像中间选择由瓦片图像指定信息所指定的瓦片图像。瓦片图像选择单元153将所选择的瓦片图像的文件的URL(传送地址)提供至文件获取单元154。
文件获取单元154经由网络104来访问从瓦片图像选择单元153提供的传送服务器102的传送地址以获取所期望的内容文件。文件获取单元154从所获取的内容文件来获取比特流并且将比特流提供至图像解码单元155。
图像解码单元155对从文件获取单元154提供的比特流进行解码以获得瓦片图像的图像数据。如图13所示，图像解码单元155包括多个解码处理单元例如解码处理单元161、解码处理单元162和解码处理单元163等，并且可以并行地对多个所提供的比特流进行解码。图像解码单元155将通过对比特流进行解码而获得的瓦片图像的图像数据提供至瓦片图像组合单元156。
图像解码单元155可以根据与图像编码单元122的编码方法相对应的任意的解码方法来执行解码。相应地，每个解码处理单元还可以根据相同的方法来执行解码或者还可以根据彼此不同的方法来执行解码。
当从图像解码单元155提供属于同一组的多个瓦片图像的图像数据时，瓦片图像组合单元156将瓦片图像组合(合为一体)并且将图像数据组合，使得形成一幅图像。即，瓦片图像组合单元156生成用于显示的图像的图像数据。当图像未被组合时(例如，当单个瓦片图像被显示时或者当多个瓦片图像在传送时已经被形成为一个比特流时)，则所提供的图像被视为用于显示的图像。瓦片图像组合单元156将用于显示的图像数据提供至显示单元157。
显示单元157再现所提供的用于显示的图像数据并且将用于显示的图像显示在显示器上。
如上所述，终端装置103可以正确地分析与瓦片结构相对应的瓦片型MPD并且获得通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，部分图像的数据可以从传送服务器102被正确地获取并且可以被再现。即，传送系统100可以实现对于部分图像的数据的自适应供给。
如上所述，终端装置103可以显示具有与在传送时的图像尺寸不同的图像尺寸的图像。即，终端装置103可以根据传送服务器102或网络104的负荷情况等来更加自适应地控制数据传送。例如，因为可以对是获取整个图像还是获取瓦片图像进行控制，所以可以在不改变显示图像的尺寸的情况下适当地增加或减小所获取的内容文件的数目。因此，可以适当地执行控制例如传送源或路径的分送或集中。
可以将上述处理单元配置为独立装置。特别地，可以将语法分析处理单元152或瓦片图像选择单元153配置为独立装置。即，与内容文件的获取或再现(解码)有关的配置不是必需的并且可以仅执行对于瓦片型MPD或瓦片型图像信息(部分图像信息)的分析。例如，可以对由另一装置从传送服务器102获取的MPD文件进行分析。例如，可以将分析结果提供至另一装置。
如在瓦片型图像信息处理单元171中，可以将语法分析处理单元152和瓦片图像选择单元153进行集成。例如，可以将瓦片型图像信息处理单元171配置为一个独立装置。
可以将从瓦片图像组合单元156输出的用于显示的图像数据提供至另一装置或者将其记录在记录介质上。此时，可以对图像数据进行编码。
<传送数据生成处理的流程>
接着，将对由上述传送系统100的每个装置执行的每个处理的流程进行描述。首先，将参照图14的流程图来描述通过传送数据生成装置101的传送数据生成处理的流程的示例。
在传送数据生成处理开始时，在步骤S101中，传送数据生成装置101的画面划分处理单元121对图像数据进行编辑(处理)使得画面(即整个图像)被划分为瓦片。
在步骤S102中，图像编码单元122对在步骤S101中生成的每个瓦片图像的图像数据进行编码。
在步骤S103中，文件生成单元123使在步骤S102中生成的编码数据(比特流)文件化(即生成内容文件)。
在步骤S104中，瓦片型MPD生成单元141根据处理结果(处理结果例如步骤S101的划分或步骤S103的文件化)来生成瓦片型MPD的文件。
在步骤S105中，服务器上载处理单元126将以该方式生成的MPD文件和内容文件上载至传送服务器102。
当步骤S105的处理结束时，传送数据生成处理结束。
<瓦片型MPD文件生成处理的流程>
接着，将参照图15的流程图来对图14的步骤S104中执行的瓦片型MPD文件生成处理的流程的示例进行描述。
当瓦片型MPD文件生成处理开始时，在步骤S121中，瓦片型图像信息生成单元124例如在视点的元素中设置瓦片型图像信息的模式(例如，urn:mpeg:DASH:tile:2013)。
在步骤S122中，瓦片型图像信息生成单元124将模式的值中的视图类型(viewtype)设置为瓦片型图像信息。
在步骤S123中，瓦片型图像信息生成单元124将模式的值中的整个图像的尺寸(宽度和高度)设置为瓦片型图像信息。
在步骤S124中，瓦片型图像信息生成单元124将模式的值中的瓦片图像的位置(x和y)设置为瓦片型图像信息。
在步骤S125中，瓦片型图像信息生成单元124将模式的值中的组识别信息(TilegroupID)设置为瓦片型图像信息。
在步骤S126中，瓦片型图像信息生成单元124在必要时将分片信息(@SegmentInSubRepresentation)设置为瓦片型图像信息。例如，在MPD被扩展使得分片存在于子表示(Sub-Representation)之下时，瓦片型图像信息生成单元124生成分片信息，该分片信息指示与比特流有关的信息存在于子表示(Sub-Representation)之下。
在步骤S127中，瓦片型图像信息生成单元124在必要时将多分片信息(@multiSegmentInRepresentation)设置为瓦片型图像信息。例如，在瓦片图像被分配至分片并且MPD被扩展使得相同时间的多个分片存在于一个表示中时，瓦片型图像信息生成单元124生成多分片信息，该多分片信息指示多个分片——相同时间的瓦片图像被分配至该多个分片——存在于表示之下。
当步骤S127的处理结束时，瓦片型MPD文件生成处理结束并且处理返回至图14。
通过执行上述处理，传送数据生成装置101可以使得传送服务器102能够基于DASH标准自适应地传送(提供)部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<传送数据再现处理的流程>
接着，将参照图16的流程图对由终端装置103执行的传送数据再现处理的流程的示例进行描述。
当传送数据再现处理开始时，在步骤S141中，MPD获取单元151从传送服务器102获取与所期望的内容相对应的MPD文件。
在步骤S142中，语法分析处理单元152对在步骤S141中获取的MPD文件进行分析(语法分析)。
在步骤S143中，语法分析处理单元152对包括在MPD文件中的瓦片型图像信息(部分图像信息)进行分析(语法分析)。
在步骤S144中，瓦片图像选择单元153在瓦片型图像信息中所指示的瓦片图像中选择由从外部提供的瓦片图像指定信息所指定的瓦片图像。
在步骤S145中，文件获取单元154获取在步骤S144中所选择的瓦片图像的文件。
在步骤S146中，图像解码单元155对包括在步骤S145中所获取的文件中的瓦片图像的比特流进行解码。
在步骤S147中，在必要时，瓦片图像组合单元156对通过在步骤S146中对比特流进行解码而获得的瓦片图像的图像数据进行编辑(处理)使得将瓦片图像组合。
在步骤S148中，显示单元157将用于显示的图像例如在步骤S147中获得的瓦片图像的组合图像显示在显示器上。
当步骤S148的处理结束时，传送数据再现处理结束。
如上所述，通过执行传送数据再现处理，终端装置103可以正确地分析与瓦片结构相对应的瓦片型MPD并且获得通过传送服务器102的部分图像的数据的基于DASH标准的自适应传送(供给)。即，部分图像的数据可以从传送服务器102被正确地获取并且可以被再现。即，可以实现对于部分图像的数据的自适应供给。
可以连同对于整个图像的传送(供给)一起使用对于部分图像的上述自适应传送(供给)。即，例如，服务器可以根据来自终端的请求等来自适应地传送整个图像或任意部分图像。
<3.第三实施方式>
<MPD扩展的特定示例>
接着，将描述MPD扩展方法的特定示例。
<示例1>
图17示出扩展MPD的主要配置示例。在图17的示例的情况下，将要传送的图像数据的每个瓦片的编码数据配置在一个比特流(MP4文件)中(bitstream3.mp4至bitstream6.mp4)。在MPD中，对自适应集(AdaptationSet)进行扩展并且将每个瓦片图像的比特流(MP4文件)定义在彼此不同的自适应集中。将作为对于瓦片的描述的视点(Viewpoint)定义在自适应集中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置于表示(Representation)之下的分片(Segment)中，其中，表示(Representation)在自适应集之下。
即，将与属于同一组的多个部分图像有关的部分图像信息存储于彼此不同的自适应集中，并且将多个部分图像的比特流分配至彼此不同的自适应集。
在该示例的情况下，如图17所示，可以提供与整个图像的自适应集(bitstream1.mp4和bitstream2.mp4)一起布置的瓦片图像的自适应集，因此可以以统一的方式来管理对于整个图像的传送以及对于部分图像的自适应传送。
在相关技术的DASH中，例如，在许多情况下将具有不同的显示内容的图像例如立体图像的R图像和L图像定义在彼此不同的自适应集中。在该示例中，模仿这样的方式将瓦片图像定义在彼此不同的自适应集中。因此，即使在对于部分图像的传送控制中，也可以实现接近于相关技术的自然的方式。因此，可以促进发展。
在图17的示例中，将具有不同分辨率的整个图像定义在同一自适应集中，但是可以将这些整个图像定义在彼此不同的自适应集中。
图18示出了该示例的MPD的具体描述示例。
<示例2>
图19示出扩展MPD的另一配置示例。在图19的示例的情况下，将要传送的图像数据的瓦片的所有编码数据配置在一个比特流(MP4)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，对自适应集(AdaptationSet)进行扩展并且将每个瓦片图像的比特流(MP4文件)定义在与定义有整个图像的自适应集不同的自适应集中。然而，与<示例1>的情况不同，将瓦片图像的比特流(MP4文件)定义在同一自适应集中。
将作为对瓦片的描述的视点(Viewpoint)定义于自适应集之下的表示(Representation)中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置于在表示之下的分片(Segment)中。
即，与属于同一组的多个部分图像有关的部分图像信息被存储于属于元数据的一个自适应集的彼此不同的表示中，而多个部分图像的比特流被分配至彼此不同的表示。
在该示例的情况下，如图19所示，提供了与整个图像的自适应集一起布置的瓦片图像的自适应集，因此可以以统一的方式来管理对于整个图像的传送以及对于部分图像的自适应传送。
在图19的示例中，将具有不同分辨率的整个图像(bitstream1.mp4和bitstream2.mp4)定义在同一自适应集中，但是可以将这些整个图像定义在彼此不同的自适应集中。
<示例3>
图20示出扩展MPD的另一配置示例。在图20的示例的情况下，将要传送的图像数据的瓦片的编码数据集中在一个比特流中。比特流被文件化为针对每个瓦片的MP4文件(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)。如参照图7所描述的，其中集中有瓦片的头信息等的基本轨道独立于瓦片的比特流被文件化(bitstream7_base.mp4)。
在MPD中，对自适应集(AdaptationSet)进行扩展并且将瓦片图像的比特流(MP4文件)(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)定义在彼此不同的自适应集中。
将作为对于瓦片的描述的视点(Viewpoint)定义在自适应集中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置于在表示(Representation)之下的分片(Segment)中，其中，表示(Representation)在自适应集之下。
在定义于基本轨道的比特流(MP4文件)(bitstream7_base.mp4)的视点的值中的x坐标和y坐标中，如在第一实施方式中所述，设置了与正常坐标明显不同的值例如NULL等。在定义于每个视点的值中的视图类型的值中，设置了指示以下瓦片(Tile)的值(图20的示例的情况下的“2”)：在该瓦片中，支持例如HEVC等的编码方案。
即，与属于同一组的多个部分图像有关的部分图像信息被存储于元数据的彼此不同的自适应集中，包括多个部分图像的一个比特流被针对每个部分图像所划分为的多个文件被分配至彼此不同的自适应集。
图21示出了该示例的MPD的具体描述示例。
<示例4>
图22示出扩展MPD的另一配置示例。在图22的示例的情况下，扩展方法与<示例3>的扩展方法相同。如图22所示(与图9B相对应)，对瓦片进行设置使得尺寸不相等。在该情况下，可以通过将如以四边形所示的瓦片相加来获得具有期望的尺寸的图像。
在该示例的情况下，要传送的图像数据的每个瓦片的每条编码数据被配置在一个比特流(MP4文件)(tile1.mp4至tile5.mp4)中。因此，不像在<示例3>中存在基本轨道。
即，与包括在比特流中的控制信息有关的部分图像信息被另外生成，关于控制信息的部分图像信息被存储于与关于每个部分图像的部分图像信息不同的自适应集中，并且控制信息的文件被分配至自适应集。
<示例5>
图23示出扩展MPD的另一配置示例。在图23的示例的情况下，要传送的图像数据的每个瓦片的每条编码数据被配置在一个比特流(MP4文件)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，将表示(Representation)进行扩展并且将瓦片图像的比特流(MP4文件)定义在与整个图像的比特流(MP4文件)(bitstream1.mp4和bitstream2.mp4)相同的自适应集之下的彼此不同的表示中。
将作为对于瓦片的描述的视点(Viewpoint)定义在表示中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置在表示之下的分片(Segment)中。
即，与属于同一组的多个部分图像有关的部分图像信息被存储于属于元数据的整个图像的同一自适应集的彼此不同的表示中，并且多个部分图像的比特流被分配至彼此不同的表示。
即，在该示例的情况下，如图23所示，可以提供与整个图像(bitstream1.mp4和bitstream2.mp4)的表示一起布置的瓦片图像的表示，因此可以以统一的方式来管理对于整个图像的传送和对于部分图像的自适应传送。
图24示出了该示例的MPD的具体描述示例。
<示例6>
图25示出扩展MPD的另一配置示例。在图25的示例的情况下，要传送的图像数据的瓦片的编码数据被集中在一个比特流中。比特流被文件化为针对每个瓦片的MP4文件(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)。如参照图7所描述的，其中集中有瓦片的头信息等的基本轨道独立于瓦片的比特流被文件化(bitstream7_base.mp4)。
在MPD中，将表示(Representation)进行扩展，并且将瓦片图像的比特流(MP4文件)(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)定义在同一自适应集之下的彼此不同的表示中。
将作为对于瓦片的描述的视点(Viewpoint)定义在表示中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置在表示之下的分片(Segment)中。
在定义于基本轨道的比特流(MP4文件)(bitstream7_base.mp4)的视点的值中的x坐标和y坐标中，如第一实施方式所述，设置了与正常坐标明显不同的值例如NULL等。在定义于每个视点的值中视图类型的值中，设置了指示以下瓦片(Tile)的值(图25的示例的情况下的“2”)：在该瓦片中，支持例如HEVC等的编码方案。
即，与包括在一个比特流——该比特流包括属于同一组的多个部分图像——中的控制信息有关的部分图像信息被另外生成，与多个部分图像有关的部分图像信息被存储于属于元数据的一个自适应集的彼此不同的表示中，比特流被针对每个部分图像所划分为的多个文件被分配至彼此不同的表示，关于控制信息的部分图像信息被存储于与关于每个部分图像的部分图像信息不同的表示中，并且控制信息的文件被分配至表示。
图26示出了该示例的MPD的具体描述示例。
<示例7>
图27示出扩展MPD的另一配置示例。在图27的示例的情况下，要传送的图像数据的每个瓦片的每条编码数据被配置在一个比特流(MP4文件)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，对子表示(Sub-Representation)进行扩展并且将瓦片图像的比特流(MP4文件)定义在与整个图像的比特流(MP4文件)(bitstream1.mp4和bitstream2.mp4)相同的自适应集之下并且在与整个图像的比特流(MP4文件)不同的表示之下的彼此不同的子表示中。
将作为对于瓦片的描述的视点(Viewpoint)定义在子表示中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置在子表示之下的分片(Segment)中。
在其中定义了每个瓦片图像的比特流(MP4文件)的表示中，定义了以下的分片信息(@SegmentInSubRepresentation＝真)：该分片信息指示与比特流有关的信息存在于子表示之下。
即，与属于同一组的多个部分图像有关的部分图像信息被存储于属于一个表示——该表示属于元数据的一个自适应集——的彼此不同的子表示中，并且多个部分图像的比特流被分配至彼此不同的子表示。
即，在该示例的情况下，如图27所示，可以提供与整个图像的表示(bitstream1.mp4和bitstream2.mp4)一起布置的瓦片图像的表示，因此可以以统一的方式来管理对于整个图像的传送和对于部分图像的自适应传送。
图28示出了该示例的MPD的具体描述示例。
<示例8>
图29示出扩展MPD的另一配置示例。在图29的示例的情况下，要传送的图像数据的瓦片的编码数据被集中在一个比特流中。比特流被文件化为针对每个瓦片的MP4文件(bitstream7_Tile1.mp4至bitstream7_Tile4.mp4)。如参照图7所描述的，其中集中有瓦片的头信息等的基本轨道独立于瓦片的比特流被文件化(bitstream7_base.mp4)。
在MPD中，对子表示(Sub-Representation)进行扩展，并且将瓦片图像的比特流(MP4文件)(bitstream7_Tile1.mp4至bitstream7.Tile4.mp4)定义在同一表示(Representation)之下的彼此不同的子表示中，其中，所述同一表示(Representation)在同一自适应集(AdaptationSet)之下。
将作为对于瓦片的描述的视点(Viewpoint)定义在子表示中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置在子表示之下的分片(Segment)中。
将基本轨道的视点定义在子表示之上的表示中并且将基本轨道的比特流(MP4文件)(bitstream7_base.mp4)的URL设置在表示之下的分片中。在其中定义有每个瓦片图像的比特流(MP4文件)的表示中，定义了以下的分片信息(@SegmentInSubRepresentation＝真)：该分片信息指示与比特流有关的信息存在于子表示之下。此外，可以用图4所示的MPD的另一构成元素(例如AdaptationSet)来定义以下分片信息(@SegmentInSubRepresentation＝真)：该分片信息指示与比特流有关的信息存在于子表示之下。
在定义于基本轨道的比特流(MP4文件)(bitstream7_base.mp4)的视点的值中的x坐标和y坐标中，如第一实施方式所述，设置与正常坐标明显不同的值例如NULL等。在定义于每个视点的值中视图类型的值中，设置指示以下瓦片(Tile)的值(图29的示例的情况下的“2”)：在该瓦片中，支持例如HEVC等的编码方案。
即，与包括在一个比特流——该比特流包括属于同一组的多个部分图像——中的控制信息有关的部分图像信息以及指示与比特流有关的信息存在于子表示(Sub-Representation)之下的分片信息被另外生成，分片信息和控制信息的部分图像信息被存储于属于元数据的一个自适应集的一个表示中，控制信息的文件被分配至表示，与多个部分图像有关的部分图像信息被存储于属于表示的彼此不同的子表示中，并且比特流被针对每个部分图像所划分为的多个文件被分配至彼此不同的子表示。
图30示出了该示例的MPD的具体描述示例。
<示例9>
图31示出扩展MPD的另一配置示例。在图31的示例的情况下，要传送的图像数据的瓦片的编码数据被集中在一个比特流中。如在图8的示例中比特流被文件化为一个MP4文件(bitstream7.mp4)。
在MPD中，对子表示(Sub-Representation)进行扩展并且将瓦片图像的比特流(MP4文件)(bitstream7.mp4)定义在表示(Representation)之下，其中，表示(Representation)在自适应集(AdaptationSet)之下。在子表示之上的表示中，定义与瓦片图像的比特流(MP4文件)(bitstream7.mp4)相对应的视点(Viewpoint)并且另外定义分片信息(@SegmentInSubRepresentation＝真)——该分片信息指示与比特流有关的信息存在于子表示之下。
在表示之下的子表示中，设置每个瓦片的视点并且用表示之下的分片中的字节来指定(bitstream7.mp4)中每个瓦片的数据的位置。
即，指示与比特流有关的信息存在于子表示之下的分片信息以及包括在一个比特流——该比特流包括属于同一组的多个部分图像——中的控制信息的部分图像信息被另外生成，控制信息的部分图像信息以及分片信息被存储于属于元数据的一个自适应集的一个表示中，比特流被分配至表示，与多个部分图像有关的部分图像信息被存储于属于表示的彼此不同的子表示中，并且指示比特流中部分图像的数据的位置的信息被分配至彼此不同的子表示。
<示例10>
图32示出扩展MPD的另一配置示例。在图32的示例的情况下，要传送的图像数据的瓦片的编码数据被配置在一个比特流(MP4文件)(bitstream3.mp4至bitstream6.mp4)中。在MPD中，对分片(Segment)进行扩展并且将多个分片(Segment)定义在表示之下，其中，表示在自适应集之下。
在表示中，定义了所有瓦片图像的组合图像的视点并且将指示多个分片——相同时间的瓦片图像被分配至该多个分片——存在的多分片信息(@multiSegmentInRepresentation＝真)定义在表示之下。此外，可以用图4所示的MPD的另一构成元素(例如AdaptationSet)来定义对与比特流有关的信息存在于子表示之下进行指示的分片信息(@SegmentInSubRepresentation＝真)。
将瓦片图像的比特流(MP4文件)定义在与整个图像的比特流(MP4文件)不同的表示之下并且在与整个图像的比特流(MP4文件)(bitstream1.mp4和bitstream2.mp4)相同的自适应集之下的彼此不同的分片中。
将作为对于瓦片的描述的视点(Viewpoint)定义在分片(Segment)中并且将与视点相对应的瓦片的比特流(MP4文件)的URL设置在每个分片(Segment)中。
即，指示与相同时间的比特流有关的多条信息存在于表示之下的多分片信息被另外生成，多分片信息被存储于属于元数据的一个自适应集的一个表示中，与属于同一组的多个部分图像有关的部分图像信息被存储于属于表示的彼此不同的分片中，并且多个部分图像的比特流被分配至彼此不同的分片。
即，如图32所示，在该示例的情况下，可以提供与整个图像(bitstream1.mp4和bitstream2.mp4)的表示一起布置的瓦片图像的表示，因此可以以统一的方式来管理对于整个图像的传送和对于部分图像的自适应传送。
图33示出了该示例的MPD的具体描述示例。
<示例11>
图34示出扩展MPD的另一配置示例。在图34的示例的情况下，要传送的图像数据的瓦片的编码数据被集中地配置在一个比特流(MP4文件)(bitstream7.mp4)中。在MPD中，对子分片(Sub-Segment)进行扩展并且将多个子分片(Sub-Segment)定义在分片之下，其中，分片在表示之下，表示在自适应集之下。
在表示中，定义以下分片信息(@SegmentInSubRepresentation＝假)：该分片信息指示与比特流有关的信息不存在于子表示之下。
在分片中，定义所有瓦片图像的组合图像的视点并且根据在分片之下的子分片中的ssix来示出每个瓦片图像的数据。
即，指示与比特流有关的信息不存在于子表示之下的分片信息以及与一个比特流——该一个比特流包括属于同一组的多个部分图像——有关的部分图像信息被另外生成，分片信息被存储于属于元数据的一个自适应集的一个表示中，部分图像信息被存储于属于表示的一个分片中，比特流被分配至分片，并且指示比特流中的每个部分图像的数据的位置的信息被分配至属于分片的彼此不同的子分片。
当然，MPD扩展方法是任意的并且可以使用除了上述方法以外的方法。
<使用对于瓦片图像的传送的应用的其他示例>
接着，将对使用上述的对于瓦片图像的自适应传送(供给)的应用的另一示例进行描述。
例如，在图35的左边所示的系统中，假定移动装置221使用3G线从服务器220获取由整个图像210的四个瓦片图像211形成的具有1920×1080尺寸的部分图像212并且再现该部分图像212。
为了切换电视信号接收器(TV)222上的显示，从TV 222获取与切换目的地的TV222的再现环境(网络带宽)或再现能力(分辨率和解码器能力)有关的信息。获取信息的方法是任意的。例如，移动装置221可以通过执行与TV 222的直接通信来获取信息。可替代地，移动装置221可以经由服务器220来获取信息。
移动装置221根据与MPD有关的信息来选择最优的瓦片图像以用于切换目的地的TV 222。在图35的示例的情况下，选择了由5×5个瓦片图像211形成的部分图像213。
切换目的地的TV 222获取以该方式选择的瓦片图像的比特流并且再现比特流。
上述对于最优流的选择和获取可以由移动装置221来执行以推送至切换目的地的TV 222，或者这样的选择或获取可以由TV 222来执行。
<使用对于瓦片图像的传送的应用的其他示例>
例如，在图36的左边示出的系统中，假定移动装置221再现整个图像的一部分(移动装置的状态221A)。
为了在再现期间通过偏移区域来再现另一区域，移动装置221的用户用他的或她的手指在触控面板上偏移区域以移动图像(如箭头233所述指示)，使得期望要再现的方向被显示在画面上。例如，当用户期望显示当前显示区域(部分图像231)的如箭头234所指示的右上区域(部分图像232)时，用户从画面的右上开始沿左下方向描画他的或她的手指。
在这样的用户输入被执行时，移动装置221基于所输入的手指运动等来计算图像的移动目的地并且根据与MPD有关的信息来选择要显示的瓦片图像的流。
然后，移动装置221从服务器220获取所选择的比特流并且执行再现和显示(移动装置的状态221B)。
对于瓦片图像的选择可以由在移动装置221中执行的应用来执行，或者可以将根据手指运动所获取的图像的移动目的地的方向发送至服务器220并且可以由服务器220来选择图像。
为了实际地移动图像，可以使显示区域突然切换或者可以使显示区域逐渐偏移和切换以执行平滑切换。
<4.第四实施方式>
<MPD扩展的其他示例>
图37为示出使用瓦片图像传送的应用的另一示例的图。
为了使用户能够在广播等的多个信道的节目中选择最喜欢的节目，例如，通过将多个信道的图像编码为一幅图像(HD)来生成菜单。将经组合使得布置了这样的不同图像的组合图像定义为马赛克视频。
例如，在具有如在电视信号接收器中的大显示器的装置的情况下，用户可以根据马赛克视频——在马赛克视频中组合了所有信道的节目——容易地理解每个节目的内容，选择期望的节目并且显示节目。
然而，在移动装置的情况下，移动装置的显示器小，因此仅可以显示具有小的图像尺寸(低分辨率)的图像，例如HD(高清)或更低的图像。即，可以仅将具有1920×1080的图像传送至这样的移动装置。
然而，在这样的小的图像尺寸中，显示了马赛克视频的每个信道的节目的区域太小，因此用户难以根据这样的马赛克视频来理解每个节目的内容并选择期望的节目。
相应地，在如上所述应用了用于自适应地提供部分图像的数据的技术并且用户在他或她所感兴趣的节目被展示在马赛克视频中的位置上进行选择和放大时，图像被配置成切换至另一HD图像，在该另一HD图像中显示了较少节目的图像。用户可以通过重复这样的缩放(图像切换)来容易地仅显示期望的节目。
在图37的示例的情况下，假定在由椭圆指示的范围内的瓦片要由移动装置进行获取和显示。在最左边的马赛克视频中，可以显示整个马赛克视频。此时，显示了与16个信道相对应的节目的图像。在该状态下，节目的显示区域(A至P)太小，因此用户难以选择期望的节目。相应地，在用户例如通过轻击左上部分来执行选择时，如图37的中部所示，所传送的文件(比特流)被切换并且马赛克视频中具有1920×1080的图像尺寸的左上瓦片图像被显示。在瓦片图像中，显示了4个节目(A、B、E和F)。即，减小了所显示的节目的数目并且展宽了每个节目的显示区域。
此外，在用户例如通过轻击马赛克视频的左上部分来执行选择时，如图37的右边所示，所传送的文件(比特流)被切换并且马赛克视频中具有1920×1080的图像尺寸的左上瓦片图像被显示。在瓦片图像中，显示了1个节目(A)。即，进一步减小了所显示的节目的数目并且展宽了每个节目的显示区域。
上述对于传送数据的切换如上所述通过对DASH标准进行扩展来实现。即，例如，将形成一个画面的马赛克视频的结构定义在MPD中使得可以将马赛克视频用作用户接口(UI/UX)。
例如，获得画面结构与用户选择的位置信息之间的关系并且选择随后要切换的流。获得用户在画面上所触摸的坐标和马赛克视频上的坐标并且获得包括坐标位置的后继层(扩展)的马赛克视频以进行切换。
使用视点的元素(Viewpoint element)来定义新的schemeIdUri(urn:mpeg:DASH:mosaic:2013)。例如，在新的schemeIdUri的值的内容(部分图像信息)中定义以下信息。
·形成一个画面的马赛克图像的数目
·指示马赛克图像的尺寸相等的标记
·每个马赛克图像的左上方的原点的坐标以及在尺寸不相等时与宽度和高度有关的信息
更特别地，对视点如下进行定义。然后，使用这样的部分图像信息对MPD进行扩展。
<视点schemeIdUri＝“urn:mpeg:DASH:mosaic:2013”值＝“马赛克图像的数目，相等图像标记，与马赛克图像有关的位置信息”>
视点的元素是与马赛克视频相对应的元素(urn:mpeg:DASH:mosaic:2013)。为了如上所述自适应地提供部分图像的数据，有必要对如图10A所示的视点的针对瓦片的元素进行进一步定义。即，将视点的针对上述马赛克视频的元素定位为视点的针对瓦片的元素的扩展元素。
例如，如图38的上侧所示，在显示了多个节目的状态的情况下，有必要在自适应集中定义视点的针对瓦片的元素和视点的针对马赛克视频的元素二者。
另一方面，如图38的下侧所示，在仅显示了一个节目的状态的情况下，作为经由用户的对于节目的缩小结果，未形成马赛克视频，因此不必定义视点的针对马赛克视频的元素。然而，为了指示整个图像(全部视频)，有必要定义视点的针对瓦片的元素。
当瓦片图像的尺寸在视点的针对上述马赛克视频的元素的值中相等时，任选地处理与图像有关的位置信息。可以不行执写入(writing)。在写入被执行时，有必要写入所有图像。此外，可以将除了上述信息以外的信息定义为值。
<5.第五实施方式>
<MP4文件的配置的示例以及相对应的MPD的扩展示例>
已经在第一实施方式中参照图7和图8描述了MP4文件的配置的示例。然而，本公开内容的实施方式并不限于MP4文件的配置的示例。在下文中，将描述MP4文件的配置的示例以及相对应的MPD的配置的示例(扩展示例)。
<1个轨道的情况：MP4文件>
图39为示出通过使具有例如图6B所示的瓦片(tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图39的示例的情况下，如在图8A的示例中，瓦片的比特流被集中并且被视为一个文件，并且瓦片的数据作为一个轨道被进一步管理。
通过样本条目(Sample Entry)针对样本对参数集(parameter set)例如视频参数集(VPS(video parameter set))、序列参数集(SPS(sequence parameter set))和图片参数集(PPS(picture parameter set))进行管理。每个瓦片通过样本组描述(Sample GroupDescription)中的瓦片区域组条目(TileRegionGroupEntry)进行定义。如图39所示，将以下5个参数的值定义为瓦片区域组条目(TileRegionGroupEntry)：GroupID，其为对瓦片进行识别的识别信息；H_offset，其指示瓦片沿水平方向的位置(偏移)；V_offset，其指示瓦片沿垂直方向的位置(偏移)；H_width，其指示瓦片沿水平方向的尺寸(宽度)；以及V_height，其指示瓦片沿垂直方向的尺寸(高度)。
例如，在瓦片1(Tile 1)的瓦片区域组条目(TileRegionGroupEntry)中，定义有GroupID＝1、H_offset＝0、V_offset＝0、H_width＝960以及V_height＝540。例如，在瓦片2(Tile 2)的瓦片区域组条目(TileRegionGroupEntry)中，定义有GroupID＝2、H_offset＝960、V_offset＝0、H_width＝960以及V_height＝540。例如，在瓦片3(Tile 3)的瓦片区域组条目(TileRegionGroupEntry)中，定义有GroupID＝3、H_offset＝0、V_offset＝540、H_width＝960以及V_height＝540。例如，在瓦片4(Tile 4)的瓦片区域组条目(TileRegionGroupEntry)中，定义有GroupID＝4、H_offset＝960、V_offset＝540、H_width＝960以及V_height＝540。在该情况下，整个图像(1920×1080)由2个垂直瓦片×2个水平瓦片的4个瓦片(960×540)形成。
假定该MP4文件的文件名为bitstream.mp4。
<1个轨道的情况：MPD>
为了管理具有图39的示例中的瓦片结构的比特流的MP4文件，例如，如图40中对相关技术的MPEG-DASH标准的MPD进行扩展。
在图40的示例的情况下，将整个图像和每个瓦片定义在彼此不同的自适应集(AdaptationSet)中。在整个图像中定义的附图中的最高的自适应集中，如图40所示，将补充属性(SupplementalProperty)而非第一实施方式中描述的视点(Viewpoint)定义为针对瓦片的描述。
补充属性(SupplementalProperty)是相关技术的元素。通过使用相关技术的元素，可以抑制在与相关技术的MPD的密切关系方面的减小(可以抑制其中相关技术的解码器不可分析的描述的增加)。在以下自适应集中定义了补充属性：在该自适应集中，定义了即使在相关技术的解码器中也可以解码的比特流。例如，在图40的情况下，将补充属性定义在关于整个图像所定义的自适应集中，其中，整个图像即使在相关技术的解码器中也可以被解码。
例如，将补充属性如下进行扩展和定义。
<补充属性schemeIdUri＝““
值＝“源id，x，y，宽度，高度，width_all，height_all，流类型”>
即，在补充属性的元素中，定义了用于存储图像信息的模式(schemeIdUri)。在图40的示例的情况下，将“urn:mpeg:dash:srd:2013”定义为模式。
定义了模式的值。“源id”为指示自适应集的内容源与另一自适应集的内容源是否相同的识别信息。在图40的情况下，因为每个自适应集的内容源是公共的(bitstream.mp4)，所以将“1”定义为“source id”。
“x，y”为指示由自适应集定义的瓦片的位置(左上方的x坐标和y坐标)的信息。在图40的情况下，因为自适应集对整个图像进行定义，所以将“0，0”定义为“x，y”。
“宽度，高度”为指示由自适应集定义的瓦片的尺寸(宽度和高度)的信息。在图40的情况下，因为自适应集对整个图像进行定义，所以将“1920，1080”定义为“宽度，高度”。
“width_all，height_all”为指示整个图像的尺寸(宽度和高度)的信息。在图40的情况下，将“1920，1080”定义为“width_all，height_all”。
“流类型”为指示自适应集对整个比特流还是比特流的一部分进行定义的识别信息。在图40的情况下，将“0”定义为“stream type”，其中“0”指示自适应集对整个比特流进行定义。
即，在图40的示例中的附图中的最高的自适应集的情况下，例如将补充属性如下进行定义。
<补充属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，1920，1080，1920，1080，0”>
如图40所示，在定义了瓦片1(Tile 1)并且作为从附图的顶部的第二个自适应集的自适应集中，代替第一实施方式中被描述为针对瓦片的描述的视点(Viewpoint)，定义了本质属性(EssentialProperty)。
本质属性(EssentailProperty)为相关技术的元素。通过使用相关技术的元素，可以抑制在与相关技术的MPD的密切关系方面的减小(可以抑制其中相关技术的解码器不可分析的描述的增加)。在以下的自适应集中定义了本质属性：在该自适应集中，定义了在相关技术的解码器中不可解码的比特流。例如，在图40的情况下，将本质属性定义在关于每个瓦片图像所定义的自适应集中，其中，在相关技术的解码器中不能对瓦片图像进行解码。
即，能够解释本质属性的解码器才对由自适应集管理的比特流进行解码，而不能解释本质属性的解码器则跳过自适应集。
例如，将本质属性如下进行扩展和定义。即，如在补充属性(SupplementalProperty)中对本质属性进行定义。
<本质属性schemeIdUri＝“”
值＝“源id，x，y，宽度，高度，width_all，height_all，流类型”>
在从图40的示例中的附图的顶部的第二个自适应集的情况下，将“urn:mpeg:dash:srd:2013”定义为模式。此外，将“1”定义为模式的值的“源id”，将“0，0”定义为“x，y”，将“960，540”定义为“宽度，高度”，将“1920，1080”定义为“width_all，height_all”，以及将“1”——“1”指示自适应集对比特流的一部分进行定义——定义为“流类型”。
当“流类型”的值为“1”时，即当在自适应集中定义了比特流的一部分时，本质属性被进一步扩展为指示比特流的一部分的信息。例如，当在自适应集中管理的MP4文件包括HEVC的瓦片(Tile)时，与瓦片相对应的自适应集对应于比特流的一部分。在该情况下，例如，将关于比特流的一部分的本质属性如下进行进一步扩展和定义。
<本质属性schemeIdUri＝“”
值＝“Sub-Sample-Type，Sub-Sample-is-extracted.ID”>
在该情况下，在本质属性的元素中，定义了用于存储对文件的一部分进行指示的信息的模式(schemeIdUri)。在从图40的示例中的附图的顶部的第二个自适应集的情况下，将“urn:mpeg:dash:hevc:2013”定义为模式。
定义了模式的值。“Sub-Sample-Type”是指示自适应集所对应于的比特流的部分通过哪些信息进行配置的信息。例如，当信息的值为“0”时，指示的是比特流的该部分通过基于Nal(Nal based)进行配置。例如，当信息的值为“1”时，指示的是比特流的该部分通过基于解码单元(Decoding-unit-based)进行配置。此外，例如，当信息的值为“2”时，指示的是比特流的该部分通过基于瓦片(Tile-based)进行配置。例如，当信息的值为“3”时，指示的是比特流的该部分通过基于CUT行(CUT-row-based)进行配置。此外，例如，当信息的值为“4”时，指示的是比特流的该部分通过基于片(slice-based)进行配置。在从图40的示例中的附图的顶部的第二个自适应集的情况下，将“2”定义为“Sub-Sample-Type”。
“Sub-Sample-is-extracted”是指示自适应集所对应于的比特流的部分是否被划分(提取)为轨道的信息。例如，当信息的值为“0”时，指示的是比特流的该部分未被划分(假)。当信息的值为“1”时，指示的是比特流的该部分被划分成为轨道(真)。在从图40的示例中的附图的顶部的第二个自适应集的情况下，如参照图39所描述的，轨道的数目为1(未被划分)，并且将“0”定义为“Sub-Sample-is-extracted”。
“ID”为识别信息。在将“2”定义为“Sub-Sample-Type”时，即在瓦片的情况下，定义了MP4文件的瓦片区域组条目(TileRegionGroupEntry)的GroupID。在从图40的示例中的附图的顶部的第二个自适应集的情况下，比特流的该部分为瓦片1(Tile 1)的数据，因此将“1”定义为“ID”。
即，在从图40的示例中的附图的顶部的第二个自适应集的情况下，例如，将本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，1”>
类似地，在从图40的示例中的附图的顶部的第三个自适应集的情况下，例如，将本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，0，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，2”>
类似地，在从图40的示例中的附图的顶部的第四个自适应集的情况下，例如，将本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，540，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，3”>
类似地，在图40的示例中的附图的最底部的自适应集的情况下，例如，将本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，540，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，0，4”>
<1个轨道的情况:使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过提取器的参考)的情况：MP4文件>
图41为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图41的示例的情况下，如在图8B的示例中，瓦片的比特流被集中并且被视为一个文件，并且瓦片的数据作为一个轨道被进一步管理。
在图41的示例的情况下，轨道1(Track 1)管理整个图像(1920×1080)的数据，因此可以通过再现轨道(Track 1)来再现整个图像。此外，轨道2(Track 2)管理瓦片1(Tile1)的数据，因此可以通过再现轨道2(Track 2)来再现瓦片1(Tile 1)的图像。类似地，轨道3(Track 3)管理瓦片2(Tile 2)的数据，因此可以通过再现轨道3(Track 3)来再现瓦片2(Tile 2)的图像。类似地，轨道4(Track 4)管理瓦片3(Tile 3)的数据，因此可以通过再现轨道4(Track 4)来再现瓦片3(Tile 3)的图像。类似地，轨道5(Track 5)管理瓦片4(Tile4)的数据，因此可以通过再现轨道5(Track 5)来再现瓦片4(Tile 4)的图像。
如图41所示，在轨道1(Track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；例如补充增强信息(SEI(supplemental enhancementinformation))的实体(又被称为实际数据)；以及瓦片的比特流的参考信息(又被称为提取器)。
提取器(Track 2)是用于参考存储于轨道2(Track 2)中的瓦片1(Tile 1)的实际数据(Slice 1)的信息(参考信息)。例如，提取器指示实际数据(Slice 1)的存储位置。类似地，提取器(Track 3)是与轨道3(Track 3)中存储的瓦片2(Tile 2)的实际数据(Slice 2)有关的参考信息，提取器(Track 4)是与轨道4(Track 4)中存储的瓦片3(Tile 3)的实际数据(Slice 3)有关的参考信息，以及提取器(Track 5)是与轨道5(Track 5)中存储的瓦片4(Tile 4)的实际数据(Slice 4)有关的参考信息。
通过样本条目(Sample Entry)针对每个样本来管理参数集和提取器等。
在轨道2(Track 2)中，存储有例如参数集的提取器(Track 1)和瓦片1(Tile 1)的实际数据(Slice 1)等。参数集的提取器(Track 1)为实际数据(VPS、SPS、SEI和PPS等)的参考信息，其中，实际数据例如轨道1(Track 1)中存储的参数集。例如，提取器指示实际数据的存储位置。
此外，在轨道3(Track 3)中，存储有例如参数集的提取器(Track 1)和瓦片2(Tile2)的实际数据(Slice 2)等。在轨道4(Track 4)中，存储有例如参数集的提取器(Track 1)和瓦片3(Tile 3)的实际数据(Slice 3)等。在轨道5(Track 5)中，存储有例如参数集的提取器(Track 1)和瓦片4(Tile 4)的实际数据(Slice 4)等。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义瓦片区域组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个瓦片。
针对每个样本定义指示参考关系的提取器。即，可以针对每个样本来设置参考关系。相应地，通过使用提取器，可以构造更自由的参考关系，例如，比特流中的参考关系的改变。更具体地，例如，可以更容易地实现比特流中的瓦片的尺寸或形状的改变等。
假定该MP4文件的文件名为bitstream.mp4。
<1个文件和多个轨道(通过提取器的参考)的情况：MPD>
即使在该情况的MPD中，如在上述1个轨道的情况中，对自适应集(AdaptationSet)的本质属性(EssentialProperty)或补充属性(SupplementalProperty)进行扩展。图42中示出示例。
即，即使在图42的示例的情况下，将整个图像和每个瓦片定义在彼此不同的集(AdaptationSet)中。在附图中对整个图像进行定义的最顶部的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将补充属性(SupplementalProperty)定义为对于瓦片的描述。
即使在该情况下，如图42所示，例如对附图中最顶部的自适应集的补充属性如下进行定义。
<补充属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，1920，1080，1920，1080，0”>
即使在图42的示例的情况下，在作为从附图的顶部的第二个自适应集并且其中定义了瓦片1(Tile 1)的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将本质属性(EssentialProperty)定义为针对瓦片的描述。将关于比特流的一部分的本质属性进一步进行扩展和定义。
即，如图42所示，例如将从附图的顶部的第二自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，1”>
在该情况下，因为自适应集所对应于的比特流的部分被划分(提取)为轨道(即，形成多个轨道)，所以将“1(真)”定义为“提取子样本”。
类似地，例如将从图42的示例中的附图的顶部的第三个自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，0，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，2”>
类似地，例如将从图42的示例中的附图的顶部的第四个自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，540，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，3”>
类似地，例如将图42的示例中的附图中最下面的自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，540，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，4”>
<1个文件和多个轨道(通过提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过提取器的参考)的情况：MP4文件>
图43为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图43的示例的情况下，如在图7的示例中，将瓦片的比特流作为彼此不同的文件进行管理。因为文件的轨道彼此不同，所以也可以说瓦片的比特流作为彼此不同的轨道被管理。
图43中最顶部的MP4文件(MP4File)(即轨道1(Track 1))存储(管理)整个图像(1920×1080)的数据。通过再现MP4文件(即轨道1)，可以再现整个图像。
从图43的顶部的第二个MP4文件(MP4File)(即轨道2(Track 2))存储(管理)瓦片1(Tile 1)的数据。通过再现MP4文件(即轨道2)，可以再现瓦片1(Tile 1)的图像。类似地，从图43的顶部的第三个MP4文件(MP4File)(即轨道3(Track 3))存储(管理)瓦片2(Tile 2)的数据。通过再现MP4文件(即轨道3)，可以再现瓦片2(Tile 2)的图像。类似地，从图43的顶部的第四个MP4文件(MP4File)(即轨道4(Track 4))存储(管理)瓦片3(Tile 3)的数据。通过再现MP4文件(即轨道4)，可以再现瓦片3(Tile 3)的图像。类似地，图43中最底部的MP4文件(MP4File)(即轨道5(Track 5))存储(管理)瓦片4(Tile 4)的数据。通过再现MP4文件(即轨道5)，可以再现瓦片4(Tile 4)的图像。
在图43的最顶部的MP4文件(轨道1)中，如图43所示，存储了：参数集，所述参数集例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)；例如SEI的实际数据；以及瓦片的比特流的提取器(Track 2、Track 3、Track 4和Track 5)等。通过样本条目(SampleEntry)针对每个样本来管理参数集和提取器等。
在从图43的顶部的第二个MP4文件(轨道2)中，存储了例如参数集的提取器(Track1)和瓦片1(Tile 1)的实际数据(Slice 1)等。此外，在从图43的上侧的第三个MP4文件(轨道3)中，存储了例如参数集的提取器(Track 1)和瓦片2(Tile 2)的实际数据(Slice 2)等。在从图43的顶部的第四个MP4文件(轨道4)中，存储了例如参数集的提取器(Track 1)和瓦片3(Tile 3)的实际数据(Slice 3)等。此外，在图43的最底部的MP4文件(轨道5)中，存储了例如参数集的提取器(Track 1)和瓦片4(Tile 4)的实际数据(Slice 4)等。
如在图39的情况下，在MP4文件(轨道2至轨道5)中的每一者中定义了瓦片区域组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个瓦片。
如上所述，即使在示例的情况下，提取器仍用作指示参考关系的信息。相应地，例如，可以构造较自由的参考关系，例如比特流中的参考关系的改变。
假定图43中最顶部的MP4文件的文件名称为bitstream_base.mp4，假定从图43的顶部的第二个MP4文件的文件名称为bitstream_tile1.mp4，假定从图43的顶部的第三个MP4文件的文件名称为bitstream_tile2.mp4，假定从图43的顶部的第四个MP4文件的文件名称为bitstream_tile3.mp4，以及假定图43中最底部的MP4文件的文件名称为bitstream_tile4.mp4。
<多个文件和多个轨道(通过提取器参考)的情况：MPD>
即使在该情况的MPD中，如在上述1个轨道的情况中，对自适应集(AdaptationSet)的本质属性(EssentialProperty)或补充属性(SupplementalProperty)进行扩展。图44中示出示例。
即，即使在图44的示例的情况下，仍将整个图像和每个瓦片定义在彼此不同的自适应集(AdaptationSet)中。在附图中对整个图像进行定义的最顶部的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将补充属性(SupplementalProperty)定义为对于瓦片的描述。
即使在该情况下，如图44所示，例如将附图中最顶部的自适应集的补充属性如下进行定义。
<补充属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，1920，1080，1920，1080，0”>
在该情况下，对属于自适应集的表示(Representation)进行扩展并且另外定义指示文件(瓦片)之间的相依性(dependency)的信息。
在属于从附图的上侧的最顶部的自适应集的表示中，如图44所示，例如定义了以下信息。
<id＝“bs”dependencyId＝“tl1.tl2.tl3.tl4”>
在属于表示的分片(Segment)中，定义了bitstream_base.mp4。
即使在图44的示例的情况下，在作为从附图的顶部的第二个自适应集并且其中定义了瓦片1(Tile 1)的自适应集中，代替在第一实施方式中描述的视点(Viewpoint)，将本质属性(EssentialProperty)定义为针对瓦片的描述。将关于比特流的部分的本质属性进一步进行扩展和定义。
即，如图44所示，例如将从附图的顶部的第二个自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，0，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1，1”>
在该情况下，因为自适应集所对应于的比特流为被划分成轨道(即形成多个轨道(多个文件))的HEVC瓦片，所以将“1(真)”定义为“提取子样本”。
在该情况下，因为文件被划分并且在1个文件中仅包括1个轨道，所以省略“ID”。相应地，在一定程度上抑制信息量的增加。
在属于自适应集的表示中，如图44所示，例如定义以下信息。
<id＝“tl1”dependencyId＝“be”>
在属于表示的分片(Segment)中，定义了bitstream_tile1.mp4。
类似地，例如将从图44的示例中的附图的顶部的第三个自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，0，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1”>
例如，在属于自适应集的表示中，定义以下信息。
<id＝“tl2”dependencyId＝“be”>
在属于表示的分片(Segment)中，定义了bitstream_tile2.mp4。
类似地，例如将从图44的示例中的附图的顶部的第四个自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，0，540，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1”>
例如，在属于自适应集的表示中，定义以下信息。
<id＝“tl3”dependencyId＝“be”>
在属于表示的分片(Segment)中，定义了bitstream_tile3.mp4。
类似地，例如将图44的示例中的附图的最底部的自适应集的本质属性如下进行定义。
<本质属性schemeIdUri＝“urn:mpeg:dash:srd:2013”
值＝“1，960，540，960，540，1920，1080，1”>
<本质属性schemeIdUri＝“urn:mpeg:dash:hevc:2013”值＝“2，1”>
例如，在属于自适应集的表示中，定义以下信息。
<id＝“tl4”dependencyId＝“be”>
在属于表示的分片(Segment)中，定义bitstream_tile4.mp4。
<多个文件和多个轨道(通过提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过轨道参考的参考)的情况：MP4文件>
图45为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图45的示例的情况下，如在图41的示例中，瓦片的比特流被集中并且被视为一个文件，并且瓦片的数据作为一个轨道被进一步管理。
在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。然而，在图45的示例的情况下，使用轨道参考(Track Reference)来定义参考关系。
轨道参考(Track Reference)是指示轨道之间的参考关系(哪一轨道参考哪一轨道(或者参考哪一轨道))的信息。即，轨道参考是以轨道为单位的信息并且一次针对1个轨道进行定义。“dpnd”是定义对轨道进行参考的轨道(即参考源)的信息而“prnt”是定义被轨道参考的轨道(参考目的地)的信息。
例如，在图45的示例的情况下，“dpnd＝2，3，4，5”在轨道1(Track1)中被定义为轨道参考(Track Reference)。这指示轨道1被轨道2至轨道5参考。类似地，在轨道2(Track 2)至轨道5(Track 5)中，“prnt＝1”被定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意瓦片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考被参考。
如上所述，因为针对每个样本来定义提取器，所以提高了设置参考关系的自由度。然而，当参考关系固定时，提取器的冗余增加，因此存在信息量不必要地增加的可能性。例如，当瓦片的尺寸或形状在比特流中一致时，对于参考关系而言一次足够。
另一方面，如上所述，针对1个轨道仅定义轨道参考(Track Reference)一次。相应地，通过使用轨道参考，可以减小参考关系的定义冗余并且抑制不必要的信息的量的增加。
在该示例的情况下，轨道1(Track 1)存在以用于存储参数集并且对于轨道1的再现(整个图像(1920×1080)的再现)可以不被执行。然而，通过按照轨道参考的顺序来再现轨道2至轨道5的实际数据，可以再现整个图像。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义瓦片区域组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个瓦片。
假定该MP4文件的文件名称为bitstream.mp4。
<1个文件和多个轨道(通过轨道参考的参考)的情况：MPD>
在该情况的MPD中，如在上述的通过提取器的参考的情况下，同样对自适应集(AdaptationSet)的补充属性(SupplementalProperty)或本质属性(EssentialProperty)进行扩展。图46示出这里的示例。
即，如图46所示，在该情况下，MP4文件可以如在图42的示例中通过MPD进行管理。
<1个文件和多个轨道(通过轨道参考的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，也可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过轨道参考的参考)的情况：MP4文件>
图47为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图47的示例的情况下，如在图43的示例中，将瓦片的比特流作为彼此不同的文件进行管理。因为文件的轨道彼此不同，所以也可以说瓦片的比特流作为彼此不同的轨道被管理。
图47中最顶部的MP4文件(MP4File)(即轨道1(Track 1))存储(管理)参数集等(VPS、SPS、PPS和SEI等)。
从图47的顶部的第二个MP4文件至第五个MP4文件(MP4File)(即轨道2(Track 2)至轨道5(Track 5))存储(管理)瓦片1(Tile 1)至瓦片4(Tile 4)的数据。通过再现文件中的任意的MP4文件(即任意的轨道)，可以再现任意瓦片的图像。
在图43的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。然而，在图47的示例的情况下，使用轨道参考(Track Reference)以与图45的情况类似的方式来定义参考关系。
例如，在图47的示例的情况下，“dpnd＝2，3，4，5”在轨道1(Track 1)中被定义为轨道参考(Track Reference)。这指示轨道1被轨道2至轨道5参考。类似地，在轨道2(Track 2)至轨道5(Track 5)中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意瓦片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义瓦片区域组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个瓦片。
即使在该示例的情况下，如上所述，仍将轨道参考用作指示参考关系的信息。相应地，可以减小参考关系的定义冗余并且抑制不必要的信息的量的增加。
按照从顶部起的顺序，假定图47中的MP4文件的文件名称为bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4和bitstream_tile4.mp4。
<多个文件和多个轨道(通过轨道参考的参考)的情况：MPD>
在该情况的MPD中，如在上述的通过提取器的参考的情况下，同样对自适应集(AdaptationSet)的补充属性(SupplementalProperty)或本质属性(EssentialProperty)进行扩展。图48示出这里的示例。
即，如图48所示，在该情况下，MP4文件可以如在图44示例中通过MPD进行管理。
<多个文件和多个轨道(通过参考轨道的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
图49为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图49的示例的情况下，如在图41和图45的示例中，瓦片的比特流被集中并且被视为一个文件，并且瓦片的数据作为一个轨道被进一步管理。
然而，在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图45的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。然而，在图49的示例的情况下，使用提取器和轨道参考二者来定义参考关系。
更具体地，轨道1(Track 1)如在图41的情况下使用提取器来参考与轨道2(Track2)至轨道5(Track 5)有关的信息。此外，轨道2(Track 2)至轨道5(Track 5)如在图45的情况下使用轨道参考来参考与轨道1(Track 1)有关的信息。
即，在轨道1(Track 1)中，如图49所示，存储了：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；例如SEI的实际数据；以及用于参考轨道2至轨道5的瓦片的数据的提取器等。
在轨道2(Track 2)至轨道5(Track 5)中，如图49所示，将“prnt＝1”被定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意瓦片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
以该方式，可以如在图41的情况下执行对于轨道1的再现(整个图像(1920×1080)的再现)，同时如在图45的情况下减小冗余。
如在图39的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义瓦片区域组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个瓦片。
假定该MP4文件的文件名称为bitstream.mp4。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
即使在该情况的MPD中，如在通过提取器的参考的情况下(图42)或者在通过轨道参考的参考的情况下(图46)，如上所述，对自适应集(AdaptationSet)的补充属性(SupplementalProperty)或本质属性(EssentialProperty)进行扩展。图50中示出示例。
即，如图50所示，在该情况下，可以如在图42和图46的示例中通过MPD来管理MP4文件。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
图51为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图51的示例的情况下，如在图43和图47的示例中，将瓦片的比特流作为彼此不同的文件进行管理。因为文件的轨道彼此不同，所以也可以说瓦片的比特流作为彼此不同的轨道被管理。
然而，在图43的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图47的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。然而，在图51的示例的情况下，使用提取器和轨道参考二者来定义参考关系。
更具体地，图51中最顶部的MP4文件(轨道1(Track 1))如在图43的情况下使用提取器来参考与从图51的顶部的第二个MP4文件至第五个MP4文件(轨道2(Track 2)至轨道5(Track 5))有关的信息。此外，从图51的顶部的第二个MP4文件至第五个MP4文件(轨道2(Track 2)至轨道5(Track 5))如在图47的情况下使用轨道参考来参考与图51中最顶部的MP4文件(轨道1(Track 1))有关的信息。
如图51所示，在最顶部的MP4文件(track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；例如SEI的实际数据；以及瓦片的比特流的提取器(Track 2、Track 3、Track 4和Track 5)等。通过样本条目(Sample Entry)针对每个样本来管理参数集和提取器等。
如图51所示，在从顶部的第二个MP4文件至第五个MP4文件(轨道2(Track 2)至轨道5(Track 5))中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意瓦片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
以该方式，可以如在图43的情况下执行对于图51中最顶部的MP4文件(轨道1)的再现(整个图像(1920×1080)的再现)，同时如在图47的情况下减小冗余。
如在图39的情况下，在从顶部的第二个MP4文件至第五个MP4文件(轨道2(Track2)至轨道5(Track 5))中的每一者中，定义瓦片区域组条目(TileRegionGroupEntry)。即，在每个轨道中定义一个瓦片。
按照从顶部起的顺序，假定图51中的MP4文件的文件名称为bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4和bitstream_tile4.mp4。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
即使在该情况的MPD中，如在上述的通过提取器的参考的情况下，对自适应集(AdaptationSet)的补充属性(SupplementalProperty)或本质属性(EssentialProperty)进行扩展。图52中示出示例。
即，如图52所示，在该情况下，可以如在图44和图48的示例中通过MPD来管理MP4文件。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
如上在图41、图45和图49中所述，在一个MP4文件包括多个轨道的示例中，在不同的轨道中针对每个瓦片来存储作为实际数据的片。然而，当一个MP4文件包括多个轨道时，可以将瓦片的片集中并且置于一个轨道中。将在下面参照图53来描述该情况的示例。
图53为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。如在图41、45和49的示例中，在图53的示例的情况下，将瓦片的比特流集中并且视为一个MP4文件。此外，瓦片在彼此不同的轨道中被管理。然而，在图53的MP4文件中，作为瓦片的实际数据的片被集中并且存储于一个轨道中。
在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图45的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。另一方面，在图53的示例的情况下，如在图49的示例中，使用提取器和轨道参考二者。然而，使用提取器和轨道参考的方法与图49的情况不同。
更具体地，如图53所示，在作为基本轨道的轨道1(Track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；以及例如SEI的实际数据。通过样本条目(Sample Entry)针对每个样本对例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集进行管理。此外，在轨道1(Track 1)中，存储有作为HEVC的瓦片的实际数据的片1至片4等。
在此，轨道2(Track 2)至轨道5(Track 5)具有用于参考与轨道1(Track 1)有关的信息的提取器和轨道参考二者。
换言之，如图53所示，在轨道2(Track 2)至轨道5(Track 5)中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意瓦片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
在轨道2(Track 2)至轨道5(Track 5)中的每一者中，将“ext1”定义为提取器。即，例如，在轨道2的瓦片被再现时，轨道1的片1根据提取器而被参考。类似地，在轨道3的瓦片被再现时轨道1的片2被参考。此外，在轨道4的瓦片被再现时轨道1的片3被参考，以及在轨道5的瓦片被再现时轨道1的片4被参考。
以该方式，在整个图像(1920×1080)被再现时仅可以再现轨道1，并且可以在整个图像被再现时减小负荷。
如在图39、图41、图43、图45、图47、图49和图51的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义瓦片区域组条目(TileRegionGroupEntry)。即，针对每个轨道定义一个瓦片。定义与图41、图43、图45、图47、图49和图51中每个轨道的情况(图39中每个瓦片的情况)相同。
假定该MP4文件的文件名称为bitstream.mp4。
<1个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
图54中示出图53中MP4的MPD。即使在MPD中，仍执行与图42、图46和图50中的对应于图41、图45和图49中的MP4文件的MPD相同的扩展。即，对自适应集(AdaptationSet)的补充属性(SupplementalProperty)或本质属性(EssentialProperty)进行扩展。
图54中的MPD具有与图42、图46和图50中的MPD基本相同的配置。然而，图54中的MPD与图42、图46和图50中的MPD在以下方面不同：ID存储于每个表示(Representation)中。在定位于图54的顶部处的表示(Representation)中，存储有指示基本轨道的ID(bs)。在从顶部的第二个表示(Representation)中，存储有指示瓦片1的ID的ID(tl1)。类似地，在第三个表示至第五个表示(Representation)中，存储有指示瓦片2至瓦片4的ID的ID(tl2至tl4)。
此外，在从顶部的第二个表示中，存储有对依赖于基本轨道的轨道进行指示的ID(dependencyid＝bs)。类似地，在第三个表示至第五个表示(Representation)中的每一者中，存储有对依赖于基本轨道的轨道进行指示的ID(dependencyid＝bs)。
图53中的MP4文件可以通过图54中的MPD进行管理。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MP4文件>
图55为示出通过使具有例如图6B所示的瓦片(Tile)结构的比特流(bitstream7)文件化而获得的MP4文件的配置的示例的图。在图55的示例的情况下，如在图43、图47和图51的示例中，瓦片的轨道被视为不同的MP4文件。此外，作为瓦片的实际数据的片被集中并且被存储于作为基本轨道的轨道1(Track 1)中。
在图41的示例的情况下，使用提取器来定义轨道之间的数据的参考关系。在图45的示例的情况下，使用轨道参考来定义轨道之间的数据的参考关系。另一方面，在图55的示例的情况下，如在图49的示例中，使用提取器和轨道参考二者。然而，使用提取器和轨道参考的方法以与图53的情况类似的方式与图49的情况不同。
更具体地，在如图55所示的轨道1(Track 1)中，存储有：例如视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)的参数集；以及例如SEI的实际数据。此外，在轨道1(Track 1)中，存储有作为HEVC的瓦片的实际数据的片1至片4。在此，轨道2(Track 2)至轨道5(Track 5)具有用于参考与轨道1(Track 1)有关的信息的提取器和轨道参考二者。
换言之，如图55所示，在轨道2(Track 2)至轨道5(Track 5)中，将“prnt＝1”定义为轨道参考(Track Reference)。这指示这些轨道参考轨道1。即，这指示：在轨道2至轨道5中的任意轨道(任意瓦片)被再现时，与轨道1有关的信息(参数集等)根据轨道参考而被参考。
在轨道2(Track 2)至轨道5(Track 5)中的每一者中，将“ext1”定义为提取器。即，例如，在轨道2的瓦片被再现时，根据提取器来参考轨道1的片1。类似地，在轨道3的瓦片被再现时，参考轨道1的片2。此外，在轨道4的瓦片被再现时参考轨道1的片3，以及在轨道5的瓦片被再现时参考轨道1的片4。
以该方式，在整个图像(1920×1080)被再现时可以仅再现轨道1，并且可以在整个图像被再现时减小负荷。
同样在图55中，如在图39、图41、图43、图45、图47、图49、图51和图53的情况下，在轨道2(Track 2)至轨道5(Track 5)中的每一者中定义瓦片区域组条目(TileRegionGroupEntry)。即，针对每个轨道定义一个瓦片。其内容与图39等的相同。
以该方式，除了在图53的示例中被分离的MP4文件被集中为一个MP4文件以外，图55中的MP4文件具有与图53中的MP4文件相同的基本配置。
按照从顶部起的顺序，假定图55中的MP4文件的文件名称为bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4和bitstream_tile4.mp4。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：MPD>
即使在图55的MP4文件的MPD中，如在上述通过提取器的参考的情况下，对自适应集(AdaptationSet)的补充属性(SupplementalProperty)或本质属性(EssentialProperty)进行扩展。图56中示出示例。图56中的MPD具有与图54中的MPD相同的配置。
图55中的MP4文件可以通过图56中的MPD进行管理。
<多个文件和多个轨道(通过轨道参考和提取器的参考)的情况：使用MPD>
如在第一实施方式的情况下，可以执行扩展MPD的生成。例如，在传送数据生成装置101(图12)执行传送数据生成处理(图14)并且瓦片型MPD生成单元141(瓦片型图像信息生成单元124)(图12)执行瓦片型MPD文件生成处理(图15)时，可以生成扩展MPD(MPD被扩展)。相应地，即使在该情况下，传送数据生成装置101可以基于DASH标准将部分图像的数据自适应地传送(提供)至传送服务器102。即，可以实现对于部分图像的数据的自适应供给。
如在第一实施方式的情况下，同样可以执行以下操作：使用扩展MPD来再现传送数据。例如，终端装置103(图13)可以通过执行传送数据生成处理(图16)来正确地分析扩展MPD并且得到通过传送服务器102的对于部分图像的数据的基于DASH标准的自适应传送(供给)。即，可以从传送服务器102正确地获取部分图像的数据并且再现部分图像的数据。即，可以实现对于部分图像的数据的自适应供给。
以该方式，在图53至图56的示例中，部分图像信息包括轨道参考和提取器，轨道参考和提取器存储于与多个部分图像相对应的轨道中，并且存储有部分图像的片的轨道被参考。
可以将本技术的应用范围应用于提供或接收部分图像的任意的信息处理装置。
<第六实施方式>
<计算机>
上述一系列处理也可以通过硬件来执行以及也可以通过软件来执行。在通过软件来执行一系列处理时，将软件程序安装于计算机中。在此，计算机包括嵌入专用硬件的计算机以及例如通过安装各种程序能够各种功能的通用个人计算机。
图57为示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在图57示出的计算机500中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503经由总线504彼此连接。
输入和输出接口510同样连接至总线504。输入单元511、输出单元512、存储单元513、通信单元514和驱动器515连接至输入和输出接口510。
输入单元511由例如键盘、鼠标、麦克风、触控面板或输入终端形成。输出单元512由例如显示器、扬声器或输出终端形成。存储单元513由例如硬盘、RAM盘或非易失性存储器形成。通信单元514由例如网络接口形成。驱动器515对例如磁盘、光盘、磁光盘或半导体存储器的可移除介质521进行驱动。
在具有上述配置的计算机中，例如，CPU 501通过经由输入和输出接口510和总线504将存储单元513中存储的程序加载至RAM 503并且执行程序来执行上述处理。RAM 503也适当地存储有对于CPU 501执行各种处理所必需的数据。
例如，由计算机(CPU 501)执行的程序可以记录在可移除介质521上，其中，可移除介质521例如要应用的封装介质(package medium)。在该情况下，通过将可移除介质521安装在驱动器515上，可以经由输入和输出接口510将程序安装在存储单元513中。
也可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。在该情况下，程序可以由通信单元514进行接收以安装在存储单元513中。
此外，也可以将程序提前安装在ROM 502或存储单元513中。
由计算机执行的程序可以是按时间顺序地以本说明书中所描述的顺序进行处理的程序，或者可以是在必要的时刻处例如并行地或在被调用时进行处理的程序。
在本说明书中，描述记录在记录介质中的程序的步骤不仅包括在时间上按照所述顺序进行执行的处理，而且包括并行或单独而非按时间顺序进行执行的处理。
<7.第七实施方式>
<多视图图像编码和多视图图像解码的应用>
多视图图像编码和多视图图像解码可以作为与上述一系列处理有关的图像编码和图像解码的方案进行应用。图58示出多视图图像编码方案的示例。
如图58所示，多视图图像包括具有多个视图的图像。多视图图像的的多个视图包括基本视图和非基本视图，其中，对于基本视图，仅使用基本视图自身的视图的图像而不使用其他视图的图像来执行编码/解码；以及对于非基本视图，使用其他视图的图像来执行编码/解码。在非基本视图中，可以使用基本视图的图像，并且可以使用其他非基本视图的图像。
在如图58中的多视图图像的传送中，可以应用上述每个实施方式的方法。以该方式，也可以关于多视图图像实现对于部分图像的数据的自适应供给。
此外，对于对在上述每个实施方式的方法中所使用的标记或参数(例如作为编码信息的VPS和SPS等)进行编码和解码所必需的信息可以在每个视图的编码和解码之间进行共享。以该方式，可以抑制冗余信息的传输并且抑制编码效率的下降。
<多视图图像编码装置>
图59为示出执行上述多视图图像编码的多视图图像编码装置的图。如图59所示，多视图图像编码装置600具有编码单元601、编码单元602和多路复用单元603。
编码单元601对基本视图图像进行编码以生成基本视图图像编码流。编码单元602对非基本视图图像进行编码以生成非基本视图图像编码流。多路复用单元603将由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流进行多路复用以生成多视图图像编码流。
例如，可以应用多视图图像编码装置600作为传送数据生成装置101(图11)的图像编码单元122(图像编码单元122是图像编码单元的一个编码处理单元)(图12)。以该方式，还可以将上述每个实施方式的方法应用于多视图图像的传送，并且因此可以实现对于部分图像的数据的自适应供给。
<多视图图像解码装置>
图60为示出执行上述多视图图像解码的多视图图像解码装置的图。如图60所示，多视图图像解码装置610具有解复用单元611、解码单元612和另一解码单元613。
解复用单元611对多视图图像编码流进行解复用以提取基本视图图像编码流和非基本视图图像编码流，其中，所述多视图图像编码流是通过将基本视图图像编码流和非基本视图图像编码流进行多路复用而获得的。解码单元612对由解复用单元611提取的基本视图图像编码流进行解码以获得基本视图图像。解码单元613对由解复用单元611提取的非基本视图图像编码流进行解码以获得非基本视图图像。
例如，可以应用多视图图像解码装置610作为终端装置103(图11)的图像解码单元155(图像解码单元的一个解码处理单元)。以该方式，还可以将上述每个实施方式的方法应用于多视图图像的传送，并且因此可以实现对于部分图像的数据的自适应供给。
<第八实施方式>
<分层图像编码/分层图像解码的应用>
上述一系列处理可以应用于分层图像编码/分层图像解码(可伸缩编码/可伸缩解码)。图61示出分层图像编码方案的示例。
分层图像编码(可伸缩编码)与将图像划分成多个层(多层次)有关并且针对每一层执行编码使得图像数据关于预定参数可以具有可伸缩性。分层图像解码(可伸缩解码)是与分层图像编码相对应的解码。
对于图像的分层是与图像有关的参数并且通过改变具有可伸缩性的预定参数来执行。即，如图61所示，经受分层的图像(分层图像)被配置成包括多个图像，所述多个图像的具有可伸缩性的预定参数的值彼此不同。多个图像中的每个图像被视为层。
分层图像的多个层包括基本层和非基本层(又被称为增强层)：在基本层中，在编码和解码时仅使用与自身的层有关的信息而不使用与其他层有关的信息；在非基本层中，在编码和解码时可以使用与其他层有关的信息。在非基本层中，也可以使用与基本层有关的信息并且也可以使用与其他非基本层有关的信息。
分层图像编码是对这样的分层图像进行编码的处理。例如，仅使用与基本层有关的信息来对基本层的图像进行编码以生成基本层的编码数据。例如，使用与基本层有关的信息和与非基本层有关的信息来对非基本层的图像进行编码，并且生成非基本层的编码数据。
分层图像解码是对经受了分层图像编码的编码数据进行解码并且生成任意层的解码图像的处理。例如，对基本层的编码数据进行解码以生成基本层的解码图像。例如，对基本层的编码数据进行解码，并且使用与基本层有关的信息对非基本层的编码数据进行解码以生成非基本层的解码图像。
以该方式，针对每一层通过分层编码来对编码数据进行划分和生成。因此，在解码时，所有层的编码数据可能未必是必需的，并且可以仅获得对于获得期望的解码图像而言所必需的层的编码数据。相应地，可以抑制数据从编码侧至解码侧的传输量的增加。
可以使用用于编码和解码的另一层的任意的信息。然而，例如，可以使用图像(例如解码图像)。例如，可以使用另一层的图像来执行层之间的预测。以该方式，可以减小层之间的冗余。特别地，可以抑制非基本层的编码量的增加。可以在运动图像的所有图片中执行对于层之间的信息(例如层之间的预测)的使用。如图61所示，可以在一些图片中执行对于信息的使用。
如上所述，分层图像的层的图像的质量对于具有可伸缩性的预定参数彼此不同。即，通过对分层图像执行分层图像编码和分层图像解码，可以根据情况来容易地获得具有各种质量的图像。可以对每一层的质量执行任意设置。然而，通常，使用与基本层有关的信息将基本层的图像的质量设置成低于增强层的图像的质量。
例如，可以将仅与基本层有关的图像压缩信息(编码数据)传输至例如移动电话的具有低处理能力的终端，而可以将与除了基本层以外的增强层有关的图像压缩信息(编码数据)传输至例如电视或个人计算机的具有高处理能力的终端。
通常，再现具有低质量的图像的处理的负荷小于再现具有高质量的图像的处理的负荷。相应地，通过以该方式执行传输，可以使得每个终端能够根据能力来执行再现处理，例如，使得具有低处理能力的终端能够再现具有低质量的运动图像以及使得具有高处理能力的终端能够再现具有高质量的运动图像。即，可以使得具有更加多样的处理能力的终端能够正常地再现运动图像(没有失败)。如上所述，可以仅将必需的层的编码数据传输至每个终端。因此，可以抑制要传输的编码数据的数据量(传输量)的增加。此外，如上所述，通过使用与其他层有关的信息，可以抑制编码量的增加。在分层编码和分层解码的情况下，可以在没有转码处理的情况下实现依据终端的数据传送。
在如图61中的分层图像的传送中，可以应用上述每个实施方式的方法。以该方式，即使在分层图像中也可以实现对于部分图像的数据的自适应供给。
此外，对于对在上述每个实施方式的方法中使用的标记或参数(例如作为编码信息的VPS和SPS)进行编码和解码所必需的信息可以在每一层的编码和解码之间进行共享。以该方式，可以抑制冗余信息的传输并且抑制编码效率的下降。
<可伸缩参数>
在分层图像编码和分层图像解码(可伸缩编码和可伸缩解码)中，可以使用具有可伸缩性的任意参数。例如，可以假定图62所示的空间分辨率为参数(空间可伸缩性)。在空间可伸缩性的情况下，对于每一层，空间分辨率(即图片的像素的数目)不同。在图62的示例中，每个图片被分层成为两层：具有低分辨率的基本层和具有高分辨率的增强层。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。
作为具有这样的可伸缩属性的参数，例如，可以应用时间分辨率，如图63所示(时间可伸缩性)。在时间可伸缩性的情况下，对于每一层，时间分辨率(即帧速率)不同。在图63的示例的情况下，图片被分层成三层：具有低帧速率(7.5帧/秒)的层；具有中间帧速率(15帧/秒)的层；以及具有高帧速率(30帧/秒)的层。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。
作为具有这样的可伸缩属性的参数，例如，可以应用信噪比(SNR)，如图64所示(SNR可伸缩性)。在SNR可伸缩性的情况下，对于每一层，SN比不同。在图64的示例的情况下，每个图片被分层成两层：具有低SNR的基本层和具有高SNR的增强层。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。
具有这样的可伸缩属性的参数当然可以是除了上述示例以外的参数。例如，可以将位深度用作具有这样的可伸缩属性(位深度可伸缩性)的参数。在位深度可伸缩性的情况下，对于每一层，位深度不同。例如，基本层可以由8位图像形成，而增强层可以由10位图像形成。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。关于每一层也可以使用任意的位深度，并且每一层的任意的位深度并不限于上述示例。
例如，可以假定基本层为具有标准动态范围的标准动态范围(SDR)图像并且可以假定增强层为具有较宽的动态范围的高动态范围(HDR)图像。可以假定SDR图像为例如具有8位或16位的整数精度的图像数据并且可以假定HDR图像为例如具有32位的浮点精度的图像数据。
作为具有可伸缩属性的参数，例如，还可以使用色度格式(色度可伸缩性)。在色度可伸缩性的情况下，对于每一层，色度格式不同。例如，基本层可以由具有4:2:0的格式的分量图像形成，而增强层可以由具有4:2:2格式的分量图像形成。当然，层的该数目是示例并且可以将每个图片分层成任意数目的层。关于每一层也可以使用任意的色度格式，并且每一层的任意色度格式并不限于上述示例。
作为具有可伸缩属性的参数，例如，还可以使用色饱和度(color gamut)。例如，增强层的色饱和度可以被配置成包括基本层的色饱和度(即，比基本层的色饱和度宽)。
<分层图像编码装置>
图65为示出执行上述分层图像编码的分层图像编码装置的图。如图65所示，分层图像编码装置620具有编码单元621、另一编码单元622和多路复用单元623。
编码单元621对基本层图像进行编码以生成基本层图像编码流。编码单元622对非基本层图像进行编码以生成非基本层图像编码流。多路复用单元623将由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行多路复用以生成分层图像编码流。
例如，可以应用分层图像编码装置620作为传送数据生成装置101(图11)的图像编码单元122(图像编码单元122是图像编码单元的一个编码处理单元)(图12)。以该方式，还可以将上述每个实施方式的方法应用于分层图像的传送，并且因此可以实现对于部分图像的数据的自适应供给。
<分层图像解码装置>
图66为示出执行上述分层图像解码的分层图像解码装置的图。如图66所示，分层图像解码装置630具有解复用单元631、解码单元632和另一解码单元633。
解复用单元631对分层图像编码流进行解复用以提取基本层图像编码流和非基本层图像编码流，其中，分层图像编码流是通过对基本层图像编码流和非基本层图像编码流进行多路复用而获得的。解码单元632对由解复用单元631提取的基本层图像编码流进行解码以获得基本层图像。解码单元633对由解复用单元631提取的非基本层图像编码流进行解码以获得非基本层图像。
例如，可以应用分层图像解码装置630作为终端装置103(图11)的图像解码单元155(图像解码单元的一个解码处理单元)。以该方式，还可以将上述每个实施方式的方法应用于分层图像的传送，并且因此可以实现对于部分图像的数据的自适应供给。
可以将根据上述实施方式的图像编码装置和图像解码装置应用于各种电子装置，例如：在卫星广播、有线广播例如有线电视或因特网的传送中以及在通过蜂窝通信至终端的传送中的发射器或接收器；将图像记录在介质例如光盘、磁盘或闪速存储器中的记录装置；或者再现来自存储介质的图像的再现装置。在下文中，将描述两个应用示例。
<9.应用示例>
<第一应用示例：电视接收器>
图67示出上述实施方式所应用于的电视装置的示意性配置的示例的框图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907和扬声器908。电视装置900还包括外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。电视装置900还包括MP4处理单元914和MPEG-DASH处理单元915。
调谐器902从经由天线901接收的广播波信号提取期望信道(调谐信道)的信号并且对所提取的信号进行解调。调谐器902将通过解调所获得的编码比特流输出至解复用器903。
解复用器903对来自编码比特流的观看目标节目的视频流和音频流进行解复用并且将解复用的流输出至解码器904。解复用器903从编码比特流提取辅助数据例如电子节目指南(EPG)并且将所提取的数据提供至控制单元910。当编码比特流经受了加扰时，解复用器903可以对编码比特流执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。在必要时，解码器904使用MP4处理单元914或MPEG-DASH处理单元915来执行解码。解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据并且使得显示单元906能够显示图像。例如，视频信号处理单元905还可以再现经由接收单元913从外部提供的视频数据并且使得显示单元906能够显示图像。例如，视频信号处理单元905还可以通过执行经由接收单元913从外部提供的应用来生成图像并且使得显示单元906能够显示图像。
在视频数据的再现和图像的生成中，视频信号处理单元905还可以执行例如附加的处理，例如针对由显示单元906显示的图像的去噪。例如，视频信号处理单元905还可以生成图形用户接口(GUI)例如菜单、按钮或光标的图像并且将图像叠加在由显示单元906所显示的图像上。
音频信号处理单元907对从解码器904输入的音频数据执行再现处理例如数模转换和放大并且从扬声器908输出音频。例如，音频信号处理单元907还可以再现经由接收单元913从外部提供的音频数据并且从扬声器908输出音频。例如，音频信号处理单元907还可以通过执行经由接收单元913从外部提供的应用来生成音频并且从扬声器908输出音频。
在音频数据的再现和音频的生成中，音频信号处理单元907还可以执行例如附加的处理，例如针对要从扬声器908输出的音频的去噪。
外部接口单元909是用于将电视装置900连接至外部装置或网络的接口。外部装置可以是任意的电子装置——只要装置能够将信息传输至电视装置900以及从电视装置900接收信息即可，其中，所述电子装置例如：计算机；经由预定标准(例如通用串行总线(USB)或IEEE1394)的通信电缆连接的外部附接硬盘驱动器(HDD)；外部附接光盘驱动器；或网络附接存储装置(NAS(network attached storage))。
网络为充当通信媒介的通信网络。网络可以是任意的通信网络，有线通信网络、无线通信网络或者二者。例如，网络可以是有线局域网(LAN)、无线LAN、公用电话线网络、用于无线移动对象的广域通信网络例如所谓的3G网络或4G网络或者用于无线移动对象的因特网，或者他们的组合。网络可以是单个通信网络或者多个通信网络。例如，网络可以通过经由服务器或中继装置等彼此连接的多个通信网络进行配置。例如，网络的一部分或者全部可以通过预定标准的通信电缆例如通用串行总线(USB)电缆或高清晰度多媒体接口(HDMI：注册商标)电缆进行配置。例如，网络的一部分或全部可以通过基于预定标准的方法进行配置，或者可以通过唯一通信方案的无线通信进行配置，其中，预定标准例如电气与电子工程师协会(IEEE)802.11无线LAN的点对点模式(ad hoc mode)、例如红外线数据协会(IrDA)等的红外线的光通信或者蓝牙(注册商标)。
除了电视装置900以外，可以将另一装置(外部装置)等连接至网络。电视装置900可以经由网络执行与外部装置的通信(传输和接收信息)。
外部接口单元909可以接收经由通信电缆或网络从外部装置提供的编码比特流。当外部接口单元909接收编码比特流时，外部接口单元909经由总线912将编码比特流提供至解复用器903。
解复用器903对从调谐器902提供的编码比特流中的编码比特流进行处理以将视频流和音频流解复用，提取辅助数据例如EPG或者执行去扰。以该方式，电视装置900可以接收包括编码比特流的广播波信息并且还可以接收经由网络传输的编码比特流，对编码比特流进行解码并且输出视频或音频。
即，天线901或外部接口单元909充当电视装置900中的接收单元。
电视装置900还可以经由外部接口单元909将信息传输至外部装置。该信息是任意的。例如，信息可以是针对例如视频或音频的内容的请求、与电视装置900的通信功能有关的对于建立通信所必需的信息或者与电视装置900的解码功能、图像显示功能和音频输出功能有关的信息。电视装置900还可以将经由天线901接收的编码比特流经由外部接口单元909传输至外部装置。即，外部接口单元909可以充当电视装置900中的传输单元。
控制单元910与用户接口单元911相连。用户接口单元911被配置为操纵开关或远程控制的信号接收单元，并且根据用户操作来向控制单元910提供操作信号。
控制单元910被使用CPU和存储器等进行配置。存储器存储有由CPU执行的程序、对于CPU执行处理所必需的各种数据、EPG数据以及通过外部接口单元909获取的数据。存储器中存储的程序由CPU在预定时间例如在电视装置被打开时进行读取和执行。通过执行程序，CPU控制相应的单元，使得电视装置900根据用户操作被进行操作。
注意，在电视装置900中，提供了总线912以将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907和外部接口单元909等与控制单元910相连。
当经由天线901或外部接口单元909接收的视频流为MP4文件时，解码器904将MP4文件提供至MP4处理单元914。MP4处理单元914对所提供的MP4文件进行分析并且对包括在MP4文件中的编码数据进行解码。MP4处理单元914将通过解码所获得的图像数据提供至解码器904。解码器904将图像数据提供至视频信号处理单元905。
作为MP4处理单元914的处理，可以应用上述每个实施方式的方法。即，MP4处理单元914可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和瓦片图像组合单元156(图13)。在该情况下，MP4处理单元914经由解码器904等来获取包括瓦片——该瓦片包括在期望的范围内——的数据的MP4文件，提取瓦片的编码数据并且对其进行解码，将所获取的瓦片的图像数据(瓦片图像)适当地组合以在期望的范围内生成图像数据，并且将图像数据提供至解码器904。以该方式，MP4处理单元914可以对上面在实施方式中描述的各种MP4文件进行处理以获得期望的图像数据。即，电视装置900可以实现对于部分图像的数据的自适应供给。
当经由天线901或外部接口单元909接收的视频流为MP4文件时，解码器904将MPD文件提供至MPEG-DASH处理单元915。MPEG-DASH处理单元915对所提供的MPD进行分析并且基于MPD来获取期望的图像数据。例如，当包括通过对图像数据进行编码而获得编码数据的MP4文件通过MPD进行管理时，MPEG-DASH处理单元915基于MPD获取与期望图像相对应的MP4文件，对包括在MP4文件中的编码数据进行解码，并且将通过解码获得的图像数据提供至解码器904。解码器904将图像数据提供至视频信号处理单元905。
作为MPEG-DASH处理单元915的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元915可以包括终端装置103(图11)的MPD获取单元151至瓦片图像组合单元156(除了图13中的显示单元157以外的每个处理单元)。MPEG-DASH处理单元915对MPD进行分析，经由解码器904等获取包括瓦片——瓦片包括在期望的范围内——的数据的MP4文件，提取瓦片的编码数据并且对其进行解码，将所获得的瓦片的图像数据(瓦片图像)适当地组合以生成在期望的范围内的图像数据，并且将图像数据提供至解码器904。以该方式，MPEG-DASH处理单元915可以对在实施方式中描述的各种MP4文件进行处理以获得期望的图像数据。即，电视装置900可以实现对于部分图像的数据的是自适应供给。
<第二实施方式：移动电话>
图68示出本公开内容所应用于的移动电话的示意性配置。移动电话920具有通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录和再现单元929、显示单元930以及控制单元931。构成元件通过总线933互相连接。
另外，天线921连接至通信单元922，以及扬声器924和麦克风925连接至音频编解码器923。此外，操作单元932连接至控制单元931。
移动电话920包括MP4处理单元934和MPEG-DASH处理单元935。MP4处理单元934和MPEG-DASH处理单元935连接至总线933。
通信单元922执行与经由天线921的无线电信号的传输和接收有关的处理。音频编解码器923执行与音频数据的编码以及通过对音频数据进行解码而获得的音频编码数据的解码有关的处理。相机单元926对对象进行成像并且执行与成像有关的处理，例如图像数据的生成。
图像处理单元927对图像数据执行处理。例如，图像处理单元927可以对图像数据执行任意的图像处理。图像处理单元927还可以对图像数据进行编码或者对通过对图像数据进行编码而获得的编码数据进行解码。
解复用单元928执行例如与多条数据(例如图像数据或音频数据)的多路复用或者与多路复用的数据的解复用有关的处理。
记录和再现单元929包括能够执行读和写的任意的存储介质并且执行与将数据写(记录)至存储介质或者与读取(再现)存储于存储介质中的数据有关的处理。存储介质可以是内部型的存储介质例如RAM或闪速存储器，或者可以是外部安装型的存储介质例如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。
显示单元930包括显示装置(例如液晶显示器、等离子体显示器或有机电致发光显示器(OELD)(有机EL显示器))并且执行与图像显示有关的处理。
控制单元931包括处理器和存储器，处理器例如CPU，存储器例如RAM和ROM。存储器存储有由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据等。存储于存储器中的程序例如在移动电话920被激活时由CPU进行读取和执行。CPU例如通过执行程序根据从操作单元932输入的操作信号来控制移动电话920的每个处理单元的操作。
MP4处理单元934执行与MP4文件有关的处理。MPEG-DASH处理单元935执行与以基于MPEG-DASH标准或控制信息的方法进行传送的传送数据的生成有关的处理，例如MPD或MP4文件的生成。MPEG-DASH处理单元935还执行与以基于MPEG-DASH标准的方法进行传送的传送数据的再现有关的处理，例如MPD的分析或MP4文件的处理。
移动电话920执行各种操作，例如音频信号的传输和接收、电子邮件或图像数据的传输和接收、图像的捕获以及各种操作模式——操作模式例如音频呼叫模式、数据通信模式、拍摄模式和视频电话模式——下的数据的记录。
例如，在音频呼叫模式的情况下，由麦克风925生成的模拟音频信号被提供至音频编解码器923。音频编解码器923执行模数转换以将模拟音频信号转换成数字音频数据并且对数字音频数据进行编码(压缩)。音频编解码器923在压缩之后将音频数据(音频编码数据)输出至通信单元922。通信单元922对音频编码数据进行进一步编码或调制以生成传输信号。然后，通信单元922经由天线921将所生成的传输信号传输至基站(未示出)。
通信单元922对经由天线921接收的无线电信号执行放大或频率转换以获取所接收的信号，对所接收的信号进行解调或解码以生成音频编码数据，并且将音频编码数据输出至音频编解码器923。音频编解码器923对所提供的音频编码数据进行解码(解压缩)或者执行数模转换以生成模拟音频信号。音频编解码器923将模拟音频信号提供至扬声器924以输出音频。
例如，当在数据通信模式下执行邮件传输时，控制单元931接收由用户经由操作单元932输入的文本并且使得显示单元930能够显示所输入的文本。控制单元931经由操作单元932接收来自用户的邮件传输指令，根据指令生成电子邮件数据，并且将电子邮件数据提供至通信单元922。通信单元922对所提供的电子邮件数据进行编码或调制以生成传输信号，对传输信号执行频率转换或放大，并且将信号经由天线921传输至基站(未示出)。
例如，当在数据通信模式下执行邮件接收时，通信单元922对经由天线921接收的无线电信号执行放大或频率转换以获取所接收的信号，对所接收的信号进行解调或解码以存储电子邮件数据，并且将所存储的电子邮件数据提供至控制单元931。控制单元931使得显示单元930能够显示电子邮件的内容并且将电子邮件数据存储于记录和再现单元929的存储介质中。
例如，在拍摄模式的情况下，相机单元926对对象进行成像以生成图像数据。相机单元926将所生成的图像数据经由总线933提供至图像处理单元927。图像处理单元927对图像数据执行图像处理。相机单元926将经受了图像处理的图像数据经由总线933提供至显示单元930以显示图像。图像处理单元927基于控制单元931的控制(经由操作单元932输入的用户指令等)对经受了图像处理的图像数据进行编码以生成编码数据、将编码数据(图像编码数据)经由总线933提供至记录和再现单元929、并且将编码数据存储于存储介质中。
当在拍摄模式下连同拍摄一起还执行了声音采集时，相机单元926对对象进行成像并且生成图像数据，麦克风925采集声音并且模拟音频信号被生成。图像处理单元927对由相机单元926生成的图像数据执行图像处理并且使得显示单元930能够显示经受了图像处理的图像数据的图像。音频编解码器923将由麦克风925生成的模拟音频信号的音频从扬声器924输出。
图像处理单元927基于控制单元931的控制(经由操作单元932输入的用户指令等)对图像数据进行编码以生成图像编码数据并且将编码数据经由总线933提供至解复用单元928。音频编解码器923基于控制单元931的控制(经由操作单元932输入的用户指令等)对模拟音频信号执行模数转换以生成音频数据、对音频数据进一步进行编码以生成音频编码数据并且将音频编码数据经由总线933提供至解复用单元928。解复用单元928对所提供的图像编码数据和音频编码数据进行多路复用以生成多路复用的数据。解复用单元928将多路复用的数据经由总线933提供至记录和再现单元929并且将多路复用的数据存储于存储介质中。
例如，当在数据通信模式下传送图像数据时，通信单元922基于控制单元931的控制(经由操作单元932的用户指令等)从图像处理单元927或记录和再现单元929经由总线933获取图像编码数据、对图像编码数据进行编码或解调以生成传输信号、对传输信号执行频率转换或放大并且将信号经由天线921传输至基站(未示出)。
例如，当如在视频通话中传输图像和音频时，通信单元922基于控制单元931的控制(经由操作单元932输入的用户指令等)从解复用单元928经由总线933获取多路复用的数据——在多路复用的数据中图像和音频的数据(例如图像编码数据和音频编码数据)被多路复用、对多路复用的数据进行编码或调制以生成传输信号、对传输信号执行频率转换或放大并且将信号经由天线921传输至基站(未示出)。
例如，当对图像数据进行编码以生成MP4文件并且传输MP4文件时，MP4处理单元934基于控制单元931的控制(经由操作单元932输入的用户指令等)从相机单元926、图像处理单元927或记录和再现单元929等经由总线933获取图像数据(可以从解复用单元928获取多路复用的数据)，对图像数据进行编码以生成编码数据，进一步生成存储有编码数据的MP4文件，并且将MP4文件经由总线933提供至通信单元922。通信单元922基于控制单元931的控制对所提供的MP4文件进行编码或调制以生成传输信号、对传输信号执行频率转换或放大并且将信号经由天线921传输至基站(未示出)。
作为MP4处理单元934的处理，可以应用上述每个实施方式的方法。即，MP4处理单元934可以包括传送数据生成装置101(图11)的画面划分处理单元121、图像编码单元122、文件生成单元123和服务器上载处理单元126(图12)。在该情况下，MP4处理单元934针对每个瓦片对图像进行划分和编码，生成存储有每个瓦片的数据的MP4文件，并且将MP4文件上载至传送服务器102。以该方式，MP4处理单元934可以生成上面在实施方式中描述的各种MP4文件。即，移动电话920可以实现对于部分图像的数据的自适应供给。
例如，当对与图像数据有关的信息进行管理的MPD被生成并且MPD被传输时，MPEG-DASH处理单元935基于控制单元931的控制(经由操作单元932输入的用户指令等)从相机单元926、图像处理单元927或记录和再现单元929等经由总线933获取图像数据(可以从解复用单元928获取多路复用的数据)，生成对图像数据进行管理的MPD，并且将MPD文件经由总线933提供至通信单元922。通信单元922基于控制单元931的控制对所提供的MPD文件进行编码或调制以生成传输信号、对传输信号执行频率转换或放大并且将信号经由天线921提供至基站(未示出)。此时，MPEG-DASH处理单元935可以经由通信单元922、连同MPD文件一起来传输图像数据。
MPEG-DASH处理单元935可以对图像数据进行编码以生成对编码数据进行管理的MPD并且经由通信单元922来传输MPD文件。此外，MPEG-DASH处理单元935可以经由通信单元922、连同MPD文件一起来传输编码数据。
MPEG-DASH处理单元935可以对图像数据进行编码以生成存储有编码数据的MP4文件、生成对MP4文件进行管理的MPD并且经由通信单元922来传输MPD文件。此外，MPEG-DASH处理单元935可以经由通信单元922、连同MPD文件一起来传输MP4文件。
作为MPEG-DASH处理单元935的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元935可以包括传送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的瓦片型MPD生成单元141)。在该情况下，MPEG-DASH处理单元935针对每个瓦片对图像进行划分和编码，生成存储有每个瓦片的数据的MP4文件，生成对MP4文件进行管理的MPD，并且将他们上载至传送服务器102。以该方式，MPEG-DASH处理单元935可以生成上面在实施方式中描述的各种MPD(或MP4文件)。即，移动电话920可以实现对于部分图像的数据的自适应供给。
例如，当在数据通信模式下接收图像数据时，通信单元922基于控制单元931的控制(经由操作单元932输入的用户指令等)经由天线921接收无线电信号、对所接收的信号执行放大或频率转换以生成所接收的信号、对信号进行解调或解码以生成图像编码数据并且将图像编码数据经由总线933提供至图像处理单元927或记录和再现单元929。例如，图像处理单元927对所提供的图像编码数据进行解码并且将所获得的图像数据提供至显示单元930以显示图像。例如，记录和再现单元929将所提供的图像编码数据存储于存储介质中。
例如，当图像和音频如在视频通话中被接收时，通信单元922基于控制单元931的控制(经由操作单元932输入的用户指令等)经由天线921接收无线电信号、对无线电信号执行放大或频率转换以生成接收的信号并且对信号进行解调或解码以生成多路复用数据——在多路复用数据中图像和音频的数据(例如图像编码数据和音频编码数据)被多路复用。通信单元922将多路复用数据经由总线933提供至解复用单元928。例如，解复用单元928对包括在所提供的多路复用数据中的图像编码数据和音频编码数据进行解复用，将图像编码数据经由总线933提供至图像处理单元927或记录和再现单元929，并且将音频编码数据经由总线933提供至音频编解码器923。例如，图像处理单元927对所提供的图像编码数据进行解码并且将所获得的图像数据提供至显示单元930以显示图像。例如，记录和再现单元929将所提供的图像编码数据存储于存储介质中。例如，音频编解码器923对所提供的音频编码数据进行解码并且对所获得的音频数据执行数模转换以生成模拟音频信号并且将模拟音频信号的音频从扬声器924输出。
例如，当通信单元922接收存储有图像数据的编码数据的MP4文件时，MP4处理单元934基于控制单元931的控制(经由操作单元932输入的用户指令等)从通信单元922经由总线933获取MP4文件，对MP4文件进行分析以提取编码数据，对编码数据进一步进行解码，并且将所获得的图像数据经由总线933提供至图像处理单元927、记录和再现单元929以及显示单元930等。当从MP4文件提取多路复用数据或者对编码数据进行解码以获得多路复用数据时，MP4处理单元934将所获得的多路复用数据提供至解复用单元928。
作为MP4处理单元934的处理，可以应用上述每个实施方式的方法。即，MP4处理单元934可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和瓦片图像组合单元156(图13)。在该情况下，MP4处理单元934经由通信单元922等来获取MP4文件——MP4文件包括包括在期望的范围内的瓦片的数据，提取瓦片的编码数据并且对瓦片的编码数据进行解码，适当地组合所获得的瓦片的图像数据(瓦片图像)以生成期望的范围内的图像数据，并且将图像数据经由总线933提供至图像处理单元927、记录和再现单元929以及显示单元930等。以该方式，MP4处理单元934可以生成上面在实施方式中描述的各种MP4文件。即，移动电话920可以实现对于部分图像的数据的自适应供给。
例如，当通信单元922接收对与图像数据有关的信息进行管理的MPD文件时，MPEG-DASH处理单元935基于控制单元931的控制(经由操作单元932输入的用户指令等)从通信单元922经由总线933获取MPD文件并且对MPD文件进行分析以基于MPD来获取期望的图像数据。例如，当包括编码数据——编码数据是通过对图像数据进行编码而获得的——的MP4文件通过MPD被管理时，MPEG-DASH处理单元935基于MPD、经由通信单元922来获取与期望的图像相对应的MP4文件，对包括在MP4文件中的编码数据进行解码，并且将通过解码而获得图像数据经由总线933提供至图像处理单元927、记录和再现单元929或显示单元930等。当从MP4文件提取多路复用数据或者对编码数据进行解码以获得多路复用数据时，MPEG-DASH处理单元935将所获得的多路复用数据提供至解复用单元928。
作为MPEG-DASH处理单元935的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元935可以包括终端装置103(图11)的MPD获取单元151至瓦片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)。MPEG-DASH处理单元935对MPD进行分析，经由通信单元922等来获取MP4文件——MP4文件包括包括在期望的范围内的瓦片的数据，提取瓦片的编码数据并且对瓦片的编码数据进行解码，适当地组合所获得的瓦片的图像数据(瓦片图像)以生成在期望的范围内的图像数据，并且将图像数据提供至图像处理单元927、记录和再现单元929以及显示单元930等。以该方式，MPEG-DASH处理单元935可以对在实施方式中描述的各种MP4文件进行处理以获得期望的图像数据。即，移动电话920可以实现对于部分图像的数据的自适应供给。
<第十实施方式>
<其他示例>
虽然已经在上面描述了本技术所应用于的装置和系统等的示例，但是本技术不限于此，而是可以被实现为安装在装置或构成系统的装置中的任意配置，例如，具有系统大规模集成(LSI)的形式的处理器、使用多个处理器的模块、使用多个模块的单元和通过向单元另外添加其他功能而获得的设备(即，装置的部分配置)等。
<视频设备>
将参照图69来描述其中将本技术实现为设备的示例。图69为示出本公开内容所应用于的视频设备的示意性配置的示例。
近年来，由于电子装置逐渐变得多功能，所以当在开发和制造阶段针对销售和供应等来准备每个装置的一些配置时，则不仅存在这样的装置被配置成具有一个功能的情况，而且存在具有相关功能的多个配置被组合并且被实现为具有多个功能的一个装置的许多情况。
通过将具有图像的编码和解码功能的装置(该装置可以具有编码和解码功能中的任一者或者二者)与具有与前述功能有关的其他功能的装置进行组合，图69所示的视频设备1300被如上所述配置成多功能的。
如图69所示，视频设备1300具有包括视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314等的模块组以及具有例如连接器1321、相机1322和传感器1323等的相关功能的装置。
模块为其中若干个相关的组成功能被结合以提供结合的功能的部件的形式。具体的物理配置是任意的，然而，认为具体的物理配置是下述集成:在该集成中，将例如每一者均具有功能的多个处理器、电子电路元件例如电阻器和电容器以及其他装置布置在电路板上。另外，也考虑通过将模块与另一模块或处理器等进行组合来构造新的模块。
在图69的示例中，视频模块1311是具有与图像处理有关的功能的配置的组合，并且具有应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
处理器是使用片上系统(SoC(System-On-Chip))与具有预定功能的配置集成的半导体芯片，并且又被称为例如系统大规模集成(LSI)等。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是连同CPU、ROM和RAM一起通过使用元件进行执行的程序(软件配置)，或者可以是两种配置的组合。例如，处理器可以具有逻辑电路、CPU、ROM和RAM等并且可以用逻辑电路实现一些功能(硬件配置)，或者可以用由CPU执行的程序来实现其他功能(软件配置)。
图69的应用处理器1331为执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用不仅可以执行运算处理，而且可以在必要时控制视频模块1311内部和外部的配置例如视频处理器1332以实现预定功能。
视频处理器1332是具有与图像的编码和解码(编码和解码中的一者或二者)有关的功能的处理器。
宽带调制解调器1333是执行与通过宽带线例如因特网或公共电话线网络执行的有线或无线(或有二者)宽带通信有关的处理的处理器(模块)。例如，宽带调制解调器1333通过执行数字调制等将要传送的数据(数字信号)转换成模拟信号，或者通过执行解调将所接收的模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333可以对例如要由视频处理器1332处理的图像数据、通过对图像数据进行编码而获得的流、应用程序或设置数据的任意信息进行数字调制/解调。
RF模块1334是对经由天线进行传输和接收的无线电频率(RF)信号执行频率转换、调制和解调、放大以及滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。另外，RF模块1334例如通过对经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。
注意，如图69中的虚线1341所指示的，可以将应用处理器1331和视频处理器1332进行集成以组成一个处理器。
外部存储器1312是设置在视频模块1311的外部的模块，具有由视频模块1311使用的存储装置。外部存储器1312的存储装置可以用任意物理配置进行实现，但是其通常在存储大量数据例如以帧为单位的图像数据时被使用，因此期望的是以相对便宜且高容量的半导体存储器例如动态随机存取存储器(DRAM)来实现存储装置。
电力管理模块1313管理并且控制向视频模块1311(视频模块1311内部的每个组成元件)的电力供给。
前端模块1314是向RF模块1334提供前端功能的模块(充当天线侧的传输和接收端的电路)。如图38所示，前端模块1314具有例如天线单元1351、滤波器1352和放大单元1353。
天线单元1351被配置有传输和接收无线信号的天线及其外围装置。天线单元1351将从放大单元1353提供的信号作为无线电信号进行传输并且将所接收的无线电信号作为电信号(RF信号)提供至滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波处理等并且将经处理的RF信号提供至RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大并且将信号提供至天线单元1351。
连接器1321是具有涉及与外部的连接的功能的模块。连接器1321的物理配置是任意的。连接器1321具有例如：具有除了宽带调制解调器1333所对应于的通信标准的通信功能以外的通信功能的配置，或者外部输入和输出端等。
例如，连接器1321可以具有基于无线通信标准的通信功能或基于该标准来传输和接收信号的天线等，所述无线通信标准例如蓝牙(注册商标)、IEEE 802.11(例如，无线保真(Wi-Fi；注册商标))、近场通信(NFC)或红外数据协会(IrDA)。另外，连接器1321可以具有例如具有基于有线通信标准的通信功能的模块或者基于该标准的终端，所述有线通信标准例如通用串行总线(USB)或高清晰度多媒体接口(HDMI；注册商标)。再者，连接器1321可以具有例如模拟输入和输出端等的另一数据(信号)传输功能。
注意，可以将连接器1321设置成包括充当数据(信号)传输目的地的装置。例如，可以将连接器1321设置成具有关于记录介质来读和写数据的驱动器(不仅包括可移除介质的驱动器，而且包括硬盘、固态驱动器(SSD)或网络附接存储装置(NAS)等的驱动器)，所述记录介质例如磁盘、光盘、磁光盘或半导体存储器等。另外，可以将连接器1321设置成具有图像或音频输出装置(监控器或扬声器等)。
相机1322是具有对对象进行拍摄并且获得对象的图像数据的功能的模块。从由相机1322的拍摄所获得的图像数据例如被提供至视频处理器1332并且由视频处理器1332进行编码。
传感器1323是具有例如以下传感器的任意的感测功能的模块：声音传感器；超声波传感器；光传感器；照度传感器；红外传感器；图像传感器；旋转传感器；角度传感器；角速度传感器；速度传感器；加速度传感器；倾角传感器；磁识别传感器；震动传感器；以及温度传感器等。由传感器1323检测的数据例如被提供至应用处理器1331并且由应用等进行使用。
可以将在上面描述为模块的配置实现为处理器，或者相反地，可以将描述为处理器的配置实现为模块。
在具有上述配置的视频设备1300中，本技术可以应用于将在下面描述的视频处理器1332。因此，可以将视频设备1300实现为本技术所应用于的设备。
例如，视频处理器1332可以执行与MP4文件有关的处理或者执行与以基于MPEG-DASH标准的方法传送的传送数据或控制信息的生成或再现有关的处理。将在下面描述视频处理器1332的细节。
应用处理器1331可以执行应用以执行与MP4文件有关的处理或者执行与以基于MPEG-DASH标准的方法进行传送的传送数据或控制信息的生成或在线有关的处理。作为应用处理器1331的处理，可以应用上述每个实施方式的方法。
即，例如，应用处理器1331可以执行应用以具有传送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的瓦片型MPD生成单元141)的功能。在该情况下，应用处理器1331针对每个瓦片对图像进行划分和编码，生成存储有每个瓦片的数据的MP4文件，并且将MP4文件上载至传送服务器102。应用处理器1331还可以生成对所生成的MP4文件进行管理的MPD并且将他们上载至传送服务器102。以该方式，应用处理器1331可以生成上面在实施方式中描述的各种MPD或MP4文件。即，视频设备1330可以实现对于部分图像的数据的自适应供给。
例如，应用处理器1331可以执行应用以具有终端装置103(图11)的MPD获取单元151至瓦片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)的功能。在该情况下，基于用户指令等，应用处理器1331可以获取MP4文件——该MP4文件包括包括在期望的范围内的瓦片的数据，提取瓦片的编码数据并且对瓦片的编码数据进行解码，并且适当地组合所获得的瓦片的图像数据(瓦片图像)以生成在期望的范围内的图像数据。应用处理器1331还可以获取MPD，对所获取的MPD进行分析，基于分析结果来获取MP4文件——MP4文件包括包括在期望的范围内的瓦片的数据，提取瓦片的编码数据并且对瓦片的编码数据进行解码，并且适当地组合所获得的瓦片的图像数据(瓦片图像)以生成在期望的范围内的图像数据。以该方式，应用处理器1331可以对上面在实施方式中描述的各种MPD或MP4文件进行处理以获得期望的图像数据。即，视频设备1330可以实现对于部分图像的数据的自适应供给。
<视频处理器的配置的示例>
图70示出本公开内容所应用于的视频处理器1332(图69的视频处理器1332)的示意性配置的示例。
如图70所示，视频处理器1332具有视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。另外，视频处理器1332具有编码/解码引擎1407、视频基本流(ES)缓冲器1408A和视频基本流(ES)缓冲器1408B，以及音频ES缓冲器1409A和音频ES缓冲器1409B。再者，视频处理器1332具有音频编码器1410、音频解码器1411、多路复用器(MUX)1412、解复用器(DMUX)1413以及流缓冲器1414。此外，视频处理器1332包括MP4处理单元1415和MPEG-DASH处理单元1416。
视频输入处理单元1401获取从例如连接器1321输入的视频信号并且将信号转换成数字图像数据。第一图像放大和缩小单元1402对图像数据执行格式转换或者图像放大或缩小处理等。第二图像放大和缩小单元1403根据数据经由视频输出处理单元1404被输出至的目的地的格式对图像数据执行图像放大或缩小处理，或者以与第一图像放大和缩小单元1402相同的方式执行格式转换或者图像放大或缩小处理等。视频输出处理单元1404对图像数据执行格式转换、转换成模拟信号等，并且将数据作为再现的视频信号输出至例如连接器1321。
帧存储器1405是针对由下述单元所共享的图像数据的存储器：视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404和编码/解码引擎1407。帧存储器1405被实现为半导体存储器，例如DRAM等。
存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的对帧存储器1405的访问时间表来控制对帧存储器1405进行写和读的访问。访问管理表1406A由存储器控制单元1406根据在编码/解码引擎1407、第一图像放大和缩小单元1402和第二图像放大和缩小单元1403等中执行的处理进行更新。
编码/解码引擎1407执行对图像数据的编码处理以及对视频流的解码处理，所述视频流是通过对图像数据进行编码而获得的数据。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将数据作为视频流顺序地写入视频ES缓冲器1408A。另外，例如，编码/解码引擎1407从视频ES缓冲器1408B顺序地读取视频流，并且将数据作为图像数据顺序地写入帧存储器1405。编码/解码引擎1407将帧存储器1405用作工作区以进行这样的编码和解码。另外，编码/解码引擎1407在例如开始对每个微块的处理时向存储器控制单元1406输出同步信号。此外，编码/解码引擎1407执行图像数据的编码或编码数据的解码，所述编码数据是通过在必要时使用MP4处理单元1415或MPEG-DASH处理单元1416对图像数据进行编码而获得的。
视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲并且将流提供至多路复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413提供的视频流进行缓冲并且将流提供至编码/解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲并且将流提供至多路复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413提供的音频流进行缓冲并且将流提供至音频解码器1411。
音频编码器1410例如对从例如连接器1321等输入的音频信号进行数字转换，并且以预定方案对信号进行编码，所述预定方案例如MPEG音频方案或音频编码序号3(AudioCode number 3)(AC3)方案等。音频编码器1410将作为通过对音频信号进行编码而获得的数据的音频流顺序写入音频ES缓冲器1409A中。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行到例如模拟信号的转换，并且将信号作为再现的音频信号提供至例如连接器1321。
多路复用器(MUX)1412对视频流或音频流进行多路复用。用于该多路复用(即，根据多路复用而生成的比特流的格式)的方法是任意的。另外，在多路复用期间，多路复用器(MUX)1412还可以向比特流添加预定的头信息等。换言之，多路复用器(MUX)1412可以通过多路复用对流的格式进行转换。通过对视频流和音频流进行多路复用，例如，多路复用器(MUX)1412将流转换成输送流(transport stream)，输送流是用于输送的格式的比特流。另外，通过对视频流和音频流进行多路复用，例如，多路复用器(MUX)1412将流转换成用于记录的文件格式的数据(文件数据)。
解复用器(DMUX)1413使用与由多路复用器(MUX)1412执行的多路复用相对应的方法对通过对视频流和音频流进行多路复用而获得的比特流进行解复用。换言之，解复用器(DMUX)1413根据从流缓冲器1414读取的比特流提取视频流和音频流(将比特流分离成视频流和音频流)。解复用器(DMUX)1413可以通过解复用对流的格式进行转换(经由多路复用器(MUX)1412的转换的相反转换)。例如，解复用器(DMUX)1413可以经由流缓冲器1414来获取从例如连接器1321、宽带调制解调器1333等提供的输送流(transport stream)，并且通过解复用将流转换成视频流和音频流。另外，例如，解复用器(DMUX)1413可以经由流缓冲器1414来获取由例如连接器1321从各种记录介质读取的文件数据，并且通过解复用将数据转换成视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从多路复用器(MUX)1412提供的输送流进行缓冲，并且在预定时刻或者基于来自外部的请求等将流提供至例如连接器1321、宽带调制解调器1333等。
另外，例如，流缓冲器1414对从多路复用器(MUX)1412提供的文件数据进行缓冲，并且在预定时刻或者基于来自外部的请求等将数据提供至例如连接器1321等以使得数据能够被记录在各种记录介质中的任意记录介质上。
再者，流缓冲器1414对经由例如连接器1321、宽带调制解调器1333等获取的输送流进行缓冲，并且在预定时刻或者基于来自外部的请求等将流提供至解复用器(DMUX)1413。
另外，流缓冲器1414对经由例如连接器1321等从各种记录介质中的任意记录介质读取的文件数据进行缓冲，并且在预定时刻或者基于来自外部的请求等将数据提供至解复用器(DMUX)1413。
MP4处理单元1415执行与MP4文件有关的处理，例如MP4文件的生成或再现。MPEG-DASH处理单元1416执行与以基于MPEG-DASH标准或控制信息的方法传送的传送数据的生成或再现有关的处理，例如MPD或MP4文件的生成或再现。
接着，将描述具有该配置的视频处理器1332的操作的示例。例如，从连接器1321等输入至视频处理器1332的视频信号在视频输入处理单元1401中以预定的格式例如4:2:2的YCbCr格式被转换成数字图像数据，并且被顺序地写入帧存储器1405中。该数字图像数据由第一图像放大和缩小单元1402或第二图像放大和缩小单元1403进行读取，以预定格式例如4:2:0的YCbCr格式经历格式转换和放大或缩小处理，并且然后又被写入帧存储器1405中。该图像数据由编码/解码引擎1407进行编码并且作为视频流被写入视频ES缓冲器1408A中。
另外，从连接器1321输入至视频处理器1332的音频信号通过音频编码器1410进行编码，并且然后作为音频流被写入音频ES缓冲器1409A。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流由多路复用器(MUX)1412进行读取和多路复用以转换成输送流或文件数据等。由多路复用器(MUX)1412生成的输送流在流缓冲器1414中被缓冲，并且然后经由例如连接器1321、宽带调制解调器1333等被输出至外部网络。另外，由多路复用器(MUX)1412生成的文件数据在流缓冲器1414中被缓冲，并且被输出至例如连接器1321(图29的连接器1321)以记录在各种记录介质中的任意记录介质中。
另外，经由例如连接器1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的输送流在流缓冲器1414中被缓冲，并且然后被解复用器(DMUX)1413解复用。另外，例如，经由连接器1321从各种记录介质中的任意的记录介质读取并且被输入至视频处理器1332的文件数据在流缓冲器1414中被缓冲，并且然后被解复用器(DMUX)1413解复用。换言之，输入至视频处理器1332的输送流或文件数据被解复用器(DMUX)1413分离成视频流和音频流。
音频流经由音频ES缓冲器1409B被提供至音频解码器1411以进行解码并且音频信号被再现。另外，视频流被写入视频ES缓冲器1408B中，然后由编码/解码引擎1407顺序地读取视频流以进行解码，并且视频流被写入帧存储器1405中。解码的图像数据通过第二图像放大和缩小单元1403经历放大和缩小处理，并且被写入帧存储器1405中。然后，解码的图像数据由视频输出处理单元1404读取，以预定格式例如4:2:2的YCbCr格式经历格式转换，并且被进一步转换成模拟信号，并且视频信号被再现以进行输出。
MP4处理单元1415经由编码/解码引擎1407来获取存储于例如帧存储器1405中的图像数据，对图像数据进行编码以生成编码数据，并且进一步生成存储有编码数据的MP4文件。MP4处理单元1415将所生成的MP4文件提供至编码/解码引擎1407。编码/解码引擎1407经由例如视频ES缓冲器1408A、多路复用单元(MUX)1412和流缓冲器1414等将所提供的MP4文件输出至视频处理器1332的外部，并且经由连接器1321、宽带调制解调器1333等将MP4文件输出至外部网络。
例如，MP4处理单元1415经由编码/解码引擎1407来获取MP4文件——MP4文件是经由连接器1321、宽带调制解调器1333等从外部网络获取的并且被存储于视频ES缓冲器1408B中，对MP4文件进行分析以提取编码数据，并且进一步对编码数据进行解码。MP4处理单元1415将所获得的图像数据提供至编码/解码引擎1407。编码/解码引擎1407将所提供的图像数据经由帧存储器1405提供至视频输出处理单元1404，并且将图像数据作为视频信号输出至视频处理器1332的外部。
作为MP4处理单元1415的处理，可以应用上述每个实施方式的方法。即，MP4处理单元1415可以包括传送数据生成装置101(图11)的画面划分处理单元121、图像编码单元122、文件生成单元123和服务器上载处理单元126(图12)。在该情况下，MP4处理单元1415针对每个瓦片对图像进行划分和编码，生成存储有每个瓦片的数据的MP4文件，并且经由连接器1321等将MP4文件上载至传送服务器102。以该方式，MP4处理单元1415可以生在上面的实施方式中描述的各种MP4文件。
MP4处理单元1415可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和瓦片图像组合单元156(图13)。在该情况下，MP4处理单元1415经由连接器1321等从传送服务器102下载MP4文件——MP4文件包括包括在期望范围内的瓦片的数据，从MP4文件提取瓦片的编码数据并且对瓦片的编码数据进行解码，适当地组合所获得的瓦片的图像数据(瓦片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MP4处理单元1415可以对上面在实施方式中所述的各种MP4文件进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
例如，MPEG-DASH处理单元1416经由编码/解码引擎1407来获取存储于帧存储器1405中的图像数据，生成对图像数据进行管理的MPD，并且将MPD文件提供至编码/解码引擎1407。例如，编码/解码引擎1407经由视频ES缓冲器1408A、多路复用单元(MUX)1412和流缓冲器1414等将所提供的MPD文件输出至视频处理器1332的外部，并且经由连接器1321、宽带调制解调器1333等将MPD文件输出至外部网络。
MPEG-DASH处理单元1416可以对图像数据进行编码以生成存储有编码数据的MP4文件以及生成对MP4文件进行管理的MPD，并且将MPD文件输出至外部网络。MPEG-DASH处理单元1416可以将MP4文件连同MPD文件一起输出至外部网络。
例如，MPEG-DASH处理单元1416经由编码/解码引擎1407来获取MPD文件——MPD文件是经由连接器1321、宽带调制解调器1333等从外部网络获取的并且被存储于视频ES缓冲器1408B中，对MPD文件进行分析，并且基于MPD获取期望的图像数据。例如，当MP4文件——MP4文件包括通过对图像数据进行编码而获得的编码数据——通过MPD被管理时，MPEG-DASH处理单元1416基于MPD从外部网络获取与期望的图像相对应的MP4文件，对包括在MP4文件中的编码数据进行解码，并且将通过解码而获得的图像数据提供至编码/解码引擎1407。编码/解码引擎1407将所提供的图像数据经由帧存储器1405提供至视频输出处理单元1404，并且将图像数据作为视频信号输出至视频处理器1332的外部。
作为MPEG-DASH处理单元1416的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH处理单元1416可以包括传送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的瓦片型MPD生成单元141)。在该情况下，MPEG-DASH处理单元1416针对每个瓦片对图像进行划分和编码，生成存储有的每个瓦片的数据的MP4文件，生成对MP4文件进行管理的MPD，并且将他们经由连接器1321等上载至传送服务器102。以该方式，MPEG-DASH处理单元1416可以生成在实施方式中描述的各种MPD。
MPEG-DASH处理单元1416可以包括终端装置103(图11)的MPD获取单元151至瓦片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)。在该情况下，MPEG-DASH处理单元1416对MPD进行分析，经由连接器1321等从传送服务器102下载MP4文件——MP4文件包括包括在期望范围内的瓦片的数据，从MP4文件提取瓦片的编码数据并且对瓦片的编码数据进行解码，适当地组合所获得的瓦片的图像数据(瓦片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MPEG-DASH处理单元1416可以对在上面的实施方式中描述的各种MPD进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
在MP4处理单元1415和MPEG-DASH处理单元1416中，本技术(上述传送数据生成装置101或终端装置103的功能)可以通过硬件例如逻辑电路进行实现，可以通过软件例如嵌入式程序进行实现，或者可以通过二者进行实现。
<视频处理器的配置的其他示例>
图71示出本公开内容所应用于的视频处理器1332的示意性配置的另一示例。在图71的示例的情况下，视频处理器1332具有以预定方案对视频数据进行编码和解码的功能。
更具体地，如图71所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332包括编解码引擎1516、存储器接口1517、多路复用和解复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的每个处理单元例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。
如图71所示，例如，控制单元1511包括主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行程序等以控制视频处理器1332中的每个处理单元的操作。主CPU1531根据程序等来生成控制信号并且将控制信号提供至每个处理单元(即，控制每个处理单元的操作)。副CPU 1532充当主CPU 1531的辅助角色。例如，副CPU 1532执行由主CPU1531所执行的程序等的子代处理(offspring process)或子例程。系统控制器1533控制主CPU 1531和副CPU 1532的操作，例如指定由主CPU 1531和副CPU 1532执行的程序。
显示接口1512在控制单元1511的控制下将图像数据输出至例如连接器1321。例如，显示接口1512将数字数据的图像数据转换成模拟信号并且将图像数据作为再现的视频信号或数字数据的图像数据输出至连接器的监视装置(monitor device)等。
显示引擎1513在控制单元1511的控制下对图像数据执行各种变换处理例如格式变换、尺寸变换或色饱和度变换以匹配显示图像的监视装置等的硬件规格。
图像处理引擎1514在控制单元1511的控制下对图像数据执行预定的图像处理例如滤波处理以例如改进图像质量。
内部存储器是由显示引擎1513、图像处理引擎1514和编解码引擎1516共享的存储器并且被设置在视频处理器1332的内部。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码引擎1516中间传输和接收数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据并且在必要时(例如根据请求)将数据提供至显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以通过任意的存储装置进行实现，但是内部存储器1515在许多情况下通常用于存储具有小容量的数据例如以块为单位的参数或图像数据。因此，内部存储器1515优选地通过例如具有相对小的容量(与例如内部存储器1312相比)和快的响应速度的半导体存储器例如静态随机存取存储器(SRAM)进行实现。
编解码引擎1516执行与图像数据的编码或解码有关的处理。可以使用编解码引擎1516所对应的任意的编码和解码方案，并且方案的数目可以是单数或复数。例如，编解码引擎1516可以包括多个编码和解码方案的编解码功能，并且可以使用从那里选择的编解码功能来对图像数据进行编码并且对编码数据进行解码。
在图71所示的示例中，作为与编解码器的处理有关的功能块，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.264 1542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544和HEVC/H.265(多视图)1545并且包括MPEG-DASH 1551和MP4处理单元1552。
MPEG-2视频1541为以MPEG-2方案对图像数据进行编码或解码的功能块。AVC/H.264 1542为以AVC方案对图像数据进行编码或解码的功能块。HEVC/H.265 1543为以HEVC方案对图像数据进行编码或解码的功能块。HEVC/H.265(可伸缩)1544为以HEVC方案对图像数据执行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545为以HEVC方案对图像数据执行多视图编码或多视图解码的功能块。
MPEG-DASH 1551执行以基于MPEG-DASH标准的方法传送的传送数据或控制信息的生成或再现有关的处理，例如MPD或MP4文件的生成或再现。MP4处理单元1552执行与MP4文件有关的处理，例如MP4文件的生成或再现。当MPEG-DASH 1551和MP4处理单元1552执行图像数据的编码和解码时，MPEG-DASH 1551和MP4处理单元1552使用上述的MPEG-2视频1541至HEVC/H.265(多视图)1545。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516提供的数据经由存储器接口1517被提供至外部存储器1312。从外部存储器1312读取的数据经由存储器接口1517被提供至视频处理器1332(图像处理引擎1514或编解码引擎1516)。
多路复用和解复用单元(MUX DMUX)1518对与图像有关的各种数据例如图像数据、视频信号、编码数据的比特流进行多路复用或解复用。可以使用任意的多路复用和解复用方法。例如，在进行多路复用时，多路复用和解复用单元(MUX DMUX)1518可以将多条数据集中到一条数据中并且还可以将预定的头信息等添加至数据。在进行解复用时，多路复用和解复用单元(MUX DMUX)1518将一条数据划分成多条数据并且还可以将预定的头信息等添加至每条划分的数据。即，多路复用和解复用单元(MUX DMUX)1518可以通过多路复用和解复用来转换数据的格式。例如，多路复用和解复用单元(MUX DMUX)1518可以通过对比特流进行多路复用来将数据转换成作为具有传输格式的比特流的输送流或者转换成具有用于记录的文件格式的数据(文件数据)。当然，也可以通过解复用来执行反向转换。
网络接口1519是例如用于宽带调制解调器1333、连接器1321等的接口。视频接口1520是用于连接器1321、相机1322的接口。
接着，将描述视频处理器1332的操作的示例。例如，当输送流经由连接器1321、宽带调制解调器1333等从外部网络被接收时，输送流经由网络接口1519被提供至多路复用和解复用单元(MUX DMUX)1518以进行解复用，并且然后通过编解码引擎1516被解码。例如，通过编解码引擎1516的解码而获得的图像数据通过图像处理引擎1514受到预定的图像处理，通过显示引擎1513受到预定的转换，并且经由显示接口1512被提供至例如连接器1321，并且然后图像被显示在监视器上。例如，通过编解码引擎1516的解码而获得的图像数据通过编解码引擎1516被重新编码，被多路复用和解复用单元(MUX DMUX)1518多路复用以转换成文件数据，经由视频接口1520被输出至例如连接器1321并且被记录在各种记录介质中。
此外，例如，由连接器1321等从记录介质(未示出)读取的以及通过对图像数据进行编码而获得的编码数据的文件数据经由视频接口1520被提供至多路复用和解复用单元(MUX DMUX)1518以进行解复用，并且然后由编解码引擎1516进行解码。通过编解码引擎1516的解码而获得的图像数据通过图像处理引擎1514受到预定的图像处理，通过显示引擎1513受到预定的转换，并且经由显示接口1512被提供至例如连接器1321，并且然后图像被显示在监视器上。例如，通过编解码引擎1516的解码而获得的图像数据通过编解码引擎1516被重新编码，通过多路复用和解复用单元(MUX DMUX)1518被多路复用以转换成输送流，经由网络接口1519被提供至例如连接器1321、宽带调制解调器1333，并且被传输至另一装置(未示出)。
使用例如内部存储器1515或外部存储器1312来执行图像数据或其他数据在视频处理器1332中的处理单元之间的传输和接收。电力管理模块1313控制向例如控制单元1511的电力供给。
编解码引擎1516的MP4处理单元1552获取例如从外部存储器1312读取的图像数据，使用MPEG-2视频1541至HEVC/H.265(多视图)1545中的任意者对图像数据进行编码以生成编码数据，并且进一步生成存储有编码数据的MP4文件。MP4处理单元1552经由例如存储器接口1517将所生成的MP4文件提供至外部存储器1312以存储MP4文件。例如，MP4文件由存储器接口1517读取，经由多路复用和解复用单元(MUX DMUX)1518或网络接口1519被输出至视频处理器1332的外部，并且经由连接器1321、宽带调制解调器1333等被输出至外部网络。
例如，MP4处理单元1552经由存储器接口1517获取MP4文件，其中，MP4文件经由连接器1321、宽带调制解调器1333等被获取，经由网络接口1519、多路复用和解复用单元(MUXDMUX)1518以及存储器接口1517等被提供至外部存储器1312，并且被存储。MP4处理单元1552对所获取的MP4文件进行分析，提取编码数据，并且使用MPEG-2视频1541至HEVC/H.265(多视图)1545中的任意者对编码数据进一步进行解码。MP4处理单元1552经由例如存储器接口1517将所获得的图像数据提供至外部存储器1312以存储图像数据。例如，图像数据通过存储器接口1517被读取并且经由图像处理引擎1514、显示引擎1513和显示接口1512等被提供至例如连接器1321，使得图像被显示在监视器上。
作为MP4处理单元1552的处理，可以应用上述每个实施方式的方法。即，MP4处理单元1552可以包括传送数据生成装置101(图11)的画面划分处理单元121、图像编码单元122、文件生成单元123和服务器上载处理单元126(图12)。在该情况下，MP4处理单元1552针对每个瓦片对图像进行划分和编码，生成存储有每个瓦片的数据的MP4文件，并且经由连接器1321等将MP4文件上载至传送服务器102。以该方式，MP4处理单元1552可以生成实施方式中的上述的各种MP4文件。
MP4处理单元1552可以包括终端装置103(图11)的文件获取单元154、图像解码单元155和瓦片图像组合单元156(图13)。在该情况下，MP4处理单元1552经由连接器1321等从传送服务器102下载MP4文件——MP4文件包括包括在期望范围内的瓦片的数据，从MP4文件提取瓦片的编码数据并且对瓦片的编码数据进行解码，适当地组合所获得的瓦片的图像数据(瓦片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MP4处理单元1552可以对上面在实施方式中所述的各种MP4文件进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
MPEG-DASH 1551获取从例如外部存储器1312读取的图像数据并且生成对图像数据进行管理的MPD。MPEG-DASH 1551经由例如存储器接口1517将所生成的MPD文件提供至外部存储器以存储MPD文件。例如，MP4文件由存储器接口1517读取，经由多路复用和解复用单元(MUX DMUX)1518或网络接口1519被输出至视频处理器1332的外部，并且经由连接器1321、宽带调制解调器1333等被输出至外部网络。
MPEG-DASH 1551可以对图像数据进行编码以生成存储有编码数据的MP4文件以及生成对MP4文件进行管理的MPD，并且将MPD文件输出至外部网络。MPEG-DASH 1551可以将MP4文件连同MPD文件一起输出至外部网络。
例如，MPEG-DASH 1551经由存储器接口1517获取MPD文件，其中，MPD文件经由连接器1321、宽带调制解调器1333等被获取，经由网络接口1519、多路复用和解复用单元(MUXDMUX)1518以及存储器接口1517等被提供至外部存储器1312，并且被存储。MPEG-DASH 1551对所获取的MPD进行分析并且基于MPD来获取期望的图像数据。例如，当包括通过对图像数据进行编码而获得的编码数据的MP4文件通过MPD被管理时，MPEG-DASH 1551基于MPD从外部网络获取与期望的图像相对应的MP4，提取包括在MP4文件中的编码数据，使用MPEG-2视频1541至HEVC/H.265(多视图)1545中的任意者来对编码数据进一步进行解码。MPEG-DASH1551经由例如存储器接口1517将所获得的图像数据提供至外部存储器以存储图像数据。例如，图像数据通过存储器接口1517被读取并且经由图像处理引擎1514、显示引擎1513和显示接口1512等被提供至例如连接器1321，使得图像被显示在监视器上。
作为MPEG-DASH 1551的处理，可以应用上述每个实施方式的方法。即，MPEG-DASH1551可以包括传送数据生成装置101(图11)的画面划分处理单元121至服务器上载处理单元126(包括图12中的瓦片型MPD生成单元141)。在该情况下，MPEG-DASH 1551针对每个瓦片对图像进行划分和编码，生成存储有的每个瓦片的数据的MP4文件，生成对MP4文件进行管理的MPD，并且将他们经由连接器1321等上载至传送服务器102。以该方式，MPEG-DASH1551可以生成在实施方式中描述的各种MPD。
MPEG-DASH 1551可以包括终端装置103(图11)的MPD获取单元151至瓦片图像组合单元156(除了图13中的显示单元157以外的各个处理单元)。在该情况下，MPEG-DASH 1551对MPD进行分析，经由连接器1321等从传送服务器102下载MP4文件——MP4文件包括包括在期望范围内的瓦片的数据，从MP4文件提取瓦片的编码数据并且对瓦片的编码数据进行解码，适当地组合所获得的瓦片的图像数据(瓦片图像)以生成在期望的范围内的图像数据，并且将图像数据作为视频信号输出至视频处理器1332的外部。以该方式，MPEG-DASH 1551可以对上面在实施方式中描述的各种MPD进行处理以获得期望的图像数据。
即，视频处理器1332(即视频设备1300)可以实现对于部分图像的数据的自适应供给。
在MP4 1551和MP4处理单元1552中，本技术(上述传送数据生成装置101或终端装置103的功能)可以通过硬件例如逻辑电路进行实现，可以通过软件例如嵌入式程序进行实现，或者可以通过二者进行实现。
已经简化了视频处理器1332的两个配置，但是视频处理器1332的配置是任意的并且可以是除了上述配置以外的配置。可以将视频处理器1332配置为单个半导体芯片或者可以将视频处理器1332配置为多个半导体芯片。例如，可以使用3维层压LSI，在三维层压LSI中多个半导体被层压。视频处理器1332可以通过多个LSI进行实现。
<装置的应用示例>
可以将视频设备1300嵌入对图像数据进行处理的各种装置中。例如，可以将视频设备1300嵌入电视装置900(图67)中或移动电话920(图68)中。通过使视频设备1300嵌入，装置可以获得与参照图1至图66所描述的优点相同的优点。
也可以将上述视频设备1300的每个配置的一部分实现为本技术所应用于的配置，只要配置的该部分包括视频设备1332即可。例如，可以仅将视频处理器1332实现为本技术所应用于的视频处理器。例如，可以将上述的由虚线1341所指示的视频模块1331或处理器实现为本技术所应用于的处理器或模块等。此外，例如，可以将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314进行组合以实现为本技术所应用于的视频单元1361。可以不管配置而获得与参照图1至图66所描述的优点相同的优点。
即，如在视频设备1300的情况下，可以将任意配置嵌入处理图像数据的各种装置中，只要配置包括视频设备1332即可。例如，可以将由虚线1341指示的视频处理器1332或处理器、视频模块1311或视频单元1361嵌入电视装置900(图67)和移动电话920(图68)等。通过嵌入本技术所应用于的任意配置，如在视频设备1300中，装置可以获得与参照图1至图66所描述的优点相同的优点。
本说明书中描述的优点仅是示例性的且不被限制并且可以获得其他优点。
在本说明书中，系统指一组多个构成元件(装置和模块(部件)等)并且所有构成元件可以被包括或者可以不被包括在同一个壳中。相应地，容纳于单独的壳中并且经由网络连接的多个装置以及其中多个模块被容纳于单个壳中的单个装置均为系统。
可以将上面描述为单个装置(或处理单元)的配置进行划分并且配置为多个装置(或处理单元)。与此相反，可以将上面描述为多个装置(或处理单元)的配置进行集中并且配置为单个装置(或处理单元)。当然可以将除了上述配置以外的配置添加至装置(或处理单元)的配置。此外，只要配置或操作在整个系统中基本相同，就可以将某些装置(或处理单元)的配置的一部分包括在其他装置(或其他处理单元)的配置中。
上面已经参照附图描述了本公开内容的优选实施方式，然而本公开内容当然并不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解的是所述各种变更和修改将自然地归入本公开内容的技术范围内。
例如，在本技术中，可以实现云计算配置，在云计算配置中，单个功能经由网络被多个装置共享和处理。
上述流程图中描述的每一步可以由单个装置执行并且也可以由多个装置共享和执行。
当单个步骤中包括多个处理时，包括在单个步骤中的多个处理可以由单个装置执行并且也可以由多个装置共享和执行。
可以将根据上述实施方式的信息处理装置应用于各种电子装置，例如：在卫星广播、有线广播例如有线电视或因特网的传送中以及在通过蜂窝通信至终端的传送中的发射器或接收器；将图像记录在介质例如光盘、磁盘或闪速存储器中的记录装置；或者再现来自存储介质的图像的再现装置。
在本说明书中，已经描述了以下示例：在该示例中，各种元数据在比特流中被多路复用并且被从编码侧传输至解码侧。然而，传输信息的方法并不限于示例。例如，可以将信息作为与比特流相关联的单独的各条数据进行传输或记录，而不将信息在比特流中进行多路复用。在此，术语“相关联”指包括在比特流中的图像(所述图像可以为图像的一部分，例如片或块)以及与图像相对应的信息可以在解码时被链接。即，可以根据图像的比特流沿不同的传输路径来传输信息。可以根据图像的比特流将信息记录在不同的记录介质(或同一记录介质的不同记录区域)中。此外，可以使信息和图像的比特流在任意的单元例如多个帧、单个帧或帧的一部分中彼此相关联。
另外，还可以对本技术如下进行配置。
(1)一种信息处理装置，包括：
部分图像信息生成单元，该部分图像信息生成单元被配置成生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及
元数据生成单元，该元数据生成单元被配置成使用由部分图像信息生成单元生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给。
(2)在(1)中描述的信息处理装置中，部分图像信息包括：
视图类型，其指示与部分图像信息相对应的图像是否为部分图像；
与整个图像的尺寸有关的信息；
指示部分图像在整个图像中的位置的信息；以及
对组进行识别的组识别信息，组是部分图像所属的组并且是可显示为一幅图像的部分图像的组。
(3)在(1)或(2)中描述的信息处理装置中，
元数据生成单元将与属于同一组的多个部分图像有关的部分图像信息存储于元数据的彼此不同的自适应集(AdaptationSet)中并且将多个部分图像的比特流分配至彼此不同的自适应集。
(4)在(1)至(3)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一组的多个部分图像有关的部分图像信息存储于属于元数据的一个自适应集(AdaptationSet)的彼此不同的表示(Representation)中并且将多个部分图像的比特流分配至彼此不同的表示。
(5)在(1)至(4)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一组的多个部分图像有关的部分图像信息存储于元数据的彼此不同的自适应集(AdaptationSet)中并且将包括多个部分图像的一个比特流被针对每个部分图像所划分为的多个文件分配至彼此不同的自适应集。
(6)在(1)至(5)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成与包括在比特流中的控制信息有关的部分图像信息，以及
元数据生成单元可以将控制信息的部分图像信息存储于与每个部分图像的部分图像信息不同的自适应集中并且将控制信息的文件分配至自适应集。
(7)在(1)至(6)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一组的多个部分图像有关的部分图像信息存储于属于元数据的整个图像的同一适应集(AdaptationSet)的彼此不同的表示(Representation)中，并且将多个部分图像的比特流分配至彼此不同的表示。
(8)在(1)至(7)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成与包括在一个比特流中的控制信息有关的部分图像信息，所述一个比特流包括属于同一组的多个部分图像。元数据生成单元可以将与多个部分图像有关的部分图像信息存储于属于元数据的一个自适应集(AdaptationSet)的彼此不同的表示(Representation)中并且将比特流被针对每个部分图像所划分的多个文件分配至彼此不同的表示，以及可以将控制信息的部分图像信息存储于与关于每个部分图像的部分图像信息不同的表示中并且将控制信息的文件分配至表示。
(9)在(1)至(8)中的任一者中描述的信息处理装置中，
元数据生成单元将与属于同一组的多个部分图像有关的部分图像信息存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中并且将多个部分图像的比特流分配至彼此不同的子表示，所述一个表示(Representation)属于元数据的一个自适应集(AdaptationSet)。
(10)在(1)至(9)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成指示与比特流有关的信息存在于子表示(Sub-Representation)之下的分片信息以及与包括在一个比特流中的控制信息有关的部分图像信息，所述一个比特流包括属于同一组的多个部分图像。元数据生成单元可以将控制信息的部分图像信息和分片信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中并且将控制信息的文件分配至表示，以及可以将与多个部分图像有关的部分图像信息存储于属于表示的彼此不同的子表示中并且将比特流被针对每个部分图像所划分为的多个文件分配至彼此不同的子表示。
(11)在(1)至(10)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成指示与比特流有关的信息存在于子表示(Sub-Representation)之下的分片信息以及与包括在一个比特流中的控制信息有关的部分图像信息，所述一个比特流包括属于同一组的多个部分图像。元数据生成单元可以将控制信息的部分图像信息和分片信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中并且将比特流分配至表示，以及可以将与多个部分图像有关的部分图像信息存储于属于表示的彼此不同的子表示中并且可以将指示比特流中的部分图像的数据的位置的信息分配至彼此不同的子表示。
(12)在(1)至(11)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成多分片信息，多分片信息指示与相同时间的比特流有关的多条信息存在于表示(Representation)之下。元数据生成单元可以将多分片信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中，以及可以将与属于同一组的多个部分图像有关的部分图像信息存储于属于表示的彼此不同的分片中并且将多个部分图像的比特流分配至彼此不同的分片。
(13)在(1)至(12)中的任一者中描述的信息处理装置中，部分图像信息生成单元可以另外生成指示与比特流有关的信息不存在于子表示(Sub-Representation)之下的分片信息以及与包括属于同一组的多个部分图像的一个比特流有关的部分图像信息。元数据生成单元可以将分片信息存储于属于元数据的一个自适应集(AdaptationSet)的一个表示(Representation)中，可以将部分图像信息存储于属于表示的一个分片(Segment)中并且将比特流分配至分片，以及可以将指示比特流中的部分图像的数据的位置的信息分配至属于分片的彼此不同的子分片(Sub-Segment)中。
(14)在(1)至(13)中的任一者中描述的信息处理装置，还包括：
编码单元，其被配置成对整个图像和部分图像的图像数据进行编码并且生成比特流。
(15)在(1)至(14)中的任一者中描述的信息处理装置，还包括：
画面划分处理单元，其被配置成根据整个图像的图像数据来生成每个部分图像的图像数据。
(16)一种信息处理方法，包括：
生成部分图像信息，该部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及
使用所生成的部分图像信息来生成元数据，该元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给。
(17)一种信息处理装置，包括：
分析单元，其被配置成对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给；
选择单元，其被配置成使用由分析单元获得的部分图像信息来选择期望的部分图像的比特流；以及
比特流获取单元，其被配置成获取由选择单元选择的比特流。
(18)在(17)中描述的信息处理装置还可以包括被配置成获取元数据的元数据获取单元。
(19)在(17)或(18)中描述的信息处理装置，还可以包括：
解码单元，其被配置成对由比特流获取单元获取的比特流进行解码。
(20)一种信息处理方法，包括：
对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给；
使用所获得的部分图像信息来选择期望的部分图像的比特流；以及
获取所选择的比特流。
(21)一种信息处理装置，包括：
部分图像信息生成单元，其被配置成生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及
元数据生成单元，其被配置成使用由部分图像信息生成单元生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给，
其中，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息。
(22)在(21)中描述的信息处理装置中，部分图像信息还可以包括指示部分图像在整个图像中的位置的信息、与部分图像的尺寸有关的信息以及与整个图像的尺寸有关的信息。
(23)在(21)或(22)中描述的信息处理装置中，部分图像信息还可以包括指示存储有部分图像信息的自适应集是否对整个比特流或比特流的一部分进行定义的识别信息。
(24)在(21)至(23)中的任一者中描述的信息处理装置中，部分图像信息还可以包括指示哪些信息对比特流中的存储有部分图像信息的自适应集所对应于的部分进行配置的信息。
(25)在(21)至(24)中的任一者中描述的信息处理装置中，部分图像信息还可以包括指示比特流中的存储有部分图像信息的自适应集所对应于的部分是否被划分成轨道的信息。
(26)在(21)至(25)中的任一者中描述的信息处理装置中，部分图像信息还可以包括存储有部分图像信息的自适应集所对应的部分图像的识别信息。
(27)在(21)至(26)中的任一者中描述的信息处理装置中，部分图像信息还可以包括轨道参考和提取器。轨道参考和提取器可以存储于与多个部分图像相对应的轨道中并且参考存储有部分图像的片的基本轨道。
(28)一种信息处理方法，包括：
生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息；以及
使用所生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给。
(29)一种信息处理装置，包括：
分析单元，其被配置成对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给；
选择单元，其被配置成使用由分析单元获得的部分图像信息来选择期望的部分图像的比特流；以及
比特流获取单元，其被配置成获取由选择单元选择的比特流，
其中，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息。
(30)一种信息处理方法，包括：
对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给，部分图像信息包括指示存储有部分图像信息的自适应集(AdaptationSet)的内容源与另一自适应集的内容源是否相同的识别信息；
使用所获得的部分图像信息来选择期望的部分图像的比特流；以及
获取所选择的比特流。
(41)一种信息处理装置，包括：
部分图像信息生成单元，其被配置成生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及
元数据生成单元，其被配置成使用由部分图像信息生成单元所生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给的。
(42)在(41)中描述的信息处理装置中，
部分图像信息包括指示部分图像在整个图像中的位置的位置信息。
(43)在(42)中描述的信息处理装置中，
位置信息指示部分图像的左上方的位置。
(44)在(41)至(43)中的任一者中描述的信息处理装置中，
元数据生成单元将与多个部分图像有关的部分图像信息存储在元数据的彼此不同的自适应集(AdaptationSet)中并且将多个部分图像的比特流分配至彼此不同的自适应集。
(45)在(41)至(44)中的任一者中描述的信息处理装置，
元数据生成单元将与多个部分图像有关的部分图像信息存储于元数据的彼此不同的自适应集(AdaptationSet)中并且将包括多个部分图像的一个比特流被针对每个部分图像所划分为的多个文件分配至彼此不同的自适应集。
(46)在(41)至(45)中的任一者中描述的信息处理装置中，
元数据生成单元将与多个部分图像有关的部分图像信息存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中并且将多个部分图像的比特流分配至彼此不同的子表示，所述一个表示(Representation)属于元数据的一个自适应集(AdaptationSet)。
(47)在(46)中描述的信息处理装置中，
部分图像信息生成单元还生成指示与比特流有关的信息存在于子表示(Sub-Representation)之下的信息。
(48)在(46)或(47)中描述的信息处理装置中，
多个部分图像的比特流中的每一者均存储于一个MP4文件的轨道(TRACK)中。
(49)在(48)中描述的信息处理装置中，
元数据生成单元还生成指示一个MP4文件的数据的位置的信息。
(50)在(41)至(49)中的任一者中描述的信息处理装置中，
部分图像信息还包括与整个图像的尺寸有关的信息。
(51)在(41)至(50)中的任一者中描述的信息处理装置中，
部分图像信息还包括对以下的组进行识别的组识别信息：该组为部分图像所属的组并且是可显示为一幅图像的部分图像的组。
(52)在(41)至(51)中的任一者中描述的信息处理装置，还可以包括：
编码单元，其被配置成对整个图像和部分图像的图像数据进行编码并且生成比特流。
(53)在(41)至(52)中的任一者中描述的信息处理装置中，还可以包括：
画面划分处理单元，其被配置成根据整个图像的图像数据来生成每个部分图像的图像数据。
(54)在(41)至(53)中的任一者中描述的信息处理装置中，
部分图像信息包括指示形成整个图像的部分图像的数目的信息、指示部分图像的尺寸相等的识别信息以及在部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
(55)一种信息处理方法，包括：
生成部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息；以及
使用所生成的部分图像信息来生成元数据，元数据要用于整个图像的比特流的供给以及部分图像的比特流的供给。
(56)一种信息处理装置，包括：
分析单元，其被配置成对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给；
选择单元，其被配置成使用由分析单元获得的部分图像信息来选择所期望的部分图像的比特流；以及
比特流获取单元，其被配置成获取由选择单元选择的比特流。
(57)在(56)中描述的信息处理装置中，
部分图像信息包括指示部分图像在整个图像中的位置的位置信息。
(58)在(57)中描述的信息处理装置中，
位置信息指示部分图像的左上方的位置。
(59)在(56)至(58)中的任一者中描述的信息处理装置中，
分析单元对元数据进行分析，在元数据中，与多个部分图像有关的部分图像信息被存储于彼此不同的自适应集(AdaptationSet)中并且多个部分图像的比特流被分配至彼此不同的自适应集。
(60)在(56)至(59)中的任一者中描述的信息处理装置中，
分析单元对元数据进行分析，在元数据中，与多个部分图像有关的部分图像信息被存储于彼此不同的自适应集(AdaptationSet)中并且包括多个部分图像的一个比特流被针对每个部分图像所划分的多个文件被分配至彼此不同的自适应集。
(61)在(56)至(60)中的任一者中描述的信息处理装置中，
分析单元对元数据进行分析，在元数据中，与多个部分图像有关的部分图像信息被存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中并且多个部分图像的比特流被分配至彼此不同的子表示，所述一个表示属于一个自适应集(AdaptationSet)。
(62)在(61)中描述的信息处理装置中，
部分图像信息包括指示与比特流有关的信息存在于子表示(Sub-Representation)之下的信息。
(63)在(61)或(62)中描述的信息处理装置中，
多个部分图像的比特流中的每一者均存储于一个MP4文件的轨道(TRACK)中。
(64)在(63)中描述的信息处理装置中，
元数据包括指示一个MP4文件的数据的位置的信息。
(65)在(56)至(64)中的任一者中描述的信息处理装置中，
部分图像信息还包括与整个图像的尺寸有关的信息。
(66)在(56)至(65)中的任一者中描述的信息处理装置中，
部分图像信息还包括对以下的组进行识别的组识别信息：该组为部分图像所属的组并且是可显示为一幅图像的部分图像的组。
(67)在(56)至(66)中的任一者中描述的信息处理装置中，还可以包括：
解码单元，其被配置成对通过比特流获取单元获取的比特流进行解码。
(68)在(67)中描述的信息处理装置中，还可以包括：
画面组合处理单元，其被配置成根据由解码单元对比特流进行解码而获得的部分图像的图像数据来生成整个图像的图像数据。
(69)在(56)至(68)中的任一者中描述的信息处理装置，
部分图像信息包括指示形成整个图像的部分图像的数目的信息、指示部分图像的尺寸相等的识别信息以及在部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
(70)一种信息处理方法，包括：
对元数据进行分析并且获得部分图像信息，元数据包括部分图像信息，部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息，元数据用于整个图像的比特流的供给以及部分图像的比特流的供给的；
使用所获得的部分图像信息来选择所期望的部分图像的比特流；以及
获取所选择的比特流。
附图标记列表
100 传送系统
101 传送数据生成装置
102 传送服务器
103 终端装置
104 网络
121 画面划分处理单元
122 图像编码单元
123 文件生成单元
124 瓦片型图像信息生成单元
125 MPD生成单元
126 服务器上载处理单元
131至133 编码处理单元
141 瓦片型MPD生成单元
151 MPD获取单元
152 语法分析处理单元
153 瓦片图像选择单元
154 文件获取单元
155 图像解码单元
156 瓦片图像组合单元
157 显示单元
161至163 解码处理单元
171 瓦片型图像信息处理单元

Claims (34)

1.一种信息处理装置，包括：
部分图像信息生成单元，所述部分图像信息生成单元被配置成生成部分图像信息，所述部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息并且包括对组进行识别的组识别信息，所述组是所述部分图像所属的组并且是能够显示为一幅图像的部分图像的组；以及
元数据生成单元，所述元数据生成单元被配置成使用由所述部分图像信息生成单元生成的所述部分图像信息来生成元数据，所述元数据要用于所述整个图像的比特流的供给以及所述部分图像的比特流的供给，
其中，所述元数据生成单元将与多个部分图像有关的部分图像信息存储于所述元数据的彼此不同的自适应集(AdaptationSet)中并且将所述多个部分图像的比特流分配至所述彼此不同的自适应集。
2.根据权利要求1所述的信息处理装置，
其中，所述部分图像信息包括指示所述部分图像在所述整个图像中的位置的位置信息。
3.根据权利要求2所述的信息处理装置，
其中，所述位置信息指示所述部分图像的左上方的位置。
4.根据权利要求1所述的信息处理装置，
其中，所述元数据生成单元还被配置成将包括所述多个部分图像的一个比特流被针对每个部分图像所划分为的多个文件分配至所述彼此不同的自适应集。
5.根据权利要求1所述的信息处理装置，
其中，所述多个部分图像的比特流中的每一者均被存储于一个MP4文件的轨道中。
6.根据权利要求5所述的信息处理装置，
其中，所述元数据生成单元还生成指示所述一个MP4文件的数据的位置的信息。
7.根据权利要求1所述的信息处理装置，
其中，所述部分图像信息包括与所述整个图像的尺寸有关的信息。
8.根据权利要求1所述的信息处理装置，
其中，所述部分图像是高效视频编码HEVC中的瓦片(Tile)。
9.根据权利要求1所述的信息处理装置，
其中，所述部分图像信息包括指示图像是否为所述部分图像的视图类型(viewtype)。
10.根据权利要求1所述的信息处理装置，还包括：
编码单元，所述编码单元被配置成对所述整个图像和所述部分图像的图像数据进行编码并且生成比特流。
11.根据权利要求1所述的信息处理装置，还包括：
画面划分处理单元，所述画面划分处理单元被配置成根据所述整个图像的图像数据来生成每个部分图像的图像数据。
12.根据权利要求1所述的信息处理装置，
其中，所述部分图像信息包括指示形成所述整个图像的部分图像的数目的信息、指示所述部分图像的尺寸相等的识别信息以及在所述部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
13.根据权利要求1所述的信息处理装置，其中，所述部分图像由一个或多个瓦片图像构成。
14.根据权利要求1所述的信息处理装置，其中，所述部分图像信息存储在视点中，所述视点是所述元数据的所述自适应集的描述符型元素。
15.一种信息处理方法，包括：
生成部分图像信息，所述部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息并且包括对组进行识别的组识别信息，所述组是所述部分图像所属的组并且是能够显示为一幅图像的部分图像的组；
使用所生成的部分图像信息来生成元数据，所述元数据要用于所述整个图像的比特流的供给以及所述部分图像的比特流的供给；
将与多个部分图像有关的部分图像信息存储于所述元数据的彼此不同的自适应集(AdaptationSet)中；以及
将所述多个部分图像的比特流分配至所述彼此不同的自适应集。
16.一种信息处理装置，包括：
部分图像信息生成单元，所述部分图像信息生成单元被配置成生成部分图像信息，所述部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息并且包括对组进行识别的组识别信息，所述组是所述部分图像所属的组并且是能够显示为一幅图像的部分图像的组；以及
元数据生成单元，所述元数据生成单元被配置成使用由所述部分图像信息生成单元生成的所述部分图像信息来生成元数据，所述元数据要用于所述整个图像的比特流的供给以及所述部分图像的比特流的供给，
其中，所述元数据生成单元将与多个部分图像有关的部分图像信息存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中，并且将所述多个部分图像的比特流分配至所述彼此不同的子表示，所述一个表示(Representation)属于所述元数据的一个自适应集(AdaptationSet)。
17.根据权利要求16所述的信息处理装置，
其中，所述部分图像信息生成单元还生成指示与所述比特流有关的信息存在于所述子表示(Sub-Representation)之下的信息。
18.一种信息处理装置，包括：
分析单元，所述分析单元被配置成对元数据进行分析并且获得部分图像信息，所述元数据包括所述部分图像信息，所述部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息并且包括对组进行识别的组识别信息，所述组是所述部分图像所属的组并且是能够显示为一幅图像的部分图像的组，所述元数据用于所述整个图像的比特流的供给以及所述部分图像的比特流的供给；
选择单元，所述选择单元被配置成使用由所述分析单元获得的所述部分图像信息来选择期望的部分图像的比特流；以及
比特流获取单元，所述比特流获取单元被配置成获取由所述选择单元选择的比特流，
其中，所述分析单元对所述元数据进行分析，在所述元数据中，与多个部分图像有关的部分图像信息被存储于彼此不同的自适应集(AdaptationSet)中，并且所述多个部分图像的比特流被分配至所述彼此不同的自适应集。
19.根据权利要求18所述的信息处理装置，
其中，所述部分图像信息包括指示所述部分图像在所述整个图像中的位置的位置信息。
20.根据权利要求19所述的信息处理装置，
其中，所述位置信息指示所述部分图像的左上方的位置。
21.根据权利要求18所述的信息处理装置，
其中，在所述元数据中，包括所述多个部分图像的一个比特流被针对每个部分图像所划分为的多个文件被分配至所述彼此不同的自适应集。
22.根据权利要求18所述的信息处理装置，
其中，所述多个部分图像的比特流中的每一者均被存储于一个MP4文件的轨道中。
23.根据权利要求22所述的信息处理装置，
其中，所述元数据包括指示所述一个MP4文件的数据的位置的信息。
24.根据权利要求18所述的信息处理装置，
其中，所述部分图像信息包括与所述整个图像的尺寸有关的信息。
25.根据权利要求18所述的信息处理装置，
其中，所述部分图像是高效视频编码HEVC中的瓦片(Tile)。
26.根据权利要求18所述的信息处理装置，
其中，所述部分图像信息包括指示图像是否为所述部分图像的视图类型(viewtype)。
27.根据权利要求18所述的信息处理装置，还包括：
解码单元，所述解码单元被配置成对由所述比特流获取单元获取的比特流进行解码。
28.根据权利要求27所述的信息处理装置，还包括：
画面组合处理单元，所述画面组合处理单元被配置成根据由所述解码单元对所述比特流进行解码而获得的所述部分图像的图像数据来生成所述整个图像的图像数据。
29.根据权利要求18所述的信息处理装置，
其中，所述部分图像信息包括指示形成所述整个图像的部分图像的数目的信息、指示所述部分图像的尺寸相等的识别信息以及在所述部分图像的尺寸不相等时指示每个部分图像的位置和尺寸的信息。
30.根据权利要求18所述的信息处理装置，其中，所述部分图像由一个或多个瓦片图像构成。
31.根据权利要求18所述的信息处理装置，其中，所述部分图像信息存储在视点中，所述视点是所述元数据的所述自适应集的描述符型元素。
32.一种信息处理方法，包括：
分析步骤，对元数据进行分析并且获得部分图像信息，所述元数据包括所述部分图像信息，所述部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息并且包括对组进行识别的组识别信息，所述组是所述部分图像所属的组并且是能够显示为一幅图像的所述部分图像的组，所述元数据用于所述整个图像的比特流的供给以及所述部分图像的比特流的供给；
选择步骤，使用所获得的部分图像信息来选择期望的部分图像的比特流；以及
获取步骤，获取所选择的比特流，
其中，所述分析步骤对所述元数据进行分析，在所述元数据中，与多个部分图像有关的部分图像信息被存储于彼此不同的自适应集(AdaptationSet)中，并且所述多个部分图像的比特流被分配至所述彼此不同的自适应集。
33.一种信息处理装置，包括：
分析单元，所述分析单元被配置成对元数据进行分析并且获得部分图像信息，所述元数据包括所述部分图像信息，所述部分图像信息是与每个作为整个图像的一部分的部分图像有关的信息并且包括对组进行识别的组识别信息，所述组是所述部分图像所属的组并且是能够显示为一幅图像的部分图像的组，所述元数据用于所述整个图像的比特流的供给以及所述部分图像的比特流的供给；
选择单元，所述选择单元被配置成使用由所述分析单元获得的所述部分图像信息来选择期望的部分图像的比特流；以及
比特流获取单元，所述比特流获取单元被配置成获取由所述选择单元选择的比特流，
其中，所述分析单元对所述元数据进行分析，在所述元数据中，与多个部分图像有关的部分图像信息被存储于属于一个表示(Representation)的彼此不同的子表示(Sub-Representation)中，并且所述多个部分图像的比特流被分配至所述彼此不同的子表示，所述一个表示(Representation)属于一个自适应集(AdaptationSet)。
34.根据权利要求33所述的信息处理装置，
其中，所述部分图像信息包括指示与所述比特流有关的信息存在于所述子表示(Sub-Representation)之下的信息。
CN201480039820.XA 2013-07-19 2014-07-16 信息处理装置和方法 Expired - Fee Related CN105519130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910098491.0A CN110035300A (zh) 2013-07-19 2014-07-16 信息处理装置和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2013150977 2013-07-19
JP2013-150977 2013-07-19
JP2014002046 2014-01-08
JP2014-002046 2014-01-08
JP2014058762 2014-03-20
JP2014-058762 2014-03-20
PCT/JP2014/068860 WO2015008774A1 (ja) 2013-07-19 2014-07-16 情報処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910098491.0A Division CN110035300A (zh) 2013-07-19 2014-07-16 信息处理装置和方法

Publications (2)

Publication Number Publication Date
CN105519130A CN105519130A (zh) 2016-04-20
CN105519130B true CN105519130B (zh) 2019-03-08

Family

ID=52346223

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480039820.XA Expired - Fee Related CN105519130B (zh) 2013-07-19 2014-07-16 信息处理装置和方法
CN201910098491.0A Withdrawn CN110035300A (zh) 2013-07-19 2014-07-16 信息处理装置和方法
CN201480039821.4A Expired - Fee Related CN105519131B (zh) 2013-07-19 2014-07-16 信息处理装置和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201910098491.0A Withdrawn CN110035300A (zh) 2013-07-19 2014-07-16 信息处理装置和方法
CN201480039821.4A Expired - Fee Related CN105519131B (zh) 2013-07-19 2014-07-16 信息处理装置和方法

Country Status (12)

Country Link
US (3) US10306273B2 (zh)
EP (3) EP3013064B1 (zh)
JP (3) JPWO2015008775A1 (zh)
KR (1) KR102224332B1 (zh)
CN (3) CN105519130B (zh)
AU (2) AU2014291253B2 (zh)
CA (1) CA2916878A1 (zh)
MX (2) MX364810B (zh)
MY (1) MY182338A (zh)
RU (2) RU2018135725A (zh)
SG (1) SG11201600223UA (zh)
WO (2) WO2015008774A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3025525B1 (en) 2013-07-25 2018-12-12 Convida Wireless, LLC End-to-end m2m service layer sessions
EP3562170A1 (en) 2013-07-29 2019-10-30 Koninklijke KPN N.V. Providing tile video streams to a client
EP3062523B1 (en) * 2013-10-22 2019-01-30 Sharp Kabushiki Kaisha Display processing device, distribution device, and metadata
EP3092796B1 (en) * 2014-01-07 2020-06-17 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies
JP6440747B2 (ja) 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
KR102548789B1 (ko) * 2014-08-07 2023-06-29 디빅스, 엘엘씨 독립적으로 인코딩된 타일을 포함한 기본 비트스트림을 보호하는 시스템 및 방법
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
WO2016092759A1 (ja) 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
EP3035326B1 (en) * 2014-12-19 2019-07-17 Alcatel Lucent Encoding, transmission , decoding and displaying of oriented images
CN106537930B (zh) 2015-02-12 2019-09-13 华为技术有限公司 一种用于实施多媒体流业务呈现方法的客户端
WO2016127440A1 (zh) * 2015-02-15 2016-08-18 华为技术有限公司 基于超文本传输协议媒体流的媒体呈现导览方法和相关装置
CN113613009B (zh) * 2015-02-27 2024-06-25 索尼公司 发送装置、发送方法、接收装置和接收方法
US10412422B2 (en) * 2015-04-23 2019-09-10 Lg Electronics Inc. Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal
WO2016204712A1 (en) * 2015-06-16 2016-12-22 Intel IP Corporation Adaptive video content for cellular communication
US20180242028A1 (en) * 2015-08-20 2018-08-23 Koninklijke Kpn N.V. Forming A Tiled Video On The Basis Of Media Streams
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
US10674185B2 (en) 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
EP3404927A4 (en) * 2016-01-13 2018-11-21 Sony Corporation Information processing device and information processing method
US10884723B2 (en) * 2016-01-21 2021-01-05 Facebook, Inc. Modification of software behavior in run time
JP6868783B2 (ja) * 2016-02-22 2021-05-12 ソニーグループ株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
WO2017145757A1 (ja) * 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
US9992517B2 (en) * 2016-02-23 2018-06-05 Comcast Cable Communications, Llc Providing enhanced content based on user interactions
US10390071B2 (en) * 2016-04-16 2019-08-20 Ittiam Systems (P) Ltd. Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients
JP2017199994A (ja) * 2016-04-26 2017-11-02 日本放送協会 映像配信装置及び映像配信方法
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
EP3466083B1 (en) * 2016-05-25 2020-09-16 Koninklijke KPN N.V. Spatially tiled omnidirectional video streaming
CN117336499A (zh) * 2016-05-26 2024-01-02 Vid拓展公司 视窗自适应360度视频传送的方法和设备
US10491963B1 (en) 2016-06-28 2019-11-26 Amazon Technologies, Inc. Use video codecs to deliver images
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
CN109792563B (zh) 2016-10-12 2022-01-25 皇家Kpn公司 基于感兴趣区域处理球面视频数据
CN115632686A (zh) 2016-11-03 2023-01-20 康维达无线有限责任公司 Nr中的帧结构
KR102130429B1 (ko) * 2016-11-07 2020-07-07 한화테크윈 주식회사 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치
WO2018123608A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 画像処理装置および方法
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
WO2018180511A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像生成装置および画像生成方法、並びに画像再生装置および画像再生方法
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
BR112019024597A2 (pt) * 2017-05-30 2020-06-09 Sony Corp aparelho e método de processamento de imagem, programa para fazer com que um computador execute processamento, e, aparelho e método de geração de arquivo
US10893256B2 (en) * 2017-06-26 2021-01-12 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
JP7396047B2 (ja) * 2018-01-12 2023-12-12 ソニーグループ株式会社 情報処理装置および方法
JP7246855B2 (ja) 2018-02-16 2023-03-28 キヤノン株式会社 撮像装置、記録装置及び表示制御装置
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019199024A1 (ko) * 2018-04-10 2019-10-17 엘지전자 주식회사 360 영상 데이터의 서브픽처 기반 처리 방법 및 그 장치
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
WO2020261690A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
EP3996376A4 (en) * 2019-07-03 2023-08-09 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, REPRODUCTION PROCESSING DEVICE AND REPRODUCTION PROCESSING METHOD
CN110381331A (zh) * 2019-07-23 2019-10-25 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、航拍设备及存储介质
CN112215744A (zh) * 2020-02-08 2021-01-12 朱明华 基于云平台的图像数据处理方法、装置及系统
CN113824958A (zh) * 2020-06-18 2021-12-21 中兴通讯股份有限公司 视频分块方法、传输方法、服务器、适配器和存储介质
US11276206B2 (en) 2020-06-25 2022-03-15 Facebook Technologies, Llc Augmented reality effect resource sharing
US11888913B2 (en) 2021-04-28 2024-01-30 Lemon Inc. External stream representation properties

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389021A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 视频编解码方法及装置
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery
WO2013063094A1 (en) * 2011-10-24 2013-05-02 Qualcomm Incorporated Grouping of tiles for video coding

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532332B2 (ja) * 1995-11-10 2004-05-31 パイオニア株式会社 画像情報再生装置
DE60119660T2 (de) * 2000-10-10 2007-02-22 Koninklijke Philips Electronics N.V. Verfahren zur Verarbeitung von Videodateien
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
JP4443181B2 (ja) * 2003-10-15 2010-03-31 株式会社日立製作所 コミュニケーションシステム及び方法
JP5239423B2 (ja) * 2008-03-17 2013-07-17 株式会社リコー 情報処理装置，情報処理方法，プログラム，および記録媒体
JP4539754B2 (ja) * 2008-04-11 2010-09-08 ソニー株式会社 情報処理装置及び情報処理方法
CN102177718B (zh) * 2008-10-07 2014-03-12 艾利森电话股份有限公司 一种用于产生多视图媒体数据的方法及设备
JP5222227B2 (ja) * 2009-05-22 2013-06-26 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP5037574B2 (ja) * 2009-07-28 2012-09-26 株式会社ソニー・コンピュータエンタテインメント 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、および画像処理方法
DK2526671T3 (en) * 2010-01-18 2017-02-27 ERICSSON TELEFON AB L M (publ) METHODS AND DEVICES FOR HTTP MEDIA FLOW DISTRIBUTION
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN102130936B (zh) * 2010-08-17 2013-10-09 华为技术有限公司 一种在动态http流传输方案中支持时移回看的方法和装置
KR101206698B1 (ko) 2010-10-06 2012-11-30 한국항공대학교산학협력단 스트리밍 콘텐츠 제공 장치 및 방법
CN102136948B (zh) * 2011-03-15 2014-04-02 华为技术有限公司 用于统计用户体验的方法、终端设备和系统
EP2924990A1 (en) 2011-03-16 2015-09-30 Electronics and Telecommunications Research Institute Apparatus and method for providing streaming content using representations
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9712874B2 (en) 2011-12-12 2017-07-18 Lg Electronics Inc. Device and method for receiving media content
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US9883011B2 (en) * 2012-10-12 2018-01-30 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
WO2014106692A1 (en) * 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
RU2654051C1 (ru) * 2013-01-18 2018-05-16 Кэнон Кабусики Кайся Способ, устройство и компьютерная программа для инкапсуляции сегментированных синхронизированных мультимедийных данных
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
JP2014230055A (ja) 2013-05-22 2014-12-08 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
CN109842613B (zh) 2013-07-12 2021-11-19 佳能株式会社 用于提供和接收媒体数据的方法和装置以及存储介质
ES2907602T3 (es) * 2014-12-31 2022-04-25 Nokia Technologies Oy Predicción entre capas para la codificación y decodificación de vídeo escalable

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389021A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 视频编解码方法及装置
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery
WO2013063094A1 (en) * 2011-10-24 2013-05-02 Qualcomm Incorporated Grouping of tiles for video coding

Also Published As

Publication number Publication date
CN105519130A (zh) 2016-04-20
KR102224332B1 (ko) 2021-03-08
RU2018135725A (ru) 2018-11-21
KR20160034282A (ko) 2016-03-29
US20190191194A1 (en) 2019-06-20
AU2014291253A1 (en) 2016-02-11
CN105519131A (zh) 2016-04-20
WO2015008774A1 (ja) 2015-01-22
MX2019004446A (es) 2019-07-15
AU2014291253B2 (en) 2018-07-05
JPWO2015008775A1 (ja) 2017-03-02
US20160156949A1 (en) 2016-06-02
EP3013065A4 (en) 2016-11-16
US10038922B2 (en) 2018-07-31
RU2671946C2 (ru) 2018-11-08
AU2018241185B2 (en) 2019-08-08
US10306273B2 (en) 2019-05-28
JP6493765B2 (ja) 2019-04-03
AU2018241185A1 (en) 2018-11-01
RU2016100862A (ru) 2017-07-17
EP3461142B1 (en) 2020-12-30
JPWO2015008774A1 (ja) 2017-03-02
EP3013065B1 (en) 2019-10-16
US20160156943A1 (en) 2016-06-02
JP2019088023A (ja) 2019-06-06
WO2015008775A1 (ja) 2015-01-22
EP3013064A1 (en) 2016-04-27
CN110035300A (zh) 2019-07-19
CA2916878A1 (en) 2015-01-22
EP3013065A1 (en) 2016-04-27
EP3461142A1 (en) 2019-03-27
CN105519131B (zh) 2019-05-03
MX364810B (es) 2019-05-07
EP3013064B1 (en) 2019-03-13
MY182338A (en) 2021-01-20
MX2016000335A (es) 2016-05-05
JP6658931B2 (ja) 2020-03-04
SG11201600223UA (en) 2016-02-26
EP3013064A4 (en) 2016-11-16

Similar Documents

Publication Publication Date Title
CN105519130B (zh) 信息处理装置和方法
US10187648B2 (en) Information processing device and method
CN105122828B (zh) 信息处理装置、内容请求方法以及计算机程序
JP6508206B2 (ja) 情報処理装置および方法
JP6481205B2 (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190308