CN105379256B - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN105379256B
CN105379256B CN201480040438.0A CN201480040438A CN105379256B CN 105379256 B CN105379256 B CN 105379256B CN 201480040438 A CN201480040438 A CN 201480040438A CN 105379256 B CN105379256 B CN 105379256B
Authority
CN
China
Prior art keywords
information
file
group
images
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480040438.0A
Other languages
English (en)
Other versions
CN105379256A (zh
Inventor
平林光浩
服部忍
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201910816408.9A priority Critical patent/CN110460858B/zh
Publication of CN105379256A publication Critical patent/CN105379256A/zh
Application granted granted Critical
Publication of CN105379256B publication Critical patent/CN105379256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Facsimiles In General (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本公开内容涉及使得解码所需的性能能够被更准确地理解的信息处理装置和信息处理方法。所述信息处理装置：生成MP4文件格式的文件，并且将对整个图像中能够被独立解码的多个部分图像进行分组的信息存储在moov中，并且将编码的部分图像存储在mdat中；并且存储所生成的文件。本发明可以应用于例如信息处理装置，如图像编码装置或图像解码装置。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和信息处理方法，并且更特别地涉及能够更准确地识别解码所需的性能的信息处理装置和信息处理方法。
背景技术
近年来，以与MPEG-4第10部分(高级视频编码，在下文中被描述为“AVC”)的编码效率相比而进一步提高编码效率为目的，作为国际电信联盟电信标准化部(ITU-T)和国际标准化组织/国际电工技术委员会(ISO/IEC)的联合标准化机构的联合协作小组——视频编码(JCTVC)已经发展成对被称为高效视频编码(HEVC)的编码方案的标准化(参见例如非专利文献1)。
HEVC能够仅对需要由应用通过利用图块(Tile)结构进行解码的区域进行解码。为了指示图块区域能够被独立解码，在HEVC的第二版本和之后的版本(包括MV-HEVC、SHVC、Range Ext等)中，这由运动约束图块集合SEI来支持。
附带地，作为利用超文本传输协议(HTTP)的内容分发技术，存在运动图片专家组——通过HTTP的动态自适应流(MPEG-DASH)(参见例如非专利文献2)。利用MPEG-DASH，使用编码方案例如上述的HEVC所编码的图像数据的位流在被形成为预定文件格式例如MP4文件格式之后被分发。
引文列表
非专利文献
非专利文献1：Benjamin Bross，Woo-Jin Han，Jens-Rainer Ohm，GaryJ.Sullivan，Ye-Kui Wang，Thomas Wiegand，“高效视频编码(HEVC)文本规范草案10(针对FDIS&Last Call)”,ITU-T SG 16WP3和ISO/IEC JTC 1/SC 29/WG 11第十二次会议：日内瓦，2013年1月14-23日，JCTVC-L1003_v34，关于视频编码的联合协作小组(JCT-VC)
非专利文献2：MPEG-DASH(通过HTTP的动态自适应流)(URL:http:// mpeg.chiariglione.org/standards/mpeg-dash/media-present ation-description- and-segment-formats/text-isoiec-23009-12012-dam-1)
发明内容
技术问题
然而，以位流和文件格式二者的形式的仅整个流中的值或层(Layer)的单元中的值被定义为用作用于确定解码器是否能够对流或者与缓冲器(Buffer)的容量有关的信息进行解码的参考的等级(Level)。
因而，还在用于对整个图像中的仅一部分进行解码的应用中，采用在对整个画面进行解码的情况下的负荷来确定解码是否可能，其可能涉及需要具有不必要高的等级(Level)的解码器的风险。另外，还存在能够被分配的应用可能被不必要地限制的风险。
考虑这样的情形而得到了本公开内容，并且本公开内容意在能够更准确地识别解码所需的性能。
针对问题的解决方案
根据本技术的方面，提供了一种信息处理装置，包括：文件生成单元，该文件生成单元被配置成生成MP4文件格式的文件，在该文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中；以及存储单元，该存储单元被配置成存储由文件生成单元生成的文件。
用于对多个部分图像进行分组的信息可以包括：指示通过对多个部分图像进行分组所形成的组的ID的信息。
用于对多个部分图像进行分组的信息可以包括：指示与通过对多个部分图像进行分组所形成的组有关的多个部分图像的各自的ID的信息。
用于对多个部分图像进行分组的信息可以使用moov中的VisualSampleGroupEntry来定义。
由文件生成单元生成的文件可以包括：指示构成部分图像的多个NAL单元的相关信息。
相关信息可以包括：指示与NAL单元中的每个NAL单元相关的组的组信息。
相关信息可以包括：指示多个NAL单元的数目的信息。
相关信息可以包括：指定部分图像中的第一NAL单元的信息。
部分图像可以是高效视频编码(HEVC)中的图块。
部分图像可以包括多个NAL单元。
部分图像可以被存储在文件中的第一轨道中，并且整个图像中能够被独立解码的另外的部分图像可以被存储在除第一轨道之外的轨道中。
还可以包括发送单元，该发送单元被配置成将由存储单元存储的文件发送至另外的装置。
根据本技术的方面，提供了一种信息处理方法，包括：生成MP4文件格式的文件，在该文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中；以及存储所生成的文件。
根据本技术的另外的方面，提供了一种信息处理装置，包括：文件再现单元，该文件再现单元被配置成再现MP4文件格式的文件，在该文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中。
用于对多个部分图像进行分组的信息可以包括：指示通过对多个部分图像进行分组所形成的组的ID的信息。
用于对多个部分图像进行分组的信息可以包括：指示与通过对多个部分图像进行分组所形成的组有关的多个部分图像的各自的ID的信息。
用于对多个部分图像进行分组的信息可以使用moov中的VisualSampleGroupEntry来定义。
文件可以包括：moov中的指示构成部分图像的多个NAL单元的相关信息。
相关信息可以包括：指示与NAL单元中的每个NAL单元相关的组的组信息。
相关信息可以包括：指示多个NAL单元的数目的信息。
相关信息可以包括：指定部分图像中的第一NAL单元的信息。
部分图像可以是高效视频编码(HEVC)中的图块。
部分图像可以包括多个NAL单元。
部分图像可以被存储在文件中的第一轨道中，并且整个图像中能够被独立解码的另外的部分图像可以被存储在除第一轨道之外的轨道中。
还可以包括接收单元，该接收单元被配置成接收文件。文件再现单元可以对由接收单元接收的文件进行再现。
在文件中，指示整个图像中的部分图像的位置的信息、指示部分图像的尺寸的信息以及用于对多个部分图像进行分组的信息可以被存储在VisualSampleGroupEntry中。文件再现单元可以基于指示整个图像中的部分图像的位置的信息和指示部分图像的尺寸的信息来选择期望再现的区域，并且文件再现单元能够基于用于对多个部分图像进行分组的信息来获取与期望再现的区域对应的部分图像的数据并且生成位流。
在文件中，指示整个图像中的部分图像的位置的信息、指示部分图像的尺寸的信息以及用于对多个部分图像进行分组的信息可以被存储在TileRegionGroupEntry中。文件再现单元可以基于指示整个图像中的部分图像的位置的信息和指示部分图像的尺寸的信息来选择期望再现的区域，文件再现单元可以基于用于对多个部分图像进行分组的信息来获取与所选择的期望再现的区域对应的多个轨道，并且文件再现单元可以生成与所获取的多个轨道对应的部分图像的位流。
还可以包括解码单元，该解码单元被配置成对由文件生成单元生成并且再现的部分图像的位流进行解码。
根据本技术的另一方面，提供了一种信息处理方法，包括：对MP4文件格式的文件进行再现，在该文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中。
在本技术的方面中，生成MP4文件格式的文件，并且存储所生成的文件，在该文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中。
在本技术的另一方面中，对MP4文件格式的文件进行再现，在该文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中。
本发明的有益效果
根据本公开内容，可以对图像进行编码和解码。特别地，可以更准确地识别解码所需的性能。
附图说明
[图1]图1是用于说明用于执行部分显示的应用的示例的示图。
[图2]图2是用于说明用于执行部分显示的应用的另一示例的示图。
[图3]图3是用于说明子样本的定义的示例的示图。
[图4]图4是用于说明MP4文件格式的概要的示图。
[图5]图5是用于说明MP4文件格式的概要的示图。
[图6]图6是用于说明MP4文件格式的概要的示图。
[图7]图7是示出样本表盒的扩展示例的示图。
[图8]图8是示出子样本提示信息盒的示例的示图。
[图9]图9是示出独立的语义的示例的示图。
[图10]图10是示出子样本的组的示例的示图。
[图11]图11是示出子样本提示信息盒的另一示例的示图。
[图12]图12是示出子样本提示信息盒的另一示例的示图。
[图13]图13是示出子样本提示信息盒的又一示例的示图。
[图14]图14是用于说明MP4文件格式的概要的示图。
[图15]图15是用于说明MP4文件格式的概要的示图。
[图16]图16是示出样本表盒的扩展示例的示图。
[图17]图17是示出视觉样本组入口的扩展示例的示图。
[图18]图18是示出子样本索引的示例的示图。
[图19]图19是示出视觉样本组入口的另一扩展示例的示图。
[图20]图20是示出视觉样本组入口的又一扩展示例的示图。
[图21]图21是示出mcts的示例的框图。
[图22]图22是示出MCTS SEI的语义的示例的示图。
[图23]图23是示出MP4文件格式的扩展示例的示图。
[图24]图24是示出视觉样本组入口的扩展示例的示图。
[图25]图25是示出视觉样本组入口的另一扩展示例的示图。
[图26]图26是示出视觉样本组入口的又一扩展入口的示图。
[图27]图27是用于说明图块图像的MP4文件的配置示例的示图。
[图28]图28是用于说明HEVC图块解码器配置记录的示图。
[图29]图29是示出时间MCTS SEI的语义的示例的示图。
[图30]图30是用于说明HEVC图块解码器配置记录的示图。
[图31]图31是用于说明HEVC图块解码器配置记录的示图。
[图32]图32是用于说明HEVC图块解码器配置记录的示图。
[图33]图33是用于说明HEVC图块解码器配置记录的示图。
[图34]图34是用于说明HEVC图块解码器配置记录的示图。
[图35]图35是用于说明HEVC图块解码器配置记录的示图。
[图36]图36是用于说明图块图像的MP4文件的配置示例的示图。
[图37]图37是用于说明HEVC图块扩展盒的示图。
[图38]图38是用于说明图块图像的MP4文件的配置示例的示图。
[图39]图39是示出图像编码装置的主要部件的示例的框图。
[图40]图40是示出图像解码装置的主要部件的示例的框图。
[图41]图41是用于说明图像编码处理的流程的示例的流程图。
[图42]图42是用于说明图像解码处理的流程的示例的流程图。
[图43]图43是用于说明确定再现是否可能的处理的流程的示例的流程图。
[图44]图44是用于说明再现处理的流程的示例的流程图。
[图45]图45是用于说明再现处理的流程的示例的流程图。
[图46]图46是用于说明再现处理的流程的示例的流程图。
[图47]图47是用于说明再现处理的流程的示例的流程图。
[图48]图48是用于说明再现处理的流程的示例的流程图。
[图49]图49是示出计算机的主要部件的示例的框图。
具体实施方式
下面将按照以下顺序来描述用于实现本公开内容的实施方式(下文中称为“实施方式”)：
1.第一实施方式(子样本的提示信息)
2.第二实施方式(MP4文件)
3.第三实施方式(图像编码装置)
4.第四实施方式(图像解码装置)
5.第五实施方式(计算机)
<1.第一实施方式>
<图像编码的标准化的流程>
近年来，下述装置已经被扩展：该装置以信息的高效传输和累积为目的来数字地处理图像信息，在数字地处理图像信息时通过利用特定于图像信息的冗余并且采用用于通过正交变换例如离散余弦变换和运动补偿进行压缩的编码方案来对图像执行压缩编码。该编码方案包括例如运动图片专家组(MPEG)。
特别地，被定义为通用图像编码方案的MPEG2(ISO/IEC 13818-2)是支持交错扫描图像和顺序扫描图像二者的标准，并且是支持标准分辨率图像和高分辨率图像二者的标准。例如，MPEG2当前广泛用于宽范围的意在专业使用和消费者使用的应用中。在如果例如图像是具有720×480像素的标准分辨率的交错扫描图像时，使用MPEG2压缩方案能够赋予4Mbps至8Mbps的编码量(位率)。另外，在如果例如通信是具有1920×1088像素的高分辨率的交错扫描图像时，使用MPEG2压缩方案能够赋予18Mbps至22Mbps的编码量(位率)。通过这种方式，可以实现高压缩率和良好的图像品质。
虽然MPEG2意在主要适用于广播的高图像品质编码，但是MPEG2不支持具有较低编码量(位率)即比MPEG1高的压缩率的编码方案。预期的是，未来将存在对于根据移动终端的扩展的这样的编码方案的日益增长的需求，并且MPEG4编码方案被标准化以解决该问题。关于图像编码方案，标准在1998年12月被批准为ISO/IEC 14496-2的国际标准。
另外，近年来，初始地，以针对电话会议的图像编码为目的，已经发展了H.26L的标准(国际电信联盟电信标准化部(ITU-T))Q6/16VCEG(视频编码专家组))。已知的是，虽然与相关技术中的编码方案例如MPEG2和MPEG4相比，H.26L需要更多针对编码和解码的操作量，但是H.26L能够实现更高的编码效率。另外，目前，作为针对MPEG4的活动的一部分，用于在引入H.26L中不支持的功能的同时实现基于H.26L的更高编码效率的标准已经被执行为高级压缩视频编码的联合模型。
作为针对标准化的日程，该基于H.26L的更高编码效率在2003年3月被国际性地标准化为H.264和MPEG-4第10部分(高级视频编码，下文中简称为“AVC”)。
另外，作为该H.264/AVC的扩展，编码工具的标准化例如专业使用所需的RGB 4:2:2和4:4:4以及对包括8×8DCT和已经在MPEG-2中指定的量化矩阵的保真范围扩展(FRExt)的标准化在2005年2月完成。通过这种方式，实现了使用H.262/AVC的也能够良好地表示包括在电影中的影片噪声的编码方案，并且将该编码方案用在宽范围的应用例如Blu-RayDisc(注册商标)中。
然而，近年来，存在对于以更高的压缩率——例如对作为高视觉图像的四倍的近似4000×2000像素的图像的压缩——进行编码以及在具有有限传输容量的环境例如因特网中对高视觉图像的分发的日益增长的需求。因而，在ITU-T下的上述VCEG持续研究了编码效率的提高。
因此，以与“AVC”的编码效率相比而进一步提高编码效率为目的，作为ITU-T和国际标准化组织/国际电工技术委员会(ISO/IEC)的联合标准化机构的联合协作小组——视频编码(JCTVC)正在发展成被称为高效视频编码(HEVC)的编码方案的标准化。关于HEVC标准，作为初稿规范的委员会初稿在2013年1月发布(参见例如非专利文献1)。
<图块结构和层的定义>
HEVC能够仅对需要由应用通过利用图块(Tile)结构进行解码的区域进行解码。为了指示图块区域能够被独立解码，在HEVC的第二版本和之后的版本(包括MV-HEVC、SHVC、Range Ext等)中，这由运动约束图块集合SEI来支持。
<DASH>
附带地，作为利用超文本传输协议(HTTP)的内容分发技术，存在运动图片专家组——通过HTTP的动态自适应流(MPEG-DASH)(参见例如非专利文献2)。利用MPEG-DASH，使用编码方案例如上述的HEVC进行编码的图像数据的位流在被形成为例如MP4的预定文件格式之后被分发。
然而，在例如DASH的内容分发中，仅采用对整个图像的再现(解码)，并且不采用对作为整个图像的一部分而不是整个图像的部分图像的再现(解码)。
更具体地，仅整个流中的值或层(Layer)的单元中的值——即针对整个图像的值——被定义为等级(Level)，该等级用作用于确定解码器是否能够对以例如HEVC的编码方案和例如MP4的文件格式的流和与缓冲器(Buffer)容量有关的信息进行解码的参考，并且不存在用于再现仅部分图像的信息。
因而，例如，即使当通过利用在例如上述的HEVC的编码方案中支持的图块结构来对仅部分图像(部分图块)进行解码(即，仅再现部分图像)时，采用在对整个画面进行解码的情况下的负荷来确定解码是否可能，这可能涉及需要具有不必要更高的等级(Level)的解码器的风险。另外，还存在能够被分配的应用可能被不必要地限制的风险。
<应用示例>
用于再现部分图像的应用的示例包括例如以下内容。
在其中服务器将图像分发至终端的系统中采用如例如图1中所示的应用，在显示区域被切换时一个画面被分成多个块并且进行分发。另外，如图2中所示，采用用于选择要显示(要分发)的部分区域以选择图像的长宽比和分辨率的应用。
在图1中的应用的情况下，整个图像能够被分成以图块(Tile)为单位的多个块，并且在终端处，从整个图像中剪出包括一个或多个图块的部分图像并且对其进行显示。通过例如终端的性能(处理容量或显示的尺寸(显示分辨率))等来确定能够被显示的部分图像的尺寸(图块的数目)。另外，能够由用户等来指定要在整个图像中显示的部分图像的位置。因而，能够在终端处显示在整个图像中的期望位置处的部分图像。也就是说，终端的用户能够聚焦在整个图像中的期望部分上。
在图2中的应用的情况下，虽然图2中的应用与图1中的应用基本上相同，但是图块被设置成使得能够选择要显示的图像的长宽比或分辨率，并且每个图块的尺寸不被固定。以与图1中的情况类似的方式，在终端处，根据来自用户的指示等从整个图像中剪出包括一个或多个图块的部分图像并且对其进行显示。以此方式，仅通过选择要显示的图块，可以使要显示的图像的分辨率为HD，使尺寸为影院尺寸或扩展尺寸。
通过例如终端的性能(处理容量或显示的尺寸(显示分辨率))等来确定能够被显示的分辨率。
由于即使在当对能够被独立解码的部分图像进行解码时，在相关技术中不采用由用户等指定的根据终端的性能的对部分图像的这样的自适应提供(再现)等，所以采用在对整个画面进行解码的情况下的负荷来确定解码是否可能，其可能涉及需要具有不必要高的等级(Level)的解码器的风险。另外，还存在能够被分配的应用可能被不必要地限制的风险。
<子样本的提示信息的提供>
因而，生成包括提示信息的子样本信息，该提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考，生成包括图像数据的编码数据的文件，并且所生成的子样本信息被布置在文件中的编码数据的管理信息中。
通过这种方式，终端能够根据子样本信息(提示信息)来识别用于对部分区域进行解码所需的性能并且能够更准确地确定终端的解码器是否能够执行对部分区域(子样本)的解码处理。也就是说，可以更准确地识别解码所需的性能。因而可以选择具有更适于图像数据的性能的解码器。通过这种方式，可以抑制具有不必要高水平(水平)的解码器被应用于对图像数据的解码负荷的情况的发生。另外，可以防止能够被分配的应用被不必要地限制。
另外，将部分区域(子样本)的编码数据(位流)的头部信息从整个图像的信息更新为关于部分区域(子样本)的信息。用于更新的信息被包括在文件中并且被发送。通过这种方式，终端能够将位流的头部信息更新为关于部分区域(子样本)的信息并且能够将该信息传递至解码器。因而，解码器能够基于头部信息来更准确地确定解码器是否能够对位流进行解码。
<编码方案和文件格式>
下面将描述在本技术被应用于编码和解码方案为HEVC并且文件格式为MP4的情况的示例。
<访问单元>
在以下描述中，假定MP4的样本是HEVC的访问单元(AU)。另外，假定AU包括多个图块(Tile)。在样本表(Sample Table)中，以样本(Sample)为单位来执行管理。
另外，子样本是样本的构成要素，并且例如如图3中所示，针对每个编解码器(Codec)来定义子样本。虽然即使子样本是这些中的任一个，也能够应用本技术，但是在以下描述中，将使用图块(Tile)是子样本(基于图块的子样本)的示例来描述本技术。
<MP4文件格式>
接着将描述MP4文件格式的概要。如图4的左部分中所示，遵循MPEG-DASH的MP4文件(MP4file)包括ftyp、moov和mdat。在moov中，管理信息被存储在样本表盒(针对每个样本(例如，图片)的Sample Table Box(stbl))中。
另外，如图4中所示，在样本表盒(Sample Table Box)中，提供了样本描述盒(Sample Description Box)、样本时间盒(Time To Sample Box)、样本尺寸盒(SampleSize Box)、样本分块盒(Sample To Chunk Box)、分块偏移盒(Chunk Offset Box)以及子样本信息盒(Subsample Information Box)。
在样本描述盒中，对与编解码器、图像尺寸等有关的信息进行存储。例如，将HEVC的位流的参数集合(视频参数集合(VPS(Video Parameter Set))、序列参数集合(SPS(Sequence Parameter Set))、补充增强信息(SEI(Supplemental EnhancementInformation))、图片参数集合(PPS(Picture Parameter Set))等)作为编解码(Codec)信息存储在样本描述盒内的HEVC样本入口(HEVCsample entry)的HEVC解码器配置记录(HEVCDecoder Configuration Record)中。
另外，在样本时间盒中，对有关样本的时间的信息进行存储。在样本尺寸盒中，对有关样本的尺寸的信息进行存储。在样本分块盒中，对有关样本的数据的位置的信息进行存储。在分块偏移盒中，对有关数据的偏移的信息进行存储。在子样本信息盒中对有关子样本的信息进行存储。
另外，如图4中所示，将HEVC的每个样本(图片)的数据作为AV数据存储在mdat中。
如图5中所示，在样本时间盒、样本尺寸盒、样本分块盒和分块偏移盒中，存储对样本的访问信息，而在子样本信息盒中，存储对子样本的访问信息。对子样本的该访问信息包括每个子样本的尺寸(Subsample Size)和附加信息(Subsample AdditionalInformation)。
例如，如图5中所示，当样本(图片)包括四个子样本(图块)时，在子样本信息盒中，分别存储对图块1(Tile 1)至图块4(Tile 4)的访问信息。
在图6中示出了子样本信息盒的描述示例。如图6中所示，描述了每个图块的尺寸(subsample_size)，并且进一步描述了指示每个图块的位置信息的保留字段(reserved＝0)。
<图块图案>
在本技术中，上述样本表盒被扩展以便能够被应用于下述情况中的所有情况下：图块图案针对所有样本(例如图片)被固定的情况；图块图案在所有样本中可变的情况；以及图块图案在预定时间段例如IDR时间间隔内被固定的情况(图块图案针对每个预定时间段可变的情况)。
<子样本提示信息盒>
例如，在样本表盒中，包括提示信息的子样本信息被提供为样本表盒的新盒，该提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。
在图7中示出了示例。如图7中所示，在样本表盒中，新提供了子样本提示信息盒(Subsample Hint Information Box)11。
子样本提示信息盒11是包括提示信息的子样本信息，该提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考，并且子样本提示信息盒11是与子样本信息盒等不同的盒。通过以此方式将作为用于再现部分图像的信息的子样本提示信息盒11与作为用于再现整个图像的信息的子样本信息盒分离，则在用于显示整个图像的正常再现时能够忽略(不参考)整个盒，从而可以便于控制。
在图7的右部分中示出了子样本提示信息盒11的描述示例。如在该示例中所示的，在子样本提示信息盒11中，对例如提示数据类型(hint_data_type)、样本数(sample_count)和提示数据(hint_data)等信息进行存储。
提示数据类型是指示存储在该盒中的子样本的提示信息的类型的信息。样本数是指示与该信息相关联的连续样本的数目的信息。提示数据是子样本的提示信息。存储针对每种类型的提示数据而不同的信息。
<扩展方法>
接着将描述其中提供了包括被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息的子样本信息的具体示例。
<示例1>
在示例1中，其中存储有解码(decode)所需的信息的子样本提示信息盒11用于能够由如上所述被扩展和定义的子样本信息盒访问的每个子样本(图块)。
子样本和提示信息使用子样本信息盒中的表索引(table-index)来彼此关联。
在图8中示出了子样本提示信息盒11的描述示例。在图8中所示的子样本提示信息盒11-1是示例1的描述示例。
如图8中所示，在子样本提示信息盒11-1中，例如指示信息为针对每个子样本的配置信息的“sspf”被描述为提示数据类型(hint_data_type＝“sspf”)。
另外，在子样本提示信息盒11-1中，例如在方形12中所示的示例中的任一示例的信息被描述为提示信息(hint_data)。例如，如在示例(A-1)中，可以描述指示对子样本(图块)进行解码所需的配置等级(即，指示对子样本的解码处理的负荷的程度的等级)的信息(general_lebel_idc)。另外，例如在示例(A-2)中，还可以描述指示子样本(图块)是否能够独立于其他子样本(图块)被解码的标志信息(独立)。
在图9中示出了该独立(independent)的语义的示例。
另外，例如，如在示例(B-1)中，可以描述当对子样本(图块)的位流的序列参数集合(SPS)进行更新时要被取代的信息(即，子样本的编码数据的头部信息)(nalUnitLengthnalUnit)。另外，例如，如在示例(B-2)中，还可以描述指示子样本(图块)是否能够独立于其他子样本(图块)被解码的标志信息(独立的)。
<示例2>
作为对部分图像的再现(提供)，如在图1和图2中所示的示例中，存在以多个样本为目标的情况。因而，虽然在示例1中，针对每个子样本(图块)来存储提示信息，但是在示例2中，这样的多个子样本被布置成组，并且还提供对组进行解码所需的信息。
例如，在图10中的A的情况下，仅图块3(Tile 3)被提供为包括图块1(Tile 1)至图块5(Tile 5)的整个图像13中的组14-1。另外，在图10中的B的情况下，图块2(Tile 2)至图块4(Tile 4)被提供为组14-2。另外，在图10中的C的情况下，整个图像13中的所有图块(即，图块1(Tile 1)至图块5(Tile 5))被提供为组14-3。
而且在示例2中，其中存储有解码(decode)所需的信息的子样本提示信息盒11用于能够由如上所述被扩展和定义的子样本信息盒访问的每个子样本(图块)。
然而，在示例2的情况下，用于对多个子样本信息进行分组的信息以及对每组图块进行解码所需的信息(通常不需要的信息)分别被提供为子样本提示信息盒11。也就是说，这些信息被存储在彼此不同的盒中。通过这种方式，可以仅使用存储对每个分组的图块组进行解码所需的信息的盒来更新图块组的编码数据的序列参数集合(SPS)。
图11和图12示出了子样本提示信息盒11的描述示例。图11中所示的子样本提示信息盒11-2-1是用于对示例2中的多个子样本进行分组的信息的描述示例。
如图11中所示，在子样本提示信息盒11-2-1中，例如指示信息是子样本的组信息的“ssgp”被描述为提示数据类型(hint_data_type＝“ssgp”)。
另外，在子样本提示信息盒11-2-1中，描述了作为指示子样本所属于的组的识别信息的组索引(group_index)。例如，在图10的示例的情况下，如在方形15中所指示的信息被描述为组索引。
图12中所示的子样本提示信息盒11-2-2是对示例2中的每组图块进行解码所需的信息的描述示例。
如在图12中所示，在子样本提示信息盒11-2-2中，例如，指示信息是对每个图块组进行解码所需的信息的“sgpf”(hint_data_type＝“sgpf”)被描述为提示数据类型。
另外，在子样本提示信息盒11-2-2中，例如，如在方形12中所示的示例中的任一示例的信息被描述为提示信息(hint_data)。也就是说，在该情况下，指示对子样本的组和子样本的组的编码数据的头部信息的解码处理的负荷的程度的等级能够被描述为子样本信息。
应当注意的是，能够存储运动约束的图块集合ID(运动约束的图块集合ID)来取代独立(independent)。
<示例3>
在示例2的情况下，虽然需要多个子样本提示信息盒11，但是在示例3中，这些盒被一起置于一个盒中。在示例3中，针对每组子样本(图块)来提供子样本提示信息盒11，并且在子样本提示信息盒11中创建子样本的索引表。
在图13中示出了子样本提示信息盒11的描述示例。图13中所示的子样本提示信息盒11-3是示例3的描述示例。
如在图13中所示，在子样本提示信息盒11-3中，例如，指示信息是针对每组子样本的配置信息被描述为提示数据类型(hint_data_type＝“sgpf”)。
另外，在子样本提示信息盒11-3中，例如，如在方形12中所示的示例中的任一示例被描述为提示信息(hint_data)。
另外，在子样本提示信息盒11-3中，描述了作为指示子样本属于该组的识别信息的子样本索引(subsample_index)。例如，在图10的示例的情况下，如在方形16中所指示的信息被描述为该子样本索引。
应当注意的是，入口数(entry_count)指示提示信息在序列内改变的次数，并且样本数(sample_count)指示相同提示信息在多少个样本(图片)之间持续。
也就是说，在子样本提示信息盒11-13中，属于组的子样本的识别信息和组的提示信息能够被包括作为子样本信息。另外，作为组的提示信息，能够包括指示对组或组的编码数据的头部信息的解码处理的负荷的程度的等级。
<样本组描述盒和样本组盒的扩展>
虽然在以上描述中，已经描述了其中提供了样本提示信息盒11的示例，但是本技术不限于该方法，在本技术中将包括提示信息的子样本信息包括在文件中，提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。例如，通过扩展MP4文件格式的样本组描述盒和样本组盒，能够将包括提示信息的子样本信息包括在文件中，提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。
如图14中所示，在MP4文件的样本表盒中，能够提供样本组描述盒(Sample GroupDescription Box)21和样本组盒(Sample To Group Box)22。
如图15中所示，在样本组描述盒21中，除样本表的基本信息之外的信息——例如与编解码(codec)有关的信息和访问信息——被存储为视觉样本组入口(VisualSampleGroupEntry)23。
在样本组盒22中,将视觉样本组入口23与各个样本相关联的信息被存储。
通过这种方式，可以将在针对每个样本被描述时将是冗余的信息置于一处，使得可以减少信息量。
<示例4>
在示例4中，使用该样本组描述盒21和样本组盒22将包括提示信息的子样本信息包括在文件中，提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。
在图16中示出了示例。图16中所示的子样本提示信息盒11-4是示例3的描述示例。在示例4中，在这些描述中，提示数据类型、包围在下侧处的方形中的包括提示数据的信息作为视觉样本组入口23被存储在样本组描述盒21中。另外，在子样本提示信息盒11-4中，由上侧中的包括入口数的方形所包围的信息作为将视觉样本组入口23与样本相关联的信息被存储在样本组盒22中。
也就是说，在该示例的情况下，可以通过仅存储要利用的图案来执行来自样本组盒22的索引参考。另外，可以压缩提示数据的表，使得可以减少信息量。
应当注意的是，虽然在以上描述中已经描述了将示例4的方法应用于示例3的子样本提示信息盒的信息的情况，但是示例4的方法还能够应用于示例1和示例2中的子样本提示信息盒的信息。也就是说，在示例1和示例2中描述的子样本提示信息盒的信息还能够以与上述示例3的情况类似的方式被存储在样本组描述盒21和样本组盒22中。
<入口示例1>
在以与图10的示例中的组类似的方式构成入口的情况下，图17的视觉样本组入口23-1指示被扩展成存储子样本的配置信息的视觉样本组入口23的示例(SubSampleProfileInformation Entry扩展VisualSampleGroupEntry(“sspi”))。在该视觉样本组入口中，针对每个入口来设置提示信息(hint_data)以及与入口对应的组的识别信息(GroupID)。在该情况下，如图17中所示，例如，如在方形12中所示的示例中的任一示例的信息被描述为该提示信息(hint_data)。
另外，在该情况下，作为属于每个入口的子样本(图块)的识别信息的子样本索引在方形31内的示例中被列出。
<入口示例2>
在图18中示出了与图10中的那些不同的入口的示例。在图18的示例的情况下，子样本(图块)分别被设置为入口(组)。也就是说，在图18中的A的情况下，图块1(Tile 1)被提供为入口14-4，在图18中的B的情况下，图块2(Tile 2)被提供为入口14-5，并且在图18中的C的情况下，图块3(Tile 3)被提供为入口14-6。虽然未示出，但是以相似的方式，图块4(Tile 4)和图块5(Tile 5)分别被提供为不同入口。
如在图18的示例中，当多个子样本(图块)未被形成未组时，换言之，当子样本(图块)分别被设置为入口时，被扩展成存储子样本的配置信息的视觉样本组入口23(SubSampleProfileInformationEntry扩展VisualSampleGroupEntry(“sspi”))如图19的示例中所示。
在该情况下，如在图19中的视觉样本组入口23-2中，例如，如在方形12中所示的示例中的任一示例的信息被描述为针对每个入口的提示信息(hint_data)。另外，作为属于每个入口的子样本(图块)的识别信息的子样本索引在方形32中的示例中被列出。也就是说，在该情况下，一个子样本索引被分配至每个入口。
<视觉样本组入口的其他示例>
虽然在以上描述中已经描述了如在图20中的视觉样本组入口23-2中的情况，子样本索引(subsample_index)包括在视觉样本组入口中，但是例如还可以将指示子样本(图块)能够独立于其他子样本(图块)被解码的标志信息(独立的)或如下所述的例如保留字段(reserved＝0)的信息与针对每个子样本的子样本索引一起进行存储。
unsigned int(2)independent
bit(6)reserved＝0；
通过这种方式，由于可以知道每个子样本的依存关系，所以信息能够用作系统执行并行解码等的辅助信息。
另外，虽然在以上描述中已经描述了如在图20中的视觉样本组入口23-2中的情况，如方形12内所示的示例中的任一示例的信息被描述为提示信息(hint_data)，但是还可以进一步描述其他提示信息。例如，还可以存储与分组子样本(图块)的尺寸有关的信息，例如宽度(Width)和高度(height)，或存储与分组的子样本(图块)有关的位置的信息，例如沿水平方向的偏移(H_offset)和沿垂直方向的偏移(V_offset)。
通过存储这样的信息，系统能够容易地获取分组的子样本的尺寸信息，而不计算来自子样本信息盒(subsample information box)的信息。
另外，还可以将作为用于识别在HEVC的位流中能够被独立解码的部分区域的信息的mcts_id描述为提示信息(hint_data)。
在HEVC的MCTS SEI(运动约束的图块集合补充增强信息)中，针对每个矩形集合来设置能够被独立解码的部分区域。例如，当假定图21中的A的左上部分中的阴影区域是能够被独立解码的部分区域时，如在MCTS SEI中的图21中的B中所示，针对每个集合来设置部分区域。应当注意的是，如在图21中的C中所示的示例中，包括在集合中的图块可以与其他集合中的图块交叠。如在例如图21中的D的示例中所示，能够根据每个集合的像素的数目来计算部分区域中的像素数目。
在图22中示出了MCTS SEI的语义的示例。如在图22中所示，各个识别信息(mcts_id)被分配至如图21中所示的部分区域。通过将该识别信息(mcts_id)识别为提示信息(hint_data)，可以容易地将HEVC的部分区域与MP4文件格式的子样本相关联，使得可以容易地更新(例如，取代)例如系统中的序列参数集合(SPS)的头部信息。
<示例5>
附带地，在示例4的情况下，已经描述了视觉样本组入口被扩展并且使用子样本索引来描述属于每个入口的子样本的情况。在该情况下，子样本信息盒的信息被用作对样本中的图块的访问信息。也就是说，在该情况下，有必要对其中要解析MP4文件的层中的子样本的意义进行解读。
在示例5中，方法将被提出为用于访问样本内的图块的方法，其可以是针对这样的方法的替代方法。也就是说，取代子样本信息盒，在视觉样本组入口(Map Group Entry)中描述了构成样本的位流的NAL单元(NAL unit)的配置。例如，对视觉样本组入口进行扩展，并且对HEVC的位流的NAL单元进行分组(HEVCNALUUMapGroupEntry)。
当以此方式对NAL单元进行分组时，不论分组的意义如何，均可以支持在其中要对MP4文件进行解析的层中具有相同处理流程的分组NAL单元。
在图23中示出了示例。如在图23中所示，例如，准备在其中要对样本内的NAL单元(例如，针对每个图块进行分组)进行映射的视觉样本组入口，并且例如，在其中存储有视频相关信息例如提示信息的视觉样本组入口，其中要对样本内的NAL单元进行映射的视觉样本组入口被参考。
视觉样本组入口使用组的识别信息(GroupID)彼此关联。应当注意的是，当NAL单元的映射图案均相同时，则不需要样本组盒。
在图24的左上部分中示出了其中对样本中的NAL单元进行映射的视觉样本组入口(HEVCNALUMapGroupEntry()扩展VisualSampleGroupEntry(“hcnm”))的语义的示例。如图24中所示，在该视觉样本组入口中，设置每个NAL单元(NALunit)所属于的组的识别信息(GroupID)。
例如，如在图24的左下部分中所示，样本内存在五个子样本(图块(Tile))，并且每个子样本以两个NAL单元来构成。在该情况下，NAL单元与GroupID之间的关联(NAL单元的映射图案)如在图24的右侧中所示的示例中那样。因而，样本以10个NAL单元来构成。在图24的左上部分中所示的视觉样本组入口(HEVCNALUMapGroupEntry()扩展VisualSampleGroupEntry(“hcnm”))的NALU_count的语义指示了NAL_unit的数目。另外，如图24的左下部分中所示，可以定义每个图块(Tile)从哪个NAL_unit开始。在该示例中，图块1从NAL 1开始，图块2从NAL 3开始，图块3从NAL 5开始，图块4从NAL 7开始，并且图块5从NAL 9开始。还可以将指示每个图块从哪个NAL_unit开始的这样的信息定义为图24的左上部分中所示的视觉样本组入口(HEVCNALUMapGroupEntry()扩展VisualSampleGroupEntry(“hcnm”))的语义。
在图25中示出了在示例4中描述的其中存储有子样本的配置信息的视觉样本组入口(SubSampleProfileInformationEntry扩展VisualSampleGroupEntry(“sspi”))的示例。在该视觉样本组入口中，针对每个入口来设置提示信息(hint_data)和与入口对应的组的识别信息(GroupID)。
如图25中所示，例如，如在示例1至示例4中所描述的方形12中所示的示例中的任一示例的信息被设置为该提示信息(hint_data)。
然而，在图25中，如在方形12中所示，除示例(A-1)、(A-2)、(B-1)和(B-2)之外的示例(C)被添加为提示信息。在此，对有关分组的子样本(图块)的位置的信息——例如沿水平方向的偏移(H_offset)和沿垂直方向的偏移(V_offset)——进行存储。另外，对有关分组的子样本(图块)的尺寸的信息例如宽度(Width)和高度(height)进行存储。这些与参照图20所描述的提示信息相同。
另外，在组的识别信息(GroupID)中，在其中使用图24的示例所描述的样本内的NAL单元被映射的视觉样本组入口(HEVCNALUMapGroupEntry()扩展VisualSampleGroupEntry(“hcnm”))中设置用于对NAL单元进行映射的组的识别信息(GroupID)中的任一个。也就是说，组的该识别信息(GroupID)指示如在图10的示例中的图块的组。
应当注意的是，如在图18的示例中，而且当不对多个子样本(图块)进行分组时，如在图26中所示的示例中，与图25的示例中的信息类似的信息被设置在其中存储有子样本的配置信息的视觉样本组入口(SubSampleProfileInformationEntry扩展VisualSampleGroupEntry(“sspi”))中。在该情况下，组的识别信息(GroupID)指示每个图块。
通过扩展如上所述的视觉样本组入口并且设置NAL单元的配置，当对NAL单元进行分组时，不论分组的意义如何，均可以支持在其中对MP4文件进行解析的层中的具有相同处理流程的分组的NAL单元。
应当注意的是，其中经由MAP GROUP的GROUP被形成为TILE GROUP的BOX可以被定义为不同于SSPI(子样本配置信息)的BOX。也就是说，可以在所扩展的视觉样本组入口中定义与每个入口对应的经由HEVCNALMapEntry的组的识别信息(GroupID)，以存储作为与视觉样本组入口(“sspi”))不同的盒(SubSampleProfileInformationEntry扩展VisualSampleGroupEntry的图块组映射入口(TileGroupMapEntry扩展VisualSampleGroupEntry(“tgpm”))，在视觉样本组入口中存储有定义与入口对应的提示信息(hint_data)的子样本的配置信息。
在图25的示例的情况下，TGPM的语义可以例如被设置如下：
利用这样的语义，在图25的示例的情况下，如下将GroupID分配至TileGroupID：
应当注意的是，在该情况下提示信息的内容(hint_data)与在上述示例中的提示信息的内容(设置如在方形12内所示的示例中的任一示例的信息)相同。
以此方式，通过对与定义提示信息的sspi的盒等不同的盒中的GroupID进行分组，可以减少分组对其他信息的依赖性，使得能够独立于其他信息来执行分组。因而，可以实现更通用(灵活的)的分组，并且以更通用的使用目的来利用GroupID(TileGroupID)的组。例如，可以容易地实现GroupID的分层定义和未分层定义，而无需考虑其他信息例如提示信息的配置。
另外，虽然已经参照图3描述了子样本的标志(flag)定义的示例，但是在上述的示例5的情况下，还可以进一步定义由HEVC NAL Map Group Entry分组的连续NAL单元。例如，如上所述，在flag＝5中，由HEVC NAL Map Group Entry分组的连续NAL单元可以被进一步定义为子样本。
基于5:0:NAL单元的子样本。子样本包含一个或更多个连续NAL单元。子样本被映射至GroupID，在HEVC NAL Map Group Entry中进行分组。
通过这种方式，可以实现基于NAL单元对任意组的字节访问。
<2.第二实施方式>
<MP4文件(1)>
接着将描述MP4文件的示例。图27是用于说明图块图像的MP4文件的配置示例的示图。该MP4文件通过将具有图块(Tile)结构的位流形成为一个文件来获得。如在图27中所示，该MP4文件具有轨道1至轨道5五个轨道。
轨道1具有样本描述盒内的HEVC样本入口(HEVC sample entry)，并且其编解码类型是指示位流是正常HEVC位流的hvc1。该样本入口(Sample Entry)具有其中存储有对HEVC进行解码所需的配置信息的HEVC解码器配置记录(HEVC解码器配置记录)(hvcC box)。例如视频参数集合(Video Parameter Set(VPS))、序列参数集合(Sequence Parameter Set(SPS))和图片参数集合(Picture Parameter Set(PPS))的头部信息也存储在该hvcC盒中。SEI可以被任意地存储在该hvcC盒中。
轨道1具有用于引用轨道2至轨道5中的每一个的图块(片)的提取器(extractor)轨道2至提取器轨道5。提取器(extractor)轨道2引用轨道2的片(Tile 1)，并且提取器(extractor)轨道3引用轨道3的片(Tile 2)。以相似的方式，提取器(extractor)轨道4引用轨道4的片(Tile 3)，并且提取器(extractor)轨道5引用轨道5的片(Tile 4)。
在轨道2至轨道5中，对作为图块1至图块4中的每一个的实际数据的片进行存储。另外，虽然轨道2至轨道5具有样本入口(Sample Entry)，但是由于仅(独立地)存储HEVC图块，所以编解码类型被设置为hvt1。这些轨道2至轨道5的样本入口(Sample Entry)具有仅对HEVC图块进行解码所需的HEVC解码器配置记录(HEVC解码器配置记录)(hvtC box)。应当注意的是，还可以将分组的图块(Tile)存储在一个轨道中。
轨道2至轨道5还具有图块区域组入口(TileRegionGroupEntry)。在轨道2至轨道5的这些图块区域组入口(TileRegionGroupEntry)中，定义了包括下述值的五个参数的值：作为用于识别每个图块的识别信息的GroupID；指示图块的水平方向上的位置(偏移)的H_offset；指示图块的竖直方向上的位置(偏移)的V_offset；指示图块的水平方向上的尺寸(宽度)的H_width；以及指示图块的竖直方向上的尺寸(高度)的V_height。另外，这些可以针对分组的图块(Tile)来定义。
例如，在轨道2(图块1(Tile1))的图块区域组入口(TileRegionGroupEntry)中，定义了GroupID＝1、H_offset＝0、V_offset＝0、H_width＝960和V_height＝540。另外，例如，在轨道3(图块2(Tile2))的图块区域组入口(TileRegionGroupEntry)中，定义了GroupID＝2、H_offset＝960、V_offset＝0、H_width＝960以及V_height＝540。另外，例如，在轨道4(图块3(Tile3))的图块区域组入口(TileRegionGroupEntry)中，定义了GroupID＝3、H_offset＝0、V_offset＝540、H_width＝960以及V_height＝540。另外，例如，在轨道5(图块4(Tile4))的图块区域组入口(TileRegionGroupEntry)中，定义了GroupID＝4、H_offset＝960、V_offset＝540、H_width＝960以及V_height＝540。在该情况下，整个图像(1920×1080)包括四个图块(960×540)，这四个图块包括竖直方向上的两个图块和水平方向上的两个图块。
另外，在轨道2至轨道5中，“prnt＝1”被定义为轨道参考(Track Reference)。这指示这些轨道2至轨道5参考轨道1。也就是说，当使用该轨道参考来再现轨道2至轨道5中任一个(任一轨道)时，轨道1的信息(例如参数集合)被参考。
<HEVC图块解码器配置记录的语义>
其中存储有用于仅对图27中的样本入口(Sample Entry)的HEVC图块进行解码所需的配置信息的HEVC解码器配置记录(HEVC解码器配置记录)(hvtC box)的基本语义被设置如下：
Class HEVCConfigurationBox extends Box(‘hvtc’){
HEVCTileDecoderConfigurationRecord()HEVCTileConfig；
}
<HEVCTileDecoderConfigurationRecord的语义的示例1>
接着将描述HEVCTileDecoderConfigurationRecord的语义的具体示例。图28是用于说明HEVC图块解码器配置记录的示图。示例1中的HEVC图块解码器配置记录被构成为如图28中所示的那样。扩展性地添加配置版本、mcts_tier_flag和mcts_level_idc。
配置版本指示HEVC图块解码器配置记录的版本。在HEVC中，针对相同图像尺寸来定义具有不同位率的两种类型的配置的层。也就是说，两种类型是主要层和高层。mcts_tier_flag是指示该层是哪个层的标志。mcts_level_idc是下述等级，该等级将对部分区域的解码处理的负荷的程度指示为定义了对在时间MCTS SEI(时间运动约束的图块集合补充增强信息)中能够被独立解码的部分区域的解码处理的负荷的程度的解码负荷定义信息。
在此，将描述时间运动约束的图块集合SEI(temporal_motion_constrained_tile_sets SEI)。图29是示出时间MCTS SEI的语义的示例的示图。在图29中所示的时间MCTS SEI的语义中，存储包括mcts_tier_flag、mcts_level_idc、max_mcts_tier_flag和max_mcts_level_id的各种信息。
应当注意的是，除名称之外，时间MCTS SEI与MCTS SEI基本上相同。另外，除名称之外，图28和图29中的mcts_level_idc与图8、图12、图13、图17、图19、图20、图25、图26等中的方形12中的所示的general_level_idc基本上相同。
在图28的示例中，在具有与HEVC编解码配置记录的数据结构相同的数据结构并且存储在temporal_motion_contrained_tile_sets SEI中的参数中，仅设置用于确定对HEVC图块的解码所需的参数，即，mcts_tier_flag和mcts_level_idc。在图28中的HEVCTileDecoderConfigurationRecord中，由于不需要其他项，所以将其他项设置为零。替选地，设置与HEVC解码器配置记录的值相同的值。
也就是说，在该示例1中，在numOfArrays中基本不存储任何项。
<HEVCTileDecoderConfigurationRecord的语义的示例2>
图30是用于说明HEVC图块解码器配置记录的示图。示例2的HEVC图块解码器配置记录被构成为图30中所示的那样。
除下述之外图30的示例2具有与图28的示例1的配置基本上相同的配置：虽然在示例1中，在numOfArrays中基本上不存储任何项，但是在示例2中，在numOfArrays中存储与HEVC图块对应的temporal_motion_constrained_tile_sets SEI。
<HEVCTileDecoderConfigurationRecord的语义的示例3>
图31是用于说明HEVC图块解码器配置记录的示图。示例3的HEVC图块解码器配置记录被构成为图31中所示的那样。
如图31中所示，在示例3中，不像图28和图30中的示例，代替所扩展的HEVC图块解码器配置记录，唯一地指定HEVC图块解码器配置记录的图案。也就是说，在示例3中，除配置版本之外，在存储在tempral_motion_constrained_tile_sets SEI中的参数中，仅作为用于确定对HEVC图块的解码所需的参数的mcts_tier_flag和mcts_level_idc被存储。
<HEVCTileDecoderConfigurationRecord的语义的示例4>
图32是用于说明HEVC图块解码器配置记录的示图。示例4的HEVC图块解码器配置记录被构成为图32中所示。
如图32中所示，在示例4中，除配置版本之外，仅mcts_tier_flag,mcts_level_idc,max_mcts_tier_flag and max_mcts_level_id被存储为用于确定对存储在tempral_motion_constrained_tile_sets SEI中的HEVC图块的解码所需的参数。分别指示cts_tier_flag和mcts_level_idc的最大值的max_mcts_tier_flag和max_mcts_level_id是用于再现其他图块所需的配置信息。也就是说，这些是针对整个流中的最大图块的信息。在随后将描述的图36的示例中，这被存储在另外的盒(hvte box)中。
当在相同流中存在多个图块的情况下图块的尺寸不同时，存在针对每个图块所需的mcts_tier_flag和mcts_level_idc彼此不同的情况。在该情况下，用针对每个图块的mcts_tier_flag和mcts_level_idc来存储作为最大值的max_mcts_tier_flag和max_mcts_level_idc，并且将max_mcts_tier_flag和max_mcts_level_idc用作解码处理的提示信息。
<HEVCTileDecoderConfigurationRecord的语义的示例5>
图33是用于说明HEVC图块解码器配置记录的示图。示例5的HEVC图块解码器配置记录被构成为图33中所示的那样。
如图33中所示，在示例5中，与用于确定对HEVC图块的解码所需的HEVC图块对应的tempral_motion_constrained_tile_sets SEI被存储在nalUnit中。因而，指示类型为SEI的NAL单元类型被存储在NAL_unit_type中。
<HEVCTileDecoderConfigurationRecord的语义的示例6>
图34是用于说明HEVC图块解码器配置记录的示图。示例6的HEVC图块解码器配置记录被构成为图34中所示的那样。
如图34中所示，示例6具有其中图31中的示例3和图33中的示例5被同步的配置。也就是说，示例3中的从配置版本的行至mcts_level_idc的行的一部分以及示例5中的lengthMinusOne的行和之后的行中的一部分被同步。换言之，除配置版本之外，存储作为用于确定对存储在tempral_motion_constrained_tile_sets SEI中的HEVC图块的解码所需的参数的mcts_tier_flag和mcts_level_idc以及与用于确定对HEVC图块的解码所需的HEVC图块对应的tempral_motion_constrained_tile_sets SEI。
<HEVCTileDecoderConfigurationRecord的语义的示例7>
图35是用于说明HEVC图块解码器配置记录的示图。示例7的HEVC图块解码器配置记录被构成为图35中所示的那样。
如图35中所示，示例7具有其中图32中的示例4和图33中的示例5被同步的配置。也就是说，示例4中的从配置版本的行至max_mcts_level_idc的行的一部分以及示例5中的在lengthMinusOne的行和之后的行中的一部分被同步。换言之，除配置版本之外，存储作为用于确定对存储在tempral_motion_constrained_tile_sets SEI中的HEVC图块的解码所需的参数的mcts_tier_flag、mcts_level_idc、max_mcts_tier_flag和max_mcts_level_id以及与用于确定对HEVC图块的解码所需的HEVC图块对应的tempral_motion_constrained_tile_sets SEI。
<MP4文件(2)>
图36是用于说明与图27不同的图块图像的MP4文件的结构的示例的示图。图36中的MP4文件具有与图27中的MP4文件的结构基本上相同的结构，而图36中的MP4文件与图27中的MP4文件的不同在于除hvcCbox之外轨道1的样本入口具有hvte盒。
在图36中的MP4文件中，作为针对图32中描述的整个流中的最大图块的信息的max_mcts_tier_flag和max_mcts_level_id被存储在作为基轨道的轨道1的hvte盒中。
图37是用于说明HEVC图块扩展盒的示图。图37中的A指示图36中的轨道1的样本入口的视觉样本组入口的扩展，并且除HEVConfigurationBox(hvcC box)之外，添加HEVCTileExtensionBox()(hvte box)。图37中的B指示HEVCTileExtensionBox()的语义。如图37的B中所示，存储max_mcts_tier_flag和max_mcts_tier_id。
由于max_mcts_tier_flag和max_mcts_level_id是针对整个流中的最大图块的信息，所以max_mcts_tier_flag和max_mcts_level_id不被存储在图块轨道(轨道2至轨道5)中，而是被存储在作为基轨道的轨道1中。通过这种方式，可以容易地获取用于独立地对任意图块进行解码所需的最大值。
<MP4文件(3)>
图38是用于说明图块图像的MP4文件的结构的示例的示图。除下述之外，在图38中的MP4文件具有与图27中的MP4文件的结构基本上相同的结构：虽然在图27中的MP4文件中用于仅对HEVC文件进行解码所需的配置信息被存储在轨道2至轨道5的样本入口的hvtCbox中，而在图38中的MP4文件中，不仅tempral_motion_constrained_tile_sets SEI被存储在hvtCbox中，而且如在图30、图33、图34和图35中所示的示例中，用于仅对HEVC文件进行解码所需的VPS、SPS和PPS也被存储在hvtCbox中。
通过这种方式，当对图块2至图块5中任一个进行再现时，不必访问作为基轨道的轨道1的信息以获得其参数集合。
<3.第三实施方式>
<图像编码装置>
接着将描述用于实现如上所述的本技术的装置及其方法。图39是示出作为本技术所应用于的图像处理装置的一个方面的图像编码装置的示图。图39中所示的图像编码装置100是用于使用HEVC编码方案对输入图像数据进行编码并且使用MP4文件格式来形成文件的装置。
如在图39中所示，图像编码装置100具有图像编码单元101、子样本信息生成单元102和MP4文件生成单元103。
图像编码单元101将输入图像数据的整个图像分成被称为图块(Tile)的部分图像，将每个图块设置为通过HEVC编码方案所支持的图块(Tile)并且针对每个图块对整个图像的图像数据进行编码。也就是说，生成HEVC编码方案中能够针对每个图块被独立解码的位流(HEVC位流)。
图像编码单元101将所获得HEVC位流提供至MP4文件生成单元103。另外，图像编码单元101将与如何划分整个图像有关的图块(Tile)信息和每个图块的配置信息提供给子样本信息生成单元102。
子样本信息生成单元102使用从图像编码单元101提供的图块信息和配置信息来生成子样本信息(扩展的子样本信息)、子样本信息支持MP4文件格式并且包括图块信息和配置信息，即包括被用作用于对作为在整个图像中能够被独立解码的部分区域的子样本的解码处理的参考的提示信息。子样本信息生成单元102将所生成的扩展子样本信息提供至MP4文件生成单元103。
MP4文件生成单元103将从图像编码单元101提供的HEVC位流形成为使用MP4文件格式的文件，并且将从子样本信息生成单元102提供的扩展的子样本信息存储在包括HEVC位流的文件的用于管理HEVC位流的管理信息中。
此时，MP4文件生成单元103将扩展的子样本信息布置为与上述的管理信息的样本表盒(Sample Table Box)的子样本信息盒(Subsample Information Box)不同的子样本提示信息盒(Subsample Hint Information Box)。
替选地，MP4文件生成单元103将上述管理信息的样本表盒(Sample Table Box)的样本组描述盒(Sample Group Description Box)中的扩展的子样本信息布置为视觉样本组入口(VisualSampleGroupEntry)，并且将指定子样本信息要应用于的样本的信息布置在样本组盒(Sample To Group Box)中。
应当注意的是，子样本信息的内容与第一实施方式中描述的样本中的任一样本相同。例如，在示例5的情况下，由子样本信息生成单元102生成的扩展的子样本信息不仅包括被用作用于对作为在整个图像中能够被独立解码的部分区域的子样本信息的解码处理的参考的提示信息，而且包括用于对NAL单元进行分组的映射组信息(Map Group Entry)。
然后MP4文件生成单元103输出如上所述而生成的MP4文件并且经由网络、记录介质等或信息处理装置等将MP4文件传送至例如解码侧。
通过这种方式，图像编码装置100能够更准确地识别解码所需的性能。
<图像编码处理的流程>
接着将描述由上述图像编码装置100执行的每个处理的流程。将参照图40中的流程图来描述图像编码处理的流程的示例。
当开始图像编码处理时，在步骤S101中，图像编码单元101对图像数据进行编码，使得能够针对每个子样本(图块)对图像数据进行解码。
在步骤S102中，图像编码单元101提取有关图块的信息例如每个图块的图块信息和配置信息。
在步骤S103中，子样本信息生成单元102使用与在步骤S102中提取的图块有关的信息来生成包括图块的提示信息的扩展的子样本信息。
在步骤S104中，MP4文件生成单元103使用扩展的子样本信息来生成MP4文件，使得被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息被包括在moov的样本表盒中。
当步骤S104中的处理结束时，图像编码处理结束。
通过执行如上所述的图像编码处理，图像编码装置100能够更准确地识别解码所需的性能。
<第四实施方式>
<图像解码装置>
接着将描述对如上所述被编码的编码数据的解码。图41是示出作为本技术所应用于的图像处理装置的一个方面的与图像编码装置100对应的图像解码装置的主要部件的框图。图41中所示的图像解码装置200使用与编码方案对应的解码方案对由图像编码装置100生成的编码数据进行解码。也就是说，图像解码装置200从MP4文件中提取HEVC位流，对HEVC位流进行解码，并且输出图像数据。此时，图像解码装置200能够例如通过利用由HEVC支持的图块结构来对包括独立于其他部分的一个或多个图块(Tile)的部分图像进行解码。那时，图像解码装置200能够基于被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息来确定解码是否可能。
如在图41中所示，图像解码装置200具有MP4文件再现单元201、子样本信息处理单元202和图像解码单元203。
MP4文件再现单元201执行确定所输入MP4文件的再现是否可能的处理，执行再现MP4文件的处理并且执行错误处理。MP4文件再现单元201通过利用子样本信息处理单元202来执行这些处理，生成包括一个或多个图块的部分图像(当然，可以使用整个图像)的HEVC位流，并且将HEVC位流提供给图像解码单元203。
子样本信息处理单元202在确定再现是否可能的处理和再现处理期间执行关于子样本信息的处理。应当注意的是，子样本信息的内容与第一实施方式中描述的示例中的任一示例相同。例如，在示例5的情况下，由子样本信息生成单元102生成的扩展的子样本信息不仅包括被用作用于对作为在整个图像中能够被独立解码的部分区域的子样本的解码处理的参考的提示信息，而且包括用于对NAL单元进行分组的映射组信息(Map GroupEntry)。
图像解码单元203对在MP4文件再现单元201中生成的HEVC位流进行解码并且输出图像数据。
通过这种方式，图像解码装置200能够更准确地识别解码所需的性能。
<图像解码处理的流程>
接着将描述由如上所述的图像解码装置200执行的每个处理的流程。首先，将参照图42中的流程图来描述图像解码处理的流程的示例。
当开始图像解码处理时，在步骤S201中，图像解码装置200的MP4文件再现单元201和子样本信息处理单元202确定由用户等指定的部分图像是否能够针对包括在所输入的MP4文件中的HEVC位流进行再现。
在步骤S202中，MP4文件再现单元201基于在步骤S201中的处理结果来确定是否执行再现。当确定执行再现时，处理进行至步骤S203。
在步骤S203中，MP4文件再现单元201和子样本信息处理单元202执行再现处理。
在步骤S204中，图像解码单元203对通过步骤S203中的处理所获得的包括一个或多个图块的部分图像的编码数据进行解码，并且输出包括一个或多个图块的部分图像的图像数据。
当步骤S204中的处理结束时，通信解码处理结束。
另外，在步骤S202中，当确定不执行再现时，处理进行至步骤S205。
在步骤S205中，MP4文件再现单元201执行错误处理，该错误处理是在解码不能正常执行的情况下的预定处理。该错误处理可以为任何处理。例如，解码可以被强制终止(包括中断和暂停)，或者可以使用图像、声音等将警告提交给用户。另外，例如，可以获取具有较低水平的另外的编码流以再次执行解码。另外，例如，可以在允许在解码图像中生成干扰的同时对编码流进行强制解码。
当步骤S205中的处理结束时，图像解码处理结束。
<确定再现是否可能的处理的流程>
接着将参照图43中的流程图来描述在图42中的步骤S201中执行的确定再现是否可能的处理的流程的示例。
当开始确定再现是否可能的处理时，在步骤S221中，MP4文件再现单元201从MP4文件的样本表盒中的样本描述盒的HEVC样本入口获取包括在MP4文件中的HEVC位流的序列参数集合(SPS)。
在步骤S222中，MP4文件再现单元201确定包括在序列参数集合(SPS)中的配置信息是否是与图像解码单元203对应的配置信息。也就是说，MP4文件再现单元201基于包括在序列参数集合(SPS)中的信息来确定图像解码单元203是否能够对包括在MP4文件中的整个图像的HEVC位流进行解码。
如果确定解码是可能的，则处理进行至步骤S223。在步骤S223中，MP4文件再现单元201执行控制，使得执行再现。也就是说，确定执行图42中的步骤S202中的再现。
当步骤S223中的处理结束时，确定再现是否为可能的处理结束，并且处理返回至图42。
另外，在步骤S222中，当确定配置信息与图像解码单元203不对应时，即当确定图像解码单元203不能对包括在MP4文件中的整个图像的HEVC位流进行解码时，处理进行至步骤S224。在步骤S224中，子样本信息处理单元202从MP4文件的样本表盒中获取图块(子样本)的提示信息。
在步骤S225中，子样本信息处理单元202确定包括在步骤S224中获取的提示信息中的配置信息是否是与图像解码单元203对应的配置信息。也就是说，子样本信息处理单元202确定图像解码单元203是否能够对包括在MP4文件中的包括一个或多个图块的部分图像的HEVC位流进行解码。
如果确定解码是可能的，则处理返回至步骤S223。也就是说，还是在该情况下，MP4文件再现单元201执行控制，使得执行再现。
另外，在步骤S225中，当确定配置信息与图像解码单元203不对应时，也就是说，当确定图像解码单元203不能对包括在MP4文件中的部分图像的HEVC位流进行解码时，处理进行至步骤S226。
在步骤S226中，MP4文件再现单元201执行控制，使得如上所述来执行错误处理。
当步骤S226中的处理结束时，确定再现是否为可能的处理结束，并且处理返回至图42。
<再现处理的流程>
接着将参照图44中的流程图来描述图42中的步骤S203中执行的再现处理的流程的示例。
当开始再现处理时，在步骤S241中，MP4文件再现单元201从MP4文件中获取序列参数集合(SPS)和图片参数集合。
在步骤S242中，子样本信息处理单元202从MP4文件中获取要再现的图块的提示信息。
在步骤S243中，MP4文件再现单元201使用在步骤S242中获得的图块的提示信息来更新在步骤S241中获取的序列参数集合(SPS)。例如，当提示信息是方形12中的示例(A-1)或(A-2)时，MP4文件再现单元201使用包括在提示信息中的信息(例如配置等级)来重写序列参数集合(SPS)的信息。另外，例如当提示信息是方形12中的示例(B-1)或(B-2)时，MP4文件再现单元201用序列参数集合(SPS)来取代包括在提示信息中的信息。
在步骤S244中，子样本信息处理单元202从MP4文件中获取要再现的图块的数据。此时，在示例1至示例4的情况下，子样本信息处理单元202参考子样本信息盒来访问构成子样本(图块)的NAL单元的数据，并且获取如在图6中的示例中的数据。另外，在示例5的情况下，子样本信息处理单元202参考NAL单元与GroupID之间的关联(NAL单元的映射图案)(MapGroup Entry)来访问构成子样本(图块)的NAL单元的数据，设置在其中NAL单元被映射在样本中的视觉样本组入口(HEVCNALUMapGroupEntry()扩展VisualSampleGroupEntry(“hcnm”))中并且获取如在图24中的示例中的数据。
在步骤S245中，MP4文件再现单元201使用步骤S244中获得的图块的数据、在步骤S243中更新的序列参数集合等来生成要再现的图块(部分图像)的位流。
当步骤S245中的处理结束时，处理返回至图42。也就是说，对部分图像的所生成的位流进行解码。
通过执行如上所述的每个处理，图像解码装置200能够更准确地识别解码所需的性能。
<再现处理的流程>
接着将参照图45中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S261中，MP4文件再现单元201从视觉样本组入口中获取与图块的位置(H_offset，V_offset)有关的信息以及与图块的尺寸(Width，Height)有关的信息。
在步骤S262中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的图块。
在步骤S263中，子样本信息处理单元202从视觉样本组入口中获取有关与所选择的图块对应的NAL单元(NALU_count，groupID)的映射图案的信息。
在步骤S264中，子样本信息处理单元202基于与在步骤S263中获取的NAL单元的映射图案有关的信息来获取图块的数据。
在步骤S265中，MP4文件再现单元201再现步骤S264中获取的图块的位流。
当步骤S265中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的位流进行解码。
通过执行如上所述的每个处理，图像解码装置200能够更准确地识别解码所需的性能。
<再现处理的流程>
接着将参照图46中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S281中，MP4文件再现单元201从视觉样本组入口获取与图块的位置(H_offset，V_offset)有关的信息和与图块的尺寸(Width，Height)有关的信息。
在步骤S282中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的区域。
在步骤S283中，子样本信息处理单元202从视觉组入口中获取基于与期望再现的区域对应的TileGroupID的多个GroupID。
在步骤S284中，子样本信息处理单元202从视觉样本组入口中获取有关与所选择的多个GroupID的图块对应的NAL单元(NALU_count，groupID)的映射图案的信息。
在步骤S285中，子样本信息处理单元202基于在步骤S284中获取的与NAL单元的映射图案有关的信息来获取每个图块的数据。
在步骤S286中，MP4文件再现单元201对在步骤S285中获取的每个图块的位流进行再现。
当步骤S286中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的位流进行解码。
通过执行如上所述的每个处理，图像解码装置200能够更准确地识别解码所需的性能。
<再现处理的流程>
接着将参照图47中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S301中，MP4文件再现单元201从图块区域组入口中获取与图块的位置(H_offset，V_offset)有关的信息和与图块的尺寸(Width，Height)有关的信息。
在步骤S302中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的图块。
在步骤S303中，子样本信息处理单元202获取与在步骤S302中所选择的图块对应的轨道。
在步骤S304中，MP4文件再现单元201对与在步骤S303中获取的多个轨道对应的图块的位流进行再现。
当步骤S304中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的位流进行解码。
通过执行如上所述的每个处理，图像解码装置200能够更准确地识别解码所需的性能。
<再现处理的流程>
接着将参照图48中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S321中，MP4文件再现单元201从图块区域组入口中获取与图块的位置(H_offset，V_offset)有关的信息和与图块的尺寸(Width，Height)有关的信息。
在步骤S322中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的区域。
在步骤S323中，子样本信息处理单元202从视觉组入口中获取基于与期望再现的区域对应的TileGroupID的多个GroupID。
在步骤S324中，子样本信息处理单元202获取与在步骤S323中所选择的多个图块对应的轨道。
在步骤S325中，MP4文件再现单元201对与在步骤S324中获取的多个轨道对应的多个图块的位流进行再现。
当步骤S324中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的位流进行解码。
通过执行如上所述的每个处理，图像解码装置200能够更准确地识别解码所需的性能。
本技术能够应用于能够对部分图像进行编码或解码的任何图像编码装置和图像解码装置。
另外，本技术能够应用于当经由例如卫星广播、线缆电视、因特网和移动电话的网络介质接收到例如MPEG、H.26x形式的通过正交变换例如离散余弦变换和运动补偿所压缩的图像信息(位流)时所使用的图像编码装置和图像解码装置。另外，本技术能够应用于当在例如光盘、磁盘和闪存的存储介质上执行处理时使用的图像编码装置和图像解码装置。
<5.第五实施方式>
<计算机>
上述一系列处理也可以通过硬件来实现并且也可以通过软件来实现。当通过软件来实现一系列处理时，软件的程序被安装在计算机中。在此，计算机包括嵌入专用硬件中的计算机，例如能够通过安装各种程序来实现各种功能的通用个人计算机。
图49是示出根据程序来执行上述一系列处理的计算机的硬件配置的示例的框图。
在图49中所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902以及随机存取存储器(RAM)903经由总线904来相互连接。
输入和输出接口910还连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入和输出接口910。
输入单元911由例如键盘、鼠标、麦克风、触摸板或输入终端形成。输出单元912由例如显示器、扬声器或输出终端形成。存储单元913由例如硬盘、RAM盘或非易失性存储器形成。通信单元914由例如网络接口形成。驱动器915对例如磁盘、光盘、磁光盘或半导体存储器的可移除介质921进行驱动。
在具有上述配置的计算机中，例如CPU 901通过经由输入和输出接口910和总线904来将存储在存储单元913中的程序加载至RAM 903并且执行该程序来执行上述处理。RAM903还适当地存储CPU 901执行各种处理所必要的数据。
例如，由计算机(CPU 901)执行的程序可以被记录在可移除介质921例如要应用的包装介质中。在该情况下，通过将可移除介质921安装在驱动器915上，程序能够经由输入和输出接口910被安装在存储单元913中。
程序还能够经由有线或无线传输介质——例如局域网、因特网或数字卫星广播——来提供。在该情况下，能够由通信单元914接收程序以将其安装在存储单元913中。
另外，程序还能够被预先安装在ROM 902或者存储单元913中。
由计算机执行的程序可以是按照本说明书中描述的顺序来按时间顺序进行处理的程序或者可以是在必要时刻进行处理，例如并行地或在被调用时进行处理的程序。
在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按照所描述的顺序来按时间顺序执行的处理，而且包括并行地或各自地但并非按时间顺序执行的处理。
在本说明书中，系统意指多个构成元件(设备、模块(部件)等)的集合，并且所有构成元件可以被包括在相同的壳体中或者不被包括在相同的壳体中。因此，容纳在不同壳体中并且经由网络连接的多个设备和其中多个模块被容纳在单个壳体中的单个设备均为系统。
上面被描述为单个设备(或处理单元)的配置可以被划分且配置为多个设备(或处理单元)。相比之下，上面被描述为多个设备(或处理单元)的配置可以被集中并且被配置为单个设备(或处理单元)。除上述配置之外的配置当然可以被添加至设备(或处理单元)的配置。另外，只要配置或操作在整个系统中基本上相同，则某些设备(或处理单元)的配置的一部分可以被包括在其他设备(或其他处理单元)的配置中。
以上已经参照附图描述了本公开内容的优选实施方式，然而，本公开内容当然不限于以上示例。在所附权利要求的范围内，本领域的技术人员可以找到各种变型和修改，并且应当理解的是，它们自然将在本公开内容的技术范围内。
例如，在本技术中，可以实现其中由多个设备经由网络来共享并且联合地处理单个功能的云计算配置。
上述流程图中描述的每个步骤能够由单个设备来执行，并且还能够由多个设备来共享和执行。
当多个处理包括在单个步骤中时，包括在单个步骤中的多个处理能够由单个设备执行并且还可以由多个设备来共享和执行。
根据上述实施方式的图像编码装置和图像解码装置能够应用于各种电子设备，例如在卫星广播、有线广播例如线缆TV或者因特网的交付中以及经由蜂窝通信交付至终端的发送器或接收器、将图像记录在例如光盘、磁盘或闪存的介质中的记录设备、再现来自存储介质的图像的再现设备。
本技术不限于此，并且本技术能够实现为安装在构成系统的一个或更多个设备中的任何配置，例如系统大规模集成化(LSI)形式的处理器、使用多个处理器的模块、使用多个模块的单元、通过将其他功能进一步添加至单元所获得的集合(即，设备的部分配置)等。
在本说明书中，已经描述了其中各种类型的信息被复用在编码流中并且从编码侧被发送至解码侧的示例。然而，发送信息的方法不限于示例。例如，信息可以被发送或记录为与编码位流相关联的不同数据块，而不被复用在编码位流中。在此，术语“相关联”意指包括在位流中的图像(其可以为图像的一部分，例如片或块)，并且与图像对应的信息能够在解码时被链接。也就是说，信息可以沿与图像(位流)不同的传输路径被发送。信息可以被记录在与图像(或位流)不同的记录介质(或者相同记录介质的不同记录区域)中。另外，信息和图像(或位流)可以在例如多个帧、单个帧或帧的一部分的任何单元中被相互关联。
另外地，本技术还可以被配置如下。
(1)一种图像编码装置，包括：
编码单元，该编码单元被配置成对图像数据进行编码；
子样本信息生成单元，该子样本信息生成单元被配置成生成图像数据的图像的子样本信息，该子样本信息包括被用作用于对子样本的解码处理的参考的提示信息，该子样本是能够被独立解码的部分区域；以及
文件生成单元，该文件生成单元被配置成生成包括由编码单元生成的图像数据的编码数据和该编码数据的管理信息的文件，并且将由子样本信息生成单元生成的子样本信息布置在管理信息中。
(2)根据(1)和(3)至(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元生成子样本信息，该子样本信息包括：指示包括在子样本信息中的提示信息的类型的提示数据类型；指示与子样本信息相关联的连续子样本的数目的样本数；以及提示信息。
(3)根据(1)、(2)和(4)至(15)中任一项所述的图像编码装置，
其中，提示信息包括指示对子样本的解码处理的负荷的程度的等级。
(4)根据(1)至(3)和(5)至(15)中任一项所述的图像编码装置，
其中，提示信息包括子样本的编码数据的头部信息。
(5)根据(1)至(4)和(6)至(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元生成包括下述内容的子样本信息：指示包括在子样本信息中的提示信息的类型的提示数据类型；指示与子样本信息相关联的连续样本的数目的样本数；以及子样本所属于的组的识别信息。
(6)根据(1)至(5)和(7)至(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元还生成包括下述内容的子样本信息：指示包括在子样本信息中的提示信息的类型的提示数据类型；指示与子样本信息相关联的连续样本的数目的样本数；以及包括指示对子样本的组的解码处理的负荷的程度的等级的提示信息。
(7)根据(1)至(6)和(8)至(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元还生成包括下述内容的子样本信息：指示包括在子样本信息中的提示信息的类型的提示数据类型；指示与子样本信息相关联的连续样本的数目的样本数；以及包括子样本的组的编码数据的头部信息的提示信息。
(8)根据(1)至(7)和(9)至(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元生成包括下述内容的子样本信息：指示包括在子样本信息中的提示信息的类型的提示数据类型；指示与子样本信息相关联的连续样本的数目的样本数；属于组的子样本的识别信息；以及所述组的提示信息。
(9)根据(1)至(8)和(10)至(15)中任一项所述的图像编码装置，
其中，提示信息包括指示对组的解码处理的负荷的程度的等级。
(10)根据(1)至(9)和(11)至(15)中任一项所述的图像编码装置，
其中，提示信息包括所述组的编码数据的头部信息。
(11)根据(1)至(10)和(12)至(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元生成包括指示子样本的尺寸和位置的信息的子样本信息。
(12)根据(1)至(11)和(13)至(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元生成包括指示子样本能够被独立解码的信息的子样本信息。
(13)根据(1)至(12)、(14)和(15)中任一项所述的图像编码装置，
其中，子样本信息生成单元生成包括用于对构成样本的NAL单元进行分组的信息的子样本信息。
(14)根据(1)至(13)和(15)中任一项所述的图像编码装置，
其中，文件生成单元将子样本信息布置为与管理信息的样本表盒(Sample TableBox)的子样本信息盒(Subsample Information Box)不同的子样本提示信息盒(SubsampleHint Information Box)。
(15)根据(1)至(14)中任一项所述的图像编码装置，
其中，文件生成单元将子样本信息作为视觉样本组入口(VisualSampleGroupEntry)布置在管理信息的样本表盒(Sample Table Box)的样本组描述盒(Sample Group Description Box)中，并且将指定子样本信息被应用于的样本的信息布置在样本组盒(Sample To Group Box)中。
(16)根据(1)至(15)中任一项所述的图像编码装置，其中，文件生成单元将用于仅对部分图像进行解码所需的子样本信息布置在具有部分图像的轨道的管理信息的样本表盒(Sample Table Box)的样本组描述盒(Sample Group Description Box)的样本入口(Sample Entry)中。
(17)根据(1)至(16)中任一项所述的图像编码装置，其中，子样本信息是用于确定对存储在与HEVC编解码配置记录的数据结构相同的数据结构中的时间运动约束的图块集合SEI(temporal_motion_constrained_tile_sets SEI)中的HEVC图块的解码所需的参数。
(18)根据(1)至(17)中任一项所述的图像编码装置，其中，参数包括mcts tearflag(mcts_tear_flag)和mcts level idc(mcts_level_idc)。
(19)根据(1)至(18)中任一项所述的图像编码装置，其中，部分图像信息还包括与HEVC图块对应的时间运动约束的图块集合SEI(temporal_motion_constrained_tile_setsSEI)。
(20)根据(1)至(19)中任一项所述的图像编码装置，其中，子样本信息还包括maxmcts tear flag(max_mcts_tear_flag)和max mcts level idc(max_mcts_level_idc)。
(21)根据(1)至(20)中任一项所述的图像编码装置，还包括与用于确定对HEVC图块的解码所需的HEVC图块对应的时间运动约束的图块集合SEI(temporal_motion_constrained_tile_sets SEI)。
(22)根据(1)至(21)中任一项所述的图像编码装置，其中，max mcts tear flag(max_mcts_tear_flag)和max mcts level idc(max_mcts_level_idc)被布置在基轨道中。
(23)一种图像编码方法，包括：
对图像数据进行编码；
生成图像数据的图像的子样本信息，该子样本信息包括被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息；以及
生成包括所生成的图像数据的编码数据以及该编码数据的管理信息的文件并且将所生成的子样本信息布置在管理信息中。
(24)一种图像解码装置，包括：
获取单元，该获取单元被配置成获取文件，该文件包括图像数据的编码数据和该编码数据的管理信息，该编码数据的管理信息中布置有图像数据的图像的子样本信息，子样本信息包括被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。
子样本信息分析单元，该子样本信息分析单元被配置成分析包括在由获取单元获取的文件中的子样本信息；
控制单元，该控制单元被配置成基于由子样本信息分析单元对子样本信息的分析结果来控制对编码数据的解码；
编码数据生成单元，该编码数据生成单元被配置成根据由控制单元的控制、从包括在由获取单元获取的文件中的编码数据来生成子样本的编码数据；
解码单元，该解码单元被配置成根据由控制单元的控制来对由编码数据生成单元生成的子样本的编码数据进行解码；
(25)根据(24)所述的图像解码装置，其中，控制单元基于子样本信息的提示信息来确定解码单元是否能够对子样本的编码数据进行解码，并且当编码数据能够被解码时执行控制以对子样本的编码数据进行解码。
(26)根据(24)或(25)所述图像解码装置，其中，编码数据生成单元基于子样本信息来更新子样本的编码数据的头部信息。
(27)一种图像解码方法，包括：
获取文件，该文件包括图像数据的编码数据和该编码数据的管理信息，该编码数据的管理信息中布置有图像数据的图像的子样本信息，子样本信息包括被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息；
分析包括在所获取的文件中的子样本信息；
基于子样本信息的分析结果来控制对编码数据的解码；
根据控制、从包括在所获取的文件中的编码数据来生成子样本的编码数据；以及
根据控制来对所生成的子样本的编码数据进行解码。
(31)一种信息处理装置，包括：
文件生成单元，文件生成单元被配置成生成MP4文件格式的文件，在文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中；以及
存储单元，存储单元被配置成存储由文件生成单元生成的文件。
(32)根据(31)所述的信息处理装置，
其中，用于对多个部分图像进行分组的信息包括：指示通过对多个部分图像进行分组所形成的组的ID的信息。
(33)根据(31)或(32)所述的信息处理装置，
其中，用于对多个部分图像进行分组的信息包括：指示与通过对多个部分图像进行分组所形成的组有关的多个部分图像的各自的ID的信息。
(34)根据(31)至(33)中任一项所述的信息处理装置，
其中，用于对多个部分图像进行分组的信息使用moov中的VisualSampleGroupEntry来定义。
(35)根据(31)至(34)中任一项所述的信息处理装置，
其中，由文件生成单元生成的文件包括：指示构成部分图像的多个NAL单元的相关信息。
(36)根据(35)所述的信息处理装置，
其中，相关信息包括：指示与NAL单元中的每个NAL单元相关的组的组信息。
(37)根据(35)或(36)所述的信息处理装置，
其中，相关信息包括：指示多个NAL单元的数目的信息。
(38)根据(35)至(37)中任一项所述的信息处理装置，
其中，相关信息包括：指定部分图像中的第一NAL单元的信息。
(39)根据(31)至(38)中任一项所述的信息处理装置，
其中，部分图像是高效视频编码(HEVC)中的图块。
(40)根据(31)至(39)中任一项所述的信息处理装置，
其中，部分图像包括多个NAL单元。
(41)根据(31)至(40)中任一项所述的信息处理装置，
其中，部分图像被存储在文件中的第一轨道，并且在整个图像中能够被独立解码的另外的部分图像被存储在除第一轨道之外的轨道中。
(42)根据(31)至(41)中任一项所述的信息处理装置，还包括：
发送单元，发送单元被配置成将由存储单元存储的文件发送至另外的装置。
(43)一种信息处理方法，包括：
生成MP4文件格式的文件，在文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中；以及
存储所生成的文件。
(44)一种信息处理装置，包括：
文件再现单元，该文件再现单元被配置成再现MP4文件格式的文件，在该文件中，用于对在整个文件中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中。
(45)根据(44)所述的信息处理装置，
其中，用于对多个部分图像进行分组的信息包括：指示通过对多个部分图像进行分组所形成的组的ID的信息。
(46)根据(44)或(45)所述的信息处理装置，
其中，用于对多个部分图像进行分组的信息包括：指示与通过对多个部分图像进行分组所形成的组有关的多个部分图像的各自的ID的信息。
(47)根据(44)至(46)中的任一项所述的信息处理装置，
其中，用于对多个部分图像进行分组的信息使用moov中的VisualSampleGroupEntry来定义。
(48)根据(44)至(47)中的任一项所述的信息处理装置，
其中，文件将指示构成部分图像的多个NAL单元的相关信息包括在moov中。
(49)根据(48)所述的信息处理装置，
其中，相关信息包括：指示针对NAL单元中的每个NAL单元相关的组的组信息。
(50)根据(48)或(49)所述的信息处理装置，
其中，相关信息包括：指示多个NAL单元的数目的信息。
(51)根据(48)至(50)中任一项所述的信息处理装置，
其中，相关信息包括：指定部分图像中的第一NAL单元的信息。
(52)根据(44)至(51)中任一项所述的信息处理装置，
其中，部分图像是高效视频编码(HEVC)中的图块。
(53)根据(44)至(52)中任一项所述的信息处理装置，
其中，部分图像包括多个NAL单元。
(54)根据(44)至(53)中任一项所述的信息处理装置，
其中，部分图像被存储在文件中的第一轨道中，并且在整个图像中能够被独立解码的另外的部分图像被存储在除第一轨道之外的轨道中。
(55)根据(44)至(54)中任一项所述的信息处理装置，还包括：
接收单元，该接收单元被配置成接收文件，
其中，文件再现单元对由接收单元接收的文件进行再现。
(56)根据(44)至(55)中任一项所述的信息处理装置，
其中，在文件中，指示整个图像中的部分图像的位置的信息、指示部分图像的尺寸的信息以及用于对多个部分图像进行分组的信息被存储在VisualSampleGroupEntry中，并且
其中，文件再现单元
基于指示整个图像中的部分图像的位置的信息和指示部分图像的尺寸的信息来选择期望再现的区域，以及
基于用于对多个部分图像进行分组的信息来获取与期望再现的区域对应的部分图像的数据并且生成位流。
(57)根据(44)至(56)中任一项所述的信息处理装置，
其中，在文件中，指示整个图像中的部分图像的位置的信息、指示部分图像的尺寸的信息以及用于对多个部分图像进行分组的信息被存储在TileRegionGroupEntry中，并且
其中，文件再现单元
基于指示整个图像中的部分图像的位置的信息和指示部分图像的尺寸的信息来选择期望再现的区域，
基于用于对多个部分图像进行分组的信息来获取与所选择的期望再现的区域对应的多个轨道，以及
生成与所获取的多个轨道对应的部分图像的位流。
(58)根据(44)至(57)中任一项所述的信息处理装置，还包括：
解码单元，该解码单元被配置成对由文件再现单元再现并且生成的部分图像的位流进行解码。
(59)一种信息处理方法，包括：
再现MP4文件格式的文件，在文件中，用于对在整个图像中能够被独立解码的多个部分图像进行分组的信息被存储在moov中，并且编码的部分图像被存储在mdat中。
附图标记列表
100：图像编码装置
101：图像编码单元
102：子样本信息生成单元
103：MP4文件生成单元
200：图像解码装置
201：MP4文件再现单元
202：子样本信息处理单元
203：图像解码单元

Claims (24)

1.一种信息处理装置，包括：
文件生成单元，所述文件生成单元被配置成生成MP4文件格式的文件，在所述文件中，用于对与在整个图像中能够被独立解码的部分图像对应的NAL单元进行分组的第一组识别信息、用于对所述第一组识别信息进行分组的第二组识别信息以及编码的所述部分图像被存储，其中，所述第二组识别信息指示在整个图像中的期望位置处的所述部分图像中的一个或更多个的组合；以及
存储单元，所述存储单元被配置成存储由所述文件生成单元生成的所述文件，
其中，所述部分图像被存储在所述文件中的第一轨道中，并且在所述整个图像中能够被独立解码的另外的部分图像被存储在除所述第一轨道之外的轨道中。
2.根据权利要求1所述的信息处理装置，
其中，所述NAL单元针对所述部分图像中的每个部分图像被分组。
3.根据权利要求2所述的信息处理装置，
其中，所述文件包括：指定所述部分图像中的每个部分图像的第一NAL单元的信息。
4.根据权利要求1所述的信息处理装置，
其中，所述文件包括：将所述NAL单元中的每个NAL单元与所述第一组识别信息相关联的信息。
5.根据权利要求1所述的信息处理装置，
其中，所述文件包括：将所述第一组识别信息与所述第二组识别信息相关联的信息。
6.根据权利要求1所述的信息处理装置，
其中，所述第一组识别信息被设置在视觉样本组入口VisualSampleGroupEntry中。
7.根据权利要求6所述的信息处理装置，
其中，所述第一组识别信息被设置在其中存储有所述部分图像的配置信息的视觉样本组入口VisualSampleGroupEntry中。
8.根据权利要求6所述的信息处理装置，
其中，所述第二组识别信息被设置在与其中设置有所述第一组识别信息的视觉样本组入口VisualSampleGroupEntry不同的视觉样本组入口VisualSampleGroupEntry中。
9.根据权利要求1所述的信息处理装置，
其中，所述部分图像是高效视频编码HEVC中的图块Tile。
10.根据权利要求1所述的信息处理装置，还包括
编码单元，所述编码单元被配置成对所述部分图像进行编码，
其中，所述文件生成单元生成其中存储有由所述编码单元所编码的所述部分图像的文件。
11.根据权利要求1所述的信息处理装置，还包括：
发送单元，所述发送单元被配置成将由所述存储单元存储的文件发送至另外的装置。
12.一种信息处理方法，包括：
生成MP4文件格式的文件，在所述文件中，用于对与在整个图像中能够被独立解码的部分图像对应的NAL单元进行分组的第一组识别信息、用于对所述第一组识别信息进行分组的第二组识别信息以及编码的所述部分图像被存储，其中，所述第二组识别信息指示在整个图像中的期望位置处的所述部分图像中的一个或更多个的组合；以及
存储所生成的文件，
其中，所述部分图像被存储在所述文件中的第一轨道中，并且在所述整个图像中能够被独立解码的另外的部分图像被存储在除所述第一轨道之外的轨道中。
13.一种信息处理装置，包括：
文件再现单元，所述文件再现单元被配置成再现MP4文件格式的文件，在所述文件中，用于对与在整个图像中能够被独立解码的部分图像对应的NAL单元进行分组的第一组识别信息、用于对所述第一组识别信息进行分组的第二组识别信息以及编码的所述部分图像被存储，其中，所述第二组识别信息指示在整个图像中的期望位置处的所述部分图像中的一个或更多个的组合，
其中，所述部分图像被存储在所述文件中的第一轨道中，并且在所述整个图像中能够被独立解码的另外的部分图像被存储在除所述第一轨道之外的轨道中。
14.根据权利要求13所述的信息处理装置，
其中，所述NAL单元针对所述部分图像中的每个部分图像被分组。
15.根据权利要求14所述的信息处理装置，
其中，所述文件包括：指定所述部分图像中的每个部分图像的第一NAL单元的信息。
16.根据权利要求13所述的信息处理装置，
其中，所述文件包括：将所述NAL单元中的每个NAL单元与所述第一组识别信息相关联的信息。
17.根据权利要求13所述的信息处理装置，
其中，所述文件包括：将所述第一组识别信息与所述第二组识别信息相关联的信息。
18.根据权利要求13所述的信息处理装置，
其中，所述第一组识别信息被设置在视觉样本组入口VisualSampleGroupEntry中。
19.根据权利要求18所述的信息处理装置，
其中，所述第一组识别信息被设置在其中存储有所述部分图像的配置信息的视觉样本组入口VisualSampleGroupEntry中。
20.根据权利要求18所述的信息处理装置，
其中，所述第二组识别信息被设置在与其中设置有所述第一组识别信息的视觉样本组入口VisualSampleGroupEntry不同的视觉样本组入口VisualSampleGroupEntry中。
21.根据权利要求13所述的信息处理装置，
其中，所述部分图像是高效视频编码HEVC中的图块Tile。
22.根据权利要求13所述的信息处理装置，还包括：
解码单元，所述解码单元被配置成对通过由所述文件再现单元进行再现所获得的编码的所述部分图像进行解码。
23.根据权利要求13所述的信息处理装置，还包括：
接收单元，所述接收单元被配置成接收所述文件，
其中，所述文件再现单元对由所述接收单元接收的所述文件进行再现。
24.一种信息处理方法，包括：
再现MP4文件格式的文件，在所述文件中，用于对与在整个图像中能够被独立解码的部分图像对应的NAL单元进行分组的第一组识别信息、用于对所述第一组识别信息进行分组的第二组识别信息以及编码的所述部分图像被存储，其中，所述第二组识别信息指示在整个图像中的期望位置处的所述部分图像中的一个或更多个的组合，
其中，所述部分图像被存储在所述文件中的第一轨道中，并且在所述整个图像中能够被独立解码的另外的部分图像被存储在除所述第一轨道之外的轨道中。
CN201480040438.0A 2013-07-22 2014-07-18 信息处理装置和方法 Active CN105379256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910816408.9A CN110460858B (zh) 2013-07-22 2014-07-18 信息处理装置和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2013152124 2013-07-22
JP2013-152124 2013-07-22
JP2013154023 2013-07-24
JP2013-154023 2013-07-24
JP2014058763 2014-03-20
JP2014-058763 2014-03-20
PCT/JP2014/069216 WO2015012227A1 (ja) 2013-07-22 2014-07-18 情報処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910816408.9A Division CN110460858B (zh) 2013-07-22 2014-07-18 信息处理装置和方法

Publications (2)

Publication Number Publication Date
CN105379256A CN105379256A (zh) 2016-03-02
CN105379256B true CN105379256B (zh) 2019-11-12

Family

ID=52393266

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201480040554.2A Active CN105393532B (zh) 2013-07-22 2014-07-18 信息处理设备和方法
CN201480040438.0A Active CN105379256B (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201910816408.9A Active CN110460858B (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201480040437.6A Pending CN105379255A (zh) 2013-07-22 2014-07-18 信息处理装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480040554.2A Active CN105393532B (zh) 2013-07-22 2014-07-18 信息处理设备和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201910816408.9A Active CN110460858B (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201480040437.6A Pending CN105379255A (zh) 2013-07-22 2014-07-18 信息处理装置和方法

Country Status (13)

Country Link
US (3) US10419801B2 (zh)
EP (3) EP3026900B1 (zh)
JP (4) JP6414062B2 (zh)
KR (2) KR102304687B1 (zh)
CN (4) CN105393532B (zh)
AU (3) AU2014294127B2 (zh)
BR (1) BR112016000920A2 (zh)
CA (2) CA2916892A1 (zh)
MX (2) MX365935B (zh)
MY (2) MY177309A (zh)
RU (3) RU2674312C2 (zh)
SG (3) SG11201600254UA (zh)
WO (3) WO2015012227A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6209026B2 (ja) 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
EP3713234A1 (en) * 2014-01-07 2020-09-23 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
GB2538998A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
JP7052732B2 (ja) * 2016-12-27 2022-04-12 ソニーグループ株式会社 画像処理装置および方法
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10897612B2 (en) 2017-03-03 2021-01-19 Qualcomm Incorporated Coding identifiers for motion constrained tile sets
GB2594615B (en) * 2017-03-20 2022-11-30 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
WO2018186550A1 (ko) * 2017-04-05 2018-10-11 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
KR102336987B1 (ko) * 2017-07-04 2021-12-08 엘지전자 주식회사 360도 비디오의 영역 기반 처리 방법 및 장치
JP2019054417A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
KR102569347B1 (ko) * 2018-12-20 2023-08-22 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 비디오 인코딩 및 디코딩에서의 개선된 타일 어드레스 시그널링
US11310516B2 (en) * 2018-12-21 2022-04-19 Hulu, LLC Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11974028B2 (en) 2019-07-04 2024-04-30 Sony Group Corporation Information processing device, information processing method, reproduction processing device, and reproduction processing method
US20220269716A1 (en) * 2019-07-30 2022-08-25 Sony Group Corporation File processing device, file processing method, and program
CN114342402A (zh) * 2019-09-11 2022-04-12 索尼集团公司 信息处理装置、信息处理方法、再现处理装置和再现处理方法
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
WO2021177044A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 画像処理装置及び画像処理方法
WO2021182089A1 (ja) * 2020-03-09 2021-09-16 ソニーグループ株式会社 ファイル処理装置、ファイル処理方法、及び、プログラム
US20220086385A1 (en) * 2020-09-17 2022-03-17 Lemon Inc. Profile, tier, level and general constraints indication in coded video
JP7203172B2 (ja) * 2020-09-17 2023-01-12 レモン インコーポレイテッド デコーダコンフィギュレーションレコードにおけるピクチャ寸法インジケーション
JP7468391B2 (ja) * 2021-02-09 2024-04-16 株式会社Ｊｖｃケンウッド 撮像装置および撮像処理方法
CN114173075B (zh) * 2021-10-22 2024-01-30 广州市奥威亚电子科技有限公司 用于录制的mp4文件保存方法、装置、电子设备及存储介质

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929862A (en) * 1996-08-05 1999-07-27 Hewlett-Packard Co. Antialiasing system and method that minimize memory requirements and memory accesses by storing a reduced set of subsample information
CN1386375A (zh) * 2000-07-13 2002-12-18 皇家菲利浦电子有限公司 Mpeg－4编码器及这种编码器的输出编码信号
KR100929078B1 (ko) * 2001-11-29 2009-11-30 파나소닉 주식회사 코딩 왜곡 제거 방법
WO2003073768A1 (en) * 2002-02-25 2003-09-04 Sony Electronics, Inc. Method and apparatus for supporting avc in mp4
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
CN102291585A (zh) * 2002-07-15 2011-12-21 诺基亚有限公司 用于视频序列中错误隐藏的方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
JPWO2005015907A1 (ja) * 2003-08-08 2006-10-12 松下電器産業株式会社 データ処理装置
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
CN101507281B (zh) * 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
JP2008042566A (ja) * 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
KR101100413B1 (ko) * 2007-01-08 2011-12-30 노키아 코포레이션 트랜스코딩된 미디어 스트림들을 위해 상호운용성 포인트의 미리결정된 시그널링을 제공하고 사용하기 위한 시스템 및 방법
US9712833B2 (en) * 2007-06-26 2017-07-18 Nokia Technologies Oy System and method for indicating temporal layer switching points
FR2932045B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission
FR2932046B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de crypter visuellement les objets mobiles au sein d'un flux video compresse
RU2504917C2 (ru) * 2008-10-07 2014-01-20 Телефонактиеболагет Лм Эрикссон (Пабл) Файл медиаконтейнера
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN102714715B (zh) * 2009-09-22 2016-01-20 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
EP2544138A4 (en) * 2010-03-30 2013-09-25 Ns Solutions Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM, INFORMATION PROCESSING DEVICE, GUIDING SYSTEM TO VACANT SPACE, GUIDING METHOD AND PROGRAM TO VACANCY SPACE, IMAGE DISPLAY SYSTEM, AND METHOD AND IMAGE DISPLAY PROGRAM
KR20120010089A (ko) * 2010-07-20 2012-02-02 삼성전자주식회사 Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9325999B2 (en) * 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
CN102217313B (zh) 2011-05-26 2013-10-02 华为技术有限公司 重排、抽取分片中媒体数据的方法、设备及系统
WO2013030458A1 (en) * 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US20130114694A1 (en) 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
EA201492098A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US9554133B2 (en) * 2012-09-18 2017-01-24 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
AU2012391251B2 (en) * 2012-09-29 2016-04-21 Huawei Technologies Co., Ltd. Method, apparatus and system for encoding and decoding video
US20140092953A1 (en) * 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
CN102970544A (zh) * 2012-12-07 2013-03-13 豪威科技(上海)有限公司 Jpeg编码和解码方法及系统
CN116320392A (zh) 2013-01-04 2023-06-23 Ge视频压缩有限责任公司 高效可伸缩编码概念
CN109587573B (zh) * 2013-01-18 2022-03-18 佳能株式会社 生成设备和方法、显示设备和方法以及存储介质
GB2509956B (en) * 2013-01-18 2016-05-04 Canon Kk Method, device and computer program for efficient encapsulation of timed tiled media data
CN117956144A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
GB2551296B (en) * 2013-04-09 2018-02-28 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data
BR112016000132B1 (pt) * 2013-07-12 2023-02-28 Sony Corporation Dispositivo e método para decodificação de imagem
EP3092772B1 (en) * 2014-01-07 2019-07-31 Nokia Technologies Oy Media encapsulating and decapsulating

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
什么是分段存储;[美]Infomix Software著，张光业、潘雪梅、刘先勇译;《Informix向导—数据库及数据仓库设计》;人民邮电出版社;20001231;第65-66页 *

Also Published As

Publication number Publication date
EP3026901A1 (en) 2016-06-01
MX358607B (es) 2018-08-24
EP3026899A1 (en) 2016-06-01
MY177309A (en) 2020-09-11
JP6414062B2 (ja) 2018-10-31
CN105393532A (zh) 2016-03-09
JP6414061B2 (ja) 2018-10-31
US20160150241A1 (en) 2016-05-26
JP6587025B2 (ja) 2019-10-09
US10356459B2 (en) 2019-07-16
CN110460858B (zh) 2021-12-10
JPWO2015012226A1 (ja) 2017-03-02
MX2016000537A (es) 2016-04-11
BR112016000920A2 (pt) 2020-03-10
US20160198207A1 (en) 2016-07-07
WO2015012226A1 (ja) 2015-01-29
SG10201807579YA (en) 2018-10-30
US10701425B2 (en) 2020-06-30
EP3026899A4 (en) 2016-12-28
EP3026901B1 (en) 2021-04-14
EP3026900A1 (en) 2016-06-01
RU2650181C2 (ru) 2018-04-11
KR102304687B1 (ko) 2021-09-27
CN105379256A (zh) 2016-03-02
JP2019050589A (ja) 2019-03-28
KR20160034890A (ko) 2016-03-30
CA2916881A1 (en) 2015-01-29
AU2014294127B2 (en) 2018-09-13
CN110460858A (zh) 2019-11-15
RU2016101199A (ru) 2017-07-18
CN105379255A (zh) 2016-03-02
EP3026900B1 (en) 2021-09-29
RU2016101176A (ru) 2017-07-20
WO2015012227A1 (ja) 2015-01-29
AU2014294127A1 (en) 2016-02-11
KR20160034889A (ko) 2016-03-30
MX2016000538A (es) 2016-03-16
RU2674312C2 (ru) 2018-12-06
WO2015012225A1 (ja) 2015-01-29
AU2014294215A1 (en) 2016-02-11
US10419801B2 (en) 2019-09-17
MX365935B (es) 2019-06-20
MY182651A (en) 2021-01-27
CN105393532B (zh) 2019-04-19
CA2916892A1 (en) 2015-01-29
RU2018135747A (ru) 2018-11-19
JPWO2015012227A1 (ja) 2017-03-02
KR102229848B1 (ko) 2021-03-22
SG11201600254UA (en) 2016-02-26
RU2016101176A3 (zh) 2018-05-04
JP6439981B2 (ja) 2018-12-19
US20160156928A1 (en) 2016-06-02
SG11201600260RA (en) 2016-02-26
AU2014294215B2 (en) 2018-10-04
AU2018271391A1 (en) 2018-12-20
JPWO2015012225A1 (ja) 2017-03-02
EP3026900A4 (en) 2016-12-21
EP3026901A4 (en) 2016-12-28

Similar Documents

Publication Publication Date Title
CN105379256B (zh) 信息处理装置和方法
US20190373245A1 (en) 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
WO2015163456A1 (ja) 画像復号装置、画像符号化装置、および、符号化データ変換装置
JP7028398B2 (ja) デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
CN110022481A (zh) 视频码流的解码、生成方法及装置、存储介质、电子装置
CN113302944A (zh) 信息处理装置和信息处理方法
WO2019138929A1 (ja) 情報処理装置および方法
WO2019138928A1 (ja) 情報処理装置および方法
US20240163491A1 (en) Information processing device and method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant