CN105393532B - 信息处理设备和方法 - Google Patents

信息处理设备和方法 Download PDF

Info

Publication number
CN105393532B
CN105393532B CN201480040554.2A CN201480040554A CN105393532B CN 105393532 B CN105393532 B CN 105393532B CN 201480040554 A CN201480040554 A CN 201480040554A CN 105393532 B CN105393532 B CN 105393532B
Authority
CN
China
Prior art keywords
information
subsample
file
sample
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480040554.2A
Other languages
English (en)
Other versions
CN105393532A (zh
Inventor
平林光浩
服部忍
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105393532A publication Critical patent/CN105393532A/zh
Application granted granted Critical
Publication of CN105393532B publication Critical patent/CN105393532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Facsimiles In General (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及使得能够更准确地理解解码所需的性能的图像处理装置和方法。图像处理装置：生成具有MP4文件格式的文件，并且将代表整个图像内的可独立解码的部分图像在整个图像中的位置的信息存储在moov中以及将编码的部分图像存储在mdat中；以及存储所生成的文件。本发明可以应用于例如图像处理装置诸如图像编码装置或图像解码装置。

Description

信息处理设备和方法
技术领域
本发明涉及信息处理设备和信息处理方法，并且更具体地涉及能够更准确地识别解码所需的性能的信息处理设备和信息处理方法。
背景技术
近年来，为了与MPEG-4第10部分(高级视频编码，以下描述为“AVC”)的编码效率相比进一步提高编码效率的目的，联合协作团队-视频编码(JCTVC)——这是国际电信联盟电信标准化部门(ITU-T)和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准化机构——已经对被称为高效率视频编码(HEVC)的编码方案进行标准化(参见例如非专利文献1)。
HEVC使得能够仅对需要通过应用利用图块(Tile)结构来解码的区域进行解码。为了表示图块区域能够被独立解码，在HEVC的第二版本中和之后的版本(包括MV-HEVC、SHVC、Range Ext.等)中，这由运动约束图块集合SEI来支持。
顺便说一下，作为利用超文本传输协议(HTTP)的内容分发技术，存在运动图像专家组——通过HTTP的动态自适应流送(MPEG-DASH)(参见例如非专利文献2)。利用MPEG-DASH，在将使用编码方案诸如以上所述的HEVC所编码的图像数据的比特流形成为预定的文件格式诸如例如MP4文件格式之后分发该比特流。
引文列表
非专利文献
非专利文献1：Benjamin Bross、Woo-Jin Han、Jens-Rainer Ohm,GaryJ.Sullivan、Ye-Kui Wang、Thomas Wiegand的"High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Last Call)",JCTVC-L1003_v34,ITU-T SG16WP3的视频编码的联合协作小组(JCT-VC)和ISO/IEC JTC 1/SC 29/WG 11第12次会议:瑞士日内瓦2013年1月14号至23号
非专利文献2：MPEG-DASH(通过HTTP的动态自适应流送)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentati on-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
发明内容
然而，以比特流和文件格式两种格式，整个流中的值或以层(Layer)为单位的值被定义为用作用于确定解码器是否能够对流或与缓冲器(Buffer)的容量相关的信息进行解码的参考的等级(Level)。
因此，在用于对整个图像的仅一部分进行解码的应用中，采用在对整个画面进行解码的情况下的负荷来确定解码是否可能，这可能涉及需要具有不必要高的等级(Level)的解码器的风险。此外，还存在能够被分发的应用可能被不必要地限制的风险。
鉴于这样的情况提出了本公开内容，并且本公开内容的目的是使得能够更准确地识别解码所需的性能。
问题的解决方案
根据本技术的一个方面，提供了一种信息处理设备，该信息处理设备包括：文件生成单元，该文件生成单元被配置成生成MP4文件格式的文件，在该文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在整个图像中部分图像能够被独立解码，并且编码的部分图像被存储在mdat中；以及存储单元，该存储单元被配置成存储由文件生成单元生成的文件。
表示部分图像在整个图像中的位置的信息可以包括：表示部分图像在水平方向上的偏移的信息和表示部分图像在垂直方向上的偏移的信息。
表示部分图像在整个图像中的位置的信息可以使用moov中的VisualSampleGroupEntry来定义。
在由文件生成单元生成的文件中，表示部分图像的尺寸的信息也可以存储在moov中。
表示部分图像的尺寸的信息可以包括：表示部分图像的高度的信息和表示部分图像的宽度的信息。
部分图像可以是高效视频编码(HEVC)中的图块。
部分图像可以包括多个NAL单元。
在由文件生成单元生成的文件中，表示构成部分图像的多个NAL单元的相关信息也可以存储在moov中。
相关信息可以包括：表示针对NAL单元中的每个NAL单元的相关组的组信息。
相关信息可以包括：表示多个NAL单元的数目的信息。
相关信息可以包括：指定部分图像中的第一NAL单元的信息。
部分图像可以被存储在文件中的第一轨道中，并且在整个图像中能够被独立解码的另外的部分图像可以被存储在除第一轨道之外的轨道中。
还可以包括发送单元，该发送单元被配置成将由存储单元存储的文件发送到另外的设备。
根据本技术的一个方面，提供了一种信息处理方法，该信息处理方法包括生成MP4文件格式的文件以及存储所生成的文件，在该文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在整个图像中部分图像能够被独立解码，并且编码的部分图像被存储在mdat中。
根据本技术的另一方面，提供了一种信息处理设备，该信息处理设备包括：文件再现单元，该文件再现单元被配置成再现MP4文件格式的文件，在该文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在整个图像中部分图像能够被独立解码，并且编码的部分图像被存储在mdat中。
表示部分图像在整个图像中的位置的信息可以包括：表示部分图像在水平方向上的偏移的信息和表示部分图像在垂直方向上的偏移的信息。
表示部分图像在整个图像中的位置的信息可以使用moov中的VisualSampleGroupEntry来定义。
在文件中，表示部分图像的尺寸的信息也可以存储在moov中。
表示部分图像的尺寸的信息可以包括：表示部分图像的高度的信息和表示部分图像的宽度的信息。
部分图像可以是高效视频编码(HEVC)中的图块。
部分图像可以包括多个NAL单元。
在文件中，表示构成部分图像的多个NAL单元的相关信息也可以存储在moov中。
相关信息可以包括：表示针对NAL单元中的每个NAL单元的相关组的组信息。
相关信息可以包括：表示多个NAL单元的数目的信息。
相关信息可以包括：指定部分图像中的第一NAL单元的信息。
部分图像可以被存储在文件中的第一轨道中，并且在整个图像中能够被独立解码的另外的部分图像可以被存储在除第一轨道之外的轨道中。
还可以包括接收单元，该接收单元被配置成接收文件。文件再现单元可以再现由接收单元接收到的文件。
在文件中，表示部分图像在整个图像中的位置的信息、表示部分图像的尺寸的信息和表示构成部分图像的多个NAL单元的相关信息可以被存储在VisualSampleGroupEntry中。文件再现单元可以基于表示部分图像在整个图像中的位置的信息和表示部分图像的尺寸的信息来选择期望再现的部分图像，并且基于相关信息来获取期望再现的部分图像的数据并生成比特流。
在文件中，表示部分图像在整个图像中的位置的信息、表示部分图像的尺寸的信息和表示构成部分图像的多个NAL单元的相关信息可以被存储在VisualSampleGroupEntry中。文件再现单元可以基于表示部分图像在整个图像中的位置的信息和表示部分图像的尺寸的信息来选择期望再现的区域，并且基于相关信息来获取与期望再现的区域相对应的部分图像的数据并生成比特流。
在文件中，表示部分图像在整个图像中的位置的信息和表示部分图像的尺寸的信息可以被存储在TileRegionGroupEntry中。文件再现单元可以基于表示部分图像在整个图像中的位置的信息和表示部分图像的尺寸的信息来选择期望再现的图块，获取与所选择的期望再现的图块相对应的轨道，并且生成与所获取的轨道相对应的部分图像的比特流。
在文件中，表示部分图像在整个图像中的位置的信息和表示部分图像的尺寸的信息可以被存储在TileRegionGroupEntry中。文件再现单元可以基于表示部分图像在整个图像中的位置的信息和表示部分图像的尺寸的信息来选择期望再现的区域，获取与所选择的期望再现的区域相对应的多个轨道，并且生成与所获取的多个轨道相对应的部分图像的比特流。
还可以包括解码单元，该解码单元被配置成对由文件再现单元生成并再现的部分图像的比特流进行解码。
根据本技术的另一方面，提供了一种信息处理方法，该信息处理方法包括：再现MP4文件格式的文件，在该文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在整个图像中部分图像能够被独立解码，并且编码的部分图像被存储在mdat中。
在本技术的一个方面，生成MP4文件格式的文件并且存储所生成的文件，在该文件中，表示在整个图像中的部分图像的位置的信息被存储在moov中，在整个图像中部分图像能够被独立解码，并且编码的部分图像被存储在mdat中。
在本技术的另一个方面，再现MP4文件格式的文件，在该文件中，表示在整个图像中的部分图像的位置的信息被存储在moov中，在整个图像中部分图像能够被独立解码，并且编码的部分图像被存储在mdat中。本发明的有益效果
根据本公开内容，可以对图像进行编码和解码。特别地，可以更准确地识别解码所需的性能。
附图说明
[图1]图1是说明用于执行部分显示的应用的示例的图。
[图2]图2是说明用于执行部分显示的应用的另一示例的图。
[图3]图3是用于说明子样本的定义的示例的图。
[图4]图4是用于说明MP4文件格式的概要的图。
[图5]图5是用于说明MP4文件格式的概要的图。
[图6]图6是用于说明MP4文件格式的概要的图。
[图7]图7是示出样本表框的扩展示例的图。
[图8]图8是示出子样本提示信息框的示例的图。
[图9]图9是示出独立的语法的示例的图。
[图10]图10是示出子样本的组的示例的图。
[图11]图11是示出子样本提示信息框的另一示例的图。
[图12]图12是示出子样本提示信息框的又一示例的图。
[图13]图13是示出子样本提示信息框的再一示例的图。
[图14]图14是用于说明MP4文件格式的概要的图。
[图15]图15是用于说明MP4文件格式的概要的图。
[图16]图16是示出样本表框的扩展示例的图。
[图17]图17是示出视觉样本组条目的扩展示例的图。
[图18]图18是示出子样本索引的示例的图。
[图19]图19是示出视觉样本组条目的另一扩展示例的图。
[图20]图20是示出视觉样本组条目的又一扩展示例的图。
[图21]图21是示出mcts的示例的框图。
[图22]图22是示出MCTS SEI的语法的示例的图。
[图23]图23是示出MP4文件格式的扩展示例的图。
[图24]图24是示出视觉样本组条目的扩展示例的图。
[图25]图25是示出视觉样本组条目的再一扩展示例的图。
[图26]图26是示出视觉样本组条目的又一扩展示例的图。
[图27]图27是用于说明图块图像的MP4文件的配置示例的图。[图28]图28是用于说明HEVC图块解码器配置记录的图。
[图29]图29是示出时间性MCTS SEI的语法的示例的图。
[图30]图30是用于说明HEVC图块解码器配置记录的图。
[图31]图31是用于说明HEVC图块解码器配置记录的图。
[图32]图32是用于说明HEVC图块解码器配置记录的图。
[图33]图33是用于说明HEVC图块解码器配置记录的图。
[图34]图34是用于说明HEVC图块解码器配置记录的图。
[图35]图35是用于说明HEVC图块解码器配置记录的图。
[图36]图36是用于说明图块图像的MP4文件的配置示例的图。
[图37]图37是用于说明HEVC图块扩展框的图。
[图38]图38是用于说明图块图像的MP4文件的配置示例的图。
[图39]图39是示出图像编码设备的主要部件的示例的框图。
[图40]图40是示出图像解码设备的主要部件的示例的框图。
[图41]图41是用于说明图像编码处理的流程的示例的流程图。
[图42]图42是用于说明图像解码处理的流程的示例的流程图。
[图43]图43是用于说明确定再现是否可能的处理的流程的示例的流程图。
[图44]图44是用于说明再现处理的流程的示例的流程图。
[图45]图45是用于说明再现处理的流程的另一示例的流程图。
[图46]图46是用于说明再现处理的流程的又一示例的流程图。
[图47]图47是用于说明再现处理的流程的再一示例的流程图。
[图48]图48是用于说明再现处理的流程的再一示例的流程图。
[图49]图49是示出计算机的主要部件的示例的框图。
具体实施方式
下面将按照以下顺序来描述用于实现本公开内容的实施例(在下文简称为“实施例”)：
1.第一实施例(子样本的提示信息)
2.第二实施例(MP4文件)
3.第三实施例(图像编码设备)
4.第四实施例(图像解码设备)
5.第五实施例(计算机)
<1.第一实施例>
<使图像编码标准化的流程>
近年来，数字处理图像信息的设备已经普及，并且同时，为了信息的高效传输和累积的目的，该设备通过利用特定于图像信息的冗余并采用用于通过正交变换如离散余弦变换和运动补偿进行压缩的编码方案来对图像执行压缩编码。该编码方案包括例如运动图像专家组(MPEG)。
特别地，被定义为多功能图像编码方案的MPEG2(ISO/IEC 13818-2)是同时支持隔行扫描图像和顺序扫描图像以及标准分辨率图像和高分辨率图像二者的标准。例如，MPEG2当前广泛用于宽范围的意在专业用途和消费者用途的应用中。如果例如图像是具有720×480像素的标准分辨率的隔行扫描图像，则MPEG2压缩方案的使用使得能够分配4Mbps至8Mbps的编码量(比特率)。此外，如果例如图像是具有1920×1088像素的高分辨率的隔行扫描图像，则MPEG2压缩方案的使用使得能够分配18Mbps至22Mbps的编码量(比特率)。由此，能够实现高压缩率和良好的图像质量。
虽然MPEG2旨在用于主要适于广播的高图像质量编码，但是MPEG2不支持具有较低编码量(比特率)即比MPEG1高的压缩率的编码方案。可以预计到，根据未来移动终端的传播，对这样的编码方案的需求将不断增长，并且将MPEG4编码方案标准化以解决该问题。对于图像编码方案，在1998年12月该标准被批准为ISO/IEC 14496-2的国际标准。
此外，在最近几年，最初，为了图像编码电视电话会议的目的，已经进行了H.26L的标准化(国际电信联盟电信标准化部门(ITU-T))Q6/16VCEG(视频编码专家组))。已知的是，虽然与相关技术诸如MPEG2和MPEG4中的编码方案相比H.26L需要较多操作量来进行编码和解码，但是H.26L能够实现更高的编码效率。此外，目前，作为MPEG4的活动的一部分，用于在引入H.26L中不支持的功能的同时实现基于H.26L的更高编码效率的标准化已经被执行作为增强压缩视频编码的联合模型。
作为标准化的进度，基于H.26L的较高编码效率在2003年3月被国际标准化为H.264和MPEG-4第10部分(高级视频编码，以下简称为“AVC”)。
此外，作为该H.264/AVC的扩展，在2005年2月完成了对编码工具诸如专业用途所需的RGB 4：2：2和4：4：4的标准化、以及对包括8×8DCT和在MPEG-2中所指定的量化矩阵在内的保真度范围扩展(FRExt)的标准化。由此，实现了能够有利地使用H.264/AVC表达电影中所包括的影片噪声的编码方案，并且将该编码方案用于宽范围的应用诸如Blu-RayDisc(注册商标)中。
然而，近年来，存在对以更高压缩率诸如对作为高视觉图像的四倍的约4000×2000像素的图像的压缩进行编码以及在具有有限传输容量的环境诸如因特网中对高视觉图像的分发的不断增长的需求。因此，根据ITU-T的上述VCEG持续在研究编码效率的改善。
因此，为了与“AVC”的编码效率相比进一步提高编码效率的目的，联合协作团队-视频编码(JCTVC)——这是ITU-T和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准化机构——目前对被称为高效率视频编码(HEVC)的编码方案进行标准化。关于HEVC标准，在2013年1月发布了作为草案规范的委员会草案(参见例如非专利文献1)。
<图块结构和层的定义>
HEVC使得能够仅对需要通过应用利用图块(Tile)结构来解码的区域进行解码。为了表示图块区域能够被独立解码，在HEVC的第二版本中和之后的版本(包括MV-HEVC、SHVC、Range Ext.等)中，这由运动约束图块集合SEI来支持。
<DASH>
顺便说一下，由于内容分发技术利用超文本传输协议(HTTP)，存在运动图像专家组——通过HTTP的动态自适应流送(MPEG-DASH)(参见例如非专利文献2)。利用MPEG-DASH，在将使用编码方案诸如以上所述的HEVC所编码的图像数据的比特流在形成为预定的文件格式诸如例如MP4之后被分发。
然而，在内容分发诸如DASH中，采用仅对整个图像的再现(解码)，而没有采用对作为整个图像的一部分的部分图像而不是整个图像的再现(解码)。
更具体地，将仅整个流中的值或以层(Layer)为单位的值即针对整个图像的值定义为等级(Level)，该等级用作用于确定解码器是否能够对在编码方案如HEVC中和在文件格式如MP4二者中的流和与缓冲器(Buffer)容量相关的信息进行解码的参考，并且不存在用于仅再现部分图像的信息。
因此，例如，即使当通过利用在如上所述的编码方案如HEVC中所支持的图块结构对仅部分图像(部分图块)进行了解码(也就是说，再现了仅部分图像)时，采用在对整个画面进行解码的情况下的负荷来确定解码是否可能，这可能涉及需要具有不必要高的等级(Level)的解码器的风险。此外，还存在可分发的应用可能受到不必要限制的风险。
<应用示例>
用于再现部分图像的应用的示例包括例如以下所述。
在服务器将图像分发至终端的系统中采用如例如图1中所示的应用，在切换显示区域的同时将一个画面分成多个片并且进行分发。此外，如图2所示，采用用于选择要显示(要分发)的部分区域以选择图像的长宽比和分辨率的应用。
在图1中的应用的情况下，可以将整个图像划分为以图块(Tile)为单位的多个片，并且在终端处，将包括一个或多个图块的部分图像从整个图像中切出并且进行显示。通过例如终端的性能(显示器的处理能力或尺寸(显示器分辨率))等来确定可以被显示的部分图像的尺寸(图块的数目)。此外，要显示的部分图像在整个图像中的位置可以由用户等来指定。因此，可以在终端上显示在整个图像中的期望位置处的部分图像。也就是说，终端的用户可以专注于整个图像中的期望部分。
在图2中的应用的情况下，虽然图2中的应用与图1中的应用基本上相同，但是图块被设置为使得可以选择要显示的图像的长宽比或分辨率，并且每个图块的尺寸是不固定的。以与图1中的情况类似的方式，在终端处，根据来自用户等的指令将包括一个或多个图块的部分图像从整个图像中切出并且进行显示。以此方式，仅通过选择要显示的图块，可以使要显示的图像的分辨率为HD，使尺寸为电影尺寸或扩展尺寸。
通过例如终端的性能(显示器的处理能力或尺寸(显示器分辨率))等来确定可以显示的分辨率。
因为即使在对能够被独立解码的部分图像进行解码时，在相关技术中不采用由用户等指定的根据终端的性能的对部分图像的这种自适应提供(再现)，所以采用在对整个画面进行解码的情况下的负荷来确定解码是否可能，这可能涉及需要具有不必要高的等级(Level)的解码器的风险。此外，还存在可分发的应用可能受到不必要限制的风险。
<子样本的提示信息的提供>
因此，生成包括提示信息的子样本信息，该提示信息用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考；生成包括图像数据的编码数据在内的文件；并且将所生成的子样本信息布置在文件中的编码数据的管理信息中。
由此，终端可以根据子样本信息(提示信息)来识别为了对部分区域进行解码所需的性能，并且能更准确地确定终端的解码器是否能够执行对部分区域(子样本)的解码处理。也就是说，可以更准确地识别解码所需的性能。因此，可以选择具有更适合图像数据的性能的解码器。由此，能够抑制具有不必要的高等级(Level)的解码器被应用于图像数据的解码负荷的情况的发生。此外，能够防止能够被分发的应用被不必要地限制。
此外，将部分区域(子样本)的编码数据(比特流)的报头信息从整个图像的信息更新为关于部分区域(子样本)的信息。用于更新的信息包括在文件中并且被发送。由此，终端可以将比特流的报头信息更新为关于部分区域(子样本)的信息，并且可以将信息传递给解码器。因此，解码器能够基于报头信息更准确地确定解码器是否可以对比特流进行解码。
<编码方案和文件格式>
下面将描述将本技术应用于其中编码和解码方案为HEVC和文件格式为MP4的情况的示例。
<访问单元>
在以下描述中，假定MP4的样本是HEVC的访问单元(AU)。此外，假定AU包括多个图块(Tile)。在样本表(Sample Table)中，以样本(Sample)为单位进行管理。
此外，子样本是样本的构成元素，并且例如如图3所示，针对每个编解码器(Codec)定义子样本。虽然即使子样本是这些中的任一个，仍然可以应用本技术，但是在下面的描述中，将使用图块(Tile)是子样本(基于图块的子样本)的示例来描述本技术。
<MP4文件格式>
接下来将描述MP4文件格式的概要。如图4左侧部分所示，符合MPEG-DASH的MP4文件(MP4file)包括ftyp、moov和mdat。在moov中，管理信息存储在针对每个样本(例如图片)的样本表框(Sample Table Box(stbl)中。
此外，如图4所示，在样本表框(Sample Table Box)中，提供了样本描述框(SampleDescription Box)、样本时间框(Time To Sample Box)、样本尺寸框(Sample Size Box)、样本分块框(Sample to Chunk Box)、分块偏移框(Chunk Offset Box)和子样本信息框(Subsample Information Box)。
在样本描述框中，存储了与编解码器、图像尺寸等相关的信息。例如，HEVC的比特流的参数集合(视频参数集合(VPS(Video Parameter Set))、序列参数集合(SPS(SequenceParamter Set))、补充增强信息(SEI(Supplemental Enhancement Information))、图片参数集合(PPS(Picture Parameter Set))等被存储在样本描述框内的HEVC样本条目(HEVCsample entry)的HEVC解码器配置记录(HEVC Decoder Configuration Record)中作为编解码器(Codec)信息。
此外，在样本时间框中，存储了与样本的时间相关的信息。在样本尺寸框中，存储了与样本的尺寸相关的信息。在样本分块框中，存储了与样本的数据的位置相关的信息。在分块偏移框中，存储了与数据的偏移相关的信息。在子样本信息中，存储了与子样本相关的信息。
此外，如图4所示，HEVC的每个样本(图片)的数据被存储在mdat中作为AV数据。
如图5所示，在样本时间框、样本尺寸框、样本分块框和分块偏移框中，存储了样本的访问信息，而在子样本信息框中，存储了子样本的访问信息。子样本的访问信息包括每个子样本的尺寸(Subsample Size)和附加信息(Subsample additional information)。
例如，如图5所示，当样本(图片)包括四个子样本(图块)时，在子样本信息框中，分别存储了图块1(Tile1)至图块4(Tile4)的访问信息。
在图6中示出了子样本信息框的描述示例。如图6所示，描述了每个图块的尺寸(subsample_size)，并且此外，描述了指示每个图块的位置信息的保留字段(reserved＝0)。
<图块图案>
在本技术中，上述的样本表框被扩展成使得能够在对于所有样本(如图片)而言图块图案是固定的情况、在所有样本中图块图案是可变的情况、以及在预定时段如例如IDR间隔内图块图案是固定的情况(在每个预定时段内图块图案是可变的情况)的所有情况下被应用。
<子样本提示信息框>
例如，在样本表框中，包括提示信息的子样本信息被提供作为样本表框的新框，该提示信息用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。
在图7中示出了该示例。如图7所示，在样本表框中，重新提供了子样本提示信息框(Subsample Hint Information Box)11。
子样本提示信息框11是包括用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息在内的子样本信息，并且子样本提示信息框11是与子样本信息框等不同的框。通过以此方式将作为用于再现部分图像的信息的子样本提示信息框11与作为用于再现整个图像的信息的子样本信息框分离，在用于显示整个图像的正常再现中可以忽略(不参考)整个框，使得能够便于控制。
在图7的右侧部分示出了子样本提示信息框11的描述示例。如该示例中所示，在子样本提示信息框11中，存储了诸如提示数据类型(hint_data_type)、样本计数(sample_count)和提示数据(hint_data)的信息。
提示数据类型是表示存储在该框中的子样本的提示信息的类型的信息。样本计数是表示与该信息相关联的连续样本的数目的信息。提示数据是子样本的提示信息。存储了针对每个类型的提示数据不同的信息。
<扩展方法>
接下来将描述其中包括提示信息的子样本信息的具体示例，该提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。
<示例1>
在示例1中，其中存储有为了解码(译码)所需的信息的子样本提示信息框11用于能够通过如上所述被扩展并定义的子样本信息框来访问的每个子样本(图块)。
使用子样本信息框中的表索引(table-index)将子样本和提示信息彼此相关联。
在图8中示出了子样本提示信息框11的描述示例。图8所示的子样本提示信息框11-1是示例1的描述示例。
如图8所示，在子样本提示信息框11-1中，例如，将表示信息是针对每个子样本的配置文件信息的“sspf”描述为提示数据类型(hint_data_type＝”sspf”)。
此外，在子样本提示信息框11-1中，例如，将方形12中所示的示例中的任一示例的信息描述为提示信息(hint_data)。例如，如在示例(A-1)中，可以描述表示为了对子样本(图块)进行解码所需要的配置文件等级(也就是说，等级表示对子样本的解码处理的负荷的程度)的信息(general_lebel_idc)。此外，例如，如在示例(A-2)中，可以进一步描述表示子样本(图块)是否可以独立于其他子样本(图块)被解码的标志信息(独立)。
在图9中示出了该独立(independent)的语法的示例。
此外，例如，如在示例(B-1)中，可以描述当更新子样本(图块)的比特流的序列参数集合(SPS)时要更换的信息(即，子样本的编码数据的报头信息)(nalUnitLength，nalUnit)。此外，例如，如在示例(B-2)中，可以进一步描述表示子样本(图块)是否可以独立于其他子样本(图块)被解码的标志信息(独立)。
<示例2>
作为部分图像的再现(提供)，如在图1和图2所示的示例中，存在针对多个样本的情况。因此，虽然在示例1中存储了针对每个子样本(图块)的提示信息，但是在示例2中，这样的多个子样本被布置成一组，并且还提供了为了对组进行解码所需的信息。
例如，在图10中的A的情况下，在包括图块1(Tile1)至图块5(Tile5)在内的整个图像13中仅图块3(Tile3)被提供作为一组14-1。此外，在图10中的B的情况下，图块2(Tile2)至图块4(Tile4)被提供作为一组14-2。此外，在图10中的C的情况下，在整个图像13中的所有图块(即图块1(Tile1)至图块5(Tile5))被提供作为一组14-3。
另外在示例2中，其中存储有为了解码(译码)所需的信息的子样本提示信息框11用于能够通过如上所述被扩展并定义的子样本信息框来访问的每个子样本(图块)。
然而，在示例2的情况下，将用于对多个子样本进行分组的信息和为了对每个组的图块进行解码所需的信息(通常不需要的信息)分别提供为子样本提示信息框11。也就是说，这些信息片被存储在彼此不同的框中。以此方式，可以仅使用用以存储为了对每个分组的图块组进行解码所需的信息的框来更新图块组的编码数据的序列参数集合(SPS)。
图11和图12示出了子样本提示信息框11的描述示例。在图11所示的子样本提示信息框11-2-1是用于对示例2中的多个子样本进行分组的信息的描述示例。
如图11所示，在子样本提示信息框11-2-1中，例如，将表示信息是子样本的组信息的“ssgp”描述为提示数据类型(hint_data_type＝"ssgp")。
此外，在子样本提示信息框11-2-1中，描述了组索引(group_index)，该组索引是表示子样本所属的组的识别信息。例如，在图10的示例的情况下，将如在方形15中所示的信息描述为组索引。
图12所示的子样本提示信息框11-2-2是为了对示例2中的每组图块进行解码所需的信息的描述示例。
如图12所示，在子样本提示信息框11-2-2中，例如，将表示信息是为了对每个图块组进行解码所需的信息的“sgpf”描述为提示数据类型(hint_data_type＝“sgpf”)。
此外，在子样本提示信息框11-2-2中，例如，将如方形12中所示的示例中的任一示例的信息描述为提示信息(hint_data)。也就是说，在此情况下，可以将表示子样本的组的解码处理的负荷的程度的等级和子样本的组的编码数据的报头信息描述为子样本信息。
应当注意的是，代替独立(independent)，可以存储运动约束图块集合ID(motionconstrained tile set ID)。
<示例3>
在示例2的情况下，虽然在示例3中需要多个子样本提示信息框11，但是这些框一起被放置在一个框中。在示例3中，针对每组子样本(图块)提供了子样本提示信息框11，并且在子样本提示信息框11中创建子样本的索引表。
在图13中示出了子样本提示信息框11的描述示例。图13所示的子样本提示信息框11-3是示例3的描述示例。
如图13所示，在子样本提示信息框11-3中，例如，将表示信息是针对每组子样本的配置文件信息的“sgpf”描述为提示数据类型(hint_data_type＝"sgpf")。
此外，在子样本提示信息框11-3中，例如，将方形12中所示的示例中的任一示例描述为提示信息(hint_data)。
此外，在子样本提示信息框11-3中，描述了子样本索引(subsample_index)，该子样本索引是表示子样本属于该组的识别信息。例如，在图10的示例的情况下，将如在方形16中所示的信息描述为该子样本索引。
应当注意的是，条目计数(entry_count)表示提示信息在序列内改变了多少次，以及样本计数(sample_count)表示同一提示信息在多少个样本(图片)期间持续。
也就是说，在子样本提示信息框11-3中，可以包括属于所述组的子样本的识别信息和所述组的提示信息作为子样本信息。此外，作为所述组的提示信息，可以包括表示所述组的解码处理的负载的程度的等级或所述组的编码数据的报头信息。
<样本组描述框和样本组框的扩展>
同时，在以上描述中，已经描述了其中提供了样本提示信息框11的示例，其中在文件中包括子样本信息的本技术并不限定于该方法，该子样本信息包括用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息。例如，通过扩展MP4文件格式的样本组描述框和样本组框，可以将下述子样本信息包括在文件中，该子样本信息包括用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息。
如图14所示，在MP4文件的样本表框中，可以提供样本组描述框(Sample GroupDescription Box)21和样本组框(Sample To Group Box)22。
如图15所示，在样本组描述框21中，作为视觉样本组条目(VisualSampleGroupEntry)23，存储了信息与样本表的基本信息诸如与编解码相关的信息(编解码器)和访问信息不同的信息。
在样本组框22中，存储了将视觉样本组条目23与相应的样本相关联的信息。
以此方式，可以将对于每个样本而言将会是冗余的信息设置为一体，使得能够减少信息量。
<示例4>
在示例4中，使用该样本组描述框21和样本组框22将包括提示信息的子样本信息包括在文件中，该提示信息被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考。
在图16中示出了该示例。图16所示的子样本提示信息框11-4是示例3的描述示例。在示例4中，在这些描述中，提示数据类型和在下侧处方形中所包围的包括提示数据的信息被存储在样本组描述框21中作为视觉样本组条目23。此外，在子样本提示信息框11-4中，由上侧的方形包围的包括条目计数的信息被存储在样本组框22中作为将视觉样本组条目23与样本相关联的信息。
也就是说，在该示例的情况下，可以通过仅存储要利用的图案来执行来自样本组框22的索引参考。此外，可以压缩提示数据的表，使得能够减少信息量。
应当注意的是，虽然在上述说明中已经描述了其中将示例4的方法应用于示例3的子样本提示信息框的信息的情况，但是还可以将示例4的方法应用于示例1和示例2中的子样本提示信息框的信息。也就是说，在示例1和示例2中所描述的子样本提示信息框的信息也可以以与如上所述的示例3的情况相类似的方式存储在样本组描述框21和样本组框22中。
<条目示例1>
图17的视觉样本组条目23-1表示在以与图10的示例中的组相类似的方式构成条目的情况下将视觉样本组条目23扩展成存储子样本的配置文件信息(SubSamleProfileInformation Entry扩展VisualSampleGroupEntry(‘sspi’))的示例。在该视觉样本组条目中，提示信息(hint_data)和条目所对应的组的识别信息(GroupID)针对每个条目进行设置。在此情况下，如图17所示，例如，将在如方形12中所示的示例中的任一示例的信息描述为该提示信息(hint_data)。
此外，在此情况下，如在方形31内的示例中那样列出作为属于每个条目的子样本(图块)的识别信息的子样本索引。
<条目示例2>
在图18中示出了与图10中的条目不同的条目的示例。在图18的示例的情况下，将子样本(图块)分别设置为条目(组)。也就是说，在图18中的A的情况下，将图块1(Tile1)设置为条目14-4，在图18中的B的情况下，将图块2(Tile2)设置为条目14-5，以及在图18中的C的情况下，将图块3(Tile3)设置为条目14-6。虽然没有示出，但是以类似的方式将图块4(Tile4)和图块5(Tile5)分别设置为不同的条目。
如在图18的示例中，当多个子样本(图块)未形成为一组时，换句话说，当子样本(图块)被分别设置为条目时，用以存储子样本的配置文件信息(SubSampleaProfileInforamtionEntry extends VisualSampleGroupEntry(‘sspi’))所扩展的视觉样本组条目23如图19的示例中所示。
在此情况下，如在图19的视觉样本组条目23-2中所示，例如，在如方形12中所示的示例中的任一示例的信息被描述为针对每个条目的提示信息(hint_data)。此外，如在方形32中的示例中那样列出作为属于每个条目的子样本(图块)的识别信息的子样本索引。也就是说，在此情况下，将一个子样本索引分配给每个条目。
<视觉样本组条目的其他示例>
尽管在上述说明中描述了其中如在图20中的视觉样本组条目23-2中那样子样本索引(subsample_index)被包括在例如视觉样本组条目中的情况，但是还可以存储表示子样本(图块)可以独立于其他子样本(图块)被解码的标志信息(independent)或诸如保留字段(reserved＝0)以及如下所述的关于每个子样本的子样本索引的信息。
unsigned int(2)independent
bit(6)reserved＝0；
由此方式，因为可以获知每个子样本的依赖性，所以可以将该信息用作系统执行并行解码等的辅助信息。
此外，虽然在上述说明中描述了其中如在图20中的视觉样本组条目23-2中那样将如方形12内所示的示例中的任一示例的信息描述为提示信息(hint_data)的情况，但还可以另外描述其他提示信息。例如，还可以存储与所分组的子样本(图块)的尺寸相关的信息诸如宽度(Width)和高度(height)，或者存储与所分组的子样本(图块)的位置相关的信息诸如在水平方向上的偏移(H_offset)和在垂直方向上的偏移(V_offset)。
通过储存这样的信息，系统可以容易地获取所分组的子样本的尺寸信息，而无需计算来自子样本信息框(subsample information box)的信息。
此外，还可以将mcts_id——其是用于识别在HEVC的比特流中能够被独立解码的部分区域的信息——描述为提示信息(hint_data)。
在HEVC的MCTS SEI(运动约束图块集合补充增强信息，Motion constrained tileset Supplemental Enhancement Information)中，针对每个矩形集合来设置能够被独立解码的部分区域。例如，当假定在图21的A的左上部分的阴影区域是能够被独立解码的部分区域时，如在MCTSSEI中图21的B中所示的那样，针对每个集合来设置部分区域。应当注意的是，如在图21的C中所示的示例中那样，包括在集合的图块可以与其他集合的图块重叠。可以如在例如图21的D的示例中所示的那样根据每个集合的像素的数目来计算部分区域中的像素的数目。
在图22中示出了MCTS SEI的语法的示例。如图22所示，各识别信息(mcts_id)被分配给如图21所示的部分区域。通过将该识别信息(mcts_id)描述为提示信息(hint_data)，可以容易地将HEVC的部分区域与MP4文件格式的子样本相关联，使得可以容易地更新(例如替换)例如系统中的序列参数集合(SPS)的报头信息。
<示例5>
顺便说一下，在示例4的情况下，描述了其中视觉样本组条目被扩展并且使用子样本索引描述属于每个条目的子样本的情况。在此情况下，将子样本信息框的信息用作样本中的图块的访问信息。也就是说，在此情况下，需要对其中要解析MP4文件的层中的子样本的含义进行解释。
在示例5中，将提议一种方法作为用于访问样本内的图块的方法，该方法可以取代这样的方法。也就是说，代替子样本信息框，在视觉样本组条目(Map Group Entry)中描述了构成样本的比特流的NAL单元(NAL unit)的配置。例如，视觉样本组条目被扩展，并且HEVC的比特流的NAL单元被分组(HEVCNALUUMapGroupEntry)。
当以此方式对NAL单元进行分组时，无论分组的意义如何，可以支持在其中要对MP4文件进行解析的层中具有相同处理流程的分组NAL单元。
在图23中示出了该示例。如图23所示，例如，制备了其中样本内的NAL单元要进行映射(例如，针对每个图块被分组)的视觉样本组条目，以及例如，在其中存储有视频相关信息如提示信息视觉样本组条目中，涉及了其中样本内的NAL单元要进行映射的视觉样本组条目。
视觉样本组条目使用组的标识信息(GroupID)彼此相关联。应当注意的是，当NAL单元的映射图案都相同时，不需要样本组框。
在图24的左上部分示出了视觉样本组条目(HEVCNALUMapGroupEntry()extendsVisualSampleGroupEntry(‘hcnm’))的语法的示例，在该视觉样本组条目中对样本中的NAL单元进行映射。如图24所示，在该视觉样本组条目中，设置了每个NAL单元(NAL单元)所属的组的识别信息(GroupID)。
例如，如图24的左下部分所示，在样本内存在五个子样本(图块(Tile))，并且每个子样本由两个NAL单元构成。在此情况下，NAL单元与GroupID之间的关联(NAL单元的映射图案)如在图24的右侧所示的示例中那样。因此，样本由10个NAL单元构成。在图24的左上部分所示的视觉样本组条目(HEVCNALUMapGroupEntry()extends VisualSampleGroupEntry(‘hcnm’))的语法的NALU_count表示NAL_unit的数目。此外，如图24的左下部分所示，可以定义每个图块(Tile)从哪个NAL_unit开始。在该示例中，图块1从NAL1开始，图块2从NAL3开始，图块3从NAL5开始，图块4从NAL7开始，以及图块5从NAL9开始。还可以将表示每个图块从哪个NAL_unit开始的这样的信息定义为在图24的左上部分所示的视觉样本组条目(HEVCNALUMapGroupEntry()extends VisualSampleGroupEntry(‘hcnm’))的语法。
在图25中示出了示例4中所描述的其中存储有子样本的配置文件信息的视觉样本组条目(SubSampleProfileInformationEntry extends VisualSampleGroupEntry(‘sspi’))的示例。在该视觉样本组条目中，针对每个条目设置了提示信息(hint_data)和与条目相对应的组的识别信息(GroupID)。
如图25所示，作为该提示信息(hint_data)，例如，设置了在如示例1至示例4中所描述的在方形12中所示出的示例中的任一示例的信息。
然而，在图25中，如图方形12中所示，作为提示信息，除了示例(A-1)、(A-2)、(B-1)和(B-2)之外还增加了示例(C)。这里，存储了与所分组的子样本(图块)的位置相关的信息，诸如在水平方向上的偏移(H_offset)和在垂直方向上的偏移(V_offset)。此外，存储了与所分组的子样本(图块)的尺寸相关的信息，诸如宽度(Width)和高度(height)。这些与参照图20所描述的提示信息相同。
此外，在组的识别信息(GroupID)中，在使用图24的示例所描述的其中样本内的NAL单元中被映射的视觉样本组条目设置(HEVCNALUMapGroupEntry()extendsVisualSampleGroupEntry(‘hcnm’))中设置了用于映射NAL单元的组的识别信息(GroupID)中的任意识别信息。也就是说，该组的识别信息(GroupID)表示如图10的示例中的一组图块。
应当注意的是，如在图18的示例中，也是当未对多个子样本(图块)进行分组时，在存储有子样本的配置文件信息的视觉样本组条目(SubSampleProfileInformationEntryextends VisualSampleGroupEntry(‘sspi’))中，在图26所示的示例中设置与图25的示例中的信息相类似的信息。在此情况下，该组的识别信息(GroupID)表示每个图块。
通过如上所述的那样扩展视觉样本组条目并且设置NAL单元的配置，当NAL单元被分组时，无论分组的意义如何，可以支持在其中对MP4文件进行解析的层中具有相同处理流程的所分组的NAL单元。
应当注意的是，可以将通过MAP GROUP的GROUP形成到TILE GROUP中的BOX定义为与SSPI(子样本配置文件信息，SubSample Profile Information)不同的BOX。也就是说，在为了存储图块组映射条目(TileGroupMapEntry extends VisualSampleGroupEntry(‘tgpm’))所扩展的视觉样本组条目中可以定义通过与每个条目对应的HEVCNALMapEntry的组的识别信息(GroupID)，其中图块组映射条目是与视觉样本组条目(SubSampleProfileInformationEntry extends VisualSampleGroupEntry(‘sspi’))不同的框，在该视觉样本组条目中存储有对与条目相对应的提示信息(hint_data)进行定义的子样本的配置文件信息。
在图25中的示例的情况下，TGPM的语法可以例如被设置如下：
通过这样的语法，在图25的示例的情况下，如下所述将GroupID分配给TileGroupID。
TileGroupID＝1＝>GroupID＝3
TileGroupID＝2＝>GroupID＝2,3,4
TileGroupID＝3＝>GroupID＝1,2,3,4,5
例如可以如下所述将SSPI的语法设置为与所述框不同的框。
应当注意的是，在此情况下的提示信息(hint_data)的内容与在上述示例中的内容相同(设置了在如方形12内所示的示例中的任一示例的信息)。
以此方式，通过对与定义提示信息的sspi的框不同的框中的GroupID进行分组，可以减少对其他信息的分组的依赖性，使得可以独立于其他信息来执行分组。因此，可以实现更通用的(灵活的)分组以及以更通用的使用目的来利用GroupID(TileGroupID)的组。例如，可以容易地实现groupID的层级化和非层级化定义，而无需考虑其他信息如提示信息的配置。
此外，虽然已经参照图3描述了子样本的标志(flag)定义的示例，但是在上述示例5的情况下，可以另外附加定义通过HEVC NAL Map Group Entry分组的连续NAL单元。例如，如下所述，在flag＝5中，可以将通过HEVC NAL Map Group Entry分组的连续NAL单元另外定义为子样本。
基于5:0:NAL-unit的子样本。子样本包含一个或更多个连续NAL单元。子样本被映射到GroupID，从而在HEVC NAL Map Group Entry中进行分组。
由此方式，可以实现基于NAL单元对任意组的字节访问。
<2.第二实施例>
<MP4文件(1)>
接下来将描述MP4文件的示例。图27是用于说明图块图像的MP4文件的配置示例的图。该MP4文件是通过将具有图块(Tile)结构的比特流形成到一个文件中而获得。如图27所示，该MP4文件具有五个轨道轨道1至轨道5。
轨道1具有样本描述框内的HEVC样本条目(HEVC sample entry)，并且其编解码类型是hvc1，该hvc1表示比特流是正常的HEVC比特流。该样本条目(Sample Entry)具有HEVC解码器配置记录(HEVC Decoder Configuration Record)(hvcC box)，在该HEVC解码器配置记录中存储有为了解码HEVC所需的配置信息。在该hvcC框中还储存有报头信息诸如视频参数集合(Video Parameter Set(VPS))、序列参数集合(Sequence Parameter Set(SPS))和图片参数集合(Picture Parameter Set(PPS))。可以将SEI任意地存储在该hvcC框中。
轨道1具有用于引用各轨道2至轨道5的图块(片)的提取器(extractor)轨道2至轨道5。提取器(extractor)轨道2引用轨道2的片(图块1)，以及提取器(extractor)轨道3引用轨道3的片(图块2)。以类似的方式，提取器(extractor)轨道4引用轨道4的片(图块3)，以及提取器(extractor)轨道5引用轨道5的片(图块4)。
在轨道2至轨道5中，存储有作为各图块1至图块4的实际数据的片。此外，虽然轨道2至轨道5具有样本条目(Sample Entry)，但是因为仅(独立)存储有HEVC图块，所以编解码器类型被设置为hvt1。这些轨道2至轨道5的样本条目(Sample Entry)具有为了对仅HEVC图块进行解码所需的HEVC解码器配置记录(HEVC Decoder Configuration Record)(hvtCbox)。应当注意的是，还可以将所分组的图块(Tile)存储在一个轨道中。
轨道2至轨道5还具有图块区域组条目(TileRegionGroupEntry)。在轨道2至轨道5的这些图块区域组条目(TileRegionGroupEntry)中，定义了5个参数的值，这5个参数包括作为用于识别每个图块的识别信息的GroupID、表示图块在水平方向上的位置(偏移)的H_offset、表示图块在垂直方向上的位置(偏移)V_offset、表示图块在水平方向上的尺寸(宽度)的H_width、以及表示图块在垂直方向上的尺寸(高度)的V_height。此外，这些可以针对所分组的图块(Tile)来定义。
例如，在轨道2(图块1(Tile1))的图块区域组条目(TileRegionGroupEntry)中，定义了GroupID＝1、H_offset＝0、V_offset＝0、H_width＝960和V_height＝540。此外，例如，在轨道3(图块2(Tile2))的图块区域组条目(TileRegionGroupEntry)中，定义了GroupID＝2、H_offset＝960、V_offset＝0、H_width＝960和V_height＝540。此外，例如，在轨道4(图块3(Tile3))的图块区域组条目(TileRegionGroupEntry)中，定义了GroupID＝3、H_offset＝0、V_offset＝540、H_width＝960和V_height＝540。此外，例如，在轨道5(图块4(Tile4))的图块区域组条目(TileRegionGroupEntry)中，定义了GroupID＝4、H_offset＝960、V_offset＝540、H_width＝960和V_height＝540。在此情况下，整个图像(1920×1080)包括四个图块(960×540)，所述四个图块包括在垂直方向上的两个图块和在水平方向上的两个图块。
此外，在轨道2到轨道5中，“prnt＝1”被定义为轨道参考(Track Reference)。这表明，这些轨道2到轨道5参考轨道1。也就是说，当使用该轨道参考来再现轨道2至轨道5中的任意轨道(任意图块)时，参考轨道1的信息(诸如参数集合)。
<HEVC Tile Decoder Configuration Record的语法>
HEVC解码器配置记录(HEVC Decoder Configuration Record)(hvtC box)的基本语法被设置如下，在该HEVC解码器配置记录中存储有为了对图27中的样本条目(SampleEntry)的仅HEVC图块进行解码所需的配置信息。
接下来描述HEVCTileDecoderConfigurationRecord的语法的具体例。图28是用于说明HEVC图块解码器配置记录的图。示例1中的HEVC图块解码器配置记录被构成为如图28所示的那样。扩展地增加了配置版本(configurationVersion)，mcts_tier_flag和mcts_level_idc。
configurationVersion表示HEVC图块解码器配置记录的版本。在HEVC中，针对相同的图像尺寸定义了具有不同比特率的两种类型的配置文件的层次。也就是说，这两种类型是主层次和高层次。mcts_tier_flag是表示该层次是哪一层的标志。mcts_level_idc是表示作为解码负荷定义信息的部分区域的解码处理的负荷的程度的等级，该解码负荷定义信息定义了可以在时间性MCTS SEI(时间性运动约束图块集合补充增强信息)中被独立解码的部分区域的解码处理的负荷的程度。
这里，将描述时间性运动约束图块集合SEI(temporal_motion_constrained_tile_sets SEI)。图29是示出时间性MCTS SEI的语法的示例的图。在图29所示的时间性MCTS SEI的语法中，存储有包括mcts_tier_flag、mcts_level_idc、max_mcts_tier_flag和max_mcts_level_id在内的各种信息。
应当注意的是，时间性MCTS SEI与MCTS SEI除了名称之外基本相同。此外，图28和图29中的mcts_level_idc与图8、图12、图13、图17、图19、图20、图25、图26等中的方形12中所示的generals_level_idc除了名称之外基本相同。
在图28的示例中，在与HEVC解码器配置记录具有相同的数据结构并且被存储在temporal_motion_contrained_tile_sets SEI中的参数中，仅设置了用于确定HEVC图块的解码所需的参数即mcts_tier_flag和mcts_level_idc。在图28中的HEVCTileDecoderConfigurationRecord中，对于其他条目设置为零，这是因为其他条目不是必需的。可替选地，设置与HEVC解码器配置记录相同的值。
也就是说，在该示例1中，在numOfArrays中基本上没有存储。
<HEVCTileDecoderConfigurationRecord的语法的示例2>
图30是用于说明HEVC图块解码器配置记录的图。示例2的HEVC图块解码器配置记录被构成为如图30中所示的那样。
图30的示例2与图28的示例1具有基本相同的配置，不同的是，虽然在示例1中在numOfArrays中基本上没有存储，但是在示例2中，在numOfArrays中存储了对应于HEVC图块的temporal_motion_constrained_tile_sets SEI。
<HEVCTileDecoderConfigurationRecord的语法的示例3>
图31是用于说明HEVC图块解码器配置记录的图。示例3的HEVC图块解码器配置记录被构成为如图31中所示的那样。
如图31所示，在示例3中，与图28和图30的示例不同，代替HEVC图块解码器配置记录被扩展，唯一指定了HEVC图块解码器配置记录的图案。也就是说，在示例3中，除了configurationVersion之外，在存储于temporal_motion_constrained_tile_sets SEI中的参数中，存储了仅mcts_tier_flag和mcts_level_idc，这是用于确定HEVC图块的解码所需的参数。
<HEVCTileDecoderConfigurationRecord的语法的示例4>
图32是用于说明HEVC图块解码器配置记录的图。示例4的HEVC图块解码器配置记录被构成为如图32中所示的那样。
如图32所示，在示例4中，除了configurationVersion之外，仅mcts_tier_flag、mcts_level_idc、max_mcts_tier_flag和max_mcts_level_id被存储作为用于确定存储在temporal_motion_constrained_tile_sets SEI中的HEVC图块的解码的参数。max_mcts_tier_flag和max_mcts_level_id——其分别表示mcts_tier_flag和mcts_level_idc的最大值——是为了再现其他图块所需的配置文件信息。也就是说，这些是整个流中的最大Tile的信息。在后面将要描述的图36中的示例中，这被存储在另一个框(hvte box)中。
当在相同的流中存在多个Tile的情况下Tile的尺寸不同时，存在针对每个Tile所需的mcts_tier_flag和mcts_level_idc彼此不同的情况。在此情况下，作为最大值的max_mcts_tier_flag和max_mcts_level_idc与针对每个Tile的mcts_tier_flag和mcts_level_idc一起被存储，并且用作解码处理的提示信息。
<HEVCTileDecoderConfigurationRecord的语法的示例5>
图33是用于说明HEVC图块解码器配置记录的图。示例5的HEVC图块解码器配置记录被构成为如图33中所示的那样。
如图33所示，在示例5中，与用于确定对HEVC图块的解码所需的HEVC图块相对应的temporal_motion_constrained_tile_sets SEI被存储在nalUnit中。因此，在NAL_unit_type中，存储了表示类型为SEI的NALunit类型。
<HEVCTileDecoderConfigurationRecord的语法的示例6>
图34是用于说明HEVC图块解码器配置记录的图。示例6的HEVC图块解码器配置记录被构成为如图34中所示的那样。
如图34所示，示例6具有将图31中的示例3和图33中的示例5进行合成的配置。也就是说，将示例3中的从configurationVersion的行至mcts_level_idc的行的部分与示例5中的lengthSizeMinusOne的行和之后的行的部分进行合成。换句话说，除了configurationVersion之外，存储有：mcts_tier_flag和mcts_level_idc，其是用于确定对存储在temporal_motion_constrained_tile_sets SEI中的HEVC图块的解码所需的参数；以及与用于确定HEVC图块的解码所需的HEVC图块相对应的temporal_motion_constrained_tile_sets SEI。
<HEVCTileDecoderConfigurationRecord的语法的示例7>
图35是用于说明HEVC图块解码器配置记录的图。示例7的HEVC图块解码器配置记录构成为如图35中所示的那样。
如图35所示，示例7具有其中将图32中的示例4和图33中的示例5中进行合成的结构。也就是说，将示例4中的从configurationVersion的行至max_mcts_level_idc的行的部分与示例5中的lengthSizeMinusOne的行和之后的行的部分进行合成。换句话说，除了configurationVersion之外，存储有：mcts_tier_flag、mcts_level_idc、max_mcts_tier_flag和max_mcts_level_id，其是用于确定对存储在temporal_motion_constrained_tile_sets SEI中的HEVC图块的解码所需的参数；以及与用于确定HEVC图块的解码所需的HEVC图块相对应的temporal_motion_constrained_tile_sets SEI。
<MP4文件(2)>
图36是用于说明与图27不同的图块图像的MP4文件的结构的示例的图。图36中的MP4文件与图27中的MP4文件基本上具有相同的结构，而图36中的MP4文件与图27中的MP4文件的不同在于轨道1的样本条目具有除hvcCbox之外的hvte box。
在图36中的MP4文件中，作为在图32中描述的整个流中的最大Tile的信息的max_mcts_tier_flag和max_mcts_level_id被存储在作为基轨道的轨道1的hvte box中。
图37是用于说明HEVC图块扩展框的图。图37中的A表示图36中的轨道1的样本条目的视觉样本组条目的扩展，并且除HEVConfigurationBox(hvcC box)之外，增加了HEVCTileExtensionBox()(hvte box)。图37中的B表示HEVCTileExtensionBox()的语法。如图37的B中所示，存储了max_mcts_tier_flag和max_mcts_tier_id。
由于max_mcts_tier_flag和max_mcts_level_id是关于整个流中的最大Tile的信息，所以max_mcts_tier_flag和max_mcts_level_id未被存储在图块轨道(轨道2至轨道5)中，而是被存储在作为基轨道的轨道1中。由此方式，可以容易地获取用于对任意图块独立地进行解码所需的最大值。
<MP4文件(3)>
图38是用于说明图块图像的MP4文件的结构的示例的图。图38中的MP4文件与图27中的MP4文件具有基本相同的结构，不同之处在于：虽然在图27中的MP4文件中用于对仅HEVC图块进行解码所需的配置信息被存储在轨道2至轨道5的样本条目的hvtCbox中，而在图38中的MP4文件中，不仅tempral_motion_constrained_tile_sets SEI被存储在hvtCbox中，而且如在图30、图33、图34和图35中所示的示例中那样，用于对仅HEVC图块进行解码所需的VPS、SPS和PPS也存储在hvtCbox中。
由此方式，当对图块2至图块5中任一个进行再现时，不必访问作为基轨道的轨道1的信息来获得其参数集合。
<3.第三实施例>
<图像编码设备>
接下来将描述用于实现如上所述的本技术的设备及其方法。图39是示出作为本技术所应用于的图像处理设备的一个方面的图像编码设备的图。图39中所示的图像编码设备100是用于使用HEVC编码方案对输入图像数据进行编码并且使用MP4文件格式来形成文件的设备。
如图39所示，图像编码设备100具有图像编码单元101、子样本信息生成单元102和MP4文件生成单元103。
图像编码单元101将输入图像数据的整个图像分成称为图块(Tile)的部分图像，将每个图块设置为通过HEVC编码方案所支持的图块(Tile)并且针对每个图块对整个图像的图像数据进行编码。也就是说，生成了HEVC编码方案中能够针对每个图块被独立解码的比特流(HEVC比特流)。
图像编码单元101将所获得HEVC比特流提供至MP4文件生成单元103。另外，图像编码单元101将与如何划分整个图像有关的图块(Tile)信息和每个图块的配置文件信息提供给子样本信息生成单元102。
子样本信息生成单元102使用从图像编码单元101提供的图块信息和配置文件信息来生成子样本信息(扩展子样本信息)、子样本信息支持MP4文件格式并且包括图块信息和配置文件信息，即包括被用作用于对作为在整个图像中能够被独立解码的部分区域的子样本的解码处理的参考的提示信息。子样本信息生成单元102将所生成的扩展子样本信息提供至MP4文件生成单元103。
MP4文件生成单元103将从图像编码单元101提供的HEVC比特流形成至使用MP4文件格式的文件中，并且将从子样本信息生成单元102提供的扩展子样本信息存储在包括HEVC比特流的文件的用于管理HEVC比特流的管理信息中。
此时，MP4文件生成单元103将扩展子样本信息布置为与上述的管理信息的样本表框(Sample Table Box)的子样本信息框(Subsample Information Box)不同的子样本提示信息框(Subsample Hint Information Box)。
可替选地，MP4文件生成单元103将上述管理信息的样本表框(Sample Table Box)的样本组描述框(Sample Group Description Box)中的扩展子样本信息布置为视觉样本组条目(VisualSampleGroupEntry)，并且将指定子样本信息要应用于的样本的信息布置在样本组框(Sample To Group Box)中。
应当注意的是，子样本信息的内容与第一实施例中描述的示例中的任一示例相同。例如，在示例5的情况下，由子样本信息生成单元102生成的扩展子样本信息不仅包括被用作用于对作为在整个图像中能够被独立解码的部分区域的子样本信息的解码处理的参考的提示信息，而且包括用于对NAL单元进行分组的映射组信息(Map Group Entry)。
然后MP4文件生成单元103输出如上所述而生成的MP4文件并且经由网络、记录介质等或信息处理设备等将MP4文件传送至例如解码侧。
由此方式，图像编码设备100能够更准确地识别解码所需的性能。
<图像编码处理的流程>
接下来将描述由上述图像编码设备100执行的每个处理的流程。将参照图40中的流程图来描述图像编码处理的流程的示例。
当开始图像编码处理时，在步骤S101中，图像编码单元101对图像数据进行编码，使得能够针对每个子样本(图块)对图像数据进行解码。
在步骤S102中，图像编码单元101提取有关图块的信息例如每个图块的图块信息和配置文件信息。
在步骤S103中，子样本信息生成单元102使用与在步骤S102中提取的图块有关的信息来生成包括图块的提示信息的扩展子样本信息。
在步骤S104中，MP4文件生成单元103使用扩展子样本信息来生成MP4文件，使得被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息被包括在moov的样本表框中。
当步骤S104中的处理结束时，图像编码处理结束。
通过执行如上所述的图像编码处理，图像编码设备100能够更准确地识别解码所需的性能。
<第四实施例>
<图像解码设备>
接下来将描述对如上所述所编码的编码数据的解码。图41是示出作为本技术所应用于的图像处理设备的一个方面的与图像编码设备100对应的图像解码设备的主要部件的框图。图41中所示的图像解码设备200使用与编码方案对应的解码方案对由图像编码设备100生成的编码数据进行解码。也就是说，图像解码设备200从MP4文件中提取HEVC比特流，对HEVC比特流进行解码，并且输出图像数据。此时，图像解码设备200能够例如通过利用由HEVC支持的图块结构来对包括独立于其他部分的一个或多个图块(Tile)的部分图像进行解码。此时，图像解码设备200能够基于被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息来确定解码是否可能。
如图41所示，图像解码设备200具有MP4文件再现单元201、子样本信息处理单元202和图像解码单元203。
MP4文件再现单元201执行确定所输入MP4文件的再现是否可能的处理，执行再现MP4文件的处理并且执行错误处理。MP4文件再现单元201通过利用子样本信息处理单元202来执行这些处理，生成包括一个或多个图块的部分图像(当然，可以使用整个图像)的HEVC比特流，并且将HEVC比特流提供给图像解码单元203。
子样本信息处理单元202在确定再现是否可能的处理和再现处理期间执行关于子样本信息的处理。应当注意的是，子样本信息的内容与第一实施例中描述的示例中的任一示例相同。例如，在示例5的情况下，由子样本信息生成单元102生成的扩展子样本信息不仅包括被用作用于对作为在整个图像中能够被独立解码的部分区域的子样本的解码处理的参考的提示信息，而且包括用于对NAL单元进行分组的映射组信息(Map Group Entry)。
图像解码单元203对在MP4文件再现单元201中生成的HEVC比特流进行解码并且输出图像数据。
由此方式，图像解码设备200能够更准确地识别解码所需的性能。
<图像解码处理的流程>
接下来将描述由如上所述的图像解码设备200执行的每个处理的流程。首先，将参照图42中的流程图来描述图像解码处理的流程的示例。
当开始图像解码处理时，在步骤S201中，图像解码设备200的MP4文件再现单元201和子样本信息处理单元202确定由用户等指定的部分图像是否能够针对包括在所输入的MP4文件中的HEVC比特流进行再现。
在步骤S202中，MP4文件再现单元201基于在步骤S201中的处理结果来确定是否执行再现。当确定执行再现时，处理进行至步骤S203。
在步骤S203中，MP4文件再现单元201和子样本信息处理单元202执行再现处理。
在步骤S204中，图像解码单元203对通过步骤S203中的处理所获得的包括一个或多个图块的部分图像的编码数据进行解码，并且输出包括一个或多个图块的部分图像的图像数据。
当步骤S204中的处理结束时，图像解码处理结束。
此外，在步骤S202中，当确定不执行再现时，处理进行至步骤S205。
在步骤S205中，MP4文件再现单元201执行错误处理，该错误处理是在解码不能正常执行的情况下的预定处理。该错误处理可以为任何处理。例如，解码可以被强制终止(包括中断和暂停)，或者可以使用图像、声音等向用户发出警告。此外，例如，可以获取具有较低水平的另外的编码流以再次执行解码。另外，例如，可以在允许在解码图像中生成干扰的同时对编码流进行强制解码。
当步骤S205中的处理结束时，图像解码处理结束。
<确定再现是否可能的处理的流程>
接下来将参照图43中的流程图来描述在图42中的步骤S201中执行的确定再现是否可能的处理的流程的示例。
当开始确定再现是否可能的处理时，在步骤S221中，MP4文件再现单元201从MP4文件的样本表框中的样本描述框的HEVC样本条目中获取包括在MP4文件中的HEVC比特流的序列参数集合(SPS)。
在步骤S222中，MP4文件再现单元201确定包括在序列参数集合(SPS)中的配置信息是否是与图像解码单元203对应的配置文件信息。也就是说，MP4文件再现单元201基于包括在序列参数集合(SPS)中的信息来确定图像解码单元203是否能够对包括在MP4文件中的整个图像的HEVC比特流进行解码。
如果确定解码是可能的，则处理进行至步骤S223。在步骤S223中，MP4文件再现单元201执行控制，使得执行再现。也就是说，确定执行图42中的步骤S202中的再现。
当步骤S223中的处理结束时，确定再现是否可能的处理结束，并且处理返回至图42。
另外，在步骤S222中，当确定配置文件信息与图像解码单元203不对应时，即当确定图像解码单元203不能对包括在MP4文件中的整个图像的HEVC比特流进行解码时，处理进行至步骤S224。在步骤S224中，子样本信息处理单元202从MP4文件的样本表框中获取图块(子样本)的提示信息。
在步骤S225中，子样本信息处理单元202确定包括在步骤S224中获取的提示信息中的配置文件信息是否是与图像解码单元203对应的配文件置信息。也就是说，子样本信息处理单元202确定图像解码单元203是否能够对包括在MP4文件中的包括一个或多个图块的部分图像的HEVC比特流进行解码。
如果确定解码是可能的，则处理返回至步骤S223。也就是说，也在此情况下，MP4文件再现单元201执行控制使得执行再现。
另外，在步骤S225中，当确定配置文件信息与图像解码单元203不对应时，也就是说，当确定图像解码单元203不能对包括在MP4文件中的部分图像的HEVC比特流进行解码时，处理进行至步骤S226。
在步骤S226中，MP4文件再现单元201执行控制使得如上所述来执行错误处理。
当步骤S226中的处理结束时，确定再现是否可能的处理结束，并且处理返回至图42。
<再现处理的流程>
接下来将参照图44中的流程图来描述图42中的步骤S203中执行的再现处理的流程的示例。
当开始再现处理时，在步骤S241中，MP4文件再现单元201从MP4文件中获取序列参数集合(SPS)和图片参数集合。
在步骤S242中，子样本信息处理单元202从MP4文件中获取要再现的图块的提示信息。
在步骤S243中，MP4文件再现单元201使用在步骤S242中获得的图块的提示信息来更新在步骤S241中获取的序列参数集合(SPS)。例如，当提示信息是方形12中的示例(A-1)或(A-2)时，MP4文件再现单元201使用包括在提示信息中的信息(例如配置等级)来重写序列参数集合(SPS)的信息。另外，例如当提示信息是方形12中的示例(B-1)或(B-2)时，MP4文件再现单元201用序列参数集合(SPS)来取代包括在提示信息中的信息。
在步骤S244中，子样本信息处理单元202从MP4文件中获取要再现的图块的数据。此时，在示例1至示例4的情况下，子样本信息处理单元202参考子样本信息框来访问构成子样本(图块)的NAL单元的数据，并且获取如在图6中的示例中的数据。另外，在示例5的情况下，子样本信息处理单元202参考NAL单元与GroupID之间的关联(NAL单元的映射图案)(MapGroup Entry)来访问构成子样本(图块)的NAL单元的数据，设置在其中NAL单元被映射在样本中的视觉样本组条目(HEVCNALUMapGroupEntry()extends VisualSmapleGroupEntry(‘hcnm’))中并且获取如在图24中的示例中的数据。
在步骤S245中，MP4文件再现单元201使用步骤S244中获得的图块的数据、在步骤S243中更新的序列参数集合等来生成要再现的图块(部分图像)的比特流。
当步骤S245中的处理结束时，处理返回至图42。也就是说，对部分图像的所生成的比特流进行解码。
通过执行如上所述的每个处理，图像解码设备200能够更准确地识别解码所需的性能。
<再现处理的流程>
接下来将参照图45中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S261中，MP4文件再现单元201从视觉样本组条目中获取与图块的位置有关的信息(H_offset，V_offset)以及与图块的尺寸有关的信息(Width，Height)。
在步骤S262中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的图块。
在步骤S263中，子样本信息处理单元202从视觉样本组条目中获取有关与所选择的图块对应的NAL单元的映射图案的信息(NALU_count，groupID)。
在步骤S264中，子样本信息处理单元202基于与在步骤S263中获取的NAL单元的映射图案有关的信息来获取图块的数据。
在步骤S265中，MP4文件再现单元201再现步骤S264中获取的图块的比特流。
当步骤S265中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的比特流进行解码。
通过执行如上所述的每个处理，图像解码设备200能够更准确地识别解码所需的性能。
<再现处理的流程>
接下来将参照图46中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S281中，MP4文件再现单元201从视觉样本组条目获取与图块的位置有关的信息(H_offset，V_offset)和与图块的尺寸有关的信息(Width，Height)。
在步骤S282中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的区域。
在步骤S283中，子样本信息处理单元202从视觉组条目中获取基于与期望再现的区域对应的TileGroupID的多个GroupID。
在步骤S284中，子样本信息处理单元202从视觉样本组条目中获取有关与所选择的多个GroupID的图块对应的NAL单元的映射图案的信息(NALU_count，groupID)。
在步骤S285中，子样本信息处理单元202基于在步骤S284中获取的与NAL单元的映射图案有关的信息来获取每个图块的数据。
在步骤S286中，MP4文件再现单元201对在步骤S285中获取的每个图块的比特流进行再现。
当步骤S286中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的比特流进行解码。
通过执行如上所述的每个处理，图像解码设备200能够更准确地识别解码所需的性能。
<再现处理的流程>
接下来将参照图47中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S301中，MP4文件再现单元201从图块区域组条目中获取与图块的位置有关的信息(H_offset，V_offset)和与图块的尺寸有关的信息(Width，Height)。
在步骤S302中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的图块。
在步骤S303中，子样本信息处理单元202获取与在步骤S302中所选择的图块对应的轨道。
在步骤S304中，MP4文件再现单元201对与在步骤S303中获取的多个轨道对应的图块的比特流进行再现。
当步骤S304中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的比特流进行解码。
通过执行如上所述的每个处理，图像解码设备200能够更准确地识别解码所需的性能。
<再现处理的流程>
接下来将参照图48中的流程图来描述图42中的步骤S203中执行的再现处理的流程的另一示例。
当开始再现处理时，在步骤S321中，MP4文件再现单元201从图块区域组条目中获取与图块的位置有关的信息(H_offset，V_offset)和与图块的尺寸有关的信息(Width，Height)。
在步骤S322中，MP4文件再现单元201基于所获取的与图块的位置有关的信息和与图块的尺寸有关的信息来选择期望再现的区域。
在步骤S323中，子样本信息处理单元202基于与期望再现的区域对应的TileGroupID从图块组条目中获取多个GroupID。
在步骤S324中，子样本信息处理单元202获取与在步骤S323中所选择的多个图块对应的轨道。
在步骤S325中，MP4文件再现单元201对与在步骤S324中获取的多个轨道对应的多个图块的比特流进行再现。
当步骤S324中的处理结束时，处理返回至图42。也就是说，对所再现的部分图像的比特流进行解码。
通过执行如上所述的每个处理，图像解码设备200能够更准确地识别解码所需的性能。
本技术能够应用于能够对部分图像进行编码或解码的任何图像编码设备和图像解码设备。
另外，本技术能够应用于当经由例如卫星广播、线缆电视、因特网和移动电话的网络介质接收到例如在MPEG、H.26x等中通过正交变换例如离散余弦变换和运动补偿所压缩的图像信息(比特流)时所使用的图像编码设备和图像解码设备。另外，本技术能够应用于当在例如光盘、磁盘和闪速存储器的存储介质上执行处理时所使用的图像编码设备和图像解码设备。
<5.第五实施例>
<计算机>
上述一系列处理能够通过硬件来执行并且也能够通过软件来执行。当通过软件来执行一系列处理时，将软件的程序安装在计算机中。这里，计算机包括嵌入专用硬件中的计算机，例如能够通过安装各种程序来实现各种功能的通用个人计算机。
图49是示出根据程序来执行上述一系列处理的计算机的硬件配置的示例的框图。
在图49中所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902以及随机存取存储器(RAM)903经由总线904来相互连接。
输入和输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入和输出接口910。
输入单元911由例如键盘、鼠标、麦克风、触摸板或输入端子形成。输出单元912由例如显示器、扬声器或输出端子形成。存储单元913由例如硬盘、RAM盘或非易失性存储器形成。通信单元914由例如网络接口形成。驱动器915驱动可移除介质921，诸如磁盘、光盘、磁光盘或半导体存储器。
在具有上述配置的计算机中，例如CPU 901通过经由输入和输出接口910和总线904将存储在存储单元913中的程序加载至RAM 903并且执行该程序来执行上述处理。RAM903还适当地存储CPU 901执行各种处理所必要的数据。
例如，由计算机(CPU 901)执行的程序能够被记录在可移除介质921如要应用的封装介质中。在该情况下，通过将可移除介质921安装在驱动器915上，能够经由输入和输出接口910将程序安装在存储单元913中。
还能够经由有线或无线传输介质诸如局域网、因特网或数字卫星广播来提供程序。在该情况下，能够由待安装在存储单元913中的通信单元914来接收程序。
另外，还能够将程序预先安装在ROM 902或者存储单元913中。
由计算机执行的程序可以是按照本说明书中描述的顺序来按时间顺序进行处理的程序或者可以是在必要时刻例如平行地或在被调用时进行处理的程序。
在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按照所描述的顺序来按时间顺序执行的处理，而且包括平行地或各自地而不按时间顺序执行的处理。
在本说明书中，系统意指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件可以被包括在相同的壳体中或者不被包括在相同的壳体中。因此，容纳在不同壳体中并且经由网络连接的多个设备和其中多个模块被容纳在单个壳体中的单个设备均为系统。
上述作为单个设备(或处理单元)的配置可以被划分且配置为多个设备(或处理单元)。相比而言，上述作为多个设备(或处理单元)的配置可以被集中并且配置为单个设备(或处理单元)。当然可以将除上述配置之外的配置添加至设备(或处理单元)的配置。另外，只要配置或操作在整个系统中基本上相同，则某些设备(或处理单元)的配置的一部分可以被包括在其他设备(或其他处理单元)的配置中。
以上已经参照附图描述了本公开内容的优选实施例，然而，本公开内容当然不限于以上示例。在所附权利要求范围内，本领域技术人员可以找到各种变型和修改，并且应当理解的是，所述各种变型和修改自然将在本公开内容的技术范围内。
例如，在本技术中，可以实现其中由多个设备经由网络来共享并且联合地处理单个功能的云计算配置。
上述流程图中描述的每个步骤能够由单个设备来执行，并且还能够由多个设备来共享和执行。
当多个处理包括在单个步骤中时，包括在单个步骤中的多个处理能够由单个设备执行并且还能够由多个设备来共享和执行。
根据上述实施例的图像编码设备和图像解码设备能够应用于各种电子设备，诸如在卫星广播、有线广播例如有线电视或者因特网的递送中以及通过蜂窝通信递送至终端的发送器或接收器、将图像记录在例如光盘、磁盘或闪速存储器的介质中的记录设备、或者用于再现来自存储介质的图像的再现设备。
本技术不限于此，并且本技术能够实现为安装在构成系统的一个或更多个设备中的任何配置，例如系统大规模集成(LSI)形式的处理器、使用多个处理器的模块、使用多个模块的单元、通过将其他功能进一步添加至单元所获得的集合(即，设备的部分配置)等。
在本说明书中，已经描述了其中各种类型的信息被复用在编码流中并且从编码侧被发送至解码侧的示例。然而，发送信息的方法不限于示例。例如，信息可以被发送或记录为与编码比特流相关联的不同数据块，而不被复用在编码比特流中。这里，术语“相关联”意指包括在比特流中的图像(其可以为图像的一部分，例如片或块)，并且与图像对应的信息能够在解码时被链接。也就是说，可以沿与图像(或比特流)不同的传输路径来发送信息。可以将信息记录在与图像(或比特流)不同的记录介质(或者相同记录介质的不同记录区域)中。另外，可以将信息和图像(或比特流)例如在诸如多个帧、单个帧或帧的一部分的任何单元中相互关联。
此外，本技术还可以如以下进行配置。
(1)一种图像编码设备，包括：
编码单元，所述编码单元被配置成对图像数据进行编码；
子样本信息生成单元，所述子样本信息生成单元被配置成生成所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对子样本的解码处理的参考的提示信息，所述子样本是能够被独立解码的部分区域；以及
文件生成单元，所述文件生成单元被配置成：生成文件，所述文件包括由所述编码单元生成的所述图像数据的编码数据和所述编码数据的管理信息；以及将由所述子样本信息生成单元生成的所述子样本信息布置在所述管理信息中。
(2)根据(1)和(3)至(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元生成下述子样本信息，所述子样本信息包括：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；以及所述提示信息。
(3)根据(1)、(2)和(4)至(15)中任一项所述的图像编码设备，
其中，所述提示信息包括：表示对所述子样本的解码处理的负荷的程度的等级。
(4)根据(1)至(3)和(5)至(15)中任一项所述的图像编码设备，
其中，所述提示信息包括所述子样本的编码数据的报头信息。
(5)根据(1)至(4)和(6)至(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元生成包括下述内容的子样本信息：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；以及所述子样本所属的组的识别信息。
(6)根据(1)至(5)和(7)至(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元还生成包括下述内容的子样本信息：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；以及提示信息，所述提示信息包括表示对子样本的组的解码处理的负荷的程度的等级。
(7)根据(1)至(6)和(8)至(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元还生成包括下述内容的子样本信息：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；以及提示信息，所述提示信息包括子样本的组的编码数据的报头信息。
(8)根据(1)至(7)和(9)至(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元生成包括下述内容的子样本信息：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；属于一组的子样本的识别信息；以及所述组的提示信息。
(9)根据(1)至(8)和(10)至(15)中任一项所述的图像编码设备，
其中，所述提示信息包括：表示对所述组的解码处理的负荷的程度的等级。
(10)根据(1)至(9)和(11)至(15)中任一项所述的图像编码设备，
其中，所述提示信息包括对所述组的编码数据的报头信息。
(11)根据(1)至(10)和(12)至(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元生成下述子样本信息，所述子样本信息包括表示子样本的尺寸和位置的信息。
(12)根据(1)至(11)和(13)至(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元生成下述子样本信息，所述子样本信息包括表示子样本能够被独立解码的信息。
(13)根据(1)至(12)、(14)和(15)中任一项所述的图像编码设备，
其中，所述子样本信息生成单元生成下述子样本信息，所述子样本信息包括用于对构成样本的NAL单元进行分组的信息。
(14)根据(1)至(13)和(15)中任一项所述的图像编码设备，
其中，所述文件生成单元将所述子样本信息布置为与所述管理信息的样本表框(Sample Table Box)的子样本信息框(Subsample Information Box)不同的子样本提示信息框(SubsampleHint Information Box)。
(15)根据(1)至(14)中任一项所述的图像编码设备，
其中，所述文件生成单元将所述子样本信息作为视觉样本组条目(VisualSampleGroupEntry)布置在所述管理信息的样本表框(Sample Table Box)的样本组描述框(Sample Group Description Box)中，并且将指定所述子样本信息被应用于的样本的信息布置在样本组框(Sample To Group Box)中。
(16)根据(1)至(15)中任一项所述的图像编码设备，其中，所述文件生成单元将用于仅对所述部分图像进行解码所需的所述子样本信息布置在具有所述部分图像的轨道的所述管理信息的样本表框(Sample Table Box)的样本组描述框(Sample GroupDescription Box)的样本条目(Sample Entry)中。
(17)根据(1)至(16)中任一项所述的图像编码设备，其中，所述子样本信息是用于确定对存储在与HEVC解码器配置记录的数据结构相同的数据结构中的时间性运动约束图块集合SEI(temporal_motion_constrained_tile_sets SEI)中的HEVC图块的解码所需的参数。
(18)根据(1)至(17)中任一项所述的图像编码设备，其中，所述参数包括mctstear flag(mcts_tear_flag)和mcts level idc(mcts_level_idc)。
(19)根据(1)至(18)中任一项所述的图像编码设备，其中，所述部分图像信息还包括与HEVC图块对应的时间性运动约束图块集合SEI(temporal_motion_constrained_tile_sets SEI)。
(20)根据(1)至(19)中任一项所述的图像编码设备，其中，所述子样本信息还包括max mcts tear flag(max_mcts_tear_flag)和max mcts level idc(max_mcts_level_idc)。
(21)根据(1)至(20)中任一项所述的图像编码设备，还包括与用于确定对HEVC图块的解码所需的HEVC图块对应的时间性运动约束图块集合SEI。
(22)根据(1)至(21)中任一项所述的图像编码设备，其中，所述max mcts tearflag(max_mcts_tear_flag)和所述max mcts level idc(max_mcts_level_idc)被布置在基轨道中。
(23)一种图像编码方法，包括：
对图像数据进行编码；
生成所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息；以及
生成文件，所述文件包括所生成的所述图像数据的编码数据以及所述编码数据的管理信息，并且将所生成的子样本信息布置在所述管理信息中。
(24)一种图像解码设备，包括：
获取单元，所述获取单元被配置成获取文件，该文件包括图像数据的编码数据和所述编码数据的管理信息，所述编码数据的管理信息中布置有所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息。
子样本信息分析单元，所述子样本信息分析单元被配置成分析包括在由所述获取单元获取的所述文件中的所述子样本信息；
控制单元，所述控制单元被配置成基于由所述子样本信息分析单元对所述子样本信息的分析结果来控制对所述编码数据的解码；
编码数据生成单元，所述编码数据生成单元被配置成根据由所述控制单元的控制、从包括在由所述获取单元获取的所述文件中的所述编码数据来生成所述子样本的编码数据；
解码单元，所述解码单元被配置成根据由所述控制单元的控制来对由所述编码数据生成单元生成的所述子样本的所述编码数据进行解码；
(25)根据(24)中所述的图像编码设备，其中，所述控制单元基于所述子样本信息的所述提示信息来确定所述解码单元是否能够对所述子样本的所述编码数据进行解码，并且当所述编码数据能够被解码时执行控制以对所述子样本的所述编码数据进行解码。
(26)根据(24)至(25)中任一项所述的图像编码设备，其中，所述编码数据生成单元基于所述子样本信息来更新所述子样本的所述编码数据的报头信息。
(27)一种图像解码方法，包括：
获取文件，所述文件包括图像数据的编码数据和所述编码数据的管理信息，所述编码数据的管理信息中布置有所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对作为能够被独立解码的部分区域的子样本的解码处理的参考的提示信息；
分析所获取的文件中所包括的所述子样本信息；
基于所述子样本信息的分析结果来控制对所述编码数据的解码；
根据所述控制、从所获取的文件中所包括的所述编码数据来生成所述子样本的编码数据；以及
根据所述控制来对所生成的所述子样本的编码数据进行解码。
(31)一种信息处理设备，包括：
文件生成单元，所述文件生成单元被配置成生成MP4文件格式的文件，在所述文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在所述整个图像中所述部分图像能够被独立解码，并且编码的部分图像被存储在mdat中；以及
存储单元，所述存储单元被配置成存储由所述文件生成单元生成的所述文件。
(32)根据(31)所述的信息处理设备，
其中，表示所述部分图像在所述整个图像中的位置的所述信息包括：表示所述部分图像在水平方向上的偏移的信息；以及表示所述部分图像在垂直方向上的偏移的信息。
(33)根据(31)和(32)所述的信息处理设备，
其中，表示所述部分图像在所述整个图像中的位置的信息使用所述moov中的VisualSampleGroupEntry来定义。
(34)根据(31)至(33)中任一项所述的信息处理设备，
其中，在由所述文件生成单元生成的所述文件中，表示所述部分图像的尺寸的信息也存储在所述moov中。
(35)根据(34)所述的信息处理设备，
其中，表示所述部分图像的尺寸的所述信息包括：表示所述部分图像的高度的信息；以及表示所述部分图像的宽度的信息。
(36)根据(31)至(35)中任一项所述的信息处理设备，
其中，所述部分图像是高效视频编码(HEVC)中的图块。
(37)根据(36)所述的信息处理设备，
其中，所述部分图像包括多个NAL单元。
(38)根据(37)所述的信息处理设备，
其中，在由所述文件生成单元生成的所述文件中，表示构成所述部分图像的所述多个NAL单元的相关信息也存储在所述moov中。
(39)根据(38)所述的信息处理设备，
其中，所述相关信息包括：表示针对所述NAL单元中的每个NAL单元的相关组的组信息。
(40)根据(38)或(39)所述的信息处理设备，
其中，所述相关信息包括：表示所述多个NAL单元的数目的信息。
(41)根据(38)至(40)中任一项所述的信息处理设备，
其中，所述相关信息包括：指定所述部分图像中的第一NAL单元的信息。
(42)根据(31)至(41)中任一项所述的信息处理设备，
其中，所述部分图像被存储在所述文件中的第一轨道中，并且在所述整个图像中能够被独立解码的另外的部分图像被存储在除所述第一轨道之外的轨道中。
(43)根据(31)至(42)中任一项所述的信息处理设备，还包括：
发送单元，所述发送单元被配置成将由所述存储单元存储的所述文件发送到另外的设备。
(44)一种信息处理方法，包括：
生成MP4文件格式的文件，在所述文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在所述整个图像中所述部分图像能够被独立解码，并且编码的部分图像被存储在mdat中；以及
存储所生成的文件。
(45)一种信息处理设备，包括：
文件再现单元，所述文件再现单元被配置成再现MP4文件格式的文件，在所述文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在所述整个图像中所述部分图像能够被独立解码，并且编码的部分图像被存储在mdat中。
(46)根据(45)所述的信息处理设备，
其中，表示所述部分图像在所述整个图像中的位置的所述信息包括：表示所述部分图像在水平方向上的偏移的信息；以及表示所述部分图像在垂直方向上的偏移的信息。
(47)根据(45)或(46)所述的信息处理设备，
其中，表示所述部分图像在所述整个图像中的位置的信息使用所述moov中的VisualSampleGroupEntry来定义。
(48)根据(45)至(47)中任一项所述的信息处理设备，
其中，在所述文件中，表示所述部分图像的尺寸的信息也存储在所述moov中。
(49)根据(48)所述的信息处理设备，
其中，表示所述部分图像的尺寸的所述信息包括：表示所述部分图像的高度的信息；以及表示所述部分图像的宽度的信息。
(50)根据(45)至(49)中任一项所述的信息处理设备，
其中，所述部分图像是高效视频编码(HEVC)中的图块。
(51)根据(50)所述的信息处理设备，
其中，所述部分图像包括多个NAL单元。
(52)根据(51)所述的信息处理设备，
其中，在所述文件中，表示构成所述部分图像的所述多个NAL单元的相关信息也存储在所述moov中。
(53)根据(52)所述的信息处理设备，
其中，所述相关信息包括：表示针对所述NAL单元中的每个NAL单元的相关组的组信息。
(54)根据(52)或(53)所述的信息处理设备，
其中，所述相关信息包括：表示所述多个NAL单元的数目的信息。
(55)根据(52)至(54)中任一项所述的信息处理设备，
其中，所述相关信息包括：指定所述部分图像中的第一NAL单元的信息。
(56)根据(45)至(55)中任一项所述的信息处理设备，
其中，所述部分图像被存储在所述文件中的第一轨道中，并且在所述整个图像中能够被独立解码的另外的部分图像被存储在除所述第一轨道之外的轨道中。
(57)根据(45)至(56)中任一项所述的信息处理设备，还包括：
接收单元，所述接收单元被配置成接收所述文件，
其中，所述文件再现单元再现由所述接收单元接收到的所述文件。
(58)根据(45)至(57)中任一项所述的信息处理设备，
其中，在所述文件中，表示所述部分图像在所述整个图像中的位置的信息、表示所述部分图像的尺寸的信息和表示构成所述部分图像的所述多个NAL单元的相关信息被存储在VisualSampleGroupEntry中，并且
其中，所述文件再现单元
基于表示所述部分图像在所述整个图像中的位置的所述信息和表示所述部分图像的尺寸的所述信息来选择期望再现的部分图像，以及
基于所述相关信息来获取期望再现的所述部分图像的数据，并且生成比特流。
(59)根据(45)至(58)中任一项所述的信息处理设备，
其中，在所述文件中，表示所述部分图像在所述整个图像中的位置的信息、表示所述部分图像的尺寸的信息和表示构成所述部分图像的所述多个NAL单元的相关信息被存储在VisualSampleGroupEntry中，并且
其中，所述文件再现单元
基于表示所述部分图像在所述整个图像中的位置的所述信息和表示所述部分图像的尺寸的所述信息来选择期望再现的区域，以及
基于所述相关信息来获取与期望再现的所述区域相对应的部分图像的数据，并且生成比特流。
(60)根据(45)至(59)中任一项所述的信息处理设备，
其中，在所述文件中，表示所述部分图像在所述整个图像中的位置的信息和表示所述部分图像的尺寸的信息被存储在TileRegionGroupEntry中，并且
其中，所述文件再现单元
基于表示所述部分图像在所述整个图像中的位置的信息和表示所述部分图像的尺寸的信息来选择期望再现的图块，
获取与所选择的期望再现的图块相对应的轨道，以及
生成与所获取的轨道相对应的部分图像的比特流。
(61)根据(45)至(60)中任一项所述的信息处理设备，
其中，在所述文件中，表示所述部分图像在所述整个图像中的位置的信息和表示所述部分图像的尺寸的信息被存储在TileRegionGroupEntry中，并且
其中，所述文件再现单元
基于表示所述部分图像在所述整个图像中的位置的信息和表示所述部分图像的尺寸的信息来选择期望再现的区域，
获取与所选择的期望再现的区域相对应的多个轨道，以及
生成与所获取的多个轨道相对应的部分图像的比特流。
(62)根据(45)至(61)中任一项所述的信息处理设备，还包括：
解码单元，所述解码单元被配置成对由所述文件再现单元生成并再现的所述部分图像的比特流进行解码。
(63)一种信息处理方法，包括：
再现MP4文件格式的文件，在所述文件中，表示部分图像在整个图像中的位置的信息被存储在moov中，在所述整个图像中所述部分图像能够被独立解码，并且编码的部分图像被存储在mdat中。
附图标记列表
100 图像编码设备
101 图像编码单元
102 子样本信息生成单元
103 MP4文件生成单元
200 图像解码设备
201 MP4文件再现单元
202 子样本信息处理单元
203 图像解码单元

Claims (13)

1.一种图像编码设备，包括：
编码单元，所述编码单元被配置成对图像数据进行编码；
子样本信息生成单元，所述子样本信息生成单元被配置成生成所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对子样本的解码处理的参考的提示信息，所述子样本是能够被独立解码的部分区域；以及
文件生成单元，所述文件生成单元被配置成：生成文件，所述文件包括由所述编码单元生成的所述图像数据的编码数据和所述编码数据的管理信息；以及将由所述子样本信息生成单元生成的所述子样本信息布置在所述管理信息中，
其中，所述子样本信息生成单元生成包括下述内容的子样本信息：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；以及所述提示信息，以及
其中，所述提示信息包括：表示对所述子样本的解码处理的负荷的程度的等级。
2.根据权利要求1所述的图像编码设备，
其中，所述提示信息还包括所述子样本的编码数据的报头信息。
3.根据权利要求1所述的图像编码设备，
其中，所述子样本信息生成单元还生成下述子样本信息，所述子样本信息包括表示子样本的尺寸和位置的信息。
4.根据权利要求1所述的图像编码设备，
其中，所述子样本信息生成单元还生成下述子样本信息，所述子样本信息包括表示子样本能够被独立解码的信息。
5.根据权利要求1所述的图像编码设备，
其中，所述子样本信息生成单元还生成下述子样本信息，所述子样本信息包括用于对构成样本的NAL单元进行分组的信息。
6.根据权利要求1所述的图像编码设备，
其中，所述文件生成单元将所述子样本信息布置为与所述管理信息的样本表框SampleTable Box的子样本信息框Subsample Information Box不同的子样本提示信息框SubsampleHint Information Box。
7.根据权利要求1所述的图像编码设备，
其中，所述文件生成单元将所述子样本信息作为视觉样本组条目VisualSampleGroupEntry布置在所述管理信息的样本表框Sample Table Box的样本组描述框Sample Group Description Box中，并且将指定应用所述子样本信息的样本的信息布置在样本组框Sample To Group Box中。
8.根据权利要求1所述的图像编码设备，
其中，所述子样本是高效视频编码HEVC中的图块Tile。
9.一种图像编码设备，包括：
编码单元，所述编码单元被配置成对图像数据进行编码；
子样本信息生成单元，所述子样本信息生成单元被配置成生成所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对子样本的解码处理的参考的提示信息，所述子样本是能够被独立解码的部分区域；以及
文件生成单元，所述文件生成单元被配置成：生成文件，所述文件包括由所述编码单元生成的所述图像数据的编码数据和所述编码数据的管理信息；以及将由所述子样本信息生成单元生成的所述子样本信息布置在所述管理信息中，
其中，所述子样本信息生成单元生成包括下述内容的子样本信息：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；所述子样本所属的组的识别信息；以及提示信息，所述提示信息包括表示对子样本的组的解码处理的负荷的程度的等级。
10.根据权利要求9所述的图像编码设备，
其中，所述提示信息还包括子样本的组的编码数据的报头信息。
11.一种图像编码设备，包括：
编码单元，所述编码单元被配置成对图像数据进行编码；
子样本信息生成单元，所述子样本信息生成单元被配置成生成所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对子样本的解码处理的参考的提示信息，所述子样本是能够被独立解码的部分区域；以及
文件生成单元，所述文件生成单元被配置成：生成文件，所述文件包括由所述编码单元生成的所述图像数据的编码数据和所述编码数据的管理信息；以及将由所述子样本信息生成单元生成的所述子样本信息布置在所述管理信息中，
其中，所述子样本信息生成单元生成包括下述内容的子样本信息：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；属于一组的子样本的识别信息；以及所述组的提示信息，以及
其中，所述提示信息包括：表示对所述组的解码处理的负荷的程度的等级。
12.根据权利要求11所述的图像编码设备，
其中，所述提示信息还包括对所述组的编码数据的报头信息。
13.一种图像编码方法，包括：
对图像数据进行编码；
生成所述图像数据的图像的子样本信息，所述子样本信息包括被用作用于对子样本的解码处理的参考的提示信息，所述子样本是能够被独立解码的部分区域；以及
生成文件，所述文件包括所生成的所述图像数据的编码数据以及所述编码数据的管理信息，并且将所生成的子样本信息布置在所述管理信息中，
其中，所述子样本信息包括下述内容：表示所述子样本信息中所包含的提示信息的类型的提示数据类型；表示与所述子样本信息相关联的连续样本的数目的样本计数；以及所述提示信息，以及
其中，所述提示信息包括：表示对所述子样本的解码处理的负荷的程度的等级。
CN201480040554.2A 2013-07-22 2014-07-18 信息处理设备和方法 Active CN105393532B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2013-152124 2013-07-22
JP2013152124 2013-07-22
JP2013154023 2013-07-24
JP2013-154023 2013-07-24
JP2014058763 2014-03-20
JP2014-058763 2014-03-20
PCT/JP2014/069214 WO2015012225A1 (ja) 2013-07-22 2014-07-18 情報処理装置および方法

Publications (2)

Publication Number Publication Date
CN105393532A CN105393532A (zh) 2016-03-09
CN105393532B true CN105393532B (zh) 2019-04-19

Family

ID=52393266

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201480040438.0A Active CN105379256B (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201910816408.9A Active CN110460858B (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201480040437.6A Pending CN105379255A (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201480040554.2A Active CN105393532B (zh) 2013-07-22 2014-07-18 信息处理设备和方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201480040438.0A Active CN105379256B (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201910816408.9A Active CN110460858B (zh) 2013-07-22 2014-07-18 信息处理装置和方法
CN201480040437.6A Pending CN105379255A (zh) 2013-07-22 2014-07-18 信息处理装置和方法

Country Status (13)

Country Link
US (3) US10356459B2 (zh)
EP (3) EP3026901B1 (zh)
JP (4) JP6414062B2 (zh)
KR (2) KR102229848B1 (zh)
CN (4) CN105379256B (zh)
AU (3) AU2014294215B2 (zh)
BR (1) BR112016000920A2 (zh)
CA (2) CA2916892A1 (zh)
MX (2) MX358607B (zh)
MY (2) MY182651A (zh)
RU (3) RU2650181C2 (zh)
SG (3) SG10201807579YA (zh)
WO (3) WO2015012226A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6209026B2 (ja) * 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
EP3092796B1 (en) * 2014-01-07 2020-06-17 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies
GB2538998A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
WO2018123608A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 画像処理装置および方法
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10897612B2 (en) 2017-03-03 2021-01-19 Qualcomm Incorporated Coding identifiers for motion constrained tile sets
GB2560720B (en) * 2017-03-20 2021-08-25 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
WO2018186550A1 (ko) * 2017-04-05 2018-10-11 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US11049219B2 (en) * 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
WO2019009473A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 360도 비디오의 영역 기반 처리 방법 및 장치
JP2019054417A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
KR102569347B1 (ko) * 2018-12-20 2023-08-22 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 비디오 인코딩 및 디코딩에서의 개선된 타일 어드레스 시그널링
US11310516B2 (en) * 2018-12-21 2022-04-19 Hulu, LLC Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
EP3972260A4 (en) * 2019-07-04 2022-08-03 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, REPRODUCTION PROCESSING DEVICE AND REPRODUCTION PROCESSING METHOD
JPWO2021020142A1 (zh) * 2019-07-30 2021-02-04
CN114342402A (zh) * 2019-09-11 2022-04-12 索尼集团公司 信息处理装置、信息处理方法、再现处理装置和再现处理方法
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
US20230124473A1 (en) * 2020-03-04 2023-04-20 Sony Group Corporation Image processing device and image processing method
WO2021182089A1 (ja) * 2020-03-09 2021-09-16 ソニーグループ株式会社 ファイル処理装置、ファイル処理方法、及び、プログラム
US11877011B2 (en) 2020-09-17 2024-01-16 Lemon Inc. Picture dimension indication in decoder configuration record
US11902552B2 (en) * 2020-09-17 2024-02-13 Lemon Inc. Decoder configuration record in coded video
JP7468391B2 (ja) * 2021-02-09 2024-04-16 株式会社Ｊｖｃケンウッド 撮像装置および撮像処理方法
CN114173075B (zh) * 2021-10-22 2024-01-30 广州市奥威亚电子科技有限公司 用于录制的mp4文件保存方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841708A (zh) * 2009-03-18 2010-09-22 索尼公司 图像处理设备和方法、以及信息处理设备和方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929862A (en) * 1996-08-05 1999-07-27 Hewlett-Packard Co. Antialiasing system and method that minimize memory requirements and memory accesses by storing a reduced set of subsample information
JP2004505519A (ja) * 2000-07-13 2004-02-19 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｍｐｅｇ−４符号器及び斯様な符号器の出力符号化信号
EP2320661B8 (en) * 2001-11-29 2015-09-02 Godo Kaisha IP Bridge 1 Coding distortion removal method
WO2003073768A1 (en) * 2002-02-25 2003-09-04 Sony Electronics, Inc. Method and apparatus for supporting avc in mp4
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
WO2004008733A2 (en) * 2002-07-15 2004-01-22 Nokia Corporation Method for error concealment in video sequences
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
US20060245729A1 (en) * 2003-08-08 2006-11-02 Masanori Itoh Data processing device and data processing method
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
JP2008042566A (ja) * 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
CN101578884B (zh) * 2007-01-08 2015-03-04 诺基亚公司 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
EP2174502A2 (en) * 2007-06-26 2010-04-14 Nokia Corporation System and method for indicating temporal layer switching points
FR2932046B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de crypter visuellement les objets mobiles au sein d'un flux video compresse
FR2932045B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission
CN102177718B (zh) * 2008-10-07 2014-03-12 艾利森电话股份有限公司 一种用于产生多视图媒体数据的方法及设备
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN102714715B (zh) * 2009-09-22 2016-01-20 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
EP2757517A1 (en) * 2010-03-30 2014-07-23 NS Solutions Corporation Information processing apparatus, information processing method and program
KR20120010089A (ko) * 2010-07-20 2012-02-02 삼성전자주식회사 Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9325999B2 (en) * 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
WO2011144097A2 (zh) 2011-05-26 2011-11-24 华为技术有限公司 重排、抽取分片中媒体数据的方法、设备及系统
EP2752011B1 (en) * 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US20130114694A1 (en) 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
ES2907510T3 (es) * 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
WO2014047943A1 (zh) * 2012-09-29 2014-04-03 华为技术有限公司 视频编码及解码方法、装置及系统
US20140092953A1 (en) * 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
CN102970544A (zh) * 2012-12-07 2013-03-13 豪威科技(上海)有限公司 Jpeg编码和解码方法及系统
CN116708767A (zh) * 2013-01-04 2023-09-05 Ge视频压缩有限责任公司 高效可伸缩编码概念
GB2509956B (en) * 2013-01-18 2016-05-04 Canon Kk Method, device and computer program for efficient encapsulation of timed tiled media data
RU2654051C1 (ru) * 2013-01-18 2018-05-16 Кэнон Кабусики Кайся Способ, устройство и компьютерная программа для инкапсуляции сегментированных синхронизированных мультимедийных данных
CN110225356B (zh) * 2013-04-08 2024-02-13 Ge视频压缩有限责任公司 多视图解码器
GB2551296B (en) * 2013-04-09 2018-02-28 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data
WO2015005367A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像復号装置および方法
EP3092772B1 (en) * 2014-01-07 2019-07-31 Nokia Technologies Oy Media encapsulating and decapsulating

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841708A (zh) * 2009-03-18 2010-09-22 索尼公司 图像处理设备和方法、以及信息处理设备和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Support for efficient tile access in the HEVC File Format;Jean Le Feuvre et al.;《ISO/IEC JTC1/SC29/WG11 MPEG2012/M29231》;20130430;正文第1,2,4节

Also Published As

Publication number Publication date
MY177309A (en) 2020-09-11
EP3026899A1 (en) 2016-06-01
KR102304687B1 (ko) 2021-09-27
CA2916881A1 (en) 2015-01-29
CN105379256A (zh) 2016-03-02
CN105379255A (zh) 2016-03-02
SG11201600254UA (en) 2016-02-26
EP3026900A1 (en) 2016-06-01
JPWO2015012226A1 (ja) 2017-03-02
WO2015012225A1 (ja) 2015-01-29
US10356459B2 (en) 2019-07-16
CA2916892A1 (en) 2015-01-29
BR112016000920A2 (pt) 2020-03-10
JP6587025B2 (ja) 2019-10-09
SG11201600260RA (en) 2016-02-26
EP3026901A4 (en) 2016-12-28
AU2014294127A1 (en) 2016-02-11
US10701425B2 (en) 2020-06-30
SG10201807579YA (en) 2018-10-30
AU2014294215A1 (en) 2016-02-11
JP6414061B2 (ja) 2018-10-31
RU2016101199A (ru) 2017-07-18
RU2018135747A (ru) 2018-11-19
CN105379256B (zh) 2019-11-12
MY182651A (en) 2021-01-27
CN105393532A (zh) 2016-03-09
EP3026900B1 (en) 2021-09-29
US10419801B2 (en) 2019-09-17
JPWO2015012227A1 (ja) 2017-03-02
KR20160034889A (ko) 2016-03-30
MX2016000537A (es) 2016-04-11
KR20160034890A (ko) 2016-03-30
US20160150241A1 (en) 2016-05-26
US20160198207A1 (en) 2016-07-07
AU2018271391A1 (en) 2018-12-20
RU2016101176A (ru) 2017-07-20
WO2015012227A1 (ja) 2015-01-29
CN110460858B (zh) 2021-12-10
EP3026899A4 (en) 2016-12-28
AU2014294127B2 (en) 2018-09-13
CN110460858A (zh) 2019-11-15
EP3026901A1 (en) 2016-06-01
AU2014294215B2 (en) 2018-10-04
JP6439981B2 (ja) 2018-12-19
KR102229848B1 (ko) 2021-03-22
JPWO2015012225A1 (ja) 2017-03-02
JP2019050589A (ja) 2019-03-28
RU2650181C2 (ru) 2018-04-11
RU2016101176A3 (zh) 2018-05-04
MX358607B (es) 2018-08-24
MX365935B (es) 2019-06-20
MX2016000538A (es) 2016-03-16
US20160156928A1 (en) 2016-06-02
JP6414062B2 (ja) 2018-10-31
WO2015012226A1 (ja) 2015-01-29
EP3026901B1 (en) 2021-04-14
RU2674312C2 (ru) 2018-12-06
EP3026900A4 (en) 2016-12-21

Similar Documents

Publication Publication Date Title
CN105393532B (zh) 信息处理设备和方法
CN110036641A (zh) 虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现
JP7028398B2 (ja) デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
CN104221386A (zh) 译码视频及存储视频内容的方法
CN115699751A (zh) 信息处理装置和方法
WO2019138929A1 (ja) 情報処理装置および方法
WO2019138928A1 (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant