CN107211159A - 文件格式中样本分组用信号发送 - Google Patents

文件格式中样本分组用信号发送 Download PDF

Info

Publication number
CN107211159A
CN107211159A CN201580075701.4A CN201580075701A CN107211159A CN 107211159 A CN107211159 A CN 107211159A CN 201580075701 A CN201580075701 A CN 201580075701A CN 107211159 A CN107211159 A CN 107211159A
Authority
CN
China
Prior art keywords
frames
sample
sampletogroup
ordinary
syntactic element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580075701.4A
Other languages
English (en)
Other versions
CN107211159B (zh
Inventor
伏努·亨利
王业奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107211159A publication Critical patent/CN107211159A/zh
Application granted granted Critical
Publication of CN107211159B publication Critical patent/CN107211159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

一种装置在用于视频内容的存储的文件的容器框中产生提供对于样本分组的样本群组描述的SampleGroupDescription框。所述SampleGroupDescription框包含具有特定值的分组类型语法元素。另外，所述SampleGroupDescription框包含一或多个样本群组项。所述装置在所述同一容器框中产生多个SampleToGroup框。所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，包含指示各别样本分组中的样本的数目的各别样本计数语法元素，且包含指示所述SampleGroupDescription框中描述所述各别样本分组的样本的项的索引的各别群组描述索引语法元素。所述各别样本分组的每一样本包含所述视频内容的各别图片。

Description

文件格式中样本分组用信号发送
本申请案主张2015年2月11日申请的美国临时专利申请案第62/115,087号的权益，所述申请案的全部内容以引用方式并入。
技术领域
本发明涉及视频译码及用于经译码视频数据的文件格式。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些视频压缩技术。视频装置可通过实施这些视频压缩技术更高效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块(其还可被称作树型块)、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)的切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余变换系数。可扫描最初布置成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
本发明的一或多个方面涉及按文件格式存储视频内容。举例来说，本发明的技术可改良样本分组机制的设计及根据ISO基本媒体文件格式及基于所述ISO基本媒体文件格式导出的文件格式而形成的文件中的流式存取点(SAP)样本分组的用信号发送。
在一个方面中，本发明描述一种产生用于视频内容的存储的文件的方法，所述方法包含：在所述文件的容器框中产生包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中所述文件属于所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框的特定文件格式；在所述文件的所述同一容器框中产生多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片；及输出所述文件。
在另一方面中，本发明描述一种用于产生用于视频内容的存储的文件的装置，所述装置包括：存储器，其经配置以存储所述文件；及一或多个处理器，其经配置以：产生所述文件的容器框，使得所述文件符合特定文件格式，其中作为产生所述容器框的部分，一或多个处理器执行以下动作：产生包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中所述文件属于所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框的特定文件格式；及在所述文件的所述同一容器框中产生多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片；及输出所述文件。
在另一方面中，本发明描述一种用于产生用于视频内容的存储的文件的装置，所述装置包括：用于产生所述文件的容器框，使得所述文件符合特定文件格式的装置，其中用于产生所述容器框的所述装置包括：用于产生包含一或多个群组描述项的SampleGroupDescription框的装置，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中所述文件属于所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框的特定文件格式；及用于在所述文件的所述同一容器框中产生多个SampleToGroup框的装置，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片；及用于输出所述文件的装置。
在另一方面中，本发明描述一种存储有指令的计算机可读数据存储媒体，所述指令在被执行时使得用于产生用于视频内容的存储的文件的装置的一或多个处理器：产生所述文件的容器框，使得所述文件符合特定文件格式，其中，作为产生所述容器框的部分，所述一或多个处理器执行以下动作：产生包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中所述文件属于所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框的特定文件格式；及在所述文件的所述同一容器框中产生多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片；及输出所述文件。
在另一方面中，本发明描述一种用于读取用于视频内容的存储的文件的装置，所述装置包括：存储器；其经配置以存储所述文件；及一或多个处理器，其经配置以从所述文件获得所述文件的容器框，其中所述容器框包括：包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中对所述特定文件格式的要求为所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框；及多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片。
在另一方面中，本发明描述一种用于读取用于视频内容的存储的文件的方法，所述方法包括：获得所述文件；及从所述文件获得所述文件的容器框，其中所述容器框包括：包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中对所述特定文件格式的要求为所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框；及多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片。
在另一方面中，本发明描述一种用于读取用于视频内容的存储的文件的装置，所述装置包括：用于获得所述文件的装置；及用于从所述文件获得所述文件的容器框的装置，其中所述容器框包括：包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中对所述特定文件格式的要求为所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框；及多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片。
在另一方面中，本发明描述一种存储有指令的计算机可读存储媒体，所述指令在被执行时使得装置：从文件获得所述文件的容器框，其中所述容器框包括：包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中对所述特定文件格式的要求为所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框；及多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片。
在附图及以下描述中阐明本发明的一或多个实例的细节。其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1是说明可使用本发明中描述的技术的实例视频编码及解码系统的框图。
图2是说明可实施本发明中所描述的技术的实例视频编码器的框图。
图3是说明可实施本发明中所描述的技术的实例视频解码器的框图。
图4是说明形成网络的部分的一组实例装置的框图。
图5是轨道中的样本序列中的两种不同流式存取点(SAP)样本类型的概念图。
图6A是说明根据本发明的一或多种技术的文件的实例结构的概念图。
图6B是说明根据本发明的一或多种技术的文件的实例结构的概念图。
图6C是说明根据本发明的一或多种技术的文件的实例结构的概念图。
图7A是说明根据本发明的一或多种技术的文件的实例结构的概念图。
图7B是说明根据本发明的一或多种技术的文件的实例结构的概念图。
图7C是说明根据本发明的或多种技术的文件的实例结构的概念图。
图8是说明根据本发明的技术的源装置的实例操作的流程图。
图9是说明根据本发明的技术的用于读取用于视频内容的存储的文件的装置的实例操作的流程图。
具体实施方式
国际标准组织(ISO)基本媒体文件格式(ISOBMFF)及从ISO基本媒体文件格式导出的文件格式被设计用于视频内容的存储。ISOBMFF是依据存储经编码视频数据及相关联元数据的一组嵌套“框”进行定义的。举例来说，媒体数据框可包含一或多个样本。所述样本中的每一者可包含存取单元中的一或多个图片的经编码视频数据。
另外，ISOBMFF文件中的框可包含SampleToGroup框及SampleGroupDescription框。在本发明中，SampleToGroup框可被称作“样本至群组框”且SampleGroupDescription框可被称作“样本群组描述框”。一般来说，SampleToGroup框包含定义样本的一或多个群组的语法元素。在本发明中，样本的群组还可被称作“样本群组”或“样本分组”。此外，一般来说，SampleGroupDescription框包含样本群组的描述。
更确切地说，SampleToGroup框包含分组类型语法元素。分组类型语法元素还可被称作grouping_type语法元素。另外，SampleToGroup框包含一或多个样本群组项。SampleToGroup框中的每一各别样本群组项包含各别样本计数语法元素及各别群组描述索引语法元素。各别样本计数语法元素指示各别群组描述索引适用于的连续样本的数目。
SampleGroupDescription框也包含分组类型语法元素。当SampleToGroup框的分组类型语法元素与SampleGroupDescription框的分组类型语法元素匹配时，SampleToGroup框与SampleGroupDescription框被称为对应于彼此。SampleGroupDescription框包含一或多个群组描述项。SampleGroupDescription框中的每一各别群组描述项包含各别样本群组的描述。SampleToGroup框中的群组描述索引识别对应SampleGroupDescription框中的对应群组描述项。
举例来说，SampleToGroup框可具有第一样本群组项，其包含具有等于5的值的样本计数语法元素及具有等于3的值的群组描述索引。因此，在此实例中，五个连续样本属于由对应SampleGroupDescription框中的第三群组描述项描述的样本群组。在此实例中，SampleToGroup框可具有第二样本群组项，其包含具有等于4的值的样本计数语法元素及具有等于2的值的群组描述索引。因此，在此实例中，接下来四个连续样本属于由对应SampleGroupDescription框中的第二群组描述项描述的样本群组。
存在ISOBMFF的多个版本。在ISOBMFF的版本(其被称作版本1)中，除上述语法元素以外，SampleToGroup框还包含分组类型参数语法元素。分组类型参数语法元素为与分组类型语法元素分离的语法元素。本发明可将ISOBMFF的版本1中所定义的在SampleToGroup框中定义的样本群组称为版本1样本群组。分组类型参数语法元素可表示为grouping_type_parameter。分组类型参数语法元素并不存在于符合ISOBMFF的初始版本的文件的SampleToGroup框中。分组类型参数语法元素为样本分组的子类型的指示。因此，SampleToGroup框可包含“分组类型”语法元素及分离的“分组类型参数”语法元素。
在下文中被简称为“ISOBMFF规范”或“N14574”的版本的ISOBMFF规范可从http:// phenix.int-evry.fr/mpeg/doc_end_user/documents/109_Sapporo/wg11/w14574-v2- w14574.zip获得。ISOBMFF规范包括如由COR 1、FDAM1、FDAM2、COR2及FDAM 3修改的2012年7月15日的名称为ISO/IEC 15444-12第四版，信息技术-JPEG 2000-图像译码系统，第12部分：ISO基本媒体文件格式的文件(在下文中，“15444-12”或“15444-12规范”)。ISOBMFF规范还包括Singer等人的2014年7月25日于日本札幌公布的名称为“ISO/IEC 14496-12,Amd.4,改良式音频支持(improved audio support)”的ISO/IEC JTC1/SC29/WG11,MPEG2014/w14325的文件(在下文中，“14496-12”或“14996-12规范”)。
在SampleToGroup框中引入分组类型参数语法元素造成若干问题。举例来说，在引入分组类型参数语法元素的情况下，版本1样本群组的分组类型实际上由分组类型语法元素及分组类型参数语法元素两者定义。以此方式定义版本1样本群组的分组类型可造成问题，这是由于可获得的ISOBMFF规范的其它部分依赖于样本群组的分组类型是单独由分组类型参数语法元素定义的假设。举例来说，在ISOBMFF规范中对于SampleGroupDescription框定义的语意并不以任何方式考虑到分组类型参数语法元素。其它实例在本发明其它处予以描述。
本发明描述用于解决这些问题的若干技术。举例来说，根据本发明的技术，提议将针对相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系定义为1对N关系，其中N非零正整数。因此，分组类型语法元素具有相同值的多个SampleToGroup框可对应于分组类型语法元素具有所述值的单一SampleGroupDescription框。在一些情况下，这些SampleToGroup框中的每一者可具有值不同的分组类型参数语法元素。以此方式定义所述关系可在不改变SampleGroupDescription框或SampleToGroup框的语法的情况下解决上述问题。相反，此实例的实施方案可仅仅涉及SampleGroupDescription框及/或SampleToGroup框的语意及描述的变化。
根据此技术的一个实例，源装置可在文件的容器框中产生包含一或多个群组描述项的SampleGroupDescription框。在本发明中，容器框为含有一或多个其它框的框。在用于HEVC及其它视频格式的输送(carriage)的ISOBMFF扩展中，容器框的实例类型包含样本表框、轨道片段框，及其它类型的框。每一各别群组描述项提供对于各别样本群组的描述。SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素。在此实例中，SampleGroupDescription框中的分组类型语法元素具有特定值，且容器框为样本表框或轨道片段框。此外，在此实例中，源装置可在文件的同一容器框中产生多个SampleToGroup框。在此实例中，多个SampleToGroup框的每一各别SampleToGroup框包含具有特定值的各别分组类型语法元素。另外，每一各别SampleToGroup框包含一或多个样本群组项。一或多个样本群组项的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素。一或多个样本群组项的每一各别样本群组项包括指示SampleGroupDescription框中提供各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素。各别样本群组的每一样本包括视频内容的一或多个图片。在此实例中，源装置可输出文件。
图1为说明可使用本发明中描述的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生稍后时间将由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记型(即，膝上)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能”电话)、所谓“智能”平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些状况下，源装置12及目的地装置14可经配备用于无线通信。因此，源装置12及目的地装置14可被当作无线通信装置。源装置12及目的地装置14可被当作视频装置。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些状况下，输出接口22可包含调变器/解调变器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频捕捉装置(例如，摄像机)、含有先前所捕捉视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口，及/或用于产生计算机图形数据作为源视频的计算机图形系统的源，或这些源的组合。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。
视频编码器20可编码经捕捉、预先捕捉或计算机产生的视频。源装置12可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置33上，用于稍后由目的地装置14或其它装置存取，以用于解码及/或播放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。此外，在图1的实例中，目的地装置14包含存储媒体29及文件剖析单元31。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置33上所提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，其供例如视频解码器30的视频解码器在解码视频数据时使用。这些语法元素可与发射于通信媒体上、存储于存储媒体上，或存储于文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成显示装置且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为多种适合的编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为各别装置中的组合式编码器/解码器(编解码器CODEC)的部分。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括用以使源装置12能够将经编码视频数据直接实时发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调变经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于封包的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可适用于促进从源装置12到目的地装置14的通信的设备。
替代地，输出接口22可将经编码数据输出到存储装置33。类似地，输入接口28可存取经编码数据存储装置33。存储装置33可包含多种分散式或本地存取的数据存储媒体中的任何者，例如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适数字存储媒体。在再一实例中，存储装置33可对应于文件服务器或可保有由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而存取来自存储装置33的经存储的视频数据。文件服务器可为能够存储经编码视频数据且将彼经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置，或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码的视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器，等等)，或两者的组合。经编码视频数据从存储装置33的传输可为流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，所述应用例如，空中电视广播、有线电视发射、卫星电视发射、(例如)经由因特网的流式传输视频发射、用于存储于数据存储媒体上的数字视频数据的编码、存储于数据存储媒体上的数字视频数据的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持应用(例如，视频流、视频播放、视频广播及/或视频电话)。
此外，在图1的实例中，视频译码系统10包含文件产生装置34。文件产生装置34可接收由源装置12产生的经编码视频数据。文件产生装置34可产生包含所述经编码视频数据的文件。目的地装置14可接收由文件产生装置34产生的文件。在各种实例中，文件产生装置34可包含各种类型的计算装置。举例来说，文件产生装置34可包括视频编码装置、媒体感知网络元件(MANE)、服务器计算装置、个人计算装置、专用计算装置、商业计算装置，或另一类型的计算装置。在一些实例中，文件产生装置34为内容递送网络的部分。文件产生装置34可经由例如链路16的信道从源装置12接收经编码视频数据。此外，目的地装置14可经由例如链路16的信道从文件产生装置34接收文件。文件产生装置34可被当作视频装置。如图1的实例中所示，文件产生装置34可包括存储器31，其经配置以存储含有经编码视频内容的文件。
在其它实例中，源装置12或另一计算装置可产生包含经编码视频数据的文件。然而，为了易于解释，本发明将文件产生装置34描述为产生文件。然而，应理解，这些描述一般适用于计算装置。
视频编码器20及视频解码器30可根据例如高效率视频译码(HEVC)标准或其扩展的视频压缩标准操作。HEVC标准还可被称作ISO/IEC 23008-2。最近，已由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合协作小组(JCT-VC)完成HEVC的设计。最新的HEVC草案规范(且下文被称作HEVC WD)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip获得。HEVC的多视图扩展(即MV-HEVC)也已由JCT-3V开发。题为“MV-HEVC Draft Text 5”且下文被称作MV-HEVCWD5的MV-HEVC的最近工作草案(WD)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip获得。HEVC的可伸缩扩展(被称为SHVC)也已由JCT-VC开发。题为“高效率视频译码(HEVC)可伸缩扩展草案3(Highefficiency video coding(HEVC)scalable extension draft 3)”且下文被称作SHVC WD3的SHVC的最近工作草案(WD)可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip获得。具有HEVC的范围扩展的最近工作草案(WD)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1005-v3.zip获得。题为“3D-HEVC Draft Text 1”的HEVC的3D扩展的最近工作草案(WD)(即，3D-HEVC)可从http://phenix.int-evry.fr/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip获得。视频编码器20及视频解码器30可根据这些标准中的一或多者或其它标准操作。这些其它视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IECMPEG-4 Visual、ITU-T H.264或ISO/IEC MPEG-4 AVC，包含其可伸缩视频译码(SVC)及多视图视频译码(MVC)扩展。
替代地，视频编码器20及视频解码器30可根据其它专属或行业标准(例如ITU-TH.264标准，替代地被称作MPEG-4，第10部分，先进视频译码(AVC))或这些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含ITU-TH.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(还称为ISO/IEC MPEG-4 AVC)，包含其可伸缩视频译码(SVC)及多视图视频译码(MVC)扩展。
一般来说，在HEVC中，视频帧或图片可划分成包含明度及色度样本两者的树型块或最大译码单元(LCU)的序列。树型块还可被称作译码树单元(CTU)。树型块具有与H.264/AVC标准的宏块类似的用途。切片包含按译码次序的许多连续树型块。视频帧或图片可分割成一或多个切片。每一树型块可根据四分树而分裂成若干译码单元(CU)。举例来说，作为四分树的根节点的树型块可分裂成四个子节点，且每一子节点转而可为父节点并分裂成另四个子节点。作为四分树的叶节点的最后未分裂子节点包括译码节点(即，经译码视频块)。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数，且还可定义译码节点的最小大小。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小可在从8×8像素直到具有最大64×64像素或大于64×64像素的树型块大小的范围内。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式可在CU经跳过或直接模式编码、帧内预测模式编码或是帧间预测模式编码之间不同。PU可经分割成非正方形形状。与CU相关联的语法数据还可描述(例如)根据四分树将CU分割成一或多个TU。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU进行变换，所述TU对于不同CU可不同。通常基于针对经分割LCU所定义的给定CU内的PU的大小来对TU设定大小，但可并非总是此状况。TU的大小通常与PU相同或比PU小。在一些实例中，可使用被称为“残余四分树”(RQT)的四分树结构将对应于CU的残余样本再分为较小单元。RQT的叶节点可被称作TU。与TU相关联的像素差值可经变换以产生可加以量化的变换系数。
一般来说，PU包含与预测过程相关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述用于PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1)。
一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可使用TU变换成变换系数，经量化，且经扫描以产生系列化变换系数以用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点(即，译码块)。在一些特定状况下，本发明还可使用术语“视频块”来指包含译码节点及若干PU及TU的树型块(即，LCU或CU)。
视频序列通常包含一系列视频帧或图片。图片的每一切片可包含描述所述各别切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，且TU可包括在将变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)应用于残余视频数据之后的变换域中的系数。所述残余数据可对应于未经编码的图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。
在进行用以产生变换系数的任何变换之后，视频编码器20可对变换系数执行量化。量化通常指代对变换系数进行量化以可能减少用以表示系数的数据的量的过程，从而提供进一步压缩。量化过程可减少与一些或所有系数相关联的位深。
在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来对一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
视频编码器20可输出位流，其包含形成经译码图片及相关联数据的表示的位序列。术语“位流”可为用以指网络抽象层(NAL)单元流(例如，NAL单元的一序列)或字节流(例如，如由HEVC标准的附录B指定的含有开始码首码及NAL单元的NAL单元流的封装)的集合性术语。NAL单元为含有NAL单元中的数据的类型的指示及含有呈按需要穿插有仿真阻止位的原始字节序列有效负载(RBSP)的形式的所述数据的字节的语法结构。NAL单元中的每一者可包含NAL单元头且可封装RBSP。NAL单元头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装于NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装图片参数集(PPS)的RBSP，第二类型的NAL单元可封装切片区段的RBSP，第三类型的NAL单元可封装补充增强信息(SEI)的RBSP，等等。封装视频译码数据的RBSP(相反于参数集及SEI消息的RBSP)的NAL单元可被称作视频译码层(VCL)NAL单元。含有参数集(例如，视频参数集(VPS)、序列参数集(SPS)、PPS，或其它类型的参数集)的NAL单元可被称作参数集NAL单元。
本发明可将封装区段切片的RBSP的NAL单元称作经译码切片NAL单元。如HEVC WD中所定义，切片区段为在图像块扫描中经连续排序且包括于单一NAL单元中的整数数目个CTU。相比来说，在HEVC WD中，切片可为包括于同一存取单元内的一个独立切片区段及先于下一独立切片区段(如果存在)的所有后续相依切片区段(如果存在)中的整数数目个CTU。独立切片区段为切片区段头的语法元素的值并非从先前切片区段的值推断出的切片区段。相依切片区段为切片区段头的一些语法元素的值是从按解码次序的先前独立切片区段的值推断出的切片区段。经译码切片NAL单元的RBSP可包含切片区段头及切片数据。切片区段头为经译码切片区段中的含有与表示于切片区段中的第一或所有CTU有关的数据元素的一部分。切片头为按解码次序位于当前相依切片区段之前的独立切片区段(即当前切片区段或最近的独立切片区段)的切片区段头。
视频解码器30可接收由视频编码器20产生的位流。此外，视频解码器30可剖析位流以从所述位流获得语法元素。视频解码器30可至少部分基于从位流获得的语法元素而重构建视频数据的图片。重构建视频数据的过程可与由视频编码器20执行的过程大体互逆。举例来说，视频解码器30可使用PU的运动向量确定当前CU的PU的预测性块。此外，视频解码器30可逆量化当前CU的TU的系数块。视频解码器30可对系数块执行逆变换，以重构建当前CU的TU的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构建当前CU的译码块。通过重构建图片的每一CU的译码块，视频解码器30可重构建图片。
现将简要地论述文件格式及文件格式标准。文件格式标准包含ISO基本媒体文件格式(ISOBMFF、ISO/IEC 14496-12，下文“ISO/IEC 14996-12”)及从ISOBMFF导出的其它文件格式标准，包含MPEG-4文件格式(ISO/IEC 14496-14)、3GPP文件格式(3GPP TS 26.244)及AVC文件格式(ISO/IEC 14496-15，下文“ISO/IEC 14996-15”)。因此，ISO/IEC 14496-12指定ISO基本媒体文件格式。其它文件针对特定应用扩展ISO基本媒体文件格式。举例来说，ISO/IEC 14496-15描述呈ISO基本媒体文件格式的NAL单元结构化视频的输送。H.264/AVC及HEVC以及其扩展为NAL单元结构化视频的实例。ISO/IEC 14496-15包含描述H.264/AVCNAL单元的输送的章节。另外，ISO/IEC 14496-15的第8节描述HEVC NAL单元的输送。因此，ISO/IEC 14496-15的第8节被称为描述HEVC文件格式。以下论述是基于嵌入N14574中的14496-12的最近集成版本。
ISOBMFF被用作许多编码解码器封装格式(例如，AVC文件格式)以及许多多媒体容器格式(例如，MPEG-4文件格式、3GPP文件格式(3GP)及DVB文件格式)的基础。除例如音频及视频的连续媒体之外，例如图像的静态媒体以及元数据也可存储于符合ISOBMFF的文件中。根据ISOBMFF结构化的文件可用于许多用途，包含本地媒体文件播放、远程文件的逐渐下载、用于经由HTTP的动态自适应流式传输(DASH)的区段、用于待流式传输的内容及其封包化指令的容器及所接收的实时媒体流的记录。因此，虽然最初针对存储而设计，但ISOBMFF已证明用于流式传输(例如，用于逐渐下载或DASH)的价值。为了流式传输目的，可使用在ISOBMFF中定义的电影片段。除例如音频及视频的连续媒体之外，例如图像的静态媒体以及元数据也可存储于符合ISOBMFF的文件中。
符合HEVC文件格式的文件可包括一系列称作框的物件。框可为按唯一类型标识符及长度定义的面向对象式构建块。框为ISOBMFF中的基本语法结构，且可包含四字符译码框类型、框的字节计数及有效负载。换句话说，框可为包括经译码框类型、框的字节计数及有效负载的语法结构。在一些情况下，在符合HEVC文件格式的文件中的所有数据可包括于框内，且文件中的数据没有不在框中的。因此，ISOBMFF文件可由一连串框构成，且框可含有其它框。举例来说，框的有效负载可包含一或多个额外框。根据本发明的一或多种技术，在本发明中的其它处详细描述的图6A、图6B、图6C、图7A、图7B及图7C展示文件内的实例框。
符合ISOBMFF的文件可包含各种类型的框。举例来说，符合ISOBMFF的文件可包含文件类型框、媒体数据框、电影框、电影片段框等等。在此实例中，文件类型框包含文件类型及兼容性信息。媒体数据框可含有样本(例如，经译码图片)。电影框(“moov”)含有用于存在于文件中的连续媒体流的元数据。可将连续媒体流中的每一者在文件中表示为轨道。举例来说，电影框可含有关于电影的元数据(例如，样本之间的逻辑及时序关系，以及指向样本的位置的指标)。电影框可包含若干类型的子框。电影框中的子框可包含一或多个轨道框。轨道框可包含关于电影的个别轨道的信息。轨道框可包含指定单一轨道的总信息的轨道头框。此外，轨道框可包含含有媒体信息框的媒体框。媒体信息框可包含样本表框，其含有对轨道中的媒体样本编索引的数据。样本表框中的信息可用以在时间上定位样本，且对于轨道的样本中的每一者，定位类型、大小、容器及到样本的彼容器的偏移。因此，将用于轨道的元数据围封于轨道框(“trak”)中，而将轨道的媒体内容围封于媒体数据框(“mdat”)中或直接围封于单独文件中。用于轨道的媒体内容包括一连串样本(或由一连串样本构成)，例如，音频或视频存取单元。
ISOBMFF指定以下类型的轨道：媒体轨道，其含有基本媒体流；提示轨道，其包含媒体发射指令或表示所接收的封包流；及计时元数据轨道，其包括时间同步的元数据。用于每一轨道的元数据包含样本描述项的列表，每一样本描述项提供在轨道中使用的译码或封装格式及用于处理所述格式的初始化数据。每一样本与轨道的样本描述项中的一者相关联。
ISOBMFF使得能够通过各种机制指定样本特定元数据。样本表框(“stbl”)内的特定框已经标准化以回应于普通需求。样本表框含有样本表，所述样本表含有轨道中的媒体样本的所有时间及数据索引。在使用样本表框中的表的情况下，在时间上定位样本、确定其类型(例如，是否为I-帧)及确定其大小、容器及到所述容器的偏移可为可能的。
举例来说，同步样本框(“stss”)为样本表框内的框。同步样本框用以列出轨道的随机存取样本。本发明可将由同步样本框列出的样本称作同步样本。在另一实例中，样本分组机制使得能够将根据四字符分组类型的样本映射成共享指定为文件中的样本群组描述项的同一性质的样本的群组。已在ISOBMFF中指定若干分组类型。
电影片段框为顶级框。每一电影片段框提供先前将位于电影框中的信息。电影片段框可含有一或多个轨道片段(“traf”)框。在电影片段内，存在一组轨道片段(每轨道为零或多于零个)。轨道片段又含有零或多于零个轨道游程(run)，其中的每一者记录所述轨道的样本的连续游程。举例来说，每一轨道游程可含有按某一次序(例如解码次序)连续的图片的样本。轨道片段框于14996-12规范中予以定义，且包括用于一或多个轨道片段的元数据。举例来说，轨道片段框可包含轨道片段头框，其指示轨道ID、基本数据偏移、样本描述索引、默认样本持续时间、默认样本大小及默认样本旗标。轨道片段框可包含一或多个轨道片段游程框，每一者记录轨道的连续样本集。举例来说，轨道片段框可包含指示样本计数、数据偏移、样本旗标、样本持续时间、样本大小、样本组成时间偏移等等的语法元素。在这些结构内，许多字段是可选的，且可为默认的。
样本表框可包含一或多个SampleToGroup框及一或多个样本群组描述框(即，SampleGroupDescription框)。SampleToGroup框可用以确定样本属于的样本群组，连同所述样本群组的相关联描述。换句话说，SampleToGroup框可指示样本属于的群组。SampleToGroup框可具有“sbgp”的框类型。SampleToGroup框可包含分组类型元素(例如，grouping_type)。在一些情况下，在本发明中，框的元素还可被称作语法元素。分组类型元素可为识别一样本分组类型(即，用以形成样本群组的准则)的整数。此外，SampleToGroup框可包含一或多个项(即，样本群组项)。SampleToGroup框中的每一样本群组项可与轨道中的一系列不同的非重迭连续样本相关联。每一样本群组项可指示样本计数元素(例如，sample_count)及群组描述索引元素(例如，group_description_index)。样本群组项的样本计数元素可指示与样本群组项相关联的样本的数目。换句话说，样本群组项的样本计数元素可为给出具有相同样本群组描述符的连续样本的数目的整数。群组描述索引元素可识别SampleGroupDescription框内的含有与样本群组项相关联的样本的描述的群组描述项。多个样本群组项的群组描述索引元素可识别相同SampleGroupDescription框。
如上文简要指示，SampleToGroup框还可包含分组类型参数语法元素。分组类型参数语法元素可表示为grouping_type_parameter。分组类型参数语法元素为样本分组的子类型的指示。ISO/IEC 14496-15中有三处使用grouping_type_parameter，在第一处作为(MVC文件格式的)定案规范的部分，在其它两处作为开发中的规范的部分：
1)在Wang等人于2014年10月的ISO/IEC JTC1/SC29/WG11/N14837“不包含MVC的基于AVC的3D视频的输送(14496-15 2014 PDAM 2不包含MVC的基于AVC的3D视频的文字)”(在下文中称为N14837)的条款B.5(检视优先性样本分组)及其中具有MVC文件格式的14496-15的较早版本中：
如果使用样本至群组框的版本1，且MVC检视优先性指派URI框存在于样本项中，grouping_type_parameter为到MVC检视优先性指派URI框的基于1的索引。
2)在N14837的条款7.2.6(随机存取恢复点及随机存取点上的样本群组)(14496-15 2014 PDAM 2不包含MVC的基于AVC的3D视频的文字)中：
当将SampleToGroupBox的版本1用于随机存取点样本分组时，grouping_type_parameter指定在相关联样本中进行再新的层或视图的tier_id值。
3)在N14574(ISO/IEC 14496-12 Amd.4改良式音频支持)的条款10.6(流式存取点样本群组)中：
如附录I中所定义的流式存取点允许实现对媒体流的容器的随机存取。SAP样本分组将样本(其第一字节为附录I中所指定的SAP的位置ISAU)识别为具有所指示的SAP类型。
grouping_type_parameter的语法及语意如下予以指定。
根据附录I，target_layers指定所指示的SAP的目标层。target_layers的语意取决于layer_id_method_idc的值。当layer_id_method_idc等于0时，保留target_layers。
layer_id_method_idc指定target_layers的语意。等于0的layer_id_method_idc指定目标层由轨道表示的所有层构成。不等于0的layer_id_method_idc由所导出的媒体格式规范指定。
…
最新14496-12文字中还存在使用grouping_type_parameter语法元素的一些实例。举例来说，条款8.8.13.1层级指派框及条款8.8.16.1替代性启动序列性质框使用grouping_type_parameter语法元素。
当SampleToGroup框的版本等于1时，ISOBMFF中的样本群组的当前用信号发送的一些方面(即，SampleGroupDescription框及SampleToGroup框)并不清晰或并未起作用。举例来说，样本至群组框的语法如下：
grouping_type及grouping_type_parameter的语意如下：
grouping_type为识别样本分组的类型(即，用以形成样本群组的准则)且将其连结到其具有分组类型的相同值的样本群组描述表的整数。对于轨道将存在具有grouping_type(及，如果使用，grouping_type_parameter)的相同值的此框的最多一次出现。
grouping_type_parameter为分组的子类型的指示。
因此，版本1样本群组的分组类型可由grouping_type及grouping_type_parameter两者构成。
此外，14496-12规范中存在SampleToGroup框的以下描述：
如果对于轨道中的样本存在多于一个样本分组，那么可存在此框的多个实例。SampleToGroup框的每一实例具有区别不同样本分组的类型码。[START 1]在轨道内，将存在具有特定分组类型的此框的最多一个实例。[END 1][START 2]相关联的SampleGroupDescription将指示分组类型的相同值。[END 2]
在SampleToGroup框的此描述中，类型码实际上仅为grouping_type，并不包含子类型grouping_type_parameter。同时在另一方面，基于上文[START 1]与[END 1]之间的文字，分组类型由grouping_type及grouping_type_parameter两者构成。同时又，基于上文[START 2]与[END 2]之间的文字，分组类型又仅仅由grouping_type构成。
样本群组描述框的语法如下：
如可见，SampleGroupDescription框中不存在样本分组子类型(即，grouping_type_parameter)。因此，当子分组与版本1SampleToGroup框一起使用时，不存在使样本表框或轨道片段框中的多个SampleGroupDescription框具有grouping_type的相同值(及grouping_type_parameter的不同值)，使得SampleToGroup框与SampleGroupDescription框之间存在一对一映射的方式。
此外，14496-12规范中存在样本描述框的以下描述：
如果轨道中的样本有多于一个样本分组，那么可存在此框的多个实例。SampleGroupDescription框的每一实例具有区别不同样本分组的类型码。在轨道内，将存在具有特定分组类型的此框的最多一个实例。相关联SampleToGroup将指示分组类型的相同值。
从此文字，类型码及分组类型两者应仅为grouping_type，不包含子类型grouping_type_parameter。
在下文中给出本发明的技术的概述，且在后面章节中提供一些方法的详细实施方案。这些技术中的一些可独立地应用，且其中的一些可组合地应用。本发明的特定技术规定了属于文件格式的文件必须符合的要求。举例来说，如果文件并不满足要求中的一者，那么文件并不符合文件格式。
根据本发明的第一实例技术，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过从样本至群组框语法移除grouping_type_parameter语法元素来解决。因此，grouping_type语法元素可为指示样本至群组框的分组类型的单独语法元素。
根据本发明的第二实例技术，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过在样本群组描述框的版本为1时将grouping_type_parameter语法元素添加到样本群组描述框的语法来解决。在此实例下，样本群组描述框与样本至群组框之间存在一对一关系，使得样本群组描述框与样本至群组框可按grouping_type语法元素与grouping_type_parameter语法元素(如果存在)的值匹配。举例来说，可修改样本群组描述框的语法，使得样本群组描述框可包含grouping_type_parameter语法元素。在此实例中，如果样本至群组框的grouping_type语法元素的值匹配样本群组描述框的grouping_type语法元素的值，且样本至群组框的grouping_type_parameter语法元素的值匹配群组描述框的grouping_type_parameter语法元素的值，那么样本至群组框可对应于样本群组描述框。
根据本发明的第三实例技术，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过定义针对相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系为1对N来解决。根据此第三实例技术，以下者中的一或多者可应用。第一，在容器框(例如，“stbl”或“traf”)内，应仅存在一个具有grouping_type的特定值的SampleGroupDescription框，且可存在具有grouping_type的相同值的一或多个相关联(例如，对应)SampleToGroup框。举例来说，SampleGroupDescription框中的grouping_type语法元素的值可等于3，且多个SampleToGroup框中的grouping_type语法元素的值可具有等于3的值。在一些实例中，容器框可包含多个SampleGroupDescription框。在至少一些这些实例中，多个SampleGroupDescription框中不得有两个SampleGroupDescription框具有值相同的grouping_type语法元素。
第二，在本发明的第三实例技术中，当容器框中存在具有grouping_type语法元素的特定值的多个SampleToGroup框时，所有SampleToGroup框的版本必须为1。举例来说，在此实例中，如果容器框中的两个SampleToGroup框具有值等于3的grouping_type语法元素，那么不可能使SampleToGroup框中的一者为版本0SampleToGroup框。实情为，在此实例中，两个SampleToGroup框两者均为版本1SampleToGroup框。因此，在此实例中，两个SampleToGroup框两者均具有grouping_type_parameter语法元素。因此，以下可为对文件格式的要求：当单一容器框中存在具有grouping_type语法元素的相同值的多个SampleToGroup框时，多个SampleToGroup框中的每一者必须具有等于1的各别版本标识符。
第三，在本发明的此第三实例技术中，当存在具有grouping_type语法元素的特定值的多个SampleToGroup框时，grouping_type语法元素的值应受约束，使得group_description_index语法元素的大于0的任何值不应存在于多于一个SampleToGroup框中。换句话说，存在建置于文件格式中的防止同一容器框中的两个或多于两个SampleToGroup框具有带有大于0的相同值的group_description_index语法元素的限制或禁令。举例来说，第一SampleToGroup框及第二SampleToGroup框可各具有值等于4的grouping_type语法元素。在此实例中，如果第一SampleToGroup框具有值等于2的group_description_index语法元素，那么第二SampleToGroup框可能不具有值等于2的group_description_index语法元素。因此，在此实例中，以下可为对文件格式的要求：当单一容器框中存在具有分组类型语法元素的相同值的多个SampleToGroup框时，多个SampleToGroup框中不得有两个SampleToGroup框具有带有大于0的相同值的群组描述索引语法元素。
因此，根据本发明的第三技术的实例，例如源装置12或文件产生装置34的装置可产生文件的容器框(例如，样本表框或轨道片段框)，使得文件符合特定文件格式。作为产生容器框的部分，装置可在容器框中产生包含一或多个群组描述项的SampleGroupDescription框。每一各别群组描述项提供对于各别样本群组的描述。SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素。在此实例中，SampleGroupDescription框中的分组类型语法元素具有特定值。此外，在此实例中，装置可在文件的同一容器框中产生多个SampleToGroup框。在此实例中，多个SampleToGroup框的每一各别SampleToGroup框包含具有特定值的各别分组类型语法元素。另外，每一各别SampleToGroup框包含一或多个样本群组项。一或多个样本群组项的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素。一或多个样本群组项的每一各别样本群组项包括指示SampleGroupDescription框中提供各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素。各别样本群组的每一样本包括视频内容的一或多个图片。在此实例中，装置可输出文件。
例如目的地装置14的用于读取文件的装置可获得文件，且从所述文件获得容器框(例如，通过剖析文件)。举例来说，在图1的实例中，目的地装置14的存储媒体29可经配置以存储文件。目的地装置14的文件剖析单元31可经配置以从文件获得容器框。在此实例中，视频解码器30可解码从文件剖析的经编码视频数据。
根据本发明的第三实例技术，以下可为对特定文件格式的要求：容器框中将仅仅存在一个具有分组类型语法元素的特定值的SampleGroupDescription框。然而，在一些实例中，装置可进一步产生具有不同于特定值的分组类型语法元素的另一SampleGroupDescription框。
如上文所指示，文件可符合特定文件格式。此外，在一些实例中，以下可为对文件格式的要求：当单一容器框中存在具有分组类型语法元素的相同值的多个SampleToGroup框时，多个SampleToGroup框中的每一者必须具有等于1的各别版本标识符。换句话说，当容器框中存在多个具有grouping_type的特定值的SampleToGroup框时，所有SampleToGroup框的版本必须为1。此外，在一些实例中，以下为对文件格式的要求：当单一容器框中存在具有分组类型语法元素的相同值的多个SampleToGroup框时，多个SampleToGroup框中不得有两个SampleToGroup框具有带有大于0的相同值的群组描述索引语法元素。换句话说，当存在具有grouping_type的特定值的多个SampleToGroup框时，应受以下约束：group_description_index的大于0的任何值不应存在于多于一个SampleToGroup框中。在一些实例中，以下为对文件格式的要求：当单一轨道或轨道片段中存在多个具有分组类型语法元素的相同值的SampleToGroup框时，多个SampleToGroup框中不得有两个SampleToGroup框具有分组类型参数语法元素的相同值。
ISOBMFF规范指定适用于DASH的六种类型的流式存取点(SAP)。前两种SAP类型(类型1及2)对应于H.264/AVC及HEVC中的瞬时解码再新(IDR)图片。IDR图片仅仅包含I切片。I切片为可包含经帧内预测的块，但不包含经帧间预测的块的切片。第三种SAP类型(类型3)对应于HEVC中的开放式GOP随机存取点，即，断链存取(BLA)或干净随机存取(CRA)图片。BLA图片及CRA图片可仅仅包含I切片。按解码次序紧随CRA图片但按输出次序位于CRA图片之前的图片可将在CRA图片之前进行解码的图片用于参考。BLA图片通常源自在CRA图片的位置处的位流拼接，且在所述拼接的位流中，所述拼接点CRA图片改变成BLA图片。第四种SAP类型(类型4)对应于渐次性解码再新(GDR)随机存取点。并非为帧内随机存取点(IRAP)存取单元且含有恢复点SEI消息的存取单元被称作GDR存取单元，且其对应图片被称作GDR图片。
在当前14996-12规范中，SAP样本分组的用信号发送的设计需要使用SampleToGroup框的版本1。此设计效率低下，这是因为将通常需要使用多个SampleToGroup框以及SampleToGroup框中的总共更多项。此可意味着较高剖析复杂性及较多数据附加项两者。额外数据附加项的一个原因在于：使用额外框将因此导致用于例如框类型、框版本等等的一些信息的用信号发送的较多附加项。额外数据附加项的另一原因在于SampleToGroup框中的额外项，同时每一项的数据量为常量。较多框可意味着使用较多剖析来发现框。尤其，如果仅要发现一个框，那么可紧接着发现框后终止剖析，而当可能要发现多个框且框的实际数目未知时，将剖析整个容器框直到末端。
为解决此问题，本发明提议将版本0，而非版本1用于SampleToGroup框。语法元素target_layers及layers_id_method_idc包含于样本群组描述项中。
图2为说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20表示经配置以产生可使用本发明中所描述的文件格式技术存储的视频数据的视频译码器的实例。视频编码器20可经配置以输出单一视图、多视图、可伸缩、3D及其它类型的视频数据。视频编码器20可经配置以将视频输出到后处理实体27。后处理处理实体27意图表示可处理来自视频编码器20的经编码视频数据的视频实体(例如，MANE或拼接/编辑装置)的实例。在一些情况下，后处理处理实体可为网络实体的实例。在一些视频编码系统中，后处理实体27及视频编码器20可为分开的装置的部分，而在其它情况下，关于后处理实体27描述的功能性可由包括视频编码器20的同一装置执行。后处理实体27可为视频装置。在一些实例中，后处理实体27可与图1的文件产生装置34相同。
根据本发明的技术，后处理实体27可产生文件，以供存储由视频编码器20产生的经编码视频内容。文件可在文件的容器框中包含提供用于样本分组的样本群组描述的SampleGroupDescription框。SampleGroupDescription框包含具有特定值的分组类型语法元素。另外，SampleGroupDescription框包含一或多个样本群组项。后处理实体27可在相同容器框中产生多个SampleToGroup框。多个SampleToGroup框的每一各别SampleToGroup框包含具有特定值的各别分组类型语法元素，包含指示各别样本分组中的样本的数目的各别样本计数语法元素，且包含指示SampleGroupDescription框中的描述各别样本分组的样本的项的索引的各别群组描述索引语法元素。各别样本分组的每一样本可包括视频内容的各别图片。
视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的相邻帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、滤波器单元63、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。为了视频块重构建，视频编码器20还包含逆量化单元58、逆变换处理单元60及求和器62。滤波器单元63意图表示一或多个回路滤波器，例如，解块滤波器、自适应回路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管滤波器单元63在图2中展示为回路滤波器，但在其它配置中，滤波器单元63可实施为回路后滤波器。
视频编码器20的视频数据存储器65可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器65中的视频数据。参考图片存储器64可为存储参考视频数据供视频编码器20(例如在帧内或帧间译码模式中)编码视频数据的参考图片存储器。视频数据存储器65及参考图片存储器64可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器65及参考图片存储器64可由相同的存储器装置或单独存储器装置来提供。在各种实例中，视频数据存储器65可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
如图2中所展示，视频编码器20接收视频数据，且分割单元35将数据分割成视频块。此分割还可包含分割成切片、图像块或其它较大单元以及(例如)根据LCU及CU的四分树结构的视频块分割。视频编码器20大体上说明编码待编码视频切片内的视频块的组件。可将切片划分为多个视频块(且可能划分为被称作图像块图像块的视频块集合)。预测处理单元41可基于误差结果(例如，译码速率及失真的等级)选择用于当前视频块的多个可能译码模式中的一者，例如，多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据并提供到求和器62以重构建经编码块以供用作参考图片。
预测处理单元41内的帧内预测处理单元46可相对于与待译码的当前块相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测性译码，以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定型样来确定用于视频切片的帧间预测模式。预定型样可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42及运动补偿单元44可高度整合，但为概念目的而分开来说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。例如，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。
预测性块为就像素差来说被发现紧密地匹配待译码的视频块的PU的块，所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。所述参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，列表0或列表1中的每一者识别存储于参考存储器64中的一或多个参考图片。运动估计单元42将语法元素发送到熵编码单元56及运动补偿单元44，其中可从所述语法元素确定所计算的运动向量。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计(可能执行子像素精确度的内插)确定的运动向量提取或产生预测性块。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中定位运动向量所指向的预测性块。视频编码器20可通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值。像素差值形成用于块的残余数据，且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于在解码视频切片的视频块时使用。
作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代，帧内预测处理单元46可对当前块进行帧内预测。详细地说，帧内预测处理单元46可确定帧内预测模式以用以编码当前块。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测处理单元46可从经测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测处理单元46可使用对于各种测试的帧内预测模式的率失真分析来计算率失真值，并在测试的模式中选择具有最佳率失真特性的帧内预测模式。率失真分析大体上确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位速率(即，位的数目)。帧内预测处理单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现所述块的最佳率失真值。
在任何情况下，在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示用于块的所选择帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术编码指示所选择帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测性块之后，视频编码器20可通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且被应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如，频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位速率。量化过程可减少与一些或所有系数相关联的位深。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化后，熵编码单元56可熵编码表示经量化变换系数的语法元素。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码之后，经编码位流可被发射到视频解码器30，或经存档以供稍后发射或由视频解码器30检索。熵编码单元56还可熵编码当前正译码的视频切片的运动向量及其它语法元素。
逆量化单元58及逆变换处理单元60分别应用逆量化及逆变换以重构建像素域中的残余块，以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用到经重构建残余块，以计算子整数像素值以用于运动估计中。求和器62将经重构建残余块添加到由运动补偿单元44产生的运动补偿预测块以产生用于存储于参考图片存储器64中的参考块。参考块可由运动估计单元42及运动补偿单元44用作参考块以帧间预测后续视频帧或图片中的块。
图3为说明可实施本发明中所描述的技术的实例视频解码器30的框图。图3的视频解码器30表示经配置以解码可使用本发明中所描述的文件格式技术存储的视频数据的视频解码器的实例。
视频解码器30可经配置以解码单一视图、多视图、可伸缩、3D及其它类型的视频数据。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、求和器90、滤波器单元91，及参考图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行与关于图2中的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
经译码图片缓冲器(CPB)79可接收且存储位流的经编码视频数据(例如，NAL单元)。存储于CPB 79中的视频数据可(例如)从图1的链路16(例如，从例如相机的本地视频源)、经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体获得。CPB 79可形成存储来自经编码视频位流的经编码视频数据的视频数据存储器。参考图片存储器92可为存储参考视频数据以供视频解码器30用于(例如在帧内或帧间译码模式中)解码视频数据的参考图片存储器。CPB 79及参考图片存储器92可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。CPB 79及参考图片存储器92可由同一存储器装置或分开的存储器装置提供。在各种实例中，CPB 79可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。在图3的实例中，视频解码器30可从剖析文件以提取经译码视频位流的文件剖析单元77接收经编码视频位流。在一些实例中，文件剖析单元77可从网络实体29接收文件。网络实体29可(例如)为服务器、MANE、视频编辑器/拼接器，或经配置以实施上文描述的技术中的一或多者的其它这些装置。网络实体29可或可不包含视频编码器，例如，视频编码器20。本发明中所描述的技术中的一些可由网络实体29在网络实体29将经编码视频位流发射到视频解码器30前实施。在一些视频解码系统中，网络实体29及视频解码器30可为分开的装置的部分，而在其它情况下，关于网络实体29描述的功能性可由包括视频解码器30的同一装置执行。可将网络实体29当作视频装置。此外，在一些实例中，网络实体29为图1的文件产生装置34。文件剖析单元77可被实施为目的地装置14的部分或与目的地装置分开的装置。在一些实例中，网络实体29及文件剖析单元77由同一装置实施。
视频解码器30的熵解码单元80熵解码位流的特定语法元素以产生经量化的系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转递到预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于经用信号发送的帧内预测模式及来自当前帧或图片的先前经解码块的数据来产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，预测处理单元81的运动补偿单元82基于运动向量及从熵解码单元80接收的其它语法元素产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于参考图片存储器92中的参考图片使用默认构建技术来构建参考帧列表：列表0及列表1。
运动补偿单元82通过确定运动向量且获得其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生正解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收的语法元素中的一些确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构建信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态及解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可执行基于内插滤波器的内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器，以计算参考块的子整数像素的内插值。在此状况下，运动补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器并可使用所述内插滤波器以产生预测性块。
逆量化单元86逆量化(即，解量化)位流中所提供并由熵解码单元80解码的经量化变换系数。逆量化过程可包含使用由视频编码器20对于视频切片中的每一视频块所计算的量化参数，以确定量化程度及(同样地)应应用的逆量化程度。逆变换处理单元88对变换系数应用逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)，以便产生像素域中的残余块。
在运动补偿单元82基于运动向量及其它语法元素产生当前视频块的预测性块后，视频解码器30通过将来自逆变换处理单元88的残余块与由运动补偿单元82产生的对应预测性块求和而形成经解码视频块。求和器90表示执行此求和操作的所述或所述组件。如果需要，还可使用回路滤波器(在译码回路中或在译码回路后)以使像素转变平滑，或以其它方式改良视频品质。滤波器单元91意图表示一或多个回路滤波器(例如，解块滤波器、自适应回路滤波器(ALF)及样本自适应偏移(SAO)滤波器)。尽管滤波器单元91在图3中展示为回路滤波器，但在其它配置中，滤波器单元91可实施为回路后滤波器。接着将给定帧或图片中的经解码视频块存储于参考图片存储器92中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器92还存储用于稍后在显示装置(例如，图1的显示装置32)上呈现的经解码视频数据。因此，参考图片存储器92可为经配置以存储视频数据的一或多个数据存储媒体的实例。
图4为说明形成网络100的一部分的一组实例装置的框图。在此实例中，网络100包含路由装置104A、104B(路由装置104)及转码装置106。路由装置104及转码装置106意图表示可形成网络100的一部分的少数装置。例如交换器、集线器、网关、防火墙、桥接器及其它此类装置的其它网络装置也可包含在网络100内。此外，可沿着服务器装置102与客户端装置108之间的网络路径提供额外网络装置。在一些实例中，服务器装置102可对应于源装置12(图1)，而客户端装置108可对应于目的地装置14(图1)。
一般来说，路由装置104实施一或多个路由协议以经由网络100交换网络数据。在一些实例中，路由装置104可经配置以执行代理服务器或高速缓存存储器操作。因此，在一些实例中，路由装置104可被称为代理装置。一般来说，路由装置104执行路由协议以发现经由网络100的路由。通过执行这些路由协议，路由装置104B可发现从自身经由路由装置104A到服务器装置102的网络路由。
本发明的技术可由例如路由装置104及转码装置106的网络装置实施，但也可由客户端装置108实施。以此方式，路由装置104、转码装置106及客户端装置108表示经配置以执行本发明的技术的装置的实例。此外，图1的装置及图2中所说明的编码器20及图3中所说明的解码器30还为可经配置以执行本发明的技术中的一或多者的装置的实例。举例来说，如图4中所示，以本发明中描述的方式产生的文件可从服务器装置102经由网络100发射或流式传输到客户端装置108。
在此段中提供在本发明其它处的公开内容的技术的细节。在以下文字中，15444-12中描述的实施方案的变化，“<insert>”与“</insert>”符号之间的文字对应于添加或经修改的现存文字(例如<insert>所添加文字</insert>)，同时所移除的文字介于“<delete>”与“</delete>”符号之间(例如，<delete>删除的文字</delete>)。
如上文关于本发明的第一实例技术简要指示，可从样本至群组框语法移除grouping_type_parameter语法元素，如下：
在此实例中，14496-12中使用grouping_type_parameter语法元素的部分可经修改以将参数中携带的信息(无需语法元素自身)添加到样本群组描述项。
此外，如上文关于本发明的第二实例技术简要指示，样本群组描述框与样本至群组框之间可存在一对一关系，使得所述两者可按grouping_type语法与grouping_type_parameter语法元素(如果存在)的值匹配。根据此实例，SampleGroupDescriptionBox的语法可如下进行修改。
此外，根据样本群组描述框与样本至群组框之间存在一对一关系的本发明的技术，样本群组描述框中的grouping_type语法元素及grouping_type_parameter语法元素的语意可如下进行修改：
grouping_type为识别分组<insert>的整数。连同grouping_type_parameter(如果存在)一起，grouping_type识别与此样本群组描述相关联的SampleToGroup框。grouping_type_parameter为分组的子类型的指示。</insert>
样本至群组框中的grouping_type及grouping_type_parameter的语意可如下进行修改：
grouping_type为识别样本分组的类型(即，用以形成样本群组的准则)的整数且将所述类型连结到具有分组类型<insert>及grouping_type_parameter(如果存在)</insert>的相同值的样本群组描述表。对于轨道，将存在具有grouping_type(及，如果使用，grouping_type_parameter)的相同值的此框的最多一次出现。
grouping_type_parameter为分组的子类型的指示。
此外，根据样本群组描述框与样本至群组框之间存在一对一关系的本发明的技术，关于SampleGroupDescription框及SampleToGroup框的数量的描述可如下进行修改：
SampleGroupDescription框：如果轨道<insert>或轨道片段</insert>中存在用于样本的多于一个样本分组，那么可存在此框的多个实例。SampleGroupDescription框的每一实例具有区别不同样本分组的类型码。在轨道<insert>或轨道片段</insert>内，将存在具有特定分组类型<insert>及子类型(如果存在)</insert>的此框的最多一个实例。<insert>相关联SampleToGroup将指示分组类型及子类型(如果存在)的相同值且将指示版本的相同值。</insert>
SampleToGroup框：如果对于轨道<insert>或轨道片段</insert>中的样本存在多于一个样本分组，那么可存在此框的多个实例。SampleToGroup框的每一实例具有区别不同样本分组的类型码。在轨道<insert>或轨道片段</insert>内，将存在具有特定分组类型<insert>及子类型(如果存在)</insert>的此框的最多一个实例。<insert>相关联SampleGroupDescription将指示分组类型及子类型(如果存在)的相同值且将指示版本的相同值。</insert>
如上文所指示，根据本发明的第三技术，针对相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系为1对N。根据这些技术，以下约束或方面中的一或多者可适用。第一，在容器框(例如，“stbl”或“traf”)内，应仅存在一个具有grouping_type的特定值的SampleGroupDescription框，且可存在具有grouping_type的相同值的一或多个相关联SampleToGroup框。第二，当容器框中存在具有grouping_type的特定值的多个SampleToGroup框时，所有SampleToGroup框的版本必须为1。举例来说，如果容器框中恰好存在三个SampleToGroup框且这三个SampleToGroup框中的grouping_type语法元素的值各自等于5，那么SampleToGroup框中的每一者必须为版本1SampleToGroup框，且从而包含grouping_type_parameter语法元素。第三，当存在具有grouping_type的特定值的多个SampleToGroup框时，文件受到约束，使得group_description_index语法元素的大于0的任何值不应存在于多于一个SampleToGroup框中。举例来说，如果容器框中恰好存在三个SampleToGroup框且这些三个SampleToGroup框中的每一者具有值等于5的grouping_type语法元素，那么SampleToGroup框中不得有两个SampleToGroup框具有值相同的group_description_index语法元素，除非所述值为0。举例来说，SampleToGroup框中不得有两个SampleToGroup框具有值等于6的group_description_index语法元素。
此外，根据针对相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系为1对N的本发明的技术，15444-12规范中的关于SampleToGroup框的数量的描述可如下进行修改：
如果对于轨道<insert>或轨道片段</insert>中的样本存在多于一个样本分组，那么可存在此框的多个实例。SampleToGroup框的每一实例具有区别不同样本分组的类型码。在轨道<insert>或轨道片段</insert>内，将存在具有特定分组类型<insert>及子类型(如果存在)</insert>的此框的最多一个实例。<insert>相关联SampleGroupDescription将指示分组类型及子类型(如果存在)的相同值。</insert>
另外，SampleGroupDescription框中的grouping_type语法元素的语意可如下进行修改：
grouping_type为识别与此样本群组描述相关联的SampleToGroup框的整数。如果grouping_type_parameter未对于给定grouping_type<insert>在SampleToGroup框中</insert>予以定义，那么<insert>容器框中</insert>将仅仅出现一次具有此grouping_type的<insert>SampleToGroup</insert><delete>此</delete>框。
根据针对相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系为1对N的本发明的技术，SampleToGroup框中的group_description_index语法元素的语意可如下进行修改，以确保当存在具有grouping_type的特定值的多个SampleToGroup框时，文件受约束，使得group_description_index语法元素的大于0的任何值不应存在于多于一个SampleToGroup框中：
group_description_index为给出描述此群组中的样本的样本群组项的索引的整数。索引范围介于1到SampleGroupDescription框中的样本群组项的数目之间，或采用值0指示此样本为不属于此群组类型的成员。<insert>当此框的版本等于1时，如果group_description_index的特定值存在于此SampleToGroup框中，那么group_description_index的相同值不应存在于相同容器框中的具有grouping_type的相同值的任何其它SampleToGroup框中。</insert>
如上文简要指示，SAP样本分组的用信号发送的当前设计需要使用SampleToGroup框的版本1。为了克服通过需要将SampleToGroup框的版本1用于SAP样本分组的用信号发送所造成的问题，例如源装置12或文件产生装置34的装置可使用SampleToGroup框的版本0，且在样本至群组描述项中包含target_layers及layers_id_method_idc语法元素。因此，装置可使用'sap'样本群组设计的经改变设计，而不管将本发明的三种先前描述的技术中的何者用于14496-12中的一般样本分组机制。
在14496-12规范中，grouping_type_parameter的语法及语意如下进行指定。
在上文文字中，target_layers根据14496-12规范的附录I指定所指示SAP的目标层。target_layers的语意取决于layer_id_method_idc的值。当layer_id_method_idc等于0时，保留target_layers。layer_id_method_idc语法元素指定target_layers语法元素的语意。在此实例中，等于0的layer_id_method_idc指定目标层由被轨道表示的所有层构成，所述轨道对应于含有SampleToGroup框的轨道框或轨道片段框。不等于0的layer_id_method_idc由所导出的媒体格式规范指定。
如上文所指示，SampleGroupDescription框可包含一系列样本群组描述项。可将样本群组描述项的专用版本用于SAP。在14496-12规范中，此样本群组描述项的语法及语意如下：
在SAPEntry()中，保留的语法元素应等于0。剖析文件的装置应允许且忽略所有保留值。dependent_flag语法元素对于非层化媒体应为0。等于1的dependent_flag语法元素指定用于预测目标层的参考层(如果存在)可必须经解码以存取此样本群组的样本。等于0的dependent_flag语法元素指定无需解码用于预测目标层的参考层(如果存在)来存取此样本群组的任何SAP。
具有等于0及7的值的sap_type语法元素被保留。范围为1至6(包括性地)的sap_type语法元素的值指定相关联样本的(如附录I中所指定的)SAP类型(对于所述SAP类型，此群组中的样本的第一字节为位置ISAU)。
根据本发明的技术，对14496-12规范进行以下修改来解决SAP样本分组的用信号发送的问题。
在此实例中，经保留语法元素、dependent_flag语法元素、SAP_type语法元素、target_layers语法元素及layer_id_method_idc语法元素的语意保持相同。此外，在使用上文设计修改的情况下，容器框中恰好存在具有grouping_type'sap'的一个SampleToGroup框及一个SampleGroupDescription框。
在以下文字中，将'sap'实例分组用作实例来比较本发明的第一、第二及第三实例技术。图5为轨道中的样本序列中的两种不同流式存取点(SAP)样本类型的概念图。举例来说，考虑如图5中所展示的以下实例情境，所述图式说明轨道中的样本的序列，且样本中的SAP图片是使用'sap'实例分组用信号发送。详细地说，图5展示基层200及增强层202。基层200包含以IDR图片开始，后接一或多个非IRAP图片(例如，95个非IRAP图片)的一系列图片。在基层200中，在下一IDR图片之前，存在穿插于非IRAP图片中的若干CRA图片。增强层202可包含与基层200中的IDR图片在相同的存取单元中的IDR图片。然而，增强层202不必包含对应于基层200的CRA图片的CRA图片。
在根据本发明的第一实例技术的实例中，可使用具有grouping_type'sap'的一个SampleGroupDescription框及一个SampleToGroup框。SampleGroupDescription框含有两个项，且SampleToGroup框中的项计数为12，如下文所示：
SampleGroupDescriptionBox('sgpd',version＝0)
-grouping_type＝'sap'
-entry_count＝2
-Entry#1-SAPEntry()
○dependent_flag＝0
○SAP_type＝1
○target_layers＝3
○layer_id_method_idc＝1
-Entry#2-SAPEntry()
○dependent_flag＝1
○SAP_type＝3
○target_layers＝1
○layer_id_method_idc＝1
SampleToGroupBox('sbgp',version＝0)
-grouping_type＝'sap'
-entry_count＝12
-Entry#1-[1-1]//[sample_count--group_description_index]
-Entry#2-[95-0]
-Entry#3-[1-2]
-Entry#4-[95-0]
-Entry#5-[1-2]
-Entry#6-[95-0]
-Entry#7-[1-2]
-Entry#8-[95-0]
-Entry#9-[1-1]
-Entry#10-[95-0]
-Entry#11-[1-2]
-Entry#12-[95-0]
在根据本发明的第二实例技术的实例中，可存在具有grouping_type'sap'的两个SampleGroupDescription框及两个SampleToGroup框。在此实例中，每一SampleGroupDescription框含有一个项，从而导致总共两个项，且两个SampleToGroup框中的entry_count语法元素分别为4及9，从而导致SampleToGroup框中总共十三个项，如下文所示：
SampleGroupDescriptionBox#1('sgpd',version＝0)
-grouping_type＝'sap'
-grouping_type_parameter
○target_layers＝3
○layer_id_method_idc＝1
-entry_count＝1
-Entry#1-SAPEntry()
○dependent_flag＝0
○SAP_type＝1
SampleGroupDescriptionBox#2('sgpd',version＝0)
-grouping_type＝'sap'
-grouping_type_parameter
○target_layers＝1
○layer_id_method_idc＝1
-entry_count＝1
-Entry#1-SAPEntry()
○dependent_flag＝0
○SAP_type＝3
SampleToGroupBox#1('sbgp',version＝0)
-grouping_type＝'sap'
-grouping_type_parameter
○target_layers＝3
○layer_id_method_idc＝1
-entry_count＝4
-Entry#1-[1-1]//[sample_count--group_description_index]-Entry#2-[383-0]
-Entry#3-[1-1]
-Entry#4-[191-0]
SampleToGroupBox#2('sbgp',version＝0)
-grouping_type＝'sap'
-grouping_type_parameter
○target_layers＝1
○layer_id_method_idc＝1
-entry_count＝9
-Entry#1-[96-0]//[sample_count--group_description_index]
-Entry#2-[1-1]
-Entry#3-[95-0]
-Entry#4-[1-1]
-Entry#5-[95-0]
-Entry#6-[1-1]
-Entry#7-[191-0]
-Entry#8-[1-1]
-Entry#9-[95-0]
在根据本发明的第三实例技术的实例中，可存在具有grouping_type'sap'的一个SampleGroupDescription框，及两个SampleToGroup框。在此实例中，SampleGroupDescription框含有两个项，且两个SampleToGroup框中的entry_count语法元素再次分别为4及9，从而导致SampleToGroup框中总共十三个项，如下文所示：
SampleGroupDescriptionBox('sgpd',version＝0)
-grouping_type＝'sap'
-entry_count＝2
-Entry#1-SAPEntry()
○dependent_flag＝0
○SAP_type＝1
-Entry#2-SAPEntry()
○dependent_flag＝1
○SAP_type＝3
SampleToGroupBox#1('sbgp',version＝0)
-grouping_type＝'sap'
-grouping_type_parameter
○target_layers＝3
○layer_id_method_idc＝1
-entry_count＝4
-Entry#1-[1-1]//[sample_count--group_description_index]
-Entry#2-[383-0]
-Entry#3-[1-1]
-Entry#4-[191-0]
SampleToGroupBox#2('sbgp',version＝0)
-grouping_type＝'sap'
-grouping_type_parameter
○target_layers＝1
○layer_id_method_idc＝1
-entry_count＝12
-Entry#1-[96-0]//[sample_count--group_description_index]
-Entry#2-[1-2]
-Entry#3-[95-0]
-Entry#4-[1-2]
-Entry#5-[95-0]
-Entry#6-[1-2]
-Entry#7-[191-0]
-Entry#8-[1-2]
-Entry#9-[95-0]
如从上文可见，选项间的主要差别为，根据本发明的第一技术的实例可使用最小数目个(SampleToGroup及SampleGroupDescription)框，且同样可使用总共最小数目个项。
图6A、图6B及图6C为根据本发明的一或多种技术的说明文件300的实例结构的概念图。图6A对应于上文所论述的本发明的第一实例技术。图6B对应于上文所论述的本发明的第二实例技术。图6C对应于上文所论述的本发明的第三实例技术。
在图6A、图6B及图6C的实例中，文件300包含电影框302及多个媒体数据框304。尽管在图6A、图6B及图6C的实例中说明为处于同一文件中，但在其它实例中，电影框302及媒体数据框304可处于分离的文件中。如上文所指示，框可为由唯一类型标识符及长度定义的面向对象式构建块。举例来说，框可为ISOBMFF中的基本语法结构，包含四字符译码框类型、框的字节计数及有效负载。
电影框302可含有用于文件300的轨道的元数据。文件300的每一轨道可包括媒体数据的连续流。媒体数据框304中的每一者可包含一或多个样本305。样本305中的每一者可包括音频或视频存取单元。如在本发明中其它处所描述，在多视图译码(例如，MV-HEVC及3D-HEVC)及可伸缩视频译码(例如，SHVC)中，每一存取单元可包括多个经译码图片。举例来说，存取单元可包含用于每一层的一或多个经译码图片。
此外，在图6A、图6B及图6C的实例中，电影框302包含轨道框306。轨道框306可围封用于文件300的轨道的元数据。在其它实例中，电影框302可包含用于文件300的不同轨道的多个轨道框。轨道框306包含媒体框307。媒体框307可含有宣告关于轨道内的媒体数据的信息的所有物件。媒体框307包含媒体信息框308。媒体信息框308可含有宣告轨道的媒体的特性信息的所有物件。媒体信息框308包含样本表框309。样本表框309可指定样本特定元数据。
在图6A、图6B及图6C的实例中，样本表框309包含至少一SampleToGroup框310及至少一SampleGroupDescription框312。因此，样本表框309为“容器框”的实例。在其它实例中，除SampleToGroup框310及SampleGroupDescription框312以外，样本表框309还可包含其它框，及/或可包含多个SampleToGroup框及SampleGroupDescription框。SampleToGroup框310可将样本(例如，样本305中的特定者)映射到样本的群组。SampleGroupDescription框312可指定由所述样本的群组(即，样本群组)中的样本共享的性质。
此外，在图6A、图6B及图6C的实例中，SampleToGroup框310包含grouping_type语法元素313(即，分组类型语法元素)、entry_count语法元素314(即，项计数语法元素)，及一或多个样本群组项315。Entry_count语法元素314指示样本群组项315的数目。样本群组项315中的每一者包含sample_count语法元素316(即，样本计数语法元素)及group_description_index语法元素317(即，群组描述索引语法元素)。Sample_count语法元素316可指示与含有sample_count语法元素316的样本群组项相关联的样本的数目。Group_description_index语法元素317可识别在SampleGroupDescription框(例如，SampleGroupDescription框312)内的群组描述项，所述群组描述项含有与含有group_description_index语法元素317的样本群组项相关联的样本的描述。
另外，在图6A、图6B及图6C的实例中，SampleGroupDescription框312包含grouping_type语法元素320、entry_count语法元素322，及一或多个群组描述项324。Entry_count语法元素322指示SampleGroupDescription框中的群组描述项324的数目。
如上文所指示，在本发明的第一实例技术中，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过从样本至群组框语法移除grouping_type_parameter语法元素来解决。因此，根据在图6A中所说明的本发明的第一实例技术，SampleToGroup框310都不包含grouping_type_parameter语法元素(即，分组类型参数语法元素)。因此，根据本发明的第一实例技术，SampleToGroup框310并不包含图6B及图6B中所说明的grouping_type_parameter 318，且SampleGroupDescription框312并不包含如图6B中所说明的grouping_type_parameter 326。
如上文所指示，在本发明的第二实例技术中，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过在样本群组描述框的版本为1时将grouping_type_parameter语法元素添加到样本群组描述框的语法来解决。因此，根据在图6B中所说明的本发明的第二实例技术，SampleToGroup框310及SampleGroupDescription框312可包含grouping_type_parameter语法元素318、326，且SampleToGroup框310与SampleGroupDescription框312之间存在1对1关系。
如上文所指示，在本发明的第三实例技术中，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过定义相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系为1对N来解决。因此，根据在图6C中所说明的本发明的第三实例技术，SampleToGroup框310包含grouping_type_parameter语法元素318(即，分组类型参数语法元素)。此外，具有值相同的grouping_type语法元素(例如，grouping_type语法元素313、320)的SampleGroupDescription框与SampleToGroup框之间存在1对N关系。举例来说，SampleGroupDescription框(例如，SampleGroupDescription框312)中的一者可具有带有特定值的grouping_type语法元素，且两个或多于两个SampleToGroup框还可具有带有特定值的grouping_type语法元素。在一些实例中，如果两个或多于两个SampleToGroup框具有值相同的grouping_type语法元素，那么样本表框309中的每一SampleToGroup框必须为版本1。此外，在一些实例中，如果两个或多于两个SampleToGroup框具有值相同的grouping_type语法元素，那么group_description_index语法元素的大于0的任何值不应存在于多于一个SampleToGroup框310中。根据本发明的第三实例技术，SampleGroupDescription框(例如，SampleGroupDescription框312)不包含grouping_type_parameter语法元素(例如，图6B中所示的grouping_type_parameter语法元素326)。
图7A、图7B及图7C为说明根据本发明的一或多种技术的文件450的实例结构的概念图。图7A对应于如上文所论述的本发明的第一实例技术。图7B对应于上文所论述的本发明的第二实例技术。图7C对应于上文所论述的本发明的第三实例技术。
在图7A、图7B及图7C的实例中，文件450包含一或多个电影片段框452及多个媒体数据框454。尽管在图7A、图7B及图7C的实例中说明为处于同一文件中，但在其它实例中，电影片段框452及媒体数据框454可处于分离文件中。媒体数据框454中的每一者可包含一或多个样本456。电影片段框中的每一者对应于电影片段。每一电影片段可包括一组轨道片段。每轨道可存在零个或多于零个轨道片段。
在图7A、图7B及图7C的实例中，电影片段框452提供关于对应电影片段的信息。此信息将先前已处于电影框(例如电影框302)中。电影片段框452可包含轨道片段框458。轨道片段框458对应于轨道片段，且提供关于轨道片段的信息。
举例来说，在图7A、图7B及图7C的实例中，轨道片段框458可包含一或多个SampleToGroup框462及一或多个SampleGroupDescription框464，其含有关于对应于轨道片段框458的轨道片段的信息。因此，轨道片段框458为“容器框”的实例。
此外，在图7A、图7B及图7C的实例中，SampleToGroup框462包含grouping_type语法元素470(即，分组类型语法元素)、entry_count语法元素471(即，项计数语法元素)，及一或多个样本群组项472。Entry_count语法元素471指示样本群组项472的数目。样本群组项472中的每一者包含sample_count语法元素473(即，样本计数语法元素)及group_description_index语法元素474(即，群组描述索引语法元素)。Sample_count语法元素473可指示与含有sample_count语法元素473的样本群组项相关联的样本的数目。Group_description_index语法元素474可识别SampleGroupDescription框(例如，SampleGroupDescription框464)内的群组描述项，所述群组描述项含有与含有group_description_index语法元素474的样本群组项相关联的样本的描述。
另外，在图7A、图7B及图7C的实例中，SampleGroupDescription框464包含grouping_type语法元素480、entry_count语法元素482，及一或多个群组描述项484。Entry_count语法元素482指示SampleGroupDescription框464中的群组描述项484的数目。
如上文所指示，在本发明的第一实例技术中，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过从样本至群组框语法移除grouping_type_parameter语法元素来解决。因此，根据在图7A中说明的本发明的第一实例技术，SampleToGroup框462都不包含grouping_type_parameter语法元素。举例来说，根据本发明的第一实例技术，SampleToGroup框462不包含图7B及图7C中所说明的grouping_type_parameter语法元素475，且SampleGroupDescription框464不包含图7B中所说明的grouping_type_parameter语法元素486。
如上文所指示，在本发明的第二实例技术中，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过在样本群组描述框的版本为1时将grouping_type_parameter语法元素添加到样本群组描述框的语法来解决。因此，根据对应于图7B的本发明的第二实例技术，SampleToGroup框462及SampleGroupDescription框464可包含grouping_type_parameter语法元素，且SampleToGroup框462与SampleGroupDescription框464之间存在1对1关系。举例来说，根据本发明的第二实例技术，SampleToGroup框462包含grouping_type_parameter语法元素475，且SampleGroupDescription框464包含grouping_type_parameter语法元素486。
如上文所指示，在本发明的第三实例技术中，关于上述ISOBMFF中的样本群组的用信号发送的明确性问题可通过定义相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系为1对N来解决。因此，根据在图7C中所说明的本发明的第三实例技术，具有值相同的grouping_type语法元素的SampleGroupDescription框464与SampleToGroup框462之间存在1对N关系。举例来说，SampleGroupDescription框464中的一者可具有带有特定值的grouping_type语法元素，且SampleToGroup框462中的两者或多于两者还可具有带有特定值的grouping_type语法元素。在一些实例中，如果SampleToGroup框462中的两者或多于两者具有值相同的grouping_type语法元素，那么轨道片段框458中的SampleToGroup框462中的每一者必须为版本1。此外，在一些实例中，如果SampleToGroup框462中的两者或两者以上具有值相同的grouping_type语法元素，那么group_description_index语法元素474的大于0的任何值不应存在于多于一个SampleToGroup框462中。根据本发明的第三实例技术的至少一些实施方案，SampleGroupDescription框464并不包含图7B中所示的grouping_type_parameter语法元素475。
图8为说明根据本发明的技术的源装置12的实例操作的流程图。尽管参考源装置12描述图8，但图8的实例操作可通过例如文件产生装置34或另一装置的其它装置执行。图8的流程图被提供作为实例。根据本发明的技术的其它操作可包含更多、更少或不同动作，或所述动作可按不同次序或并列地予以执行。
在图8的实例中，源装置12产生文件的容器框，使得所述文件符合特定文件格式(500)。特定文件格式可为根据本发明的技术进行修改的ISOBMFF的版本。在图8的实例中，作为产生文件的部分，源装置12可产生包含一或多个群组描述项的SampleGroupDescription框(502)。每一各别群组描述项可提供对于各别样本群组的描述。SampleGroupDescription框可进一步包含识别样本分组类型的分组类型语法元素。SampleGroupDescription框中的分组类型语法元素可具有特定值。容器框可为样本表框或轨道片段框。在图8的实例中，文件属于特定文件格式，其中容器框中应仅存在一个具有分组类型语法元素的特定值的SampleGroupDescription框。
此外，在图8的实例中，作为产生容器框的部分，源装置12在文件的相同容器框中产生多个SampleToGroup框(504)。多个SampleToGroup框的每一各别SampleToGroup框包含具有特定值的各别分组类型语法元素。每一各别SampleToGroup框可包含一或多个样本群组项。一或多个样本群组项的每一各别样本群组项可包括指示各别样本群组中的样本的数目的各别样本计数语法元素(例如，sample_count)。一或多个样本群组项的每一各别样本群组项可包括指示SampleGroupDescription框中提供各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素(例如，group_description_index)。各别样本群组的每一样本可包括视频内容的一或多个图片。
在一些实例中，源装置12可产生多个SampleToGroup框，使得对于多个SampleToGroup框的每一各别SampleToGroup框，各别SampleToGroup框包含指示样本分组类型的子类型的各别分组类型参数语法元素(例如，grouping_type_parameter)。此外，在一些实例中，文件符合特定文件格式，且对文件格式的要求为：当单一容器框中存在具有分组类型语法元素的相同值的多个SampleToGroup框时，多个SampleToGroup框中的每一者必须具有等于1的各别版本标识符。在一些实例中，对文件格式的要求为：当单一容器框中存在具有分组类型语法元素的相同值的多个SampleToGroup框时，多个SampleToGroup框中不得有两个SampleToGroup框具有带有大于0的相同值的群组描述索引(例如，group_description_index)语法元素。此外，在一些实例中，对文件格式的要求为：当单一轨道或轨道片段中存在具有分组类型语法元素的相同值的多个SampleToGroup框时，多个SampleToGroup框中不得有两个SampleToGroup框具有分组类型参数语法元素的相同值。
此外，源装置12可输出文件(506)。举例来说，源装置12可输出文件，以供存储于计算机可读存储媒体(例如存储器、磁性媒体或光学媒体)上。在另一实例中，源装置12可输出文件以供发射。
图9为说明根据本发明的技术的用于读取用于视频内容的存储的文件的装置的实例操作的流程图。在图9的实例中，用于读取文件的装置可为图1的目的地装置14或另一装置。
在图9的实例中，装置可获得文件(500)。举例来说，装置可从数据存储媒体(例如，图1的存储媒体29)、发射媒体或另一源获得文件。举例来说，装置可从此源接收或读取文件。此外，在图9的实例中，装置可从文件获得文件的容器框(502)。举例来说，装置可剖析或以其它方式解译文件，以提取或以其它方式存取容器框及其内容。
在一些实例中，容器框为样本表框或轨道片段框。容器框可包括SampleGroupDescription框，其包含一或多个群组描述项。每一各别群组描述项提供对于各别样本群组的描述。此外，SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素。SampleGroupDescription框中的分组类型语法元素具有特定值。根据本发明的技术，对特定文件格式的要求为：容器框中应仅存在一个具有分组类型语法元素的特定值的SampleGroupDescription框。容器框还可含有多个SampleToGroup框。多个SampleToGroup框的每一各别SampleToGroup框可包含具有特定值的各别分组类型语法元素。每一各别SampleToGroup框可包含一或多个样本群组项。此外，一或多个样本群组项的每一各别样本群组项可包括指示各别样本群组中的样本的数目的各别样本计数语法元素。一或多个样本群组项的每一各别样本群组项可包括指示SampleGroupDescription框中提供各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素。另外，各别样本群组的每一样本可包括视频内容的一或多个图片。
以下段落描述根据本发明的特定实例。
实例1.一种产生文件的方法，所述方法包括：
产生指定样本分组的框，所述样本分组为样本的群组，其中：所述框包含识别所述样本分组的类型的语法元素，且不管所述框的格式的版本，所述框不包含指示所述样本分组的子类型的参数；及产生所述文件，其中所述文件包含所述框。
实例2.根据实例1的方法，其中所述样本中的每一各别者为经编码图片。
实例3.一种产生文件的方法，所述方法包括：产生第一框，所述第一框指定样本分组，所述样本分组为样本的群组；产生第二框，所述第二框包含提供所述样本分组的样本群组描述的语法元素，其中：所述第二框包含第一语法元素且视情况包含第二语法元素，所述第一语法元素识别所述样本分组的类型，且与所述第二语法元素(如果存在)一起将所述第一框识别为与所述样本群组描述相关联；所述第二语法元素指示所述样本分组的子类型；及产生所述文件，其中所述文件包含所述第一框及所述第二框。
实例4.根据实例3的方法，其中产生所述第一框包括：在所述第一框中产生第三语法元素，且视情况产生第四语法元素，其中：所述第三语法元素识别所述样本分组的所述类型，且将所述样本分组连结到具有所述样本分组的所述类型的相同值及所述第四语法元素(如果存在)的值的样本群组描述表，且所述第二语法元素指示所述样本分组的子类型。
实例5.根据实例3或4的方法，其中：所述文件包含指定用于轨道或轨道片段中的样本的样本分组的样本群组描述的一或多个框，在轨道或轨道片段内，最多存在具有特定分组类型及子类型的指定样本群组描述的框的一个实例。
实例6.根据实例3至5的方法，其中：所述文件包含指定用于轨道或轨道片段中的样本的样本群组的一或多个框，在轨道或轨道片段内，最多存在具有特定分组类型及子类型的指定样本群组的框的一个实例。
实例7.一种产生文件的方法，所述方法包括：产生第一框，所述第一框指定样本分组，所述样本分组为样本的群组；产生第二框，所述第二框包含提供所述样本分组的样本群组描述的语法元素，其中针对相同分组类型的SampleGroupDescription框与SampleToGroup框之间的关系为1对N；及产生所述文件，其中所述文件包含所述第一框及所述第二框。
实例8.一种产生文件的方法，所述方法包括：产生框，所述框指定样本分组的描述，所述样本分组为样本的群组，所述框包含第一语法元素及第二语法元素，所述第一语法元素指定目标层，所述第二语法元素指定所述第一语法元素的语意；及产生所述文件，其中所述文件包含所述框。
实例9.根据实例8的方法，其中等于特定值的所述第二语法元素指定所述目标层由被轨道表示的所有层构成，不等于所述特定值的所述第二语法元素由所导出的媒体格式规范指定。
实例10.一种用于产生文件的视频解码装置，所述装置包括：存储器，其存储所述文件；及一或多个处理器，其经配置以执行上文技术方案中的任一者中提供的产生所述文件的所述方法中的任何组合。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如数据存储媒体)，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪速存储器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性有形存储媒体。如本文所使用的磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上的组合也应包含于计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，各种单元可组合于编解码器硬件单元中，或由结合合适的软件及/或固件的互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合提供。
已描述各种实例。这些及其它实例处于以下权利要求书的范围内。

Claims (25)

1.一种产生用于视频内容的存储的文件的方法，所述方法包括：
产生所述文件的容器框，使得所述文件符合特定文件格式，其中产生所述容器框包括：
在所述容器框中产生包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中对所述特定文件格式的要求为所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框；及
在所述文件的所述同一容器框中产生多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片；及
输出所述文件。
2.根据权利要求1所述的方法，其中产生所述多个SampleToGroup框包括产生所述多个SampleToGroup框，使得对于所述多个SampleToGroup框的每一各别SampleToGroup框，所述各别SampleToGroup框包含指示所述样本分组类型的子类型的各别分组类型参数语法元素。
3.根据权利要求1所述的方法，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中的每一者必须具有等于1的各别版本标识符。
4.根据权利要求1所述的方法，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框的群组描述索引语法元素具有大于0的相同值。
5.根据权利要求1所述的方法，其中对所述特定文件格式的要求为：当单一轨道或轨道片段中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框具有分组类型参数语法元素的相同值。
6.根据权利要求1所述的方法，其中所述SampleGroupDescription框为第一SampleGroupDescription框，且产生所述容器框包括在所述容器框中产生第二SampleGroupDescription框，所述第二SampleGroupDescription框具有不同于所述特定值的分组类型语法元素。
7.一种用于产生用于视频内容的存储的文件的装置，所述装置包括：
存储器，其经配置以存储所述文件；及
一或多个处理器，其经配置以：
产生所述文件的容器框，使得所述文件符合特定文件格式，其中作为产生所述容器框的部分，所述一或多个处理器执行以下动作：
产生包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中所述文件属于所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框的特定文件格式；及
在所述文件的所述同一容器框中产生多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片；及
输出所述文件。
8.根据权利要求7所述的装置，其中所述一或多个处理器经配置以产生所述多个SampleToGroup框，使得对于所述多个SampleToGroup框的每一各别SampleToGroup框，所述各别SampleToGroup框包含指示所述样本分组类型的子类型的各别分组类型参数语法元素。
9.根据权利要求7所述的装置，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中的每一者必须具有等于1的各别版本标识符。
10.根据权利要求7所述的装置，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框的群组描述索引语法元素具有大于0的相同值。
11.根据权利要求7所述的装置，其中对所述特定文件格式的要求为：当单一轨道或轨道片段中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框具有分组类型参数语法元素的相同值。
12.根据权利要求7所述的装置，其中所述装置包括以下各者中的至少一者：
集成电路；
微处理器；或
无线通信装置。
13.根据权利要求7所述的装置，其中所述SampleGroupDescription框为第一SampleGroupDescription框，且产生所述容器框包括在所述容器框中产生第二SampleGroupDescription框，所述第二SampleGroupDescription框具有不同于所述特定值的分组类型语法元素。
14.根据权利要求7所述的装置，其进一步包括相机，所述相机经配置以捕捉所述视频内容。
15.一种用于产生用于视频内容的存储的文件的装置，所述装置包括：
用于产生所述文件的容器框使得所述文件符合特定文件格式的装置，其中所述用于产生所述容器框的装置包括：
用于产生包含一或多个群组描述项的SampleGroupDescription框的装置，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中所述文件属于所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框的特定文件格式；及
用于在所述文件的所述同一容器框中产生多个SampleToGroup框的装置，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片；及
用于输出所述文件的装置。
16.根据权利要求15所述的装置，其中所述用于产生所述多个SampleToGroup框的装置包括用于产生所述多个SampleToGroup框使得对于所述多个SampleToGroup框的每一各别SampleToGroup框所述各别SampleToGroup框包含指示所述样本分组类型的子类型的各别分组类型参数语法元素的装置。
17.根据权利要求15所述的装置，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中的每一者必须具有等于1的各别版本标识符。
18.根据权利要求15所述的装置，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框的群组描述索引语法元素具有大于0的相同值。
19.根据权利要求15所述的装置，其中对所述特定文件格式的要求为：当单一轨道或轨道片段中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框具有分组类型参数语法元素的相同值。
20.一种用于读取用于视频内容的存储的文件的装置，所述装置包括：
存储器，其经配置以存储所述文件；及
一或多个处理器，其经配置以从所述文件获得所述文件的容器框，其中所述容器框包括：
包含一或多个群组描述项的SampleGroupDescription框，其中每一各别群组描述项提供对各别样本群组的描述，所述SampleGroupDescription框进一步包含识别样本分组类型的分组类型语法元素，所述SampleGroupDescription框中的所述分组类型语法元素具有特定值，所述容器框为样本表框或轨道片段框，其中对特定文件格式的要求为所述容器框中应仅存在一个具有所述分组类型语法元素的所述特定值的SampleGroupDescription框；及
多个SampleToGroup框，所述多个SampleToGroup框中的每一各别SampleToGroup框包含具有所述特定值的各别分组类型语法元素，每一各别SampleToGroup框包含一或多个样本群组项，所述一或多个样本群组项中的每一各别样本群组项包括指示各别样本群组中的样本的数目的各别样本计数语法元素，且所述一或多个样本群组项中的每一各别样本群组项包括指示所述SampleGroupDescription框中提供所述各别样本群组的描述的一群组描述项的索引的各别群组描述索引语法元素，所述各别样本群组的每一样本包括所述视频内容的一或多个图片。
21.根据权利要求20所述的装置，其中所述多个SampleToGroup框的每一各别SampleToGroup框包含指示所述样本分组类型的子类型的各别分组类型参数语法元素。
22.根据权利要求20所述的装置，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中的每一者必须具有等于1的各别版本标识符。
23.根据权利要求20所述的装置，其中对所述特定文件格式的要求为：当单一容器框中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框的群组描述索引语法元素具有大于0的相同值。
24.根据权利要求20所述的装置，其中对所述特定文件格式的要求为：当单一轨道或轨道片段中存在具有所述分组类型语法元素的相同值的多个SampleToGroup框时，所述多个SampleToGroup框中不得有两个SampleToGroup框具有分组类型参数语法元素的相同值。
25.根据权利要求20所述的装置，其中所述SampleGroupDescription框为第一SampleGroupDescription框，且所述容器框包括第二SampleGroupDescription框，所述第二SampleGroupDescription框具有不同于所述特定值的分组类型语法元素。
CN201580075701.4A 2015-02-11 2015-12-16 文件格式中样本分组用信号发送 Active CN107211159B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562115087P 2015-02-11 2015-02-11
US62/115,087 2015-02-11
US14/969,954 2015-12-15
US14/969,954 US9928297B2 (en) 2015-02-11 2015-12-15 Sample grouping signaling in file formats
PCT/US2015/066095 WO2016130210A1 (en) 2015-02-11 2015-12-16 Sample grouping signaling in file formats

Publications (2)

Publication Number Publication Date
CN107211159A true CN107211159A (zh) 2017-09-26
CN107211159B CN107211159B (zh) 2020-04-14

Family

ID=56565431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580075701.4A Active CN107211159B (zh) 2015-02-11 2015-12-16 文件格式中样本分组用信号发送

Country Status (21)

Country Link
US (1) US9928297B2 (zh)
EP (1) EP3257262B1 (zh)
JP (1) JP6891120B2 (zh)
KR (1) KR102284553B1 (zh)
CN (1) CN107211159B (zh)
AU (1) AU2015382335B9 (zh)
BR (1) BR112017017315B1 (zh)
CA (1) CA2973339A1 (zh)
CL (1) CL2017002015A1 (zh)
CO (1) CO2017008030A2 (zh)
EA (1) EA036026B1 (zh)
IL (1) IL253290B (zh)
MX (1) MX2017010274A (zh)
MY (1) MY182261A (zh)
PH (1) PH12017501270A1 (zh)
SA (1) SA517382051B1 (zh)
SG (1) SG11201705443RA (zh)
TN (1) TN2017000326A1 (zh)
TW (1) TWI659319B (zh)
WO (1) WO2016130210A1 (zh)
ZA (1) ZA201705087B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192321A1 (zh) * 2018-04-06 2019-10-10 中兴通讯股份有限公司 视频数据处理方法、装置及系统
WO2021109822A1 (zh) * 2019-12-03 2021-06-10 中兴通讯股份有限公司 媒体资源播放及文本渲染方法、装置、设备和存储介质
WO2022089397A1 (en) * 2020-10-26 2022-05-05 Beijing Bytedance Network Technology Co., Ltd. Roll sample group in vvc video coding

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US10021184B2 (en) * 2015-12-31 2018-07-10 Dropbox, Inc. Randomized peer-to-peer synchronization of shared content items
GB2550604A (en) * 2016-05-24 2017-11-29 Canon Kk Method, device, and computer program for encapsulating and parsing timed media data
US20200204785A1 (en) * 2017-06-15 2020-06-25 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
EP3818717A4 (en) 2018-07-06 2022-03-23 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
WO2020120833A1 (en) * 2018-12-10 2020-06-18 Nokia Technologies Oy An apparatus and a method for signaling information in a container file format
US11263261B2 (en) 2020-02-14 2022-03-01 Alibaba Group Holding Limited Method and system for characteristic-based video processing
KR20240042167A (ko) 2020-05-20 2024-04-01 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
WO2021242873A1 (en) 2020-05-26 2021-12-02 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video
GB2597642B (en) * 2020-06-16 2023-08-02 Canon Kk Method, device, and computer program for encapsulating media data into a media file

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101595475A (zh) * 2005-07-15 2009-12-02 索尼株式会社 可伸缩视频编码（svc）文件格式
US20100153395A1 (en) * 2008-07-16 2010-06-17 Nokia Corporation Method and Apparatus For Track and Track Subset Grouping
US20140098868A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
US9852219B2 (en) * 2007-08-20 2017-12-26 Nokia Technologies Oy Segmented metadata and indexes for streamed multimedia data
CN101828351B (zh) * 2007-09-19 2014-05-07 弗劳恩霍夫应用研究促进协会 存储和读取具有媒体数据容器和元数据容器的文件的设备和方法
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
EP2625867A1 (en) * 2010-10-05 2013-08-14 Telefonaktiebolaget L M Ericsson (publ) A client, a content creator entity and methods thereof for media streaming
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
RU2616185C2 (ru) * 2013-01-18 2017-04-13 Кэнон Кабусики Кайся Способ, устройство и компьютерная программа для инкапсуляции сегментированных синхронизированных мультимедийных данных
CA2909566C (en) 2013-04-17 2018-07-03 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP3092772B1 (en) * 2014-01-07 2019-07-31 Nokia Technologies Oy Media encapsulating and decapsulating

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101595475A (zh) * 2005-07-15 2009-12-02 索尼株式会社 可伸缩视频编码（svc）文件格式
US20100153395A1 (en) * 2008-07-16 2010-06-17 Nokia Corporation Method and Apparatus For Track and Track Subset Grouping
CN102132562A (zh) * 2008-07-16 2011-07-20 诺基亚公司 用于轨道和轨道子集归组的方法和设备
US20140098868A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ISO/IEC: "Information technology - Coding of audio- visual objects", 《INTERNATIONAL STANDARD ISO/IEC 14496-12》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192321A1 (zh) * 2018-04-06 2019-10-10 中兴通讯股份有限公司 视频数据处理方法、装置及系统
CN110351492A (zh) * 2018-04-06 2019-10-18 中兴通讯股份有限公司 一种视频数据处理方法、装置及系统
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
WO2021109822A1 (zh) * 2019-12-03 2021-06-10 中兴通讯股份有限公司 媒体资源播放及文本渲染方法、装置、设备和存储介质
US11838594B2 (en) 2019-12-03 2023-12-05 Zte Corporation Media resource playing and text rendering method, apparatus and device and storage medium
WO2022089397A1 (en) * 2020-10-26 2022-05-05 Beijing Bytedance Network Technology Co., Ltd. Roll sample group in vvc video coding

Also Published As

Publication number Publication date
AU2015382335A1 (en) 2017-07-27
BR112017017315B1 (pt) 2023-11-21
SG11201705443RA (en) 2017-09-28
MX2017010274A (es) 2017-11-17
EA036026B1 (ru) 2020-09-15
EA201791567A1 (ru) 2017-12-29
AU2015382335B2 (en) 2018-11-08
JP2018510546A (ja) 2018-04-12
EP3257262A1 (en) 2017-12-20
AU2015382335B9 (en) 2018-11-22
ZA201705087B (en) 2019-01-30
TN2017000326A1 (en) 2019-01-16
JP6891120B2 (ja) 2021-06-18
CL2017002015A1 (es) 2018-03-16
KR102284553B1 (ko) 2021-07-30
SA517382051B1 (ar) 2020-10-29
IL253290A0 (en) 2017-09-28
CA2973339A1 (en) 2016-08-18
KR20170117074A (ko) 2017-10-20
CO2017008030A2 (es) 2018-01-31
TW201640385A (zh) 2016-11-16
EP3257262B1 (en) 2020-07-22
TWI659319B (zh) 2019-05-11
PH12017501270A1 (en) 2018-01-15
CN107211159B (zh) 2020-04-14
IL253290B (en) 2018-10-31
BR112017017315A2 (pt) 2018-04-03
WO2016130210A1 (en) 2016-08-18
US9928297B2 (en) 2018-03-27
US20160232233A1 (en) 2016-08-11
MY182261A (en) 2021-01-18

Similar Documents

Publication Publication Date Title
CN107211159A (zh) 文件格式中样本分组用信号发送
CN105659607B (zh) 多层视频文件格式设计
CN104919801B (zh) 用于多视图译码加深度的纹理及深度视图的分轨存储
CN104641645B (zh) 用于视频译码的交错视频数据的指示的方法和设备
CN109155860A (zh) 以高效率视频译码及分层高效率视频译码文件格式的图块分组及样本的映射
JP6960945B2 (ja) 別々のファイルトラックにおけるシーケンス終了およびビットストリーム終了ｎａｌユニット
CN104685888B (zh) 补充增强信息消息译码
CN107211168A (zh) 在分层视频文件格式中的样本条目及操作点发信设计
CN106170982A (zh) Hevc sei消息用于多层编解码器的一般使用
CN108605168A (zh) 在媒体文件中虚拟现实视频的存储
CN105122798B (zh) 多层视频译码中的交叉层图片类型对准的指示
CN105230016B (zh) 用于视频译码的具有解码次序编号的单个网络抽象层单元包
CN107105295A (zh) 用于高效视频译码(hevc)和扩展的视频参数集
CN104221386A (zh) 译码视频及存储视频内容的方法
CN106464924A (zh) 多层视频译码
CN108702518A (zh) 在分层高效视频译码文件格式中的位流结尾网络抽象层单元的处理和对高效视频译码和分层高效视频译码频块播放轨的改善
CN106464876A (zh) 使用序列结束网络抽象层单元的改进视频编码
CN110089126A (zh) 用于视频的改进式限制方案设计
CN105379271A (zh) 帧内随机接入点图片的改进的跨层对齐

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1237561

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant