CN112771885A - 用于针对视频编码的非二进制简档约束信令的方法和装置 - Google Patents

用于针对视频编码的非二进制简档约束信令的方法和装置 Download PDF

Info

Publication number
CN112771885A
CN112771885A CN201980060905.9A CN201980060905A CN112771885A CN 112771885 A CN112771885 A CN 112771885A CN 201980060905 A CN201980060905 A CN 201980060905A CN 112771885 A CN112771885 A CN 112771885A
Authority
CN
China
Prior art keywords
bitstream
decoding
pictures
syntax
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980060905.9A
Other languages
English (en)
Other versions
CN112771885B (zh
Inventor
M·汉努克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN112771885A publication Critical patent/CN112771885A/zh
Application granted granted Critical
Publication of CN112771885B publication Critical patent/CN112771885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种方法、装置和计算机程序产品在图像或视频比特流中提供非二进制简档约束,以使得解码器能够确定解码器是否可以在无需完全解码比特流的情况下解码比特流。该方法、装置和计算机程序产品将一个或多个源图片编码到比特流中。该编码由一个或多个编解码属性来表征(20)。该方法、装置和计算机程序产品进一步将指示比特流的一个或多个编解码属性的语法结构编码到比特流中或与比特流一起编码(22)。语法结构包括第一部分和第二部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,该第二部分包括一个或多个条件语法元素。(多个)条件语法元素的存在基于与一个或多个固定元素相关联的一个或多个值而被条件化。

Description

用于针对视频编码的非二进制简档约束信令的方法和装置
技术领域
示例实施例通常涉及对视频中的非二进制简档约束进行编码和解码。
背景技术
在诸如高效视频编码(HEVC)编解码器和通用视频编码(VVC)编解码器的大多数视频编解码器中,将视频编码在比特流中,该比特流形成经编码图片和关联数据的表示,该经编码图片和关联数据形成一个或多个经编码视频序列。
在相同的视频编解码器格式下,不同的特定编码器仍然可以以不同的方式对比特流进行编码,例如,不同的视频编解码器可以将比特流编码在不同宽度和高度、不同比特深度、不同块尺寸等的亮度和色度样本中。不同的特定编码器还可以利用访问单元、预测、时间子层、色度格式等的不同设置来对比特流进行编码。因此,即使编码器利用特定的视频编解码器(诸如VVC)并且解码器利用相同的视频编解码器(诸如VVC),解码器仍可能不具有对由编码器编码的比特流进行解码的能力。
为了解决该问题,诸如VVC的一些视频编解码器提议互操作性点需要在简档级别用信号发送,该互操作性点可以被用来指示解码比特流所需要的解码器能力需要被包括在比特流中。然而,没有标准化运行机制来用信号发送此类互操作性点。
发明内容
示例实施例一般涉及对图像或视频比特流中的非二进制简档约束进行编码和解码,以使得解码器可以能够确定解码器是否能够在无需完全解码比特流的情况下解码比特流。
在一个示例实施例中,提供了一种方法,该方法包括:将一个或多个源图片编码到比特流中。该编码由一个或多个编解码属性来表征。该方法还包括:将指示比特流的一个或多个编解码属性的语法结构编码到比特流中或与比特流一起编码。语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中一个或多个条件语法元素基于与一个或多个固定元素相关联的一个或多个值而被条件化。
在此类方法的一些实现中,语法结构由解码器可读取而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
在另一示例实施例中,提供了一种装置,该装置包括至少一个处理器和至少一个存储器,该至少一个存储器包括用于一个或多个程序的计算机程序代码,其中该至少一个存储器和该计算机程序代码被配置为利用所述至少一个处理器,使该装置至少将一个或多个源图片编码到比特流中。该编码由一个或多个编解码属性来表征。该计算机程序代码还被配置为利用该至少一个处理器,使该装置将指示该比特流的一个或多个编解码属性的语法结构编码到该比特流中或者与该比特流一起编码。语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中该一个或多个条件语法元素的存在基于与该一个或多个固定元素相关联的一个或多个值而被条件化。
在此类装置的一些实现中,语法结构由解码器可读取而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
在另一示例实施例中,提供了一种装置,该装置包括用于将一个或多个源图片编码到比特流中的部件。该编码由一个或多个编解码属性来表征。该装置还包括用于将指示比特流的一个或多个编解码属性的语法结构编码到比特流中或者与比特流一起编码的部件。语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中一个或多个条件语法元素基于与一个或多个固定元素相关联的一个或多个值而被条件化。
在此类装置的一些实现中,语法结构由解码器可读取而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、用针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
在另一示例实施例中,提供了一种计算机程序产品,该计算机程序产品包括至少一个非暂态计算机可读存储介质,该非暂态计算机可读存储介质其中存储有计算机可执行程序代码指令,该计算机可执行程序代码指令包括程序代码指令,该程序代码指令在执行时被配置为将一个或多个源图片编码到比特流中。该编码由一个或多个编解码属性来表征。该计算机可执行程序代码指令包括程序代码指令,该程序代码指令在执行时还被配置为将指示该比特流的一个或多个编解码属性的语法结构编码到该比特流中或者与该比特流一起编码。语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中一个或多个条件语法元素基于与一个或多个固定元素相关联的一个或多个值而被条件化。
在此类计算机程序产品的一些实现中,语法结构由解码器可读取,而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
在另一示例实施例中,提供了一种方法,该方法包括接收比特流。该方法还包括使用解码器从与比特流相关联的语法结构中解码比特流的一个或多个编解码属性。该语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中一个或多个条件语法元素的存在基于与一个或多个固定元素相关联的一个或多个值而被条件化。该方法还包括基于一个或多个编解码属性来确定解码器是否能够解码比特流。
在此类方法的一些实现中,语法结构由解码器可读取而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
在另一示例实施例中,提供了一种装置,该装置包括至少一个处理器和至少一个存储器,该至少一个存储器包括针对一个或多个程序的计算机程序代码,其中该至少一个存储器和该计算机程序代码被配置为利用处理器使该装置至少接收比特流。该计算机程序代码还被配置为利用该至少一个处理器使该装置使用解码器从与该比特流相关联的语法结构中解码该比特流的一个或多个编解码属性。该语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中一个或多个条件语法元素的存在基于与一个或多个固定元素相关联的一个或多个值而被条件化。该计算机程序代码还被配置为利用该至少一个处理器使该装置基于该一个或多个编解码属性来确定解码器是否能够解码比特流。
在此类装置的一些实现中,语法结构由解码器可读取而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
在另一示例实施例中,提供了一种装置,该装置包括用于接收比特流的部件。该装置还包括用于使用解码器从与比特流相关联的语法结构中解码比特流的一个或多个编解码属性的部件。该语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中一个或多个条件语法元素的存在基于与一个或多个固定元素相关联的一个或多个值而被条件化。该装置还包括用于基于一个或多个编解码属性来确定解码器是否能够解码比特流的部件。
在此类装置的一些实现中,语法结构由解码器可读取而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
在另一示例实施例中,提供了一种计算机程序产品,该计算机程序产品包括至少一个非暂态计算机可读存储介质,该非暂态计算机可读存储介质在其中存储有计算机可执行程序代码指令,该计算机可执行程序代码指令包括程序代码指令,该程序代码指令在执行时被配置为接收比特流。该计算机可执行程序代码指令包括程序代码指令,该程序代码指令在执行时还被配置为使用解码器从与该比特流相关联的语法结构中解码该比特流的一个或多个编解码属性。该语法结构包括:第一部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素;以及第二部分,该第二部分包括一个或多个条件语法元素,其中一个或多个条件语法元素的存在基于与一个或多个固定元素相关联的一个或多个值而被条件化。该计算机可执行程序代码指令包括程序代码指令,该程序代码指令在执行时还被配置为基于一个或多个编解码属性来确定解码器是否能够解码比特流。
在此类计算机程序产品的一些实现中,语法结构由解码器可读取,而无需对来自比特流的一个或多个图片进行解码。在一些实施例中,第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或一个或多个扩展标志。在一些实施例中,简档指示符指示比特流所符合的一组算法特征或语法约束,一个或多个约束标志指示对比特流所符合的一个或多个算法特征或一个或多个语法约束的进一步约束。在一些实施例中,一个或多个扩展标志可以影响比特流的解码。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,第二部分包括以下一项或多项:针对比特流中的一个或多个亮度采样阵列的最大比特深度、针对比特流中的一个或多个色度采样阵列的最大比特深度、或者与比特流相关联的一个或多个其他编解码属性指示。在一些实施例中,与比特流相关联的一个或多个其他编码指示包括以下一项或多项:与比特流相关联的渐进源内容指示、与比特流相关联的交错源内容指示、与比特流的一个或多个图片相关联的一个或多个图片类型指示、与比特流相关联的一个或多个预测类型、与比特流相关联的比特率、与比特流相关联的独立非基础层的指示等。
附图说明
这样,已经概括地描述了本公开的某些示例实施例,在下文中将对附图进行参考,附图不一定按比例绘制,并且其中:
图1是根据本公开的示例实施例的可以被具体配置的装置的框图;
图2是图示了根据本公开的示例实施例的诸如由图1的装置执行的一组操作的流程图;
图3A至图3C示出了图片中的示例亮度和色度样本;以及
图4是图示了根据本公开的示例实施例的诸如由图1的装置执行的一组操作的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明的一些实施例,在附图中示出了本发明的一些但不是全部实施例。实际上,本发明的各种实施例可以以许多不同的形式来体现,并且不应被解释为限于本文所阐述的实施例;相反,提供这些实施例以使得本公开将满足适用的法律要求。相同的参考标号在全文中指代相同的元件。如本文中所使用的,根据本发明的实施例,术语“数据”、“内容”、“信息”和类似术语可以互换使用,以指代能够被传送、接收和/或存储的数据。因此,对任何此类术语的使用不应被用来限制本发明的实施例的精神和范围。
另外,如本文中所使用的,术语“电路系统(circuity)”可以指以下一个或多个或全部:(a)纯硬件电路实现(诸如模拟电路和/或数字电路系统中的实现);(b)电路和软件的组合,诸如(如果适用的话):(i)(多个)模拟和/或数字硬件电路与软件/固件的组合,以及(ii)具有软件的(多个)硬件处理器的任何部分(包括(多个)数字信号处理器)、软件和(多个)存储器,它们一起工作以使诸如移动电话或服务器的装置执行各种功能),和(c)需要软件(例如,固件)来运行的(多个)硬件电路和/或(多个)处理器,诸如(多个)微处理器或(多个)微处理器的一部分,但在不需要运行时该软件可能不存在。“电路系统”的这种限定适用于该术语在本申请中,包括在任何权利要求中的所有使用。作为进一步的示例,如本申请中所使用的,术语“电路系统”也涵盖仅硬件电路或处理器(或多个处理器)或硬件电路或处理器的一部分及它(或它们)随附软件和/或固件的实现。举例而言并且在适用于特定权利要求元素的情况下,术语“电路系统”还涵盖用于移动电话的基带集成电路或处理器集成电路,或者服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
如本文中所限定的,可以将指代物理存储介质(例如,易失性或非易失性存储器设备)的“计算机可读存储介质”与指代电磁信号的“计算机可读传输介质”区分开。
高效视频编码(H.265/HEVC亦称HEVC)标准的版本1是由VCEG和MPEG的视频编码(JCT-VC)联合协作小组开发的。该标准由两个母公司标准化组织共同发布,并且它被称为ITU-T建议H.265和ISO/IEC国际标准23008-2,也被称为MPEG-H第2部分高效视频编码(HEVC)。H.265/HEVC的以后版本包括可伸缩、多视图、保真度范围扩展、三维、和屏幕内容编码扩展,其可以分别被缩写为SHVC、MV-HEVC、REXT、3D-HEVC、和SCC。
通用视频编码(VVC、H.266、或H.266/VVC)标准的标准化已在ITU-T和MPEG的联合视频专家组(JVET)中开始。VVC版本1的开发预计将持续到2020年末。在下面讨论VVC时,需要理解的是,已参考VVC标准草案,并且最终VVC标准的某些方面可能与以下所描述的有所不同。
在诸如高效视频编码(HEVC)编解码器和通用视频编码(VVC)编解码器的大多数视频编解码器中,将视频编码在比特流中,该比特流形成经编码图片和关联数据的表示,从而形成一个或多个经编码视频序列。
在相同的视频编解码器格式下,不同的特定编码器仍然可以以不同的方式对比特流进行编码,例如,不同的视频编解码器可以将比特流编码在不同宽度和高度、不同比特深度、不同块尺寸等的亮度和色度样本中。不同的特定编码器还可以利用访问单元、预测、时间子层、色度格式等的不同设置来对比特流进行编码。因此,即使编码器利用特定的视频编解码器(诸如VVC)并且解码器利用相同的视频编解码器(诸如VVC),解码器仍可能不具有对由编码器编码的比特流进行解码的能力。
为了解决这个问题,诸如VVC的一些视频编解码器提议互操作性点需要在简档级别(以简档约束的形式)被用信号发送,该互操作性点可以被用来指示解码比特流所需要的解码器能力需要被包括在比特流中。然而,没有标准化运行机制来用信号发送此类互操作性点。
根据示例实施例提供了一种方法、装置和计算机程序产品,以使得能够对图像或视频比特流中的非二进制简档约束进行编码和解码,以使得解码器可以能够确定解码器是否能够解码该比特流,而无需完全解码该比特流。该方法、装置和计算机程序产品的示例实施例使得能够用信号发送由第三方限定的比特流互操作性点,这可能是诸如VVC之类的编码标准的简档和级别的所需要的子集。该方法、装置和计算机程序产品的示例实施例还在互操作性点信令中实现了非二进制参数,这允许在互操作性点限定中更大的灵活性。该方法、装置和计算机程序产品的示例实施例出于以下目的利用针对互操作性点信令的固定的预定义数目的比特/字节:1)由于该信令不需要长度字段或其他成帧,因此通信协议中的管理更加容易;2)由于不需要可变长度的存储器分配,因此在解码器和编码器上的实现更容易。该方法、装置和计算机程序产品的示例实施例实现了互操作性点信令的前向兼容性,其允许解码器/编码器处理来自其自身的以后版本的输入。另外,该方法、装置和计算机程序产品的某些示例实施例还实现了互操作性点信令的向后兼容性。上面提及的特征中的所有特征均有助于节省计算资源,诸如处理能力、非永久性存储器存储空间、永久性存储空间、通信协议带宽等。
该方法、装置和计算机程序产品可以与包括高效视频编码标准(HEVC或H.265/HEVC)或即将到来的通用视频编码标准(VVC、H266、或H.266/VVC)的各种视频格式结合利用。结合HEVC和VVC描述了示例实施例,然而,本公开不限于HEVC或VVC,而是针对在其上可以部分地或全部地实现本公开示例实施例所基于的可能基础给出了该描述。特别地,可以用H.266标准草案来部分或全部地实现本公开。
本公开的一些方面涉及容器文件格式,诸如国际标准组织(ISO)基础媒体文件格式(ISO/IEC 14496-12,其可以被缩写为ISOBMFF)、运动图像专家组(MPEG)-4文件格式(ISO/IEC 14496-14,也被称为MP4格式)、针对NAL(网络抽象层)单元结构视频的文件格式(ISO/IEC 14496-15)和第三代合作伙伴计划(3GPP文件格式)(3GPP技术规范26.244,也被称为3GP格式)。
当描述与HEVC和VVC相关的某些示例实施例时,可以使用针对算术运算符、逻辑运算符、关系运算符、按位运算符、赋值运算符、和范围表示法的通用表示法,例如,如HEVC中所指定的。此外,可以使用普通数学函数,例如,如HEVC中所指定的,并且可以使用运算符的普通顺序或优先级和执行顺序(从左到右或从右到左),例如,如HEVC中所指定的。
当描述与HEVC和VVC相关的某些示例实施例时,以下描述可以被用来指定每个语法元素的解析过程。
–u(n):使用n比特的无符号整数。当语法表中的n为“v”时,比特数以取决于其他语法元素的值的方式变化。针对该描述符的解析过程由来自比特流的接下来n个比特来指定,该比特流被解释为无符号整数的二进制表示,其中最高有效比特先被写入。
–ue(v):无符号整数指数-哥伦布(Golomb)-编码的语法元素,其左比特在前。
例如,可以使用下表将指数-哥伦布比特串转换为代码编号(codeNum):
比特串 代码编号
1 0
0 1 0 1
0 1 1 2
0 0 1 0 0 3
0 0 1 0 1 4
0 0 1 1 0 5
0 0 1 1 1 6
0 0 0 1 0 0 0 7
0 0 0 1 0 0 1 8
0 0 0 1 0 1 0 9
当描述与HEVC和VVC相关的某些示例实施例时,仅语法结构的相关部分可以被包括在语法和语义的描述中。可以使用三个点('…')来指示其他语法元素可以被包括在语法结构中。需要理解的是,其他实施例可以类似地以不同顺序和名称的语法元素来实现。
当描述与HEVC和VVC相关的某些示例实施例时,可以如下指定语法结构、语法元素的语义、以及解码过程。每个语法元素均以其名称(带有下划线特性的所有小写字母)、可选地以其一个或两个语法类别以及其编码表示方法的一个或两个描述符来进行描述。解码过程根据语法元素的值以及根据先前解码的语法元素的值来执行。在语法表或文本中使用语法元素的值时,由小写字母和大写字母的混合且不包含任何下划线字符来命名。导出以大写字母开头的变量,以解码当前的语法结构以及所有依赖的语法结构。以大写字母开头的变量可以在针对以后的语法结构的解码过程中被使用,而无需提及变量的原始语法结构。以小写字母开头的变量仅被使用在其中它们被导出的上下文内。在一些情况下,针对语法元素值或变量值的“助记符”名称与其数值可互换使用。有时使用“助记符”名称而没有任何关联的数值。值和名称的关联在文本中被指定。名称由由下划线字符分隔的一个或多个字母组构成。每个组均以大写字母开头,并且可以包含多个大写字母。
当描述示例实施例时,术语文件有时被用作语法结构的同义词或语法结构的实例。例如,短语参数集文件可以被用来意味着参数集语法结构或参数集实例(具有其语法元素的特定值)。在其他上下文中,术语文件可以被用来意味着计算机文件,即在存储装置中形成独立单元的资源。
当描述示例实施例时,可以使用以下内容来指定语法结构。被括在大括号中的一组语句是复合语句,并且在功能上被视为单个语句来对待。“while”结构指定条件是否为真的测试,并且如果为真,则重复指定对语句(或复合语句)的评估,直到条件不再为真。“do…while”结构指定对语句进行一次评估,然后是条件是否为真的测试,并且如果为真,则重复指定对语句的评估,直到条件不再为真。“if…else”结构指定对条件是否为真的测试,并且如果条件为真,则指定对主语句的评估,否则指定对备选语句的评估。如果不需要对备选语句的评估,则省略结构的“else”部分和相关联的备选语句。“for”结构指定对初始语句的评估,随后指定对条件的测试,并且如果条件为真,则指定对主语句的重复评估,随后对后续语句进行重复评估,直到条件不再为真。
不管视频比特流的文件格式如何,示例实施例的装置都可以由多种计算设备中的任何计算设备来提供或者通过各种移动计算设备中的任何移动计算设备来提供,该计算设备包括例如视频编码器、视频解码器、计算机工作站、服务器等,该移动计算设备诸如是移动终端例如智能电话、平板电脑、视频游戏机等。
不管体现该装置的计算设备如何,示例实施例的装置10都包括、与之相关联或以其他方式与其通信的处理电路系统12、存储器14、通信接口16和可选的用户接口18,如图1中所示。
处理电路系统12可以经由总线来与存储器设备14通信,以在装置10的组件之间传递信息。存储器设备可以是非暂态的,并且可以包括例如一个或多个易失性和/或非易失性存储器。换句话说,例如,存储器设备可以是包括门的电子存储器设备(例如,计算机可读存储介质),其被配置为存储由机器(例如,诸如处理电路系统的计算设备)可检索的数据(例如,比特)。存储器设备可以被配置为存储信息、数据、内容、应用、指令等,以用于使得装置能够执行根据本公开的示例实施例的各种功能。例如,存储器设备可以被配置为缓冲输入数据以供处理电路系统处理。附加地或备选地,存储器设备可以被配置为存储指令以供处理电路系统执行。
在一些实施例中,装置10可以被体现在如上所述的各种计算设备中。然而,在一些实施例中,该装置可以被体现为芯片或芯片组。换句话说,该装置可以包括一个或多个物理包(package)(例如,芯片),其包括在结构配件(例如,底板)上的材料、组件和/或电线。该结构配件可以为包括在其上的组件电路系统提供物理强度、尺寸守恒、和/或电相互作用的限制。因此,在一些情况下,该装置可以被配置为将本公开的实施例实现在单个芯片上或实现为单个“片上系统”。这样,在一些情况下,芯片或芯片组可以构成用于执行一个或多个操作以提供本文所描述的功能的部件。
处理电路系统12可以以许多不同的方式来体现。例如,处理电路系统可以被体现为各种硬件处理部件中的一个或多个,诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有随附DSP的处理元件、或者各种其他电路系统,包括集成电路,诸如例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。这样,在一些实施例中,处理电路系统可以包括被配置为独立执行的一个或多个处理核心。多核处理电路系统可以在单个物理包内实现多个处理。附加地或备选地,处理电路系统可以包括经由总线串联配置的一个或多个处理器,以实现指令的独立执行、流水线化和/或多线程化。
在示例实施例中,处理电路系统12可以被配置为执行存储在存储器设备14中或者以其他方式由处理电路系统可访问的指令。备选地或附加地,处理电路系统可以被配置为执行硬编码功能。这样,无论是通过硬件或软件方法配置,还是通过其组合配置,处理电路系统都可以表示在被相应地配置时能够执行根据本公开的实施例的操作的实体(例如,物理地体现在电路系统中)。因此,例如,当处理电路系统被体现为ASIC、FPGA等时,处理电路系统可以是被用于实施本文中所描述的操作的专门配置的硬件。备选地,作为另一示例,当处理电路系统被体现为指令的执行器时,指令可以具体地配置处理器以在指令被执行时执行本文中所描述的算法和/或操作。然而,在一些情况下,处理电路系统可以是特定设备(例如,图像或视频处理系统)的处理器,其被配置为通过用于执行本文中所描述的算法和/或操作的指令对处理电路系统的进一步配置来采用本发明的实施例。处理电路系统尤其可以包括时钟、算术逻辑单元(ALU)和被配置为支持处理电路系统的操作的逻辑门。
通信接口16可以是被配置为接收和/或传送包括视频比特流的数据的或者硬件或者硬件和软件的组合中体现的诸如设备或电路系统的任何部件。就此而言,通信接口可以包括例如天线(或多个天线)以及用于实现与无线通信网络的通信的支持硬件和/或软件。附加地或备选地,通信接口可以包括用于与(多个)天线交互以:引起经由(多个)天线的信号的传输或处理经由(多个)天线所接收的信号的接收的电路系统。在一些环境中,通信接口可以备选地支持或者还支持有线通信。这样,例如,通信接口可以包括通信调制解调器和/或用于支持经由电缆、数字用户线(DSL)、通用串行总线(USB)或其他机制的通信的其他硬件/软件。
在一些实施例中,诸如在其中装置10被配置为对视频比特流进行编码的实例中,装置10可以可选地包括用户接口18,该用户接口18可以继而与处理电路系统12通信以诸如通过输出编码视频比特流来将输出提供给用户,并且在一些实施例中接收用户输入的指示。这样,用户接口可以包括显示器,并且在一些实施例中,还可以包括键盘、鼠标、操纵杆、触摸屏、触摸区域、软键、麦克风、扬声器、或其他输入/输出机制。备选地或附加地,处理电路系统可以包括用户接口电路系统,其被配置为控制一个或多个用户接口元件的至少一些功能,诸如显示器,以及在一些实施例中,扬声器、振铃器、麦克风等。处理电路系统和/或包括处理电路系统的用户接口电路系统可以被配置为通过存储在处理电路系统可访问的存储器(例如,存储器设备14等)上的计算机程序指令(例如,软件和/或固件)来控制一个或多个用户接口元件的一种或多种功能。
针对视频编码器的输入和视频解码器的输出的基本单元通常是图片。作为输入给到编码器的图片也可以被称为源图片,并且由解码器解码的图片可以被称为解码图片。
源图片和解码图片各自由一个或多个样本阵列组成,诸如以下样本阵列集合之一:
-仅亮度(Y)(单色)。
-亮度和两个色度(YCbCr或YCgCo)。
-绿色、蓝色和红色(GBR,也被称为RGB)。
-表示其他未指定的单色或三刺激(tri-stimulus)颜色采样的阵列(例如,YZX,也被称为XYZ)。
在下文中,这些阵列可以被称为亮度(或L或Y)和色度,其中两个色度阵列可以被称为Cb和Cr;不管使用的实际颜色表示方法是什么。使用的实际颜色表示方法可以用例如在编码的比特流中例如使用HEVC的视频可用性信息(VUI)语法来指示。分量可以被限定为三个样本阵列(亮度和两个色度)中的一个样本阵列的阵列或单个样本,或者被限定为构成单色格式图片的阵列或阵列的单个样本。
图片可以是帧或场(field)。帧包括亮度样本以及可能对应的色度样本的矩阵。场是帧的一组备选采样行的集合,并且当源信号交错(interlace)时可以被用作编码器输入。与亮度采样阵列相比时,色度采样阵列可以不存在(并且因此可以使用单色采样),或者色度采样阵列可以被子采样。色度格式可以被总结如下:
-在单色采样中,只有一个采样阵列,其名义上可以被认为是亮度阵列。
-在4:2:0采样中,两个色度阵列中的每一个色度阵列均具有亮度阵列的一半高度和一半宽度。
-在4:2:2采样中,两个色度阵列中的每一个色度阵列均具有亮度阵列的相同高度和一半宽度。
-在没有使用分开的颜色平面的4:4:4采样中,两个色度阵列中的每一个色度阵列均具有与亮度阵列相同的高度和宽度。
有可能将样本阵列作为分开的颜色平面编码到比特流中,并且从比特流中分别解码分开经编码的颜色平面。当使用分开的颜色平面时,它们中的每个颜色平面作为具有单色采样的图片(由编码器和/或解码器)分别进行处理。
分区(paritition)可以被限定为将集合划分为子集,使得集合的每个元素恰好在子集中的一个子集中。
当描述与HEVC编码和/或解码相关的实施例的操作时,可以使用以下术语。可以将编码块限定为针对N的某个值的N×N样本块,以使得编码树块到编码块的划分是分区。编码树块(CTB)可以被限定为针对N的某个值的N×N样本块,以使得分量到编码树块的划分是分区。编码树单元(CTU)可以被限定为亮度样本的编码树块,具有三个样本阵列的图片的色度样本的两个对应的编码树块,或者单色图片或使用三个分开的颜色平面和用于对样本进行编码的语法结构来编码的图片的样本的编码树块。编码单元(CU)可以被限定为亮度样本的编码块、具有三个样本阵列的图片的色度样本的两个对应的编码块、或者单色图片或使用三个分开的颜色平面和用于对样本进行编码的语法结构来编码的图片的样本的编码块。具有最大允许尺寸的CU可以被命名为LCU(最大编码单元)或编码树单元(CTU),并且视频图片被划分为非重叠的LCU。
在HEVC中,可以将图片分区为图块,图块是矩形的并且包含整数个LCU。在HEVC中,分区为图块形成规则的网格,其中图块的高度和宽度彼此之间最大相差一个LCU。在HEVC中,切片被限定为在一个独立切片分段以及在相同访问单元内的下一个独立切片分段(如果有任何)之前的所有后续从属切片分段(如果有任何)中包含的整数数目的编码树单元。在HEVC中,切片分段被限定为在图块扫描中连续排序并且包含在单个NAL单元中的整数数目的编码树单元。每个图片到切片分段的划分是分区。在HEVC中,独立的切片分段被限定为这样的切片分段:对于该切片分段,不能从针对先前的切片分段的值中推断出该切片分段头部的语法元素的值,并且从属切片分段被限定为这样的切片分段:对于该切片分段,按照解码顺序可以从先前的独立切片分段的值中推断出切片分段头部的一些语法元素的值。在HEVC中,切片头部被限定为独立切片分段的切片分段头部,该独立切片分段是当前切片分段或是当前从属切片分段之前的独立切片分段,并且切片分段头部被限定为包含与切片分段中关于表示的第一或所有编码树单元的数据元素的编码切片分段的一部分。如果未使用图块,则以图块内或图片内的LCU的光栅扫描顺序扫描CU。在LCU内,CU具有特定的扫描顺序。
解码器通过应用类似于编码器的预测手段来重构输出视频,以形成像素块的经预测表示(使用由编码器创建并存储在压缩表示中的运动或空间信息)和预测误差解码(预测误差编码的逆操作,在空间像素域中恢复经量化的预测误差信号)。在应用预测和预测误差解码手段之后,解码器将预测和预测误差信号(像素值)求和以形成输出视频帧。解码器(和编码器)还可以应用附加滤波手段,以提高输出视频的质量,然后再将其传递以将其显示和/或存储作为视频序列中即将到来的帧的预测参考。
滤波可以例如包括以下中的一项或多项:解块、样本自适应偏移(SAO)、和/或自适应环路滤波(ALF)。H.264/AVC包括解块,而HEVC包括解块和SAO二者。
在典型的视频编解码器中,利用与诸如预测单元的每个运动补偿图像块相关联的运动矢量来指示运动信息。这些运动矢量中的每一个运动矢量表示待编码(在编码器侧)或待解码(在解码器侧)的图片中的图像块和先前经编码或经解码的图片之一中的预测源块的位移。为了有效地表示运动矢量,通常相对于特定于块的经预测运动矢量对那些进行差分编码。在典型的视频编解码器中,以预定义的方式创建预测的运动矢量,例如,计算相邻块的经编码或经解码运动矢量的中值。创建运动矢量预测的另一方式是从时间参考图片中的相邻块和/或同位(co-located)块中生成候选预测的列表,并且用信号发送选定的候选作为运动矢量预测器。除了预测运动矢量值之外,还可以预测哪个(哪些)参考图片被用于运动补偿预测,并且该预测信息可以例如由先前经编码/经解码的图片的参考索引来表示。通常从时间参考图片中的相邻块和/或同位块来预测参考索引。此外,典型的高效视频编解码器采用了附加的运动信息编码/解码机制,通常被称为合并/合并模式,其中对所有运动场信息进行预测以及使用而无需任何修改/校正即,该运动场信息包括针对每个可用参考图片列表的运动矢量和对应的参考图片索引。类似地,使用时间参考图片中的相邻块和/或同位块的运动场信息来实现预测运动场信息,并且在填充有可用相邻块和/或同位块的运动场信息的运动场候选列表的列表中用信号发送所使用的运动场信息。
在典型的视频编解码器中,在运动补偿之后的预测残差首先通过转变内核(如DCT)进行转变,然后进行编码。这样做的原因是,残差之间通常仍然存在一些相关性,并且在许多情况下转变可以帮助减少这种相关性并且提供更有效的编码。
针对HEVC编码器的输出和HEVC解码器的输入的基本单元分别是网络抽象层(NAL)单元。为了在面向分组的网络上传送或存储到结构化文件中,可以将NAL单元封装到分组或类似结构中。HEVC中已针对不提供成帧结构的传输或存储环境指定了字节流格式。字节流格式通过在每个NAL单元的前面附接起始代码来将NAL单元彼此分开。为了避免NAL单元边界的错误检测,编码器运行面向字节的起始代码仿真防止算法,该算法将仿真防止字节添加到NAL单元有效载荷中——如果否则会出现起始代码的话。为了使面向分组和面向流的系统之间能够进行直接网关操作,无论字节流格式是否在使用中,都始终可以执行起始代码仿真防止。NAL单元可以被限定为语法结构,该语法结构包含要遵循的数据类型的指示以及包含该数据的字节,该数据以RBSP的形式散布,在必要时具有仿真防止字节。原始字节序列有效载荷(RBSP)可以被限定为语法结构,该语法结构包含封装在NAL单元中的整数数目的字节。RBSP为或者空或者具有数据比特字符串的形式,该数据比特字符串包含语法元素,随后是RBSP停止比特,并且随后是零个或多个等于0的后续比特。
NAL单元包括头部和有效载荷。在HEVC中,NAL单元头部指示NAL单元的类型。
在HEVC中,两字节NAL单元头部被用于所有指定的NAL单元类型。NAL单元头部包含一个保留比特、六比特NAL单元类型指示、针对时间级别的三比特nuh_temporal_id_plus1指示(可能需要大于或等于1)和六比特nuh_layer_id语法元素。可以将temporal_id_plus1语法元素视为针对NAL单元的时间标识符,并且基于零的TemporalId变量可以被导出如下:TemporalId=temporal_id_plus1-1。缩写TID可以与TemporalId变量互换使用。等于0的TemporalId对应最低的时间级别。为了避免涉及两个NAL单元头部字节的起始代码仿真,temporal_id_plus1的值需要为非零。通过排除具有TemporalId大于或等于选定值的所有VCL NAL单元并且包括所有其他VCL NAL单元而创建的比特流保持符合。因此,具有TemporalId等于tid_value的图片不使用具有TemporalId大于tid_value的任何图片作为帧间预测参考。子层或时间子层可以被限定为时间可伸缩比特流的时间可伸缩层(或时间层TL),由具有特定TemporalId变量值的VCL NAL单元和相关联的非VCL NAL单元组成。nuh_layer_id可以被理解为可伸缩性层标识符。
NAL单元可以被分类为视频编码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元通常是经编码切片NAL单元。在HEVC中,VCL NAL单元包含表示一个或多个CU的语法元素。
在HEVC中,图片类型的缩写可以被限定如下:后置(TRAIL)图片、时间子层访问(TSA)、逐步时间子层访问(STSA)、随机访问可解码前导(RADL)图片、随机访问跳过前导(RASL)图片、链接断开访问(BLA)图片、即时解码刷新(IDR)图片、干净随机访问(CRA)图片。
随机访问点(RAP)图片,在独立层中也可以被称为帧内随机访问点(IRAP)图片,仅包含帧内经编码切片。属于预测层的IRAP图片可以包含P、B和I切片,不能使用来自同一预测层中的其他图片的帧间预测,并且可以使用来自其直接参考层的层间预测。在HEVC的当前版本中,IRAP图片可以是BLA图片、CRA图片或IDR图片。包含基础层的比特流中的第一图片是在基础层处的IRAP图片。只要必要的参数集在它们需要被激活时是可用的,就可以正确解码独立层处的IRAP图片以及按解码顺序在独立层处的所有后续非RASL图片,而无需对按解码顺序在IRAP图片之前的任何图片执行解码处理。当必要的参数集在它们需要被激活时是可用的并且当预测层的每个直接参考层的解码已被初始化时,属于预测层的IRAP图片以及在相同预测层内按解码顺序的所有后续非RASL图片可以被正确地解码,而无需对在相同预测层内按解码顺序在IRAP图片之前的任何图片执行解码过程。比特流中可以存在仅包含不是IRAP图片的帧内经编码切片的图片。
非VCL NAL单元可以是例如以下类型之一:序列参数集、图片参数集、补充增强信息(SEI)NAL单元、访问单元定界符、序列NAL单元的结束、比特流NAL单元的结束、或填充数据NAL单元。经解码图片的重建可能需要参数集,而经解码样本值的重建不需要其他非VCLNAL单元中的许多单元。
通过经编码视频序列保持不变的参数可以被包括在序列参数集中。除了解码过程可能需要的参数之外,序列参数集还可以可选地包含视频可用性信息(VUI),其包括对缓冲、图片输出时序、绘制、和资源保留可能很重要的参数。在HEVC中,序列参数集RBSP包括可以由一个或多个图片参数集RBSP或包含缓冲时段SEI消息的一个或多个SEI NAL单元所指代的参数。图片参数集包含在若干经编码图片中可能保持不变的此类参数。图片参数集RBSP可以包括可以由一个或多个经编码图片的经编码切片NAL单元所指代的参数。
在HEVC中,视频参数集(VPS)可以被限定为语法结构,该语法结构包含适用于零个或多个完整的经编码视频序列的语法元素,该语法元素由在每个切片分段头部中找到的语法元素所指代的在PPS中找到的语法元素所指代的SPS中找到的语法元素的内容来确定。
视频参数集RBSP可以包括可以由一个或多个序列参数集RBSP指代的参数。
视频参数集(VPS)、序列参数集(SPS)、和图片参数集(PPS)之间的关系和层次结构可以被描述如下。VPS在参数集层次结构中以及在可伸缩性和/或3D视频的上下文中驻留在SPS之上的一个级别。VPS可以包括针对在整个经编码视频序列中的跨所有(可伸缩性或视图)层上的所有切片的共同的参数。SPS包括针对在整个经编码视频序列中的特定(可伸缩性或视图)层中的所有切片的共同的参数,并且可以被多个(可伸缩性或视图)层共享。PPS包括针对在特定层表示(一个访问单元中的一个可伸缩性或视图层的表示)中的所有切片的共同的参数,并且可能由多个层表示中的所有切片共享。
VPS可以提供关于比特流中的层的依赖性关系的信息,以及适用于在整个编码视频序列中的所有(可伸缩性或视图)层上的所有切片的许多其他信息。VPS可以被认为包括两个部分,基础VPS和VPS扩展,其中VPS扩展可以可选地存在。
带外传输、信令或存储可以附加地或备选地被用于除对传输错误的容忍之外的其他目的,诸如访问或会话协商的容易性。例如,符合ISO基础媒体文件格式的文件中的轨道的样本条目可以包括参数集,而比特流中的经编码数据被存储在文件中或另一文件中的其他地方。沿比特流的短语(例如,沿比特流指示)可以被使用在权利要求书和某些所描述的实施例中,用于以带外数据与比特流相关联的方式指代带外传输、信令、或存储。沿比特流解码等的短语解码可以指代对与比特流相关联的所指代的带外数据(其可以从带外传输、信令、或存储获得)进行解码。经编码图片是图片的经编码表示。
在HEVC中,经编码图片可以被限定为包含图片的所有编码树单元的图片的经编码表示。在HEVC中,访问单元(AU)可以被限定为NAL单元的集合,其根据指定的分类规则彼此相关联,是按解码顺序连续的,并且包含具有任何特定值nuh_layer_id的至多一个图片。访问单元除了包含经编码图片的VCL NAL单元外,还可以包含非VCL NAL单元。所述指定的分类规则可以例如将具有相同输出时间或图片输出计数值的图像关联到相同的访问单元中。
在示例实施例中,视频文件包括基本流,该基本流是一个或多个比特流的序列。比特流形成经编码图片和关联数据的表示,从而形成一个或多个经编码视频序列(CVS)。比特流可以被限定为以NAL单元流或字节流形式的比特序列,其形成经编码图片和关联数据的表示,从而形成一个或多个经编码视频序列。在相同逻辑信道中,诸如在相同文件中或在通信协议的相同连接中,第一比特流随后可以是第二比特流。基本流(在视频编码的上下文中)可以被限定为一个或多个比特流的序列。第一比特流的结束可以由特定的NAL单元指示,该特定的NAL单元可以被称为比特流的结束(EOB)NAL单元并且其是比特流的最后一个NAL单元。在HEVC中,要求EOB NAL单元具有等于0的nuh_layer_id。
在与HEVC相关的示例实施例中,经编码视频序列组(CVSG)可以被限定为一个或多个连续的经编码视频序列,其按照对于相同视频参数集被激活的解码顺序。可以认为在CVSG内的所有多层和跨层属性都保持不变。更一般地,可以将CVSG或类似概念指定为在其中应用相同序列参数(例如,相同序列参数集)的访问单元的序列。
经编码视频序列(CVS)可以由访问单元的序列来限定,该访问单元的序列包括按解码顺序的“图片封闭组(GOP)”帧内随机访问点(IRAP)访问单元,其随后是非封闭GOPIRAP访问单元的零个或多个访问单元。封闭GOP IRAP访问单元可以被限定为使得或者之后不是按解码顺序参考在IRAP访问单元之前的图片的图片,或者使解码过程跳过按解码顺序参考在IRAP访问单元之前的图片的图片。限定经编码视频序列的另一方式是,这样的按解码顺序的经编码图像序列是独立可解码的,并且随后是另一经编码视频序列或比特流的结束或序列NAL单元的结束。
在HEVC中,当可以被称为序列的结束(EOS)NAL单元的特定NAL单元出现在比特流中并且具有等于0的nuh_layer_id时,可以附加地或备选地(对于以上说明书)指定经编码视频序列结束。
可以如下限定图片组(GOP)及其特点。不管先前的图片是否已被解码,GOP都可以被解码。开放GOP是这样的一组图片:其中当解码从开放GOP的初始帧内图片开始时,按输出顺序在初始帧内图片之前的图片可能是无法正确可解码的。换句话说,开放GOP的图片可以指代(在帧间预测中)属于先前GOP的图片。HEVC解码器可以标识开始开放GOP的帧内图片,因为特定的NAL单元类型——CRA NAL单元类型可以被用于其的经编码切片。封闭GOP是这样的一组图片,其中,当解码从封闭GOP的初始帧内图片开始时,所有图片都可以被正确解码。换句话说,封闭GOP中没有图片指代先前GOP中的任何图片。在H.264/AVC和HEVC中,封闭GOP可以从IDR图片开始。在HEVC中,封闭GOP也可以从BLA_W_RADL或BLA_N_LP图片开始。与封闭GOP编码结构相比,由于参考图片的选择的更大的灵活性,开放GOP编码结构在压缩方面可能更有效率。
经解码图片缓冲器(DPB)可以被使用在编码器中和/或在解码器中。对经解码图片进行缓冲有两个原因,针对帧间预测中的参考以及针对将经解码图片重新排序为输出顺序。由于HEVC为参考图片标记和输出重新排序提供了很大的灵活性,因此针对参考图片缓冲和输出图片缓冲的分开的缓冲器可能会浪费存储器资源。因此,DPB可以包括针对参考图片和输出重新排序的统一的解码图片缓冲过程。当解码图片不再被用作参考并且不需要用于输出时,可以将其从DPB中移除。
许多视频编码标准指定了针对无错误比特流的比特流语法和语义以及解码过程。在许多标准中未指定编码过程,但是编码器必须生成符合的比特流。许多标准使得能够验证比特流和解码器与假设参考解码器(HRD)相符合。标准可以包含有助于应对传输错误和丢失的编码工具,但是工具在编码中的使用可以是可选的,并且可能未指定针对错误比特流的解码过程。
视频编码标准使用可变比特率编码,这例如是由于编码器的灵活性而在帧内和帧间编码技术之间进行自适应选择以压缩视频帧所引起的。为了处理经压缩视频的比特率变化中的波动,可以在编码器和解码器侧使用缓冲。假设参考解码器(HRD)可以被视为假设解码器模型,该模型指定了对编码过程可能产生的符合比特流、符合NAL单元流或符合字节流内的可变性的约束。
在许多视频编码标准中,兼容的比特流必须能够被假设参考解码器解码,该假设参考解码器在概念上可以连接到编码器的输出,并且至少由预解码器缓冲器、解码器和输出/显示单元组成。该虚拟解码器已知为例如在H.265/HEVC中的假设参考解码器(HRD)和例如在MPEG-4第2部分中的视频缓冲验证器(VBV)。虚拟解码器和缓冲验证器在本文档中被统称为假设参考解码器(HRD)。如果流可以由HRD解码而没有缓冲器溢出(overflow)、或者在一些情况下没有缓冲器下溢(underflow),则该流是符合的。如果在缓冲器已满时更多比特要被放入到缓冲器中,则发生缓冲器溢出。如果要从缓冲器中提取一些比特以进行解码/重放时在缓冲器中没有所述比特,则发生缓冲器下溢。
HRD可以是编码器的一部分或可操作地连接到编码器的输出。HRD的缓冲占用和可能的其他信息可以被用来控制编码过程。例如,如果HRD中的经编码数据缓冲器将要溢出,则可以例如通过增加量化器步长来减小编码比特率。
HRD的操作可以由诸如(多个)缓冲器尺寸和(多个)初始延迟的HRD参数来控制。HRD参数值可以被创建为HRD过程的一部分,该HRD处理包括或可操作地连接至编码。备选地,例如可以在HRD验证器中与编码分开地生成HRD参数,该HRD验证器利用所指定的HRD过程来处理输入比特流,并且根据比特流的符合来生成这种HRD参数值。HRD验证器的另一用途是验证给定的比特流和给定的HRD参数实际产生了符合的HRD操作和输出。
HRD可以包含经编码图片缓冲器(CPB)、即时解码过程、经解码图片缓冲器(DPB)、和输出裁剪。
HRD模型通常包括即时解码,而到HRD的经编码图片缓冲器(CPB)的输入比特率可以被认为是编码器和比特流对经编码数据的解码率的约束以及对解码器的处理速率的要求。CPB以串行方式操作,即,以其解码或比特流顺序对诸如经编码图片或H.265/HEVC解码单元的数据单元进行解码。
HRD符合性检查例如可以涉及以下两种类型的比特流:第一种这样类型的比特流,被称为类型I比特流,是包含针对比特流中的所有访问单元的仅VCL NAL单元和填充数据NAL单元的NAL单元流。第二种类型的比特流,被称为类型II比特流,除了包含针对该比特流中所有访问单元的VCL NAL单元和填充数据NAL单元外,还可以包含除了填充数据NAL单元之外的附加的非VCL NAL单元和/或语法元素,诸如从NAL单元流形成字节流的leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes和trailing_zero_8bits。
可以使用两种类型的HRD参数(NAL HRD参数和VCL HRD参数)。可以通过包括在序列参数集语法结构中的视频可用性信息来指示HRD参数。HRD参数可以例如包括缓冲器尺寸和输入比特率。
HRD的比特流符合性要求可以包括例如以下和/或类似内容。要求CPB不溢出(相对于例如在视频可用性信息的HRD参数内可能指示的尺寸)或下溢(即,解码单元的移除时间不能小于该解码单元的最后比特的到达时间)。可以要求DPB中的图片数目小于或等于例如可以在序列参数集中所指示的某个最大数量。可以要求将被用作预测参考的所有图片呈现在DPB中。可以要求用于从DPB输出连续图片的间隔不小于某个最小值。
编码标准可以指定“简档”和“级别”。简档可以被限定为标准的(编码算法或等效解码算法的)算法特征的子集。在另一限定中,简档是标准语法的指定子集(并且因此,意味着编码器可能仅使用会导致符合该指定子集的比特流的特征,并且解码器可能仅支持该由指定子集实现的特征)。
级别可以被限定为对编码参数的一组限制,其在解码器资源消耗中施加了一组约束。在另一限定中,级别是对标准的语法元素和变量可能采取的值的一组已限定约束。这些约束可能是对值的简单限制。备选地或附加地,它们可以采取对值的算术组合的约束的形式(例如,图片宽度乘以图片高度乘以每秒解码的图片数目)。也可以使用用于指定针对级别的约束的其他方式。在级别中指定的约束中的一些约束例如可以与每时间段(诸如秒)在编码单元(诸如宏块)方面的最大图片尺寸、最大比特率和最大数据速率相关。可以针对所有简档限定相同的一组级别。例如,增加实现不同简档的终端的互操作性可能是优选的,每个级别的限定的大部分或全部方面在不同简档之间可以是共同的。
所指示的简档和级别可以被用来用信号发送媒体流的属性和/或用信号发送媒体解码器的能力。
在HEVC中,将层块限定为对比特流中的语法元素的值施加的级别约束的指定类别,其中级别约束被嵌套在层块内,并且符合每个层块和级别的解码器将能够解码符合该级别或该级别以下任何级别的相同层块或较低层块的所有比特流。
可以被用来指示HEVC中的比特流所需的解码器能力的profile_tier_level()语法结构包括以下语法元素:
-general_profile_space,其需要等于0
-general_tier_flag。层块被限定为对比特流中的语法元素的值施加的级别约束的指定类别,其中级别约束被嵌套在层块内,并且符合每个层块和级别的解码器将能够解码符合该级别或该级别以下任何级别的相同层块或较低层块的所有比特流。与general_tier_flag等于1的层块相比,general_tier_flag等于0的层块被认为是较低的层块。
-general_profile_idc是简档标识符,指示CVS符合的简档。
-简档兼容性标志(general_profile_compatibility_flag[j],j在0到31的范围内(包括0和31))。当简档兼容性标志具有等于1的索引j时,指示CVS符合由general_profile_idc等于j所指示的简档。简档兼容性标志使得能够指示CVS符合一个以上的简档。
-约束标志指示除由general_profile_idc施加的约束之外的其他约束。
-general_level_idc指示CVS所符合的级别。
-可选地,上述信息的所选定片段针对由时间子层的子集组成的子比特流。
在HEVC中,profile_tier_level()语法结构可以被携带在以下结构中:
-视频参数集(其“基础”部分),指示当仅对基础层进行解码和输出时,针对整个比特流(包括所有层)的简档-层块-级别(profile-tier-level)符合性
-序列参数集(SPS)(在基础层中或针对独立层激活),指示激活了SPS的独立层的简档-层块-级别符合性
-视频参数集的扩展部分(vps_extension()),指示在将基础层提取到其自己的子比特流中(即,排除所有其他层)时的基础层的简档-层块-级别符合性。
-视频参数集的扩展部分中的profile_tier_level语法结构的列表。对于每个输出层集合中的每个层,可以通过对列表的索引来指示简档-层块-级别符合性。
在上面提及的HEVC profile_tier_level语法结构中,仅二进制指示(例如标志)被包括在具有固定的预定义长度(以比特为单位)的简档-级别(profile-level)信令中。因此,高度限制了此类profile_tier_level语法中包括的指示。
现在参照图2,图示了诸如由图1的装置10执行的操作,以便对包括在图像或视频比特流中的非二进制简档约束的语法结构进行编码,以使得解码器可以能够确定解码器是否能够在不完全解码比特流的情况下解码比特流。
如框20中所示,该装置包括用于将一个或多个源图片编码到比特流中的部件,诸如处理电路系统12、通信接口16等,该编码由一个或多个编解码属性来表征。比特流可以是视频或图像比特流,并且该比特流可以作为其他比特流的一部分而被接收,诸如相同基本流中的其他比特流以及来自其他基本流的比特流。在一些实施例中,比特流可以是在VVC下限定的比特流或在HEVC下限定的比特流。在一些实施例中,一个或多个源图片可以由该装置经由处理电路系统、通信接口16等来接收。
如框22中所示,该装置包括用于将指示比特流的一个或多个编解码属性的语法结构编码到比特流中或者与比特流一起编码的部件,诸如处理电路系统12、存储器14等。
在一些实施例中,语法结构包括第一部分和第二部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,该第二部分包括一个或多个条件语法元素。在一些实施例中,一个或多个条件语法元素的存在基于与一个或多个固定元素相关联的一个或多个值而被条件化。在一些实施例中,一个或多个条件语法元素中的每一个条件语法元素具有以比特为单位的一个或多个预定义长度。在一些实施例中,第二部分具有以比特为单位的预定义长度。
在下表中例示出了包括第一部分和第二部分的示例语法结构:
Figure BDA0002980452650000311
需要理解的是,即使在上面的示例语法中以及在某些示例实施例中包括简档指示符(profile_idc)和级别指示符(level_idc),实施例也可以类似地在没有此类指示符的情况下被实现。例如,简档指示符和/或级别指示符可以被包括在另一语法结构中,或者它们中的一个或两个可以被比特流中或者与比特流一起(例如在第一部分和/或第二部分中)的信息完全省略。
在所图示的示例中,profile_level()语法结构以以下语法结构中的一个或多个语法结构被编码在比特流中:
-序列参数集(优选地在任何可变长度的经编码语法元素之前)。
-视频参数集(优选地在任何可变长度的经编码语法元素之前)。
-CVSG参数集或比特流参数集,其类似于序列参数集,但是分别针对CVSG或比特流被指定。
-针对比特流、CVSG、或CVS的头部,其中头部可以被有条件地包括在经编码视频NAL单元中。
-用于包含针对比特流、CVSG、或CVS的头部的原始字节序列有效载荷(RBSP)(以及相应的NAL单元)。在解码过程中,RBSP可以在它出现在比特流中的位置处被激活。
-上面的任何选项,其中仅包括profile_level()语法结构,而没有任何其他语法元素或语法结构。
在所图示的示例中,第一部分包括简档指示符(profile_idc)、级别指示符(level_idc)和64个约束标志。第二部分包括176比特。约束标志的数目和语法元素的长度仅仅是示例;同样可以使用其他预定义长度。
在一些实施例中,诸如profile_level()语法结构的语法结构,可以被携带在媒体描述中(例如,多用途互联网邮件扩展(MIME)参数、会话描述协议(SDP)或HTTP(超文本传输协议)上的动态自适应流传输、媒体表示描述(DASH MPD))和/或通过通信协议来携带。
多用途互联网邮件扩展(MIME)是电子邮件协议的扩展,其使得可以在互联网上传送和接收不同类型的数据文件,例如视频和音频、图像、软件等。互联网媒体类型是在互联网上被用来指示文件所包含的数据类型的标识符。这样的互联网媒体类型也可以被称为内容类型。存在可以包含不同媒体格式的若干MIME类型/子类型组合。内容类型信息可以在媒体传输开始时由传输实体包括在MIME头部中。因此,接收实体可能需要检查此类媒体内容的详细信息,以确定给定可用编解码器集是否可以绘制特定元素。特别是当端系统具有有限资源、或与端系统的连接具有有限带宽时,仅从内容类型中知晓是否可以绘制内容可能是有帮助的。
在一个实施例中,选择第一部分和/或第二部分的预定义比特计数和/或第一部分和/或第二部分的某些预定义部分以适合于携带机制或通信协议。例如,可以选择字节对齐以进行有效的存储器分配。在另一示例实施例中,例如对于简档和级别指示符之后的所有语法元素,所提出的profile_level()语法中的比特数目被6和8两者可整除(即24比特的整数倍),从而启用base64编码,例如作为编解码器MIME参数的一部分。base64编码按照如下方式以“美国标准信息交换标准码(ASCII)”字符串表示二进制数据,在该方式中每个base64“数字”(字符)表示6比特二进制数据。
在所图示的示例profile_level()语法结构中,default_chroma_format_flag等于1指定了将变量ChromaFormatIdc设置为等于1。ChromaFormatIdc的语义与早先描述的chroma_format_idc的语义相同。default_chroma_format_flag等于0指定了存在pl_chroma_format_idc。
default_bit_depth_flag等于1指定了将bit_depth_luma_minus8和bit_depth_chroma_minus8推断为等于0。default_bit_depth_flag指定了bit_depth_luma_minus8和bit_depth_chroma_minus8存在于比特流中,诸如在比特流中包括的序列参数集中。
在下表中提供了一个示例序列参数集:
Figure BDA0002980452650000331
Figure BDA0002980452650000341
sps_seq_parameter_set_id提供针对SPS的标识符,以供其他语法元素参考。sps_seq_parameter_set_id的值可以在0到15的范围内(包括0和15)。
chroma_format_idc指定相对于亮度采样的色度采样,如下面所指定的那样。chroma_format_idc的值可以在0到3的范围内(包括0和3)。
separate_colour_plane_flag等于1指定了将4:4:4色度格式的三个颜色分量分别编码。separate_colour_plane_flag等于0指定了未对颜色分量分别编码。当不存在separate_colour_plane_flag时,推断它等于0。当separate_colour_plane_flag等于1时,经编码图片由三个分开的分量组成,分量中的每个分量由一个颜色平面(Y、Cb、或Cr)的经编码样本组成并且使用单色编码语法。在这种情况下,每个颜色平面都与特定的colour_plane_id值相关联。
在具有不同colour_plane_id值的颜色平面之间的解码过程中没有依赖性。例如,具有colour_plane_id的一个值的单色图片的解码过程不使用来自具有colour_plane_id的不同值的单色图片的任何数据进行帧间预测。
在下表中指定了变量SubWidthC和SubHeightC,取决于色度格式采样结构,该色度格式采样结构通过chroma_format_idc和separate_colour_plane_flag来指定。
Figure BDA0002980452650000351
在单色采样中,仅存在一个采样阵列,其名义上被认为是亮度阵列。
在4:2:0采样中,两个色度阵列中的每一个色度阵列均具有亮度阵列的一半高度和一半宽度。
在4:2:2采样中,两个色度阵列中的每一个色度阵列均具有亮度阵列的相同高度和一半宽度。
在4:4:4采样中,取决于separate_colour_plane_flag的值,以下适用:
–如果separate_colour_plane_flag等于0,则两个色度阵列中的每一个色度阵列都具有与亮度阵列相同的高度和宽度。
–否则(separate_colour_plane_flag等于1),将三个颜色平面分别作为单色采样图片处理。
视频序列中的亮度和色度阵列中的样本中的每个样本的表示所必需的比特数目在8至16的范围内(包括8和16),并且在亮度阵列中使用的比特数目可以与色度数组中使用的比特数目不同。
当chroma_format_idc的值等于1时,图片中的亮度和色度样本的标称垂直和水平相对位置如下所示。可以在视频可用性信息中指示备选色度样本相对位置。
当chroma_format_idc的值等于1时,在图3A中的示例中示出了图片中的亮度和色度样本的标称垂直和水平相对位置。可以在视频可用性信息中指示备选色度样本相对位置。图3A图示了图片中的4:2:0的亮度和色度样本的示例标称垂直和水平位置。
当chroma_format_idc的值等于2时,色度样本与对应的亮度样本共处一处,并且在图3B中图示了图片中的标称位置,其图示了图片中的4:2:2亮度和色度样本的标称垂直和水平位置。
当chroma_format_idc的值等于3时,针对图片的所有情况,所有阵列样本都共处一处,并且在图片3C中图示了图片中的标称位置,其图示了图片中的4:4:4亮度和色度样本的标称垂直和水平位置。
pic_width_in_luma_samples指定了以亮度样本为单位的每个经解码图片的宽度。pic_width_in_luma_samples可以不等于0,并且可以是MinCbSizeY的整数倍。
pic_height_in_luma_samples指定了以亮度样本为单位的每个经解码图片的高度。pic_height_in_luma_samples可以不等于0,并且可以是MinCbSizeY的整数倍。
bit_depth_luma_minus8指定了亮度阵列BitDepthY的样本的比特深度和亮度量化参数范围偏移QpBdOffsetY的值,如下:
BitDepthY=8+bit_depth_luma_minus8
QpBdOffsetY=6*bit_depth_luma_minus8
bit_depth_luma_minus8可以在0到8的范围内(包括0和8)。
bit_depth_chroma_minus8指定了色度阵列BitDepthC的样本的比特深度和色度量化参数范围偏移QpBdOffsetC的值,如下:
BitDepthC=8+bit_depth_chroma_minus8
QpBdOffsetC=6*bit_depth_chroma_minus8
bit_depth_chroma_minus8可以在0到8的范围内(包括0和8)。
qtbtt_dual_tree_intra_flag等于1指定了对于I切片,利用隐式四叉树拆分将每个CTU拆分为具有64x64亮度样本的编码单元,并且这些编码单元是针对亮度和色度的两个分开的coding_quadtree语法结构的根。
log2_ctu_size_minus2加2指定了每个CTU的亮度编码树块尺寸。log2_ctu_size_minus2等于0、1、2等指示CTU的宽度和高度分别等于2(2+0)、2(2+1)、2(2+2)等,即,则CTU尺寸分别等于4×4、8×8、16×16等。
log2_min_qt_size_intra_slices_minus2加2指定了利用slice_type等于2(I)的切片中的CTU的四叉树拆分所产生的叶块的最小亮度尺寸。log2_min_qt_size_intra_slices_minus2的值可以在0到CtbLog2SizeY-2的范围内(含端点)。
log2_min_qt_size_inter_slices_minus2加2指定了由slice_type等于0(B)或1(P)的切片中的CTU的四叉树拆分所产生的叶块的最小亮度尺寸。log2_min_qt_size_inter_slices_minus2的值可以在0到CtbLog2SizeY-2的范围内(含端点)。
max_mtt_hierarchy_depth_inter_slices指定了针对利用slice_type等于0(B)或1(P)的切片中的四叉树叶的多类型树拆分所产生的编码单元的最大层次深度。max_mtt_hierarchy_depth_inter_slices的值可以在0到CtbLog2SizeY-MinTbLog2SizeY的范围内(含端点)。
max_mtt_hierarchy_depth_intra_slices指定了针对利用slice_type等于2(I)的切片中的四叉树叶的多类型树拆分所产生的编码单元的最大层次深度。max_mtt_hierarchy_depth_intra_slices的值可以在0到CtbLog2SizeY-MinTbLog2SizeY的范围内(含端点)。
sps_cclm_enabled_flag等于0指定了从亮度分量到色度分量的跨分量线性模型帧内预测被禁用。sps_cclm_enabled_flag等于1指定了从亮度分量到色度分量的跨分量线性模型帧内预测被启用。
sps_mts_intra_enabled_flag等于1指定了cu_mts_flag可以存在于针对帧内编码单元的残余编码语法中。sps_mts_intra_enabled_flag等于0指定了cu_mts_flag不存在于帧内编码单元的残余编码语法中。cu_mts_flag[x0][y0]等于1指定了多重转变选择被应用于关联的亮度转变块的残差样本。cu_mts_flag[x0][y0]等于0指定了多重转换选择未被应用于关联的亮度转换块的残差样本。阵列索引x0,y0指定了所考虑的转变块的左上亮度样本相对于图片的左上亮度样本的位置(x0,y0)。当不存在cu_mts_flag[x0][y0]时,推断它等于0。
sps_mts_inter_enabled_flag指定cu_mts_flag可以存在于针对帧间编码单元的残余编码语法中。sps_mts_inter_enabled_flag等于0指定cu_mts_flag不存在于针对帧间编码单元的残余编码语法中。
在一些实施例中,指示比特流的一个或多个编解码属性的语法结构可以被预定义或被指示为与CVSG或比特流有关。例如,即使简档-级别语法结构等被包含在序列参数集中,对于单个CVSG或比特流,可能要求简档-级别语法结构等的内容在所有活动序列参数集中是相同的。
下面提供指示比特流的一个或多个编解码属性的语法结构的另一示例:
第一部分:
Figure BDA0002980452650000381
第二部分:
Figure BDA0002980452650000391
在所图示的示例中,第一部分包括简档指示符(profile_idc)、级别指示符(level_idc)、和64个约束标志。第二部分包括64比特profile_constraint_param_bits。约束标志的数目和语法元素的长度仅仅是示例;同样可以使用其他预定义长度。
利用profile_constraint_params()语法结构来指定constraint_param_bits的语法。在与VVC相关的一些实施例中,对于比特流符合性,要求numBits小于或等于64(或者,通常,以比特为单位的profile_constraint_param_bits的长度)。
值Fxy是(以比特为单位)针对长度的预定义常数,以指示以第x个约束标志而被条件化的第y个语法元素。然而,需要理解的是,可变长度经编码语法元素(诸如ue(v))可以被用于选定的语法元素。
ConstraintFlag[i]是在解码profile_level()语法结构时被设置为等于constraint_flag[i]的变量。备选地,constraint_flag[i]等于1可以指示该约束未被使用。这样可以更容易避免启动代码仿真。在这种情况下,将ConstraintFlag[i]设置为等于!constraint_flag[i],其中!代表布尔逻辑“非”运算符。
在一些实施例中,指示比特流的一个或多个编解码属性的语法结构是简档-级别语法结构,其可以包括针对子比特流的信息,该子比特流包括子层的子集。下面提供了一个示例:
第一部分
Figure BDA0002980452650000401
第二部分:
Figure BDA0002980452650000402
Figure BDA0002980452650000411
如以上示例中所图示的,profileFlag、levelFlag、constraintsFlag、profile_flag、level_flag、constraints_flag和constraint_params_flag被利用来指示推断出简档-级别语法的哪些切片以及对于子比特流存在哪些简档-级别语法。当不存在时,该信息可以被推断为等于子比特流中具有多一个子层的相应信息,例如可以指示针对仅包括子层0的子比特流的信息被推断为等于针对子层0和1的信息。备选地,可以推断出该信息是从具有少一个子层的子比特流中推断出的,例如可以指示针对包括子层0和1的子比特流的信息被推断为等于仅针对子层0的信息。
在另一示例实施例中,为了在多个子层或多层(在可伸缩视频编码中)或多个输出层集合等(在可伸缩视频编码中)之间共享指示比特流的一个或多个编解码属性的语法结构,它们中的许多可以以相同的包含结构来指示并索引。例如,可以在视频参数集中提供索引到整个不可缩放比特流、仅包含某些子层的子比特流、输出层集合和/或层的映射。备选地,多个简档-级别语法结构可以被指示,每一个以还包含标识符值的不同包含语法结构来指示。例如,可以在视频参数集中提供标识符值到整个不可缩放比特流、仅包含某些子层的子比特流、输出层集合和/或层的映射。
在一些实施例中,指示比特流的一个或多个编解码属性的语法结构的第一部分包括一组参数集扩展标志。参数集扩展标志在被设置时指定包含简档-级别语法结构(例如序列参数集)的语法结构包含特定于扩展的附加语法元素。例如,编码标准的第一版本可能不包含可伸缩或3D扩展,而可伸缩或3D扩展可能在编码标准的以后版本中被限定。扩展标志可以被用于可伸缩扩展和/或3D扩展。下面提供了一个示例:
第一部分:
Figure BDA0002980452650000422
第二部分:
Figure BDA0002980452650000421
Figure BDA0002980452650000431
可以指定语法函数bitstream_pointer_pos(),以返回比特流指针的比特位置。按照解码顺序,比特流的第一比特的比特流指针等于预定义的值,诸如0。可以指定比特流指针位置,以在起始码仿真防止字节已被移除之后应用。
语法函数more_rbsp_data()可以被指定如下:
-如果原始字节序列有效载荷(RBSP)中没有更多数据,则more_rbsp_data()的返回值等于FALSE(假)。
-否则,为了RBSP中存在的等于1的最后(最低有效,最右)比特而搜索RBSP数据。给定该比特的位置,其是rbsp_trailing_bits()语法结构的第一比特(rbsp_stop_one_bit),以下适用:
○如果rbsp_trailing_bits()语法结构之前的RBSP中有更多数据,则more_rbsp_data()的返回值等于TRUE(真)。
○否则,more_rbsp_data()的返回值等于FALSE(假)。
可以由容器格式来指定用于使得能够确定RBSP中是否存在更多数据的方法。例如HEVC的ISO基础媒体文件格式封装为每个NAL单元添加了其长度字段为前缀,该长度字段可以被用来确定RBSP的尺寸。当使用字节流格式时,可以基于字节流中是否跟随有起始代码来确定RBSP中是否有更多数据。
rbsp_trailing_bits()的语法可以被指定如下:
Figure BDA0002980452650000442
在以上示例中,为了符合VVC编码标准的v1,保留了八个SPS扩展比特。在比特流中,可能要求reserved_sps_extension_8bits等于0。尽管以下语法中未示出,但一些约束标志可能已被指定为符合VVC编码标准的v1。可能要求reserved_zero_bit的值等于0。startBitPos包括指向起始比特的位置的指针bitstream_pointer_pos(),并且endBitPos包括指向结束比特的位置的指针。numStuffingBits是起始比特和结束比特之间的比特数目。
在一些实施例中,可以在指示比特流的一个或多个编解码属性的语法结构中利用多层扩展。下面提供了一个示例:
第一部分
Figure BDA0002980452650000441
Figure BDA0002980452650000451
第二部分
Figure BDA0002980452650000452
multilayer_extension_flag指示是否存在多层扩展。值Fxy和Gxz是(以比特为单位)针对长度的预定义常数,以分别指示以第x个扩展标志而被条件化的SPS扩展中的第z个语法元素和第二部分中的第y个语法元素。然而,需要理解的是,可变长度的经编码语法元素(诸如ue(v))可以被用于选定的语法元素。multilayer_constraint_param_y指示与多层扩展以及所指示的简档和级别相关的约束。multilayer_sps_param_z指示当SPS为活动时在使用中的语法元素的值。
在一些示例实施例中,指示比特流的一个或多个编解码属性的语法结构(例如,简档-级别语法结构)不影响解码过程,即,所包括的语法元素仅指示约束并且不指示将影响解码过程的参数值。这样的设计具有以下优点:
-第二部分中的某些约束标志的语义和相关的条件语法可以由未指定编码标准本身的实体来指定。例如,3GPP可以在第二部分中为H.266/VVC指定某些约束标志和相关的条件语法。
-解码器可以省略约束标志和第二部分,并且仅考虑profile_idc和level_idc(或类似)以用于确定其是否能够对比特流进行解码。由于约束标志和第二部分占据了预定义的固定比特数,因此解码器不需要知道语法。因此,将来(在本规范的以后版本中)限定的任何约束标志以及第二部分的相应将来扩展都是向后兼容的。
-外部组织可以指定要求在其“子简档”中设置哪些约束标志。专门为子简档构建的解码器能够解码符合该子简档的比特流的简档-级别信令,因为解析第二部分仅要求解析与该子简档的约束标志相对应的条件子部分。
-如前所讨论,简档-级别结构可能与比特流或CVSG有关。因此,与包含序列参数集的其他语法元素相比,简档-级别结构中指示的约束可能与更长的范围有关。
下面提供了参考先前描述的序列参数集的示例:
Figure BDA0002980452650000461
Figure BDA0002980452650000471
在上面所说明的示例中,第一部分包括简档指示符(profile_idc)、级别指示符(level_idc)、和64个约束标志。第二部分包括176比特。约束标志的数目和语法元素的长度仅仅是示例;同样可以使用其他预定义长度。约束标志等于0指定了相应约束正在使用中。应该理解的是,该示例可能已经用指定相应约束正在使用中的等于1的约束标志进行了类似的描述。在该示例中,简档-级别结构与比特流有关,但是对于适用于其他范围(诸如CVSG或CVS)的简档-级别结构,可以类似地描述语义。与分开的颜色平面和一组受约束的比特深度值相关的指示被图示。需要理解的是,这些指示仅仅是示例,并且可以用其他指示类似地描述其他实施例。在该示例中,简档(由profile_idc的特定值指示)允许使用分开的颜色平面,并且外部主体可能想要在其子简档中禁止使用分开的颜色平面。在此示例中,简档(由profile_idc的特定值指示)允许使用多个比特深度值(例如10比特简档可以允许使用比特深度8、9和10以及分别针对亮度和色度选择比特深度)。进一步假设,外部主体可能想要限制所允许的比特深度(例如,10比特简档可能被限制为仅允许比特深度8和10的子简档)。
separate_colour_plane_allowed_flag等于0指示在针对比特流的有效SPS中,separate_colour_plane_flag等于0。separate_colour_plane_allowed_flag等于1指示在针对比特流的有效SPS中,separate_colour_plane_flag等于0或1。当由profile_idc指示的简档允许使用分开的颜色平面时,等于0的separate_colour_plane_allowed_flag可以被用来指示关于在比特流中未使用分开的颜色平面的约束。
bit_depth_unconstrained_flag等于0指示:针对比特流的有效SPS中所使用的比特深度值如bit_depth_luma_max_minus8、bit_depth_luma_idx_minus8_flag[i]、bit_depth_chroma_max_minus8、和bit_depth_chroma_idx_minus8_flaf[i]所指定的那样被约束。bit_depth_unconstrained_flag等于1指示:针对比特流的有效SPS中的比特深度值相对于profile_idc值所隐含的内容而可能会也可能不会受到进一步约束。
bit_depth_luma_max_minus8加8指示在比特流的所有图片的所有亮度样本阵列之间可能存在的最大比特深度。需要该值来遵守profile_idc值所隐含的比特深度约束。
bit_depth_luma_idx_minus8_flag[i]等于0指示在比特流的所有图片之中没有亮度采样阵列具有等于8+i的比特深度。bit_depth_luma_idx_minus8_flag[i]等于1指示比特流的所有图片之中的亮度样本阵列可能具有等于8+i的比特深度。
bit_depth_chroma_max_minus8加8指示在比特流的所有图片的所有色度样本阵列之中可能存在的最大比特深度。需要该值来遵守profile_idc值所隐含的比特深度约束。
bit_depth_chroma_idx_minus8_flag[i]等于0指示在比特流的所有图片之中没有色度样本阵列具有等于8+i的比特深度。bit_depth_chroma_idx_minus8_flag[i]等于1指示在比特流的所有图片之中的色度样本阵列可能具有等于8+i的比特深度。
在一些实施例中,指示比特流的一个或多个编解码属性的语法结构(例如,简档-级别语法结构)影响解码过程,即,简档-级别语法结构中包括的语法元素指示可以指示影响解码过程的参数值。与简档-级别语法结构仅包含指示的情况下相比,这种设计具有更紧凑语法的优点。下面提供了一个示例:
Figure BDA0002980452650000491
在上面所说明的示例中,对于简档-级别语法结构的有效性范围(例如,对于整个比特流),色度格式保持不变。在上面例示出的示例中,亮度和色度比特深度在简档-级别语法结构的有效性范围内保持不变。
如前所述,default_chroma_format_flag等于1指定将变量ChromaFormatIdc设置为等于1。ChromaFormatIdc的语义与早先所述的chroma_format_idc的语义相同。default_chroma_format_flag等于0指定存在pl_chroma_format_idc。default_bit_depth_flag等于1指定bit_depth_luma_minus8和bit_depth_chroma_minus8被推断为等于0。default_bit_depth_flag指定存在bit_depth_luma_minus8和bit_depth_chroma_minus8。pl_chroma_format_idc被用来导出ChromaFormatIdc的值,如下:如果pl_chroma_format_idc等于0,则将ChromaFormatIdc设置为等于0。否则,将ChromaFormatIdc设置为等于pl_chroma_format_idc+1。pl_chroma_format_idc的值在0到2的范围内(包括0和2)。
色度格式和与比特深度相关的语法元素被包括在简档-级别语法结构中,因此不需要存在于序列参数集中的其他地方,如以下示例SPS语法结构(类似于以前提供的SPS语法结构)中所图示:
Figure BDA0002980452650000501
Figure BDA0002980452650000511
在一个实施例中,不影响解码过程的方法可以与影响解码过程的方法相结合。例如,简档-级别语法结构可以包括一些不影响解码过程的语法元素和一些其他影响解码过程的语法元素。例如,在标准的版本1中指定的语法可能影响解码过程,而在引入扩展的第一版本中指定的语法可能影响符合该扩展的比特流的解码。约束标志或在以后版本中指定的此类标志可能仅指示约束,而不影响解码过程。
下面提供不影响解码过程的方法可以与影响解码过程的方法相结合的示例实施例。
Figure BDA0002980452650000512
Figure BDA0002980452650000521
profile_level()的语法结构包含以下部分:1)简档指示符(profile_idc)。建议以8比特固定长度代码为例,但是也可以使用其他可能性。2)级别指示器(level_idc)。建议以8比特固定长度代码为例,但是也可以使用其他可能性。3)用于指示约束的固定数目的标志。建议以32个保留标志为例,但是也可以使用其他可能性。这些标志对解码过程没有影响。4)用于指示扩展或以其他方式影响解码过程的固定数目的标志。用于比特深度和色度格式的标志被提议。另外,作为示例呈现了30个保留标志,但是也可以使用其他数目的保留标志。5)用于语法元素的预定义比特数,这对于互操作性点指示可能很重要。建议以128比特为例,但是也可以使用其他可能性。提议比特深度、色度格式和分开的颜色平面指示被包括并被编码为固定长度代码字(但是也可以使用可变长度编码)。比特深度和色度格式语法元素被提议以影响规矩解码器操作,即,它们在序列参数集中的其他地方不再被重复。
可以如下指定profile_level()的语法部分的语义:bit_depth_flag等于0指定luma_bit_depth_minus8和chroma_bit_depth_minus8被推断为等于0。bit_depth_flag等于1指定luma_bit_depth_minus8和chroma_bit_minimum8存在。chroma_format_flag等于0指定ChromaFormatIdc等于1并且SeparateColourPlaneFlag等于0。chroma_format_flag等于1指定存在pl_chroma_format_idc存在。pl_chroma_format_idc指定相对于亮度采样的色度采样,以及是否分别编码4:4:4色度格式的三个颜色分量,如下面所指定的那样。
Figure BDA0002980452650000522
Figure BDA0002980452650000531
以下语法用一个约束标志和一个附加扩展标志说明了如何将profile_level()结构扩展到上面所呈现的之外。
Figure BDA0002980452650000532
Figure BDA0002980452650000541
在一个实施例中,指示比特流的一个或多个编解码属性的语法结构的第二部分(例如,简档-级别语法结构)包括除了其存在是基于简档-级别语法结构的第一部分中的语法元素的一个或多个值而被条件化语法元素之外或代替该语法元素而无条件地存在的语法元素。下面提供了示例实施例,其中在简档-级别语法结构的第二部分中无条件地存在chroma_format_idc、bit_depth_luma_minus8、和bit_depth_chroma_minus8。
Figure BDA0002980452650000542
Figure BDA0002980452650000551
在一些实施例中,指示比特流的一个或多个编解码属性的语法结构的第一和/或第二部分中的第一和/或第二部分约束和/或语法元素中的约束和/或语法元素可以包括以下中的一个或多个:
-渐进源内容指示
-交错源内容指示
-仅存在经编码帧的指示
-仅存在经编码字段的指示
-在显示之前可能要求解包的空间和/或时间打包的视频内容的指示
-在显示之前可能需要诸如选择视口并为所选视口和重新采样的处理的诸如全向投影(例如等角投影)的投影视频内容的指示
-针对亮度和/或色度的比特深度(在所有图片中使用)、和/或针对亮度和/或色度的最小比特深度、和/或针对亮度和/或色度的最大比特深度
-色度格式和/或单色内容的指示
-图片类型和/或切片类型(例如I切片、P切片、B切片)和/或正在使用的类似物
-正在使用的预测类型(例如帧内预测、帧间预测)
-比特流仅由一个访问单元或经编码图片组成的指示
-根据缓冲模型的比特率,其可以被用于输入给(假设的)解码器
-独立的非基础层的指示
-存在或可能存在的时间子层数目或最大时间标识符值(例如HEVC中的TemporalId)
-存在或可能存在的层
-嵌套了时间子层的指示,即,如果按解码顺序TemporalId小于tId的先前图片已被解码,则可以解码每个TemporalId等于tId的图片,该tId大于0。
-图片宽度和高度(在所有图片中使用)、和/或最小图片宽度和高度、和/或最大图片宽度和高度
-解码所需的经解码图片缓冲器中的参考图片数目和/或图片数目(或图片存储槽)
-在解码任何给定图片之前需要解码的最大图片数目
-可以按解码顺序在任何输出图片之前并且可以按输出顺序跟随在该图片之后的最大输出图片数目
-可以按输出顺序在任何输出图片之前和按解码顺序跟随在该图片之后的最大输出图片数目
-最小编码块尺寸,诸如最小亮度编码块尺寸
-最大编码块尺寸,诸如最大亮度编码块尺寸
-最小编码树单元尺寸,诸如最小亮度编码树块尺寸
-最大编码树单元尺寸,诸如最大亮度编码树块尺寸
-针对编码树块的最大分区深度
-解码可能需要的最精细运动矢量分辨率
-解码可能需要的最粗糙运动矢量分辨率
-打开或关闭编码工具。这样的编码工具可以包括但不限于滤波(例如解块、样本自适应偏移、和/或自适应环路滤波)、帧内预测模式、帧间预测模式(例如加权预测)、运动矢量预测模式(例如时间运动矢量预测))、残差编码模式(例如跨分量预测)。第一部分可以指示约束是否被应用于一组编码工具(例如,帧内预测)。如果是这样,则第二部分可以包括用于指示已经应用了哪些约束(例如哪些帧内预测模式没有在使用中)的语法元素。
-被使用或可能被使用的长期参考图片数目,或者是否被使用或可能被使用的长期参考图片的指示。
-有关被使用或可能被使用的图片分区的信息。这样的信息可以例如是但不限于以下中的一个或多个。需要理解的是,尽管项目符号(bullet)指的是图块,但是项目符号可以类似地指代其他空间单元(例如,切片、子图片)
○是否使用常数大小的图块的指示
○使用中的最小图块尺寸和/或最大图块尺寸
○图块是否受运动限制或者是受运动限制的图块集的图块集的指示
-在一些实施例中,第一部分可以指示是否正在使用中的块分区约束。如果是这样,则第二部分可以包括一组块分区约束指示,包括例如二元块拆分是否被禁用、三元块拆分是否被禁用、四元块拆分是否被禁用、色度块是否被禁用、以与对应的色块具有不同的块拆分。
-对假设参考解码器(HRD)参数或视频缓冲验证器(VBV)参数等的约束。
在上面的列表中,一些属性被指示为肯定语句(某些属性被使用在经编码图片中或者可以被使用在经编码图片中)。需要理解的是,备选地或附加地,可以类似地将属性指示为语句,其中该属性不出现在经编码图片中。同样,在上面的列表中,一些属性被指示为否定语句(某些属性未被使用在经编码图片中或被禁用)。需要理解的是,备选地或附加地,可以类似地将属性指示为肯定语句(该属性可以出现在经编码图片中)。
可以限定某个简档指示符值以暗示一组已限定的约束。可以限定第一简档以在第一部分和/或第二部分中使用该简档指示符值以及一组附加约束或扩展。可以限定第二简档以在第一部分和/或第二部分中使用相同的简档指示符值和一组不同的附加约束或扩展。
已经参考具有以比特为单位的预定义长度的第二部分描述了某些实施例。需要理解的是,当第二部分具有以比特为单位的可变长度时,可以类似地应用实施例。例如,第二部分的长度可以使得第二部分仅包括被确定为以由第一部分的语法元素值而被条件化而存在的语法元素。在这种情况下,第二部分中可能没有填充比特等。在另一示例中,第二部分的长度可以变化,但需要为某个间隔尺寸(granularity)的倍数,诸如8比特(用于达到字节对齐)、24比特(用于明确映射到base64编码)、或32比特(用于达到双字对齐)。在这种情况下,第二部分包括被确定为以由第一部分的语法元素值而被条件化而存在的语法元素以及填充比特以达到期望对齐。变化长度的第二部分的好处是节省了比特计数,因为profile_level()语法结构等中没有或只有很少的填充比特。变化长度的第二部分的潜在缺点是该结构可能必须在通信协议中被成帧(例如,通过长度前缀),并且将需要动态存储器分配以利用比特计数节省的优点。
利用以下语法结构来描述具有变化长度的第二部分的示例实施例:
Figure BDA0002980452650000581
Figure BDA0002980452650000591
num_24bit_extensions*24+120规定指定profile_level()语法结构中的比特数目。其他语法元素的语义可以类似于在其他实施例中的相同或相似语法元素的语义来指定。在此示例实施例中,第一部分中的比特数目为120,第二部分中的比特数目为num_24bit_extensions*24。通过保持结构为与24比特整数倍对齐的语法元素,无需指定对编解码器外部的结构的结束进行处理就可以实现结构的字节对齐和base64编码。profile_idc、num_24bit_extensions和level_idc在该结构的base64编码中以不同的字符出现,因此可以轻松地被解析。可能需要编码器通过选择num_24bit_extensions的值来确保比特流符合性,以使numStuffingBits大于或等于0。
如框24中所示,装置包括用于引起比特流(例如,连同经编码的语法结构一起)的存储的部件,诸如处理电路系统12、存储器14等。
现在参照图4,图示了诸如由图1的装置10所执行的操作,以便对包括语法结构的比特流进行编码,该语法结构包括图像或视频比特流中的非二进制简档约束,从而使得解码器可以能够确定解码器是否能够在无需完全解码比特流的情况下解码比特流。
如框40中所示,该装置包括用于接收比特流的部件,诸如处理电路系统12、通信接口16等。比特流可以是视频或图像比特流,并且该比特流可以作为其他比特流的一部分而被接收,诸如相同基本流中的其他比特流以及来自其他基本流的比特流。在一些实施例中,比特流可以是在VVC下限定的比特流或在HEVC下限定的比特流。
如框42中所示,该装置包括用于通过使用解码器从与比特流相关联的语法结构中解码比特流的一个或多个编解码属性的部件,诸如处理电路系统12等。在一些实施例中,语法结构包括:第一部分和第二部分,该第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,该第二部分包括一个或多个条件语法元素。在一些实施例中,一个或多个条件语法元素的存在基于与一个或多个固定元素相关联的一个或多个值而被条件化。在一些实施例中,一个或多个条件语法元素中的每一个语法元素具有以比特为单位的一个或多个预定义长度。在一些实施例中,第二部分具有以比特为单位的预定义长度。在一些实施例中,语法结构是结合图2描述的相同结构。
如框44中所示,该装置包括用于基于一个或多个编解码属性来确定解码器是否能够解码比特流的部件,诸如处理电路系统12等。
在确定解码器能够解码比特流时,如框46中所示,该装置包括用于解码比特流内的一个或多个视频或图片的部件,诸如处理电路系统12等。
如上所述,图2和图4是根据某些示例实施例的装置10、方法和计算机程序产品的流程图。应当理解,流程图的每个框以及流程图中的框的组合可以通过各种手段来实现,诸如硬件、固件、处理器、电路系统和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如,上述过程中的一个或多个可以由计算机程序指令来体现。就此而言,体现上述过程的计算机程序指令可以由采用本发明实施例的装置的存储器设备14来存储,并且由该装置的处理电路系统12来执行。正如将意识到的那样,任何这样的计算机程序指令可以被加载到计算机或其他可编程装置(例如,硬件)上以产生机器,从而使得所得的计算机或其他可编程装置实现流程图框中指定的功能。这些计算机程序指令还可以被存储在计算机可读存储器中,该计算机可读存储器可以指导计算机或其他可编程装置以特定方式起作用,从而使得存储在计算机可读存储器中的指令产生制品,该制品的执行实现了流程图框中指定的功能。计算机程序指令也可以被加载到计算机或其他可编程装置上,以使得在计算机或其他可编程装置上执行一系列操作以产生计算机实现的过程,从而使得在计算机或其他可编程装置上执行的指令提供用于实现流程图块中指定的功能的操作。
因此,在其中计算机程序指令(诸如计算机可读程序代码部分)由具有计算机程序指令(诸如计算机可读程序代码部分)的至少一个非暂态计算机可读存储介质存储的那些实例中限定了计算机程序产品,其被配置为在执行时诸如结合图2和图4的流程图来执行上述功能。在其他实施例中,计算机程序指令(诸如计算机可读程序代码部分)不需要由非暂态计算机可读存储介质存储或以其他方式体现,而是可以由具有计算机程序指令(诸如计算机可读程序代码部分)的暂态介质来体现,其仍然被配置为在执行时执行上述功能。
因此,流程图的框支持用于执行指定功能的部件的组合以及用于执行指定功能的用于执行指定功能的操作的组合。还将理解,流程图的一个或多个框以及流程图中的框的组合可以由执行指定功能的基于专用硬件的计算机系统或专用硬件和计算机指令的组合来实现。
在一些实施例中,可以修改或进一步放大上述操作中的某些操作。此外,在一些实施例中,可以包括附加的可选操作。可以以任何顺序和以任何组合来执行对以上操作的修改、添加或放大。
受益于前述说明书和相关附图中呈现的教导的这些发明所属领域的技术人员将能够想到本文阐述的本发明的许多修改和其他实施例。因此,应当理解,本发明不限于所公开的特定实施例,并且修改和其他实施例旨在被包括在所附权利要求的范围内。此外,尽管前述描述和相关附图在元素和/或功能的某些示例组合的上下文中描述了示例实施例,但是应当理解,在不脱离所附权利要求的范围的前提下,可以由替代实施例提供元素和/或功能的不同组合。就此而言,例如,如所附权利要求中的一些所阐述的那样,与上文明确描述的元素和/或功能的不同组合也被考虑。尽管本文采用了特定术语,但是它们仅在一般性和描述性意义上被使用,而不是出于限制的目的。

Claims (40)

1.一种方法,包括:
将一个或多个源图片编码到比特流中,所述编码由一个或多个编解码属性来表征;以及
将指示所述比特流的所述一个或多个编解码属性的语法结构编码到所述比特流中或者与所述比特流一起编码,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化。
2.根据权利要求1所述的方法,其中所述语法结构由解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
3.根据权利要求1至2中任一项所述的方法,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
4.根据权利要求1至3中任一项所述的方法,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
5.根据权利要求4所述的方法,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或者与所述比特流相关联的独立非基础层的指示。
6.一种装置,包括至少一个处理器和至少一个存储器,所述至少一个存储器包括针对一个或多个程序的计算机程序代码,所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器,使所述装置至少:
将一个或多个源图片编码到比特流中,所述编码由一个或多个编解码属性来表征;以及
将指示所述比特流的所述一个或多个编解码属性的语法结构编码到所述比特流中或者与所述比特流一起编码,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化。
7.根据权利要求6所述的装置,其中所述语法结构由解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
8.根据权利要求6至7中任一项所述的装置,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
9.根据权利要求6至8中任一项所述的装置,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
10.根据权利要求9所述的装置,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或与所述比特流相关联的独立非基础层的指示。
11.一种装置,包括:
用于将一个或多个源图片编码到比特流中的部件,所述编码由一个或多个编解码属性来表征;以及
用于将指示所述比特流的所述一个或多个编解码属性的语法结构编码到所述比特流中或者与所述比特流一起编码的部件,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化。
12.根据权利要求11所述的装置,其中所述语法结构由解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
13.根据权利要求11至12中任一项所述的装置,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
14.根据权利要求11至13中任一项所述的装置,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
15.根据权利要求14所述的装置,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或者与所述比特流相关联的独立非基础层的指示。
16.一种计算机程序产品,包括其中存储有计算机可执行程序代码指令的至少一个非暂态计算机可读存储介质,所述计算机可执行程序代码指令包括程序代码指令,所述程序代码指令被配置为在执行时:
将一个或多个源图片编码到比特流中,所述编码由一个或多个编码属性来表征;以及
将指示所述比特流的所述一个或多个编解码属性的语法结构编码到所述比特流中或者与所述比特流一起编码,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化,并且其中所述第二部分具有以比特为单位的预定义长度。
17.根据权利要求16所述的计算机程序产品,其中所述语法结构由解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
18.根据权利要求16至17中任一项所述的计算机程序产品,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
19.根据权利要求16至18中任一项所述的计算机程序产品,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
20.根据权利要求19所述的计算机程序产品,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或者与所述比特流相关联的独立非基础层的指示。
21.一种方法,包括:
接收比特流;
从与所述比特流相关联的语法结构中解码所述比特流的一个或多个编解码属性,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化;以及
基于所述一个或多个编解码属性,来确定解码器是否能够解码所述比特流。
22.根据权利要求21所述的方法,其中所述语法结构由所述解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
23.根据权利要求21至22中任一项所述的方法,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
24.根据权利要求21至23中任一项所述的方法,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
25.根据权利要求24所述的方法,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或者与所述比特流相关联的独立非基础层的指示。
26.一种装置,包括至少一个处理器和至少一个存储器,所述至少一个存储器包括用于一个或多个程序的计算机程序代码,所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器,使所述设备至少:
接收比特流;
从与所述比特流相关联的语法结构中解码所述比特流的一个或多个编解码属性,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化;以及
基于所述一个或多个编解码属性,来确定解码器是否能够解码所述比特流。
27.根据权利要求26所述的装置,其中所述语法结构由所述解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
28.根据权利要求26至27中任一项所述的装置,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
29.根据权利要求26至28中任一项所述的装置,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
30.根据权利要求29所述的装置,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或者与所述比特流相关联的独立非基础层的指示。
31.一种装置,包括:
用于接收比特流的部件;
用于从与所述比特流相关联的语法结构中解码所述比特流的一个或多个编解码属性的部件,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化;以及
用于基于所述一个或多个编码属性来确定解码器是否能够解码所述比特流的部件。
32.根据权利要求31所述的装置,其中所述语法结构由所述解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
33.根据权利要求31至32中任一项所述的装置,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
34.根据权利要求31至33中任一项所述的装置,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
35.根据权利要求34所述的装置,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或者与所述比特流相关联的独立非基础层的指示。
36.一种计算机程序产品,包括其中存储有计算机可执行程序代码指令的至少一个非暂态计算机可读存储介质,所述计算机可执行程序代码指令包括程序代码指令,所述程序代码指令在执行时被配置为:
接收比特流;
从与所述比特流相关联的语法结构中解码所述比特流的一个或多个编解码属性,其中所述语法结构包括:
第一部分,所述第一部分包括在一个或多个预定义比特位置处具有以比特为单位的一个或多个预定义长度的一个或多个固定语法元素,以及
第二部分,所述第二部分包括一个或多个条件语法元素,其中所述一个或多个条件语法元素的存在基于与所述一个或多个固定元素相关联的一个或多个值而被条件化;以及
基于所述一个或多个编解码属性,来确定解码器是否能够解码所述比特流。
37.根据权利要求36所述的计算机程序产品,其中所述语法结构由所述解码器可读取,而无需对来自所述比特流的一个或多个图片进行解码。
38.根据权利要求36至37中任一项所述的计算机程序产品,其中所述第一部分包括简档指示符,以及以下一项或多项:一个或多个约束标志或者一个或多个扩展标志,其中所述简档指示符指示所述比特流所符合的一组算法特征或语法约束,其中所述一个或多个约束标志指示对所述比特流所符合的一个或多个算法特征或者一个或多个语法约束的进一步约束,并且其中所述一个或多个扩展标志影响所述比特流的解码。
39.根据权利要求36至38中任一项所述的计算机程序产品,其中所述第二部分具有以比特为单位的预定义长度,并且其中所述第二部分包括以下一项或多项:针对所述比特流中的一个或多个亮度样本阵列的最大比特深度、针对所述比特流中的一个或多个色度样本阵列的最大比特深度、或者与所述比特流相关联的一个或多个其他编解码属性指示。
40.根据权利要求39所述的计算机程序产品,其中与所述比特流相关联的所述一个或多个其他编码指示包括以下一项或多项:与所述比特流相关联的渐进源内容指示、与所述比特流相关联的交错源内容指示、与所述比特流的一个或多个图片相关联的一个或多个图片类型指示、与所述比特流相关联的一个或多个预测类型、与所述比特流相关联的比特率、或者与所述比特流相关联的独立非基础层的指示。
CN201980060905.9A 2018-09-18 2019-09-10 用于针对视频编码的非二进制简档约束信令的方法和装置 Active CN112771885B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862732757P 2018-09-18 2018-09-18
US62/732,757 2018-09-18
PCT/FI2019/050651 WO2020058567A1 (en) 2018-09-18 2019-09-10 Method and apparatus for non-binary profile constraint signaling for video coding

Publications (2)

Publication Number Publication Date
CN112771885A true CN112771885A (zh) 2021-05-07
CN112771885B CN112771885B (zh) 2023-04-25

Family

ID=69888414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060905.9A Active CN112771885B (zh) 2018-09-18 2019-09-10 用于针对视频编码的非二进制简档约束信令的方法和装置

Country Status (5)

Country Link
US (1) US11330271B2 (zh)
EP (1) EP3854106B1 (zh)
CN (1) CN112771885B (zh)
ES (1) ES2962871T3 (zh)
WO (1) WO2020058567A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220272349A1 (en) * 2019-11-05 2022-08-25 Lg Electronics Inc. Image/video coding method and device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122574A1 (ko) * 2018-12-13 2020-06-18 에스케이텔레콤 주식회사 코딩 툴 설정 방법 및 영상 복호화 장치
US11671595B2 (en) * 2019-03-12 2023-06-06 Qualcomm Incorporated Reconstruction of blocks of video data using block size restriction
WO2020263646A1 (en) * 2019-06-24 2020-12-30 Interdigital Vc Holdings, Inc. Method and apparatus for signaling decoding data using high level syntax elements
US11303935B2 (en) * 2019-07-10 2022-04-12 Qualcomm Incorporated Deriving coding system operational configuration
CN115104317A (zh) * 2019-12-12 2022-09-23 Lg电子株式会社 图像编码装置和用于控制环路滤波的方法
WO2021203039A1 (en) * 2020-04-03 2021-10-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high-level syntax in video coding
US11611778B2 (en) * 2020-05-20 2023-03-21 Sharp Kabushiki Kaisha Systems and methods for signaling general constraint information in video coding
CA3181101A1 (en) * 2020-06-02 2021-12-09 Bytedance Inc. Signaling of general constrain information
US20220086385A1 (en) * 2020-09-17 2022-03-17 Lemon Inc. Profile, tier, level and general constraints indication in coded video
US11729427B2 (en) 2020-09-17 2023-08-15 Lemon Inc. Chroma format and bit depth indication in coded video
US20230102088A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for constraint flag signaling for range extension
WO2023056360A1 (en) * 2021-09-30 2023-04-06 Bytedance Inc. Method, apparatus and medium for video processing

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060165304A1 (en) * 2005-01-27 2006-07-27 Samsung Electronics Co., Ltd. Multilayer video encoding/decoding method using residual re-estimation and apparatus using the same
US20120020413A1 (en) * 2010-07-21 2012-01-26 Qualcomm Incorporated Providing frame packing type information for video coding
US20140023138A1 (en) * 2012-07-20 2014-01-23 Qualcomm Incorporated Reusing parameter sets for video coding
US20150103886A1 (en) * 2013-10-11 2015-04-16 Vid Scale, Inc. High level syntax for hevc extensions
CN104813671A (zh) * 2012-09-24 2015-07-29 高通股份有限公司 视频译码中的位流性质
CN105637884A (zh) * 2013-10-23 2016-06-01 高通股份有限公司 多层视频文件格式设计
US20170085897A1 (en) * 2015-09-23 2017-03-23 Arris Enterprises Llc Signaling high dynamic range and wide color gamut content in transport streams
CN106664446A (zh) * 2014-07-01 2017-05-10 佳能株式会社 用于封装hevc分层媒体数据的方法、设备和计算机程序
CN106664424A (zh) * 2014-01-03 2017-05-10 诺基亚技术有限公司 参数集编码

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012125006A2 (ko) * 2011-03-16 2012-09-20 한국전자통신연구원 레프리젠테이션을 사용하는 스트리밍 콘텐츠 제공 장치 및 방법
WO2015125489A1 (en) * 2014-02-24 2015-08-27 Sharp Kabushiki Kaisha Restrictions on signaling
CA3025466A1 (en) * 2016-05-24 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for signaling scalable video in a media application format

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060165304A1 (en) * 2005-01-27 2006-07-27 Samsung Electronics Co., Ltd. Multilayer video encoding/decoding method using residual re-estimation and apparatus using the same
US20120020413A1 (en) * 2010-07-21 2012-01-26 Qualcomm Incorporated Providing frame packing type information for video coding
US20140023138A1 (en) * 2012-07-20 2014-01-23 Qualcomm Incorporated Reusing parameter sets for video coding
CN104813671A (zh) * 2012-09-24 2015-07-29 高通股份有限公司 视频译码中的位流性质
US20150103886A1 (en) * 2013-10-11 2015-04-16 Vid Scale, Inc. High level syntax for hevc extensions
CN105637884A (zh) * 2013-10-23 2016-06-01 高通股份有限公司 多层视频文件格式设计
CN106664424A (zh) * 2014-01-03 2017-05-10 诺基亚技术有限公司 参数集编码
CN106664446A (zh) * 2014-07-01 2017-05-10 佳能株式会社 用于封装hevc分层媒体数据的方法、设备和计算机程序
US20170085897A1 (en) * 2015-09-23 2017-03-23 Arris Enterprises Llc Signaling high dynamic range and wide color gamut content in transport streams

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220272349A1 (en) * 2019-11-05 2022-08-25 Lg Electronics Inc. Image/video coding method and device
US11843780B2 (en) * 2019-11-05 2023-12-12 Lg Electronics Inc. Image/video coding method and device

Also Published As

Publication number Publication date
US11330271B2 (en) 2022-05-10
EP3854106A1 (en) 2021-07-28
US20210321114A1 (en) 2021-10-14
CN112771885B (zh) 2023-04-25
ES2962871T3 (es) 2024-03-21
WO2020058567A1 (en) 2020-03-26
EP3854106A4 (en) 2022-05-18
EP3854106B1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
CN112771885B (zh) 用于针对视频编码的非二进制简档约束信令的方法和装置
US10841619B2 (en) Method for decoding a video bitstream
US9912966B2 (en) Parameter set coding
US11838521B2 (en) Method and apparatus for tile-relative addressing in video coding
RU2612577C2 (ru) Способ и устройство для кодирования видеоинформации
US20220086497A1 (en) Subpicture entity group signaling in coded video
US20220086387A1 (en) Subpicture entity groups in video coding
US20170134742A1 (en) Slice type and decoder conformance
WO2015102044A1 (en) Signaling and derivation of decoded picture buffer parameters
US11711518B2 (en) Decoding capability information storage in video coding
CN114503575A (zh) 对静止图像配置文件的语法元素的约束
US20220109848A1 (en) Adaptation parameter set storage in video coding
US20220345722A1 (en) Level Information For Sub-Picture Tracks
JP2023542227A (ja) 補助情報のシグナリング
US20230041262A1 (en) Coefficients coding in transform skip mode
CN116547971A (zh) Vvc视频编解码中的滚动样点组

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050214

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant