CN111586408A - 用于跨通道残差编码和解码的量化参数得出 - Google Patents

用于跨通道残差编码和解码的量化参数得出 Download PDF

Info

Publication number
CN111586408A
CN111586408A CN202010085120.1A CN202010085120A CN111586408A CN 111586408 A CN111586408 A CN 111586408A CN 202010085120 A CN202010085120 A CN 202010085120A CN 111586408 A CN111586408 A CN 111586408A
Authority
CN
China
Prior art keywords
quantization parameter
picture
channel
block
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010085120.1A
Other languages
English (en)
Other versions
CN111586408B (zh
Inventor
J·莱内玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN111586408A publication Critical patent/CN111586408A/zh
Application granted granted Critical
Publication of CN111586408B publication Critical patent/CN111586408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于视频解码或编码的各种方法、装置和计算机程序产品。在用于解码的一些实施例中，包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块被接收。第一量化参数和定义第一量化参数与用于该块的第二量化参数之间的关系的偏移被获得。通过使用第一量化参数和偏移来确定第二量化参数的值。如果该块已经通过使用跨通道残差编码模式被编码，则残差样本通过使用第二量化参数反量化经量化的残差系数而被重构。

Description

用于跨通道残差编码和解码的量化参数得出
技术领域
本申请总体上涉及视频演示或图像的编码和解码。
背景技术
本部分旨在提供权利要求中记载的本发明的背景或上下文。本文中的描述可以包括可以追求的概念，但是不一定是先前已经设想或追求的概念。因此，除非本文中另外指出，否则本部分中所描述的内容不是本申请的说明书和权利要求书的现有技术，并且不会由于包括在本部分中而被承认是现有技术。
视频编码系统可以包括编码器和解码器，该编码器将输入视频转换为适合于存储/传输的压缩表示，该解码器可以将经压缩的视频表示解压缩回可见形式。编码器可以丢弃原始视频序列中的一些信息，以便例如以较紧凑的形式表示视频，以使得能够以比可能需要的其他比特率更低的比特率来存储/传输视频信息。
视频和图像样本可以使用颜色表示进行编码，诸如包括一个亮度Y和两个色度通道(分量)Cb、Cr的YUV或YCbCr。在一些方法中，预测每个通道中的样本，并且分别编码每个通道中的残差信号。这种残差信号的编码通常包括残差样本的正变换和所得到的变换系数的量化。解码包括对所接收的变换系数的反量化和对经反量化的系数的反变换，以重构经解码的残差样本。可以分别针对每个通道指定量化过程的准确度，但是，这样的定义可能并非对所有场景和编码模式都是最佳的。
发明内容
一些实施例提供了一种用于编码和解码视频信息的方法。在一些实施例中，提供了一种用于实现该方法的装置、计算机程序产品、计算机可读介质。
根据一个实施例，一种方法使用来自两个或更多个通道的残差样本的联合编码来确定用于变换块的量化参数。更具体地，可以针对跨通道残差块确定量化参数，该量化参数独立于跨通道编码被应用于的通道的量化参数。在一个实施例中，跨通道编码被应用于视频或图像中的两个色度通道，并且跨通道量化器参数是从全分辨率亮度通道的参数得出的。在备选实施例中，基于虚拟通道的量化参数来计算使用跨通道编码的残差块的量化参数，该虚拟通道的量化参数是通过组合两个或更多个通道的量化参数而确定的。
在具体实施方式中提供了本发明的示例的各个方面。
根据第一方面，提供了一种方法，该方法包括：
接收包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
获得第一量化参数；
获得定义第一量化参数与用于该块的第二量化参数之间的关系的偏移；
通过使用第一量化参数和偏移来确定第二量化参数的值；
如果该块已经通过使用跨通道残差编码模式被编码，则通过使用第二量化参数反量化经量化的残差系数来重构残差样本。
根据第二方面，提供了一种装置，该装置包括用于以下的部件：
接收包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
获得第一量化参数；
获得定义第一量化参数与用于该块的第二量化参数之间的关系的偏移；
通过使用第一量化参数和偏移来确定第二量化参数的值；
如果该块已经通过使用跨通道残差编码模式被编码，则通过使用第二量化参数反量化经量化的残差系数来重构残差样本。
根据第三方面，提供了一种装置，该装置包括至少一个处理器；以及至少一个存储器，该至少一个存储器包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行以下：
接收包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
获得第一量化参数；
获得定义第一量化参数与用于该块的第二量化参数之间的关系的偏移；
通过使用第一量化参数和偏移来确定第二量化参数的值；
如果该块已经通过使用跨通道残差编码模式被编码，则通过使用第二量化参数反量化经量化的残差系数来重构残差样本。
根据第四方面，提供了一种计算机程序产品，其包括一个或多个指令的一个或多个序列，这些指令在由一个或多个处理器执行时使装置至少执行以下：
接收包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
获得第一量化参数；
获得定义第一量化参数与用于该块的第二量化参数之间的关系的偏移；
通过使用第一量化参数和偏移来确定第二量化参数的值；
如果该块已经通过使用跨通道残差编码模式被编码，则通过使用第二量化参数反量化经量化的残差系数来重构残差样本。
根据第五方面，提供了一种方法，该方法包括：
接收图片的分割的语法元素，该图片包括帧间编码的编码单元和帧内编码的编码单元；
以第一扫描顺序处理图片的分割的编码单元，包括：
通过运动补偿预测来重构帧间编码的编码单元；
以第二扫描顺序处理图片的分割的编码单元，包括：
通过使用来自以下中的至少一项的一个或多个参考样本预测当前编码单元来重构帧内编码的编码单元：
以第二扫描顺序在当前编码单元之前的编码单元；
以第二扫描顺序在当前编码单元之后的编码单元。
根据第六方面，提供了一种装置，该装置包括用于以下的部件：
接收图片的分割的语法元素，该图片包括帧间编码的编码单元和帧内编码的编码单元；以第一扫描顺序处理图片的分割的编码单元，包括：
通过运动补偿预测来重构帧间编码的编码单元；
以第二扫描顺序处理图片的分割的编码单元，包括：
通过使用来自以下中的至少一项的一个或多个参考样本预测当前编码单元来重构帧内编码的编码单元：
以第二扫描顺序在当前编码单元之前的编码单元；
以第二扫描顺序在当前编码单元之后的编码单元。
根据第七方面，提供了一种装置，该装置包括至少一个处理器；以及至少一个存储器，该至少一个存储器包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行以下：
接收图片的分割的语法元素，该图片包括帧间编码的编码单元和帧内编码的编码单元；
按第一扫描顺序处理图片的分割的编码单元，包括：
通过运动补偿预测来重构帧间编码的编码单元；
按第二扫描顺序处理图片的分割的编码单元，包括：
通过使用来自以下中的至少一项的一个或多个参考样本预测当前编码单元来重构帧内编码的编码单元：
按第二扫描顺序在当前编码单元之前的编码单元；
按第二扫描顺序在当前编码单元之后的编码单元。
根据第八方面，提供了一种计算机程序产品，其包括一个或多个指令的一个或多个序列，这些指令在由一个或多个处理器执行时使装置至少执行以下：
接收图片的分割的语法元素，该图片包括帧间编码的编码单元和帧内编码的编码单元；
按第一扫描顺序处理图片的分割的编码单元，包括：
通过运动补偿预测来重构帧间编码的编码单元；
按第二扫描顺序处理图片的分割的编码单元，包括：
通过使用来自以下中的至少一项的一个或多个参考样本预测当前编码单元来重构帧内编码的编码单元：
按第二扫描顺序在当前编码单元之前的编码单元；
按第二扫描顺序在当前编码单元之后的编码单元。
附图说明
为了更完整地理解本发明的示例实施例，现在参考以下结合附图进行的描述，在附图中：
图1示出了根据一个实施例的视频编码系统的框图；
图2示出了根据一个实施例的装置的布局；
图3示出根据一个实施例的包括多个装置、网络和网络元件的用于视频编码的布置；
图4示出了根据一个实施例的视频编码器的框图；
图5示出了根据一个实施例的视频解码器的框图；
图6示出了包括两个图块的图片的示例；
图7a示出了根据一个实施例的编码器的量化参数评估器的示例；
图7b示出了根据一个实施例的解码器的量化参数评估器的示例；
图8a以流程图示出根据一个实施例的编码方法；
图8b以流程图示出根据一个实施例的解码方法；以及
图9示出了可以在其中实现各种实施例的示例多媒体通信系统的示意图。
具体实施方式
图1示出了根据一个实施例的作为装置或电子设备50的示意性框图的视频编码系统。电子设备50可以结合根据一个实施例的编解码器。图2示出了根据一个实施例的装置的布局。接下来将说明图1和图2的元素。
电子设备50可以例如是无线通信系统的移动终端或用户设备。然而，应当理解，本发明的实施例可以在可以执行编码和解码、或者编码或解码视频图像的任何电子设备或装置内实现。
装置50可以包括用于合并和保护设备的壳体30。装置50还可以包括液晶显示器形式的显示器32。在其他实施例中，显示器可以是适合于显示图像或视频的任何合适的显示技术。装置50还可以包括小键盘34。根据一个实施例，可以采用任何合适的数据或用户接口机制。例如，用户接口可以被实现为作为触敏显示器的一部分的虚拟键盘或数据输入系统。该装置可以包括麦克风36或者可以是数字或模拟信号输入的任何合适的音频输入。装置50还可以包括音频输出设备，根据一个实施例，该音频输出设备可以是以下的任何一项：听筒38、扬声器、或模拟音频或数字音频输出连接。装置50还可以包括电池40(或者在一个实施例中，该设备可以由任何合适的移动能源设备供电，诸如太阳能电池、燃料电池或发条发电机)。该装置还可以包括能够记录或捕获图像和/或视频的相机42。根据一个实施例，装置50还可以包括用于与其他设备的短距离视线通信的红外端口。根据一个实施例，装置50还可以包括任何合适的短距离通信解决方案，诸如例如
Figure BDA0002381764210000061
无线连接或USB/火线有线连接。
装置50可以包括用于控制装置50的控制器56或处理器。控制器56可以连接到存储器58，根据一个实施例，该存储器58可以存储图像和音频数据形式的数据，和/或还可以存储用于在控制器56上实现的指令。控制器56还可以连接到编解码器电路系统54，该编解码器电路系统54适合于执行音频和/或视频数据的编码和/或解码，或者辅助由控制器56执行的编码和/或解码。
装置50还可以包括读卡器48和智能卡46，例如UICC(通用集成电路卡)和UICC读卡器，用于提供用户信息并且适合于在网络上提供用于用户的认证和授权的认证信息。
装置50还可以包括无线电接口电路系统52，该无线电接口电路系统52连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或无线局域网通信的无线通信信号。装置50还可以包括天线44，该天线44连接到无线电接口电路系统52，以用于将在无线电接口电路系统52处生成的射频信号传输到其他(多个)装置并且从其他(多个)装置接收射频信号。
根据一个实施例，装置50包括能够记录或检测各个帧的相机，这些帧然后被传递给编解码器54或控制器以进行处理。根据一个实施例，该装置可以在传输和/或存储之前从另一设备接收视频图像数据以进行处理。根据一个实施例，装置50可以无线地或通过有线连接接收图像以进行编码/解码。
图3示出了根据一个实施例的包括多个装置、网络和网络元件的用于视频编码的布置。关于图3，示出了可以在其中利用本发明的实施例的系统的示例。系统10包括可以通过一个或多个网络通信的多个通信设备。系统10可以包括有线网络或无线网络的任何组合，包括但不限于无线蜂窝电话网络(诸如GSM、UMTS、CDMA网络等)、诸如由任何IEEE 802.x标准定义的无线局域网(WLAN)、蓝牙个人局域网、以太网局域网、令牌环局域网、广域网和互联网。
系统10可以包括适合于实现实施例的有线和无线通信设备或装置50。例如，图3所示的系统示出了移动电话网络11和互联网28的表示。到互联网28的连接可以包括但不限于长距离无线连接、短距离无线连接、以及各种有线连接，包括但不限于电话线、电缆线、电源线、和类似的通信路径。
系统10中示出的示例通信设备可以包括但不限于电子设备或装置50、个人数字助理(PDA)和移动电话14的任何组合、PDA 16、集成的消息传送设备(IMD)18、台式计算机20、笔记本计算机22。当由移动的个人携带时，装置50可以是静止的或移动的。装置50也可以位于运输模式中，包括但不限于汽车、卡车、出租车、公共汽车、火车、轮船、飞机、自行车、摩托车或任何类似的合适的运输模式。
实施例也可以在以下中实现：机顶盒(即，数字TV接收器，其可以具有/不具有显示器或无线能力)、平板电脑或(笔记本)个人计算机(PC)(其具有硬件或软件或编码器/解码器实现的组合)、各种操作系统、以及提供基于硬件/软件的编码的芯片组、处理器、DSP和/或嵌入式系统。
一些或另外的装置可以通过到基站24的无线连接25发送和接收呼叫和消息并且与服务提供方通信。基站24可以连接到网络服务器26，该网络服务器26允许移动电话网络11与互联网28之间的通信。系统可以包括附加的通信设备和各种类型的通信设备。
通信设备可以使用各种传输技术通信，包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)传输控制协议-互联网协议(TCP-IP)、短消息服务(SMS)、多媒体消息服务(MMS)电子邮件、即时消息服务(IMS)、蓝牙、IEEE 802.11和任何类似的无线通信技术。涉及实现本发明的各种实施例的通信设备可以使用各种介质通信，包括但不限于无线电、红外、激光、电缆连接和任何合适的连接。
视频编码器可以包括编码器和解码器，该编码器将输入视频转换成适合于存储/传输的压缩表示，该解码器能够将经压缩的视频表示解压缩回可见形式。视频编码器和/或视频解码器也可以彼此分开，即不需要形成编解码器。编码器可以丢弃原始视频序列中的一些信息，以便以较紧凑的形式(即，以较低的比特率)表示视频。
混合视频编解码器(例如，ITU-T H.263和H.264)可以在两个阶段编码视频信息。首先，例如通过运动补偿手段(在先前编码的视频帧中的一个视频帧中找到并且指示与被编码的块紧密对应的区域)或通过空间手段(使用要以指定方式编码的块周围的像素值)来预测某个图片(或“块”)中的像素值。其次，编码预测误差，即，预测的像素块与原始像素块之间的差。这可以通过使用指定变换(例如，离散余弦变换(DCT)或其变体)来变换像素值的差、量化系数并且对经量化的系数进行熵编码来完成。通过改变量化过程的保真度，编码器可以控制像素表示的准确性(图片质量)与所得到的经编码的视频表示的大小(传输比特率的文件大小)之间的平衡。
帧间预测(也可以称为时间预测、运动补偿、或运动补偿的预测)减少了时间冗余。在帧间预测中，预测源是先前解码的图片。帧内预测利用同一图片内的相邻像素很可能相关的事实。帧内预测可以在空间或变换域中执行，即，可以预测样本值或变换系数。通常在不应用帧间预测的帧内编码中利用帧内预测。
编码过程的一个结果是编码参数集合，诸如运动矢量和量化的变换系数。如果首先从空间或时间上相邻的参数预测很多参数，则可以更有效地对其进行熵编码。例如，可以从空间上相邻的运动矢量来预测运动矢量，并且可以仅编码相对于运动矢量预测器的差。编码参数的预测和帧内预测可以统称为图片内预测。
在基于块的图像和视频编码中，由于下面和右侧的块在处理当前块时尚未被处理并且因此不能用作预测过程的参考，所以样本预测过程可能限于使用来自左侧和上面的相邻块的已编码或已解码的样本。这可能会导致编码效率欠佳，因为在某些情况下，针对样本预测过程，右侧和下面的邻居可能提供比在顶部和左侧的邻居中可获得的参考更好的参考；或者，如果与顶部和左侧的邻居一起使用，右侧和下面的邻居可能提高预测过程准确性。
高级视频编码(H.264/AVC，又称为AVC)标准是由国际电信联盟(ITU-T)的电信标准化部门的视频编码专家组(VCEG)的联合视频小组(JVT)和国际标准化组织(ISO)/国际电工委员会(IEC)的运动图片专家组(MPEG)开发的。H.264/AVC标准是由这两个母标准化组织共同发布的，并且被称为ITU-T建议H.264和ISO/IEC国际标准14496-10，也称为MPEG-4部分10高级视频编码(AVC)。H.264/AVC标准有多个版本，集成了新的扩展或特征到该规范。这些扩展包括可伸缩视频编码(SVC)和多视图视频编码(MVC)。
高效视频编码(H.265/HEVC，又称为HEVC)标准的版本1是由联合协作小组——VCEG和MPEG的视频编码(JCT-VC)开发的。该标准由这两个母标准化组织共同发布，并且被称为ITU-T建议H.265和ISO/IEC国际标准23008-2，也被称为MPEG-H部分2高效视频编码(HEVC)。H.265/HEVC的版本2包括可伸缩、多视图、和保真度范围扩展，其可以分别缩写为SHVC、MV-HEVC、和REXT。H.265/HEVC的版本2已作为ITU-T建议H.265(10/2014)被预发布，并且可能在2015年作为ISO/IEC 23008-2的版本2发布。当前有正在进行中的标准化项目来开发对H.265/HEVC的进一步扩展，包括三维和屏幕内容编码扩展，其可以分别缩写为3D-HEVC和SCC。
SHVC、MV-HEVC、和3D-HEVC使用在HEVC标准的版本2的附件F中指定的公共基础规范。该公共基础包括例如高级语法和语义，例如指定比特流的各层的某些特性，诸如层间依赖性，以及解码过程，诸如包括层间参考图片和多层比特流的图片顺序计数得出的参考图片列表构造。附件F也可以用于HEVC的潜在后续多层扩展中。应当理解，即使在下面可以参考诸如SHVC和/或MV-HEVC的特定扩展来描述视频编码器、视频解码器、编码方法、解码方法、比特流结构、和/或实施例，但是它们通常适用于HEVC的任何多层扩展，甚至更适用于任何多层视频编码方案。
本部分中作为可以实现实施例的视频编码器、解码器、编码方法、解码方法、和比特流结构的示例，描述了H.264/AVC和HEVC的一些关键定义、比特流和编码结构、以及概念。H.264/AVC的一些关键定义、比特流和编码结构、以及概念与HEVC中的相同——因此，下面将对它们进行共同描述。本发明的各方面不限于H.264/AVC或HEVC，而是针对一种可能的基础给出描述，在该基础上可以部分或完全地实现本发明。
与很多早期的视频编码标准类似，H.264/AVC和HEVC中指定了比特流语法和语义以及无错误比特流的解码过程。没有指定编码过程，但是编码器必须生成符合的比特流。可以利用假设参考解码器(HRD)验证比特流和解码器的一致性。这些标准包含有助于解决传输错误和丢失的编码工具，但是在编码中使用该工具是可选的，并且尚未针对错误比特流指定解码过程。
在现有的标准的描述以及示例实施例的描述中，语法元素可以被定义为在比特流中表示的数据的元素。语法结构可以被定义为以指定顺序一起出现在比特流中的零个或多个语法元素。在现有标准的描述以及示例实施例的描述中，可以使用短语“由外部手段”或“通过外部手段”。例如，诸如在解码过程中使用的语法结构或变量的值的实体可以“由外部手段”提供给解码过程。短语“由外部手段”可以指示实体不被包括在由编码器创建的比特流中，而是例如使用控制协议从比特流外部传送。备选地或另外地，其可以表示实体不是由编码器创建的，而是可以例如在使用解码器的播放器或解码控制逻辑等中创建的。解码器可以具有用于输入诸如变量值的外部手段的接口。
可以将简档定义为由解码/编码标准或规范指定的整个比特流语法的子集。在由给定简档的语法施加的范围内，在编码器和解码器的性能上仍然可能需要很大的变化，取决于比特流中的语法元素所取的值，诸如经解码的图片的指定大小。在很多应用中，实现能够处理特定简档中的语法的所有假设使用的解码器可能既不实用也不经济。为了处理这个问题，可以使用级别。级别可以被定义为对比特流中的语法元素和在解码/编码标准或规范中指定的变量的值施加的指定约束集合。这些约束可以是对值的简单限制。备选地或另外地，它们可以采取对值的算术组合的约束的形式(例如，图片宽度乘以图片高度乘以每秒解码的图片数)。也可以使用用于指定级别的约束的其他手段。在级别中指定的某些约束例如可以与根据每时间段(诸如一秒)的编码单元为单位(诸如宏块)的最大图片大小、最大比特率和最大数据速率有关。可以针对所有简档定义相同的级别集合。例如，可能优选的是增加实现不同简档的终端的互操作性，使得每个级别的定义的大部分或全部方面可以在不同的简档之间是相同的。层可以被定义为对比特流中的语法元素的值施加的级别约束的指定类别，其中级别约束被嵌套在层内，并且符合某个层和级别的解码器将能够解码符合该级别或该级别以下的任何级别的相同层或较低层的所有比特流。
在某些情况下，一致性点可以被定义为特定简档和特定级别的组合或者特定简档、特定层、和特定级别的组合。需要理解的是，可以以备选方式定义一致性点，同时其用以指定比特流的特性和限制和/或解码器的特性和(最大)资源的意图可以保持不变。
用于H.264/AVC或HEVC编码器的输入和H.264/AVC或HEVC解码器的输出的基本单位分别是图片。作为编码器的输入而给出的图片也可以称为源图片，并且由解码器解码的图片可以称为经解码的图片。
源图片和经解码的图片每个包括一个或多个样本阵列，诸如以下样本阵列集合中的一项：
仅亮度(Y)(单色)。
亮度和两个色度(YCbCr或YCgCo)。
绿色、蓝色和红色(GBR，也称为RGB)。
表示其他未指定的单色或三刺激颜色采样的阵列(例如，YZX，也称为XYZ)。
在下文中，这些阵列可以被称为亮度(或L或Y)和色度，其中两个色度阵列可以被称为Cb和Cr；不管使用哪种实际颜色表示方法。使用中的实际颜色表示方法可以例如在经编码的比特流中例如使用H.264/AVC和/或HEVC的视频可用性信息(VUI)语法来指示。组件可以被定义为来自三个样本阵列(亮度和两个色度)中的一个样本阵列的阵列或单个样本，或者组成单色格式的图片的阵列或阵列的单个样本。
在H.264/AVC和HEVC中，图片可以是帧或场。帧包括亮度样本以及可能的对应色度样本的矩阵。场是帧的备选样本行的集合，并且当源信号被隔行扫描时，可以用作编码器输入。与亮度样本阵列相比时，色度样本阵列可以不存在(因此可以使用单色采样)，或者色度样本矩阵可以被二次采样。色度格式可以总结如下：
在单色采样中，只有一个样本阵列，其名义上可以被认为是亮度阵列。
在4:2:0采样中，两个色度阵列中的每个均具有亮度阵列的一半高度和一半宽度。
在4:2:2采样中，两个色度阵列中的每个均具有亮度阵列的相同高度和一半宽度。
在没有使用单独颜色平面的4:4:4采样中，两个色度阵列中的每个均具有与亮度阵列相同的高度和宽度。
在H.264/AVC和HEVC中，可以将样本阵列作为单独的颜色平面编码到比特流中，并且分别从比特流中解码单独编码的颜色平面。当使用单独的颜色平面时，将颜色平面中的每一个(由编码器和/或解码器)分别作为具有单色采样的图片进行处理。
当使用色度二次采样(例如，4:2:0或4:2:2色度采样)时，可以在编码器侧确定色度样本相对于亮度样本的位置(例如，作为预处理步骤或作为编码的一部分)。相对于亮度样本定位的色度样本定位可以例如在诸如H.264/AVC或HEVC的编码标准中被预定义，或者可以在比特流中被指示为例如H.264/AVC或HEVC的VUI的一部分。
分割可以被定义为将集合划分为子集，使得集合的每个元素恰好在子集的一个中。
在H.264/AVC中，宏块是亮度样本的16×16块和色度样本的对应块。例如，在4:2:0采样模式中，宏块每一个色度分量包含色度样本的一个8×8块。在H.264/AVC中，图片被分割为一个或多个切片组，并且切片组包含一个或多个切片。在H.264/AVC中，切片包括特定切片组内的光栅扫描中连续排序的整数个宏块。
当描述HEVC编码和/或解码的操作时，可以使用以下术语。编码块可以被定义为针对N的某个值的样本的N×N块，使得将编码树块划分为编码块是分割。编码树块(CTB)可以被定义为针对N的某个值的样本的N×N块，使得将分量划分为编码树块是分割。编码树单元(CTU)可以被定义为亮度样本的编码树块、具有三个样本阵列的图片的色度样本的两个对应的编码树块、或者单色图片或使用用于编码样本的三个单独的颜色平面和语法结构进行编码的图片的样本的编码树块。编码单元(CU)可以被定义为亮度样本的编码块、具有三个样本阵列的图片的色度样本的两个对应的编码块、或者单色图片或使用用于编码样本的三个单独的颜色平面和语法结构进行编码的图片的样本的编码块。
在某些视频编解码器中(诸如高效视频编码(HEVC)编解码器)，视频图片被划分为覆盖图片的区域的编码单元(CU)。CU包括定义用于CU内的样本的预测过程的一个或多个预测单元(PU)和定义用于所述CU中的样本的预测误差编码过程的一个或多个变换单元(TU)。通常，CU包括正方形样本块，其中样本块的大小可从可能的CU大小的预定义集合中选择。具有最大允许大小的CU可以被命名为LCU(最大编码单元)或编码树单元(CTU)，并且视频图片被划分为非重叠的LCU。LCU可以进一步拆分为较小CU的组合，例如通过递归地拆分LCU和结果CU。每个所得到的CU通常具有至少一个PU和与其相关联的至少一个TU。每个PU和TU可以进一步被拆分为较小的PU和TU，以分别增加预测过程和预测误差编码过程的粒度。每个PU具有与其相关联的预测信息，该预测信息定义将对该PU内的像素应用哪种预测(例如，用于帧间预测的PU的运动矢量信息和用于帧内预测的PU的帧内预测方向性信息)。
每个TU可以与描述用于所述TU内的样本的预测误差解码过程的信息(包括例如DCT系数信息)相关联。通常在CU级别发信号通知是否对每个CU应用预测误差编码。在没有与CU相关联的预测误差残差的情况下，可以认为没有用于所述CU的TU。可以在比特流中发信号通知将图像划分为CU以及将CU划分为PU和TU，从而允许解码器再现这些单元的预期结构。
在HEVC中，图片可以分割为包含整数个LCU的矩形图块。在HEVC中，对图块的分割形成规则的网格，其中图块的高度和宽度彼此之间最多相差一个LCU。在HEVC中，切片被定义为一个独立切片段和同一访问单元内的下一独立切片段(如果有)之前的所有后续从属切片段(如果有)中包含的整数个编码树单元。在HEVC中，切片段被定义为按图块扫描顺序连续排序并且包含在单个NAL单元中的整数个编码树单元。将每个图片划分为切片段是分割。在HEVC中，独立的切片段被定义为针对其不能从先前切片段的值中推断出切片段报头的语法元素的值的切片分段，而从属切片段被定义为针对其从按解码顺序的先前独立切片段的值中推断出切片段报头的一些语法元素的值的切片片段。在HEVC中，切片报头被定义为独立切片段的切片段报头，该独立切片段是当前切片段或者是当前从属切片段之前的独立切片段，并且切片段报头被定义为包含与切片段中表示的第一或所有编码树单元有关的数据元素的编码切片段的一部分。如果未使用图块，则以图块内或图片内的LCU的光栅扫描顺序来扫描CU。在LCU内，CU具有特定的扫描顺序。图6示出了包括两个图块的图片的示例，该两个图块被分割为正方形编码单元(实线)，该正方形编码单元进一步被分割为矩形预测单元(虚线)。
解码器可以通过以下来重构输出视频：应用类似于编码器的预测方法来形成像素块的预测表示(使用由编码器创建并且存储在经压缩的表示中的运动或空间信息)并且进行预测误差解码(预测误差编码的逆运算，其在空间像素域中恢复经量化的预测误差信号)。在应用预测和预测误差解码手段之后，解码器可以将预测和预测误差信号(像素值)加起来以形成输出视频帧。在传递输出视频以进行显示和/或将其存储为视频序列中即将预即将到来的帧的预测参考之前，解码器(和编码器)还可以应用附加滤波手段来提高输出视频的质量。
例如，滤波可以包括以下中的一项或多项：解块、样本自适应偏移(SAO)、和/或自适应循环滤波(ALF)。H.264/AVC包括解块，而HEVC包括解块和SAO两者。
取而代之，或除了利用样本值预测和变换编码来指示编码的样本值的方法，还可以使用基于调色板的编码。基于调色板的编码是指一系列方法，针对其定义调色板，即颜色集合和相关联的索引，并且通过在调色板中指示其索引来表示编码单元内的每个样本的值。基于调色板的编码可以在具有相对少数目的颜色的编码单元(诸如表示计算机屏幕内容的图像区域，例如文本或简单图形)中实现良好的编码效率。为了提高调色板编码的编码效率，可以利用不同种类的调色板索引预测方法，或者可以对调色板索引进行游程长度编码以能够有效地表示较大的均匀图像区域。而且，在CU包含在CU内不重复出现的样本值的情况下，可以利用转义编码。转义编码的样本在不参考任何调色板索引的情况下被传输。取而代之，针对每个转义编码的样本分别指示它们的值。
可在编码器和/或解码器中使用经解码的图片缓冲器(DPB)。缓冲经解码的图片有两个原因，用于帧间预测中的参考以及用于将经解码的图片重新排序为输出顺序。由于H.264/AVC和HEVC为参考图片标记和输出重新排序提供了很大的灵活性，因此用于参考图片缓冲和输出图片缓冲的单独缓冲器可能会浪费存储器资源。因此，DPB可以包括用于参考图片和输出重新排序的统一的经解码的图片缓冲过程。当经解码的图片不再用作参考并且不需要用于输出时，可以将其从DPB中删除。
在H.264/AVC和HEVC的很多编码模式中，用于帧间预测的参考图片利用参考图片列表的索引来指示。该索引可以利用可变长度编码来编码，这通常使较小的索引具有对应语法元素的较短值。在H.264/AVC和HEVC中，针对每个双向预测(B)切片生成两个参考图片列表(参考图片列表0和参考图片列表1)，并且针对每个帧间编码(P)切片形成一个参考图片列表(参考图片列表0)。
参考图片列表(诸如参考图片列表0和参考图片列表1)通常由两个步骤构成：第一，生成初始参考图片列表。初始参考图片列表可以例如基于frame_num、POC、temporal_id(或TemporalId等)、或关于预测层次结构(诸如GOP结构)的信息、或其任何组合来生成。第二，可以通过参考图片列表重新排序(RPLR)命令对初始参考图片列表进行重新排序，该RPLR命令也称为参考图片列表修改语法结构，其可以被包含在切片报头中。在H.264/AVC中，RPLR命令指示按顺序排列到相应参考图片列表的开头的图片。该第二步骤也可以被称为参考图片列表修改过程，并且RPLR命令可以被包括在参考图片列表修改语法结构中。如果使用参考图片集合，则可以将参考图片列表0初始化为首先包含RefPicSetStCurr0，然后包含RefPicSetStCurr1，然后包含RefPicSetLtCurr。可以将参考图片列表1初始化为首先包含RefPicSetStCurr1，然后包含RefPicSetStCurr0。在HEVC中，可以通过参考图片列表修改语法结构来修改初始参考图片列表，其中可以通过列表的入口索引来标识初始参考图片列表中的图片。换言之，在HEVC中，参考图片列表修改被编码为语法结构，该语法结构包括最终参考图片列表中的每个条目的循环，其中每个循环条目都是初始参考图片列表的固定长度编码的索引并且在最终参考图片列表中按升序排列的图片。
很多编码标准(包括H.264/AVC和HEVC)可以具有解码过程以将参考图片索引得出到参考图片列表，该参考图片索引可以用于指示多个参考图片中的哪一个参考图片用于特定块的帧间预测。参考图片索引可以在某些帧间编码模式下由编码器编码为比特流，或者可以例如在某些其他帧间编码模式下使用相邻块来得出(通过编码器和解码器)。
运动信息可以在视频编解码器中利用与每个运动补偿图像块相关联的运动矢量来指示。这些运动矢量中的每个可以表示要编码(在编码器侧)或解码(在解码器侧)的图片中的图像块的位移、以及先前经编码或经解码的图片中的一个图片中的预测源块的位移。为了有效地表示运动矢量，可以关于块特定的经预测的运动矢量对这些矢量进行差分编码。在视频编解码器中，可以以预定义的方式创建经预测的运动矢量，例如通过计算相邻块的经编码或经解码的运动矢量的中值。用以创建运动矢量预测的另一种方法是根据时间参考图片中的相邻块和/或位于同一位置的块生成候选预测的列表，并且发信号通知所选择的候选信号作为运动矢量预测。除了预测运动矢量值，还可以预测先前经编码/经解码的图片的参考索引。参考索引可以例如根据时间参考图片中的相邻块和/或位于同一位置的块来预测。此外，高效视频编解码器可以采用称为“合并(merging)/合并(merge)模式”的附加运动信息编码/解码机制，其中所有运动场信息(可以包括运动矢量和每个可用参考图片列表的对应参考图片索引)都无需任何修改/校正即可进行预测和使用。类似地，可以使用时间参考图片中的相邻块和/或位于同一位置的块的运动场信息来执行运动场信息的预测，并且在填充有可用的相邻/位于同一位置的块的运动场信息的运动场候选列表的列表中发信号通知所使用的运动场信息。
一些视频编解码器使得能够使用单预测(其中单个预测块用于正在编码(解码)的块)和双预测(其中两个预测块被组合以形成对正在编码(解码)的块的预测)。一些视频编解码器实现加权预测，其中在添加残差信息之前对预测块的样本值进行加权。例如，可以应用乘法加权因子和加法偏移。在由某些视频编解码器实现的显式加权预测中，例如，可以在切片报头中针对每个允许的参考图片索引编码加权因子和偏移。在由一些视频编解码器实现的隐式加权预测中，加权因子和/或偏移不被编码，而是例如基于参考图片的相对图片顺序计数(POC)距离来得出。
除了将运动补偿应用于图片间预测，可以将类似方法应用于图片内预测。在这种情况下，位移矢量指示可以从同一图片的哪个位置复制样本块以形成对要被编码或被解码的块的预测。在帧内存在重复结构(诸如文本或其他图形)的情况下，这种帧内块复制方法可以显著提高编码效率。
在视频编解码器中，可以首先利用变换内核(例如，DCT)对运动补偿后的预测残差进行变换，并且然后进行编码。这样做的原因在于，在残差之间可能仍然存在一些相关性，并且在很多情况下变换可能有助于减少这种相关性并且提供较有效的编码。
视频编码器可以利用拉格朗日成本函数来找到最佳编码模式，例如期望的宏块模式和相关联的运动矢量。这种成本函数使用加权因子λ(lambda)将由于有损编码方法导致的(精确或估计的)图像失真与表示图像区域中的像素值所需要的(精确或估计的)信息量联系在一起。：
C＝D+λR (1)
其中C是要最小化的拉格朗日成本，D是在考虑了模式和运动矢量的情况下的图像失真(例如，均方误差)，并且R是表示在解码器中重构图像块所需数据所需要的比特数(包括用于表示候选运动矢量的数据量)。
视频编码标准和规范可以允许编码器将经编码的图片划分为经编码的切片等。图片内预测通常跨切片边界被禁用。因此，可以将切片视为一种用于将经编码的图片拆分为独立可解码片段的方法。在H.264/AVC和HEVC中，图片内预测可以跨切片边界被禁用。因此，可以将切片视为一种用于将经编码的图片拆分为独立可解码片段的方法，并且因此通常将切片视为传输的基本单位。在很多情况下，编码器可以在比特流中指示跨切片边界关闭哪些类型的图片内预测，并且解码器操作在例如决定哪些预测源可用时将该信息考虑在内。例如，如果相邻宏块或CU驻留在不同切片中，则可来自相邻宏块或CU的样本可以被视为不可用于帧内预测。
分别用于H.264/AVC或HEVC编码器的输出和H.264/AVC或HEVC解码器的输入的基本单位是网络抽象层(NAL)单元。为了在面向分组的网络上运输或存储到结构化文件中，可以将NAL单元封装成分组或类似结构。H.264/AVC和HEVC中已经针对不提供帧结构的传输或存储环境指定了字节流格式。该字节流格式通过在每个NAL单元的前面附接开始代码来将NAL单元彼此分开。为了避免对NAL单元边界的错误检测，编码器运行面向字节的开始代码仿真预防算法，如果否则会出现开始代码，该算法会将仿真预防字节添加到NAL单元有效载荷。为了使得面向分组的系统与面向流的系统之间能够直接进行网关操作，无论字节流格式是否在使用中，始终可以执行开始代码仿真预防。NAL单元可以被定义为一种语法结构，该语法结构包含对要遵循的数据类型的指示以及包含该数据的字节，这些字节在必要时被散布具有仿真预防字节的RBSP的形式。原始字节序列有效载荷(RBSP)可以被定义为语法结构，该语法结构包含封装在NAL单元中的整数个字节。RBSP为空或者具有包含语法元素的数据比特、之后是RBSP停止比特并且之后是零个或多个等于0的后续比特的串的形式。
NAL单元包括报头和有效载荷。在H.264/AVC和HEVC中，NAL单元报头指示NAL单元的类型。
H.264/AVC NAL单元报头包括2比特的nal_ref_idc语法元素，该nal_ref_idc语法元素等于0时指示NAL单元中包含的经编码的切片是非参考图片的一部分，而大于0时指示NAL单元中包含的经编码的切片是参考图片的一部分。SVC和MVC NAL单元的报头可以另外包含与可伸缩性和多视图层次结构有关的各种指示。
在HEVC中，两字节的NAL单元报头用于所有指定的NAL单元类型。NAL单元报头包含一个保留比特、一个六比特的NAL单元类型指示、一个用于时间级别的三比特的nuh_temporal_id_plus1指示(可能需要大于或等于1)和一个六比特的nuh_layer_id语法元素。可以将temporal_id_plus1语法元素视为NAL单元的时间标识符，并且可以如下得出基于零的TemporalId变量：TemporalId＝temporal_id_plus1-1。TemporalId等于0对应于最低的时间级别。为了避免涉及两个NAL单元报头字节的开始代码仿真，temporal_id_plus1的值必须为非零。通过排除具有大于或等于选定值的TemporalId的所有VCL NAL单元并且包括所有其他VCL NAL单元而创建的比特流保持一致性。因此，具有等于TID的TemporalId的图片不使用具有大于TID的TemporalId的任何图片作为帧间预测参考。子层或时间子层可以被定义为时间可伸缩比特流的时间可伸缩层，其包括具有TemporalId变量的特定值的VCLNAL单元和相关联的非VCL NAL单元。HEVC的nuh_layer_id语法元素可以携带关于可伸缩性层次结构的信息。
NAL单元可以分类为视频编码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元通常是经编码的切片NAL单元。在H.264/AVC中，经编码的切片NAL单元包含表示一个或多个经编码的宏块的语法元素，每个经编码的宏块对应于未压缩图片中的样本块。在HEVC中，VCLNAL单元包含表示一个或多个CU的语法元素。
在H.264/AVC中，可以将经编码的切片NAL单元指示为瞬时解码刷新(IDR)图片中的经编码的切片或非IDR图片中的经编码的切片。
在HEVC中，可以将经编码的切片NAL单元指示为以下类型中的一种：
Figure BDA0002381764210000211
Figure BDA0002381764210000221
在HEVC中，图片类型的缩写可以定义如下：拖尾(TRAIL)图片、时间子层访问(TSA)、逐步时间子层访问(STSA)、随机访问可解码引导(RADL)图片、随机访问跳过引导(RASL)图片、断开链接访问(BLA)图片、瞬时解码刷新(IDR)图片、干净随机访问(CRA)图片。
随机接入点(RAP)图片(也可以称为帧内随机接入点(IRAP)图片)是其中每个切片或切片段的nal_unit_type在16至23之间(包括16和23)的图片。独立层中的IRAP图片仅包含帧内编码的切片。属于nuh_layer_id值为currLayerId的预测层的IRAP图片可以包含P、B、和I切片，不能使用来自nuh_layer_id等于currLayerId的其他图片的帧间预测，并且可以使用来自其直接参考层的层间预测。在HEVC的当前版本中，IRAP图片可以是BLA图片、CRA图片或IDR图片。包含基本层的比特流中的第一图片是IRAP图片。只要必要的参数集合在需要被激活时可用，就可以正确解码独立层的IRAP图片和按解码顺序的独立层的所有后续非RASL图片，而无需执行按解码顺序在IRAP图片之前的任何图片的解码过程。比特流中可能有一些图片，这些图片仅包含不是RAP图片的帧内编码的切片。当必要的参数集合在需要被激活时可用时，并且当已经初始化nuh_layer_id等于currLayerId的层的每个直接参考层的解码时(即，当对于refLayerId等于nuh_layer_id等于currLayerId的层的直接参考层的所有nuh_layer_id值，LayerInitializedFlag[refLayerId]等于1时)，可以正确解码属于nuh_layer_id值为currLayerId的预测层的IRAP图片以及按解码顺序的nuh_layer_id等于currLayerId的所有后续非RASL图片，而无需执行按解码顺序在IRAP图片之前的nuh_layer_id等于currLayerId的任何图片的解码过程。
在HEVC中，CRA图片可以是比特流中按解码顺序的第一图片，或者可以出现在比特流中的稍后位置。HEVC中的CRA图片允许所谓的引导图片，这些引导图片按解码顺序在CRA图片之后，但是按输出顺序在CRA图片之前。一些引导图片(即，所谓的RASL图片)可以使用在CRA图片之前解码的图片作为参考。如果在CRA图片处执行随机访问，则按解码顺序和输出顺序两者在CRA图片之后的图片可以是可解码的，并且因此可以类似于IDR图片的干净随机访问功能来实现干净随机访问。
CRA图片可以具有关联的RADL或RASL图片。当CRA图片是比特流中按解码顺序的第一图片时，CRA图片是经编码的视频序列中按解码顺序的第一图片，并且任何关联的RASL图片都不由解码器输出并且可能无法解码，因为它们可能包含对比特流中不存在的图片的参考。
引导图片是按输出顺序在关联的RAP图片之前的图片。关联的RAP图片是按解码顺序的前一个RAP图片(如果存在)。引导图片可以是RADL图片或RASL图片。
所有RASL图片都是关联的BLA或CRA图片的引导图片。当关联的RAP图片是BLA图片或比特流中的第一经编码的图片时，由于RASL图片可能包含对比特流中不存在的图片的参考，因此不会输出RASL图片并且可能无法正确解码。但是，如果解码是从RASL图片的关联RAP图片之前的RAP图片开始的，则可以正确解码RASL图片。RASL图片不用作非RASL图片的解码过程的参考图片。当存在时，所有RASL图片按解码顺序在相同关联RAP图片的所有拖尾图片之前。在HEVC标准的某些草案中，将RASL图片称为“标记为丢弃”(TFD)的图片。
所有RADL图片均为引导图片。RADL图片不用作用于相同关联RAP图片的拖尾图片的解码过程的参考图片。当存在时，所有RADL图片按解码顺序在相同关联RAP图片的所有拖尾图片之前。RADL图片不参考按解码顺序在关联RAP图片之前的任何图片，并且因此当解码从关联RAP图片开始时可以正确地解码。在HEVC标准的某些草案中，将RADL图片称为“可解码引导图片(DLP)”。
当从CRA图片开始的一部分比特流被包括在另一比特流中时，与CRA图片相关联的RASL图片可能无法正确解码，因为它们的某些参考图片可能不会出现在组合的比特流中。为了使这种拼接操作简单明了，可以改变CRA图片的NAL单元类型以指示它是BLA图片。与BLA图片相关联的RASL图片可能无法正确解码，因此不会输出/显示。此外，与BLA图片相关联的RASL图片可以从解码中省略。
BLA图片可以是比特流中按解码顺序的第一图片，或者可以出现在比特流中的稍后位置。每个BLA图片开始新的经编码的视频序列，并且对解码过程的影响与IDR图片类似。但是，BLA图片可以包含指定非空参考图片集合的语法元素。当BLA图片的nal_unit_type等于BLA_W_LP时，它可以具有相关联的RASL图片，这些图片不由解码器输出并且可能无法解码，因为它们可能包含对比特流中不存在的图片的参考。当BLA图片的nal_unit_type等于BLA_W_LP时，它还可以具有相关联的RADL图片，这些图片被指定要解码。当BLA图片的nal_unit_type等于BLA_W_DLP时，它不具有相关联的RASL图片，但是可以具有相关联的RADL图片，这些图片被指定要解码。当BLA图片的nal_unit_type等于BLA_N_LP时，它没有任何相关联的引导图片。
nal_unit_type等于IDR_N_LP的IDR图片在比特流中不具有相关联的引导图片。nal_unit_type等于IDR_W_LP的IDR图片在比特流中没有相关联的RASL图片，但是可以在比特流中具有相关联的RADL图片。
当nal_unit_type的值等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、或RSV_VCL_N14时，经解码的图片不用作相同时间子层的任何其他图片的参考。也就是说，在HEVC中，当nal_unit_type的值等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、或RSV_VCL_N14时，经解码的图片没有被包括具有相同TemporalId值的任何图片的RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的任何一个中。可以丢弃nal_unit_type等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、或RSV_VCL_N14的经编码的图片，而不会影响具有相同TemporalId值的其他图片的可解码性。
拖尾图片可以被定义为按输出顺序在相关联的RAP图片之后的图片。作为拖尾图片的任何图片的nal_unit_type不等于RADL_N、RADL_R、RASL_N或RASL_R。可以限制作为引导图片的任何图片按解码顺序在与相同RAP图片相关联的所有拖尾图片之前。比特流中不存在与nal_unit_type等于BLA_W_DLP或BLA_N_LP的BLA图片相关联的RASL图片。比特流中不存在与nal_unit_type等于BLA_N_LP的BLA图片相关联或与nal_unit_type等于IDR_N_LP的IDR图片相关联的RADL图片。与CRA或BLA图片相关联的任何RASL图片可以被约束为按输出顺序在与CRA或BLA图片相关联的任何RADL图片之前。与CRA图片相关联的任何RASL图片可以被约束为按输出顺序在按解码顺序在CRA图片之前的任何其他RAP图片之后。
在HEVC中，有两种图片类型：TSA和STSA图片类型，可以用于指示时间子层切换点。如果TSA或STSA图片(不包括)之前已经解码了TemporalId最高为N的时间子层，并且TSA或STSA图片的TemporalId等于N+1，则TSA或STSA图片使得能够解码TemporalId等于N+1的所有后续图片(按解码顺序)。TSA图片类型可能会对TSA图片本身以及按解码顺序在TSA图片之后的相同子层中的所有图片施加限制。这些图片中的任何一个均不允许使用来自相同子层中按解码顺序TSA图片之前的任何图片的帧间预测。TSA定义还可以对按解码顺序在TSA图片之后的较高子层中的图片施加限制。如果该图片属于与TSA图片相同或较高子层，则不允许这些图片参考按解码顺序在TSA图片之前的图片。TSA图片的TemporalId大于0。STSA类似于TSA图片，但是不对按解码顺序在STSA图片之后的较高子层中的图片施加限制，并且因此只能向上切换到STSA图片驻留的子层。
非VCL NAL单元可以是例如以下类型中的一种：序列参数集合、图片参数集合、补充增强信息(SEI)NAL单元、访问单元定界符、序列NAL单元的结尾、比特流NAL单元的结尾、或填充数据NAL单元。重构经解码的图片可能需要参数集合，而重构经解码的样本值不需要很多其他非VCL NAL单元。
在整个经编码的视频序列中保持不变的参数可以被包括在序列参数集合中。除了解码过程可能需要的参数之外，序列参数集合还可以包含视频可用性信息(VUI)，该信息包括对于缓冲、图片输出定时、渲染、和资源保留可能很重要的参数。在H.264/AVC中指定了三个NAL单元来携带序列参数集合：包含序列中的H.264/AVC VCL NAL单元的所有数据的序列参数集合NAL单元、包含辅助编码图片的数据的序列参数集合扩展NAL单元、以及用于MVC和SVC VCL NAL单元的子集序列参数集合。在HEVC中，序列参数集合RBSP包括可以由一个或多个图片参数集合RBSP或包含缓冲时段SEI消息的一个或多个SEI NAL单元参考的参数。图片参数集合包含在若干个经编码的图片中可能保持不变的这样的参数。图片参数集合RBSP可以包括可以由一个或多个经编码的图片的经编码的切片NAL单元参考的参数。
在HEVC中，视频参数集合(VPS)可以被定义为包含适用于零个或多个完整经编码的视频序列的语法元素的语法结构，这些语法元素由在每个切片段报头中找到的语法元素参考的PPS中找到的语法元素参考的SPS中找到的语法元素的内容确定。
视频参数集合RBSP可以包括可以由一个或多个序列参数集合RBSP参考的参数。
视频参数集合(VPS)、序列参数集合(SPS)、和图片参数集合(PPS)之间的关系和层次结构可以描述如下。VPS在参数集合层次结构中以及在可伸缩性和/或3D视频的上下文中驻留在SPS之上一级。VPS可以包括对跨整个经编码的视频序列中的所有(可伸缩性或视图)层中的所有切片公共的参数。SPS包括对整个经编码的视频序列中的特定(可伸缩性或视图)层中的所有切片公共的参数，并且可以由多个(可伸缩性或视图)层共享。PPS包括对特定层表示(一个访问单元中的一个可伸缩性或视图层的表示)中的所有切片公共的参数，并且可能由多个层表示中的所有切片共享。
VPS可以提供关于比特流中的层的依赖性关系的信息、以及适用于跨整个经编码的视频序列中的所有(可伸缩性或视图)层中的所有切片的很多其他信息。VPS可以被视为包括三个部分：基本VPS、VPS扩展、和VPS VUI，其中VPS扩展和VPS VUI可以可选地存在。在HEVC中，基本VPS可以被视为包括video_parameter_set_rbsp()语法结构而没有vps_extension()语法结构。video_parameter_set_rbsp()语法结构主要是已经针对HEVC版本1指定的，并且包括可以用于基本层解码的语法元素。在HEVC中，VPS扩展可以被视为包括vps_extension()语法结构。vps_extension()语法结构是在HEVC版本2中主要针对多层扩展而指定的，并且包括可以用于解码一个或多个非基本层的语法元素，诸如指示层依赖性关系的语法元素。VPS VUI包括可能对解码或其他目的有用但在HEVC解码过程中不需要使用的语法元素。
H.264/AVC和HEVC语法允许参数集合的很多实例，并且每个实例利用唯一的标识符标识。为了限制参数集合所需要的存储器使用量，已经限制了参数集合标识符的值范围。在H.264/AVC和HEVC中，每个切片报头包括图片参数集合的标识符，该图片参数集合对于包含切片的图片的解码是有效，并且每个图片参数集合包含有效序列参数集的标识符。因此，图片和序列参数集合的传输不必与切片的传输精确地同步。取而代之，在参考有效序列和图片参数集合之前的任何时刻接收它们就足够了，与用于切片数据的协议相比，这允许使用较可靠的传输机制来“带外”传输参数集合。例如，参数集合可以作为参数被包括在实时运输协议(RTP)会话的会话描述中。如果参数集合是在带内传输的，则可以重复它们以提高错误的鲁棒性。
带外传输、信令或存储可以另外地或备选地用于除对传输错误的容忍之外的其他目的，诸如易于访问或会话协商。例如，符合ISO基本媒体文件格式的文件中的磁道的样本条目可以包括参数集合，而比特流中的经编码的数据存储在文件或另一文件中的其他位置。沿着比特流的短语(例如，沿着比特流指示)可以在权利要求和所描述的实施例中用于以带外数据与比特流相关联的方式指代带外传输、信令、或存储。沿着比特流等的短语解码可以是指解码与比特流相关联的所参考的带外数据(其可以从带外传输、信令、或存储获得)。
参数集合可以通过来自切片或来自其他活动参数集合或者在某些情况下来自其他语法结构(诸如缓冲时段SEI消息)的引用来激活。
SEI NAL单元可以包含一个或多个SEI消息，这些消息对于输出图片的解码不是必需的，但是可以辅助相关的过程，诸如图片输出定时、渲染、错误检测、错误隐藏、和资源保留。在H.264/AVC和HEVC中指定了若干SEI消息，并且用户数据SEI消息使得组织和公司能够指定SEI消息供自己使用。H.264/AVC和HEVC包含用于指定的SEI消息的语法和语义，但是没有定义用于在接收方中处理消息的过程。因此，编码器在创建SEI消息时需要遵循H.264/AVC标准或HEVC标准，并且不需要分别符合H.264/AVC标准或HEVC标准的解码器来处理SEI消息以实现输出顺序一致性。在H.264/AVC和HEVC中包括SEI消息的语法和语义的原因之一是允许不同的系统规范相同地解释补充信息，从而实现互操作。意图是系统规范可能要求在编码端和在解码端都使用特定的SEI消息，另外，可以指定用于在接收方中处理特定SEI消息的过程。
在AVC和HEVC标准中已经指定了若干个嵌套SEI消息，或者以其他方式提出了这些嵌套SEI消息。嵌套SEI消息的想法是在嵌套SEI消息中包含一个或多个SEI消息，并且提供一种机制以用于将所包含的SEI消息与比特流的子集和/或经解码的数据的子集相关联。可能要求嵌套SEI消息包含本身不是嵌套SEI消息的一个或多个SEI消息。嵌套SEI消息中包含的SEI消息可以称为嵌套的SEI消息。嵌套SEI消息中未包含的SEI消息可以称为非嵌套的SEI消息。HEVC的可伸缩嵌套SEI消息使得能够标识比特流子集(源自子比特流提取过程)或嵌套的SEI消息所应用于的层的集合。比特流子集也可以被称为子比特流。
经编码的图片是图片的经编码的表示。H.264/AVC中的经编码的图片包括图片的解码所需要的VCL NAL单元。在H.264/AVC中，经编码的图片可以是主编码图片或冗余编码图片。主编码图片在有效比特流的解码过程中使用，而冗余编码图片是仅在无法成功解码主编码图片时才应当被解码的冗余表示。在HEVC中，尚未指定冗余编码图片。
在H.264/AVC中，访问单元(AU)包括主编码图片和与之相关联的那些NAL单元。在H.264/AVC中，访问单元内的NAL单元的出现顺序受到如下约束。可选的访问单元定界符NAL单元可以指示访问单元的开始。随后是零个或多个SEI NAL单元。主编码图片的经编码的切片随后出现。在H.264/AVC中，主编码图片的经编码的切片之后可以是零个或多个冗余编码图片的经编码的切片。冗余编码图片是图片或图片的一部分的经编码的表示。如果例如由于传输丢失或物理存储介质损坏而导致解码器未接收到主编码图片，则可以解码冗余编码图片。
在H.264/AVC中，访问单元还可以包括辅助编码图片，该辅助编码图片是补充主编码图片的图片，并且可以例如在显示过程中使用。辅助编码图片可以例如用作alpha通道或alpha平面，该alpha通道或alpha平面指定解码图片中的样本的透明度水平。Alpha通道或平面可以在分层的合成或渲染系统中使用，其中输出图片是通过将至少部分透明的图片彼此叠加而形成的。辅助编码图片具有与单色冗余编码图片相同的语法和语义限制。在H.264/AVC中，辅助编码图片包含与主编码图片相同数目的宏块。
在HEVC中，经编码的图片可以被定义为包含该图片的所有编码树单元的图片的经编码的表示。在HEVC中，访问单元(AU)可以被定义为根据指定的分类规则彼此相关联、按解码顺序连续的、并且包含具有nuh_layer_id的任何特定值的最多一个图片的NAL单元集合。除了包含经编码的图片的VCL NAL单元，访问单元还可以包含非VCL NAL单元。
比特流可以被定义为以NAL单元流或字节流形式的比特序列，该比特序列形成形成一个或多个经编码的视频序列的经编码的图片和相关联的数据的表示。在相同逻辑通道中，诸如在相同文件中或在通信协议的相同连接中，第一比特流之后可以是第二比特流。基本流(在视频编码的上下文中)可以被定义为一个或多个比特流的序列。第一比特流的结束可以由特定的NAL单元指示，该特定的NAL单元可以被称为比特流(EOB)NAL单元的结束并且是比特流的最后的NAL单元。在HEVC及其当前的草案扩展中，要求EOB NAL单元的nuh_layer_id等于0。
在H.264/AVC中，经编码的视频序列被定义为按解码顺序从IDR访问单元(包括IDR访问单元)到下一IDR访问单元(不包括下一IDR访问单元)或到比特流的末尾(以较早出现的为准)的连续访问单元序列。
在HEVC中，经编码的视频序列(CVS)可以被定义为例如访问单元序列，该访问单元序列按解码顺序包括NoRaslOutputFlag等于1的IRAP访问单元，然后是不是NoRaslOutputFlag等于1的IRAP访问单元的零个或多个访问单元，包括直到但不包括作为NoRaslOutputFlag等于1的IRAP访问单元的任何后续访问单元的所有后续访问单元。IRAP访问单元可以被定义为在其中基本层图片是IRAP图片的访问单元。对于每个IDR图片、每个BLA图片，NoRaslOutputFlag的值等于1，并且作为按解码顺序在比特流中该特定层中的第一图片的每个IRAP图片是按解码顺序在具有相同的nuh_layer_id的值的序列NAL单元的结尾之后的第一IRAP图片。在多层HEVC中，当每个IRAP图片的nuh_layer_id使得对于等于IdDirectRefLayer[nuh_layer_id][j]的refLayerId的所有值，LayerInitializedFlag[nuh_layer_id]等于0并且LayerInitializedFlag[refLayerId]等于1时，每个IRAP图片的NoRaslOutputFlag的值等于1，其中j的范围是0到NumDirectRefLayers[nuh_layer_id]-1(包括0和NumDirectRefLayers[nuh_layer_id]-1)。否则，NoRaslOutputFlag的值等于HandleCraAsBlaFlag。NoRaslOutputFlag等于1的影响在于，解码器不会输出与设置了NoRaslOutputFlag的IRAP图片相关联的RASL图片。可以存在从可以控制解码器的外部实体(诸如播放器或接收器)向解码器提供HandleCraAsBlaFlag的值的手段。例如，可以由寻找比特流中的新定位或调谐到广播中并且开始解码并且然后从CRA图片开始解码的播放器来将HandleCraAsBlaFlag设置为1。当CRA图片的HandleCraAsBlaFlag等于1时，CRA图片就像它是BLA图片一样被处理和解码。
在HEVC中，当特定的NAL单元(可以称为序列结尾(EOS)NAL单元)出现在比特流中并且nuh_layer_id等于0时，可以另外地或备选地(根据上述说明)指定经编码的视频序列结束。
在HEVC中，经编码的视频序列组(CVSG)可以被定义为例如按解码顺序的一个或多个连续的CVS，这些CVS共同包括激活按解码顺序在所有后续访问单元之后的尚未激活的VPS RBSP firstVpsRbsp的IRAP访问单元，针对所有后续访问单元，firstVpsRbsp是直到比特流的末尾或直到但不包括激活与firstVpsRbsp不同的VPS RBSP的访问单元(以解码顺序较早的为准)。
可以如下定义图片组(GOP)及其特性。不管是否解码了任何先前的图片，都可以对GOP进行解码。开放GOP是这样的一组图片，在其中当解码从开放GOP的初始帧内图片开始时，按输出顺序在初始帧内图片之前的图片可能无法正确解码。换言之，开放GOP的图片可以指代(在帧间预测中)属于先前GOP的图片。H.264/AVC解码器可以从H.264/AVC比特流中的恢复点SEI消息中识别开始开放GOP的帧内图片。HEVC解码器可以识别开始开放GOP的帧内图片，因为特定的NAL单元类型、CRA NAL单元类型可以用于其经编码的切片。封闭GOP是这样的一组图片，在其中当解码从封闭GOP的初始帧内图片开始时，所有图片都可以被正确解码。换言之，封闭GOP中没有图片是指先前GOP中的任何图片。在H.264/AVC和HEVC中，封闭GOP可以从IDR图片开始。在HEVC中，封闭GOP也可以从BLA_W_RADL或BLA_N_LP图片开始。与封闭GOP编码结构相比，由于在选择参考图片时具有较大的灵活性，因此开放GOP编码结构在压缩方面可能更有效。
图片结构(SOP)可以被定义为按解码顺序连续的一个或多个经编码的图片，在其中按解码顺序的第一编码图片是最低时间子层的参考图片，并且除了可能按解码顺序的第一编码图片之外没有经编码的图片是RAP图片。前一SOP中的所有图片按解码顺序在当前SOP中的所有图片之前，并且下一SOP中的所有图片按解码顺序在当前SOP中的所有图片之后。SOP可以表示分层且重复的帧间预测结构。术语图片组(GOP)有时可以与术语SOP互换使用，并且具有与SOP的语义相同的语义。
H.264/AVC和HEVC的比特流语法指示特定图片是否是用于任何其他图片的帧间预测的参考图片。在H.264/AVC和HEVC中，任何编码类型(I，P，B)的图片都可以是参考图片或非参考图片。
H.264/AVC指定了用于经解码的参考图片标记的过程，以便控制解码器中的存储器消耗。在序列参数集合中确定用于帧间预测的参考图片的最大数目(称为M)。当参考图片被解码时，它被标记为“用于参考”。如果参考图片的解码导致多于M个图片被标记为“用于参考”，则至少一个图片被标记为“未用于参考”。经解码的参考图片标记有两种类型的操作：自适应存储器控制和滑动窗口。用于经解码的参考图片标记的操作模式基于图片来选择。自适应存储器控制使得能够显式地发信号通知哪些图片被标记为“未用于参考”，并且还可以将长期索引分配给短期参考图片。自适应存储器控制可能需要在比特流中存在存储器管理控制操作(MMCO)参数。MMCO参数可以被包括在经解码的参考图片标记语法结构中。如果正在使用滑动窗口操作模式并且有M个图片被标记为“用于参考”，则在被标记为“用于参考”的这些短期参考图片中作为第一经解码的图片的短期参考图片被标记为“未用于参考”。换言之，滑动窗口操作模式产生短期参考图片中的先进先出缓冲操作。
H.264/AVC中的存储器管理控制操作中的一个使除当前图片以外的所有参考图片被标记为“未用于参考”。瞬时解码刷新(IDR)图片仅包含帧内编码切片，并且引起参考图片的类似“重置”。
在HEVC中，未使用参考图片标记语法结构和相关的解码过程，而是出于类似的目的而使用参考图片集合(RPS)语法结构和解码过程。对于图片有效(valid)或有效(active)的参考图片集合包括用作该图片的参考的所有参考图片、以及按解码顺序对任何后续图片保持标记为“用于参考”的所有参考图片。参考图片集合有六个子集，分别称为RefPicSetStCurr0(又称为RefPicSetStCurrBefore)、RefPicSetStCurr1(又称为RefPicSetStCurrAfter)、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr、和RefPicSetLtFoll。RefPicSetStFoll0和RefPicSetStFoll1也可以被视为共同形成一个子集RefPicSetStFoll。六个子集的表示法如下。“Curr”是指被包括在当前图片的参考图片列表中并且因此可以用作当前图片的帧间预测参考的参考图片。“Foll”是指不被包括在当前图片的参考图片列表中但是可以按解码顺序在后续图片中用作参考图片的参考图片。“St”是指短期参考图片，其通常可以通过其POC值的一定数目的最低有效比特来标识。“Lt”是指长期参考图片，其被专门标识并且相对于当前图片，POC值的差异通常大于由所提到的一定数目的最低有效比特表示的POC值的差异。“0”是指POC值小于当前图片的POC值的那些参考图片。“1”是指POC值大于当前图片的POC值的那些参考图片。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1统称为参考图片集合的短期子集。RefPicSetLtCurr和RefPicSetLtFoll统称为参考图片集合的长期子集。
在HEVC中，参考图片集合可以在序列参数集合中指定，并且通过到参考图片集合的索引在切片报头中使用。参考图片集合也可以在切片报头中指定。参考图片集合可以被独立地编码，或者可以从另一参考图片集合来预测(称为RPS间预测)。在两种类型的参考图片集合编码中，针对每个参考图片另外发送标志(used_by_curr_pic_X_flag)，以指示参考图片是(被包括在*Curr列表中)否(被包括在*Foll列表中)被当前图片使用以用于参考。由当前切片使用的参考图片集合中包括的图片被标记为“用于参考”，并且由当前切片使用的参考图片集合中未包括的图片被标记为“未用于参考”。如果当前图片是IDR图片，则RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr、和RefPicSetLtFoll都设置为空。
可伸缩视频编码可以是指一种编码结构，其中一个比特流可以包含以不同比特率、分辨率或帧速率的内容的多个表示。在这些情况下，接收器可以根据其特性(例如，与显示设备最匹配的分辨率)提取期望的表示。备选地，服务器或网络元件可以根据例如接收器的网络特性或处理能力提取要传输给接收器的部分比特流。可伸缩比特流可以包括提供最低质量的可用视频的“基本层”和在与较低层一起接收和解码时增强视频质量的一个或多个增强层。为了提高增强层的编码效率，该层的经编码的表示可以取决于较低层。例如，可以从较低层预测增强层的运动和模式信息。类似地，较低层的像素数据可以用于创建增强层的预测。
用于质量可伸缩性(也称为信噪比或SNR)和/或空间可伸缩性的可伸缩视频编解码器可以如下实现。对于基本层，使用常规的不可伸缩视频编码器和解码器。基本层的经重构/经解码的图片被包括在用于增强层的参考图片缓冲器中。在使用(多个)参考图片列表进行帧间预测的H.264/AVC、HEVC、和类似的编解码器中，可以将基本层解码图片插入到(多个)参考图片列表中，以类似于增强层的经解码的参考图片来进行增强层图片的编码/解码。因此，编码器可以挑选基本层参考图片作为帧间预测参考，并且利用经编码的比特流中的参考图片索引来指示其使用。解码器从比特流(例如，从参考图片索引)中解码出基本层图片，该基本层图片用作增强层的帧间预测参考。当经解码的基本层图片用作增强层的预测参考时，其被称为层间参考图片。
除了质量可伸缩性之外，还可以存在其他可伸缩性模式或可伸缩性维度，其中可以包括但不限于以下各项：
-质量可伸缩性：基本层图片的编码质量比增强层图片的编码质量低，这可以例如在基本层中使用比增强层中较大的量化参数值(即，用于变换系数量化的量化步长较大)来实现。如下所述，质量可伸缩性可以进一步分类为细粒度(fine-grain)或细粒度(fine-granularity)可伸缩性(FGS)、中粒度(medium-grain)或中粒度(medium-granularity)可伸缩性(MGS)、和/或粗粒度(coarse-grain)或粗粒度(coarse-granularity)可伸缩性(CGS)。
-空间可伸缩性：基本层图片的编码分辨率比增强层图片的编码分辨率低(即，采样数较少)。空间可伸缩性和质量可伸缩性、尤其是其粗粒度可伸缩性类型有时可以被视为相同类型的可伸缩性。
-比特深度可伸缩性：基本层图片的编码比特深度(例如，8贝特)比增强层图片的编码比特深度(例如，10或12比特)低。
-色度格式可伸缩性：基本层图片在色度样本阵列中提供的空间分辨率(例如，以4：2：0色度格式编码)低于增强层图片(例如，4：4：4格式)。
-色域可伸缩性：增强层图片比基本层图片具有较丰富/较广泛的色彩表示范围——例如，增强层可以具有UHDTV(ITU-R BT.2020)色域，而基本层可以具有ITU-RBT.709色域。
-视图可伸缩性，也可以称为多视图编码。基本层表示第一视图，而增强层表示第二视图。
-深度可伸缩性，也可以称为深度增强编码。比特流的一个或一些层可以表示(多个)纹理视图，而一个或多个其他层可以表示(多个)深度视图。
-感兴趣区域的可伸缩性(如下所述)。
-隔行到逐行的可伸缩性(也称为场到帧的可伸缩性)：基本层的编码的隔行源内容材料通过增强层进行增强，以表示逐行源内容。基本层中的编码的隔行源内容可以包括经编码的场、表示场对的经编码的帧、或它们的混合。在隔行到逐行可伸缩性中，可以对基本层图片进行重新采样，使得其成为一个或多个增强层图片的合适的参考图片。
-混合编解码器可伸缩性(也称为编码标准可伸缩性)：在混合编解码器可伸缩性中，基本层和增强层的比特流语法、语义和解码过程在不同的视频编码标准中指定。因此，基本层图片根据与增强层图片不同的编码标准或格式被编码。例如，基本层可以利用H.264/AVC编码，并且增强层可以利用HEVC多层扩展编码。更一般地，在混合编解码器可伸缩性中，一个或多个层可以根据一个编码标准或规范被编码，并且其他一个或多个层可以根据另一编码标准或规范被编码。例如，可以存在根据H.264/AVC的MVC扩展编码的两个层(其中一个层是根据H.264/AVC编码的基本层)、以及根据MV-HEVC编码的一个或多个附加层。此外，根据其编码相同比特流的不同层的编码标准或规范的数目可以不限于混合编解码器可伸缩性中的两个。
应当理解，很多可伸缩性类型可以组合并且一起应用。例如，色域可伸缩性和比特深度可伸缩性可以组合。
在以上可伸缩性的情况下，基本层信息可以用于编码增强层以最小化附加比特率开销。
可以通过两种方式启用可伸缩性。通过引入新的编码模式来执行来自可伸缩表示形式的较低层的像素值或语法的预测，或者将较低层图片放置到较高层的参考图片缓冲器(经解码的图片缓冲器DPB)。第一种方法较灵活，因此在大多数情况下可以提供较好的编码效率。但是，第二种基于参考帧的可伸缩性方法可以通过对单层编解码器进行最少改变来非常有效地实现，同时仍然可以实现大部分可用的编码效率增益。本质上，基于参考帧的可伸缩性编解码器可以通过对所有层利用相同的硬件或软件实现来实现，而只是通过外部手段来进行DPB管理。
为了能够利用并行处理，可以将图像拆分成独立可编码和可解码的图像段(切片或图块)。切片可以是指由一定数目的基本编码单元构成的图像段，这些基本编码单元按默认编码或解码顺序处理，而图块可以是指已经被定义为矩形图像区域的图像段，这些图像段至少在某种程度上被处理为单个帧。
图4示出了根据一个实施例的视频编码器的框图。图4给出了用于两个层的编码器，但是应当理解，所给出的编码器可以类似地扩展以编码多于两个层或仅一个层。图4示出了视频编码器的实施例，该视频编码器包括用于基本层的第一编码器部分500和用于增强层的第二编码器部分502。第一编码器部分500和第二编码器部分502中的每个可以包括用于编码传入图片的类似元件。编码器部分500、502可以包括像素预测器302、402、预测误差编码器303、403和预测误差解码器304、404。图4还示出了像素预测器302、402的实施例，其包括帧间预测器306、406、帧内预测器308、408、模式选择器310、410、滤波器316、416、和参考帧存储器318、418。第一编码器部分500的像素预测器302接收要在帧间预测器306(其确定图像与运动补偿参考帧318之间的差异)和帧内预测器308(其仅基于当前帧或图片的已处理部分来确定对图像块的预测)两者处被编码的视频流的300个基本层图像。帧间预测器和帧内预测器两者的输出都被传递到模式选择器310。帧内预测器308可以具有一个以上的帧内预测模式。因此，每个模式可以执行帧内预测并且将预测的信号提供给模式选择器310。模式选择器310还接收基本层图片300的副本。相应地，第二编码器部分502的像素预测器402接收要在帧间预测器406(其确定图像与运动补偿参考帧418之间的差异)和帧内预测器408(其仅基于当前帧或图片的已处理部分来确定对图像块的预测)两者处被编码的视频流的400个增强层图像。帧间预测器和帧内预测器两者的输出都被传递到模式选择器410。帧内预测器408可以具有一个以上的帧内预测模式。因此，每个模式可以执行帧内预测，并且将预测的信号提供给模式选择器410。模式选择器410还接收增强层图片400的副本。
取决于选择哪种编码模式来编码当前编码单元，帧间预测器306、406的输出或者可选的帧内预测器模式中的一个的输出或模式选择器内的表面编码器的输出被传递到模式选择器310、410的输出。模式选择器的输出被传递到第一求和设备321、421。第一求和设备可以从基本层图片300/增强层图片400中减去像素预测器302、402的输出以产生第一预测误差信号320、420，该第一预测误差信号320、420被输入到预测误差编码器303、403。
像素预测器302、402还从初步重构器339、439接收图像块312、412的预测表示与预测误差解码器304、404的输出338、438的组合。初步重构图像314、414可以被传递到帧内预测器308、408和滤波器316、416。接收初步表示的滤波器316、416可以滤波初步表示并且输出最终的重构图像340、440，其可以被保存在参考帧存储器318、418中。参考帧存储器318可以连接到帧间预测器306，以用作在帧间预测操作中将未来的基本层图片300与其相比较的参考图像。根据一些实施例，在基本层被选择并且被指示为用于增强层的层间样本预测和/或层间运动信息预测的源的情况下，参考帧存储器318也可以连接到帧间预测器406以用作在帧间预测操作中将未来的增强层图片400与其相比较的参考图像。此外，参考帧存储器418可以连接到帧间预测器406，以用作在帧间预测操作中将未来的增强层图片400与其相比较的参考图像。
根据一些实施例，在基本层被选择并且被指示为用于预测增强层的滤波参数的源的情况下，来自第一编码器部分500的滤波器316的滤波参数可以被提供给第二编码器部分502。
预测误差编码器303、403包括变换单元342、442和量化器344、444。变换单元342、442将第一预测误差信号320、420变换到变换域。该变换例如是DCT变换。量化器344、444量化变换域信号(例如，DCT系数)以形成经量化的系数。
预测误差解码器304、404接收来自预测误差编码器303、403的输出，并且执行预测误差编码器303、403的相反过程以产生经解码的预测误差信号338、438，经解码的预测误差信号338、438在与第二求和设备339、439处的图像块312、412的预测表示组合时，产生初步的重构图像314、414。预测误差解码器可以被视为包括反量化器361、461和逆变换单元363、463，反量化器361、461反量化经量化的系数值(例如，DCT系数)以重构变换信号，逆变换单元363、463对经重构的变换信号执行逆变换，其中逆变换单元363、463的输出包含(多个)经重构的块。预测误差解码器还可以包括块滤波器，该块滤波器可以根据另外的经解码的信息和滤波器参数来滤波(多个)经重构的块。
熵编码器330、430接收预测误差编码器303、403的输出，并且可以对信号执行合适的熵编码/可变长度编码，以提供误差检测和校正能力。熵编码器330、430的输出可以被插入到比特流中，例如，通过复用器508。
在解码器中，可执行类似的操作以重构块的样本。图5示出了根据一个实施例的视频解码器的框图。图5描绘了两层解码器的结构，但是应当理解，解码操作可以类似地用于单层解码器中。
视频解码器550包括用于基本视图分量的第一解码器部分552和用于非基本视图分量的第二解码器部分554。框556示出了用于将关于基本视图分量的信息传递到第一解码器部分552并且用于将关于非基本视图分量的信息传递到第二解码器部分554的解复用器。附图标记P'n表示图像块的预测的表示。附图标记D'n表示经重构的预测误差信号。框704、804示出了像素预测操作。框705、805示出了初步的重构图像(I'n)。附图标记R'n表示最终的重构图像。框703、803示出了逆变换(T-1)。框702、802示出了逆量化(Q-1)。框701、801示出了熵解码(E-1)。框706、806示出了参考帧存储器(RFM)。框707、807示出了预测(P)(帧间预测或帧内预测)。框708、808示出了滤波(F)。框709、809可以用于将经解码的预测误差信息与经预测的基本视图/非基本视图分量相组合以获得初步的重构图像705、805(I'n)。可以从第一解码器部分552输出710初步重构和滤波的基本视图图像，并且可以从第二解码器部分554输出810初步重构和滤波的基本视图图像。
在下文中，将参考图7a的框图和图8a的流程图更详细地描述用于通过视频编码器来编码图片的实施例。
在下文中，假设视频信息包括三个颜色通道，它们是亮度通道Y和两个色度通道Cr、Cb，但是类似的原理也适用于其他颜色格式，诸如RGB(红色、绿色、蓝色)颜色格式。
图7a示出了量化参数评估器750的示例，其可以是变换单元342、442或量化器344、444的一部分，或者是变换单元342、442与量化器344、444之间的分开的元件。此外，可以针对编码器的每个编码器部分500、502实现量化参数评估器750。
量化参数评估器750确定902三个(或更多个)颜色通道中的第一通道的第一量化参数Q1。第一通道例如是亮度通道，但是也可以是两个其他颜色通道中的任何一个。根据一个实施例，在进一步确定中将量化参数用作参考的第一通道可以是亮度通道，或者是通道中具有最高空间分辨率的通道。它也可以是虚拟通道，其量化参数在解码过程中不用于任何通道，但是第一量化参数仅被确定为其他量化参数的参考。
根据一个实施例，计算第一通道的中间量化参数，并且该值用作第一量化参数。然后，将中间量化参数的值限制在特定值范围内。如果中间量化参数的值在该范围之外，则裁剪该值，以使得该值将在该值范围内，然后将该经裁剪的值用作第一通道的量化参数。
例如，可以基于第一通道的残差值来确定第一量化参数Q1，并且第一量化参数Q1的值可以在不同的块之间变化。
量化参数评估器750还确定904至少第一偏移O1的值，该值定义第一量化参数Q1与包含来自至少两个通道的残差样本块的第二量化参数之间的关系。根据一个实施例，至少两个通道是第一色度通道Cb和第二色度通道Cr。
第一偏移O1的值可以是预定值，或者对于多个块可以是公共的，或者可以在不同的块之间变化。如果第一偏移O1的值对于多个块是公共的或者是固定的预定值，则量化参数评估器750不需要分别针对每个这样的块确定第一偏移O1的值。
量化参数评估器750还确定906用于包含来自至少两个通道的残差样本的残差样本或变换系数的块的第二量化参数Q2。根据一个实施例，第二量化参数Q2基于第一量化参数Q1和第一偏移O1的值。例如，第一偏移O1被添加到第一量化参数Q1，其中求和运算的结果被用作第二参数Q2的值。第二量化参数Q2的确定可以针对每个块或者至少当第一量化参数Q1的值改变时被执行。
残差编码模式选择器752确定908哪种编码模式已经用于残差样本或变换系数的块。如果残差编码模式选择器752确定已经跨视频的多个颜色分量或颜色通道完成了该块的编码，即，已经使用了跨通道残差编码模式(又称为联合残差编码模式)，则残差编码模式选择器752提供910指示，该指示指示应当将来自至少两个通道的样本或变换系数的联合残差编码用于该块。响应于联合残差编码模式的选择，第二量化参数由量化器344、444选择912作为用于残差样本或变换系数的块的量化参数。量化器344、444使用第二量化参数Q2对残差样本或变换系数的块执行量化操作914。例如，经量化的残差样本或变换系数可以例如由复用器508插入到比特流中。
如果残差编码模式选择器752确定尚未跨视频的多个颜色分量或颜色通道完成对块的编码，即尚未使用跨通道残差编码模式，则残差编码模式选择器752可以提供指示，该指示指示来自至少两个通道的样本或变换系数的联合残差编码不应当用于该块。因此，为每个通道提供单独的量化参数，并且使用每个通道的单独的量化参数来量化916每个通道的样本。应当注意，可能没有必要指示尚未使用跨通道残差编码模式，其中缺乏对跨通道残差编码模式的指示表明跨通道残差编码模式尚未被使用。
在此应当注意，还可以在获得第一偏移O1并且估计第二量化参数Q2的值之前，执行是否已经使用跨通道残差编码模式的确定。因此，如果编码模式的确定表明尚未使用跨通道残差编码模式，则量化参数评估器750可以不必获得第一偏移O1和/或估计第二量化参数Q2的值。
如上所述，预测误差解码器304、404接收来自预测误差编码器303、403的输出，并且执行预测误差编码器303、403的相反过程以产生经解码的预测误差信号338、438，经解码的预测误差信号338、438在与第二求和设备339、439处的图像块312、412的预测表示相结合时，产生初步的重构图像314、414。因此，可以向反量化器361、461提供第一量化参数和第二量化参数的信息，以使得反量化器361、461在量化经量化的系数值时可以使用正确的反量化参数(例如，DCT系数)来重构变换信号。逆变换单元363、463对经重构的变换信号执行逆变换，其中逆变换单元363、463的输出包含(多个)经重构的块。
根据一个实施例，第一量化参数Q1也可以被计算为两个或更多个量化参数的平均值或加权平均值或这种量化参数的中间值。在对第一色度通道Cb和第二色度通道Cr应用联合残差编码的情况下，第一量化参数Q1例如可以被计算为第一色度通道Cb和第二色度通道Cr的对应量化参数的平均值或加权平均值。
定义用于以跨通道模式编码的残留块的第一量化参数Q1与第二量化参数Q2之间的关系的一个或多个参数可以以不同的方式来定义。例如，第二偏移参数O2(也可以称为pps_cbcr_qp_offset)可以在图片参数集合中被指示，定义用于变换系数的跨通道编码的样本块的第一量化参数Q1与第二量化参数Q2之间的偏移值。备选地或另外地，可以存在定义将被添加到第二量化参数Q2的其他或备选偏移的其他语法元素。例如，在图块组报头中可以存在第三偏移参数O3，其也可以被称为tile_group_cbcr_qp_offset。该第三偏移参数O3可以定义将被添加到第二量化参数Q2的另一偏移。备选地或另外地，在比特流语法的不同层中可以存在其他这样的指示符。
根据一个实施例，量化参数评估器750接收关于是否已经为该块选择了跨通道残差编码模式的信息，并且仅在该信息指示已经选择了跨通道残差编码模式的情况下，量化参数评估器750才确定跨通道编码块的第二量化参数Q2。
根据一个实施例，对于跨通道编码块的第二量化参数Q2的确定，量化参数评估器750根据特定标准来限制所确定的第二量化参数Q2的值。例如，如果第二量化参数Q2的确定值变得小于某个最小值，则量化参数评估器750将第二量化参数Q2的值设置为最小值，或者如果第二量化参数Q2的确定值变得大于某个最大值，则量化参数评估器750将第二量化参数Q2的值设置为最大值。根据一个实施例，量化参数评估器750将所确定的第二量化参数Q2的值限制在某个值范围内。换言之，第二量化参数Q2的值将不小于最小值并且不大于最大值。最小值、最大值和/或范围可以例如通过某种适当的方式指示给量化参数评估器750，或者它们可以是固定值或基于视频信息的内容。
根据一个实施例，定义了第四偏移O4。第四偏移O4的值取决于视频或图像内容的比特深度。因此，第四偏移O4的值被添加到第二量化参数Q2。
根据一个实施例，基于第一色度通道Cb的量化参数QPcb和第二色度通道Cr的量化参数QPcr的平均值来计算跨通道编码块的第二量化参数Q2，也可以表示为QPcbcr。例如：QPcbcr＝(QPcb+QPcr)/2。
根据一个实施例，基于第一色度通道Cb的量化参数QPcb、第二色度通道Cr的量化参数QPcr的平均值和至少一个预定义或指示的第五偏移D来计算跨通道编码块的第二量化参数QPcbcr。例如：QPcbcr＝(QPcb+QPcr)/2+D。
这里应当注意，尽管在以上公开中已经提出了很多不同的偏移参数，即第一至第五偏移参数，但是在第二量化参数Q2的确定时，没有必要使用所有这些偏移参数，而是可以使用其任何子集或不使用其中的任何一个。
在比特流中指示单个偏移或多个偏移的情况下，可用偏移的集合可以有利地被限制为仅包括负整数值和值零。在第一色度通道Cb的量化参数QPcb和第二色度通道Cr的量化参数QPcr的平均值用作计算联合量化参数的参考值的情况下，这种限制可能会带来好处，因为联合残差编码通常会影响两倍的数目或残差样本，因此与使用较高的量化器相比，利用较小的量化器参数进行较精细的量化可以提供统计上较好的编码效率。
在下文中，将参考图7b的框图和图8b的流程图更详细地描述用于通过视频解码器来解码图片的实施例。
反量化参数评估器760确定922三个(或更多个)色彩通道中的第一通道的第一量化参数Q1。第一量化参数Q1可能已经在比特流中发信号通知并且由解码器接收，使得反量化参数评估器760可以根据接收到的信息确定第一量化参数Q1的值。备选地，反量化参数评估器760可以基于接收和重构的第一通道的残差值来确定第一量化参数Q1的值。
根据一个实施例，并且类似于编码器的对应实施例，如果根据接收和重构的第一通道的残差值确定第一量化参数Q1，则可以计算第一通道的中间反量化参数，并且然后可以将该值用作第一量化参数。然后，将中间反量化参数的值限制在某个值范围内。如果中间反量化参数的值在该范围之外，则裁剪该值，以使得该值将在该值范围内，并且然后将该经裁剪的值用作第一通道的反量化参数。
反量化参数评估器760还确定924至少第一偏移O1的值。
第一偏移O1的值可以是预定值，或者对于多个块可以是公共的，或者可以在不同的块之间变化并且可以已经在比特流中发信号通知。如果该值可以在不同的块之间改变，则该发信号通知可以逐个块地执行，其中反量化参数评估器760确定每个块的第一偏移O1的值。另一方面，如果第一偏移O1的值对于多个块是公共的或者是固定的，则可以在较高的信令水平上执行该值的发信号通知，并且反量化参数评估器760不需要分别确定每个块的第一偏移O1的值。
反量化参数评估器760还确定926用于包含来自至少两个通道的残差样本的残差样本或变换系数的块的第二量化参数Q2。根据一个实施例，第二量化参数Q2基于第一量化参数Q1和第一偏移O1的值。例如，第一偏移O1被添加到第一量化参数Q1，其中求和运算的结果被用作第二参数Q2的值。第二量化参数Q2的确定可以针对每个块或者至少当第一量化参数Q1的值改变时被执行。
残差解码模式选择器762确定928哪种编码模式已经用于残差样本或变换系数的块。如果残差解码模式选择器762确定该块的编码已经是跨通道残差编码模式，则残差解码模式选择器762指导930反量化器702、802以将第二量化参数用作残差样本或变换系数的块的量化参数。反量化器702、802使用第二量化参数Q2对残差样本或变换系数的块执行932逆量化操作934。经量化的残差样本或变换系数可以例如从比特流重构。
如果残差解码模式选择器762确定尚未使用跨通道残差编码模式，则残差解码模式选择器762指导934反量化器702、802以使用936为每个通道提供的单独的量化参数并且在每个通道的残差的反量化过程中使用它们。
在此应当注意，还可以在获得第一偏移O1并且估计第二量化参数Q2的值之前，执行是否已经使用跨通道残差编码模式的确定。因此，如果对编码模式的确定表明尚未使用跨通道残差编码模式，则反量化参数评估器760可以不必获得第一偏移O1和/或估计第二量化参数Q2的值。
根据一个实施例，第一量化参数Q1还可以被计算为两个或更多个量化参数的平均值或加权平均值或这种量化参数的中间值。在对第一色度通道Cb和第二色度通道Cr应用联合残差编码的情况下，第一量化参数Q1例如可以被计算为第一色度通道Cb和第二色度通道Cr的对应量化参数的平均值或加权平均值。
根据一个实施例，反量化参数评估器760接收关于是否已经为该块选择了跨通道残差编码模式的信息，并且仅在该信息指示已经选择了跨通道残差编码模式的情况下，反量化参数评估器760才确定跨通道编码块的第二量化参数Q2。
如果在比特流中没有接收到量化参数Q1、Q2，则解码器可以利用与以上结合编码所呈现的原理相似的原理来重构它们。换言之，可以将第二量化参数Q2的值限制在某个值范围内，或者可以已经针对第二量化参数Q2定义最小值和/或最大值。因此，反量化参数评估器760限制所确定的第二量化参数Q2的值，使得第二量化参数Q2的最终值不超过(多个)限制。最小值、最大值和/或范围可以例如通过某种适当的方式指示给反量化参数评估器760，或者它们可以是固定值或基于视频信息的内容。
图9是可以在其中实现各种实施例的示例多媒体通信系统的图形表示。数据源1110提供模拟、未经压缩的数字、或经压缩的数字格式、或这些格式的任何组合的源信号。编码器1120可以包括预处理或与之连接，诸如源信号的数据格式转换和/或滤波。编码器1120将源信号编码为经编码的媒体比特流。应当注意，要解码的比特流可以从实际上位于任何类型的网络内的远程设备直接或间接地接收。另外，比特流可以从本地硬件或软件接收。编码器1120可以能够编码一个以上的媒体类型，诸如音频和视频，或者可能需要一个以上的编码器1120来编码源信号的不同媒体类型。编码器1120还可以得到合成产生的输入，诸如图形和文本，或者它可以能够产生合成媒体的经编码的比特流。在下文中，仅考虑对一种媒体类型的一个编码媒体比特流的处理以简化描述。但是，应当注意，通常，实时广播服务包括若干个流(通常至少一个音频、视频和文本字幕流)。还应当注意，该系统可以包括很多编码器，但是在附图中仅示出了一个编码器1120以简化描述而不缺乏一般性。应当进一步理解，尽管本文中包含的文本和示例可以具体描述编码过程，但是本领域技术人员将理解，相同的概念和原理也适用于对应的解码过程，反之亦然。
经编码的媒体比特流可以被传送到存储1130。存储1130可以包括任何类型的大容量存储器以存储经编码的媒体比特流。存储1130中的经编码的媒体比特流的格式可以是基本的自包含比特流格式，或者一个或多个经编码的媒体比特流可以被封装到容器文件中。如果将一个或多个媒体比特流被封装在容器文件中，则可以使用文件生成器(图中未示出)将一个或多个媒体比特流存储在文件中并且创建文件格式元数据，文件格式元数据也可以存储在文件中。编码器1120或存储1130可以包括文件生成器，或者文件生成器可操作地附接到编码器1120或存储1130。一些系统“实时”操作，即省略存储并且将经编码的媒体比特流从编码器1120直接传送到发送器1140。然后，可以根据需要将经编码的媒体比特流传送到发送器1140(也称为服务器)。在传输中使用的格式可以是基本的自包含比特流格式、分组流格式，或者可以将一个或多个经编码的媒体比特流封装到容器文件中。编码器1120、存储1130、和服务器1140可以驻留在相同物理设备中，或者它们可以被包括在分开的设备中。编码器1120和服务器1140可以利用实时的实时内容进行操作，在这种情况下，经编码的媒体比特流通常不被永久地存储，而是在内容编码器1120和/或服务器1140中缓冲一小段时间以消除处理延迟、传送延迟、和经编码的媒体比特率的变化。
服务器1140可以使用通信协议栈发送经编码的媒体比特流。栈可以包括但不限于以下中的一种或多种：实时运输协议(RTP)、用户数据报协议(UDP)、超文本传送协议(HTTP)、传输控制协议(TCP)、和互联网协议(IP)。当通信协议栈是面向分组的时，服务器1140将经编码的媒体比特流封装为分组。例如，当使用RTP时，服务器1140根据RTP有效载荷格式将经编码的媒体比特流封装成RTP分组。通常，每种媒体类型具有专用的RTP有效载荷格式。再次应当注意，系统可以包含一个以上的服务器1140，但是为简单起见，以下描述仅考虑一个服务器1140。
如果媒体内容被封装在用于存储1130或用于将数据输入到发送器1140的容器文件中，则发送器1140可以包括或可操作地附接到“发送文件解析器”(图中未示出)。特别地，如果容器文件没有这样被传输，而是封装所包含的经编码的媒体比特流中的至少一个以通过通信协议进行运输，则发送文件解析器定位要通过通信协议进行传送的经编码的媒体比特流的适当部分。发送文件解析器还可以帮助创建通信协议的正确格式，诸如分组报头和有效载荷。多媒体容器文件可以包含封装指令，诸如ISO基本媒体文件格式的提示轨道，用于在通信协议上封装所包含的媒体比特流中的至少一个。
服务器1140可以通过或可以不通过通信网络连接到网关1150。网关也可以或备选地称为中间盒。注意，该系统通常可以包括任何数目的网关等，但是为了简单起见，以下描述仅考虑一个网关1150。网关1150可以执行不同类型的功能，诸如高速缓存分组、流或资源、主动预取媒体数据、分组流根据一个通信协议栈到另一通信协议栈的转换、数据流的合并和分叉、以及根据下行链路和/或接收器能力的数据流操作，诸如根据主要的下行链路网络条件来控制转发流的比特率。网关1150的示例包括多点会议控制单元(MCU)、电路交换和分组交换视频电话之间的网关、蜂窝一键通(PoC)服务器、手持式数字视频广播(DVB-H)系统中的IP封装器、或机顶盒或者将广播传输本地转发给家庭无线网络的其他设备。当使用RTP时，网关1150可以被称为RTP混频器或RTP转换器，并且可以充当RTP连接的端点。代替网关1150或除了网关1150之外，系统可以包括连接视频序列或比特流的拼接器。
该系统包括一个或多个接收器1160，其通常能够接收、解调、和解封装所传输的信号为经编码的媒体比特流。经编码的媒体比特流可以被传送到记录存储1170。记录存储1170可以包括任何类型的大容量存储器以存储经编码的媒体比特流。记录存储1170可以备选地或另外地包括计算存储器，诸如随机存取存储器。记录存储1170中的经编码的媒体比特流的格式可以是基本的自包含比特流格式，或者可以将一个或多个经编码的媒体比特流封装到容器文件中。如果存在彼此相关联的多个经编码的媒体比特流，诸如音频流和视频流，则通常使用容器文件，并且接收器1160包括或附接到容器文件生成器，该容器文件生成器从输入流产生容器文件。一些系统“实时”操作，即省略记录存储1170并且将经编码的媒体比特流从接收器1160直接传送到解码器1180。在一些系统中，仅将所记录的流的最近部分(例如，所记录的流的最近10分钟摘录)保持在记录存储1170中，而任何较早的所记录的数据从记录存储1170中被丢弃。
可以将经编码的媒体比特流从记录存储1170传送到解码器1180。如果存在彼此相关联并且被封装到容器文件中的很多经编码的媒体比特流(诸如音频流和视频流)或者单个媒体比特流被封装在容器文件中(例如，为了更易于访问)，则使用文件解析器(图中未示出)从容器文件中解封装每个经编码的媒体比特流。记录存储1170或解码器1180可以包括文件解析器，或者文件解析器附接到记录存储1170或解码器1180。还应当注意，该系统可以包括很多解码器，但是在此仅讨论一个解码器1170以简化描述而不缺乏一般性。
经编码的媒体比特流可以由解码器1170进一步处理，解码器1170的输出是一个或多个未经压缩的媒体流。最后，渲染器1190可以例如利用扬声器或显示器来再现未经压缩的媒体流。接收器1160、记录存储1170、解码器1170、和渲染器1190可以驻留在相同物理设备中，或者它们可以被包括在分开的设备中。
以上，已经关于术语表示和/或比特流描述了一些实施例。需要理解的是，可以关于类似的术语类似地描述实施例，例如，表示形式代替比特流、比特流代替表示形式、或者基本流代替比特流或表示形式。
在上文中，已经参考编码器描述了示例实施例，需要理解的是，所得到的比特流和解码器中可以具有对应的元件。同样，在已经参考解码器描述了示例实施例的情况下，需要理解的是，编码器可以具有用于生成要由解码器解码的比特流的结构和/或计算机程序。
上面描述的本发明的实施例从分开的编码器和解码器装置的角度来描述编解码器，以帮助理解所涉及的过程。然而，将意识到，该装置、结构和操作可以被实现为单个编码器-解码器装置/结构/操作。此外，编码器和解码器可以共享某些或所有公共元件。
尽管以上示例描述了在电子设备内的编解码器内操作的本发明的实施例，但是应当理解，如权利要求中所限定的本发明可以被实现为任何视频编解码器的一部分。因此，例如，本发明的实施例可以在视频编解码器中实现，该视频编解码器可以在固定或有线通信路径上实现视频编码。
因此，用户设备可以包括视频编解码器，诸如以上在本发明的实施例中描述的视频编解码器。应当理解，术语“用户设备”旨在涵盖任何合适类型的无线用户设备，诸如移动电话、便携式数据处理设备或便携式网络浏览器。
此外，公共陆地移动网络(PLMN)的元件还可以包括如上所述的视频编解码器。
通常，本发明的各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。例如，一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图、或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备、或其某种组合来实现。
本发明的实施例可以通过由移动设备的数据处理器可执行的计算机软件来实现，诸如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合来实现。该计算机软件可以使诸如编码器或解码器的相关装置执行本发明。例如，设备可以包括用于处理、接收和传输数据的电路系统和电子设备、存储器中的计算机程序代码、以及在运行计算机程序代码时使该设备执行实施例的特征的处理器。此外，诸如服务器的网络设备可以包括用于处理、接收和传输数据的电路系统和电子设备、存储器中的计算机程序代码、以及在运行计算机程序代码时使网络设备执行实施例的特征的处理器。
各种实施例可以借助于利用指令编码的非瞬态计算机可读介质来实现，这些指令在由计算机执行时执行各种实施例。
如果需要，本文中讨论的不同功能可以以不同的顺序和/或彼此并发地执行。此外，如果需要，上述功能中的一个或多个可以是可选的或可以被组合。此外，关于解码方法和解码器公开了本实施例。然而，本公开的教导可以应用于编码器，该编码器被配置为执行编码单元的编码以及转义编码在编码单元内的存在的指示的编码。
在这一点上，还应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在物理介质上(诸如存储器芯片、或在处理器内实现的存储器块)、磁性介质上(诸如硬盘或软盘)、以及光学介质(诸如例如DVD及其数据变体CD)。
存储器可以是适合于本地技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器和可移动存储器。数据处理器可以是适合本地技术环境的任何类型，并且作为非限制性示例，可以包括以下中的一项或多项：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构的处理器。
本发明的实施例可以在诸如集成电路模块的各种组件中实践。集成电路的设计大体上是一个高度自动化的过程。复杂而强大的软件工具可用于将逻辑级设计转换为准备好在半导体衬底上蚀刻和形成的半导体电路设计。
诸如由加利福尼亚州山景城的Synopsys公司和加利福尼亚州圣何塞的Cadence设计公司提供的程序使用完善建立的设计规则以及预先存储的设计模块的库来自动路由导体并且在半导体芯片上定位组件。一旦半导体电路的设计已经完成，标准化电子格式(例如，Opus、GDSII等)的所得到的设计可以被传输到半导体制造设施或“fab”以进行制造。
前述描述已经通过示例性和非限制性示例提供了对本发明的示例性实施例的完整且信息性的描述。然而，当结合附图和所附权利要求书阅读时，鉴于前面的描述，各种修改和调整对于相关领域的技术人员来说可以变得很清楚。然而，本发明的教导的所有这样的和类似的修改仍将落入本发明的范围内。
实施例可以提供一些优点。例如，可以通过提供发信号通知建模高阶运动矢量场所需要的附加信息的比特率有效方式来提高运动补偿预测的准确性。

Claims (18)

1.一种用于通信的方法，包括：
接收包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
获得第一量化参数；
获得定义所述第一量化参数与用于所述块的第二量化参数之间的关系的偏移；
通过使用所述第一量化参数和所述偏移来确定所述第二量化参数的值；
如果所述块已经通过使用跨通道残差编码模式被编码，则通过使用所述第二量化参数反量化所述经量化的残差系数来重构残差样本。
2.一种用于通信的装置，包括用于以下的部件：
接收包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
获得第一量化参数；
获得定义所述第一量化参数与用于所述块的第二量化参数之间的关系的偏移；
通过使用所述第一量化参数和所述偏移来确定所述第二量化参数的值；
如果所述块已经通过使用跨通道残差编码模式被编码，则通过使用所述第二量化参数反量化所述经量化的残差系数来重构残差样本。
3.根据权利要求2所述的装置，其中所述部件还被配置为：
获得两个或更多个颜色通道的量化参数；
通过使用两个或更多个颜色通道的所述量化参数来计算所述第一量化参数。
4.根据权利要求2或3所述的装置，其中所述部件还被配置为：
确定所述块是否已经通过使用跨通道残差编码模式被编码；以及
仅在所述确定指示所述块已经通过使用所述跨通道残差编码模式被编码的情况下，才确定所述第二量化参数的所述值。
5.根据权利要求2或3所述的装置，其中所述部件还被配置为：
获得一个或多个限制标准；以及
限制所述第二量化参数的所述值以满足所述一个或多个限制标准。
6.根据权利要求2或3所述的装置，其中所述部件还被配置为：
基于所述视频演示或所述图像的比特深度来确定另一偏移。
7.根据权利要求2或3所述的装置，其中所述部件还被配置为：
获得第一色度通道的量化参数；
获得第二色度通道的量化参数；
将所述第二量化参数的所述值确定为所述第一色度通道的所述量化参数和所述第二色度通道的所述量化参数的组合。
8.根据权利要求7所述的装置，其中所述部件还被配置为：
获得预定义或指示的偏移；以及
将所述第二量化参数的所述值确定为所述第一色度通道的所述量化参数、所述第二色度通道的所述量化参数和所述预定义或指示的偏移的组合。
9.根据权利要求2或3所述的装置，其中所述视频演示或所述图像包括亮度通道和两个色度通道，其中所述部件还被配置为：
使用所述亮度通道的信息；
使用具有最高空间分辨率的所述通道的信息；
使用在所述视频演示或所述图像的重构中未被使用的虚拟通道的信息。
10.根据权利要求2或3所述的装置，其中所述部件包括：
至少一个处理器；以及
至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述装置的执行。
11.一种用于通信的方法，包括：
获得包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
确定第一量化参数；
确定定义所述第一量化参数与用于所述块的第二量化参数之间的关系的偏移；
通过使用所述第一量化参数和所述偏移来确定所述第二量化参数的值；
确定所述块是否已经通过使用跨通道残差编码模式被编码；以及
如果所述块已经通过使用所述跨通道残差编码模式被编码，则通过使用所述第二量化参数来量化残差样本以获得经量化的残差系数。
12.一种用于通信的装置，包括用于以下的部件：
获得包含基于视频演示或图像的至少两个颜色通道的经量化的残差系数的块；
确定第一量化参数；
确定定义所述第一量化参数与用于所述块的第二量化参数之间的关系的偏移；
通过使用所述第一量化参数和所述偏移来确定所述第二量化参数的值；
确定所述块是否已经通过使用跨通道残差编码模式被编码；以及
如果所述块已经通过使用所述跨通道残差编码模式被编码，则通过使用所述第二量化参数来量化残差样本以获得经量化的残差系数。
13.根据权利要求12所述的装置，其中所述部件还被配置为：
获得两个或更多个颜色通道的量化参数；
通过使用两个或更多个颜色通道的所述量化参数来计算所述第一量化参数。
14.根据权利要求12或13所述的装置，其中所述部件还被配置为：
确定所述块是否已经通过使用跨通道残差编码模式被编码；以及
仅在所述确定指示所述块已经通过使用所述跨通道残差编码模式被编码的情况下，才确定所述第二量化参数的所述值。
15.根据权利要求12或13所述的装置，其中所述部件还被配置为：
获得一个或多个限制标准；以及
限制所述第二量化参数的所述值以满足所述一个或多个限制标准。
16.根据权利要求12或13所述的装置，其中所述部件还被配置为：
获得第一色度通道的量化参数；
获得第二色度通道的量化参数；
将所述第二量化参数的所述值确定为所述第一色度通道的所述量化参数和所述第二色度通道的所述量化参数的组合。
17.根据权利要求12或13所述的装置，其中所述视频演示或所述图像包括亮度通道和两个色度通道，其中所述部件还被配置为：
使用所述亮度通道的信息；
使用具有最高空间分辨率的所述通道的信息；
使用在所述视频演示或所述图像的重构中未被使用的虚拟通道的信息。
18.根据权利要求12或13所述的装置，其中所述部件包括：
至少一个处理器；以及
至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述装置的执行。
CN202010085120.1A 2019-02-19 2020-02-10 用于跨通道残差编码和解码的量化参数得出 Active CN111586408B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20195127 2019-02-19
FI20195127 2019-02-19

Publications (2)

Publication Number Publication Date
CN111586408A true CN111586408A (zh) 2020-08-25
CN111586408B CN111586408B (zh) 2022-08-19

Family

ID=69468432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085120.1A Active CN111586408B (zh) 2019-02-19 2020-02-10 用于跨通道残差编码和解码的量化参数得出

Country Status (6)

Country Link
US (1) US11323710B2 (zh)
EP (1) EP3700205A1 (zh)
JP (1) JP2020137111A (zh)
KR (1) KR102474636B1 (zh)
CN (1) CN111586408B (zh)
CA (1) CA3073084C (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565757A (zh) * 2020-12-03 2021-03-26 西安电子科技大学 基于通道差异化的点云属性编码及解码方法、装置及系统
WO2022068839A1 (en) * 2020-09-29 2022-04-07 Beijing Bytedance Network Technology Co., Ltd. Signalling of auxiliary information
WO2023024712A1 (en) * 2021-08-27 2023-03-02 Mediatek Inc. Method and apparatus of joint coding for multi-colour components in video coding system
CN116109798A (zh) * 2023-04-04 2023-05-12 腾讯科技（深圳）有限公司 图像数据处理方法、装置、设备及介质
CN117033270A (zh) * 2023-10-08 2023-11-10 腾讯科技（深圳）有限公司 一种芯片、设备以及数据处理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4035376A1 (en) * 2019-09-24 2022-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiple stage residual coding in modern hybrid image and video coding solutions
US11722675B2 (en) * 2020-12-29 2023-08-08 Qualcomm Incorporated Sign prediction for multiple color components in video coding
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels
CN113079377B (zh) * 2021-04-01 2022-09-30 中国科学技术大学 一种深度图像/视频压缩网络的训练方法
WO2023013966A1 (ko) * 2021-08-06 2023-02-09 삼성전자 주식회사 Ai 기반의 영상의 부호화 및 복호화 장치, 및 이에 의한 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918265A (zh) * 2011-11-07 2014-07-09 英特尔公司 跨通道残余预测
US20160373755A1 (en) * 2012-01-20 2016-12-22 Sony Corporation Chroma quantization parameter extension
CN107079150A (zh) * 2014-10-07 2017-08-18 高通股份有限公司 用于视频译码中自适应颜色变换的量化参数推导及偏移
CN107181963A (zh) * 2017-03-31 2017-09-19 武汉斗鱼网络科技有限公司 一种视频压缩方法及装置
WO2017203930A1 (en) * 2016-05-27 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414054B2 (en) * 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
US10200700B2 (en) * 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
WO2016056977A1 (en) * 2014-10-06 2016-04-14 Telefonaktiebolaget L M Ericsson (Publ) Coding and deriving quantization parameters
WO2016127889A1 (en) * 2015-02-13 2016-08-18 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US20180041778A1 (en) * 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN114598875B (zh) * 2018-09-21 2023-03-24 华为技术有限公司 用于进行量化/反量化的装置和方法及编码/解码装置
EP3868095A4 (en) * 2018-11-26 2021-12-15 Huawei Technologies Co., Ltd. APPARATUS AND METHOD FOR DERIVATING A CHROMINANCE QUANTIFICATION PARAMETER
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR102392701B1 (ko) * 2019-01-15 2022-04-28 엘지전자 주식회사 변환 스킵 플래그를 이용한 영상 코딩 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918265A (zh) * 2011-11-07 2014-07-09 英特尔公司 跨通道残余预测
US20160373755A1 (en) * 2012-01-20 2016-12-22 Sony Corporation Chroma quantization parameter extension
CN107079150A (zh) * 2014-10-07 2017-08-18 高通股份有限公司 用于视频译码中自适应颜色变换的量化参数推导及偏移
WO2017203930A1 (en) * 2016-05-27 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
CN107181963A (zh) * 2017-03-31 2017-09-19 武汉斗鱼网络科技有限公司 一种视频压缩方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JANI LAINEMA: ""CE7-related: Joint coding of chrominance residuals"", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11， JVET-M0305》 *
KEIICHI CHONO: ""Enhanced chroma QP signalling for adaptive cross-component transform in SCC extensions"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEO JTC1/SC29.WG11 AND ITU-T SG.16，NO.JCTVC-S0040-V3》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068839A1 (en) * 2020-09-29 2022-04-07 Beijing Bytedance Network Technology Co., Ltd. Signalling of auxiliary information
CN112565757A (zh) * 2020-12-03 2021-03-26 西安电子科技大学 基于通道差异化的点云属性编码及解码方法、装置及系统
CN112565757B (zh) * 2020-12-03 2022-05-13 西安电子科技大学 基于通道差异化的点云属性编码及解码方法、装置及系统
WO2023024712A1 (en) * 2021-08-27 2023-03-02 Mediatek Inc. Method and apparatus of joint coding for multi-colour components in video coding system
CN116109798A (zh) * 2023-04-04 2023-05-12 腾讯科技（深圳）有限公司 图像数据处理方法、装置、设备及介质
CN116109798B (zh) * 2023-04-04 2023-06-09 腾讯科技（深圳）有限公司 图像数据处理方法、装置、设备及介质
CN117033270A (zh) * 2023-10-08 2023-11-10 腾讯科技（深圳）有限公司 一种芯片、设备以及数据处理方法
CN117033270B (zh) * 2023-10-08 2024-01-26 腾讯科技（深圳）有限公司 一种芯片、设备以及数据处理方法

Also Published As

Publication number Publication date
US20200267388A1 (en) 2020-08-20
KR20200101863A (ko) 2020-08-28
CA3073084A1 (en) 2020-08-19
JP2020137111A (ja) 2020-08-31
KR102474636B1 (ko) 2022-12-05
CN111586408B (zh) 2022-08-19
CA3073084C (en) 2023-10-17
EP3700205A1 (en) 2020-08-26
US11323710B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
US10659802B2 (en) Video encoding and decoding
CN111586408B (zh) 用于跨通道残差编码和解码的量化参数得出
US11800131B2 (en) Apparatus, a method and a computer program for video coding and decoding
EP2987326B1 (en) An apparatus, a method and a computer program for video coding and decoding
US20140254681A1 (en) Apparatus, a method and a computer program for video coding and decoding
CN111327893B (zh) 用于视频编码和解码的装置、方法和计算机程序
JP2018524897A (ja) ビデオの符号化・復号装置、方法、およびコンピュータプログラム
US11223849B2 (en) Transform sign compression in video encoding and decoding
KR20220061245A (ko) 비디오 코딩 및 디코딩 장치, 방법 및 컴퓨터 프로그램
WO2018172609A2 (en) Motion compensation in video encoding and decoding
GB2534591A (en) Video encoding and decoding
GB2519750A (en) An apparatus, a method and a computer program for video coding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032445

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant