CN117061755A - 图像级非图像级语法元素的指示 - Google Patents

图像级非图像级语法元素的指示 Download PDF

Info

Publication number
CN117061755A
CN117061755A CN202310927502.8A CN202310927502A CN117061755A CN 117061755 A CN117061755 A CN 117061755A CN 202310927502 A CN202310927502 A CN 202310927502A CN 117061755 A CN117061755 A CN 117061755A
Authority
CN
China
Prior art keywords
flag
rpl
present
equal
alf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310927502.8A
Other languages
English (en)
Inventor
弗努·亨德里
王业奎
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN117061755A publication Critical patent/CN117061755A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种由视频解码器实现的方法，包括：所述视频解码器接收包括RPL标志的视频码流，其中，所述RPL标志等于第一值表示RPL指示(signaling)存在于图像头(picture header，PH)中，所述RPL标志等于第二值表示RPL指示不存在于所述PH中，并且可以存在于条带头中；所述视频解码器使用所述RPL标志对经译码图像进行解码，以获取经解码图像。

Description

图像级非图像级语法元素的指示
本申请是分案申请，原申请的申请号是202080065919.2，原申请日是2020年09月23日，原申请的全部内容通过引用结合在本申请中。
技术领域
本发明实施例一般涉及视频译码，特别涉及图像级非图像级语法元素的指示。
背景技术
即使在视频较短的情况下，也需要大量的视频数据来描述，当数据要在带宽容量受限的通信网络中流式传输或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后在现代电信网络中发送。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件对视频数据进行编码，然后进行传输或存储，从而减少表示数字视频图像所需的数据量。然后，由解码视频数据的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。
发明内容
第一方面涉及一种由视频解码器实现的方法，包括：所述视频解码器接收包括RPL标志的视频码流，其中，所述RPL标志等于第一值表示RPL指示(signaling)存在于图像头(picture header，PH)中，所述RPL标志等于第二值表示RPL指示不存在于所述PH中，并且可以存在于条带头中。
在本实施例中，当语法元素相同时，所述语法元素包括在图像头中，当语法元素不同时，所述语法元素包括在条带头中。然而，在一些实施例中，所述语法元素可以不包括在两者中。首先，非图像级语法元素可以存在于所述PH中。非图像级语法元素是视频码流级语法元素而不是图像级语法元素。其次，对于每个非图像级语法元素类别，一个标志表示该类别的语法元素何时存在于所述PH或条带头中。所述标志可以在所述PH中。所述非图像级语法元素包括与RPL指示相关的元素、联合Cb Cr符号标志、SAO工具启用和参数、ALF工具启用和参数、LMCS工具启用和参数、缩放列表工具启用和参数。第三，当非图像级语法元素存在于所述PH中时，对应的语法元素不应存在于与包括所述语法元素的所述图像头关联的图像的任何条带中。存在于所述PH中的非图像级语法元素的值应用于与包括所述语法元素的所述图像头关联的图像的所有条带。第四，当非图像级语法元素不存在于所述PH中时，对应的语法元素可以存在于与所述图像头关联的图像的条带的条带头中。通过将非图像级语法元素的指示移动到图像级，冗余减少，经编码码流中浪费的比特减少。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于1表示所述RPL指示存在于所述PH中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于1表示所述RPL指示不在条带中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于0表示所述RPL指示不存在于所述PH中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于0表示所述RPL指示可以存在于所述条带头中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述码流还包括RPLSPS标志，其中，所述RPL SPS标志表示RPL列表i是根据SPS中的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的，或表示RPL列表i是根据直接包括的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述码流还包括RPL索引，其中，所述RPL索引表示语法结构ref_pic_list_struct(listIdx，rplsIdx)列表中的索引，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)的listIdx等于i，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)包括在序列参数集(sequenceparameter set，SPS)中，且用于推导当前图像的RPL列表i。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述方法还包括在电子设备的显示器上显示所述经解码图像。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，当非图像级语法元素存在于所述PH中时，对应的语法元素不应存在于与包括所述语法元素的所述PH关联的图像的任何条带中。
第二方面涉及一种由视频解码器实现的方法，包括：生成RPL标志，其中，所述RPL标志等于第一值表示RPL指示存在于PH中，所述RPL标志等于第二值表示RPL指示(signaling)不存在于所述PH中，并且可以存在于条带头中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于1表示所述RPL指示存在于所述PH中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于1表示所述RPL指示不在条带中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于0表示所述RPL指示不存在于所述PH中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述RPL标志等于0表示所述RPL指示可以存在于所述条带头中。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述方法还包括：生成RPL SPS标志，其中，所述RPL SPS标志表示RPL列表i是根据SPS中的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的，或表示RPL列表i是根据直接包括的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述方法还包括：生成RPL索引，其中，所述RPL索引表示语法结构ref_pic_list_struct(listIdx，rplsIdx)列表中的索引，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)的listIdx等于i，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)包括在序列参数集(sequenceparameter set，SPS)中，且用于推导当前图像的RPL列表i。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，当非图像级语法元素存在于所述PH中时，对应的语法元素不应存在于与包括所述语法元素的所述PH关联的图像的任何条带中。
第三方面涉及一种由视频解码器实现的方法，包括：所述视频解码器接收包括SAO标志的视频码流，其中，所述SAO标志等于第一值表示SAO指示存在于PH中，所述SAO标志等于第二值表示SAO指示不存在于所述PH中，并且可以存在于条带头中；所述视频解码器使用所述SAO标志对经译码图像进行解码，以获取经解码图像。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述方法还包括在电子设备的显示器上显示所述经解码图像。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，当非图像级语法元素存在于所述PH中时，对应的语法元素不应存在于与包括所述语法元素的所述PH关联的图像的任何条带中。
第四方面涉及一种由视频编码器实现的方法，包括：生成SAO标志，其中，所述SAO标志等于第一值表示SAO指示存在于PH中，所述SAO标志等于第二值表示SAO指示不存在于所述PH中，并且可以存在于条带头中；所述视频编码器将所述SAO标志编码到视频码流中；所述视频编码器存储所述视频码流，以发送到视频解码器。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，当非图像级语法元素存在于所述PH中时，对应的语法元素不应存在于与包括所述语法元素的所述PH关联的图像的任何条带中。
第五方面涉及一种由视频解码器实现的方法，包括：所述视频解码器接收包括ALF标志的视频码流，其中，所述ALF标志等于第一值表示ALF指示存在于PH中，所述ALF标志等于第二值表示ALF指示不存在于所述PH中，并且可以存在于条带头中；所述视频解码器使用所述ALF标志对经译码图像进行解码，以获取经解码图像。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述方法还包括在电子设备的显示器上显示所述经解码图像。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，当非图像级语法元素存在于所述PH中时，对应的语法元素不应存在于与包括所述语法元素的所述PH关联的图像的任何条带中。
第六方面涉及一种由视频编码器实现的方法，包括：生成ALF标志，其中，所述ALF标志等于第一值表示ALF指示存在于PH中，所述ALF标志等于第二值表示ALF指示不存在于所述PH中，并且可以存在于条带头中；所述视频编码器将所述ALF标志编码到视频码流中；所述视频编码器存储所述视频码流，以发送到视频解码器。
可选地，根据上述任一方面，在所述方面的另一种实现方式中，当非图像级语法元素存在于所述PH中时，对应的语法元素不应存在于与包括所述语法元素的所述PH关联的图像的任何条带中。
第七方面涉及一种由视频解码器实现的方法，包括：所述视频解码器接收包括语法元素的视频码流，其中，所述语法元素表示信息可以存在于或不存在于PH中，或表示所述信息可以存在或不存在于条带头中；所述视频解码器使用所述语法元素对经译码图像进行解码，以获取经解码图像。
上述实施例中的任何一个可以与上述其它实施例中的任何一个结合以创建新的实施例。这些和其它特征将结合附图和权利要求书从以下详细描述中更清楚地理解。
附图说明
为了更透彻地理解本发明，现参考结合附图和具体实施方式而描述的以下简要说明，其中的相同附图标记表示相同部件。
图1为对视频信号进行译码的示例性方法的流程图。
图2为用于视频译码的示例性编码和解码(编解码)系统的示意图。
图3为示例性视频编码器的示意图。
图4为示例性视频解码器的示意图。
图5示出了视频码流的实施例。
图6为第一实施例提供的对码流进行解码的方法的流程图。
图7为第一实施例提供的对码流进行编码的方法的流程图。
图8为第二实施例提供的对码流进行解码的方法的流程图。
图9为第二实施例提供的对码流进行编码的方法的流程图。
图10为第三实施例提供的对码流进行解码的方法的流程图。
图11为第三实施例提供的对码流进行编码的方法的流程图。
图12为视频译码设备的示意图。
图13为译码模块的实施例的示意图。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实现方式，但本发明所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实现方式、附图和技术，包括本文所说明并描述的示例性设计和实现方式，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
以下缩写适用：
ALF：自适应环路滤波器(adaptive loop filter)
APS：自适应参数集(adaptation parameter set)
ASIC：专用集成电路(application-specific integrated circuit)
AU：接入单元(access unit)
AUD：接入单元分隔符(access unit delimiter)
BT：二叉树(binary tree)
CABAC：上下文自适应二进制算术编码(context-adaptive binary arithmeticcoding)
CAVLC：上下文自适应可变长度编码(context-adaptive variable-lengthcoding)
Cb：蓝差色度(blue difference chroma)
CLVS：逐层编码视频序列(coded layer-wise video sequence)
CLVS：编码层视频序列(coded layer video sequence)
CPU：中央处理单元(central processing unit)
Cr：红差色度(red difference chroma)
CRA：纯随机接入(clean random access)
CTB：编码树块(coding tree block)
CTU：编码树单元(coding tree unit)
CU：编码单元(coding unit)
CVS：编码视频序列(coded video sequence)
DC：直流(direct current)
DCI：解码能力信息(decoding capability information)
DCT：离散余弦变换(discrete cosine transform)
DMM：深度建模模式(depth modeling mode)
DPB：解码图像缓冲区(decoded picture buffer)
DPS：解码参数集(decoding parameter set)
DSP：数字信号处理器(digital signal processor)
DST：离散正弦变换(discrete sine transform)
EO：电光(electrical-to-optical)
FPGA：现场可编程门阵列(field-programmable gate array)
GDR：逐步解码刷新(gradual decoding refresh)
HEVC：高效视频译码(high efficiency video coding)
ID：标识符(identifier)
IDR：即时解码刷新(instantaneous decoding refresh)
IEC：国际电工委员会(International Electrotechnical Commission)
I/O：输入/输出
IRAP：帧内随机接入图像(intra random access picture)
ISO：国际标准化组织(International Organization for Standardization)
ITU：国际电信联盟(International Telecommunication Union)
ITU-T：ITU电信标准化组
LMCS：亮度映射与色度缩放(luma mapping with chroma scaling)
LTRP：长期参考图像(long-term reference picture)
MVP：运动矢量预测(motion vector predictor)
NAL：网络抽象层(network abstraction layer)
OE：光电(optical-to-electrical)
PH：图像头(picture header)
PIPE：概率区间分割熵(probability interval partitioning entropy)
POC：图像顺序编号(picture order count)
PPS：图像参数集(picture parameter set)
PU：图像单元(picture unit)
QT：四叉树(quad tree)
RADL：可解码随机接入前置(random access decodable leading)
RAM：随机存取存储器(random-access memory)
RASL：跳过随机接入前置(random access skipped leading)
RBSP：原始字节序列载荷(raw byte sequence payload)
RDO：率失真优化(rate-distortion optimization)
ROM：只读存储器(read-only memory)
RPL：参考图像列表(reference picture list)
Rx：接收单元(receiver unit)
SAD：绝对差和(sum of absolute differences)
SAO：样本自适应偏移(sample adaptive offset)
SBAC：基于语法的算术编码(syntax-based arithmetic coding)
SOP：图像序列(sequence of pictures)
SPS：序列参数集(sequence parameter set)
SRAM：静态RAM(static RAM)
SSD：平方差和(sum of squared differences)
TCAM：三态内容可寻址存储器(ternary content-addressable memory)
TT：三叉树(triple tree)
TU：变换单元(transform unit)
Tx：发送单元(transmitter unit)
VCL：视频编码层(video coding layer)
VPS：视频参数集(video parameter set)
WC：通用视频编码(Versatile Video Coding)。
如无其它修改，下列术语在本协议中的含义为：码流是包括视频数据的一系列比特，这些视频数据被压缩以在编码器和解码器之间传输。编码器是一种用于采用编码过程将视频数据压缩到码流中的设备。解码器是一种用于采用解码过程从码流中重建视频数据进行显示的设备。图像(image/picture)是创建帧或场的亮度样本和/或色度样本组成的阵列。正在编码或解码的图像可以称为当前图像。参考图像包括参考样本，这些样本可在根据帧间预测和/或层间预测通过参考对其它图像进行译码时使用。参考图像列表是用于帧间预测或层间预测的参考图像的列表。标志是一个变量或单位语法元素，可以采用两个可能值之一：0或1。一些视频译码系统使用两个参考图像列表，这两个参考图像列表可以表示为参考图像列表1和参考图像列表0。参考图像列表结构是包括多个参考图像列表的可寻址语法结构。帧间预测是通过参考图像中与参考图像和当前图像在同一层的当前图像不同的参考图像中的指示样本，对当前图像的样本进行译码的机制。参考图像列表结构条目是参考图像列表结构中表示与参考图像列表相关的参考图像的可寻址位置。条带头(sliceheader)是经译码条带的一部分，包括与条带中表示的一个分块(tile)内的所有视频数据相关的数据元素。PPS包括与整个图像相关的数据。更具体地，PPS是一种语法结构，包括适用于0个或多个完整的译码图像的语法元素，由每个图像头中的语法元素确定。SPS包括与图像序列相关的数据。AU是与相同显示时间(例如，相同图像顺序编号)关联的一个或多个经译码图像的集合，用于从DPB输出(例如，用于显示给用户)。AUD表示AU的开始或AU之间的边界。经解码视频序列是一系列已经由解码器重建以准备显示给用户的图像。
图1为对视频信号进行译码的示例性操作方法100的流程图。具体地，在编码器侧对视频信号进行编码。编码过程通过使用各种机制来压缩视频信号，从而减小视频文件。较小的文件大小有助于压缩视频文件传输给用户，同时减少相关的带宽开销。然后，解码器对压缩视频文件进行解码，以重建原始视频信号，向终端用户显示。解码过程通常与编码过程一样，有助于解码器以相同方式重建视频信号。
在步骤101中，将视频信号输入编码器。例如，视频信号可以是存储在存储器中的未压缩的视频文件。又如，视频文件可以由视频捕获设备(例如，摄像机)捕获，并且进行编码以支持视频的实时流传输。视频文件可以同时包括音频分量和视频分量。视频分量包括一系列图像帧，当按顺序观看时，这些图像帧会产生运动的视觉效果。这些帧包括以光表示的像素(本文称为亮度分量(或亮度样本))和颜色(称为色度分量(或颜色样本))。在一些示例中，所述帧还可以包括深度值以支持三维观看。
在步骤103中，将视频分割成块。分割包括将每个帧中的像素细分为正方形和/或矩形块以进行压缩。例如，在HEVC中，帧可以首先被划分为CTU，CTU是预定大小(例如，64个像素×64个像素)的块。CTU包括亮度样本和色度样本。可以使用编码树将CTU分成块，然后递归地细分这些块，直到获得支持进一步编码的配置结构。例如，可以细分帧的亮度分量，直到各个块包括相对均匀的亮度(lighting)值。此外，可以细分帧的色度分量，直到各个块包括相对均匀的颜色值。因此，视频帧的内容不同，分割机制就不同。
在步骤105中，使用各种压缩机制来压缩在步骤103中分割的图像块。例如，可以使用帧间预测和/或帧内预测。帧间预测旨在利用一个事实，即物体在一个公共场景中往往出现在连续的帧中。因此，无需在相邻帧中重复描述在参考帧中描绘对象的块。一个对象(例如，一张桌子)可以在多个帧中保持恒定的位置。因此，该桌子只描述一次，相邻帧可以回指参考帧。模式匹配机制可用于匹配跨多个帧的对象。此外，由于对象移动或摄像机移动等原因，移动对象可以跨多个帧表示。在特定示例中，一个视频可以跨多个帧显示在屏幕上移动的汽车。运动矢量可以用来描述这种移动。运动矢量是一个二维矢量，提供从对象在一个帧中的坐标与该对象在参考帧中的坐标之间的偏移。因此，帧间预测可将当前帧中的图像块编码为运动矢量集，表示当前帧中的图像块与参考帧中的对应块之间的偏移。
帧内预测对公共帧中的块进行编码。帧内预测利用了以下事实：亮度分量和色度分量往往聚集在一个帧中。例如，一棵树的一部分中的一片绿色往往与几片类似的绿色相邻。帧内预测使用多种方向性预测模式(例如，HEVC中的33个模式)、平面模式和DC模式。方向性模式表示当前块的样本与相邻块在对应方向上的样本相似/相同。平面模式表示可以根据行边缘的邻块对行/列(例如平面)上的一系列块进行插值。实际上，平面模式通过在变化值中使用相对恒定的斜率来表示亮度/颜色在行/列之间的平滑过渡。DC模式用于边界平滑，表示块和与所有邻块的样本相关联的平均值类似/相同，所述邻块与方向预测模式的角方向相关联。因此，帧内预测块可以将图像块表示为各种关系预测模式值而不是实际值。此外，帧间预测块可以将图像块表示为运动矢量值而不是实际值。在这两种情况下，预测块在一些情况下可以不完全表示图像块。任何差异都存储在残差块中。可以对残差块进行变换以进一步压缩文件。
在步骤107中，可以应用各种滤波技术。在HEVC中，滤波器是根据环内滤波方案应用的。以上讨论的基于块的预测可在解码器中创建块状图像。此外，基于块的预测方案可以对块进行编码，然后重建经编码块，以供以后用作参考块。环内滤波方案迭代地将噪声抑制滤波器、去块效应滤波器、自适应环路滤波器和SAO滤波器应用到块/帧。这些滤波器减少了这些块伪影，以便可以准确地重建经编码文件。此外，这些滤波器减少了重建参考块伪影，使得伪影不太可能在基于重建参考块编码的后续块中产生其它的伪影。
在步骤109中，一旦视频信号被分割、压缩和滤波，则将所得数据编码到码流中。码流包括上述数据以及任何期望支持解码器中适当的视频信号重建的指示数据。例如，这些数据可以包括分割数据、预测数据、残差块和向解码器提供译码指令的各种标志。码流可以存储在存储器中，所述码流用于根据请求发送到解码器。码流还可以向多个解码器广播和/或组播。码流的创建是一个迭代过程。因此，步骤101、103、105、107和109可以在多个帧和块上连续和/或同时发生。图1所示的顺序是为了清楚和便于描述而呈现的，并非旨在将视频译码过程限制于特定顺序。
在步骤111中，解码器接收码流并开始解码过程。具体地，解码器使用熵解码方案将码流转换为对应的语法和视频数据。在步骤111中，解码器使用码流中的语法数据来确定帧的分割。所述分割应与步骤103中的块分割的结果匹配。现在描述在步骤111中使用的熵编码/解码。编码器在压缩过程中做出许多选择，例如根据输入图像中的值的空间定位从多个可能选项中选择块分割方案。指示确切的选项可以使用大量的二进制位。本文中使用的二进制位是当作变量的二进制值(例如，可以根据上下文变化的比特值)。熵编码有助于编码器丢弃任何明显不适合特定情况的选项，从而留下一组可使用的选项。然后，为每个可使用的选项分配一个码字。码字的长度基于可允许选项的数目(例如，一个二进制位用于两个选项，两个二进制位用于三个到四个选项)。然后，编码器对所选选项的码字进行编码。此方案减小了码字的大小，因为码字的大小与期望的一样大，以唯一地指示可使用选项的小子集中的一个选项，而不是唯一地指示所有可能选项的可能大集中的选项。然后，解码器通过以与编码器类似的方式确定可使用选项集对所述选项进行解码。通过确定可使用选项集，解码器可以读取码字并确定编码器做出的选择。
在步骤113中，解码器执行块解码。具体地，解码器进行逆变换来生成残差块。然后，解码器使用残差块和对应的预测块，根据分割来重建图像块。预测块可包括编码器在步骤105中生成的帧内预测块和帧间预测块。然后，根据在步骤111中确定的分割数据将重建图像块放置在重建视频信号的帧中。步骤113的语法还可以通过上文讨论的熵编码在码流中指示。
在步骤115中，以类似于编码器在步骤107的方式对重建视频信号的帧执行滤波。例如，可以对帧使用噪声抑制滤波器、去块效应滤波器、自适应环路滤波器和SAO滤波器以消除块伪影。一旦帧被滤波，可以在步骤117中将视频信号输出到显示器以供终端用户观看。
图2是用于视频译码的示例性编码和解码(编解码)系统200的示意图。具体地，编解码系统200能够实现操作方法100。广义地，编解码器系统200用于描述编码器和解码器中使用的组件。如关于操作方法100中的步骤101和103所讨论，编解码系统200接收视频信号并对视频信号进行分割，产生分割视频信号201。然后，当作为编码器时，编解码系统200将分割视频信号201压缩到编码码流中，如关于方法100中的步骤105、107和109所讨论。当充当解码器时，编解码系统200从码流中生成输出视频信号，如结合操作方法100中的步骤111、113、115和117所述。编解码系统200包括通用译码器控制组件211、变换缩放量化组件213、帧内估计组件215、帧内预测组件217、运动补偿组件219、运动估计组件221、缩放和逆变换组件229、滤波器控制分析组件227、环内滤波器组件225、解码图像缓冲区组件223、标头格式和CABAC组件231。这些组件如图所示相耦合。在图2中，黑线表示待编码/解码数据的运动，而虚线表示控制其它组件操作的控制数据的运动。编解码系统200的组件都可以在编码器中使用。解码器可包括编解码系统200中组件的子集。例如，解码器可以包括帧内预测组件217、运动补偿组件219、缩放和逆变换组件229、环内滤波器组件225以及解码图像缓冲区组件223。现对这些组件加以说明。
分割视频信号201是已通过编码树分割成像素块的捕获视频序列。编码树使用各种划分模式将像素块细分为更小的像素块。然后，可以将这些块进一步细分为更小的块。所述块可以称为编码树上的节点。将较大的父节点划分为较小的子节点。节点被细分的次数称为节点/编码树的深度。在一些情况下，划分的块可以包括在CU中。例如，CU可以是CTU的子部分，包括亮度块、Cr块和Cb块以及CU的对应语法指令。划分模式可以包括BT、TT和QT，用于将节点分别划分为形状不同的两个、三个或四个子节点，具体取决于所使用的划分模式。将分割视频信号201转发到通用译码器控制组件211、变换缩放和量化组件213、帧内估计组件215、滤波器控制分析组件227和运动估计组件221进行压缩。
通用译码器控制组件211用于根据应用约束条件做出与将视频序列的图像编码到码流中相关的决策。例如，通用译码器控制组件211管理码率/码流大小相对于重建质量的优化。可以根据存储空间/带宽可用性和图像分辨率请求做出这些决策。通用译码器控制组件211还根据传输速度管理缓冲区的利用率，以减轻缓存欠载和超载问题。为了管理这些问题，通用译码器控制组件211管理由其它组件进行的分割、预测和滤波。例如，通用译码器控制组件211可以动态增加压缩复杂度以增大分辨率和带宽利用率，或者降低压缩复杂度以降低分辨率和带宽利用率。因此，通用译码器控制组件211控制编解码系统200的其它组件来平衡视频信号重建质量与码率问题。通用译码器控制组件211创建控制数据，控制其它组件的操作。控制数据还被转发到标头格式化和CABAC组件231，以编码到码流中，从而指示用于在解码器中进行解码的参数。
分割视频信号201还发送到运动估计组件221和运动补偿组件219进行帧间预测。可以将分割视频信号201的帧或条带分为多个视频块。运动估计组件221和运动补偿组件219根据一个或多个参考帧中的一个或多个块对所接收视频块执行帧间预测译码以提供时间预测。编解码系统200可以执行多个译码过程，以便为每个视频数据块选择适当的译码模式，等等。
运动估计组件221和运动补偿组件219可以高度集成，但出于概念的目的单独说明。由运动估计组件221执行的运动估计是生成运动矢量的过程，运动矢量用于估计视频块的运动。例如，运动矢量可以指示编码对象相对于预测块的位移。预测块是被发现在像素差方面与待编码块紧密匹配的块。预测块也可以称为参考块。这种像素差可以通过SAD、SSD或其它差度量确定。HEVC使用若干编码对象，包括CTU、CTB和CU。例如，CTU可以划分为多个CTB，然后CTB可以划分为多个CB，多个CB包括在CU中。CU可以编码为包括预测数据的预测单元和/或包括CU的变换残差数据的TU。运动估计组件221使用率失真分析作为率失真优化过程的一部分来生成运动矢量、预测单元和TU。例如，运动估计组件221可以为当前块/帧确定多个参考块、多个运动矢量等，并且可以选择具有最佳率失真特性的参考块、运动矢量等。最佳率失真特性平衡视频重建的质量(例如，压缩造成的数据丢失量)和译码效率(例如，最终编码的大小)。
在一些示例中，编解码系统200可以计算存储在解码图像缓冲区组件223中的参考图像的子整数像素位置的值。例如，视频编解码系统200可对参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值进行插值。因此，运动估计组件221可执行有关于整像素位置和分数像素位置的运动搜索，并输出具有分数像素精度的运动矢量。运动估计组件221通过比较预测单元的位置与参考图像的预测块的位置来计算经帧间编码条带中视频块的预测单元的运动矢量。运动估计组件221将计算的运动矢量作为运动数据输出到标头格式化和CABAC组件231以进行编码，并将运动输出到运动补偿组件219。
由运动补偿组件219执行的运动补偿可涉及根据由运动估计组件221确定的运动矢量获取或生成预测块。同样，在一些示例中，运动估计组件221和运动补偿组件219可以在功能上集成。在接收当前视频块的预测单元的运动矢量之后，运动补偿组件219可以定位运动矢量指向的预测块。然后，通过从正在译码的当前视频块的像素值中减去预测块的像素值，产生像素差值，从而形成残差视频块。通常，运动估计组件221对亮度分量进行运动估计，运动补偿组件219将根据亮度分量计算的运动矢量用于色度分量和亮度分量。将预测块和残差块转发到变换缩放和量化组件213。
分割视频信号201还发送到帧内估计组件215和帧内预测组件217。与运动估计组件221和运动补偿组件219一样，帧内估计组件215和帧内预测组件217可以高度集成，但出于概念的目的单独说明。帧内估计组件215和帧内预测组件217根据当前帧中的块对当前块进行帧内预测，以替代如上所述的由运动估计组件221和运动补偿组件219在帧之间执行的帧间预测。具体地，帧内估计组件215确定用于对当前块进行编码的帧内预测模式。在一些示例中，帧内估计组件215从多个测试的帧内预测模式中选择适当的帧内预测模式对当前块进行编码。然后，将所选择的帧内预测模式转发到标头格式化和CABAC组件231用于进行编码。
例如，帧内估计组件215使用各种测试的帧内预测模式的率失真分析来计算率失真值，并在测试的模式中选择具有最佳率失真特性的帧内预测模式。率失真分析通常确定经编码块与经编码以产生经编码块的原始未编码块之间的失真(或误差)量，以及确定用于产生经编码块的码率(例如，比特数)。帧内估计组件215根据各种经编码块的失真和速率计算比率，确定哪种帧内预测模式得到块的最佳率失真值。另外，帧内估计组件215可用于根据RDO使用DMM对深度图的深度块进行译码。
当在编码器上实现时，帧内预测组件217可根据由帧内估计组件215确定的已选帧内预测模式从预测块中生成残差块，或者当在解码器上实现时，从码流中读取残差块。残差块包括预测块和原始块之间的值差，表示为矩阵。然后，将残差块转发到变换缩放和量化组件213。帧内估计组件215和帧内预测分量217可以对亮度分量和色度分量执行操作。
变换缩放和量化组件213用于进一步压缩残差块。变换缩放和量化组件213将DCT、DST等变换或概念上类似的变换应用于残差块，产生包括残差变换系数值的视频块。还可以使用小波变换、整数变换、子带变换或其它类型的变换。变换可将残差信息从像素值域变换到变换域，例如频域。变换缩放和量化组件213还用于根据频率等对变换的残差信息进行缩放。这种缩放涉及对残差信息应用缩放因子，以便在不同的粒度上量化不同的频率信息，可以影响重建视频的最终视觉质量。变换缩放和量化分量213还用于量化变换系数以进一步降低码率。量化过程可以减少与部分或全部系数相关的位深度。可以通过调整量化参数来修改量化程度。在一些示例中，变换缩放和量化组件213随后可对包括量化变换系数的矩阵进行扫描。量化变换系数被转发到标头格式化和CABAC组件231，以编码到码流中。
缩放和逆变换组件229进行变换缩放和量化组件213的逆操作以支持运动估计。缩放和逆变换组件229进行反缩放、逆变换和/或反量化来重建像素域中的残差块，例如，后续用作参考块，该参考块可成为另一当前块的预测块。运动估计组件221和/或运动补偿组件219可以通过将残差块与对应预测块相加来计算参考块，以用于对后续块/帧进行运动估计。将滤波器应用于重建参考块，以减少在缩放、量化和变换过程中产生的伪影。当预测后续块时，这些伪影可以产生不准确的预测(并产生其它伪影)。
滤波器控制分析组件227和环内滤波器组件225将滤波器应用于残差块和/或重建图像块。例如，缩放和逆变换组件229中的变换残差块可以与帧内预测组件217和/或运动补偿组件219中的对应预测块组合以重建原始图像块。然后，可以将滤波器应用于重建图像块。在一些示例中，可以将滤波器应用于残差块。如同图2中的其它组件，滤波器控制分析组件227和环内滤波器组件225高度集成且可以一起实现，但出于概念的目的进行单独描述。应用于重建参考块的滤波器应用于特定空间区域，并且包括多个参数以调整如何应用这些滤波器。所述滤波器控制分析组件227分析重建参考块，以确定应在哪里应用这些滤波器并设置对应的参数。这些数据作为滤波器控制数据转发到标头格式和CABAC组件231进行编码。环内滤波器组件225根据滤波器控制数据应用这些滤波器。这些滤波器可以包括去块效应滤波器、噪声抑制滤波器、SAO滤波器和自适应环路滤波器。这些滤波器可以根据示例应用于空间/像素域(例如，在重建像素块上)或频域中。
当作为编码器操作时，将滤波后的重建图像块、残差块和/或预测块存储在解码图像缓冲区组件223中，以供以后进行如上所述的运动估计。当作为解码器操作时，解码图像缓冲区组件223存储重建块和滤波块并向显示器转发重建块和滤波块，作为输出视频信号的一部分。解码图像缓冲区组件223可以是能够存储预测块、残差块和/或重建图像块的任何存储器设备。
标头格式化和CABAC组件231从编解码系统200的各组件接收数据并将此类数据编码到经译码码流中用于向解码器发送。具体地，标头格式化和CABAC组件231生成各种标头以对控制数据(如通用控制数据和滤波器控制数据)进行编码。此外，包括帧内预测和运动数据的预测数据以及量化变换系数数据形式的残差数据均编码到码流中。最终码流包括解码器想要重建原始分割视频信号201的所有信息。这些信息还可以包括帧内预测模式索引表(也称为码字映射表)、各种块的编码上下文的定义、最可能的帧内预测模式的指示、分割信息的指示等。这些数据可以通过熵编码技术进行编码。例如，可以通过使用CAVLC、CABAC、SBAC、PIPE编码或其它熵编码技术来编码信息。在熵编码之后，经译码码流可以发送到另一设备(例如，视频解码器)或存档以供稍后发送或检索。
图3为示例性视频编码器300的框图。视频编码器300可用于实现编解码系统200的编码功能和/或实现操作方法100的步骤101、103、105、107和/或109。编码器300对输入视频信号进行分割，产生和分割视频信号201基本相似的分割视频信号301。然后，通过编码器300的组件将分割视频信号301压缩和编码到码流中。
具体地，将分割视频信号301转发给帧内预测组件317进行帧内预测。帧内预测组件317可与帧内估计组件215和帧内预测组件217基本相似。分割视频信号301还转发到运动补偿组件321，用于根据解码图像缓冲区323中的参考块进行帧间预测。运动补偿组件321可与运动估计组件221和运动补偿组件219基本相似。将帧内预测组件317和运动补偿组件321中的预测块和残差块转发到变换和量化组件313以对残差块进行变换和量化。变换和量化组件313可与变换缩放和量化组件213基本相似。将变换和量化残差块和对应的预测块(以及相关控制数据)转发到熵编码组件331以编码到码流中。熵编码组件331可以实质上类似于标头格式化和CABAC组件231。
变换和量化残差块和/或对应的预测块也从变换和量化组件313转发到逆变换和量化组件329以重建为参考块供运动补偿组件321使用。逆变换和量化组件329可与缩放和逆变换组件229基本相似。根据示例，也将环内滤波器组件325中的环内滤波器应用于残差块和/或重建参考块。环内滤波器组件325可与滤波器控制分析组件227和环内滤波器组件225基本相似。如关于环内滤波器组件225所讨论，环内滤波器组件325可以包括多个滤波器。然后，将滤波块存储在解码图像缓冲区组件323中，以供运动补偿组件321用作参考块。解码图像缓冲区组件323可与解码图像缓冲区组件223基本相似。
图4为示例性视频解码器400的框图。视频解码器400可用于实现编解码系统200的解码功能和/或实现操作方法100的步骤111、113、115和/或117。例如，解码器400从编码器300接收码流，并根据所述码流生成重建输出视频信号以向终端用户显示。
码流由熵解码组件433接收。熵解码组件433用于实现熵解码方案，例如CAVLC、CABAC、SBAC、PIPE编码或其它熵编码技术。例如，熵解码组件433可以使用标头信息来提供上下文以解译在码流中编码为码字的其它数据。解码信息包括对视频信号进行解码所需的任何信息，例如总体控制数据、滤波器控制数据、分割信息、运动数据、预测数据和残差块的量化变换系数。将量化变换系数转发到逆变换和量化组件429以重建为残差块。逆变换和量化组件429可与逆变换和量化组件329基本相似。
将重建残差块和/或预测块转发到帧内预测组件417以根据帧内预测操作重建为图像块。帧内预测组件417可与帧内估计组件215和帧内预测组件217相似。具体地，帧内预测组件417使用预测模式来定位帧中的参考块，并将残差块应用于结果以重建帧内预测图像块。重建帧内预测图像块和/或残差块以及对应的帧间预测数据通过环内滤波器组件425转发到解码图像缓冲区组件423，解码图像缓冲区组件423和环内滤波器组件425可以分别与解码图像缓冲区组件223和环内滤波器组件225基本相似。环内滤波器组件425对重建图像块、残差块和/或预测块进行滤波，并且这些信息存储在解码图像缓冲区组件423中。将解码图像缓冲区组件423中的重建图像块转发到运动补偿组件421进行帧间预测。运动补偿组件421可与运动估计组件221和/或运动补偿组件219基本相似。具体地，运动补偿组件421使用参考块中的运动矢量来生成预测块，并将残差块应用于结果中以重建图像块。所得重建块还可以通过环内滤波器组件425转发到解码图像缓冲区组件423。解码图像缓冲区组件423继续存储其它重建图像块，这些图像块可以通过分割信息重建成帧。这些帧也可以按顺序排列。所述顺序作为重建输出视频信号向显示屏输出。
图5示出了视频码流500的实施例。视频码流500也可以称为经译码的视频码流、码流或其变体。码流500包括至少一个PU 501。虽然图5中示出了三个PU 501，但在实际应用中，码流500中可以存在不同数量的PU 501。每个PU 501是根据指定的分类规则彼此关联的NAL单元的集合，所述NAL单元在解码顺序中是连续的，并且正好包括一个经译码图像514。在一个实施例中，每个PU 501具有时间ID 519或与时间ID 519相关联。
在一个实施例中，每个PU 501包括以下中的一个或多个：DCI 502、VPS 504、SPS506、PPS 508、PH 512和图像514。DCI 502、VPS 504、SPS 506和PPS 508中的每一个通常都可以称为参数集。图5中未示出的其它参数集也可以包括在码流500中，例如，APS。APS是包括应用于零个或多个条带的语法元素的语法结构，该语法元素由在条带头520中找到的零个或多个语法元素确定。
DCI 502也可以称为DPS，是包括应用于整个码流的语法元素的语法结构。DCI 502包括在视频码流(例如，码流500)的存在期内保持恒定的参数，所述存在期可以转换为会话的存在期。DCI 502可以包括档次、级别和子档次信息，以确定保证永远不会超过的最大复杂性互操作点，即使视频序列的拼接发生在会话中。DCI 502还可选地包括约束标志，该约束标志表示视频码流将被限制为使用由这些标志的值所指示的某些特征。因此，码流可以被标记为不使用某些工具，有助于在解码器实现中进行资源分配。与所有参数集一样，DCI502在第一次参考时存在，并由视频序列中的第一个图像参考，这表示DCI 502必须在码流中的第一NAL单元之间发送。虽然码流中可以有多个DCI 502，但其中的语法元素的值在被参考时要保持一致。
VPS 504包括用于构建增强层的参考图像集的解码依赖关系或信息。VPS 504提供了可扩展序列的整体视角或视图，包括提供了哪些类型的操作点、档次、层和级别，以及码流的其它一些高级属性，可用作会话协商和内容选择的基础等。
SPS 506包括SOP中的所有图像共用的数据。SPS 506是一种语法结构，包括适用于零个或多个完整CLVS的语法元素，由每个条带头中的语法元素所参考的PPS中的语法元素的内容确定。相反，PPS 508包括整个图像共用的数据。PPS 508是一种语法结构，包括适用于零个或多个完整的译码图像的语法元素，由每个条带头(例如，PH 512)中的语法元素确定。
DCI 502、VPS 504、SPS 506和PPS 508包括在不同类型的NAL单元中。NAL单元是一种语法结构，包括要遵循的数据类型(例如，经译码视频数据)的说明。NAL单元分为VCL NAL单元和非VCL NAL单元。VCL NAL单元包括表示视频图像中样本值的数据，非VCL NAL单元包括任何相关的附加信息，例如，参数集(可应用于多个VCL NAL单元的重要数据)和补充增强信息(定时信息和其它补充数据，可以增强经解码视频信号的可用性，但不是解码视频图像中样本值所必需的)。
PH 512是包括应用于经译码图像(例如，图像514)的所有条带(例如，条带518)的语法元素的语法结构。在一个实施例中，PH 512位于被指定为PH NAL单元的新型非VCLNAL单元中。因此，PH NAL单元具有PH NUT(例如，PH_NUT)。在一个实施例中，每个PU 501中包括一个且仅一个PH 512。也就是说，PU 501包括单个或单独的PH 512。在一个实施例中，码流500中的每个图像501正好存在一个PH NAL单元。
图像514可以为单色格式的亮度样本阵列或4:2:0、4:2:2和4:4:4颜色格式的亮度样本阵列和两个对应的色度样本阵列。在一个实施例中，每个PU 501中包括一个且仅一个图像514。因此，每个PU 501中只有一个PH 512和一个对应于该PH 512的图像514。也就是说，PU 501包括单个或单独的图像514。
图像514包括一个或多个条带518。条带518是图像(例如，图像514)的分块内的整数个完整分块或整数个连续完整CTU行。每个条带518仅包括在单个NAL单元(例如，VCL NAL单元)中。在一个实施例中，单个NAL单元与层ID 515相关联或具有层ID 515。分块(未示出)为图像(例如，图像514)中特定分块列和特定分块行内的CTU的矩形区域。分块是由水平和垂直边界创建的图像的分割部分。分块可以是矩形和/或正方形的。具体地，分块包括以直角连接的四个边。这四个边包括两对平行边。此外，平行边对中的边的长度相等。因此，分块可以是任何矩形形状，其中正方形是矩形的特殊情况，四个边的长度都相等。图像可以包括一个或多个分块。CTU(未示出)可以为或包括亮度样本的CTB、具有三个样本阵列的图像的色度样本的两个对应CTB、或单色图像的样本的CTB或使用三个独立颜色平面和语法结构(用于对样本进行译码)进行译码的图像的样本的CTB。CTB(未示出)可以是N×N的样本块，其中，N可以设为某个值以将分量分割为CTB，这是一种分割。块(未示出)是样本(例如，像素)的M×N(M列×N行)阵列，或变换系数的M×N阵列。
图像514和其条带518包括与正在编码或解码的图像或视频关联的数据。因此，图像514和其条带518可以简单地称为码流500中携带的负荷或数据。PH 512和条带头520可以包括标志522。标志522可以是RPL标志、SAO标志或ALF标志，如下所述。
虽然VVC规范只指定了少数图像级别的语法元素，但在常用情况下，有更多的语法元素，其值在同一图像的条带之间可能不同，但通常对于同一图像的所有条带都是相同的。此类语法元素的示例是与RPL相关的语法元素、联合色度符号标志、SAO启用标志、ALF启用标志和参数、LMCS启用标志和参数以及缩放列表启用标志和参数。非图像级语法元素，如那些元素不会在PH中指示(signal)，因此，即使它们对同一图像的所有条带具有相同的值，它们仍然必须在这些条带的每个条带头中重复。换句话说，在某些方法中，这些语法元素在条带头中指示。这是因为这些语法元素携带的数据可能因条带而异。但是，在大多数情况下，对于包括条带的整个图像，数据是相同的。结果是，这些元素在每个图像上被指示几次，但值通常是相同的，这是冗余的，浪费了经编码码流中的比特。
本文公开了用于在图像级指示非图像级语法的实施例。在本实施例中，当语法元素相同时，语法元素包括在图像头中，当语法元素不同时，语法元素包括在条带头中。然而，在一些实施例中，语法元素可以不包括在两者中。首先，非图像级语法元素可以存在于PH中。非图像级语法元素是视频码流级语法元素而不是图像级语法元素。其次，对于每个非图像级语法元素类别，一个标志表示该类别的语法元素何时存在于PH或条带头中。所述标志可以在PH中。非图像级语法元素包括与RPL指示相关的元素、联合Cb Cr符号标志、SAO工具启用和参数、ALF工具启用和参数、LMCS工具启用和参数、缩放列表工具启用和参数。第三，当非图像级语法元素存在于PH中时，对应的语法元素不应存在于与包括语法元素的图像头关联的图像的任何条带中。存在于所述PH中的非图像级语法元素的值应用于与包括语法元素的图像头关联的图像的所有条带。第四，当非图像级语法元素不存在于所述PH中时，对应的语法元素可以存在于与图像头关联的图像的条带的条带头中。通过将非图像级语法元素的指示移到图像级，减少冗余，减少经编码码流中浪费的比特。
PH RBSP语法
/>
/>
/>
条带头RBSP语法
/>
/>
/>
/>
/>
PH RBSP语义
PH包括经译码图像的所有条带公共的信息，解码顺序中的下一个VCL NAL单元是第一个经译码条带。
对于给定的pic_type值，pic_type表示表1中列出的经译码图像的特征。在符合本规范版本的码流中，pic_type的值应等于0到5(包括端值)。保留pic_type的其它值以供ITU-TISO/IEC使用。符合本规范此版本的解码器应忽略pic_type的保留值。
表1：pic_type的解释
/>
pic_parameter_set_id表示使用的PPS的pps_pic_parameter_set_id的值。pic_parameter_set_id的取值范围应为0至63(包括端值)。
non_reference_picture_flag＝1表示与PH关联的图像永远不会用作参考图像。Non_reference_picture_flag＝0表示图像可以用作参考图像，也可以不用作参考图像。
当separate_colour_plane_flag等于1时，colour_plane_id表示与PH关联的图像关联的颜色平面。colour_plane_id的取值范围应为0至2(包括端值)。colour_plane_id值0、1和2分别对应于Y、Cb和Cr平面。具有不同colour_plane_id值的图像的解码过程之间没有依赖关系。
pic_order_cnt_lsb表示与PH关联的图像的图像顺序编号对MaxPicOrderCntLsb取模。pic_order_cnt_lsb语法元素的长度为(log2_max_pic_order_cnt_lsb_minus4+4)个比特。pic_order_cnt_lsb的取值范围为0到MaxPicOrderCntLsb-1(包括端值)。
recovery_poc_cnt表示按输出顺序排列的经解码图像的恢复点。如果CVS中存在按解码顺序在当前GDR图像之后且PicOrderCntVal等于当前GDR图像的PicOrderCntVal加上recovery_poc_cnt的值的图像picA，则图像picA称为恢复点图像。否则，输出顺序中PicOrderCntVal大于当前图像的PicOrderCntVal加上recovery_poc_cnt的值的第一个图像称为恢复点图像。恢复点图像在解码顺序中应不在当前GDR图像之前。recovery_poc_cnt的取值范围应为0至MaxPicOrderCntLsb-1(包括端值)。
变量RpPicOrderCntVal推导如下：RpPicOrderCntVal＝PicOrderCntVal+recovery_poc_cnt。
在解码不是附录C中规定的码流中的第一个图像的CLVSS图像之后，no_output_of_prior_pics_flag会影响解码图像缓冲区中之前解码的图像的输出。
pic_output_flag影响附录C中规定的经解码图像输出和删除过程。如果pic_output_flag不存在，则推断pic_output_flag等于1。
pic_rpl_present_flag＝1表示RPL指示存在于PH中。pic_rpl_present_flag＝0表示RPL指示不存在于PH中，并且可以存在于图像条带的条带头中。如果pic_rpl_present_flag不存在，则推断pic_rpl_present_flag的值等于0。RPL指示是视频码流500中包括的RPL信息。
pic_rpl_sps_flag[i]＝1表示图像的RPL列表i是根据SPS中的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)之一推导出的。ref_pic_list_sps_flag[i]＝0表示图像的参考图像列表i是根据listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)推导出的，其中，语法结构ref_pic_list_struct(listIdx，rplsIdx)直接包括在图像头中。
当pic_rpl_sps_flag[i]不存在时，以下内容适用：如果num_ref_pic_lists_in_sps[i]等于0，则推断num_ref_pic_lists_in_sps[i]的值等于0。否则(num_ref_pic_lists_in_sps[i]大于0)，如果rpll_idx_present_flag等于0，则推断rpll_idx_present_flag的值等于pic_rpl_sps_flag[0]的值。否则，推断pic_rpl_sps_flag[i]的值等于pps_ref_pic_list_sps_idc[i]-1。
pic_rpl_idx[i]表示用于推导当前图像的RPL列表i的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)在SPS中包括的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)的列表中的索引。语法元素pic_rpl_idx[i]由Ceil(Log2(num_ref_pic_lists_in_sps[i]))个比特表示。如果pic_rpl_idx[i]不存在，则推断pic_rpl_idx[i]的值为0。pic_rpl_idx[i]的取值范围应为0到num_ref_pic_lists_in_sps[i]-1(包括端值)。如果pic_rpl_sps_flag[i]等于1且num_ref_pic_lists_in_sps[i]等于1，则推断pic_rpl_idx[i]的值等于0。如果pic_rpl_sps_flag[i]等于1且rpl1_idx_present_flag等于0，则推断pic_rpl_idx[1]的值等于pic_rpl_idx[0]。
变量PicRplsIdx[i]推导如下：PicRplsIdx[i]＝pic_rpl_sps_flag[i]？pic_rpl_idx[i]：num_ref_pic_lists_in_sps[i]。
pic_poc_lsb_lt[i][j]表示与PH关联的图像的第i个参考图像列表中的第j个LTRP条目的图像顺序编号对MaxPicOrderCntLsb取模的值。语法元素pic_oc_lsb_lt[i][j]的长度为(log2_max_pic_order_cnt_lsb_minus4+4)个比特。
变量PicPocLsbLt[i][j]推导如下：PicPocLsbLt[i][j]＝ltrp_in_slice_header_flag[i][PicRplsldx[i]]？pic_poc_lsb_lt[i][j]：rpls_poc_lsb_lt[listIdx][PicRplsIdx[i]][j]。
pic_delta_poc_msb_present_flag[i][j]＝1表示存在pic_delta_poc_msb_cycle_lt[i][j]。pic_delta_poc_msb_resent_flag[i][j]＝0表示不存在pic_delta_poc_msb_cycle_lt[i][j]。
假设prevTid0Pic是解码顺序中的前一个图像，该图像与PH具有相同的nuh_layer_id，TemporalId等于0，并且不是RASL图像或RADL图像。设setOfPrevPocVals是一个由以下组成的集合：prevTid0Pic的PicOrderCntVal；prevTid0Pic的RefPicList[0]或RefPicList[1]中的条目参考的每个图像的PicOrderCntVal，并且nuh_layer_id与当前图像的相同；prevTid0Pic之后的每个图像的PicOrderCntVal，nuh_layer_id与当前图像的相同，解码顺序在当前图像之前。
当setOfPrevPocVals中存在多个值，其取模值MaxPicOrderCntLsb等于PicPocLsbLt[i][j]时，pic_delta_poc_msb_present_flag[i][j]的值应等于1。
pic_delta_poc_msb_cycle_lt[i][j]表示变量PicFullPocLt[i][j]的值，如下所示：
pic_delta_poc_msb_cycle_lt[i][j]的取值范围应为0到2(32-log2_max_pic_order_cnt_lsb_minus4-4)，包括端值。如果pic_delta_poc_msb_cycle_lt[i][j]不存在，则推断pic_delta_poc_msb_cycle_lt[i][j]的值等于0。
pic_temporal_mvp_enabled_flag表示时间MVP是否可以用于帧间预测。如果pic_temporal_mvp_enabled_flag等于0，则应约束与图像头相关联的图像的语法元素，使得在解码图像时不使用时间MVP。否则(pic_temporal_mvp_enabled_flag等于1)，可以在图像解码中使用时间MVP。
当pic_temporal_mvp_enabled_flag不存在时，以下内容适用：如果sps_temporal_mvp_enabled_flag等于0，则pic_temporal_mvp_enabled_flag的值推断为等于0。否则(sps_temporal_mvp_enabled_flag等于1)，推断pic_temporal_mvp_enabled_flag的值为pps_temporal_mvp_enabled_idc-1。
pic_level_joint_cbcr_sign_flag＝1表示slice_joint_cbcr_sign_flag不存在与条带头中。pic_level_joint_cbcr_sign_flag＝0表示slice_joint_cbcr_sign_flag可以存在于条带头中。如果pic_level_joint_cbcr_sign_flag不存在，则推断pic_level_joint_cbcr_sign_flag的值等于0。
pic_level_alf_enabled_flag＝1表示为属于与PH关联的图像的所有条带启用ALF，并可应用于条带中的Y、Cb或Cr颜色分量。pic_level_alf_enabled_flag＝0表示可以为属于与PH关联的图像的一个或多个、或所有条带启用ALF。如果pic_level_alf_enabled_flag不存在，则推断pic_level_alf_enabled_flag等于0。
pic_num_alf_aps_ids_luma表示条带属于与PH关联的图像的条带所参考的ALFAPS的数量。slice_num_alf_aps_ids_luma的取值范围应为0至7(包括端值)。
pic_alf_aps_id_luma[i]表示与PH关联的图像的条带的亮度分量所参考的第i个ALFAPS的adaptation_parameter_set_id。
pic_alf_chroma_idc＝0表示不对Cb和Cr颜色分量应用ALF。pic_alf_chroma_idc＝1表示对Cb颜色分量应用ALF。pic_alf_chroma_idc＝2表示对Cr颜色分量应用ALF。pic_alf_chroma_idc＝3表示对Cb和Cr颜色分量应用ALF。如果pic_alf_chroma_idc不存在，则推断pic_alf_chroma_idc等于0。
pic_alf_aps_id_chroma表示与图像头关联的图像的条带的色度分量所参考的ALF APS的adaptation_parameter_set_id。
pic_level_lmcs_enabled_flag＝1表示为属于与图像头关联的图像的所有条带启用亮度映射与色度缩放。pic_level_lmcs_enabled_flag＝0表示可以为属于与图像头关联的图像的一个或多个、所有条带禁用亮度映射与色度缩放。如果pic_level_lmcs_enabled_flag不存在，则推断pic_level_lmcs_enabled_flag的值等于0。
pic_lmcs_aps_id表示与图像头关联的图像的条带所参考的LMCS APS的adaptation_parameter_set_id。
pic_chroma_residual_scale_flag＝1为属于与图像头关联的图像的所有条带启用色度残差缩放。pic_chroma_residual_scale_flag＝0表示可以为属于与图像头关联的图像的一个或多个、所有条带禁用色度残差缩放。如果pic_chroma_residual_scale_flag不存在，则推断pic_chroma_residual_scale_flag等于0。
pic_level_scaling_list_present_flag＝1表示用于与图像头关联的图像的条带的缩放列表数据是根据参考的缩放列表APS中包括的缩放列表数据推导的。pic_level_scaling_list_present_flag＝0表示用于与图像头关联的图像的一个或多个、或所有条带的缩放列表数据是在第7.4.3.16小节中指定的默认缩放列表数据。如果pic_level_scaling_list_present_flag不存在，则推断pic_level_scaling_list_present_flag的值等于0。
pic_scaling_list_aps_id表示缩放列表APS的adaptation_parameter_set_id。
条带头RBSP语义
slice_rpl_sps_flag[i]＝1表示当前条带的RPL列表i是根据SPS中的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)之一推导出的。slice_rpl_sps_flag[i]＝0表示当前条带的RPL列表i是根据listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)推导出的，其中，语法结构ref_pic_list_struct(listIdx，rplsIdx)直接包括在当前图像的条带头中。
当slice_rpl_sps_flag[i]不存在时，以下内容适用：如果pic_rpl_present_flag等于1，则slice_rpl_sps_flag[i]的值被推断为pic_rpl_sps_flag[i]。否则，如果num_ref_pic_lists_in_sps[i]等于0，则推断slice_rpl_sps_flag[i]的值等于0。否则(num_ref_pic_lists_in_sps[i]大于0)，如果rpl1_idx_present_flag等于0，则推断slice_rpl_sps_flag[1]的值等于slice_rpl_sps_flag[0]的值。否则，推断slice_rpl_sps_flag[i]的值等于pps_ref_pic_list_sps_idc[i]-1。
slice_rpl_idx[i]表示用于推导当前条带的参考图像列表i的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)在SPS中包括的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)列表中的索引。语法元素slice_rpl_idx[i]由Ceil(Log2(num_ref_pic_lists_in_sps[i]))个比特表示。slice_rpl_idx[i]的取值范围应为0到num_ref_pic_lists_in_sps[i]-1(包括端值)。如果slice_rpl_sps_flag[i]等于1且num_ref_pic_lists_in_sps[i]等于1，则推断slice_rpl_idx[i]的值等于0。如果slice_rpl_sps_flag[i]等于1且rpl1_idx_present_flag等于0，则推断slice_rpl_idx[1]的值等于slice_rpl_idx[0]。
变量RplsIdx[i]推导如下：
/>
slice_oc_lsb_lt[i][j]表示当前条带的第i个参考图像列表中第j个LTRP条目的图像顺序编号对MaxPicOrderCntLsb取模的值。语法元素slice_poc_lsb_lt[i][j]的长度为(log2_max_pic_order_cnt_lsb_minus4+4)个比特。
变量PocLsbLt[i][j]的推导如下：
slice_delta_poc_msb_present_flag[i][j]＝1表示存在slice_delta_poc_msb_cycle_lt[i][j]。slice_delta_poc_msb_present_flag[i][j]＝0表示不存在slice_delta_poc_msb_cycle_lt[i][j]。
设prevTid0Pic是解码顺序中的前一个图像，该图像与当前图像具有相同的nuh_layer_id，TemporalId等于0，并且不是RASL或RADL图像。设setOfPrevPocVals是一个由以下组成的集合：prevTid0Pic的PicOrderCntVal；prevTid0Pic的RefPicList[0]或RefPicList[1]中的条目参考的每个图像的PicOrderCntVal，并且nuh_layer_id与当前图像的相同；prevTid0Pic之后的每个图像的PicOrderCntVal，nuh_layer_id与当前图像的相同，解码顺序在当前图像之前。
当pic_rpl_present_flag等于0且setOfPrevPocVals中存在多个值(其值对MaxPicOrderCntLsb取模等于PocLsbLt[i][j])时，slice_delta_poc_msb_present_fiag[i][j]的值应等于1。
slice_delta_poc_msb_cycle_lt[i][j]表示变量FullPocLt[i][j]的值，如下所示：
slice_delta_poc_msb_cycle_lt[i][j]的取值范围应为0到2(32-log2_max_pic_order_cnt_lsb_minus4-4)，包括端值。如果slice_delta_poc_msb_cycle_lt[i][j]不存在，则推断slice_delta_poc_msb_cycle_lt[i][j]的值等于0。
slice_joint_cbcr_sign_flag表示在tu_joint_cbcr_residual_flag[x0][y0]等于1的变换单元中，两种色度分量的共址残差样本具有相反的符号。当变换单元的tu_joint_cbcr_residual_flag[x0][y0]等于0时，slice_joint_cbcr_sign_flag＝0表示Cr(或Cb)分量的每个残差样本的符号与共址Cb(或Cr)残差样本的符号相同，slice_joint_cbcr_sign_flag＝1表示Cr(或Cb)分量的每个残差样本的符号与共址Cb(或Cr)残差样本的符号相反。如果slice_joint_cbcr_sign_flag不存在，则推断slice_joint_cbcr_sign_flag的值等于pic_level_joint_cbcr_sign_flag。
slice_sao_luma_flag＝1表示为当前条带中的亮度分量启用SAO。slice_sao_luma_flag＝0表示为当前条带中的亮度分量禁用SAO。如果slice_sao_luma_flag不存在，则推断slice_sao_luma_flag等于pic_level_sao_luma_enabled_flag。
slice_sao_chroma_flag＝1表示为当前条带中的色度分量启用SAO。slice_sao_chroma_flag＝0表示为当前条带中的色度分量禁用SAO。如果slice_sao_chroma_flag不存在，则推断slice_sao_chroma_flag等于pic_level_sao_chroma_enabled_flag。
slice_alf_enabled_flag＝1表示启用ALF，并可对条带中的Y、Cb或Cr颜色分量应用ALF。slice_alf_enabled_flag＝0表示对条带中的所有颜色分量禁用ALF。如果slice_alf_enabled_flag不存在，则推断slice_alf_enabled_flag的值等于pic_level_alf_enabled_flag。
slice_num_alf_aps_ids_luma表示条带所参考的ALF APS的数量。如果slice_alf_enabled_flag等于1且slice_num_alf_aps_ids_luma不存在，则推断slice_num_alf_aps_ids_luma的值等于pic_num_alf_aps_ids_luma的值。slice_num_alf_aps_ids_luma的取值范围应为0至7(包括端值)。
slice_alf_aps_id_luma[i]表示条带的亮度分量所参考的第i个ALF APS的adaptation_parameter_set_id。aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_alf_aps_id_luma[i]的APS NAL单元的TemporalId应小于或等于经译码条带NAL单元的TemporalId。如果slice_alf_enabled_flag等于1且slice_alf_aps_id_luma[i]不存在，则推断slice_alf_aps_id_luma[i]的值等于pic_alf_aps_id_luma[i]的值。
对于帧内条带和IRAP图像中的条带，slice_alf_aps_id_luma[i]不得参考与其它图像关联的ALFAPS，而不是包括帧内条带或IRAP图像的图像。
slice_alf_chroma_idc＝0表示不对Cb和Cr颜色分量应用ALF。slice_alf_chroma_idc＝1表示对Cb颜色分量应用ALF。slice_alf_chroma_idc＝2表示对Cr颜色分量应用ALF。slice_alf_chroma_idc＝3表示对Cb和Cr颜色分量应用ALF。如果slice_alf_chroma_idc不存在，则推断slice_alf_chroma_idc等于0。
slice_alf_aps_id_chroma表示条带的色度分量所参考的ALF APS的adaptation_parameter_set_id。aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_alf_aps_id_chroma的APS NAL单元的TemporalId应小于或等于经译码条带NAL单元的TemporalId。如果slice_alf_enabled_flag等于1且slice_alf_aps_id_chroma不存在，则推断slice_alf_aps_id_chroma的值等于pic_alf_aps_id_chroma的值。
对于帧内条带和IRAP图像中的条带，slice_alf_aps_id_chroma不得参考与其它图像关联的ALFAPS，而不是包括帧内条带或IRAP图像的图像。
slice_lmcs_enabled_flag＝l表示为当前条带启用使用亮度映射与色度缩放。slice_lmcs_enabled_flag＝0表示不为当前条带启用亮度映射与色度缩放。如果slice_lmcs_enabled_flag不存在，则推断slice_lmcs_enabled_flag等于pic_lmcs_enabled_flag。
slice_lmcs_aps_id表示条带所参考的LMCS APS的adaptation_parameter_set_id。aps_params_type等于LMCS_APS且adaptation_parameter_set_id等于slice_lmcs_aps_id的APS NAL单元的TemporalId应小于或等于经译码条带NAL单元的TemporalId。如果slice_lmcs_enabled_flag等于1且slice_lmcs_aps_id不存在，则推断slice_lmcs_aps_id的值等于pic_lmcs_aps_id的值。
如果slice_lmcs_aps_id存在，则图像的所有条带的slice_lmcs_aps_id的值应相同。
slice_chroma_residual_scale_flag＝1表示为当前条带启用色度残差缩放。slice_chroma_residual_scale_flag＝0表示不为当前条带启用色度残差缩放。如果slice_chroma_residual_scale_flag不存在，则推断slice_chroma_residual_scale_flag等于pic_chroma_residual_scale_flag。
slice_scaling_list_present_flag＝1表示当前条带使用的缩放列表数据是基于参考的缩放列表APS中包括的缩放列表数据推导出的。slice_scaling_list_present_flag＝0表示用于当前图像的缩放列表数据是在第7.4.3.16小节中指定的默认缩放列表数据。如果slice_scaling_list_present_flag不存在，则推断slice_scaling_list_present_flag的值等于pic_level_scaling_list_present_flag。
slice_scaling_list_aps_id表示缩放列表APS的adaptation_parameter_set_id。aps_params_type等于SCALING_APS且adaptation_parameter_set_id等于slice_scaling_list_aps_id的APS NAL单元的TemporalId应小于或等于经译码条带NAL单元的TemporalId。如果slice_scaling_list_enabled_flag＝1且slice_scaling_list_aps_id不存在，则推断slice_scaling_list_aps_id的值等于pic_scaling_list_aps_id的值。
图6为第一实施例提供的对码流进行解码的方法600的流程图。解码器400可以实现方法600。在步骤610中，接收包括RPL标志的视频码流。RPL标志等于第一值表示RPL指示存在于PH中。RPL标志等于第二值表示RPL指示不存在于PH中，并且可以存在于条带头中。最后，在步骤620中，使用RPL标志解码经译码图像以获取经解码图像。
方法600可以实现其它实施例。例如，第一值是1。第二值是0。码流还包括RPL SPS标志，其中，所述RPL SPS标志表示RPL列表i是根据SPS中的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的，或表示RPL列表i是根据直接包括的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的。码流还包括RPL索引，其中，RPL索引表示语法结构ref_pic_list_struct(listIdx，rplsIdx)列表中的索引，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)的listIdx等于i，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)包括在序列参数集(sequence parameter set，SPS)中，且用于推导当前图像的RPL列表i。经解码图像显示在电子设备的显示器上。
图7为第一实施例提供的对码流进行编码的方法700的流程图。编码器300可以实现方法700。在步骤710中，生成RPL标志。RPL标志等于第一值表示RPL指示存在于PH中。RPL标志等于第二值表示RPL指示不存在于PH中，并且可以存在于条带头中。最后，在步骤730中，存储码流，用于发送到视频解码器。
方法700可以实现其它实施例。例如，第一值是1。第二值是0。生成RPL SPS标志，其中，所述RPL SPS标志表示RPL列表i是根据SPS中的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的，或表示RPL列表i是根据直接包括的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的。生成RPL索引，其中，所述RPL索引表示语法结构ref_pic_list_struct(listIdx，rplsIdx)列表中的索引，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)的listIdx等于i，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)包括在序列参数集(sequenceparameter set，SPS)中，且用于推导当前图像的RPL列表i。
图8为第二实施例提供的对码流进行解码的方法800的流程图。解码器400可以实现方法800。在步骤810中，接收包括SAO标志的视频码流。SAO标志等于第一值表示SAO指示存在于PH中，SAO标志等于第二值表示SAO指示不存在于PH中，并且可以存在于条带头中。最后，在步骤820中，使用SAO标志解码经译码图像以获取经解码图像。方法800可以实现其它实施例。例如，经解码图像可以显示在电子设备的显示器上。
图9为第二实施例提供的对码流进行编码的方法900的流程图。编码器300可以实现方法900。在步骤910中，生成SAO标志。SAO标志等于第一值表示SAO指示存在于PH中，SAO标志等于第二值表示SAO指示不存在于PH中，并且可以存在于条带头中。在步骤920中，将RPL标志编码到视频码流中。最后，在步骤930中，存储码流，用于发送到视频解码器。
图10为第三实施例提供的对码流进行解码的方法1000的流程图。解码器400可以实现方法1000。在步骤1010中，接收包括ALF标志的视频码流。ALF标志等于第一值表示ALF指示存在于PH中，ALF标志等于第二值表示ALF指示不存在于PH中，并且可以存在于条带头中。最后，在步骤1020中，使用ALF标志解码经译码图像以获取经解码图像。方法1000可以实现其它实施例。例如，经解码图像可以显示在电子设备的显示器上。
图11为第三实施例提供的对码流进行编码的方法1100的流程图。编码器300可以实现方法1100。在步骤1110中，生成ALF标志。ALF标志等于第一值表示ALF指示存在于PH中，ALF标志等于第二值表示ALF指示不存在于PH中，并且可以存在于条带头中。在步骤1120中，将ALF标志编码到视频码流中。最后，在步骤1130中，存储码流，用于发送到视频解码器。
图12为本发明实施例提供的视频译码设备1200(例如，视频编码器300或视频编码器400)的示意图。视频译码设备1200适用于实现公开实施例。视频译码设备1200包括用于接收数据的入端口1210和Rx 1220；用于处理数据的处理器、逻辑单元或CPU 1230；用于发送数据的Tx 1240和出端口1250；以及用于存储数据的存储器1260。视频译码设备1200还可包括耦合到入端口1210、接收单元1220、发送单元1240和出端口1250的OE组件和EO组件，用于光信号或电信号的出口或入口。
处理器1230通过硬件和软件实现。处理器1230可实现为一个或多个CPU芯片、核(例如，多核处理器)、FPGA、ASIC和DSP。处理器1230与入端口1210、Rx 120、Tx 1240、出端口1250和存储器1260通信。处理器1230包括译码模块1270。译码模块1270实现公开实施例。例如，译码模块1270实现、处理、准备或提供各种编解码功能。因此，包括译码模块1270为视频译码设备1200的功能提供了实质性改进，并且实现了视频译码设备1200到不同状态的转换。可替换地，该译码模块1270实现为存储在存储器1260中并由处理器1230执行的指令。
视频译码设备1200还可以包括用于与用户传送数据的I/O设备1280。I/O设备1280可以包括输出设备，例如显示视频数据的显示器、输出音频数据的扬声器等。I/O设备1280还可以包括键盘、鼠标或轨迹球等输入设备或与上述输出设备进行交互的对应接口。
存储器1260包括一个或多个硬盘、磁带驱动器和固态硬盘，可以用作溢出数据存储设备，以在选择用于执行的程序时存储此类程序，以及存储在程序执行期间读取的指令和数据。存储器1260可以是易失性的和/或非易失性的，并且可以是ROM、RAM、TCAM或SRAM。
图13为译码模块1300的实施例的示意图。在一个实施例中，译码模块1300在视频译码设备1302(例如，视频编码器300或视频解码器400)中实现。视频译码设备1302包括接收模块1301。接收模块1301用于接收图像进行编码或接收码流进行解码。视频译码设备1302包括耦合到接收模块1301的发送模块1307。发送模块1307用于将向解码器发送码流或向显示模块(例如，I/O设备1280中的一个)发送经解码图像。
视频译码设备1302包括存储模块1303。存储模块1303耦合到接收模块1301或发送模块1307中的至少一个。存储模块1303用于存储指令。视频译码设备1302包括处理模块1305。处理模块1305耦合到存储模块1303。处理模块1305用于执行存储在存储模块1303中的指令，以执行本文中所公开的方法。
在一个实施例中，接收模块接收包括RPL标志的视频码流。RPL标志表示RPL指示存在或不存在于PH中，或表示RPL指示可以存在于条带头中。处理模块使用RPL标志对经译码图像进行解码，以获取经解码图像。
除非另有说明否则使用术语“约”是指以下描述的数字的±10％。虽然本发明提供多个具体实施例，但应当理解，所公开的系统和方法也可通过其它多种具体形式体现，而不会脱离本发明的精神或范围。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或组件可以在另一系统中组合或集成，或者某些特征可以省略或不实现。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、组件、技术或方法进行组合或集成。展示或论述为耦合的其它项可以直接耦合或者可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其它改变、替换、更替示例对本领域技术人员而言是显而易见的，均不脱离本文所公开的精神和范围。

Claims (20)

1.一种由视频编码器实现的方法，其特征在于，包括：
生成参考图像列表RPL标志，其中，所述RPL标志等于第一值表示RPL指示信息存在于图像头PH中，且所述RPL指示信息不存在于条带头中；所述RPL标志等于第二值表示所述RPL指示信息不存在于所述PH中，并且可以存在于所述条带头中；
将所述RPL标志编码到视频码流中，所述RPL指示信息是所述视频码流中包括的RPL信息，所述RPL信息包括RPL索引或语法结构ref_pic_list_struct(listIdx，rplsIdx)。
2.根据权利要求1所述的方法，其特征在于，所述第一值为1。
3.根据权利要求1或2所述的方法，其特征在于，所述第二值为0。
4.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：生成RPL序列参数集SPS标志，其中，所述RPL SPS标志表示RPL列表i是根据SPS中的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)中的一个推导出的，或表示RPL列表i是根据直接包括的listIdx等于i的语法结构ref_pic_list_struct(listIdx，rplsIdx)推导出的。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：所述RPL索引表示语法结构ref_pic_list_struct(listIdx，rplsIdx)列表中的索引，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)的listIdx等于i，所述语法结构ref_pic_list_struct(listIdx，rplsIdx)包括在序列参数集SPS中，且用于推导当前图像的RPL列表i。
6.根据权利要求1至5中任一项所述的方法，其特征在于，当非图像级语法元素存在于所述PH中时，对应的所述非图像级语法元素不应存在于与包括所述非图像级语法元素的所述PH关联的图像的任何条带中。
7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：将自适应偏移SAO标志编码到所述视频码流中，其中，所述SAO标志等于所述第一值表示SAO指示信息存在于所述PH中，且所述SAO指示信息不存在于所述条带头中；所述SAO标志等于所述第二值表示所述SAO指示信息不存在于所述PH中，并且可以存在于所述条带头中，所述SAO指示信息包括SAO启用标志。
8.根据权利要求1至7中任一项所述的方法，其特征在于，还包括：将自适应环路滤波器ALF标志编码到所述视频码流中，其中，所述ALF标志等于所述第一值表示ALF指示信息存在与所述PH中，且所述ALF指示信息不存在于所述条带头中；所述ALF标志等于所述第二值表示所述ALF指示信息不存在于所述PH中，并且可以存在于所述条带头中，所述ALF指示信息包括ALF启用标志。
9.一种视频编码器，其特征在于，包括：
存储器，用于存储指令；
处理器，与所述存储器耦合，用于执行指令从而执行根据权利要求1至8中任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令；在由处理器执行时，所述计算机可执行指令使得视频编码器执行根据权利要求1至8中任一项所述的方法。
11.一种非易失性可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序指令，所述计算机程序指令由一个或多个处理器执行时，使得编码器执行如权利要求1至8中任一项所述的方法。
12.一种视频译码系统，其特征在于，包括：
编码器；
解码器，
其中，所述编码器用于执行根据权利要求1至8中任一项所述的方法。
13.一种存储码流的设备，其特征在于，包括存储介质和通信接口，所述通信接口用于接收码流，所述码流包括多个语法元素，所述多个语法元素包括参考图像列表RPL标志，所述RPL标志等于第一值表示RPL指示信息存在于图像头PH中，且所述RPL指示不存在于条带头中；所述RPL标志等于第二值表示RPL指示信息不存在于所述PH中，并且可以存在于所述条带头中；所述RPL指示信息是所述码流中包括的RPL信息，所述RPL信息包括RPL索引或语法结构ref_pic_list_struct(listIdx，rplsIdx)；
所述存储介质用于存储所述码流。
14.根据权利要求13所述的存储码流的设备，其特征在于，还包括处理器，用于从所述存储介质中检索目标码流，并将所述目标码流通过所述通信接口传输到目的设备。
15.根据权利要求13或14所述的存储码流的设备，其特征在于，所述多个语法元素还包括样本自适应偏移SAO标志，其中，所述SAO标志等于第一值表示SAO指示信息存在于所述PH中，且所述SAO指示信息不存在于所述条带头中；所述SAO标志等于第二值表示SAO指示信息不存在于所述PH中，并且可以存在于所述条带头中。
16.根据权利要求13至15任一项所述的存储码流的设备，其特征在于，所述多个语法元素还包括：自适应环路滤波器ALF标志，其中，所述ALF标志等于第一值表示ALF指示信息存在于所述PH中，且所述ALF指示信息不存在于所述条带头中；所述ALF标志等于所述第二值表示所述ALF指示信息不存在于所述PH中，并且可以存在于所述条带头中。
17.一种编码码流的装置，其特征在于，包括处理器和存储器，所述处理器用于执行如权利要求1至8中任一项所述的编码方法以生成码流，所述存储器用于存储所述码流。
18.一种编码码流的装置，其特征在于，包括：
生成单元，用于生成参考图像列表RPL标志，其中，所述RPL标志等于第一值表示RPL指示信息存在于图像头PH中，且所述RPL指示信息不存在于条带头中；所述RPL标志等于第二值表示所述RPL指示信息不存在于所述PH中，并且可以存在于所述条带头中；
编码单元，用于将所述RPL标志编码到视频码流中，所述RPL指示信息是所述视频码流中包括的RPL信息，所述RPL信息包括RPL索引或语法结构ref_pic_list_struct(listIdx，rplsIdx)。
19.根据权利要求18所述的装置，其特征在于，所述编码单元还用于：将自适应偏移SAO标志编码到所述视频码流中，其中，所述SAO标志等于所述第一值表示SAO指示信息存在于所述PH中，且所述SAO指示信息不存在于所述条带头中；所述SAO标志等于所述第二值表示所述SAO指示信息不存在于所述PH中，并且可以存在于所述条带头中，所述SAO指示信息包括SAO启用标志。
20.根据权利要求18或19所述的装置，其特征在于，所述编码单元还用于：将自适应环路滤波器ALF标志编码到所述视频码流中，其中，所述ALF标志等于所述第一值表示ALF指示信息存在与所述PH中，且所述ALF指示信息不存在于所述条带头中；所述ALF标志等于所述第二值表示所述ALF指示信息不存在于所述PH中，并且可以存在于所述条带头中，所述ALF指示信息包括ALF启用标志。
CN202310927502.8A 2019-09-24 2020-09-23 图像级非图像级语法元素的指示 Pending CN117061755A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962905228P 2019-09-24 2019-09-24
US62/905,228 2019-09-24
PCT/US2020/052281 WO2021022264A1 (en) 2019-09-24 2020-09-23 Signaling of non-picture-level syntax elements at the picture level
CN202080065919.2A CN114424555B (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080065919.2A Division CN114424555B (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示

Publications (1)

Publication Number Publication Date
CN117061755A true CN117061755A (zh) 2023-11-14

Family

ID=74228310

Family Applications (9)

Application Number Title Priority Date Filing Date
CN202311389465.6A Pending CN117412052A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202310927502.8A Pending CN117061755A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202080065919.2A Active CN114424555B (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311386434.5A Pending CN117579824A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311384488.8A Pending CN117425010A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311387479.4A Pending CN117651136A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311386559.8A Pending CN117528094A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311389831.8A Pending CN117528095A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202210921086.6A Active CN115460411B (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311389465.6A Pending CN117412052A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示

Family Applications After (7)

Application Number Title Priority Date Filing Date
CN202080065919.2A Active CN114424555B (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311386434.5A Pending CN117579824A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311384488.8A Pending CN117425010A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311387479.4A Pending CN117651136A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311386559.8A Pending CN117528094A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202311389831.8A Pending CN117528095A (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示
CN202210921086.6A Active CN115460411B (zh) 2019-09-24 2020-09-23 图像级非图像级语法元素的指示

Country Status (12)

Country Link
US (1) US20220217380A1 (zh)
EP (1) EP4022913A4 (zh)
JP (2) JP7454657B2 (zh)
KR (1) KR20220055500A (zh)
CN (9) CN117412052A (zh)
AU (1) AU2020319902A1 (zh)
BR (1) BR112022005447A2 (zh)
CA (1) CA3152319A1 (zh)
CL (1) CL2022000701A1 (zh)
IL (1) IL291612A (zh)
MX (1) MX2022003450A (zh)
WO (1) WO2021022264A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021118262A1 (ko) * 2019-12-12 2021-06-17 엘지전자 주식회사 픽처 레벨 또는 슬라이스 레벨에서 적용되는 영상 정보를 시그널링하는 방법 및 장치
EP4107944A4 (en) * 2020-03-20 2023-06-14 ByteDance Inc. ORDER RELATIONSHIPS BETWEEN SUB-PICTURES
US11563963B2 (en) 2020-05-19 2023-01-24 Qualcomm Incorporated Determining whether to code picture header data of pictures of video data in slice headers
WO2024080916A1 (en) * 2022-10-13 2024-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Inter-predicted reference picture lists

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2425624A2 (en) * 2009-05-01 2012-03-07 Thomson Licensing 3d video coding formats
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
US9338474B2 (en) * 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
CN104054351B (zh) * 2012-01-17 2017-07-14 瑞典爱立信有限公司 参考画面列表处理
US9313500B2 (en) * 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
TW201517597A (zh) * 2013-07-31 2015-05-01 Nokia Corp 用於視訊編碼及解碼之方法及裝置
CN108322754A (zh) * 2017-01-16 2018-07-24 联发科技股份有限公司 编码方法与相对应的编码器以及解码器
WO2020112488A1 (en) 2018-11-30 2020-06-04 Futurewei Technologies, Inc. Signaling of reference picture lists in video coding
US11979611B2 (en) 2019-09-06 2024-05-07 Sharp Kabushiki Kaisha Systems and methods for signaling temporal sub-layer information in video coding

Also Published As

Publication number Publication date
US20220217380A1 (en) 2022-07-07
JP7454657B2 (ja) 2024-03-22
CN117425010A (zh) 2024-01-19
BR112022005447A2 (pt) 2022-06-21
CN115460411B (zh) 2023-07-07
AU2020319902A1 (en) 2022-04-21
CA3152319A1 (en) 2021-02-04
JP2022549648A (ja) 2022-11-28
WO2021022264A1 (en) 2021-02-04
CN114424555B (zh) 2023-11-10
IL291612A (en) 2022-05-01
EP4022913A1 (en) 2022-07-06
CN117579824A (zh) 2024-02-20
CL2022000701A1 (es) 2022-11-18
CN117528094A (zh) 2024-02-06
KR20220055500A (ko) 2022-05-03
EP4022913A4 (en) 2023-02-22
CN117528095A (zh) 2024-02-06
MX2022003450A (es) 2022-04-19
CN117412052A (zh) 2024-01-16
CN115460411A (zh) 2022-12-09
CN114424555A (zh) 2022-04-29
CN117651136A (zh) 2024-03-05
JP2024045167A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
CN114979663B (zh) 解码器、编码器及其实现的方法
CN115460411B (zh) 图像级非图像级语法元素的指示
CN114424561B (zh) 不允许不必要的层包括在多层视频码流中
CN114845117B (zh) 视频编解码器实现的编解码方法及编解码设备
CN114503568A (zh) 子图像的去块效应滤波标志

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination