CN115918083A - 子比特流提取 - Google Patents
子比特流提取 Download PDFInfo
- Publication number
- CN115918083A CN115918083A CN202180028478.3A CN202180028478A CN115918083A CN 115918083 A CN115918083 A CN 115918083A CN 202180028478 A CN202180028478 A CN 202180028478A CN 115918083 A CN115918083 A CN 115918083A
- Authority
- CN
- China
- Prior art keywords
- aps
- alf
- video
- chroma
- bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 269
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 claims description 104
- 235000019395 ammonium persulphate Nutrition 0.000 claims description 104
- 241000023320 Luma <angiosperm> Species 0.000 claims description 55
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 55
- 238000013139 quantization Methods 0.000 claims description 47
- 238000013507 mapping Methods 0.000 claims description 45
- 238000000261 appearance potential spectroscopy Methods 0.000 claims description 42
- 230000003044 adaptive effect Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 6
- 235000019557 luminance Nutrition 0.000 description 25
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 230000011664 signaling Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 13
- 238000009795 derivation Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000009977 dual effect Effects 0.000 description 8
- 238000003672 processing method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了视频编码和视频解码的几种技术。一个示例方法包括根据规则执行视频和视频的比特流之间的转换,其中,该规则规定,指示每个输出层集合的每个编解码层中的子层数量的变量是基于被包括在视频参数集(VPS)中的语法元素而被推导的;并且其中,该规则还规定,在子比特流提取处理期间,来自变量的信息用于从比特流中移除视频编解码层网络抽象层单元。
Description
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则,本申请适时要求于2020年4月15日提交的国际专利申请No.PCT/2020/084995的优先权和权益。出于法律规定的所有目的,上述申请的全部公开内容通过引用并入作为本申请的公开内容的一部分。
技术领域
本专利文档涉及图像和视频编解码和解码。
背景技术
数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了可由视频编码器和解码器使用以使用对编解码表示的解码有用的控制信息来处理视频的编解码表示的技术。
在一个示例方面,公开了一种视频处理方法。该方法包括:根据规则执行视频和视频的比特流之间的转换,其中,规则规定,指示每个输出层集合的每个编解码层中的子层的数量的变量是基于被包括在视频参数集(VPS)中的语法元素而被推导的;并且其中,规则还规定,在子比特流提取处理期间,来自变量的信息用于从比特流中移除视频编解码层网络抽象层单元。
在另一个示例方面,公开了一种视频处理方法。该方法包括:为包括视频块的视频和视频的比特流之间的转换,确定默认色度量化参数(QP)表是基于指示视频的颜色格式的ChromaArrayType的值;并且基于确定执行转换。
在另一个示例方面,公开了一种视频处理方法。该方法包括:根据规则执行视频和视频的比特流之间的转换,其中,规则规定,自适应参数集(APS)网络抽象层单元的数量或包括转换的信息的APS网络抽象层单元的特征。
在另一个示例方面,公开了一种视频处理方法。该方法包括:执行包括视频图片的视频和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中,格式规则规定,指示在转换期间使用的一个或多个初始量化参数(QP)值的一个或多个语法元素是否以及在哪里被包括在编解码表示中。
在又一示例方面,公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
在又一示例方面,公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。
在又一个示例方面,公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现了本文描述的方法之一。
本文档中描述了这些和其他特征。
附图说明
图1是在依赖量化中使用的两个标量量化器的图示。
图2示出了依赖量化的状态转换和量化器选择的示例。
图3是示例视频处理系统的框图。
图4是视频处理装置的框图。
图5是视频处理的示例方法的流程图。
图6是示出根据本公开的一些实施例的视频编解码系统的框图。
图7是示出根据本公开的一些实施例的编码器的框图。
图8是示出根据本公开的一些实施例的解码器的框图。
图9至11是视频处理的示例方法的流程图。
具体实施方式
本文档中使用章节标题是为了易于理解并且不将各章节中公开的技术和实施例的适用性仅限制于该章节。此外,在一些描述中使用H.266术语仅仅是为了易于理解,而不是为了限制所公开技术的范围。因此,本文描述的技术也适用于其他视频编解码器协议和设计。
1.初步讨论
本发明涉及视频编解码技术。具体而言,它与视频编解码中的初始量化参数(QP)和色度QP表有关。它可以应用于现有的视频编解码标准,如HEVC,或将最终确定的标准(多功能视频编解码)。它也可能适用于未来的视频编解码标准或视频编解码器。
2.缩写
APS(Adaptation Parameter Set) 自适应参数集
AU(Access Unit) 接入单元
AUD(Access Unit Delimiter) 接入单元分隔符
AVC(Advanced Video Coding) 高级视频编解码
CLVS(Coded Layer Video Sequence)编解码层视频序列
CPB(Coded Picture Buffer) 编解码图片缓冲器
CRA(Clean Random Access) 纯随机接入
CTU(Coding Tree Unit) 编解码树单元
CVS(Coded Video Sequence) 编解码视频序列
DPB(Decoded Picture Buffer) 解码图片缓冲器
DPS(Decoding Parameter Set) 解码参数集
EOB(End Of Bitstream) 比特流结尾
EOS(End Of Sequence) 序列结尾
GDR(Gradual Decoding Refresh) 逐渐解码刷新
HEVC(High Efficiency Video Coding) 高效视频编解码
HRD(Hypothetical Reference Decoder) 假设参考解码器
IDR(Instantaneous Decoding Refresh) 即时解码刷新
JEM(Joint Exploration Model) 联合探索模型
LMCS(Luma Mapping with Chroma Scaling)亮度映射与色度缩放
MCTS(Motion-Constrained Tile Sets)运动约束片集
NAL(Network Abstraction Layer) 网络抽象层
OLS(Output Layer Set) 输出层集
PH(Picture Header) 图片标头
PPS(Picture Parameter Set) 图片参数集
PTL(Profile,Tier and Level) 档次、层和级别
PU(Picture Unit) 图片单元
QP(Quantization Parameter) 量化参数
RBSP(Raw Byte Sequence Payload) 原始字节序列载荷
SEI(Supplemental Enhancement Information) 补充增强信息
SPS(Sequence Parameter Set) 序列参数集
SVC(Scalable Video Coding) 可缩放视频编解码
VCL(Video Coding Layer) 视频编解码层
VPS(Video Parameter Set) 视频参数集
VTM(VVC Test Model) VVC测试模型
VUI(Video Usability Information) 视频可用性信息
VVC(Versatile Video Coding) 多功能视频编解码
3.视频编解码介绍
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而得以演进。ITU-T制作了H.261和H.263标准,ISO/IEC制作了MPEG-1和MPEG-4Visual标准,并且两个组织联合制作了H.262/MPEG-2视频标准和H.264/MPEG-4高级视频编解码(AVC)标准和H.265/HEVC标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中,利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,由VCEG和MPEG于2015年联合成立联合视频探索团队(Joint Video Exploration Team,JVET)。从那时起,JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。2018年4月,VCEG(Q6/16)和ISO/IECJTC1 SC29/WG11(MPEG)之间的联合视频专家团队(Joint Video Expert Team,JVET)成立,以致力于VVC标准,目标是与HEVC相比降低50%比特率。
最新版本的VVC草案,即多功能视频编解码(草案8)可以在以下位置找到:
http://phenix.int-evry.fr/jvet/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v13.zip
并且最新的测试模型软件可以在以下位置找到:
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/-/archive/VTM-8.0/VVCSoftware_VTM-VTM-8.0.zip
3.1量化参数控制
在VVC,最大QP从51扩展至63,并且初始QP的信令通知也相应改变。当对slice_qp_delta的非零值进行编解码时,在条带段层修改SliceQpY的初始值。具体而言,将init_qp_minus26的值修改为在(-26+QpBdOffsetY)到+37的范围内。当变换块的尺寸不是4的幂时,变换系数与对QP或QP levelScale表的修改一起处理,而不是乘以181/256(或181/128),以补偿变换处理的隐式缩放。对于变换跳过块,最小允许量化参数(QP)被定义为4,因为当QP等于4时量化步长变为1。
在HEVC(以及H.264)中,使用固定查找表将亮度量化参数QPY转换为色度量化参数QPC。在VVC中,使用了更灵活的亮度到色度QP映射。在SPS中使用灵活的分段线性模型,代替具有固定的表,来信令通知亮度到色度QP映射关系,其中,对线性模型的唯一约束是每个片段的斜率不能为负(即,随着亮度QP增加,色度QP必须保持平坦或增加,但不能减少)。分段线性模型被定义为:1)模型中片段的数量;2)该片段的输入(亮度)和输出(色度)增量QP。分段线性模型的输入范围是[-QpBdOffsetY,63],并且分段线性模型的输出范围是[-QpBdOffsetC,63]。对于Cb、Cr和联合Cb/Cr编解码,可以单独信令通知QP映射关系,或者对于所有三种类型的残差编解码,可以联合信令通知该映射关系。
与HEVC相同,在VVC中允许CU级别QP自适应。亮度和色度分量的增量QP值可以单独被信令通知。对于色度分量,允许的色度QP偏移值以与HEVC中类似的方式在PPS中以偏移列表的形式被信令通知。这些列表分别针对Cb、Cr和联合Cb/Cr编解码进行定义。每个Cb、Cr和联合Cb/Cr列表最多允许6个偏移值。在CU级别,信令通知索引以指示偏移列表中的哪一个偏移值用于调整该CU的色度QP。CU色度QP偏移信令通知也与VPDU CU QP增量可用性一致,并且对于大于64x64的CU,无论是否有非零CBF,都用第一个变换单元发送色度QP偏移。
3.2依赖量化
此外,相同的HEVC标量量化与被称为依赖标量量化的新概念一起使用。依赖标量量化是指一种方法,其中,变换系数的一组可允许的重建值取决于按照重建顺序在当前变换系数级别之前的变换系数级别的值。这种方法的主要效果是,与HEVC中使用的传统独立标量量化相比,可允许的重建矢量在N维矢量空间中被填充得更密集(N表示变换块中的变换系数的数量)。这意味着,对于给定的每N维单元体积的可允许的重建矢量的平均数量,输入矢量和最接近的重建矢量之间的平均失真会减少。依赖标量量化的方法是通过以下方式实现的:(a)定义具有不同重建级别的两个标量量化器,以及(b)定义在两个标量量化器之间切换的过程。
使用的两个标量量化器(用Q0和Q1表示)在图1中示出。可用重建级别的位置由量化步长Δ唯一指定。使用的标量量化器(Q0或Q1)未在比特流中被显式信令通知。相反,用于当前变换系数的量化器由按编解码/重建顺序在当前变换系数之前的变换系数级别的奇偶性确定。
如图2所示,两个标量量化器(Q0和Q1)之间的切换是通过具有四个状态的状态机实现的。该状态可以采用四个不同的值:0、1、2、3。它由按编解码/重建顺序在当前变换系数之前的变换系数级别的奇偶性唯一确定。在变换块的逆量化开始时,将状态设置为等于0。变换系数按扫描顺序被重建(即,按它们被熵解码的相同顺序)。在重建当前变换系数之后,状态被更新,如图18所示,其中,k表示变换系数级别的值。
3.3缩放矩阵
VVC支持使用默认的缩放矩阵或信令通知用户定义的缩放矩阵。DEFAULT模式缩放矩阵都是平坦的,其中,所有TB尺寸的元素都等于16。IBC和帧内编解码模式目前共享相同的缩放矩阵。因此,对于USER_DEFINED矩阵的情况,MatrixType和MatrixType_DC的数量更新如下:
DC值分别针对以下缩放矩阵进行编解码:16×16、32×32和64×64。对于尺寸小于8×8的TB,一个缩放矩阵中的所有元素都被信令通知。如果TB具有的尺寸大于或等于8×8,则一个8×8缩放矩阵中只有64个元素被信令通知为基本缩放矩阵。为了获得尺寸大于8×8的方形矩阵,将8×8基本缩放矩阵上采样(通过元素复制)到对应的方形尺寸(即16×16、32×32、64×64)。当应用64点变换的高频系数归零时,缩放矩阵的对应高频也被归零。即如果TB的宽度或高度大于或等于32,则只保留系数的左半部分或上半部分,并且其余的系数被分配为零。此外,为64×64缩放矩阵信令通知的元素数量也从8×8减少到三个4×4子矩阵,因为右下角的4×4元素从未被使用。在VVC中,不存在2x2、2x4和4x2色度帧内编解码块(coding block,CB),并且最小的帧内块尺寸以及最小的色度帧内块复制(intra blockcopy,IBC)块尺寸等于2x8和8x2。此外,为4x4亮度CB禁用帧间预测。因此,只能通过应用子块变换(subblock transform,SBT)来创建小的2x2色度块。考虑到这些本质,从默认QM列表中移除了2x2帧内色度量化矩阵(quantization matric,QM),并且不为该尺寸编解码用户定义的帧内QM。
为了提高用户定义的量化矩阵(QM)的编解码效率,考虑了以下方法。
–允许参考与当前QM具有相同基本尺寸的先前编解码的QM。
–允许编解码在当前QM和参考QM之间的元素到元素的差。
–在当前QM中保留元素的原始DPCM编解码。
–使用结合了matrixId和sizeId的单个矩阵标识符scalingListId。
3.4色度残差的联合编解码
VVC草案支持色度残差被联合编解码的模式;这被命名为JCCR(色度残差的联合编解码,Joint Coding of Chroma Residual)。联合色度编解码模式的使用(激活)由TU级别标志tu_joint_cbcr_residual_flag指示,并且所选模式由色度CBF隐式地指示。如果TU的一个或两个色度CBF等于1,则存在标志tu_joint_cbcr_residual_flag。在PPS和条带标头中,对联合色度残差编解码模式信令通知色度QP偏移值,以区别于对常规色度残差编解码模式信令通知的通常色度QP偏移值。这些色度QP偏移值用于推导使用联合色度残差编解码模式编解码的那些块的色度QP值。当对应的联合色度编解码模式(以下表中的模式2)在TU中被激活时,在该TU的量化和解码期间,该色度QP偏移被添加到应用的亮度推导的色度QP。对于其他模式(以下表中的模式1和模式3),色度QP被推导的方式与传统Cb或Cr块相同。表1中描述了从发送的变换块重建色度残差(resCb和resCr)的过程。当激活此模式时,信令通知一个单个联合色度残差块(以下表中的resJointC[x][y]),并考虑到如tu_cbf_cb、tu_cbf_cr和条带标头中指定的符号值CSign的信息来推导Cb的残差块(resCb)和Cr的残差块(resCr)。
在编码器侧,联合色度分量被推导,如下所述。取决于模式(如上表所列),编码器按如下方式生成resJointC{1,2}:
–如果模式等于2(具有重建的单个残差Cb=C,Cr=CSign*C),则联合残差根据下式确定
resJointC[x][y]=(resCb[x][y]+CSign*resCr[x][y])/2
–否则,如果模式等于1(具有重建的单个残差Cb=C,Cr=(CSign*C)/2),则联合残差根据由下式确定
resJointC[x][y]=(4*resCb[x][y]+2*CSign*resCr[x][y])/5
–否则(模式等于3,即单个残差,重建Cr=C,Cb=(CSign*C)/2),联合残差根据下式确定
resJointC[x][y]=(4*resCr[x][y]+2*CSign*resCb[x][y])/5
表1.色度残差的重建。值CSign是符号值(+1或–1),它在条带标头中被指定,resJointC[][]是发送的残差。
上述三种联合色度编解码模式仅在I条带中支持。在P和B条带中,仅支持模式2。因此,在P和B条带中,语法元素tu_joint_cbcr_residual_flag仅在两个色度cbf都为1时才存在。请注意,在tu_cbf_luma和tu_cbf_cb的上下文建模中移除了变换深度。
3.5 SPS中的色度QP表
在JVET-Q2001-vC的条款7.3.2.3中,SPS包含名为色度QP表的结构,如下所示:
它们是用下列语义和QP表推导的:
等于0指定禁用色度残差的联合编解码。sps_joint_cbcr_enabled_flag等于1指定启用色度残差的联合编解码。当不存在时,sps_joint_cbcr_enabled_flag的值被推断为等于0。
等于1指定仅信令通知一个色度QP映射表,并且该表适用于Cb和Cr残差,并且当sps_joint_cbcr_enabled_flag等于1时还适用于联合Cb-Cr残差。same_qp_table_for_chroma等于0指定,在SPS中信令通知色度QP映射表,两个用于Cb和Cr,并且当sps_joint_cbcr_enabled_flag等于1时,一个还用于联合Cb-Cr。当比特流中不存在same_qp_table_for_chroma时,推断same_qp_table_for_chroma的值等于1。
[i]加26指定用于描述第i个色度QP映射表的起始亮度和色度QP。qp_table_start_minus26[i]的值应在-26-QpBdOffset至36(包括端值)的范围内。当qp_table_start_minus26[i]不存在于比特流中时,qp_table_start_minus26[i]的值被推断为等于0。
[i]加1指定用于描述第i个色度QP映射表的点的数量。num_points_in_qp_table_minus1[i]的值应在0到63+QpBdOffset(包括端值)的范围内。当num_points_in_qp_table_minus1[0]不存在于比特流中时,num_points_in_qp_table_minus1[0]的值被推断为等于0。
[i][j]指定用于推导第i个色度QP映射表的第j个枢轴点的输入坐标的增量值。当比特流中不存在delta_qp_in_val_minus1[0][j]时,delta_qp_in_val_minus1[0][j]的值被推断为等于0。
对于i=0..numQpTables–1的第i个色度QP映射表ChromaQpTable[i]被推导如下:
当same_qp_table_for_chroma等于1时,对于在-QpBdOffset至63(包括端值)的范围内的k,ChromaQpTable[1][k]和ChromaQpTable[2][k]被设置为等于ChromaQpTable[0][k]。
比特流一致性的要求是,对于在0至numQpTables-1(包括端值)的范围内的i以及对于在0至num_points_in_qp_table_minus1[i]+1(包括端值)的范围内的j,qpInVal[i][j]和qpOutVal[i][j]的值应在-QpBdOffset至63(包括端值)的范围内。
在上述描述中,QpBdOffset被推导为:
BitDepth=8+bit_depth_minus8
QpBdOffset=6*bit_depth_minus8
bit_depth_minus8应在0到8(包括端值)的范围内。
3.6PPS中的初始QP
加26规定参考PPS的每个条带的SliceQpY的初始值。当ph_qp_delta的非零值被解码时,SliceQpY的初始值在图片级别被修改,或者当slice_qp_delta的非零值被解码时,SliceQpY的初始值在条带级别被修改。init_qp_minus26的值应在-(26+QpBdOffset)到+37(包括端值)的范围内。
当qp_delta_info_in_ph_flag等于1时,图片的所有条带的QpY量化参数SliceQpY的初始值被推导如下:
SliceQpY=26+init_qp_minus26+ph_qp_delta
当qp_delta_info_in_ph_flag等于0时,条带的QpY量化参数SliceQpY的初始值被推导如下:
SliceQpY=26+init_qp_minus26+slice_qp_delta
SliceQpY的值应在-QpBdOffset到+63(包括端值)的范围内。
4通过公开的技术方案和实施例解决的技术问题
2.I和B/P图片或条带可能需要不同的色度QP表,但它们在当前VVC草案文本中共享相同的色度QP表。
3.变换跳过可能需要另一个色度QP表。
4.色度QP表的起点应该覆盖整个QP范围,这不是当前设计的情况。
5.色度QP表可能有一个有偏差的起点。
7.在色度QP的推导中指定QP裁剪可能比指定比特流一致性约束来限制推导的色度QP值更好,因为前者将防止发生违规。
8.在最新的VVC草案文本中,SH语法元素用于指定是否将基于变换跳过的残差编解码(transform skip based residual coding,TSRC)或常规残差编解码(regular residual coding,RRC)用于变换块。但是,对于当前块是使用TSRC还是RRC,可能存在较高级别(SPS/PPS)和/或较低级别(CU/TU)的级别控制标志。此外,将进一步指定不同级别控制标志之间以及控制标志和变换跳过标志之间的相互作用。
9.在当前的VVC中,当在SPS/PH/SH禁用亮度ALF时,色度ALF和CC-ALF被隐式禁用。但是,这种限制不应用于CTU级别。当为CTU禁用亮度ALF时,色度ALF和CC-ALF仍可应用于CTU。这样的设计与基于较高级别的亮度ALF来控制色度ALF/CC-ALF的意图相冲突。
10.色度QP表可能有值的默认集合,取决于颜色格式。
11.在JVET-Q2001-vE中的最新VVC草案的条款C.6中规定的子比特流提取处理中,一个步骤规定如下:
–从outBitstream中移除以下所有条件为真的所有NAL单元:
–nal_unit_type不等于IDR_W_RADL、IDR_N_LP或CRA_NUT。
–对于在0到NumLayersInOls[t argetOlsIdx]–1(包括端值)的范围内的j的值,nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。
–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][j]。
但是,这意味着满足所有三个条件的参数集等非VCL NAL单元也将被移除。这是不被期望的,并且参数集(例如,PPS和APS)可以由具有不同TemporalId值的图片共享,并且可以放置在比特流的开始处。
12.当前规范分别允许8个ALF_APS、8个SCALING_APS和3个LMCSAPS。然而,图片允许的APS NAL单元的数量可能不够,例如,典型的用例是图片包含96个子图片,并且每个子图片可能需要不同的ALF_APS。在这种情况下,当前的8个ALF_APS NAL单元不足以实现良好的编解码效率。因此,需要支持更多数量的APS。
5实施例和方案的示例列表
为解决上述问题和其他问题,公开了如下总结的方法。这些项目应被视为解释一般概念的示例,而不应该以狭隘的方式解释。此外,这些项目可以单独应用或以任何方式组合应用。
在下文中,floor(x)表示返回小于或等于x的最大整数的函数。
a.或者,初始QP值语法元素可以在PH处被重复。
b.或者,初始QP值语法元素可以在PPS和PH两者中被信令通知,并且在PH中被信令通知的初始QP值语法元素可以覆盖或更新(通过添加信令通知的增量)在PPS中被信令通知的初始QP值语法元素。
c.或者,初始QP值语法元素可以在SPS中被信令通知,也可以在PPS、PH和SH中的一个或多个中被信令通知,并且当存在时,较低级别的值覆盖或更新(通过添加信令通知的增量)在较高级别信令通知的值。在更新的情况下,在最高级别信令通知的初始QP值是被ue(v)编解码的,而在较低级别信令通知的增量值是被se(v)编解码的。
2.可以根据特定类型在SPS/PPS/PH/SH中信令通知用于指示初始QP值的多个语法元素。
a.在一个示例中,它们中的每一个可以对应于特定类型。
b.在一个示例中,特定类型可以包括图片/条带类型(例如,I/P/B;帧内/帧间)。
c.在一个示例中,特定类型可以包括视频内容类型(例如,屏幕内容或相机捕获的内容)。
d.在一个示例中,特定类型可以包括子图片的索引或其他子图片标识信息,即,不同的子图片可以与用于初始QP推导的不同语法元素相关联。
e.在一个示例中,特定类型可以包括条带的索引或其他条带标识信息,即,不同的条带可以与初始QP推导的不同语法元素相关联。
f.在一个示例中,特定类型可以包括片的索引或其他片标识信息,即,不同的片可以与初始QP推导的不同语法元素相关联。
g.在一个示例中,特定类型可以包括变换类型。(例如,变换跳过模式或非变换跳过模式)。
3.初始QP值语法元素(例如,在SH/PH/PPS/SPS中)可以偏移不等于26的数量K。
a.在一个示例中,K小于26。
b.在一个示例中,语法元素可以由init_qp_minusK替换和/或语法元素的值应在-(K+QpBdOffset)到(63-K)(包括端值)的范围内,其中,K小于26。
i.在一个示例中,K等于20。或者,此外,语法元素可以由init_qp_minus20替换和/或语法元素的值应在-(20+QpBdOffset)到43(即,63-20)(包括端值)的范围内。
c.在一个示例中,K大于26。
i.在一个示例中,语法元素可以由init_qp_minusK替换,并且语法元素的值应在-(K+QpBdOffset)到(63-K)(包括端值)的范围内,其中,K是大于26的常数。
ii.在一个示例中,K等于32。或者,此外,语法元素可以由init_qp_minus32替换并且语法元素的值应在-(32+QpBdOffset)到31(即,63-32)(包括端值)的范围内。
d.或者,可以将K设置为最大允许QP和/或最小允许QP的函数。例如,可以将K设置为等于(最大允许QP-最小允许QP)/2或(最大允许QP+1-最小允许QP)/2。
e.在上面的示例中,K可以取决于图片/条带/块类型;和/或预测模式和/或位深度。
i.在一个示例中,I条带/图片的K值不大于P/B条带/图片的K值。
4.初始QP值语法元素(例如,在SH/PH/PPS中)可以偏移的数量取决于内部位深度。
a.在一个示例中,初始QP值语法元素可以偏移floor((-QpBdOffset+M)/2)。
i.或者,此外,语法元素加上floor((-QpBdOffset+M)/2)的值应在-QpBdOffset到63(包括端值)的范围内。
b.在一个示例中,初始QP值语法元素可以偏移(floor((-QpBdOffset+M)/2)+K),其中,K是常数。
i.或者,此外,语法元素的值加上(floor((-QpBdOffset+M)/2)+K)应在-QpBdOffset到N(包括端值)的范围内。
c.在以上示例中,N可以被设置为最大允许QP值(例如,63)。
d.在上述示例中,M可以被设置为最大允许QP值(例如,63)或最大允许QP值加/减1。
5.色度QP表可以根据图片/条带类型来确定。
a.在一个示例中,不同的图片/条带类型可以具有色度QP表的不同集合。
b.在一个示例中,I图片/条带可以具有它们自己的色度QP表。
c.在一个示例中,I和B以及P图片/条带可以各自具有它们自己的色度QP表。
d.在一个示例中,B和P图片/条带可以共享色度QP表的相同集合。
e.在一个示例中,图片/条带类型可以分类为M种情况(M=2仅用于I,BP共享;M=3用于I/B/P分离)。要信令通知的色度QP表的数量可以取决于M。
i.在一个示例中,要信令通知的色度QP表的数量可以被设置为M*numQpTables,其中,(numQpTables=same_qp_table_for_chroma?1:(sps_joint_cbcr_enabled_flag?3:2)),其中,M大于1。
ii.此外,在一个示例中,要被信令通知的色度QP表的数量可以被设置为(same_qp_table_for_chroma?1:(M*(sps_joint_cbcr_enabled_flag?3:2))),其中,M大于1。
iii.在一个示例中,对于每个类别,首先信令通知所有块是否共享相同的色度QP表的指示,并且可以将QP表的数量设置为(色度的相同qp表?1:(sps_joint_cbcr_enabled_flag?3:2)),然后是色度QP表的详细信息。
1)或者,此外,对于所有类别,用于描述色度QP映射表的起始亮度和色度QP的指示可以被进一步信令通知,例如使用实际值减去K(例如,K=26)。
2)或者,此外,用于描述色度QP映射表的起始亮度和色度QP的指示可以被进一步信令通知,例如使用实际值减去K(例如,对于帧内条带/图片K=1或对于帧间条带/图片K=32)和取决于类别索引的K。
6.可以将指示(例如,sps_non_intra_present_flag)添加到SPS中,以指示当前序列是否可以包含B/P条带。
a.在一个示例中,当flag为1时,它指示当前序列中的所有条带都是帧内条带。
b.在一个示例中,当标志为0时,它指示当前序列中可以存在B/P条带。
7.可以在SPS中信令通知色度QP表中的一个或两个集合。
a.向SPS添加标志,例如,命名为sps_one_set_of_chroma_qp_tables_flag。
b.sps_one_set_of_chroma_qp_tables_flag等于1指定在SPS中(即,如在当前VVC草案文本中)存在色度QP表的一个集合,并且色度QP表的这个集合仅应用于帧内编解码实体(图片、条带、CTU、CU、或编解码块)。
i.在一个示例中,色度QP表的唯一集合仅应用于参考SPS的CLVS中的帧内图片(对于该帧内图片,所有条带都是帧内条带,即I条带)。
ii.在一个示例中,色度QP表的唯一集合仅应用于参考SPS的CLVS中的帧内条带。
iii.在一个示例中,色度QP表的唯一集合仅应用于参考SPS的CLVS中的帧内CTU。
iv.在一个示例中,色度QP表的唯一集合仅应用于参考SPS的CLVS中的帧内CU。
v.在一个示例中,色度QP表的唯一集合仅应用于参考SPS的CLVS中的帧内编解码块。
c.sps_one_set_of_chroma_qp_tables_flag等于1指定在SPS中(即,如在当前VVC草案文本中)存在色度QP表的一个集合,并且色度QP表的这个集合应用于帧内和帧间编解码实体两者(图片、条带、CTUS、CU、或编解码块)。
d.sps_one_set_of_chroma_qp_tables_flag等于0指定SPS中存在色度QP表的两个集合(即,添加色度QP表的一个集合),色度QP表的第0个集合仅应用于帧内编解码实体(图片、条带、CTUS、CU、或编解码块)和色度QP表的第1个集合仅应用于帧间编解码实体(图片、条带、CTUS、CU、或编解码块)。
i.在一个示例中,色度QP表的第0个集合仅应用于参考SPS的CLVS中的帧内图片(对于该帧内图片,所有条带都是帧内条带),而色度QP表的第1个集合仅应用于参考SPS的CLVS中的帧间图片(对于该帧间图片,所有条带都是帧间条带,即B或P条带)。
ii.在一个示例中,色度QP表的第0个集合仅应用于参考SPS的CLVS中的帧内条带,而色度QP表的第1个集合仅应用于参考SPS的CLVS中的帧间条带。
iii.在一个示例中,色度QP表的第0个集合仅应用于参考SPS的CLVS中的帧内CTU,而色度QP表的第1个集合仅应用于参考SPS的CLVS中的帧间CTU。
iv.在一个示例中,色度QP表的第0个集合仅应用于参考SPS的CLVS中的帧内CU,而色度QP表的第1个集合仅应用于参考SPS的CLVS中的帧间CU。
v.在一个示例中,色度QP表的第0个集合仅应用于参考SPS的CLVS中的帧内编解码块,而色度QP表的第1个集合仅应用于参考SPS的CLVS中的帧间编解码块。
e.只有当ChromaArrayType不等于0时才可以发送标志。
f.在实施例4中示出了示例性实施方式。
g.在实施例5中示出了另一个示例性实施方式。
8.色度QP表可以根据预测模式来确定。
a.在一个示例中,帧内CU和其他CU可以具有色度QP表的不同集合。
i.在一个示例中,它可能仅应用于双树和/或局部双树。
b.或者,帧内/调色板CU和其他CU可能具有色度QP表的不同集合。
c.或者,帧内/IBC/调色板CU和其他CU可能具有色度QP表的不同集合。
d.或者,帧内/IBC CU和其他CU可能具有色度QP表的不同集合。
e.在以上示例中,要信令通知的色度QP表的数量可以取决于预测模式的分类集合的数量。
f.在以上示例中,预测模式可以是指亮度CB的预测模式。
9.变换跳过块可以具有色度QP表的不同集合。
a.在一个示例中,它可以仅应用于以变换跳过模式编解码的亮度块。
a.在一个示例中,语法元素可以被qp_table_start_minusK替换和/或语法元素加上K的值应在-(K+QpBdOffset)到(M-K)(包括端值)的范围内,其中,K小于26.
b.在一个示例中,语法元素可以被qp_table_start_minusK替换和/或语法元素的值应在-(K+QpBdOffset)到(M-1-K)(包括端值)的范围内,其中,K小于26.
i.在一个示例中,K等于20。或者,此外,语法元素可以被init_qp_minus20替换和/或语法元素加20的值应在-(20+QpBdOffset)到(M-20)(包括端值)的范围内。
ii.在一个示例中,K等于20。或者,此外,语法元素可以被替换为init_qp_minus20和/或语法元素加20的值应在-(20+QpBdOffset)到(M-1-20)(包括端值)的范围内。
c.或者,初始QP值语法元素可以偏移大于26的数量K。
i.在一个示例中,可以用init_qp_minusK替换语法元素,并且语法元素加上K的值应在-(K+QpBdOffset)到(M-K)(包括端值)的范围内,其中,K是大于等于26的常数。
ii.在一个示例中,可以用init_qp_minusK替换语法元素,并且语法元素加上K的值应在-(K+QpBdOffset)到(M-1-K)(包括端值)的范围内,其中,K是大于26的常数。
1)在一个示例中,K等于32。或者,此外,语法元素可以被替换为init_qp_minus32,并且语法元素加32的值应在-(32+QpBdOffset)到(M-32)(包括端值)的范围内。
2)在一个示例中,K等于32。或者,此外,语法元素可以被替换为init_qp_minus32,并且语法元素加上32的值应该在-(32+QpBdOffset)到(M-1-32)(包括端值)的范围内)。
d.在上面的示例中,K可以取决于图片/条带类型;和/或预测模式和/或位深度。
i.在一个示例中,对于帧内图片/条带,K被设置为1。
ii.在一个示例中,对于P/B图片/条带,K被设置为32。
e.在上述示例中,M可以是最大允许QP值,例如63。
f.在一个示例中,K为0。
i.或者,此外,可以用uv(e)代替sv(e)对语法元素进行二值化。
i.在一个示例中,表示枢轴点的数量的语法元素的值应在0到(63+QpBdOffset)的范围内。
b.或者,此外,当色度QP表中的枢轴点的数量为零时,色度QP表的第i个条目被设置为等于亮度QP表的第i个条目。
c.或者,此外,当色度QP表中的枢轴点的数量为零时,色度QP表的第i个条目被设置为等于(亮度QP表的第i个条目加上偏移)。
i.在一个示例中,偏移可以取决于编解码方法(例如,JCCR开启或关闭)
a.在一个示例中,当枢轴点的数量为0时,可以跳过语法元素的解析。
15.在色度QP表的推导过程中,应该在(delta_qp_in_val_minus1[i][j]+1)和delta_qp_diff_val[i][j]之间执行XOR运算符。
a.实施例3中示出了示例。
16.QP裁剪可以始终应用于色度QP表索引。
a.在一个示例中,裁剪范围是从-QpBdOffset到63(包括端值)。
17.QP裁剪可以始终应用于色度QP表中的映射的色度QP。
a.在一个示例中,裁剪范围是从-QpBdOffset到63(包括端值)。
18.色度QP表可以在SPS和PPS两者中被信令通知。
a.在一个示例中,PPS中的色度QP表可以覆盖SPS中的对应表。
19.色度QP表可以在PH或SH中被信令通知。
a.在一个示例中,PH或SH中的色度QP表可以覆盖SPS或PPS中的对应表。
20.默认色度QP表可以取决于ChromaArrayType。
a.在一个示例中,当ChromaArrayType等于3时(即4:4:4颜色格式和separate_colour_plane_flag等于0),可以将标识QP色度QP表(即亮度QP=色度QP)设置为默认值。
b.在一个示例中,当ChromaArrayType等于2(即4:2:2颜色格式)时,可以将标识QP色度QP表(即亮度QP=色度QP)设置为默认值。
21.关于解决第八个问题的RRC和TSRC的控制,公开了以下一种或多种方法,例如在第七组实施例中:
a.在一个示例中,是否允许视频单元(CLVS/图片组/图片/条带/片/CTU行/CTU/CU/PU/TU)的TSRC可以取决于在SPS/PPS/PH/SH/块/CU/TU级别中信令通知的语法元素(例如,一个或多个标志)。
i.例如,TSRC启用/禁用标志可以在PH或SH中(但不是在两者中)被信令通知,
1)此外,是否在PH或SH中信令通知TSRC启用/禁用标志可以取决于在PPS/SPS中信令通知的语法标志。
2)此外,当在PH中信令通知TSRC启用/禁用标志时,则不信令通知SH中的TSRC启用/禁用标志。
3)此外,当SH中的TSRC启用/禁用标志不存在时,推断它等于PH中的TSRC启用/禁用标志。
ii.或者,TSRC启用/禁用标志可以在PH和SH两者中被信令通知,
1)此外,另外,当PH中的TSRC启用/禁用标志指定为参考PH的所有条带禁用TSRC时,可以不信令通知SH中的TSRC启用/禁用标志。
iii.例如,块/CU/TU级别TSRC启用/禁用标志用上下文自适应算术熵编解码语法元素编解码,例如ae(v)编解码。
iv.例如,SPS/PPS/PH/SH级别TSRC启用/禁用标志以使用n位的无符号整数被编解码(例如,u(1)编解码),例如n=1。
b.另外,视频单元的TSRC启用/禁用标志的信令通知可以取决于变换跳过是否被启用/用于视频单元。
i.例如,如果在SPS级别禁用了变换跳过(例如,sps_transform_skip_enabled_flag等于0),则要求PPS级别中的TSRC启用/禁用标志等于特定值,该特定值指定为参考当前PPS的图片禁用TSRC。
ii.此外,如果在较高级别禁用变换跳过(例如,sps_transform_skip_enabled_flag等于0),则在较低级别和/或同一层(例如,SPS/PH/SH/块/CU/TU级别)的TSRC启用/禁用标志不会被信令通知。
iii.或者,此外,如果在较高级别(例如,SPS)启用变换跳过但不用于视频单元(例如,TU级别transform_skip_flag等于0),则当前视频单元(例如,TU)的TSRC启用/禁用标志不会被信令通知。
iv.另外,当TSRC启用/禁用标志没有在视频单元级别被信令通知时,TSRC启用/禁用标志的值被推断为特定值,该特定值指定为视频单元禁用TSRC。
c.或者,此外,较低级别的TSRC启用/禁用标志的信令通知可以取决于较高级别的TSRC启用/禁用标志。
i.例如,在图片/条带级别的TSRC启用/禁用标志的信令通知可以取决于是否在SPS/PPS级别启用TSRC。
ii.此外,在块/CU/TU级别的TSRC启用/禁用标志的信令通知可以取决于是否在SPS/PPS/图片/条带级别启用TSRC。
1)例如,当在较高级别(例如,SPS/PPS/图片/条带级别)禁用TSRC时,不信令通知块/CU/TU级别的TSRC启用/禁用标志。
2)此外,另外,当TSRC启用/禁用标志不存在时,它被推断为特定值(例如指定为当前视频单元禁用TSRC的值)。
iii.此外,在PPS级别的TSRC启用/禁用标志的值可以取决于是否在SPS级别启用TSRC。
1)例如,当SPS级别TSRC启用/禁用标志指定为CLVS禁用TSRC时,则要求PPS级别TSRC启用/禁用标志的值等于特定值,该特定值指定为参考当前PPS的图片禁用TSRC。
关于ALF和CC-ALF
22.建议当为当前CTU禁用亮度ALF时,不信令通知对当前CTU使用色度ALF/CC-ALF的指示。
a.或者,此外,当为CTU禁用亮度ALF时,该使用被推断为假。换言之,当在CTU中禁用亮度ALF时,色度ALF/CC-ALF被禁用。
关于子比特流提取
23.建议可将数组NumSubLayersInLayerInOLS[][]中携带的信息用于VVC中的子比特流提取处理,仅用于移除VCL NAL单元。
a.在一个示例中,VVC的条款C.6中规定的子比特流提取处理中的以下步骤:
–从outBitstream中移除以下所有条件为真的所有NAL单元:
–nal_unit_type不等于IDR_W_RADL、IDR_N_LP或CRA_NUT。
–对于在0到NumLayersInOls[targetOlsIdx]–1(包括端值)的范围内的j的值,nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。
–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][j]。
改为如下:
–从outBitstream中移除以下所有条件为真的所有VCL NAL单元:
–nal_unit_type不等于IDR_W_RADL、IDR_N_LP或CRA_NUT。
–对于在0到NumLayersInOls[targetOlsIdx]–1(包括端值)的范围内的j的值,nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。
–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][j]。
关于APS的数量
在以下讨论中,
“滤波器的最大允许数量”可以指“可以为序列/图片/条带由一个或多个APS信令通知的滤波器的最大允许数量”。
“APS NAL单元的最大允许数量”可以指“可以为序列/图片/条带信令通知APS NAL单元的最大允许数量”。
“滤波器系数的最大允许数量”可以指“可以为序列/图片/条带由一个或多个APS信令通知的滤波器系数的最大允许数量”。
24.关于解决第十二个问题的APS NAL单元的数量:
a.下面的APS NAL单元的种类可以是ALF APS、LMCS APS、SCALING APS中的一种或多种。
b.在一个示例中,包含与不同颜色分量相关的信息的APS可以被单独信令通知。
i.例如,APS NAL单元可以仅包含与亮度相关的语法元素(例如,亮度滤波器)。
ii.此外,APS NAL单元可以仅包含与色度(例如Cb和/或Cr)相关的语法元素(例如,色度滤波器)。
1)例如,APS NAL单元可以只包含色度ALF语法元素。
2)例如,APS NAL单元可以只包含CCALF语法元素。
3)或者,APS NAL单元可以仅包含CCALF Cb语法元素。
4)或者,APS NAL单元可以仅包含CCALF Cr语法元素。
iv.例如,在APS中信令通知一个或多个SE,以指示APS中包含哪一个(多个)颜色分量。
c.在一个示例中,可以为序列/图片/条带信令通知的APS NAL单元的最大允许数量可以取决于预定义的值(例如预定义的存储器尺寸或预定义的滤波器数量)。
d.在一个示例中,要求在APS中为序列/图片/条带信令通知的滤波器数量不应大于在APS中信令通知的滤波器的最大允许数量。
e.在一个示例中,要求在APS中为序列/图片/条带信令通知的滤波器系数的数量不应大于在APS中信令通知的滤波器系数的最大允许数量。
i.在APS中信令通知的滤波器系数的最大允许数量可以是预定义的数量。
ii.对于不同的APS类型,在APS中信令通知的滤波器系数的最大允许数量可能不同。
iii.在APS中信令通知的滤波器系数的最大允许数量可以从编码器信令通知到解码器,例如在VPS/SPS/PPS/PH/SH/序列标头中。
f.在一个示例中,要求在APS中为序列/图片/条带信令通知的滤波器的数量不应大于在APS中信令通知的滤波器的最大允许数量。
g.在一个示例中,在APS中为不同颜色分量信令通知的滤波器的最大允许数量可以不同。
i.在一个示例中,在APS中信令通知的亮度滤波器的最大允许数量和在APS中信令通知的色度滤波器的最大数量可以不同。
ii.例如,在特定APS类型(例如,ALF/LMCS/SCALING)的APS中信令通知的亮度滤波器的最大允许数量等于第一特定值。
iii.在特定APS类型(例如,ALF/LMCS/SCALING)的APS中信令通知的色度(例如Cb和/或Cr)滤波器的最大允许数量等于第二特定值。
iv.例如,在所有APS类型(例如,ALF/LMCS/SCALING)的APS中信令通知的亮度滤波器的最大允许数量等于第一特定值。
v.另外,在所有APS类型(例如,ALF/LMCS/SCALING)的APS中信令通知的色度(例如Cb和/或Cr)滤波器的最大允许数量等于第二特定值。
h.在一个示例中,ALF亮度滤波器的最大允许数量、ALF色度滤波器的最大允许数量和CCALF滤波器的最大允许数量可以不同。
i.例如,ALF亮度滤波器的最大允许数量等于X1(例如,X1=25x8=200)。
ii.例如,对于ALF APS单元,ALF色度滤波器的最大允许数量等于X2(例如,X2=8x8=64)。
iii.例如,对于ALF APS单元,CCALF滤波器的最大允许数量等于X3(例如,X3=4x8x2=64)。
1)或者,CCALF Cb滤波器的最大允许数量为Y1(例如,Y1=4x8=32)。
2)此外,CCALF Cr滤波器的最大允许数量为Y2(例如,Y2=4x8=32)。
iv.在一个示例中,X1、X2、X3、Y1、Y2是预定义值。
i.在一个示例中,APS NAL单元内的滤波器的每个最大允许数量等于K_i,其中,K表示特定值,并且i表示滤波器类型(例如,亮度滤波器、色度滤波器、ccalf滤波器等)。
i.例如,ALF亮度滤波器的K_i等于25x8=200。
ii.例如,ALF色度滤波器的K_i等于8x8=64。
iii.例如,CCALF滤波器的K_i等于4x8x2=64。
1)或者,CCALF Cb滤波器的K_i等于4x8=32。
2)或者,CCALF Cr滤波器的K_i等于4x8=32。
j.在一个示例中,最大允许数量可以从编解码器信令通知到解码器,例如在VPS/SPS/PPS/PH/SH/序列标头中。
i.例如,本权利要求中的“最大允许数量”可以指APS NAL单元的最大允许数量,或者滤波器的最大允许数量,或者滤波器系数的最大允许数量。
ii.例如,可以信令通知特定类型的APS NAL单元(例如,aps_params_type等于ALFAPS)的最大允许数量。
1)例如,最大允许数量可以在SPS级别信令通知。
2)例如,最大允许数量可以在PH/SH级别信令通知。
iii.例如,最大允许数量的信令通知可以取决于是否启用编解码工具(ALF/CCALF/LMCS/缩放列表)。
1)在一个示例中,当禁用ALF/CCALF时,可能不会信令通知ALF/CCALF APS的最大允许数量。
a.另外,当不存在时,该数量被推断为等于特定值(例如0)。
2)在一个示例中,当CCALF被禁用时,对于具有等于CCALF APS ID(例如,ph_cc_alf_cb_aps_id、ph_cc_alf_cr_aps_id、slice_cc_alf_cb_aps_id、slice_cc_alf_cr_aps_id)的APS ID(例如adaptation_parameter_set_id)的ALF APS的最大允许数量可能不会被信令通知。
a.另外,当不存在时,该数量被推断为等于特定值(例如0)。
3)如何信令通知较小视频单元(例如,图片、条带)的最大允许数量可以取决于较高级别(例如,SPS)的最大允许数量。
a.例如,ALF亮度APS的最大允许数量取决于ALF APS的最大允许数量。
iv.例如,可以信令通知从最大允许数量(表示为N)(例如N-M或M-N,其中,M是小于N的特定值)推导的变量。
k.在一个示例中,最大允许数量取决于色度格式。
i.例如,亮度/色度的最大允许数量可以取决于ChromaArrayType是否等于0(例如,4:0:0和4:0:0具有单独的颜色平面编解码)。
ii.例如,ALF/SCALING/LMCS APS的最大允许数量取决于ChromaArrayType是否等于0。
l.在一个示例中,上述最大允许数量可以取决于是否启用了编解码工具。
i.例如,上述最大允许数量取决于是否启用ALF,和/或是否在SPS/PPS/PH/SH级别启用CCALF。
ii.例如,ALF APS的最大允许数量取决于是否启用ALF,和/或是否在SPS/PPS/PH/SH级别启用CCALF。
iii.例如,LMCS APS的最大允许数量取决于是否启用LMCS,和/或是否在SPS/PPS/PH/SH级别启用色度残差缩放(chroma residual scaling,CRS)。
iv.例如,SCALING APS的最大允许数量取决于是否在SPS/PPS/PH/SH级别启用显式缩放列表。
m.在一个示例中,如何对APS ID进行编解码可以取决于受限的数量。
i.在一个示例中,APS ID可以被ue(v)编解码,在0到K(例如,127或255)(包括端值)的范围内。
ii.或者,APS ID可以被u(X)编解码,例如X=7或8。
1)可以在APS ID被编解码之前信令通知X。
2)可以在APS ID被编解码之前推导X。
3)可以基于最大允许数量推导X。
iii.或者,信令通知APS ID的最大数量。
1)例如,APS ID的最大数量可以被u(X)编解码,例如X=7或8。
2)此外,APS ID可以被u(v)编解码。
iv.例如,上面提到的APS ID可以是以下一项或多项:
1)APS语法结构中的adaptation_parameter_set_id。
2)PH语法结构中的ph_alf_aps_id_luma[i]、ph_alf_aps_id_chroma、ph_cc_alf_cb_aps_id、ph_cc_alf_cr_aps_id。
3)SH语法结构中的slice_alf_aps_id_luma[i]、slice_alf_aps_id_chroma、slice_cc_alf_cb_aps_id、slice_cc_alf_cr_aps_id。
4)PH语法结构中的ph_lmcs_aps_id。
5)PH语法结构中的ph_scaling_list_aps_id。
n.在一个示例中,上述约束可以由比特流一致性、比特流约束或语法表中的显式信令通知来表示。
o.在一个示例中,上述限度/限制/约束可能取决于档次/级别/一般约束标志等。
6实施例示例
6.1.实施例1:根据条带类型的色度QP表
以粗斜体下划线文本标记的更改是基于JVET-Q2001-vC。并且被删除的文本被标记在左右双括号中(例如,[[]]),指示被删除的文本在双括号之间。
7.3.2.3序列参数集RBSP语法
7.3.2.3序列参数集RBSP语法
……
等于1指定仅信令通知一个色度QP映射表,并且该表适用于Cb和Cr残差,并且当sps_joint_cbcr_enabled_flag等于1时还适用于联合Cb-Cr残差。same_qp_table_for_chroma等于0指定在SPS中信令通知色度QP映射表,两个用于Cb和Cr,并且当sps_joint_cbcr_enabled_flag等于1时,一个还用于联合Cb-Cr。当比特流中不存在same_qp_table_for_chroma时,推断same_qp_table_for_chroma的值等于1。]]
[i]加26指定用于描述第i个色度QP映射表的起始亮度和色度QP。qp_table_start_minus26[i]的值应在-26-QpBdOffset至36(包括端值)的范围内。当qp_table_start_minus26[i]不存在于比特流中时,qp_table_start_minus26[i]的值被推断为等于0。]]
[i]加1指定用于描述第i个色度QP映射表的点的数量。num_points_in_qp_table_minus1[i]的值应在0到63+QpBdOffset(包括端值)的范围内。当num_points_in_qp_table_minus1[0]不存在于比特流中时,num_points_in_qp_table_minus1[0]的值被推断为等于0。]]
[i][j]指定用于推导第i个色度QP映射表的第j个枢轴点的输入坐标的增量值。当比特流中不存在delta_qp_in_val_minus1[0][j]时,delta_qp_in_val_minus1[0][j]的值被推断为等于0。]]
对于i=0..numQpTables–1的第i个色度QP映射表ChromaQpTable[i]被推导如下:]]
当same_qp_table_for_chroma等于1时,对于在-QpBdOffset到63(包括端值)的范围内的k,ChromaQpTable[1][k]和ChromaQpTable[2][k]被设置为等于ChromaQpTable[0][k]。
比特流一致性的要求是,qpInVal[i][j]和qpOutVal[i][j]的值应在-QpBdOffset至63(包括端值)的范围内,i在0至numQpTables–1(包括端值)的范围内,并且j在0至num_points_in_qp_table_minus1[i]+1(包括端值)的范围内。
……
8.7.1量化参数的推导过程
……
当ChromaArrayType不等于0且treeType等于SINGLE_TREE或DUAL_TREE_CHROMA时,以下适用:
–当treeType等于DUAL_TREE_CHROMA时,变量QpY被设置为等于覆盖亮度位置(xCb+cbWidth/2,yCb+cbHeight/2)的亮度编解码单元的亮度量化参数QpY。
–变量qPCb、qPCr和qPCbCr推导如下:
qPChroma=Clip3(-QpBdOffset,63,QpY) (1143)
qPCb=ChromaQpTable[0][qPChroma] (1144)
qPCr=ChromaQpTable[1][qPChroma] (1145)
qPCbCr=ChromaQpTable[2][qPChroma] (1146)
……
6.2.实施例2:枢轴点的数量和映射色度QP的裁剪
以粗体斜体标记的更改是基于JVET-Q2001-vC。
7.3.2.3序列参数集RBSP语法
[i][[加1]]指定用于描述第i个色度QP映射表的点的数量。num_points_in_qp_table[[_minus1]][i]的值应在0到63+QpBdOffset(包括端值)的范围内。[[当num_points_in_qp_table_minus1[0]不存在于比特流中时,num_points_in_qp_table_minus1[0]的值被推断为等于0。]]
[i][j]指定用于推导第i个色度QP映射表的第j个枢轴点的输入坐标的增量值。当比特流中不存在delta_qp_in_val_minus1[0][j]时,delta_qp_in_val_minus1[0][j]的值被推断为等于0。
对于i=0..numQpTables–1的第i个色度QP映射表ChromaQpTable[i]被推导如下:
当same_qp_table_for_chroma等于1时,对于在-QpBdOffset到63(包括端值)的范围内的k,ChromaQpTable[1][k]和ChromaQpTable[2][k]被设置为等于ChromaQpTable[0][k]。
比特流一致性的要求是,对于在0至numQpTables-1(包括端值)的范围内的i以及对于在0至num_points_in_qp_table_minus1[i]+1(包括端值)的范围内的j,qpInVal[i][j][[和qpOutVal[i][j]]]的值应在-QpBdOffset至63(包括端值)的范围内。
6.3.实施例3
以粗斜体下划线文本标记的更改基于JVET-Q2001-vE。
对于i=0..numQpTables–1的第i个色度QP映射表ChromaQpTable[i]被推导如下:
当same_qp_table_for_chroma等于1时,对于在-QpBdOffset到63(包括端值)的范围内的k,ChromaQpTable[1][k]和ChromaQpTable[2][k]被设置为等于ChromaQpTable[0][k]。
比特流一致性的要求是,对于在0至numQpTables–1(包括端值)的范围内的i以及对于在0至num_points_in_qp_table_minus1[i]+1(包括端值)的范围内的j,qpInVal[i][j]和qpOutVal[i][j]的值应在-QpBdOffset至63(包括端值)的范围内。
6.4.实施例4
7.3.2.3序列参数集RBSP语法
7.4.3.3序列参数集RBSP语义
…
等于1指定仅信令通知一个色度QP映射表,并且该表应用于Cb和Cr残差,并且当sps_joint_cbcr_enabled_flag等于1时,还应用于联合Cb-Cr残差。same_qp_table_for_chroma等于0指定,在SPS中信令通知 色度QP映射表,两个用于Cb和Cr,并且当sps_joint_cbcr_enabled_flag等于1时,一个还用于联合Cb-Cr。当比特流中不存在same_qp_table_for_chroma时,推断same_qp_table_for_chroma的值等于1。
[[加26]]指定用于描述 第i个色度QP映射表的起始亮度和色度QP。[i]的值应在[[-26]]-QpBdOffset至[[36]](包括端值)的范围内。当[i]不存在于比特流中时,[i]的值被推断为等于0。
比特流一致性的要求是,对于在0至numQpTables-1(包括端值)的范围内的i以及对于在0至num_points_in_qp_table_minus1[i]+1(包括端值)的范围内的j,qpInVal[i][j]和qpOutVal[i][j]的值应在-QpBdOffset至63(包括端值)的范围内。
…
8.7.1量化参数的推导过程
…
当ChromaArrayType不等于0且treeType等于SINGLE_TREE或DUAL_TREE_CHROMA时,以下适用:
–当treeType等于DUAL_TREE_CHROMA时,变量QpY被设置为等于覆盖亮度位置(xCb+cbWidth/2,yCb+cbHeight/2)的亮度编解码单元的亮度量化参数QpY。
–变量qPCb、qPCr和qPCbCr推导如下:
qPChroma=Clip3(-QpBdOffset,63,QpY) (1143)
qPCb=ChromaQpTable[0][qPChroma] (1144)
qPCr=ChromaQpTable[1][qPChroma] (1145)
qPCbCr=ChromaQpTable[2][qPChroma] (1146)
……
6.5.实施例5
以粗斜体下划线标记新添加的文本并且被删除的文本被标记在左右双括号中(例如,[[]]),表示被删除的文本在双括号之间。它是基于JVET-Q2001-vE。
7.3.2.3序列参数集RBSP语法
7.4.3.3序列参数集RBSP语义
…
等于1指定仅信令通知一个色度QP映射表,并且该表适用于Cb和Cr残差,并且当sps_joint_cbcr_enabled_flag等于1时还适用于联合Cb-Cr残差。等于0指定在SPS中信令通知 色度QP映射表,两个用于Cb和Cr,并且当sps_joint_cbcr_enabled_flag等于1时,一个还用于联合Cb-Cr。当比特流中不存在时,推断的值等于1。
…
8.7.1量化参数的推导过程
…
当ChromaArrayType不等于0且treeType等于SINGLE_TREE或DUAL_TREE_CHROMA时,以下适用:
–当treeType等于DUAL_TREE_CHROMA时,变量QpY被设置为等于覆盖亮度位置(xCb+cbWidth/2,yCb+cbHeight/2)的亮度编解码单元的亮度量化参数QpY。
–变量qPCb、qPCr和qPCbCr推导如下:
qPChroma=Clip3(-QpBdOffset,63,QpY) (1143)
6.6.实施例6
在JVET-Q2001-vE的基础上建议的规范变更如下描述。已删除的文本用左右双括号标记(例如,[[]]),表示已删除文本在双括号之间,并且新添加的文本以粗斜体下划线文本突出显示。
7.3.10.2编解码树单元语法
6.7.第七组实施例
这是上面章节5中总结的项目20的一组实施例。
6.7.1.示例实施例
在一个示例中,SPS语法结构可以改变如下:
在一个示例中,PPS语法结构可以改变如下:
在一个示例中,PH语法结构可以改变如下:
在一个示例中,PH语法结构可以改变如下:
等于[[1]]指定residual_coding()语法结构用于解析当前条带的变换跳过块的残差样点。等于[[0]]指定residual_ts_coding()语法结构用于解析当前条带的变换跳过块的残差样点。当不存在时,推断其等于[[0]]
在一个示例中,transform_unit()语法结构可以改变如下:
6.7.2.另一个示例实施例
或者,PPS、PH、SH语法可以更改如下:
等于[[1]]指定residual_coding()语法结构用于解析当前条带的变换跳过块的残差样点。等于[[0]]指定residual_ts_coding()语法结构用于解析当前条带的变换跳过块的残差样点。当不存在时,推断等于0。
6.7.3.另一个示例实施例
或者,PPS、SH语法可以更改如下:
等于[[1]]指定residual_coding()语法结构用于解析当前条带的变换跳过块的残差样点。 等于[[0]]指定residual_ts_coding()语法结构用于解析当前条带的变换跳过块的残差样点。当 不存在时,推断等于0。
6.7.4.另一个示例实施例
或者,SH语法可以更改如下:
等于[[1]]指定residual_coding()语法结构用于解析当前条带的变换跳过块的残差样点。 等于[[0]]指定residual_ts_coding()语法结构用于解析当前条带的变换跳过块的残差样点。当 不存在时,推断等于0。
图3是可实现本文中所公开的各种技术的示例视频处理系统1900的框图。各种实施方式可以包括系统1900中的一些或全部组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收,或者可以以压缩或编码的格式接收。输入1902可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
系统1900可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以减少从输入1902到编解码组件1904的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储或经由所连接的通信来发送,如组件1906所表示的。在输入1902处接收的视频的存储或通信的比特流(或编解码)表示可以由组件1908使用,以生成被发送到显示接口1910的像素值或可显示视频。从比特流表示中生成用户可见的视频的过程有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但是应当理解,在编码器处使用编解码工具或操作,并且将由解码器进行反演编解码的结果的对应解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(universal serialbus,USB)或高清晰度多媒体接口(high definition multimedia interface,HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,诸如移动电话、膝上型计算机、智能电话或其它能够进行数字数据处理和/或视频显示的装设备。
图4是视频处理装置3600的框图。装置3600可以用于实现本文中所述的方法中的一个或多个。装置3600可以实施在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以配置为实现本文档中所述的一个或多个方法。(多个)存储器3604可以用于存储数据和代码,该代码用于实现本文所描述的方法和技术。视频处理硬件3606可以用于在硬件电路中实现本文档中所描述的一些技术。
图6是示出可利用本公开的技术的示例视频编解码系统100的框图。
如图6所示,视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码的视频数据,其可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码的视频数据,该目标设备120可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备的源、从视频内容提供者接收视频数据的接口、和/或生成视频数据的计算机图形系统,或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法元素。I/O接口116包括调制器/解调器(调制解调器)和/或发送器。可以将编码的视频数据经由I/O接口116通过网络130a直接发送到目标设备120。还可以将编码的视频数据存储到存储介质/服务器130b上,用于由目标设备120存取。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以对编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成,或可以在配置为与外置显示设备相接的目标设备120外部。
视频编码器114和视频解码器124可以根据视频压缩标准(诸如,高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准和其他当前和/或其他标准)进行操作。
图7是示出视频编码器200的示例的框图,该视频编码器200可以是图6中示出的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或全部技术。在图7的示例中,视频编码器200包括多个功能组件。本公开所描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中,处理器可以配置为进行本公开中描述的任何或全部技术。
视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重建单元212、缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以以IBC模式进行预测,其中,至少一个参考图片是当前视频块所位于的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以被高度集成,但是出于解释的目的在图7的示例中分开表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以例如基于错误结果选择帧内或帧间的编解码模式中的一个,并且将得到的帧内或帧间编解码块提供到残差生成单元207来生成残差块数据而且提供到重建单元212来重建编解码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测的组合(CIIP)模式,其中,预测是基于帧间预测信号和帧内预测信号。模式选择单元203还可以为帧间预测情况下的块选择运动矢量的分辨率(例如子像素或整个像素精度)。
为了对当前视频块进行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较,生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的图片(而不是与当前视频块相关联的图片)的运动信息和解码样点来为当前视频块确定预测的视频块。
运动估计单元204和运动补偿单元205可以为当前视频块进行不同操作,例如执行不同操作取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以进行当前视频块的单向预测,并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符、和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可以进行当前视频块的双向预测,运动估计单元204可以在列表0的参考图片中搜索当前视频块的参考视频块并且还可以在列表1的参考图片中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引和当前视频块的运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出运动信息的全部集合,用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的运动信息的全部集合。而是,运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与邻域视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示:向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息的值。
在另一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(motion vector difference,MVD)。运动矢量差指示当前视频块的运动矢量与指示视频块的运动矢量之间的差。视频解码器300可以使用指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所讨论的,视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性的信令通知技术的两个示例包括高级运动矢量预测(advanced motionvector predication,AMVP)和merge模式信令通知。
帧内预测单元206可以对当前视频块进行帧内预测。当帧内预测单元206对当前视频块进行帧内预测时,帧内预测单元206可以基于相同图片中其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如,由减号表示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
在其他示例中,例如在跳过模式下,对于当前视频块可能不存在当前视频块的残差数据,并且残差生成单元207可以不进行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以将逆量化和逆变换分别应用于变换系数视频块,来从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点,以产生与当前块相关联的重建视频块用于存储在缓冲器213中。
在重建单元212重建视频块之后,可以进行环路滤波操作以降低视频块中视频块化伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以进行一个或多个熵编码操作以生成熵编码数据并且输出包括熵编码数据的比特流。
所公开的技术的一些实施例包括作出决定或确定以启用视频处理工具或模式。在一个示例中,当启用视频处理工具或模式时,编码器将在视频的块的处理中使用或实现该工具或模式,但不一定基于该工具或模式的使用来修改得到的比特流。也就是说,当基于该决定或确定来启用视频处理工作或模式时,从视频的块到视频的比特流(或比特流表示)的转换将使用该视频处理工具或模式。在另一示例中,当启用视频处理工具或模式时,解码器将在知道比特流已基于视频处理工具或模式被修改的情况下处理比特流。即,将使用基于该决定或确定而启用的视频处理工具或模式来执行从视频的比特流到视频的块的转换。
图8是示出视频解码器300的示例的框图,该视频解码器300可以是图6中示出的系统100中的视频解码器114。
视频解码器300可以被配置为进行本公开的任何或全部技术。在图8的示例中,视频解码器300包括多个功能组件。本公开所描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中,处理器可以配置为进行本公开中描述的任何或全部技术。
在图8的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重建单元306和缓冲器307。在一些示例中,视频解码器300可以进行与关于视频编码器200(图7)所描述的编码过程总体反演的解码过程。
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码视频数据(例如,视频数据的编解码块)。熵解码单元301可以对熵编解码视频进行解码,并且根据熵解码视频数据,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302例如可以通过进行AMVP和merge模式确定此类信息。
运动补偿单元302可以产生运动补偿块,可能地基于插值滤波器进行插值。要以子像素精度使用的插值滤波器的标识符可以被包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在编码视频块的期间所使用的插值滤波器,来计算出参考块的子整数个像素的插值的值。运动补偿单元302可以根据接收的语法信息确定由视频编码器200所使用的插值滤波器并且使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定:用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸,描述编码视频序列的图片的每个宏块如何被分割的分割信息,指示如何编码每个分割的模式,每个帧间编解码块的一个或多个参考帧(和参考帧列表),以及对编码视频序列进行解码的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303逆量化(即去量化)在比特流中提供的且由熵解码单元301解码的量化的视频块系数。逆变换单元303应用逆变换。
重建单元306可以用由运动补偿单元202或帧内预测单元303生成的对应预测块求和残差块,以形成解码块。如所期望的,去块化滤波器还可以应用于滤波解码块以便移除块化伪影。解码视频块然后存储在缓冲器307中,该缓冲器307提供用于随后的运动补偿/帧内预测的参考块,并且还产生用于在显示设备上呈现的解码视频。
接下来提供一些实施例优选的解决方案的列表。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如,项目1)。
图9是视频处理的示例方法900的流程图。操作902包括:根据规则执行视频和视频的比特流之间的转换,其中,规则规定,指示每个输出层集合的每个编解码层中的子层的数量的变量是基于被包括在视频参数集(VPS)中的语法元素而被推导的;并且其中,规则还规定,在子比特流提取处理期间,来自变量的信息用于从比特流中移除视频编解码层网络抽象层单元。
在方法900的一些实施例中,变量包括数组NumSubLayersInLayerInOLS[][]。在方法900的一些实施例中,当以下所有条件都为真时,从比特流中移除所有视频编解码层网络抽象层单元:nal_unit_type不等于IDR_W_RADL、IDR_N_LP或CRA_NUT,对于在0到NumLayersInOls[targetOlsIdx]-1(包括端值)的范围内的j的值,nuh_layer_id等于LayerIdInOls[targetOlsIdx][j],并且TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][j]。在方法900的一些实施例中,规则还规定,在子比特流提取处理期间,来自变量的信息不用于从比特流中移除某些类型的非视频编解码层网络抽象层单元。
图10是视频处理的示例方法1000的流程图。操作1002包括:为包括视频块的视频和视频的比特流之间的转换,确定默认色度量化参数(QP)表是基于指示视频的颜色格式的ChromaArrayType的值。操作1004包括基于确定执行转换。
在方法1000的一些实施例中,当ChromaArrayType的值等于3时,标识QP色度QP表为默认色度QP表。在方法1000的一些实施例中,ChromaArrayType的值等于3与4:4:4颜色格式相关联。在方法1000的一些实施例中,当ChromaArrayType的值等于2时,标识QP色度QP表是默认色度QP表。在方法1000的一些实施例中,ChromaArrayType的值等于2与4:2:2颜色格式相关联。
图11是视频处理的示例方法1100的流程图。操作1102包括:根据规则执行视频和视频的比特流之间的转换,其中,规则规定,自适应参数集(APS)网络抽象层单元的数量或包括转换的信息的APS网络抽象层单元的特征。
在方法1100的一些实施例中,规则规定,每个APS网络抽象层单元包括与视频的不同颜色分量相关的信息。在方法1100的一些实施例中,规则规定,APS网络抽象层单元仅包括亮度相关的语法元素。在方法1100的一些实施例中,规则规定,APS网络抽象层单元仅包括色度相关的语法元素。在方法1100的一些实施例中,APS网络抽象层单元仅包括色度自适应环路滤波器(ALF)语法元素。在方法1100的一些实施例中,APS网络抽象层单元仅包括跨分量自适应环路滤波器(CC-ALF)语法元素。在方法1100的一些实施例中,APS网络抽象层单元仅包括跨分量自适应环路滤波器(CC-ALF)蓝差色度(Cb)语法元素。在方法1100的一些实施例中,APS网络抽象层单元仅包括跨分量自适应环路滤波器(CC-ALF)红差色度(Cr)语法元素。
在方法1100的一些实施例中,规则规定,用于编解码工具的亮度滤波器和色度滤波器与不同的APS类型相关联。在方法1100的一些实施例中,编解码工具包括自适应环路滤波器(ALF)、亮度映射与色度缩放(LMCS)或缩放列表。在方法1100的一些实施例中,规则规定,比特流中的一个或多个语法元素被包括在APS中以指示一个或多个颜色分量中的哪一个被包括在APS中。在方法1100的一些实施例中,规则规定,被包括在序列、图片或条带中的APS网络抽象层单元的最大允许数量是基于预定义值。在方法1100的一些实施例中,预定义值包括预定义存储器尺寸或滤波器的预定义数量。
在方法1100的一些实施例中,被包括在序列、图片或条带的比特流中的一个或多个APS中的滤波器的数量小于或等于在一个或多个APS中指示的滤波器的最大允许数量。在方法1100的一些实施例中,被包括在用于序列、图片或条带的比特流中的一个或多个APS中的滤波器系数的数量小于或等于在一个或多个APS中指示的滤波器系数的最大允许数量。在方法1100的一些实施例中,在一个或多个APS中指示的滤波器系数的最大允许数量是预定义数量。在方法1100的一些实施例中,在一个或多个APS中指示的滤波器系数的最大允许数量对于不同的APS类型是不同的。在方法1100的一些实施例中,在一个或多个APS中指示的滤波器系数的最大允许数量被包括在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)中,图片标头(PH)、条带标头(SH)或序列标头中。
在方法1100的一些实施例中,在序列、图片或条带的比特流中的一个或多个APS中指示的滤波器的数量小于或等于在一个或多个APS中指示的滤波器的最大允许数量。在方法1100的一些实施例中,在比特流中的一个或多个APS中针对不同颜色分量指示的滤波器的最大允许数量是不同的。在方法1100的一些实施例中,在一个或多个APS中指示的亮度滤波器的最大允许数量和在一个或多个APS中指示的色度滤波器的最大数量是不同的。在方法1100的一些实施例中,在APS类型的一个或多个APS中指示的亮度滤波器的最大允许数量等于第一值。
在方法1100的一些实施例中,在APS类型的一个或多个APS中指示的色度滤波器的最大允许数量等于第二值。在方法1100的一些实施例中,在所有APS类型的一个或多个APS中指示的亮度滤波器的最大允许数量等于第一值。在方法1100的一些实施例中,在所有APS类型的一个或多个APS中指示的色度滤波器的最大允许数量等于第二特定值。在方法1100的一些实施例中,APS类型包括自适应环路滤波器(ALF)APS、亮度映射与色度缩放(LMCS)APS或缩放APS,或所有APS类型包括ALF APS、LMCS APS和缩放APS。在方法1100的一些实施例中,自适应环路滤波器(ALF)亮度滤波器的最大允许数量、ALF色度滤波器的最大允许数量和跨分量ALF(CC-ALF)滤波器的最大允许数量是不同的。在方法1100的一些实施例中,ALF亮度滤波器的最大允许数量等于X1。在方法1100的一些实施例中,ALF APS单元的ALF色度滤波器的最大允许数量等于X2。
在方法1100的一些实施例中,ALF APS单元的CC-ALF滤波器的最大允许数量等于X3。在方法1100的一些实施例中,ALF APS单元的CC-ALF蓝差色度(Cb)滤波器的最大允许数量等于Y1。在方法1100的一些实施例中,ALF APS单元的CC-ALF红差色度(Cr)滤波器的最大允许数量等于Y2。在方法1100的一些实施例中,X1、X2、X3、Y1或Y2是预定义值。在方法1100的一些实施例中,规则还规定,APS网络抽象层单元内的滤波器类型的滤波器的每个最大允许数量等于K_i,其中,K指示值,并且i指示滤波器类型。在方法1100的一些实施例中,自适应环路滤波器(ALF)亮度滤波器的K_i等于200。在方法1100的一些实施例中,自适应环路滤波器(ALF)色度滤波器的K_i等于64。在方法1100的一些实施例中,跨分量自适应环路滤波器(CC-ALF)滤波器的K_i等于64。在方法1100的一些实施例中,跨分量自适应环路滤波器(CC-ALF)蓝差色度(Cb)滤波器的K_i等于32。在方法1100的一些实施例中,跨分量自适应环路滤波器(CC-ALF)红差色度(Cr)滤波器的K_i等于32。在方法1100的一些实施例中,APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片标头(PH)、条带标头(SH)或序列标头中的比特流中被指示。在方法1100的一些实施例中,一种类型的APS网络抽象层单元的一个或多个最大允许数量被包括在比特流中。在方法1100的一些实施例中,一个或多个最大允许数量被包括在SPS中。
在方法1100的一些实施例中,一个或多个最大允许数量被包括在PH或SH中。在方法1100的一些实施例中,一个或多个最大允许数量基于是否启用编解码工具而在比特流中被指示。在方法1100的一些实施例中,编解码工具包括自适应环路滤波器(ALF)、跨分量ALF(CC-ALF)、亮度映射与色度缩放(LMCS)或缩放列表。在方法1100的一些实施例中,当ALF或CC-ALF被禁用时,与ALF或CC-ALF相关联的APS的一个或多个最大允许数量不被包括在比特流中。在方法1100的一些实施例中,一个或多个最大允许数量被推断为特定值。在方法1100的一些实施例中,当CC-ALF被禁用时,具有等于CC-ALF APS标识符的APS标识符的ALF APS的一个或多个最大允许数量不被包括在比特流中。在方法1100的一些实施例中,一个或多个最大允许数量被推断为特定值。在方法1100的一些实施例中,如何在第一视频级别包括视频的视频单元的一个或多个最大允许数量是基于视频的第二视频级别的一个或多个最大允许数量,并且第二视频级别高于第一视频级别。
在方法1100的一些实施例中,自适应环路滤波器(ALF)亮度APS的一个或多个最大允许数量是基于ALF APS的一个或多个最大允许数量。在方法1100的一些实施例中,在比特流中指示从一个或多个最大允许数量获得的变量。在方法1100的一些实施例中,在比特流中指示APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量,以及一个或多个最大允许数量是基于色度格式。在方法1100的一些实施例中,视频的亮度视频块或色度视频块的一个或多个最大允许数量是基于ChromaArrayType是否等于0,并且ChromaArrayType指示视频的颜色格式。在方法1100的一些实施例中,自适应环路滤波器(ALF)APS、跨分量ALF(CC-ALF)APS、亮度映射与色度缩放(LMCS)APS或缩放列表的一个或多个最大允许数量基于ChromaArrayType是否等于0,并且ChromaArrayType指示视频的颜色格式。在方法1100的一些实施例中,在比特流中指示APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量,以及一个或多个最大允许数量是基于是否启用编解码工具。
在方法1100的一些实施例中,一个或多个最大允许数量是基于是否启用自适应环路滤波器(ALF)编解码工具和/或是否在序列参数集(SPS)、图片参数集(PPS)、图片标头(PH)或条带标头(SH)级别启用跨分量ALF(CC-ALF)编解码工具。在方法1100的一些实施例中,自适应环路滤波器(ALF)APS的一个或多个最大允许数量是基于是否启用ALF编解码工具和/或是否在序列参数集(SPS)、图片参数集(PPS)、图片标头(PH)或条带标头(SH)级别启用跨分量ALF(CC-ALF)编解码工具。在方法1100的一些实施例中,亮度映射与色度缩放(LMCS)APS的一个或多个最大允许数量是基于是否启用LMCS编解码工具和/或是否在序列参数集(SPS)、图片参数集(PPS)、图片标头(PH)或条带标头(SH)级别启用色度残差缩放(CRS)编解码工具。在方法1100的一些实施例中,缩放APS的一个或多个最大允许数量是基于是否在序列参数集(SPS)、图片参数集(PPS)、图片标头(PH)或条带标头(SH)级别启用显式缩放列表。
在方法1100的一些实施例中,规则规定,APS标识符(APS ID)如何被包括在APS网络抽象层单元中是基于受限的数量。在方法1100的一些实施例中,APS ID在从0到K(包括端值)的范围内被ue(v)编解码,并且其中,K是整数。在方法1100的一些实施例中,APS ID被u(X)编解码,并且其中,X是整数。在方法1100的一些实施例中,在APS ID被包括在比特流中之前,X被包括在比特流中。在方法1100的一些实施例中,在APS ID被包括在比特流中之前推导X。在方法1100的一些实施例中,基于在比特流中指示APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量来推导X。在方法1100的一些实施例中,APS ID的最大数量被包括在比特流中。在方法1100的一些实施例中,APS ID的最大数量被u(X)编解码,并且其中,X是整数。在方法1100的一些实施例中,APS ID被u(v)编解码。在方法1100的一些实施例中,APS ID包括以下任何一个或多个:比特流中的APS语法结构中的adaptation_parameter_set_id,比特流中的图片标头(PH)语法结构中的ph_alf_aps_id_luma[i]、ph_alf_aps_id_chroma、ph_cc_alf_cb_aps_id或ph_cc_alf_cr_aps_id,比特流中的条带标头(SH)语法结构中的slice_alf_aps_id_luma[i]、slice_alf_aps_id_chroma、slice_cc_alf_cb_aps_id或slice_cc_alf_cr_aps_id,比特流中的PH语法结构中的ph_lmcs_aps_id,以及比特流中的PH语法结构中的ph_scaling_list_aps_id。在方法1100的一些实施例中,方法的使用在比特流中被隐式地或显式地指示。在方法1100的一些实施例中,方法的使用由比特流中的语法元素控制。在方法1100的一些实施例中,APS网络抽象层单元包括自适应环路滤波器(ALF)APS、亮度映射与色度缩放(LMCS)APS和缩放APS中的一个或多个。
在(多个)方法900-1100的一些实施例中,执行转换包括将视频编码到比特流中。在(多个)方法900-1100的一些实施例中,执行转换包括从视频生成比特流,并且方法还包括将比特流存储在非暂时性计算机可读记录介质中。在(多个)方法900-1100的一些实施例中,执行转换包括从比特流解码视频。在一些实施例中,一种视频解码装置,包括被配置为实施(多个)方法900-1100描述的操作的处理器。在一些实施例中,一种视频编码装置,包括被配置为实施(多个)方法900-1100描述的操作的处理器。在一些实施例中,其上存储有计算机指令的计算机程序产品,该指令在由处理器执行时使处理器实施(多个)方法900-1100描述的操作。在一些实施例中,一种非暂时性计算机可读存储介质存储根据(多个)方法900-1100描述的操作生成的比特流。在一些实施例中,一种非暂时性计算机可读存储介质存储指令,该指令使处理器实施(多个)方法900-1100描述的操作。在一些实施例中,一种比特流生成的方法,包括:根据为(多个)方法900-1100所描述的操作生成视频的比特流,以及将比特流存储在计算机可读程序介质上。在一些实施例中,一种方法、一种装置、一种根据本文档中描述的公开方法或系统生成的比特流。
以下部分在以下示例条款中进一步描述了本专利文档中解释的至少一些技术:
条款1.一种视频处理的方法,包括:执行包括视频图片的视频和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中,格式规则规定,指示在转换期间使用的一个或多个初始量化参数(QP)值的一个或多个语法元素是否以及在哪里被包括在编解码表示中。
条款2.根据条款1所述的方法,其中,格式规则规定,指示一个或多个QP值的语法元素被包括在图片标头中而不被包括在图片参数集中。
条款3.根据条款1所述的方法,其中,格式规则规定,指示一个或多个QP值的语法元素被包括在图片参数集中并在一个或多个图片标头中被重复。
条款4.根据条款1所述的方法,其中,格式规则规定,一个或多个语法元素被包括在多个级别的编解码表示中,所述多个级别根据规则包括序列参数集、图片参数集、图片标头和序列标头中的两个或多个。
条款5.根据条款4所述的方法,其中,规则是基于视频图片的视频图片类型。
条款6.一种视频处理的方法,包括:为视频的视频块和视频的编解码表示之间的转换,确定使用初始量化参数(QP)值;以及基于该确定来执行转换,其中,编解码表示中的语法元素使用偏移关系来指示初始QP值,该偏移关系包括偏移值K,该偏移值K是(a)在1和25之间或者(b)大于26或者(c)用于转换的最大允许QP值的函数或者(d)用于转换的位深度的函数。
条款7.根据条款6所述的方法,其中,K是视频块的类型或视频图片或包含视频块的视频条带的类型的函数。
条款8.一种视频处理方法,包括:为视频的色度块和视频的编解码表示之间的转换,根据规则基于包含色度块的图片或条带的类型来确定一个或多个量化参数(QP)表;以及基于该确定来执行转换。
条款9.根据条款8所述的方法,其中,规则规定,一个或多个QP表不同于I、B和P视频图片。
条款10.根据条款8所述的方法,其中,规则规定,形成I编解码视频图片的一个或多个QP表不同于B和P编解码视频图片的一个或多个QP表。
条款11.根据条款8-10中任一项所述的方法,其中,规则是基于色度块所属的图片类型和条带类型的分类,其中,数字M表示分类的索引,其中,M是大于1的整数。
条款12.一种视频处理方法,包括:为视频的色度块和视频的编解码表示之间的转换,确定一个或多个量化参数(QP)表;并且基于该确定来执行转换;其中,转换符合规定对应于一个或多个QP表的一个或多个语法元素的第一规则或者规定一个或多个QP表和色度块的编解码特性之间的关系的第二规则。
条款13.根据条款12所述的方法,其中,第一规则规定,一个或多个语法元素被包括在与编解码表示相关联的序列参数集中。
条款14.根据条款12-13所述的方法,其中,第二规则规定,一个或多个QP表基于用于转换的预测模式。
条款15.根据条款3所述的方法,其中,第二规则规定,帧内编解码色度块的一个或多个QP表不同于使用其他预测模式的色度块。
条款16.一种视频处理方法,包括:执行视频的色度块和视频的编解码表示之间的转换;其中,所述编解码表示符合格式规则,其中,格式规则规定,与用于转换的一个或多个色度量化参数(QP)表相关联的语法元素的特性。
条款17.根据条款16所述的方法,其中,格式规则规定一个或多个色度QP表的起始点语法元素的最大值。
条款18.根据条款17所述的方法,其中,格式规则规定,起始点语法元素具有偏移小于26的数量K的值。
条款19.根据条款16所述的方法,其中,格式规则规定,起始点语法元素偏移的值取决于色度块的当前图片是否是仅帧内图片。
条款20.根据条款16-19中任一项所述的方法,其中,格式规则规定,一个或多个色度QP表中的枢轴点的数量为零。
条款21.根据条款16-20中任一项所述的方法,由于枢轴点的数量为零,一个或多个色度QP表中的第i个条目被设置为等于对应的亮度QP表中的第i个条目。
条款22.根据条款16-21中任一项所述的方法,其中,语法元素被包括在编解码表示中的序列参数集和图片参数集两者中。
条款23.根据条款16-22中任一项所述的方法,其中,语法元素被包括在图片标头或序列标头中。
条款24.根据条款16至23中任一项所述的方法,其中,转换包括将视频编码成编解码表示。
条款25.根据条款16至24中任一项所述的方法,其中,转换包括对编解码表示进行解码以生成视频的像素值。
在本文档中,术语“视频处理”可指视频编码、视频解码、视频压缩或视频解压缩。例如,在从视频的像素表示到对应的比特流表示的转换期间,可以应用视频压缩算法,反之亦然。如语法所定义,当前视频块的比特流表示可(例如)对应于共位或散布在比特流内不同位置的比特。例如,可以根据变换和编解码的误差残差值并且还使用头中的比特和比特流中的其他字段,对宏块进行编码。此外,在转换期间,解码器可以基于该确定,在知道一些字段可能存在或不存在的情况下解析比特流,如以上解决方案中所述。类似地,编码器可确定包括或不包括某些语法字段,并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。
本文档中所述的公开和其他方案、示例、实施例、模块和功能操作可以被实现在数字电子电路中或者在计算机软件、固件或硬件中,含有本文档中所公开的结构以及其结构的等同物,或者它们中的一个或多个的组合。所公开的和其他实施例可以被实现为计算机可读介质上所编码的一个或多个计算机程序产品,例如一个或多个计算机程序指令模块,用于由数据处理装置执行或者控制数据处理装置的操作。该计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读可传播信号的复合物,或其一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号,例如,机器生成的电、光或电磁信号,其被生成来编码信息以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言,并且可以以任何形式来部署计算机程序,包括独立程序或适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不必须对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如,在标记语言文档中存储的一个或多个脚本)、在专用于所讨论的程序的单个文件中、或在多个协同文件中(例如存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行,该多个计算机位于一个站点处或者分布跨多个站点并由通信网络互连。
可以由执行一个或多个计算机程序的一个或多个可编程处理器来进行在本文档中所描述的过程和逻辑流,以通过在输入数据上操作并且生成输出来进行功能。也可以由专用逻辑电路(例如,现场可编程门阵列(field programmable gate array,FPGA)或专用集成电路(application specific integrated circuit,ASIC))进行过程和逻辑流,并且装置可以实施为专用逻辑电路(例如FPGA或ASIC)。
适合于计算机程序的执行的处理器包括例如通用和专用微处理器两者,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或者该两者接收指令和数据。计算机的基本元件是用于进行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个海量存储设备(例如磁、磁光盘或光盘),或者可操作地耦合以从海量存储设备(例如磁、磁光盘或光盘)接收数据或者将数据传输到海量存储设备(例如磁、磁光盘或光盘),或者以上两者。但是,计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质含有所有形式的非易失性存储器、介质和存储器设备,含有例如半导体存储器设备(例如EPROM、EEPROM和闪速存储器设备);磁盘(例如内部硬盘或可移动磁盘);磁光盘;和CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充,或者合并在专用逻辑电路中。
虽然本专利文档含有许多细节,但这些细节不应被解释为对任何主题或可要求保护的范围的限制,而是作为规定于特定技术的特定实施例的特征的描述。在本专利文档中,在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地,在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中来实现或者以各种合适的子组合来实现。此外,尽管特征可以如上文描述为以某些组合起作用并且甚至最初同样地要求,但是在某些情况下来自所要求保护的组合的一个或多个特征可以从组合中去除,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,尽管在附图中以特定顺序描绘了操作,但这不应当理解为要求按所示的特定次序或顺序次序进行此类操作或者进行所有示出的操作,以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分开不应被理解为在所有实施例中都要求这种分开。
仅描述了几个实现方式和示例,并且可以基于本专利文档中描述和示出的内容来作出其它实施方式、增强和变型。
Claims (92)
1.一种视频处理的方法,包括:
根据规则执行视频和所述视频的比特流之间的转换,
其中,所述规则规定,指示每个输出层集合的每个编解码层中的子层的数量的变量是基于被包括在视频参数集VPS中的语法元素而被推导的;并且
其中,所述规则还规定,在子比特流提取处理期间,来自所述变量的信息用于从所述比特流中移除视频编解码层网络抽象层单元。
2.根据权利要求1所述的方法,其中,所述变量包括数组NumSubLayersInLayerInOLS[][]。
3.根据权利要求2所述的方法,其中,当以下所有条件都为真时,从所述比特流中移除所有视频编解码层网络抽象层单元:
nal_unit_type不等于IDR_W_RADL、IDR_N_LP或CRA_NUT,
对于在0到NumLayersInOls[targetOlsIdx]-1(包括端值)的范围内的j的值,nuh_layer_id等于LayerIdInOls[targetOlsIdx][j],并且
TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][j]。
4.根据权利要求1至3中任一项所述的方法,其中,所述规则还规定,在所述子比特流提取处理期间,来自所述变量的信息不用于从所述比特流中移除某些类型的非视频编解码层网络抽象层单元。
5.一种视频处理的方法,包括:
为包括视频块的视频和所述视频的比特流之间的转换,确定默认色度量化参数QP表是基于指示所述视频的颜色格式的ChromaArrayType的值;并且
基于所述确定执行所述转换。
6.根据权利要求5所述的方法,其中,当所述ChromaArrayType的值等于3时,标识QP色度QP表为所述默认色度QP表。
7.根据权利要求6所述的方法,其中,所述ChromaArrayType的值等于3与4:4:4颜色格式相关联。
8.根据权利要求5所述的方法,其中,当所述ChromaArrayType的值等于2时,标识QP色度QP表是所述默认色度QP表。
9.根据权利要求8所述的方法,其中,所述ChromaArrayType的值等于2与4:2:2颜色格式相关联。
10.一种视频处理的方法,包括:
根据规则执行视频和所述视频的比特流之间的转换,
其中,所述规则规定,自适应参数集APS网络抽象层单元的数量或包括所述转换的信息的所述APS网络抽象层单元的特征。
11.根据权利要求10所述的方法,其中,所述规则规定,每个所述APS网络抽象层单元包括与所述视频的不同颜色分量相关的信息。
12.根据权利要求11所述的方法,其中,所述规则规定,APS网络抽象层单元仅包括亮度相关的语法元素。
13.根据权利要求11所述的方法,其中,所述规则规定,APS网络抽象层单元仅包括色度相关的语法元素。
14.根据权利要求13所述的方法,其中,所述APS网络抽象层单元仅包括色度自适应环路滤波器ALF语法元素。
15.根据权利要求13所述的方法,其中,所述APS网络抽象层单元仅包括跨分量自适应环路滤波器CC-ALF语法元素。
16.根据权利要求13所述的方法,其中,所述APS网络抽象层单元仅包括跨分量自适应环路滤波器CC-ALF蓝差色度Cb语法元素。
17.根据权利要求13所述的方法,其中,所述APS网络抽象层单元仅包括跨分量自适应环路滤波器CC-ALF红差色度Cr语法元素。
18.根据权利要求11所述的方法,其中,所述规则规定,编解码工具的亮度滤波器和色度滤波器与不同的APS类型相关联。
19.根据权利要求18所述的方法,其中,所述编解码工具包括自适应环路滤波器ALF、亮度映射与色度缩放LMCS或缩放列表。
20.根据权利要求11所述的方法,其中,所述规则规定,所述比特流中的一个或多个语法元素被包括在APS中以指示一个或多个颜色分量中的哪一个被包括在所述APS中。
21.根据权利要求10所述的方法,其中,所述规则规定,被包括在序列、图片或条带中的所述APS网络抽象层单元的最大允许数量是基于预定义值。
22.根据权利要求21所述的方法,其中,所述预定义值包括预定义存储器尺寸或滤波器的预定义数量。
23.根据权利要求10所述的方法,其中,被包括在序列、图片或条带的所述比特流中的一个或多个APS中的滤波器的数量小于或等于在所述一个或多个APS中指示的滤波器的最大允许数量。
24.根据权利要求10所述的方法,其中,被包括在序列、图片或条带的所述比特流中的一个或多个APS中的滤波器系数的数量小于或等于在所述一个或多个APS中指示的滤波器系数的最大允许数量。
25.根据权利要求24所述的方法,其中,在所述一个或多个APS中指示的所述滤波器系数的最大允许数量是预定义数量。
26.根据权利要求24所述的方法,其中,在所述一个或多个APS中指示的所述滤波器系数的最大允许数量对于不同的APS类型是不同的。
27.根据权利要求24所述的方法,其中,在所述一个或多个APS中指示的所述滤波器系数的最大允许数量被包括在视频参数集VPS、序列参数集SPS、图片参数集PPS中,图片标头PH、条带标头SH或序列标头中。
28.根据权利要求10所述的方法,其中,在序列、图片或条带的所述比特流中的一个或多个APS中指示的滤波器的数量小于或等于在所述一个或多个APS中指示的滤波器的最大允许数量。
29.根据权利要求10所述的方法,其中,在所述比特流中的一个或多个APS中针对不同颜色分量指示的滤波器的最大允许数量是不同的。
30.根据权利要求29所述的方法,其中,在所述一个或多个APS中指示的亮度滤波器的最大允许数量和在所述一个或多个APS中指示的色度滤波器的最大数量是不同的。
31.根据权利要求29所述的方法,其中,在APS类型的所述一个或多个APS中指示的亮度滤波器的最大允许数量等于第一值。
32.根据权利要求29所述的方法,其中,在APS类型的所述一个或多个APS中指示的色度滤波器的最大允许数量等于第二值。
33.根据权利要求29所述的方法,其中,在所有APS类型的所述一个或多个APS中指示的亮度滤波器的最大允许数量等于第一值。
34.根据权利要求29所述的方法,其中,在所有APS类型的所述一个或多个APS中指示的色度滤波器的最大允许数量等于第二特定值。
35.根据权利要求30至34中任一项所述的方法,
其中,所述APS类型包括自适应环路滤波器(ALF)APS、亮度映射与色度缩放(LMCS)APS或缩放APS,或
其中,所有APS类型包括所述ALF APS、所述LMCS APS和所述缩放APS。
36.根据权利要求10所述的方法,其中,自适应环路滤波器ALF亮度滤波器的最大允许数量、ALF色度滤波器的最大允许数量和跨分量ALF(CC-ALF)滤波器的最大允许数量是不同的。
37.根据权利要求36所述的方法,其中,所述ALF亮度滤波器的最大允许数量等于X1。
38.根据权利要求36所述的方法,其中,ALF APS单元的所述ALF色度滤波器的最大允许数量等于X2。
39.根据权利要求36所述的方法,其中,ALF APS单元的所述CC-ALF滤波器的最大允许数量等于X3。
40.根据权利要求36所述的方法,其中,ALF APS单元的CC-ALF蓝差色度Cb滤波器的最大允许数量等于Y1。
41.根据权利要求36所述的方法,其中,ALF APS单元的CC-ALF红差色度Cr滤波器的最大允许数量等于Y2。
42.根据权利要求37至41中任一项所述的方法,其中,X1、X2、X3、Y1或Y2是预定义值。
43.根据权利要求10所述的方法,其中,所述规则还规定,所述APS网络抽象层单元内的滤波器类型的滤波器的每个最大允许数量等于K_i,其中,K指示值,并且i指示所述滤波器类型。
44.根据权利要求43所述的方法,其中,自适应环路滤波器ALF亮度滤波器的K_i等于200。
45.根据权利要求43所述的方法,其中,自适应环路滤波器ALF色度滤波器的K_i等于64。
46.根据权利要求43所述的方法,其中,跨分量自适应环路滤波器CC-ALF滤波器的K_i等于64。
47.根据权利要求43所述的方法,其中,跨分量自适应环路滤波器CC-ALF蓝差色度Cb滤波器的K_i等于32。
48.根据权利要求43所述的方法,其中,跨分量自适应环路滤波器CC-ALF红差色度Cr滤波器的K_i等于32。
49.根据权利要求10所述的方法,其中,所述APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量在视频参数集VPS、序列参数集SPS、图片参数集PPS、图片标头PH、条带标头SH或序列标头中的所述比特流中被指示。
50.根据权利要求49所述的方法,其中,一种类型的APS网络抽象层单元的一个或多个最大允许数量被包括在所述比特流中。
51.根据权利要求50所述的方法,其中,所述一个或多个最大允许数量被包括在所述SPS中。
52.根据权利要求50所述的方法,其中,所述一个或多个最大允许数量被包括在所述PH或所述SH中。
53.根据权利要求49所述的方法,其中,所述一个或多个最大允许数量基于是否启用编解码工具而在所述比特流中被指示。
54.根据权利要求53所述的方法,其中,所述编解码工具包括自适应环路滤波器ALF、跨分量ALF(CC-ALF)、亮度映射与色度缩放LMCS或缩放列表。
55.根据权利要求54所述的方法,其中,当所述ALF或所述CC-ALF被禁用时,与所述ALF或所述CC-ALF相关联的APS的一个或多个最大允许数量不被包括在所述比特流中。
56.根据权利要求55所述的方法,其中,所述一个或多个最大允许数量被推断为特定值。
57.根据权利要求54所述的方法,其中,当所述CC-ALF被禁用时,具有等于CC-ALF APS标识符的APS标识符的ALF APS的一个或多个最大允许数量不被包括在所述比特流中。
58.根据权利要求57所述的方法,其中,所述一个或多个最大允许数量被推断为特定值。
59.根据权利要求54所述的方法,
其中,如何在第一视频级别包括所述视频的视频单元的一个或多个最大允许数量是基于所述视频的第二视频级别的所述一个或多个最大允许数量,并且
其中,所述第二视频级别高于所述第一视频级别。
60.根据权利要求59所述的方法,其中,自适应环路滤波器ALF亮度APS的一个或多个最大允许数量是基于ALF APS的一个或多个最大允许数量。
61.根据权利要求49所述的方法,其中,在所述比特流中指示从所述一个或多个最大允许数量获得的变量。
62.根据权利要求10所述的方法,
其中,在所述比特流中指示所述APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量,以及
其中,所述一个或多个最大允许数量是基于色度格式。
63.根据权利要求62所述的方法,
其中,所述视频的亮度视频块或色度视频块的一个或多个最大允许数量是基于ChromaArrayType是否等于0,并且
其中,所述ChromaArrayType指示所述视频的颜色格式。
64.根据权利要求62所述的方法,
其中,自适应环路滤波器(ALF)APS、跨分量ALF(CC-ALF)APS、亮度映射与色度缩放(LMCS)APS或缩放列表的一个或多个最大允许数量是基于ChromaArrayType是否等于0,并且
其中,所述ChromaArrayType指示所述视频的颜色格式。
65.根据权利要求10所述的方法,
其中,在所述比特流中指示所述APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量,以及
其中,所述一个或多个最大允许数量是基于是否启用编解码工具。
66.根据权利要求65所述的方法,其中,所述一个或多个最大允许数量是基于是否启用自适应环路滤波器ALF编解码工具和/或是否在序列参数集SPS、图片参数集PPS、图片标头PH或条带标头SH级别启用跨分量ALF(CC-ALF)编解码工具。
67.根据权利要求65所述的方法,其中,自适应环路滤波器(ALF)APS的一个或多个最大允许数量是基于是否启用ALF编解码工具和/或是否在序列参数集SPS、图片参数集PPS、图片标头PH或条带标头SH级别启用跨分量ALF(CC-ALF)编解码工具。
68.根据权利要求65所述的方法,其中,亮度映射与色度缩放(LMCS)APS的一个或多个最大允许数量是基于是否启用LMCS编解码工具和/或是否在序列参数集SPS、图片参数集PPS、图片标头PH或条带标头SH级别启用色度残差缩放CRS编解码工具。
69.根据权利要求65所述的方法,其中,缩放APS的一个或多个最大允许数量是基于是否在序列参数集SPS、图片参数集PPS、图片标头PH或条带标头SH级别启用显式缩放列表。
70.根据权利要求10所述的方法,其中,所述规则规定,APS标识符(APS ID)如何被包括在APS网络抽象层单元中是基于受限的数量。
71.根据权利要求70所述的方法,其中,所述APS ID在从0到K(包括端值)的范围内被ue(v)编解码,并且其中,K是整数。
72.根据权利要求70所述的方法,其中,所述APS ID被u(X)编解码,并且其中,X是整数。
73.根据权利要求72所述的方法,其中,在所述APS ID被包括在所述比特流中之前,X被包括在所述比特流中。
74.根据权利要求72所述的方法,其中,在所述APS ID被包括在所述比特流中之前推导X。
75.根据权利要求72所述的方法,其中,基于在所述比特流中指示所述APS网络抽象层单元、滤波器和滤波器系数中的任何一个或多个的一个或多个最大允许数量来推导X。
76.根据权利要求70所述的方法,其中,APS ID的最大数量被包括在所述比特流中。
77.根据权利要求76所述的方法,其中,所述APS ID的最大数量被u(X)编解码,并且其中,X是整数。
78.根据权利要求76所述的方法,其中,所述APS ID被u(v)编解码。
79.根据权利要求70所述的方法,其中,所述APS ID包括以下任何一个或多个:
所述比特流中的APS语法结构中的adaptation_parameter_set_id,
所述比特流中的图片标头PH语法结构中的ph_alf_aps_id_luma[i]、ph_alf_aps_id_chroma、ph_cc_alf_cb_aps_id或ph_cc_alf_cr_aps_id,
所述比特流中的条带标头SH语法结构中的slice_alf_aps_id_luma[i]、slice_alf_aps_id_chroma、slice_cc_alf_cb_aps_id或slice_cc_alf_cr_aps_id,
所述比特流中的所述PH语法结构中的ph_lmcs_aps_id,以及
所述比特流中的所述PH语法结构中的ph_scaling_list_aps_id。
80.根据权利要求10至79中任一项所述的方法,其中,所述方法的使用在所述比特流中被隐式地或显式地指示。
81.根据权利要求10至79中任一项所述的方法,其中,所述方法的使用由所述比特流中的语法元素控制。
82.根据权利要求10至81中任一项所述的方法,其中,所述APS网络抽象层单元包括自适应环路滤波器(ALF)APS、亮度映射与色度缩放(LMCS)APS和缩放APS中的一个或多个。
83.根据权利要求1至82中任一项所述的方法,其中,执行所述转换包括将所述视频编码到所述比特流中。
84.根据权利要求1至82中任一项所述的方法,其中,执行所述转换包括从所述视频生成所述比特流,并且所述方法还包括将所述比特流存储在非暂时性计算机可读记录介质中。
85.根据权利要求1至82中任一项所述的方法,其中,执行所述转换包括从所述比特流解码所述视频。
86.一种视频解码装置,包括被配置为实施权利要求1至85中的一项或多项所述的方法的处理器。
87.一种视频编码装置,包括被配置为实施权利要求1至85中的一项或多项所述的方法的处理器。
88.一种其上存储有计算机指令的计算机程序产品,所述指令在由处理器执行时使所述处理器实施根据权利要求1至85中任一项所述的方法。
89.一种非暂时性计算机可读存储介质,存储根据权利要求1至85中任一项所述的方法生成的比特流。
90.一种存储指令的非暂时性计算机可读存储介质,所述指令使处理器实施根据权利要求1至85中任一项所述的方法。
91.一种比特流生成的方法,包括:
根据权利要求1至85中任一项所述的方法生成视频的比特流,以及
将所述比特流存储在计算机可读程序介质上。
92.一种方法、一种装置、一种根据本文档中描述的公开方法或系统生成的比特流。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020084995 | 2020-04-15 | ||
CNPCT/CN2020/084995 | 2020-04-15 | ||
PCT/CN2021/087382 WO2021208994A1 (en) | 2020-04-15 | 2021-04-15 | Sub-bitstream extraction |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115918083A true CN115918083A (zh) | 2023-04-04 |
Family
ID=78083845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180028478.3A Pending CN115918083A (zh) | 2020-04-15 | 2021-04-15 | 子比特流提取 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115918083A (zh) |
WO (1) | WO2021208994A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG10201913551WA (en) * | 2013-04-07 | 2020-03-30 | Dolby Int Ab | Signaling change in output layer sets |
US9602822B2 (en) * | 2013-04-17 | 2017-03-21 | Qualcomm Incorporated | Indication of cross-layer picture type alignment in multi-layer video coding |
US20170324981A1 (en) * | 2014-06-19 | 2017-11-09 | Sharp Kabushiki Kaisha | Method for decoding a video bitstream |
-
2021
- 2021-04-15 WO PCT/CN2021/087382 patent/WO2021208994A1/en active Application Filing
- 2021-04-15 CN CN202180028478.3A patent/CN115918083A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021208994A1 (en) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021197447A1 (en) | Controlling quantization parameter delta signaling | |
JP2023517085A (ja) | 適応ループフィルタリング | |
WO2021170058A1 (en) | Transform skip residual coding | |
CN115299062A (zh) | 图片标头中的语法元素的条件信令 | |
CN115211044A (zh) | 使用条带头信令通知控制缩放处理 | |
CN115606183A (zh) | 参考图片环绕的剪裁操作 | |
JP2024015107A (ja) | ビデオコーディングでのサブピクチャ及びタイルの使用 | |
CN115398898A (zh) | 视频编解码中的条带类型 | |
JP2023515126A (ja) | ビデオコーディングでのピクチャレベルスライスインデックスの使用 | |
CN115699728A (zh) | 视频编解码中的子层信令 | |
WO2021208994A1 (en) | Sub-bitstream extraction | |
KR102616383B1 (ko) | 비디오 픽처 헤더의 필터 파라미터 시그널링 | |
JP7575478B2 (ja) | 変換スキップモードにおける係数コーディング | |
CN115462085A (zh) | 视频编解码中滤波的高级控制 | |
CN115668917A (zh) | 视频编解码中的去块信令通知 | |
CN115769585A (zh) | 子层的数量限制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |