CN115362674A - 帧内块复制缓冲区和调色板预测值更新 - Google Patents

帧内块复制缓冲区和调色板预测值更新 Download PDF

Info

Publication number
CN115362674A
CN115362674A CN202180022553.5A CN202180022553A CN115362674A CN 115362674 A CN115362674 A CN 115362674A CN 202180022553 A CN202180022553 A CN 202180022553A CN 115362674 A CN115362674 A CN 115362674A
Authority
CN
China
Prior art keywords
video
block
palette
bitstream
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180022553.5A
Other languages
English (en)
Inventor
许继征
张莉
张凯
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN115362674A publication Critical patent/CN115362674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

描述了用于视频处理的方法和装置。一个示例方法包括为视频的视频块和视频的比特流之间的转换确定视频块满足条件,其中视频块使用帧内块复制模式在比特流中被编解码,以及基于该确定来执行转换。这里,由于视频块满足条件,帧内块复制缓冲区的一部分在转换期间被重置。

Description

帧内块复制缓冲区和调色板预测值更新
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则,本申请适时要求于2020年3月18日提交的国际专利申请No.PCT/CN2020/079858的优先权和权益。出于根据法律的所有目的,前述申请的全部公开通过引用而并入作为本申请的公开的一部分。
技术领域
本专利文档涉及图像和视频编码和解码。
背景技术
数字视频占了互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计对数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了可以由视频编码器和解码器用于使用对编解码表示的解码有用的控制信息来处理视频的编解码表示的技术。
在一个示例方面,公开了一种视频处理方法。该方法包括:为视频的视频块和视频的编解码表示之间的转换确定视频块满足条件,其中视频块使用帧内块复制模式在编解码表示中被编解码;以及基于该确定来执行转换。在转换期间,由于视频块满足条件,帧内块复制缓冲区的一部分被重置。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行视频的一个或多个视频块和视频的编解码表示之间的转换。一个或多个视频块使用代表性样点的调色板进行编解码。调色板使用调色板预测值在编解码表示中被预测编解码,并且调色板预测值在用于处理一个或多个视频块中的每一个之前被更新。
在又一个示例方面,公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
在又一个示例方面,公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。
在又一个示例方面,公开了一种存储有代码的计算机可读介质。该代码在由处理器执行时使得处理器实施上述方法。
在又一个示例方面,描述了一种根据上述方法生成比特流的方法。比特流可以在生成之后被存储在计算机可读介质上。
这些以及其他特征将在本文档中描述。
附图说明
图1是示例视频处理系统的框图。
图2是视频处理装置的框图。
图3是视频处理的示例方法的流程图。
图4是示出根据本公开的一些实施例的视频编解码系统的框图。
图5是示出根据本公开的一些实施例的编码器的框图。
图6是示出根据本公开的一些实施例的解码器的框图。
图7示出了当前图片参考的示例说明。
图8示出了JVET-M0407中示出的动态参考区域的示例。
图9示出了在调色板模式下编解码的块的示例。
图10示出了调色板的基于子块的索引图扫描的示例,左边是水平扫描,并且右边是垂直扫描。
图11是视频处理的示例方法的流程图。
图12是视频处理的示例方法的流程图。
具体实施方式
在本文档中使用章节标题以易于理解,并且不将每个章节中公开的技术和实施例的应用性仅限制于该章节。此外,在一些描述中使用H.266技术术语仅仅是为了易于理解,而不是为了限制所公开的技术的范围。因此,本文描述的技术也适用于其他视频编解码器协议和设计。
1.初步讨论
本专利文档涉及视频编解码技术。具体地,它涉及视频编解码中的帧内块复制。它可以被应用于正在开发的标准,例如多功能视频编解码。它也可以适用于未来的视频编解码标准或视频编解码器。
2.视频编解码介绍
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263,ISO/IEC开发了MPEG-1和MPEG-4 Visual,并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索团队(Joint Video Exploration Team,JVET)。从那时起,JVET已经采用了许多新的方法,并将其放入了名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。在2018年4月,创立了VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET),以致力于VVC标准,其目标是与HEVC相比降低50%的比特率。
VVC草案的最新版本,即多功能视频编解码(草案8)可以在以下处找到:
phenix.int-evry.fr/jvet/doc_end_user/documents/17_Brussels/wg11/JVET-
Q2001-v15.zip。
VVC的最新参考软件(名为VTM)可以在以下处找到:
vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-8.0。
2.1.HEVC/H.265中的帧间预测
每个帧间预测PU具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。也可以使用inter_pred_idc来信令通知对两个参考图片列表之一的使用。运动矢量可以被显式地编解码为相对于预测值的增量(delta)。
当以跳过模式对CU进行编解码时,一个PU与CU相关联,并且没有显著的残差系数,没有编解码的运动矢量增量或参考图片索引。指定了Merge模式,由此从包括空域和时域候选的邻近PU获得当前PU的运动参数。Merge模式可以被应用于任何帧间预测PU,而不仅是针对跳过模式。Merge模式的替代方案是运动参数的显式传输,其中,运动矢量(更确切地说,与运动矢量预测值相比的运动矢量差(Motion Vector Difference,MVD))、每个参考图片列表的对应参考图片索引和参考图片列表使用按每PU被显式地信令通知。这样的模式在本公开中被称为高级运动矢量预测(Advanced Motion Vector Prediction,AMVP)。
当信令指示将使用两个参考图片列表之一时,从一个样点块产生PU。这被称为“单向预测”。单向预测适用于P条带和B条带两者。
当信令指示要使用两个参考图片列表时,从两个样点块产生PU。这被称为“双向预测”。双向预测仅适用于B条带。
下文提供了关于在HEVC中指定的帧间预测模式的细节。描述将以Merge模式开始。
2.2.当前图片参考
已经在HEVC屏幕内容编解码扩展(HEVC Screen Content Coding extension,HEVC-SCC)[1]和当前的VVC测试模型(VTM-3.0)[2]中采用了当前图片参考(CurrentPicture Referencing,CPR),或一度命名为帧内块复制(Intra Block Copy,IBC)。IBC将运动补偿的概念从帧间编解码扩展到帧内编解码。如图7所示范的,当应用CPR时,当前块通过相同图片中的参考块进行预测。在对当前块进行编解码或解码之前,参考块中的样点必须已经被重构。尽管CPR对大多数相机捕捉的序列来说效率不高,但它示出了对屏幕内容的显著编解码增益。原因是屏幕内容图片中有许多重复图案,诸如图标和文本字符。CPR可以有效地移除这些重复图案之间的冗余。在HEVC-SCC中,如果帧间编解码的编解码单元(CodingUnit,CU)选择当前图片作为其参考图片,则它可以应用CPR。在这种情况下,MV被重命名为块矢量(Block Vector,BV),并且BV总是具有整数像素精确度。为了与主要简表(profile)HEVC兼容,当前图片在解码图片缓冲区(Decoded Picture Buffer,DPB)中被标记为“长期”参考图片。应当注意,类似地,在多视图/3D视频编解码标准中,视图间参考图片也被标记为“长期”参考图片。
在BV找到其参考块之后,可以通过复制参考块来生成预测。残差可以通过从原始信令中减去参考像素而得到。那么变换和量化可以如在其它编解码模式中被应用。
然而,当参考块在图片之外、或与当前块重叠、或在重构区域之外、或在受某些约束限制的有效区域之外时,部分或全部像素值未被定义。基本上,有两种解决方案解决这样的问题。一种是不允许这种情况,例如,在比特流一致性中。另一种是对那些未定义的像素值应用填充。以下子段详细描述了解决方案。
2.3.HEVC屏幕内容编解码扩展中的CPR
在HEVC的屏幕内容编解码扩展中,当块使用当前图片作为参考时,它应该保证整个参考块在可用的重构区域内,如以下规范文本所指示的:
变量offsetX和offsetY被推导如下:
offsetX=(ChromaArrayType==0)?0:(mvCLZ[0]&0x7?2:0) (8-104)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (8-105)
比特流一致性的要求是,当参考图片是当前图片时,亮度运动矢量mvLX应当遵守以下约束:
–当以设置为等于(xCb,yCb)的(xCurr,yCurr)和设置为等于(xPb+(mvLX[0]>>2)–offsetX,yPb+(mvLX[1]>>2)–offsetY)的邻近亮度位置(xNbY,yNbY)作为输入来调用如条款6.4.1所指定的z扫描顺序块可用性的推导过程时,输出应当等于TRUE(真)。
–当以设置为等于(xCb,yCb)的(xCurr,yCurr)和设置为等于(xPb+(mvLX[0]>>2)+nPbW–1+offsetX,yPb+(mvLX[1]>>2)+nPbH–1+offsetY)的邻近亮度位置(xNbY,yNbY)作为输入来调用如条款6.4.1所指定的z扫描顺序块可用性的推导过程时,输出应当等于TRUE。
–以下条件中的一个或两个应当为真:
–(mvLX[0]>>2)+nPbW+xB1+offsetX的值小于或等于0。
–(mvLX[1]>>2)+nPbH+yB1+offsetY的值小于或等于0。
–以下条件应当为真:
(xPb+(mvLX[0]>>2)+nPbSw–1+offsetX)/CtbSizeY–xCb/CtbSizeY<=yCb/CtbSizeY–(yPb+(mvLX[1]>>2)+nPbSh–1+offsetY)/CtbSizeY (8-106)
因此,不会发生参考块与当前块重叠或者参考块在图片之外的情况。不需要填充参考或预测块。
2.4.VVC测试模型中的CPR/IBC
在当前的VVC测试模型(即,VTM-3.0设计)中,整个参考块应该具有当前编解码树单元(Coding Tree Unit,CTU),并且不与当前块重叠。因此,不需要填充参考或预测块。
当启用双树(dual tree)时,从亮度CTU到色度CTU,分割结构可以不同。因此,对于4:2:0色彩格式,一个色度块(例如,CU)可以对应于已经被划分为多个亮度CU的一个共位亮度区域。
当以下条件应当为真时,色度块只能以CPR模式进行编解码:
1)共位亮度块内的每个亮度CU都应当以CPR模式进行编解码
2)亮度4×4块的BV中的每一个首先被转换为色度块的BV,并且色度块的BV是有效BV。
如果两个条件中的任何一个为假(false),色度块不应以CPR模式进行编解码。
注意,“有效BV”的定义具有以下约束:
1)由BV标识的参考块内的所有样点应当在受限的搜索范围内(例如,在当前VVC设计中,应当在相同CTU内)。
2)由BV标识的参考块内的所有样点都已经被重构。
2.5.JVET-L0297/JVET-M0407/JVET-M0408中的CPR/IBC
在VTM3.0中,用于CPR/IBC的参考区域被限制到当前CTU,其多达128×128。JVET-L0297/JVET-M0407/JVET-M0408呈现了方法来动态改变参考区域,以重用存储器来存储用于CPR/IBC的参考样点,使得CPR/IBC块可以具有更多的参考候选,而用于CPR/IBC的参考缓冲区可以保持或从一个CTU减少。
图8示出了一种方法,其中块为64×64,并且CTU包含4个64×64块。当对64×64块进行编解码时,先前的3个64×64块可以被用作参考。通过这样做,解码器只需要存储4个64×64块来支持CPR/IBC。VTM4.0中采用了以上方法。
假设当前亮度CU相对于图片的左上角的位置为(x,y),并且块矢量为(BVx,BVy)。在当前设计中,BV是否有效可以通过亮度位置((x+BVx)>>6<<6+(1<<7),(y+BVy)>>6<<6)还未被重构并且((x+BVx)>>6<<6+(1<<7),(y+BVy)>>6<<6)不等于(x>>6<<6,y>>6<<6)进行判断。
2.6.JVET-O1170中提出的虚拟IBC缓冲区
引入了虚拟缓冲区概念来帮助描述IBC预测模式的参考区域。对于CTU尺寸为ctbSize,表示wIbcBuf=128*128/ctbSize,并且定义虚拟IBC缓冲区IbcBuf,其中宽度为wIbcBuf,且高度为ctbSize。因此,
–对于CTU尺寸为128x128,ibcBuf的尺寸也为128x128。
–对于CTU尺寸为64x64,ibcBuf的尺寸为256x64。
–对于CTU尺寸为32x32,ibcBuf的尺寸为512x32。
注意,VPDU宽度和高度为min(ctbSize,64)。表示Wv=min(ctbSize,64)。
虚拟IBC缓冲区ibcBuf被维护如下。
1)在解码每个CTU行的开始,用值(-1)刷新整个ibcBuf。
2)在解码相对于图片的左上角的VPDU(xVPDU,yVPDU)的开始,设置ibcBuf[x][y]=-1,其中x=xVPDU%wIbcBuf,…,xVPDU%wIbcBuf+Wv–1;y=yVPDU%ctbSize,…,yVPDU%ctbSize+Wv–1。
3)在解码包含相对于图片的左上角的(x,y)的CU之后,设置
ibcBuf[x%wIbcBuf][y%ctbSize]=recSample[x][y]
因此比特流约束可以简单地描述为
比特流一致性的要求是,对于bv,ibcBuf[(x+bv[0])%wIbcBuf][(y+bv[1])%ctbSize]不应当等于-1。
利用IBC参考缓冲区的概念,它还通过避免参考帧间插值和运动补偿过程(包括子块过程),简化了解码过程的文本。
2.7.VPDU
虚拟流水线数据单元(VPDU)被定义为图片中的非重叠单元。在硬件解码器中,由多个流水线级同时处理连续的VPDU。在大多数流水线级中,VPDU尺寸大致与缓冲区尺寸成比例,因此保持VPDU尺寸较小是很重要的。在大多数硬件解码器中,VPDU尺寸可以被设置为最大变换块(TB)尺寸。然而,在VVC中,三叉树(TT)和二叉树(BT)分割可能导致VPDU尺寸的增加。
为了将VPDU尺寸保持为64x64个亮度样点,在VTM5中应用了以下标准分割限制(带有语法信令修改):
–对于宽度或高度、或宽度和高度等于128的CU,不允许TT划分。
–对于N≤64的128xN CU(即,宽度等于128,并且高度小于128),不允许水平BT。
–对于N≤64的Nx128 CU(即,高度等于128,并且宽度小于128),不允许垂直BT。
在VVC中,通常约定在亮度样点中,VPDU的宽度和高度为min(64,CtbSizeY)。因此,对于CTB/CTU尺寸为64x64、128x128或256x256,VPDU尺寸为64x64。对于CTB/CTU尺寸为32x32,VPDU尺寸为32x32。
2.8.IDF P1809118901H和P1907355701H中用于帧内块复制的缓冲区管理和块矢量编解码
在那些IDF中,描述了各种IBC缓冲区和对应的管理。
2.9.JVET-Q2001-vE中关于IBC的当前文本
8.6.2在IBC预测模式下编解码的编解码单元的解码过程
8.6.2.1在IBC预测模式下编解码的编解码单元的通用解码过程
该过程的输入为:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上亮度样点的左上样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量treeType,指定使用单树还是双树,并且如果使用双树,则指定当前树对应于亮度分量还是色度分量。
该过程的输出为环路滤波之前的修改的重构图片。
调用如条款8.7.1所指定的量化参数的推导过程,其中以亮度位置(xCb,yCb)、亮度样点中的当前编解码块的宽度cbWidth、亮度样点中的当前编解码块的高度cbHeight、以及变量treeType作为输入。
变量IsGt4by4被推导如下:
IsGt4by4=(cbWidth*cbHeight)>16 (1111)
在IBC预测模式下编解码的编解码单元的解码过程由以下有序步骤组成:
1.当前编解码单元的块矢量分量被推导如下:
–调用如条款8.6.2.1所指定的块矢量分量的推导过程,其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入,并且以亮度块矢量bvL作为输出。
–当treeType等于SINGLE_TREE时,调用如条款8.6.2.5所指定的色度块矢量的推导过程,其中以亮度块矢量bvL作为输入,并且以色度块矢量bvC作为输出。
2.当前编解码单元的预测样点被推导如下:
–调用如条款8.6.3.1所指定的IBC块的解码过程,其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、亮度块矢量bvL、设置为等于0的变量cIdx作为输入,并且以作为预测亮度样点的(cbWidth)x(cbHeight)阵列predSamplesL的IBC预测样点(predSamples)作为输出。
–当treeType等于SINGLE_TREE时,当前编解码单元的预测样点被推导如下:
–调用如条款8.6.3.1所指定的IBC块的解码过程,其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、色度块矢量bvC、以及设置为等于1的变量cIdx作为输入,并且以作为色度分量Cb的预测色度样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCb的IBC预测样点(predSamples)作为输出。
–调用如条款8.6.3.1所指定的IBC块的解码过程,其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、色度块矢量bvC、以及设置为等于2的变量cIdx作为输入,并且以作为色度分量Cr的预测色度样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCr的IBC预测样点(predSamples)作为输出。
3.当前编解码单元的残差样点被推导如下:
–调用如条款8.5.8所指定的在帧间预测模式下编解码的编解码块的残差信号的解码过程,其中以设置为等于亮度位置(xCb,yCb)的位置(xTb0,yTb0)、设置为等于亮度编解码块宽度cbWidth的宽度nTbW、设置为等于亮度编解码块高度cbHeight的高度nTbH、以及设置为等于0的变量cIdx作为输入,并且以阵列resSamplesL作为输出。
–当treeType等于SINGLE_TREE时,调用如条款8.5.8所指定的在帧间预测模式下编解码的编解码块的残差信号的解码过程,其中以设置为等于色度位置(xCb/SubWidthC,yCb/SubHeightC)的位置(xTb0,yTb0)、设置为等于色度编解码块宽度cbWidth/SubWidthC的宽度nTbW、设置为等于色度编解码块高度cbHeight/SubHeightC的高度nTbH、以及设置为等于1的变量cIdx作为输入,并且以阵列resSamplesCb作为输出。
–当treeType等于SINGLE_TREE时,调用如条款8.5.8所指定的在帧间预测模式下编解码的编解码块的残差信号的解码过程,其中以设置为等于色度位置(xCb/SubWidthC,yCb/SubHeightC)的位置(xTb0,yTb0)、设置为等于色度编解码块宽度cbWidth/SubWidthC的宽度nTbW、设置为等于色度编解码块高度cbHeight/SubHeightC的高度nTbH、以及设置为等于2的变量cIdx作为输入,并且以阵列resSamplesCr作为输出。
4.当前编解码单元的重构样点被推导如下:
–调用如条款8.7.5所指定的色彩分量的图片重构过程,其中以设置为等于(xCb,yCb)的块位置(xCurr,yCurr)、设置为等于cbWidth的块宽度nCurrSw、设置为等于cbHeight的块高度nCurrSh、设置为等于0的变量cIdx、设置为等于predSamplesL的(cbWidth)x(cbHeight)阵列predSamples、以及设置为等于resSamplesL的(cbWidth)x(cbHeight)阵列resSamples作为输入,并且输出为环路滤波之前的修改的重构图片。
–当treeType等于SINGLE_TREE时,调用如条款8.7.5所指定的色彩分量的图片重构过程,其中以设置为等于(xCb/SubWidthC,yCb/SubHeightC)的块位置(xCurr,yCurr)、设置为等于cbWidth/SubWidthC的块宽度nCurrSw、设置为等于cbHeight/SubHeightC的块高度nCurrSh、设置为等于1的变量cIdx、设置为等于predSamplesCb的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamples、以及设置为等于resSamplesCb的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列resSamples作为输入,并且输出为环路滤波之前的修改的重构图片。
–当treeType等于SINGLE_TREE时,调用如条款8.7.5所指定的色彩分量的图片重构过程,调用如条款8.7.5所指定的色彩分量的图片重构过程,其中以设置为等于(xCb/SubWidthC,yCb/SubHeightC)的块位置(xCurr,yCurr)、设置为等于cbWidth/SubWidthC的块宽度nCurrSw、设置为等于cbHeight/SubHeightC的块高度nCurrSh、设置为等于2的变量cIdx、设置为等于predSamplesCr的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamples、以及设置为等于resSamplesCr的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列resSamples作为输入,并且输出为环路滤波之前的修改的重构图片。
8.6.3 IBC块的块矢量分量的推导过程
8.6.3.1通用
该过程的输入为:
–当前亮度编解码块相对于当前图片的左上亮度样点的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
该过程的输出为:
–1/16分数样点精度的亮度块矢量bvL。
亮度块矢量mvL被推导如下:
–调用如条款8.6.2.2所指定的IBC亮度块矢量预测的推导过程,其中以亮度位置(xCb,yCb)、变量cbWidth和cbHeight作为输入,并且输出为亮度块矢量bvL。
–当general_merge_flag[xCb][yCb]等于0时,以下适用:
1.变量bvd被推导如下:
bvd[0]=MvdL0[xCb][yCb][0] (1112)
bvd[1]=MvdL0[xCb][yCb][1] (1113)
2.调用如条款8.5.2.14所指定的运动矢量的取整过程,其中以设置为等于bvL的mvX、设置为等于AmvrShift的rightShift、以及设置为等于AmvrShift的leftShift作为输入,并且以取整的bvL作为输出。
3.亮度块矢量bvL被修改如下:
u[0]=(bvL[0]+bvd[0]+218)%218 (1114)
bvL[0]=(u[0]>=217)?(u[0]-218):u[0] (1115)
u[1]=(bvL[1]+bvd[1]+218)%218 (1116)
bvL[1]=(u[1]>=217)?(u[1]-218):u[1] (1117)
注1–如上指定的bvL[0]和bvL[1]的结果值将始终在-217到217-1的范围(包括-217和217-1)内。
当IsGt4by4等于TRUE时,用亮度块矢量bvL调用如条款8.6.2.6所指定的基于历史的块矢量预测值列表的更新过程。
比特流一致性的要求是亮度块矢量bvL应当遵守以下约束:
–CtbSizeY大于或等于((yCb+(bvL[1]>>4))&(CtbSizeY-1))+cbHeight。
–对于x=xCb..xCb+cbWidth-1并且y=yCb..yCb+cbHeight-1,IbcVirBuf[0][(x+(bvL[0]>>4))&(IbcBufWidthY-1)][(y+(bvL[1]>>4))&(CtbSizeY-1)]不应当等于-1。
8.6.3.2 IBC亮度块矢量预测的推导过程
仅当CuPredMode[0][xCb][yCb]等于MODE_IBC时,才调用该过程,其中(xCb,yCb)指定当前亮度编解码块相对于当前图片的左上亮度样点的左上样点。
该过程的输入为:
–当前亮度编解码块相对于当前图片的左上亮度样点的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
该过程的输出为:
–1/16分数样点精度的亮度块矢量bvL。
亮度块矢量bvL通过以下有序步骤来推导:
1.当IsGt4by4等于TRUE时,调用如条款8.6.2.3所指定的从邻近编解码单元的、空域块矢量候选的推导过程,其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和高度cbHeight作为输入,并且输出为可用性标志availableFlagA1、availableFlagB1、以及块矢量bvA1和bvB1
2.当IsGt4by4等于TRUE时,块矢量候选列表bvCandList被构建如下:
i=0
if(availableFlagA1)
bvCandList[i++]=bvA1 (1118)
if(availableFlagB1)
bvCandList[i++]=bvB1
3.变量numCurrCand被推导如下:
–IsGt4by4等于TRUE,numCurrCand被设置为等于bvCandList中的Merge候选的数量。
–否则(IsGt4by4等于FALSE),numCurrCand被设置为等于0。
4.当numCurrCand小于MaxNumIbcMergeCand并且NumHmvpIbcCand大于0时,调用如条款8.6.2.4所指定的IBC基于历史的块矢量候选的推导过程,其中以bvCandList和numCurrCand作为输入,并且以修改的bvCandList和numCurrCand作为输出。
5.当numCurrCand小于maxnumibmergecand时,以下适用,直到numCurrCand等于MaxNumIbcMergeCand:
–bvCandList[numCurrCand][0]被设置为等于0。
–bvCandList[numCurrCand][1]被设置为等于0。
–numCurrCand增加1。
6.变量bvIdx被推导如下:
bvIdx=general_merge_flag[xCb][yCb]?merge_idx[xCb][yCb]:mvp_l0_flag[xCb][yCb] (1119)
7.进行以下赋值:
bvL[0]=bvCandList[mvIdx][0] (1120)
bvL[1]=bvCandList[mvIdx][1] (1121)
8.6.3.3 IBC空域块矢量候选的推导过程
该过程的输入为:
–当前亮度编解码块相对于当前图片的左上亮度样点的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
该过程的输出如下:
–邻近编解码单元的可用性标志availableFlagA1和availableFlagB1
–邻近编解码单元的1/16分数样点精度的块矢量bvA1和bvB1,对于availableFlagA1和mvA1的推导,以下适用:
–邻近亮度编解码块内的亮度位置(xNbA1,yNbA1)被设置为等于(xCb-1,yCb+cbHeight-1)。
–调用如条款6.4.4所指定的邻近块可用性的推导过程,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、邻近亮度位置(xNbA1,yNbA1)、设置为等于TRUE的checkPredModeY、以及设置为等于0的cIdx作为输入,并且输出被赋值给块可用性标志availableA1
–变量availableFlagA1和bvA1被推导如下:
–如果availableA1等于FALSE,则availableFlagA1被设置为等于0,并且bvA1的两个分量都被设置为等于0。
–否则,availableFlagA1被设置为等于1,并进行以下赋值:
bvA1=MvL0[xNbA1][yNbA1] (1122)
对于availableFlagB1和bvB1的推导,以下适用:
–邻近亮度编解码块内的亮度位置(xNbB1,yNbB1)被设置为等于(xCb+cbWidth-1,yCb-1)。
–调用如条款6.4.4所指定的邻近块可用性的推导过程,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、邻近亮度位置(xNbB1,yNbB1)、设置为等于TRUE的checkPredModeY、以及设置为等于0的cIdx作为输入,并且输出被赋值给块可用性标志availableB1
–变量availableFlagB1和bvB1被推导如下:
–如果以下条件中的一个或多个为真,则availableFlagB1被设置为等于0,并且bvB1的两个分量都被设置为等于0:
–availableB1等于FALSE。
–availableA1等于TRUE,并且亮度位置(xNbA1,yNbA1)和(xNbB1,yNbB1)具有相同的块矢量。
–否则,availableFlagB1被设置为等于1,并进行以下赋值:
bvB1=MvL0[xNbB1][yNbB1] (1123)
8.6.3.4 IBC基于历史的块矢量候选的推导过程
该过程的输入为:
–块矢量候选列表bvCandList,
–列表中的可用块矢量候选的数量numCurrCand。
该过程的输出为:
–修改的块矢量候选列表bvCandList,
–列表中的运动矢量候选的修改数量numCurrCand。
变量isPrunedA1和isPrunedB1都被设置为等于FALSE。
对于HmvpIbcCandList[hMvpIdx]中的每个候选(其中索引hMvpIdx=1..NumHmvpIbcCand),重复以下有序步骤,直到numCurrCand等于MaxNumIbcMergeCand:
1.变量sameMotion被推导如下:
–如果对于任何块矢量候选N(其中N为A1或B1),所有以下条件都为真,则sameMotion和isPrunedN都被设置为等于TRUE:
–IsGt4by4等于TRUE。
–hMvpIdx等于1。
–候选HmvpIbcCandList[NumHmvpIbcCand-hMvpIdx]等于块矢量候选N。
–isPrunedN等于FALSE。
–否则,sameMotion被设置为等于FALSE。
2.当sameMotion等于FALSE时,候选HmvpIbcCandList[NumHmvpIbcCand-hMvpIdx]被添加到块矢量候选列表,如下:
bvCandList[numCurrCand++]=
HmvpIbcCandList[NumHmvpIbcCand-hMvpIdx] (1124)
8.6.3.5色度块矢量的推导过程
该过程的输入为:
–1/16分数样点精度的亮度块矢量bvL。
该过程的输出为1/32分数样点精度的色度块矢量bvC。
从对应的亮度块矢量推导色度块矢量。
色度块矢量bvC被推导如下:
bvC[0]=((bvL[0]>>(3+SubWidthC))*32 (1125)
bvC[1]=((bvL[1]>>(3+SubHeightC))*32 (1126)
8.6.3.6基于历史的块矢量预测值候选列表的更新过程
该过程的输入为:
–1/16分数样点精度的亮度块矢量bvL。
候选列表HmvpIbcCandList通过以下有序步骤来修改:
1.变量identicalCandExist被设置为等于FALSE,并且变量removeIdx被设置为等于0。
2.当NumHmvpIbcCand大于0时,对于每个索引(其中hMvpIdx=0..NumHmvpIbcCand-1),以下步骤适用,直到identicalCandExist等于TRUE:
–当bvL等于HmvpIbcCandList[hMvpIdx]时,identicalCandExist被设置为等于TRUE,并且removeIdx被设置为等于hMvpIdx。
3.候选列表HmvpIbcCandList被更新如下:
–如果identicalCandExist等于TRUE或者NumHmvpIbcCand等于5,则以下适用:
–对于每个索引i(其中i=(removeIdx+1)..(NumHmvpIbcCand-1)),HmvpIbcCandList[i-1]被设置为等于HmvpIbcCandList[i]。
–HmvpIbcCandList[NumHmvpIbcCand-1]被设置为等于bvL。
–否则(identicalCandExist等于FALSE,并且NumHmvpIbcCand小于5),以下适用:
–HmvpIbcCandList[NumHmvpIbcCand++]被设置为等于bvL。
8.6.4 IBC块的解码过程
8.6.4.1通用
当对在IBC预测模式下编解码的编解码单元进行解码时,调用该过程。
该过程的输入为:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上亮度样点的左上样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–块矢量bv,
–变量cIdx,指定当前块的色彩分量索引。
该过程的输出为:
–预测样点的阵列predSamples。
当cIdx等于0时,对于x=xCb..xCb+cbWidth-1并且y=yCb..yCb+cbHeight-1,以下适用:
xVb=(x+(bv[0]>>4))&(IbcBufWidthY-1) (1127)
yVb=(y+(bv[1]>>4))&(CtbSizeY-1) (1128)
predSamples[x][y]=ibcVirBuf[0][xVb][yVb] (1129)
当cIdx不等于0时,对于x=xCb/subWidthC..xCb/subWidthC+cbWidth/subWidthC-1并且y=yCb/subHeightC..yCb/subHeightC+cbHeight/subHeightC-1,以下适用:
xVb=(x+(bv[0]>>5))&(IbcBufWidthC-1) (1130)
yVb=(y+(bv[1]>>5))&((CtbSizeY/subHeightC)-1) (1131)
predSamples[x][y]=ibcVirBuf[cIdx][xVb][yVb] (1132)
当cIdx等于0时,对于x=0..cbWidth-1并且y=0..cbHeight-1,进行以下赋值:
MvL0[xCb+x][yCb+y]=bv (1133)
MvL1[xCb+x][yCb+y]=0 (1134)
RefIdxL0[xCb+x][yCb+y]=-1 (1135)
RefIdxL1[xCb+x][yCb+y]=-1 (1136)
PredFlagL0[xCb+x][yCb+y]=0 (1137)
PredFlagL1[xCb+x][yCb+y]=0 (1138)
BcwIdx[xCb+x][yCb+y]=0 (1139)
2.10.调色板模式
在VVC中,调色板模式用于4:4:4简表中支持的所有色度格式(即,4:4:4、4:2:0、4:2:2和单色)中的屏幕内容编解码。当启用调色板模式时,如果CU尺寸小于或等于64x64,则在CU级别发送标志,指示是否使用调色板模式。调色板编解码的编解码单元(CU)被视为除了帧内预测、帧间预测和帧内块复制(IBC)模式之外的预测模式。
如果利用调色板模式,CU中的样点值由代表性色彩值集合表示。该集合被称为调色板。对于样点值接近调色板色彩的位置,信令通知调色板索引。也可以通过信令通知逸出(escape)符号来指定调色板之外的样点。对于CU内使用逸出符号编解码的样点,使用(可能)量化分量值直接信令通知它们的分量值。这在图9中示出。
对于调色板的编解码,维护调色板预测值。对于非波前情况,预测值在每个条带的开始被初始化为0,并且对于波前情况,在每个CTU行的开始被初始化为0。对于调色板预测值中的每个条目,信令通知重用标志,以指示它是否是CU中的当前调色板的一部分。使用零的游程长度编解码传送重用标志。此后,信令通知新调色板条目的数量和新调色板条目的分量值。在对调色板编解码CU进行编码之后,将使用当前调色板来更新调色板预测值,并且将在新调色板预测值的结尾添加来自先前调色板预测值的在当前调色板中没有被重用的条目,直到达到允许的最大尺寸。针对每个CU信令通知逸出标志,以指示逸出符号是否存在于当前CU中。如果存在逸出符号,则调色板表增加1,并且最后一个索引被指定为逸出符号。
以与变换系数编解码中使用的系数组(CG)类似的方式,以调色板模式编解码的CU被划分为多个基于线的系数组,每个系数组由m个样点(即,m=16)组成,其中逸出模式的索引游程、调色板索引值和量化色彩针对每个CG被顺序编码/解析。与HEVC相同,可以应用水平或垂直遍历扫描来扫描样点,如图10所示。
每个段中的调色板游程编解码的编码顺序如下:对于每个样点位置,信令通知1个上下文编解码的二进制位run_copy_flag=0,以指示像素是否与先前的样点位置具有相同的模式,即,先前扫描的样点和当前样点是否都具有游程类型COPY_ABOVE,或者先前扫描的样点和当前样点是否都具有游程类型INDEX和相同的索引值。否则,信令通知run_copy_flag=1。如果当前样点和先前样点具有不同的模式,则信令通知一个上下文编解码的二进制位copy_above_palette_indices_flag,以指示当前样点的游程类型,即INDEX或COPY_ABOVE。这里,如果样点在第一行(水平遍历扫描)或第一列(垂直遍历扫描)中,则解码器不必解析游程类型,因为默认使用INDEX模式。用相同的方式,如果先前解析的游程类型为COPY_ABOVE,则解码器不必解析游程类型。在一次编解码通过中对样点的调色板游程编解码之后,索引值(对于INDEX模式)和量化的逸出色彩被分组,并在另一次编解码通过中使用CABAC旁路编解码进行编解码。上下文编解码二进制位和旁路编解码二进制位的这样的分离可以提高每个线CG内的吞吐量。
对于具有双亮度/色度树的条带,调色板被单独应用于亮度(Y分量)和色度(Cb和Cr分量),其中亮度调色板条目仅包含Y值,并且色度调色板条目包含Cb值和Cr值。对于单树的条带,调色板将被联合应用于Y、Cb、Cr分量,即调色板中的每个条目包含Y、Cb、Cr值,除非当使用局部双树对CU进行编解码时,在这种情况下,对亮度和色度的编解码被单独处理。在这种情况下,如果使用调色板模式对对应的亮度或色度块进行编解码,则其调色板以与双树情况类似的方式被应用(这与非4:4:4编解码有关)。
对于用双树编解码的条带,最大调色板预测值尺寸为63,并且用于编解码当前CU的最大调色板表尺寸为31。对于用双树编解码的条带,对于亮度调色板和色度调色板中的每一个,最大预测值和调色板表尺寸被减半,即,最大预测值尺寸为31,并且最大表尺寸为15。对于去方块,块边界侧上的调色板编解码块不去方块。
2.10.1非4:4:4内容的调色板模式
以与HEVC SCC中的调色板模式类似的方式,针对所有色度格式支持VVC中的调色板模式。对于非4:4:4内容,应用以下定制:
1.当信令通知给定样点位置的逸出值时,如果由于色度子采样,该样点位置只有亮度分量而没有色度分量,则仅信令通知亮度逸出值。这与HEVC SCC中相同。
2.对于局部双树块,调色板模式以与应用于单树块的调色板模式相同的方式被应用于块,但有两个例外:
a.调色板预测值更新的过程稍微修改如下。由于局部双树块仅包含亮度(或色度)分量,因此预测值更新过程使用信令通知的亮度(或色度)分量的值,并通过将其设置为默认值(1<<(分量比特深度-1))来填充“丢失的”色度(或亮度)分量。
b.最大调色板预测值尺寸被保持为63(因为条带是使用单树进行编解码的),但是亮度/色度块的最大调色板表尺寸被保持为15(因为该块是使用单独的调色板进行编解码的)。
对于单色格式的调色板模式,调色板编解码块中的色彩分量的数量被设置为1而不是3。
2.11.JVET-Q2001-vE中关于调色板编解码模式的当前文本
2.11.1关于调色板编解码模式的语法
Figure BDA0003852930500000201
Figure BDA0003852930500000211
Figure BDA0003852930500000221
Figure BDA0003852930500000231
2.11.2调色板编解码模式语义
在以下语义中,阵列索引x0、y0指定所考虑的编解码块相对于图片的左上亮度样点的左上亮度样点的位置(x0,y0)。当treeType等于SINGLE_TREE或DUAL_TREE_LUMA时,阵列索引xC、yC指定相对于图片的左上亮度样点的样点的位置(xC,yC);以及当treeType等于DUAL_TREE_CHROMA时,阵列索引xC、yC指定相对于图片的左上色度样点的样点的位置(xC,yC)。阵列索引startComp指定当前调色板表的第一个色彩分量。startComp等于0指示Y分量;startComp等于1指示Cb分量;startComp等于2指示Cr分量。numComps指定当前调色板表中的色彩分量的数量。
预测值调色板由来自用于预测当前调色板中的条目的先前编解码单元的调色板条目组成。
PredictorPaletteSize[startComp]指定当前调色板表的第一个色彩分量startComp的预测值调色板的尺寸。PredictorPaletteSize[startComp]如条款8.4.5.3所指定的来推导。
PalettePredictorEntryReuseFlags[i]等于1指定预测值调色板中的第i个条目在当前调色板中被重用。PalettePredictorEntryReuseFlags[i]等于0指定预测值调色板中的第i个条目不是当前调色板中的条目。阵列PalettePredictorEntryReuseFlags[i]的所有元素都被初始化为0。
palette_predictor_run用于确定阵列PalettePredictorEntryReuseFlags中非零条目前面的零的数量。
比特流一致性的要求是palette_predictor_run的值应当在0到(PredictorPaletteSize[startComp]-predictorEntryIdx)的范围(包括0和(PredictorPaletteSize[startComp]-predictorEntryIdx))内,其中predictorEntryIdx对应于阵列PalettePredictorEntryReuseFlags中的当前位置。变量NumPredictedPaletteEntries指定当前调色板中从预测值调色板中重用的条目的数量。NumPredictedPaletteEntries的值应当在0到maxNumPaletteEntries的范围(包括0和maxNumPaletteEntries)内。
num_signalled_palette_entries指定当前调色板中针对当前调色板表的第一个色彩分量startComp显式地信令通知的条目的数量。
当不存在num_signalled_palette_entries时,其被推断为等于0。
变量CurrentPaletteSize[startComp]指定当前调色板表的第一个色彩分量startComp的当前调色板的尺寸,并且被推导如下:
CurrentPaletteSize[startComp]=NumPredictedPaletteEntries+num_signalled_palette_entries (180)
CurrentPaletteSize[startComp]的值应当在0到maxNumPaletteEntries的范围(包括0和maxNumPaletteEntries)内。
new_palette_entries[cIdx][i]指定色彩分量cIdx的第i个信令通知的调色板条目的值。
变量PredictorPaletteEntries[cIdx][i]指定色彩分量cIdx的预测值调色板中的第i个元素。
变量CurrentPaletteEntries[cIdx][i]指定色彩分量cIdx的当前调色板中的第i个元素,并且被推导如下:
Figure BDA0003852930500000251
palette_escape_val_present_flag等于1指定当前编解码单元包含至少一个逸出编解码样点。palette_escape_val_present_flag等于0指定在当前编解码单元中没有逸出编解码样点。当不存在时,palette_escape_val_present_flag的值被推断为等于1。
变量MaxPaletteIndex指定当前编解码单元的调色板索引的最大可能值。MaxPaletteIndex的值被设置为等于CurrentPaletteSize[startComp]-1+palette_escape_val_present_flag。
palette_idx_idc是调色板表CurrentPaletteEntries的索引的指示。对于块中的第一个索引,palette_idx_idc的值应当在0到MaxPaletteIndex的范围(包括0和MaxPaletteIndex)内,并且对于该块中的剩余索引,palette_idx_idc的值应当在0到(MaxPaletteIndex-1)的范围(包括0和(MaxPaletteIndex-1))内。
当不存在palette_idx_idc时,其被推断为等于0。
palette_transpose_flag等于1指定应用垂直遍历扫描来扫描当前编解码单元中的样点的索引。palette_transpose_flag等于0指定应用水平遍历扫描来扫描当前编解码单元中的样点的索引。当不存在时,palette_transpose_flag的值被推断为等于0。
阵列TraverseScanOrder指定调色板编解码的扫描顺序阵列。如果palette_transpose_flag等于0,则TraverseScanOrder被赋值水平扫描顺序HorTravScanOrder,并且如果palette_transpose_flag等于1,则TraverseScanOrder被赋值垂直扫描顺序VerTravScanOrder。
run_copy_flag等于1指定如果copy_above_palette_indices_flag等于0,则调色板游程类型与先前扫描位置处的游程类型相同,并且调色板游程索引与先前扫描位置处的索引相同。否则,run_copy_flag等于0指定调色板游程类型不同于先前扫描位置处的游程类型。
copy_above_palette_indices_flag等于1指定如果使用水平遍历扫描,则调色板索引等于上一行中的相同位置处的调色板索引,或者如果使用垂直遍历扫描,则调色板索引等于左列中的相同位置处的调色板索引。copy_above_palette_indices_flag等于0指定样点的调色板索引的指示在比特流中被编解码或者被推断。
变量CopyAboveIndicesFlag[xC][yC]等于1指定调色板索引从上一行(水平扫描)或左列(垂直扫描)中的调色板索引复制。CopyAboveIndicesFlag[xC][yC]等于0指定调色板索引在比特流中被显式地编解码或者被推断。
变量PaletteIndexMap[xC][yC]指定调色板索引,其为由CurrentPaletteEntries表示的阵列的索引。PaletteIndexMap[xC][yC]的值应当在0到MaxPaletteIndex的范围(包括0和MaxPaletteIndex)内。
变量adjustedRefPaletteIndex被推导如下:
Figure BDA0003852930500000261
Figure BDA0003852930500000271
当CopyAboveIndicesFlag[xC][yC]等于0时,变量CurrPaletteIndex被推导如下:
if(CurrPaletteIndex>=adjustedRefPaletteIndex)
CurrPaletteIndex++ (183)
palette_escape_val指定分量的量化的逸出编解码样点值。
变量PaletteEscapeVal[cIdx][xC][yC]指定样点的逸出值,其PaletteIndexMap[xC][yC]等于MaxPaletteIndex,并且palette_escape_val_present_flag等于1。阵列索引cIdx指定色彩分量。
比特流一致性的要求是,对于cIdx等于0,PaletteEscapeVal[cIdx][xC][yC]应当在0到(1<<(BitDepth+1))-1的范围(包括0和(1<<(BitDepth+1))-1)内,并且对于cIdx不等于0,PaletteEscapeVal[cIdx][xC][yC]应当在0到(1<<(BitDepth+1))-1的范围(包括0和(1<<(BitDepth+1))-1)内。
2.11.3调色板模式的解码过程
该过程的输入为:
–位置(xCbComp,yCbComp),指定当前编解码块相对于当前图片的左上样点的左上样点,
–变量treeType,指定使用单树还是双树,并且如果使用双树,则指定当前树对应于亮度分量还是色度分量,
–变量cIdx,指定当前块的色彩分量,
–两个变量nCbW和nCbH,分别指定当前编解码块的宽度和高度。
该过程的输出为阵列recSamples[x][y](其中x=0..nCbW-1,y=0..nCbH-1),指定块的重构样点值。
根据treeType的值,变量startComp、numComps和maxNumPalettePredictorSize被推导如下:
–如果treeType等于SINGLE_TREE:
startComp=0 (430)
numComps=ChromaArrayType==0?1:3 (431)
maxNumPalettePredictorSize=63 (432)
–否则,treeType等于DUAL_TREE_LUMA:
startComp=0 (433)
numComps=1 (434)
maxNumPalettePredictorSize=31 (435)
–否则,treeType等于DUAL_TREE_CHROMA:
startComp=1 (436)
numComps=2 (437)
maxNumPalettePredictorSize=31 (438)
根据cIdx的值,变量nSubWidth和nSubHeight被推导如下:
–如果cIdx大于0并且startComp等于0,则nSubWidth被设置为SubWidthC,并且nSubHeight被设置为SubHeightC。
–否则,nSubWidth被设置为1,并且nSubHeight被设置为1。
位置(xCbComp,yCbComp)处的重构样点阵列recSamples的(nCbW x nCbH)块由recSamples[x][y](x=0..nCTbW-1,并且y=0..nCbH-1)表示,并且对于在0到nCbW-1的范围(包括0和nCbW-1)内的每个x和在0到nCbH-1的范围(包括0和nCbH-1)内的每个y,recSamples[x][y]的值被推导如下:
–变量xL、yL、xCbL和yCbL被推导如下:
xL=x*nSubWidth (439)
yL=y*nSubHeight (440)
xCbL=xCbComp*nSubWidth (441)
yCbL=yCbComp*nSubHeight (442)
–变量bIsEscapeSample被推导如下:
–如果PaletteIndexMap[xCbL+xL][yCbL+yL]等于MaxPaletteIndex并且palette_escape_val_present_flag等于1,则bIsEscapeSample被设置为等于1。
–否则,bIsEscapeSample被设置为等于0。
–如果bIsEscapeSample等于0,则以下适用:
recSamples[x][y]=
CurrentPaletteEntries[cIdx][PaletteIndexMap[xCbL+xL][yCbL+yL]] (443)
–否则(bIsEscapeSample等于1),以下有序步骤适用:
1.量化参数qP被推导如下:
–如果cIdx等于0,
qP=Max(QpPrimeTsMin,Qp′Y) (444)
–否则,如果cIdx等于1,
qP=Max(QpPrimeTsMin,Qp′Cb) (445)
–否则(cIdx等于2),
qP=Max(QpPrimeTsMin,Qp′Cr) (446)
2.列表levelScale[]被指定为levelScale[k]={40,45,51,57,64,72},其中k=0..5。
3.以下适用:
tmpVal=(PaletteEscapeVal[cIdx][xCbL+xL][yCbL+yL]*levelScale[qP%6])<<(qP/6)+32)>>6 (447)
recSamples[x][y]=Clip3(0,(1<<BitDepth)-1,tmpVal) (448)
变量localDualTree被推导如下:
localDualTree=treeType!=SINGLE_TREE&&
(slice_type!=I||(slice_type==I&&
qtbtt_dual_tree_intra_flag==0))?1:0 (449)
当localDualTree等于1时,以下适用:
–如果treeType等于DUAL_TREE_LUMA,则对于i=0..num_signalled_palette_entries[startComp]-1,以下适用:
CurrentPaletteEntries[1][NumPredictedPaletteEntries+i]=1<<(BitDepth-1) (450)
CurrentPaletteEntries[2][NumPredictedPaletteEntries+i]=1<<(BitDepth-1) (451)
–否则(如果treeType等于DUAL_TREE_CHROMA),则对于i=0..num_signalled_palette_entries[startComp]-1,以下适用:
CurrentPaletteEntries[0][NumPredictedPaletteEntries+i]=1<<(BitDepth-1) (452)
–变量CurrentPaletteSize[0]、startComp、numComps和maxNumPalettePredictorSize被推导如下:
CurrentPaletteSize[0]=CurrentPaletteSize[startComp] (453)
startComp=0 (454)
numComps=3 (455)
maxNumPalettePredictorSize=63 (456)
当以下条件中的一个为真时:
–cIdx等于0,并且numComps等于1;
–cIdx等于2;
值PredictorPaletteSize[startComp]和阵列PredictorPaletteEntries被推导或修改如下:
Figure BDA0003852930500000301
Figure BDA0003852930500000311
当qtbtt_dual_tree_intra_flag等于0或者slice_type不等于I时,以下适用:
PredictorPaletteSize[1]=newPredictorPaletteSize (458)
比特流一致性的要求是,PredictorPaletteSize[startComp]的值应当在0到maxNumPalettePredictorSize的范围(包括0和maxNumPalettePredictorSize)内。
3.由各种实施例解决的问题的示例
在IBC虚拟缓冲区的当前设计中,存在一些问题。
1)当当前CU大于一个VPDU时,即当前CU包括多个VPDU时,IBC虚拟缓冲区中的仅一个VPDU被重置。
2)调色板模式可以被进一步改进。
4.实施例和技术的列表
通过vSize表示VPDU的宽度和高度,例如VSize=min(64,ctbSizeY),其中ctbSizeY是亮度CTB/CTU宽度/高度。
IBC缓冲区相关
1.当块(CU/CB)尺寸大于VPDU尺寸时,IBC缓冲区中的所有对应的VPDU可以被重置。
a.在一个示例中,对应的VPDU被定义为与映射到IBC缓冲区的CU重叠的VPDU。
b.在一个示例中,所有对应的VPDU都被重置为-1。
c.在一个示例中,IBC缓冲区内的区域的宽度被推导为max(VSize,块宽度)而不是VSize,其中该区域是需要被重置的区域。
d.在一个示例中,IBC缓冲区内的区域的高度被推导为max(VSize,块高度)而不是VSize,其中该区域是需要被重置的区域。
调色板模式相关
2.预测值调色板中的调色板预测值可以在编解码新块之前被更新
a.在一个示例中,调色板预测值可以使用在先前的调色板编解码块中编解码的信息来更新。
b.在一个示例中,调色板预测值可以使用先前与相同条目一起使用的调色板预测值来更新。
c.在一个示例中,可以在比特流中指示调色板预测值与其更新值之间的差。
5.实施例示例
5.1.实施例#1
粗体下划线标记的改变基于JVET-Q2001-vD。
7.4.11.5编解码单元语义
当ResetIbcBuf等于1时,以下适用:
–对于x=0..IbcBufWidthY-1并且y=0..CtbSizeY-1,进行以下赋值:
IbcVirBuf[0][x][y]=-1 (178)
–变量ResetIbcBuf被设置为等于0。
当x0%VSize等于0并且y0%VSize等于0时,对于
Figure BDA0003852930500000321
并且
Figure BDA0003852930500000322
Figure BDA0003852930500000323
进行以下赋值:
IbcVirBuf[0][(x+(IbcBufWidthY>>1))%IbcBufWidthY][y%CtbSizeY]=-1(179)
图1是示出可以在其中实施本文公开的各种技术的示例视频处理系统1900的框图。各种实施方式可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收,或者可以是压缩或编码格式。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统1900可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以将来自输入1902的视频的平均比特率减小到编解码组件1904的输出,以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储,或者经由如由组件1906表示的通信连接而发送。在输入1902处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1908用于生成像素值或传送到显示接口1910的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但是将理解,编解码工具或操作在编码器处被使用,并且反转编解码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)、或高清晰度多媒体接口(HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
图2是视频处理装置3600的框图。装置3600可以用于实施本文描述的一种或多种方法。装置3600可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)3604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路系统中实施本文档中描述的一些技术。
图4是示出可以利用本公开的技术的示例视频编解码系统100的框图。
如图4所示,视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码视频数据,其中该源设备110可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码视频数据,其中该目标设备120可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括源,诸如视频捕捉设备、从视频内容提供器接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码,以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码视频数据可以通过网络130a经由I/O接口116直接发送到目标设备120。编码视频数据也可以存储在存储介质/服务器130b上,以供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可以对编码视频数据进行解码。显示设备122可以向用户显示解码视频数据。显示设备122可以与目标设备120集成,或者可以在被配置为与外部显示设备接口的目标设备120的外部。
视频编码器114和视频解码器124可以根据视频压缩标准进行操作,例如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或另外的标准。
图5是示出视频编码器200的示例的框图,该视频编码器200可以是图4所示的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或所有技术。在图5的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲区213和熵编码单元214。
在其他示例中,视频编码器200可以包括更多、更少或不同的功能组件。在示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以执行IBC模式下的预测,其中至少一个参考图片是当前视频块所在的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成,但是出于解释的目的,在图5的示例中单独表示。
分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以基于误差结果选择编解码模式(例如,帧内或帧间)之一,并且将作为结果的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据,以及提供给重构单元212以重构编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测模式的组合(CIIP),其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可以选择块的运动矢量的分辨率(例如,子像素或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较,来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲区213的除了与当前视频块相关联的图片之外的图片的解码样点,来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,例如,依赖于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成指示列表0或列表1中的参考图片的参考索引,该参考索引包含参考视频块和指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可以在列表1中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成参考索引,该参考索引指示包含参考视频块的列表0和列表1中的参考图片以及指示参考视频块和当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出完整的运动信息集,以用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的完整的运动信息集。而是运动估计单元204可以参考另一个视频块的运动信息信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示值,该值向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息。
在另一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所讨论的,视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如,由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中样点的不同样点分量相对应的残差视频块。
在其他示例中,例如在跳过模式下,对于当前视频块可能没有残差数据,并且残差生成单元207可能不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残差视频块。重构单元212可以将重构后的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点,以产生与当前块相关联的重构视频块,用于存储在缓冲区213中。
在重构单元212重构视频块之后,可以执行环路滤波操作,以减少视频块中的视频块效应。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时,熵编码单元214可以执行一个或多个熵编码操作,以生成熵编码数据,并输出包括该熵编码数据的比特流。
图6是示出视频解码器300的示例的框图,该视频解码器300可以是图4所示的系统100中的视频解码器114。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图6的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
在图6的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲区307。在一些示例中,视频解码器300可以执行通常与针对视频编码器200(图5)描述的编码过程相反的解码过程。
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如,视频数据的编码块)。熵解码单元301可以对熵编解码的视频数据进行解码,并且从熵解码的视频数据中,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块,可以基于插值滤波器执行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可以使用如视频编码器200在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据所接收的语法信息确定视频编码器200使用的插值滤波器,并使用该插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及用于对编码视频序列进行解码的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域上相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化后的视频块系数进行逆量化,即,解量化。逆变换单元303应用逆变换。
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加,以形成解码块。如果需要,还可以应用去方块滤波器来滤波解码块,以便移除块效应。解码的视频块然后被存储在缓冲区307中,为随后的运动补偿/帧内预测提供参考块,并且还产生解码的视频以在显示设备上呈现。
接下来提供一些实施例优选的第一解决方案集合的列表。
以下解决方案示出了在前一节(例如,第1项)中讨论的技术的示例实施例。
1.一种视频处理方法(例如,图3中的方法3000),包括:为视频的视频块和视频的编解码表示之间的转换确定视频块满足条件(3002),其中视频块使用帧内块复制模式在编解码表示中被编解码,其中在帧内块复制模式下,来自与视频块相同的图片的参考样点用于预测视频块;以及基于该确定来执行转换(3004);其中由于视频块满足条件,帧内块复制缓冲区的一部分在转换期间被重置。
2.根据解决方案1所述的方法,其中,该一部分包括帧内块复制缓冲区中的所有对应的虚拟流水线数据单元(VPDU)。
3.根据解决方案2所述的方法,其中,对应的VPDU与帧内块复制缓冲区中的视频块重叠。
4.根据解决方案2-3中任一项所述的方法,其中,VPDU被重置为等于-1的值。
5.根据解决方案1所述的方法,其中,该一部分对应于具有等于VSize和视频块的宽度中的最大值的宽度的区域,其中VSize表示虚拟流水线数据单元的尺寸。
6.根据解决方案1所述的方法,其中,该一部分对应于具有等于VSize和视频块的高度中的最大值的高度的区域,其中VSize表示虚拟流水线数据单元的尺寸。
以下解决方案示出了在前一节(例如,第2项)中讨论的技术的示例实施例。
7.一种视频处理的方法,包括:执行视频的一个或多个视频块和视频的编解码表示之间的转换,其中一个或多个视频块使用代表性样点的调色板进行编解码,其中调色板使用调色板预测值在编解码表示中被预测编解码,并且其中调色板预测值在用于处理一个或多个视频块中的每一个之前被更新。
8.根据解决方案7所述的方法,其中,调色板预测值使用来自一个或多个视频块的先前视频块的信息来更新。
9.根据解决方案7所述的方法,其中,调色板预测值使用具有相同条目的先前调色板预测值来更新。
10.根据解决方案7-9中任一项所述的方法,其中,编解码表示包括指示调色板预测值和调色板预测值的更新值之间的差的字段。
11.根据解决方案1至17中任一项所述的方法,其中,该转换包括将视频编码为编解码表示。
12.根据解决方案1至17中任一项所述的方法,其中,该转换包括对编解码表示进行解码以生成视频的像素值。
13.一种视频解码装置,包括被配置为实施根据解决方案1至19中的一项或多项所述的方法的处理器。
14.一种视频编码装置,包括被配置为实施根据解决方案1至19中的一项或多项所述的方法的处理器。
15.一种存储有计算机代码的计算机程序产品,该代码在由处理器执行时使得处理器实施根据解决方案1至19中任一项所述的方法。
16.一种本文档中描述的方法、装置或系统。
在以下示例中列出了一些实施例优选实施的第二解决方案集合的列表。
1.一种视频处理方法(例如,图12中的方法1200),包括:为视频的视频块和视频的比特流之间的转换确定视频块满足条件(1202),其中视频块使用帧内块复制模式在比特流中被编解码;以及基于该确定来执行转换(1204);其中由于视频块满足条件,帧内块复制缓冲区的一部分在转换期间被重置。
2.根据示例1所述的方法,其中,该一部分包括帧内块复制缓冲区中的所有对应的虚拟流水线数据单元(VPDU)。
3.根据示例2所述的方法,其中,对应的VPDU与帧内块复制缓冲区中的视频块重叠。
4.根据示例2-3中任一项所述的方法,其中,VPDU被重置为等于-1的值。
5.根据示例1所述的方法,其中,该一部分对应于具有等于VSize和视频块的宽度中的最大值的宽度的区域,其中VSize表示虚拟流水线数据单元的尺寸。
6.根据示例1所述的方法,其中,该一部分对应于具有等于VSize和视频块的高度中的最大值的高度的区域,其中VSize表示虚拟流水线数据单元的尺寸。
7.根据示例1-6中任一项所述的方法,其中,使用帧内块复制模式,预测从与由对应于视频块的块矢量确定的相同的解码条带的样点值的块推导。
8.一种视频处理的方法(例如,图11中的方法1100),包括:执行视频的一个或多个视频块和视频的比特流之间的转换(1102),其中一个或多个视频块使用代表性样点的调色板进行编解码,其中调色板使用调色板预测值在比特流中被预测编解码,并且其中调色板预测值在用于处理一个或多个视频块中的每一个之前被更新。
9.根据示例8所述的方法,其中,调色板预测值使用来自在一个或多个视频块之前被编解码的先前视频块的信息来更新。
10.根据示例8的方法,其中,调色板预测值使用具有相同条目的先前调色板预测值来更新。
11.根据示例8-10中任一项所述的方法,其中,比特流包括指示调色板预测值和调色板预测值的更新值之间的差的字段。
12.根据示例1至11中任一项所述的方法,其中,执行转换包括将视频块编码为比特流。
13.根据示例1至11中任一项所述的方法,其中,执行转换包括基于视频来生成比特流,并且该方法还包括将比特流存储在非暂时性计算机可读记录介质中。
14.根据示例1至11中任一项所述的方法,其中,执行转换包括从比特流解码视频。
15.一种视频解码装置,包括被配置为实施根据示例1至11中的一项或多项所述的方法的处理器。
16.一种视频编码装置,包括被配置为实施根据示例1至11中的一项或多项所述的方法的处理器。
17.一种存储有计算机指令的计算机程序产品,该指令在由处理器执行时使得处理器实施根据示例1至14中任一项所述的方法。
18.一种非暂时性计算机可读存储介质,存储根据示例1至11中任一项所述的方法而生成的比特流。
19.一种存储指令的非暂时性计算机可读存储介质,该指令使得处理器实施根据示例1至14中任一项所述的方法。
20.一种比特流生成的方法,包括:根据示例1至11中任一项所述的方法来生成视频的比特流,以及将比特流存储在计算机可读程序介质上。
21.一种方法、一种装置、一种根据本文档中描述的所公开的方法或系统生成的比特流。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,在从视频的像素表示到对应的比特流表示的转换期间,可以应用视频压缩算法,反之亦然。如语法所定义的,当前视频块的比特流表示可以例如对应于共位或者散布在比特流内的不同地方的比特。例如,可以按照变换和编解码的误差残差值并且还使用比特流中的头和其他字段中的比特对宏块进行编码。此外,在转换期间,解码器可以基于该确定,在知道一些字段可能存在或不存在的情况下解析比特流,如以上解决方案所描述的。类似地,编码器可以确定包括或不包括特定语法字段,并通过包括语法字段或从编解码表示中排除语法字段来相应地生成编解码表示。
本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品,即在计算机可读介质上编码的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号,例如机器生成的电信号、光学信号或电磁信号。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。
本文档书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以被实施为专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可换式盘;磁光盘;以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何主题或可能要求保护的范围的限制,而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以单独在多个实施例中或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims (21)

1.一种视频处理方法,包括:
为视频的视频块和所述视频的比特流之间的转换确定所述视频块满足条件,其中所述视频块使用帧内块复制模式在所述比特流中被编解码;以及
基于所述确定来执行所述转换;
其中,由于所述视频块满足所述条件,帧内块复制缓冲区的一部分在所述转换期间被重置。
2.根据权利要求1所述的方法,其中,所述一部分包括所述帧内块复制缓冲区中的所有对应的虚拟流水线数据单元(VPDU)。
3.根据权利要求2所述的方法,其中,所述对应的VPDU与所述帧内块复制缓冲区中的所述视频块重叠。
4.根据权利要求2-3中任一项所述的方法,其中,所述VPDU被重置为等于-1的值。
5.根据权利要求1所述的方法,其中,所述一部分对应于具有等于VSize和所述视频块的宽度中的最大值的宽度的区域,其中VSize表示虚拟流水线数据单元的尺寸。
6.根据权利要求1所述的方法,其中,所述一部分对应于具有等于VSize和所述视频块的高度中的最大值的高度的区域,其中VSize表示虚拟流水线数据单元的尺寸。
7.根据权利要求1-6中任一项所述的方法,其中,使用所述帧内块复制模式,预测从与由对应于所述视频块的块矢量确定的相同的解码条带的样点值的块推导。
8.一种视频处理的方法,包括:
执行视频的一个或多个视频块和所述视频的比特流之间的转换,
其中,所述一个或多个视频块使用代表性样点的调色板进行编解码,
其中,所述调色板使用调色板预测值在所述比特流中被预测编解码,并且
其中,所述调色板预测值在用于处理所述一个或多个视频块中的每一个之前被更新。
9.根据权利要求8所述的方法,其中,所述调色板预测值使用来自在所述一个或多个视频块之前被编解码的先前视频块的信息来更新。
10.根据权利要求8所述的方法,其中,所述调色板预测值使用具有相同条目的先前调色板预测值来更新。
11.根据权利要求8-10中任一项所述的方法,其中,所述比特流包括指示所述调色板预测值和所述调色板预测值的更新值之间的差的字段。
12.根据权利要求1至11中任一项所述的方法,其中,执行所述转换包括将所述视频块编码为所述比特流。
13.根据权利要求1至11中任一项所述的方法,其中,执行所述转换包括基于所述视频来生成所述比特流,并且所述方法还包括将所述比特流存储在非暂时性计算机可读记录介质中。
14.根据权利要求1至11中任一项所述的方法,其中,执行所述转换包括从所述比特流解码所述视频。
15.一种视频解码装置,包括被配置为实施根据权利要求1至11中的一项或多项所述的方法的处理器。
16.一种视频编码装置,包括被配置为实施根据权利要求1至11中的一项或多项所述的方法的处理器。
17.一种存储有计算机指令的计算机程序产品,所述指令在由处理器执行时使得所述处理器实施根据权利要求1至14中任一项所述的方法。
18.一种非暂时性计算机可读存储介质,存储根据权利要求1至11中任一项所述的方法而生成的比特流。
19.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器实施根据权利要求1至14中任一项所述的方法。
20.一种比特流生成的方法,包括:
根据权利要求1至11中任一项所述的方法来生成视频的比特流,以及
将所述比特流存储在计算机可读程序介质上。
21.一种方法、一种装置、一种根据本文档中描述的所公开的方法或系统生成的比特流。
CN202180022553.5A 2020-03-18 2021-03-18 帧内块复制缓冲区和调色板预测值更新 Pending CN115362674A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2020/079858 2020-03-18
CN2020079858 2020-03-18
PCT/CN2021/081469 WO2021185306A1 (en) 2020-03-18 2021-03-18 Intra block copy buffer and palette predictor update

Publications (1)

Publication Number Publication Date
CN115362674A true CN115362674A (zh) 2022-11-18

Family

ID=77770122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180022553.5A Pending CN115362674A (zh) 2020-03-18 2021-03-18 帧内块复制缓冲区和调色板预测值更新

Country Status (3)

Country Link
US (2) US11778176B2 (zh)
CN (1) CN115362674A (zh)
WO (1) WO2021185306A1 (zh)

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011125313A1 (ja) 2010-04-09 2013-07-08 三菱電機株式会社 動画像符号化装置および動画像復号装置
WO2015053594A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 인트라 블록 복사 예측을 이용한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
RU2654129C2 (ru) 2013-10-14 2018-05-16 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US9860559B2 (en) 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
JP6640751B2 (ja) 2014-06-19 2020-02-05 ヴィド スケール インコーポレイテッド ブロックベクトル導出を用いるイントラブロックコピー符号化のための方法およびシステム
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
JP2017532885A (ja) 2014-09-26 2017-11-02 ヴィド スケール インコーポレイテッド 時間ブロックベクトル予測を用いたイントラブロックコピー符号化
GB2531001B (en) 2014-10-06 2019-06-05 Canon Kk Method and apparatus for vector encoding in video coding and decoding
US9832467B2 (en) 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US10212445B2 (en) 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
KR102131142B1 (ko) 2015-01-29 2020-07-07 브이아이디 스케일, 인크. 인트라-블록 카피 검색
US10165292B2 (en) * 2015-02-02 2018-12-25 Mediatek Inc. Method and apparatus for intra block copy mode in video coding system with pipeline architecture
KR102216947B1 (ko) * 2015-06-08 2021-02-18 브이아이디 스케일, 인크. 화면 내용 코딩을위한 인트라 블록 복사 모드
US10178403B2 (en) 2015-06-23 2019-01-08 Qualcomm Incorporated Reference picture list construction in intra block copy mode
US10200719B2 (en) 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
GB2547053B (en) 2016-02-08 2020-07-08 Canon Kk Methods, devices, and computer programs for combining the use of intra-layer prediction and inter-layer prediction with scalability & screen content features
US10575007B2 (en) 2016-04-12 2020-02-25 Microsoft Technology Licensing, Llc Efficient decoding and rendering of blocks in a graphics pipeline
US10944963B2 (en) 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
US10382781B2 (en) 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US10951912B2 (en) 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
US20180146191A1 (en) 2016-11-22 2018-05-24 Futurewei Technologies, Inc. System and Method for Coding Intra Prediction Mode using a Second Set of Most Probable Modes
US10728573B2 (en) * 2017-09-08 2020-07-28 Qualcomm Incorporated Motion compensated boundary pixel padding
CN116389731A (zh) 2017-12-22 2023-07-04 数码士有限公司 视频信号处理方法和设备
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10638133B2 (en) 2018-01-31 2020-04-28 Qualcomm Incorporated Delta quantization parameter (QP) coding options for video
US11012715B2 (en) 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
EP3788787A1 (en) 2018-06-05 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Interaction between ibc and atmvp
WO2020094038A1 (en) 2018-11-07 2020-05-14 Mediatek Inc. Method and apparatus of encoding or decoding video blocks by current picture referencing coding
WO2020177520A1 (en) 2019-03-04 2020-09-10 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using ibc search range optimization for abitrary ctu size
WO2020184977A1 (ko) 2019-03-11 2020-09-17 한국전자통신연구원 화면 내 블록 복사 기반 부호화/복호화 방법, 장치 및 비트스트림 저장매체
JP7106744B2 (ja) 2019-05-16 2022-07-26 華為技術有限公司 ルーマおよびクロマ成分についてibc専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
KR20210141712A (ko) 2019-05-24 2021-11-23 후아웨이 테크놀러지 컴퍼니 리미티드 Ibc 병합 리스트를 사용하는 인코더, 디코더 및 대응 방법들
KR20200145785A (ko) 2019-06-20 2020-12-30 한국전자통신연구원 비디오 부호화/복호화 방법, 장치 및 비트스트림 저장 매체
BR112022000187A2 (pt) * 2019-07-06 2022-02-22 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador, meio de gravação não transitório legível por computador
CN113661703A (zh) 2019-07-11 2021-11-16 腾讯美国有限责任公司 视频编解码的方法和装置
AU2020316548A1 (en) * 2019-07-25 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
WO2021013239A1 (en) * 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Size restriction for intra-block copy virtual buffer
CN114208196B (zh) 2019-08-10 2023-11-14 北京字节跳动网络技术有限公司 帧间编解码模式的位置限制
CN114342410A (zh) * 2019-09-05 2022-04-12 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
EP4018664A4 (en) * 2019-09-23 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. SETTING THE VIRTUAL BLOCK COPY BUFFER BASED ON A VIRTUAL PIPELINE DATA UNIT
US11394957B2 (en) 2019-09-23 2022-07-19 Tencent America LLC Constraints on reference sample locations in the dedicated buffer for intra picture block compensation

Also Published As

Publication number Publication date
US20240022717A1 (en) 2024-01-18
US20230020259A1 (en) 2023-01-19
US11778176B2 (en) 2023-10-03
WO2021185306A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN113728642B (zh) 编解码视频的量化残差差分脉冲编解码调制表示
US11528497B2 (en) Palette mode with different partition structures
JP7288084B2 (ja) 変換スキップモードにおける信号通知
CN113273203B (zh) 两步交叉分量预测模式
KR102609308B1 (ko) 비디오 비트스트림에서의 서브픽처 시그널링을 위한 신택스
JP2024009018A (ja) サブピクチャのパラメータセットシグナリングにおける構文制約
JP2022522771A (ja) 映像処理におけるモデルベース再整形に対する制約
WO2021013240A1 (en) Mapping restriction for intra-block copy virtual buffer
WO2021057751A1 (en) Setting intra-block copy virtual buffer based on virtual pipeline data unit
WO2021013239A1 (en) Size restriction for intra-block copy virtual buffer
US20240056609A1 (en) Entropy coding for palette escape symbol
CN115152221A (zh) 用于色度分量的去方块参数
WO2021043299A1 (en) Range constrains for block vector in intra-block copy mode
US11563946B2 (en) Quantization parameter derivation for palette mode
JP2024014958A (ja) ローカルデュアルツリー向けのパレットモード
US11778176B2 (en) Intra block copy buffer and palette predictor update
JP2024054189A (ja) 異なるパーティション構造をもつパレット・モード
CN115088192A (zh) 视频数据的基于字典的编解码
CN114598882A (zh) 对称帧内块复制模式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination