CN116527882A - 利用当前画面参照编码方式的视频区块编码或解码方法和装置 - Google Patents

利用当前画面参照编码方式的视频区块编码或解码方法和装置 Download PDF

Info

Publication number
CN116527882A
CN116527882A CN202310563581.9A CN202310563581A CN116527882A CN 116527882 A CN116527882 A CN 116527882A CN 202310563581 A CN202310563581 A CN 202310563581A CN 116527882 A CN116527882 A CN 116527882A
Authority
CN
China
Prior art keywords
current
cpr
block
hmvp
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310563581.9A
Other languages
English (en)
Inventor
赖贞延
萧裕霖
庄子德
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN116527882A publication Critical patent/CN116527882A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频处理方法包括：接收当前画面中当前块的输入数据；通过纳入一个或多个基于历史运动向量预测(HMVP)候选，来建构用于当前块的候选列表；从候选列表中选择候选；依据所选择候选的运动信息来定位参考块；以及通过利用参考块来预测当前块，用以编码或解码当前块。如果当前块是要通过一般帧间预测模式来处理，一或多个HMVP候选会从一般HMVP表格中取得，以及如果当前块是要通过当前画面参考(CPR)模式来处理，一或多个HMVP候选会从CPR HMVP表格中取得。两个个HMVP表格被分别地维护与更新。

Description

利用当前画面参照编码方式的视频区块编码或解码方法和 装置
交叉申请
本申请是申请号为201980072894.6，发明名称为利用当前画面参照编码方式的视频区块编码或解码方法和装置的发明专利申请的分案。
技术领域
本发明关于利用当前画面参考编解码来进行视频编码与解码。尤其，本发明关于使用一或多个编解码工具来实行当前画面参考编解码。
背景技术
高效率视频编码(High Efficiency Video Coding，HEVC)的标准，是由来自国际电信联盟电信标准化部门研究组(ITU-T Study Group)的视频编码专家的视频编码联合协作小组(Joint Collaborative Team on Video Coding，JCT-VC)所开发的最新视频编解码标准。HEVC标准依赖基于块的编解码结构，其将每一切片(slice)分割为多个编解码树单元(Coding Tree Unit，CTU)。编码过的画面是由一个或整体的切片来加以代表，每一切片包括整数个CTU。在切片中个别的CTU则依据一光栅扫描(raster scanning)顺序进行处理。在HEVC主配置文件(main profile)中，CTU的最小和最大尺寸由序列参数集(SequenceParameter Set，SPS)中的语法元素，在8x8、16x16、32x32、或64x64的尺寸中来指定。在双向预测(Bi-predictive，B)切片中的每一块的样本数值是使用帧内预测或帧间预测用最多两个运动向量与参考索引来加以解码。在预测(Predictive，P)切片中的每一块的样本数值是使用帧内预测或帧间预测仅用一个运动向量与一个参考索引来加以解码。帧内(Intra，I)切片是仅使用帧内预测来加以解码。依据四叉树(quadtree，QT)分割流程，每一CTU进一步被递归式地分割成一或多个编解码单元(Coding Unit，CU)以适应各种局部运动与纹理特性。CTU尺寸为MxM，其中M是值64、32、与16中的一个。每一CTU可以是单个CU或被分割成相同尺寸M/2xM/2的四个较小单元，其被称为编解码树的节点。如果节点不被进一步分割，其为编解码树的叶节点，而且每一叶节点是CU。四叉树分割流程可以被迭代，直到节点的尺寸达到序列参数集(SPS)中指定的最小允许CU尺寸。用来将CTU分割为数个CU的四叉树块分割结构的例子绘示于图1中，其中实线表示CTU100中CU的边界。
预测的决定是在CU层作出的，其中每一CU是由帧间(时间)预测或是帧内(空间)预测来加以编解码。由于最小CU尺寸可以是8x8，所以用于在不同基本预测类型来切换的最小间隔尺寸是8x8。一旦CU层级化树的分割完成时，可以依据用于预测的PU分割类型来将每一CU作进一步分割成一或多个预测单元(Prediction Unit，PU)。图2显示定义于HEVC标准中的八个PU分割类型。依据显示于图2的八个PU分割类型中的一个，每一CU可进一步分割成一、二、或四个PU。PU与相关的CU语法一起作为共享预测信息的基本代表块，而相同的预测过程会被应用于PU中的所有像素并且预测相关信息是在以PU的基础上来传达给解码器。指定的预测过程会被运用来预测PU之中相关像素样本的数值。在获得通过预测过程所产生的残差信号之后，会根据残差四叉树(Residual QuadTree，RQT)块分割结构来将属于CU的残差信号的残差数据分割为一或多个转换单元(Transform Unit，TU)，以将残差数据转换成转换系数作为简洁的数据表示。图1中的虚线表示TU边界。TU是基本代表块用来分别地应用转换与量化于残差信号与转换系数上。对于每一TU，具有与TU相同尺寸大小的转换矩阵会被应用于残差信号上以产生转换系数，而且这些转换系数是基于TU为基础来加以量化并且传输至解码器。转换单元是由大小8x8、16x16、或32x32的亮度样本的转换块(TransformBlock，TB)以及画面中依据4:2:0颜色样本格式所编解码的两个相对应的色度样本的转换块所组成。整数转换会被应用于转换块而且量化后系数的水平数值(level value)与其他边信息会在视频比特流中进行熵编解码。
这些术语编解码树块(Coding Tree Block，CTB)，编解码块(Coding Block，CB)，预测块(Prediction Block，PB)和转换块(Transform Block，TB)被定义出以分别指定与CTU，CU，PU，和TU相关的一个颜色分量的二维样本数组。例如，CTU由一个亮度(luma)CTB，两个色度(chroma)CTB和其相关的语法元素所组成。在HEVC系统中，通常会将相同的四叉树块分割结构应用于亮度和色度两个分量，除非已达到色度块的最小尺寸。
二叉树分割结构是可以递归式分割一个块成为两个较小块的四叉树分割结构的替代性结构。最有效而简单的二叉树分割类型是对称水平与对称垂直分割类型。对于尺寸大小为MxN的给定块，旗标会被发信来指出这一块是否被分割成为两个较小块；如果是，另一语法元素会被发信来指出是使用哪一种分割类型。当该给定块是通过对称水平分割类型加以分割的情况，该给定块会被分割成为尺寸大小为MxN/2的两个块；否则，该给定块会被分割成为尺寸大小为M/2xN的两个块。二叉树分割过程可以反复进行直到块的尺寸大小、宽度、或高度到达高阶语法元素所定义的最小可允许的块尺寸大小、宽度、或高度为止。最小可允许的块宽度与高度二者都被指定，因为在二叉树分割过程中有水平与垂直分割类型。当分割的结果会造成块高度小于所指定的最小高度时，水平分割类型会隐含地被禁止。相似地，当分割的结果会造成块宽度小于所指定的最小宽度时，垂直分割类型会隐含地被禁止。二叉树分割结构可以被用来将块分割成为数个较小块，例如，它可以被用来将切片(slice)分割成数个CTU、将CTU分割成数个CU、将CU分割成数个PU、或将CU分割成数个TU。
二叉树结构比四叉树结构更具弹性，是因为可以支持更多的分割形状，这也是编解码效率提高的来源。但是，由于编码器需要从众多分割形状中决定选择最佳的分割形状，编解码复杂度也会增加。一种称为四叉树加二叉树(Quadtree plus Binary Tree，QTBT)结构的新分割结构可以平衡四叉树分割结构与二叉树分割结构的编解码效率和编解码复杂度。图3A显示示例性的QTBT结构，其中CTU首先通过四叉树结构然后是二叉树分割结构来对CTU进行分割。CU可以通过四叉树分割而递归式地进行分割，直到当前CU尺寸大小达到最小可被允许四叉树叶节点尺寸。如果叶四叉树块的尺寸不大于最大可被允许二叉树根节点的尺寸，则每一叶四叉树块可以通过二叉树分割再加以分割。二叉树分割可以被递归式地应用直到当前CU尺寸大小、宽度、或高度达到最小可被允许二叉树叶节点尺寸大小、宽度、或高度，或是二叉树深度达到最大可被允许二叉树深度。在QTBT分割中，只有水平对称分割与垂直对称分割是两种可被允许的二叉树分割类型。从QTBT分割中所产生的叶CU可以被运用于预测与转换程序而不作任何进一步分割。图3A依据QTBT分割结构绘示块分割结构的例子，而图3B绘示相对应的编解码树图以用于图3A所显示的QTBT分割结构。图3A与3B中实线表示四叉树分割，而虚线表示二叉树分割。在二叉树结构的每个分割节点(即非-叶)中，一个旗标会指示使用了哪种分割类型(水平或垂直)，0表示水平对称分割而且1表示垂直对称分割。对于在I型切片中被编解码的CTU，用于色度CTB的QTBT编解码树代表可与用于对应的亮度CTB的QTBT编解码树代表不同。对于在P型和B型切片中被编解码的CTU，相同的QTBT编解码树代表被应用于色度CTB和亮度CTB二者，除非是对于色度块已达某一最小尺寸。在QTBT分割结构中，最小可被允许的四分树叶节点尺寸大小，最大可被允许的二分树根节点尺寸大小，最小可被允许的二分树叶节点宽度和高度，以及最大可被允许的二分树深度和高度在例如SPS的高阶语法中加以指示。
QTBT分割结构可以用于将块分割成多个更小的块，例如，QTBT分割结构可以用于将CTU分割成多个CU，而多个CU由预测与转换编解码作进一步处理。也就是说，QTBT分割结构的叶节点是用于预测和转换编解码二者的基本单元。在一例子中，CTU的尺寸大小为128x128，最小可被允许四叉树叶节点尺寸为16×16，最大可被允许二叉树根节点尺寸为64x64，最小可被允许二叉树叶节点宽度与高度二者皆为4，以及最大可被允许的二叉树深度为4。在这个例子中每一CTU通过四叉树分割结构来加以分割，因此叶四叉树单元的尺寸可以从16×16(最小可被允许四叉树叶节点尺寸)至128×128(CTU的尺寸)。如果叶四叉树单元为128×128，则不能被二叉树分割作进一步分割，因为叶四叉树单元的尺寸大小超过最大可被允许二叉树根节点尺寸64x64；否则，尺寸小于或等于64x64的叶四叉树单元可以通过二叉树分割作进一步分割。当通过二叉树分割来对叶四叉树单元进行分割时，此叶四叉树单元也是作为根二叉树单元，其具有二叉树深度等于0。当二叉树深度达到4时(即指定的最大深度)，分割是被隐含地禁止。相似地，当二叉树节点的宽度或高度等于4时，水平或垂直分割分别地被隐含地禁止。QTBT分割结构的叶节点通过预测与转换编解码来进一步来处理。
QTBT分割结构会分别适用在帧内(I)切片的亮度与色度分量上，而且对于预测(P)和双向预测(B)切片的亮度与色度二者同时适用，除非当达到色度分量的某些最小尺寸时会有例外产生。在帧内切片中，亮度CTB有其自己的QTBT分割结构块分割，而两个色度CTB有另外的QTBT结构块分割，以及两个相对应色度CTB共享另一个QTBT结构块分割。备选地，两个色度CTB有他们自己的QTBT结构块分割。
帧间预测或运动补偿(包括帧间模式、合并模式、与跳过模式)是设计来利用在当前画面与一或多个参考画面之间的时间关联性。运动向量(MV)是用来代表在当前画面的当前块以及参考画面中相对应的参考块之间的位移(displacement)。通常是假设在当前画面中相对应于对象(object)或背景的图样(pattern)会被位移以形成接下来画面中相对应的对象，或是会与当前画面中其他图样有所关联。有了从其他画面来的这种位移的估计后(例如使用块匹配技术，block matching technique)，在不重新编解码所述图样的情况下就几乎可以重制(reproduce)这些图样。相似地，块匹配可以在相同的画面中加以进行以选择参考块。和帧间预测中块匹配程序相似，运动向量是用来代表在当前块以及参考画面中相对应的参考块之间的位移。相对应的参考块是与当前块在相同画面之中的先前已重构块。此技术被称为帧内块复制(Intra Block Copy，IBC)或当前画面参考(Current PictureReferencing，CPR)，当应用此技术于相机所捕捉的视频内容时，被观察到效率不佳。原因之一是在空间相邻区域的文字图样可能会和当前编解码块相似，但是通常会有一些在空间上的逐渐变化。在相机所捕捉的视频的相同画面中，块要找到完全的匹配会较困难，因此编解码效率的改进是有限的。然而，通过在当前画面搜寻相似的图样，CPR是非常有效的技术用来编码屏幕内容。对于典型具有文字与图形的视频而言，在相同画面中通常会有重复的图样。为了通过CPR模式来处理当前画面中的当前块，会从当前画面中的先前已重构块来加以预测该当前块。运动向量(也称为块向量，Block Vector，简称BV)会被用来发信从当前块位置到参考块位置的相对位移(relative displacement)。然后使用转换、量化、与熵编解码来对预测错误进行编码。使用在屏幕内容编解码的CPR补偿的一些例子绘示于图4。从MV推导出的参考块的参考样本为相对应于在环内滤波操作(in-loop filter operation)之前的当前画面的重构样本，环内滤波操作为HEVC标准中之解块(deblocking)与样本自适应偏移(Sample Adaptive Offset，SAO)滤波二者。
CPR补偿的第一版本被限制于小的局部区域内，只有一维的MV，而且只用于具有2Nx2N尺寸大小的块。后来则发展出较为先进的CPR设计，加入了一些比特流符合约束(bitstream conformance constraint)来对于较为先进CPR设计中的当前PU的有效CPR MV数值加以规范。第一，等式(1)与等式(2)中之一必须为真。
BV_x + offsetX + nPbSw + xPbs – xCbs <＝ 0 (1)
BV_y + offsetY + nPbSh + yPbs – yCbs <＝ 0 (2)
第二，下列于等式(3)中的波前并行处理(Wavefront Parallel Processing，WPP)条件必须为真。
(xPbs+BV_x+offsetX+nPbSw-1)/CtbSizeY–xCbs/CtbSizeY<＝yCbs/CtbSizeY-(yPbs+BV_y+offsetY+nPbSh-1)/CtbSizeY(3)
在等式(1)到(3)中，(BV_x,BV_y)代表用于当前PU的亮度块向量，nPbSw与nPbSh是当前PU的宽度与高度，(xPbS,yPbs)代表当前PU的左上像素相对于当前画面的位置，(xCbs,yCbs)代表当前CU的左上像素相对于当前画面的位置，以及CtbSizeY是CTU的尺寸大小。二变数offsetX与offsetY是在考虑用于CPR模式的色度样本内插后二维中两个调整过的偏移量，而且定义于等式(4)与等式(5)之中。
offsetX ＝ BVC_x & 0x7 ？ 2 : 0 (4)
offsetY ＝ BVC_y & 0x7 ？ 2 : 0 (5)
其中(BVC_x,BVC_y)代表色度块向量，在HEVC中是1/8像素分辨率。
第三，用来预测以CPR模式所编解码的当前PU的参考块必须在相同的方块(tile)边界或切片(slice)边界。
仿射运动补偿使用仿射模型来描述二维块旋转，以及从正方块或长方块到平行四边形的二维变形。此仿射模型于等式(6)中加以描述。
x’＝a0+a1*x+a2*y
y’ ＝ b0 + b1*x + b2*y (6)
有六个参数a0、a1、a2、b0、b1、与b2涉及在此仿射模型中。对于所感兴趣区域中的每一像素(x,y)，此像素的运动向量为A’–A＝(a0+(a1-1)*x+a2*y,b0+b1*x+(b2-1)*y)。每一像素的运动向量是取决于其位置。在此仿射模型中，如果三个不同位置的运动向量已知，在等式(6)中的上述六个参数可以被解出来，所以等效而言就是六个参数已知。具有已知运动向量的每一个位置被称为控制点。六个参数的仿射模型相对应于三个控制点模型。
在仿射运动补偿的实作施行上，仿射旗标会被发信来用于以合并模式或高级运动向量预测(AMVP)模式所编解码的每一个2Nx2N块分割。如果对于当前块此一旗标为真，此当前块的运动向量推导会依循仿射模型；如果此一旗标为假，此当前块的运动向量推导会依循传统平移式模型(translation model)。当仿射AMVP模式被使用时，三个控制点的运动向量(Motion Vector，MV)被发信。在每一控制点位置，MV会被预测性地加以编解码。然后将这些控制点的运动向量差异(Motion Vector Difference，MVD)加以编解码与传输。
基于历史运动向量预测(History-based Motion Vector Prediction，HMVP)的方法会在表格中储存数项先前编解码块的运动信息以被后续块所参考。表格中每一项运动信息被称为HMVP候选。具有多个HMVP候选的表格于编码或解码流程中会被维护(maintained)，而且当遇到新的切片时此表格会被清空(emptied)。在编码或解码帧间编解码非-仿射块(inter-coded non-affine block)之后，相关联的运动信息会被加入于表格的最后一项字段作为新的HMVP候选。HMVP方法的解码流程被绘示于图5。对于以帧间预测编解码的每一块，具有HMVP候选的HMVP表格会由解码器加以加载，而且解码器以包含有从该HMVP表格所取得的一或多个HMVP候选的候选列表来对块加以解码。然后会以解码后块的解码后运动信息对于HMVP表格加以更新。图6绘示更新用来储存多个HMVP候选的HMVP表格的例子。在一例子中，此表格尺寸大小被设定为6(即L＝6)，因此至多有6个HMVP候选可以被加入于该HMVP表格中。当插入新的HMVP候选于该HMVP表格时，被约束的先进先出(first-in-first-out，FIFO)规则会被应用。会先应用冗余检查来搜索该HMVP表格中是否有冗余的HMVP候选是与最新加入的HMVP候选相同。如图6所示，HMVP2被决定是冗余的HMVP候选，并且HMVP2被从该HMVP表格中移除。在从该HMVP表格中移除冗余的HMVP候选之后，HMVP表格中位于在被移除HMVP候选之后的所有HMVP候选会通过将每一索引减1而被往前移动。然后HMVP表格会被填入新的HMVP候选CL-1。
储存在HMVP表格中的HMVP候选可以被用于合并候选列表建构流程中。在HMVP表格中的最新几个HMVP候选会被依序检查，并且在插入时间运动向量预测(Temporal MotionVector Prediction，TMVP)的候选之后被插入于合并候选列表中。通过以合并候选列表中的空间与时间候选来检查HMVP候选，修剪(pruning)会被应用于HMVP候选中。例如像高级时间运动向量预测(Advanced Temporal Motion Vector Prediction，ATMVP)的子块运动候选不会被和HMVP候选作检查。为了减少修剪操作的数目，引进了三个简化。在第一简化中，依据等式(7)，设定待检查HMVP候选的数目(以L来表示)。
L ＝ (N <＝4 ) ？ M: (8 - N) (7)
其中N指示出可用的非子块合并候选的数目，而且M指示出HMVP表格中可用的HMVP候选的数目。
第二简化检查可用的合并候选的总数是否达到发信最大可允许的合并候选减1，而且如果可用的合并候选的总数达到了发信最大可允许的合并候选减1，从HMVP表格来的合并候选列表建构流程会被终止。第三简化将合并型双向预测合并候选推导的配对数目从12降低到6。
与合并候选建构流程相似，HMVP候选可以被用来于AMVP候选列表建构流程。在HMVP表格中最后K个HMVP候选的运动向量会在TMVP候选之后被插入于AMVP候选列表。仅有与AMVP目标参考画面具有相同的参考画面的HMVP候选才会被用来建构AMVP候选列表。修剪(pruning)会被应用于HMVP候选。例如，K被设定为4，而AMVP列表尺寸大小被设定为2，这是和HEVC标准中的AMVP列表尺寸大小相同。
发明内容
一种在视频解码系统中处理视频数据的方法，包括：接收与包含多个虚拟管道数据单元的当前画面相关联的输入数据，其中每一个虚拟管道数据单元是固定尺寸大小的；进行解码程序来解码该当前虚拟管道数据单元中的编解码单元以及产生该当前虚拟管道数据单元的解码后的样本，其中通过取得储存于当前画面参考参照缓冲器中的参考块的解码后的样本，来对以当前画面参考模式编码的每一个编解码单元加以解码；以及当完成该当前虚拟管道数据单元的该解码程序时，通过储存该当前虚拟管道数据单元的解码后的样本，来对于该当前画面参考参照缓冲器加以更新，其中该当前画面参考参照缓冲器是依照一个虚拟管道数据单元接着一个虚拟管道数据单元加以更新。
透过对以下具体实施例描述的检阅，本发明的其他方面和特征对于本领域一般技术人员将变得明显易懂。
附图说明
在本揭示被提出当例子的各种实施例将会参照下列图式被更详细地解说，其中相似的数字用来参照相似的组件，而且其中：
图1根据HEVC标准中所定义的四叉树分割绘示示例性的编解码树，以用来将编解码树单元(CTU)分割为数个编解码单元(CU)以及将每一CU分割为一或多个转换单元(TU)。
图2根据HEVC标准绘示八个不同的预测单元(PU)分割类型，以用来将CU分割为一或多个PU。
图3A根据四叉树加二叉树(QTBT)分割结构绘示示例性的块分割结构。
图3B绘示对应于图3AQTBT分割结构的编解码树结构。
图4展示使用当前画面参考(CPR)技术来编码屏幕内容的一些例子。
图5绘示基于历史运动向量预测(HMVP)方法的解码流程。
图6绘示更新用于HMVP方法的表格的一例子。
图7为根据本发明示例性实施例的流程图，绘示视频处理方法使用两个HMVP表格来编码或解码当前块。
图8为根据本发明另一示例性实施例的流程图，绘示视频处理方法来解码当前VPDU以及更新CPR参照缓冲器。
图9为根据本发明实施例绘示示例性的系统方块图，以用于体现视频处理方法的视频编码系统。
图10为根据本发明实施例绘示示例性的系统方块图，以用于体现视频处理方法的视频解码系统图。
具体实施方式
容易理解的是，如本文附图中一般描述和说明的本发明的各种模块可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而仅仅代表本发明的所选实施例。
本说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例，这些实施例可单独地实现或者与一个或多个其他实施例结合实现。此外，所描述的特征，结构或特性可在一个或多个实施例中以任何合适的方式组合。然而，相关领域的习知技艺者将认识到，可在没有一个或多个具体细节的情况下或者利用其他方法，组件等来实践本发明。在其他情况下，未示出或详细描述公知的结构或操作，以避免模糊本发明的各方面。
本发明的各种实施例改进当前画面参考(Current Picture Referencing，CPR)与其他编解码工具的整合。有些实施例考虑的场合为在CPR与一般帧间预测整合之下，应用双树块分割来分割亮度与色度分量。旗标CPR_enable_flag被发信来指示出当前CU或当前PU是否通过CPR模式来加以编解码。当当前画面是包括于参考画面列表中而且参考画面列表中没有任何帧间参考画面时，当前CU或PU被推论为以CPR模式加以编解码。例如，如果参考画面列表中所有参考画面都是当前画面时，或是如果参考画面列表中仅有一个参考画面而且这仅有的参考画面是当前画面时，当前CU或PU被推论为以CPR模式加以编解码。在一例子中，当前画面是包括于参考画面列表中而且在参考画面列表中没有其他一般帧间参考画面，当一或多个并位亮度块是以CPR模式加以编解码时，当前色度CU或PU被推论为以CPR模式加以编解码。在以下描述中，如果当前块是以CPR模式加以编解码，或者如果对于当前块而言CPR模式为致能的(enabled)，指向该当前画面的参考画面被用来作为块预测。
以基于历史运动向量预测来实行CPR通过于合并候选列表或AMVP候选列表中纳入一或多个HMVP候选，HMVP方法改善视频编解码的编解码效率。以一般帧间预测模式(例如跳过模式、合并模式、或AMVP模式)所编解码或将编解码的块，可以通过从HMVP候选所推导的参考块来进行预测。在某些例子中，一般帧间预测模式是一种预测模式，其使用运动向量预测子于一般参考画面，运动向量预测子是选择自候选列表并且用来产生当前块的预测像素数值，以及所选择运动向量预测子的索引被编码器传送至解码器，以使解码器在通过使用和编码器相同的方式来建构候选列表之后可以推导出所选择运动向量预测子。一般参考画面是在当前画面之前所编解码的画面，并可以被当前画面所参考。在有些实施例中，HMVP表格仅储存以一般帧间预测模式所编解码的CU的运动信息，并且该一般帧间预测模式包括合并、跳过、与AMVP模式中之一或其组合。在一实施例中，如果对于当前画面中的当前块而言CPR模式是致能的(enabled)，而且此当前画面是参考画面列表中唯一的参考画面时，HMVP方法会被失能(disabled)。在另一实施例中，仅有指向一般参考画面的MV才被用来更新HMVP表格，也就是说，CPR MV不能被插入于HMVP表格中。
在本发明的某些实施例中，HMVP方法也被用来处理通过CPR模式所编解码或将编解码的块。因此有两个分别的HMVP表格(或两个分别的HMVP列表)被维护，一个HMVP表格储存之前通过一般帧间预测模式所处理的编解码块的运动信息所相对应的HMVP候选，被称为一般HMVP表格；另一个HMVP表格储存之前通过CPR模式所处理的编解码块的运动信息所相对应的HMVP候选，被称为CPR HMVP表格。储存在一般HMVP表格的每一个HMVP候选包括在列表0、列表1、或列表0与列表1二者中指向一或两个在一般帧间参考画面的一或两个MV。一般HMVP表格储存用于HMVP候选的MV与参考帧索引。储存于CPR HMVP表格的每一个HMVP候选包括指向当前画面的一个MV。只有MV需要被储存于CPR HMVP表格中而且参考帧索引会被忽略，这是由于对于CPR HMVP表格中的每一个HMVP候选其参考画面总是当前画面。在此实施例中，为了对以一般帧间预测模式(例如AMVP、合并、或跳过模式)所编解码的当前块来进行编码或解码，候选列表是通过纳入从一般HMVP表格中取得的一或多个HMVP候选来进行建构。如果当前块是以CPR模式所编码或解码，候选列表是通过纳入从CPR HMVP表格中取得的一或多个HMVP候选来进行建构。例如，所述一或多个HMVP候选是在时间运动向量预测(TMVP)候选之后被插入于候选列表中。
如果当该当前块是以AMVP模式所编解码之时，仅有与AMVP目标参考画面具有相同的参考画面的HMVP候选才会被用来建构该候选列表。修剪处理流程(pruning process)会被应用来将一个或多个HMVP候选与候选列表中一个或多个既存的候选进行检查，以从该候选列表中移除任何冗余的HMVP候选。候选是从该候选列表中被选择以用于该当前块，例如，编码器通过进行率失真优化(rate distortion optimization)来选择候选，并且解码器依据视频比特流中所传输的索引来选择候选。通过依据所选择候选的运动信息而在参考画面定位参考块以及由参考块来预测当前块，然后将当前块进行编码或解码。如果当前块是以CPR模式所编解码的，参考画面即是当前画面。
在一些实施例中，检查CPR MV合法性的条件是在将该CPR MV从该CPR HMVP表格加入到合并候选列表或AMVP候选列表之前来加以进行。范围约束(range constraint)会被设定以决定从CPR HMVP表格中取得的每一个HMVP候选的合法性，而且如果被HMVP候选所指向的参考块是位于该范围约束之内时，从CPR HMVP表格中所取得的HMVP候选是有效而可以被加入该候选列表中。例如，如果被CPR MV所指向的参考块中的参考样本是被解码的并且被储存于CPR参照缓冲器中，此CPR MV在进行合法性检查之后会被标示为有效。例如，CPR参照缓冲器储存当前CTU与左方CTU区域的解码后样本，有效的CPR MV会指向该当前CTU或左方CTU区域中的参考块。无效的CPR MV不会被加入于合并候选列表或AMVP候选列表之中。
在运用两个HMVP表格于一般帧间预测模式与CPR模式的一实施例中，当双树块分割被使用来分割亮度与色度分量时，这两个HMVP表格会被视频数据的亮度与色度两分量所共享。当双树块分割被使用时，亮度与色度分量是使用不同的块分割结构来进行分割；而当共享树块分割被使用时，亮度与色度分量是使用相同的块分割结构来进行分割。在另一实施例中，当双树块分割被使用来分割亮度与色度分量时，用于当前亮度块的候选列表会被一个或多个并位色度块(collocated chroma block)再使用。在另一实施例中，当当前色度块是通过CPR模式来处理时，该当前色度块的候选列表包括推导自一个或多个并位亮度块(collocated luma block)的一个或多个CPR MV。
在另一实施例中，一个HMVP表格被用来储存之前所解码的运动信息，从CPR模式与一般帧间预测模式来的两个MV可以被用来更新HMVP表格，而且一或多个HMVP候选会从HMVP表格取得以插入于合并候选列表或AMVP候选列表之中。在一实施例中，当当前画面被选择为用于预测当前块的参考画面时，只有AMVP候选列表中的CPR MV可以被使用。
在一实施例中，编码器或解码器只从HMVP表格中将一或多个CPR HMVP插入于合并候选列表或AMVP候选列表中。在另一实施例中，从HMVP表格中所取得的任何一个HMVP候选，在加入于合并候选列表或AMVP候选列表之前会先进位至整数的精确度。在运用双树块分割于亮度与色度分量的一实施例中，当HMVP方法与CPR模式一并使用时，两个HMVP表格于编码或解码过程之中被维护与使用，一个HMVP表格是用于亮度分量而且另一个HMVP表格是用于色度分量。在另一实施例中，一个单一的HMVP表格被维护与使用于亮度与色度分量，而且亮度与色度分量两者的运动信息可以对HMVP表格加以更新。在共享一个单一HMVP表格于亮度与色度分量的例子中，色度分量只可以再使用亮度CPR MV而不使用任何相邻色度CPR MV。
以帧间预测来实行CPR以下的实施例描述将CPR模式与跳过模式编解码、合并模式编解码、或AMVP模式编解码整合时所应用的各种约束。在一实施例中，编码器或解码器只从空间候选或时间候选将CPR MV加入于合并候选列表或AMVP候选列表之中。在一实施例中，当当前画面被选择作为参考画面来编码或解码以AMVP模式所编解码的当前块时，只有AMVP候选列表中的CPR MV可以被使用。在另一实施例中，合并候选列表中来自CPR或一般帧间预测模式的所有MV都可以被使用。在另一实施例中，只有合并候选列表中来自一般帧间预测模式的MV都可以被使用。在另一实施例中，从空间候选、时间候选、或被产生候选的一个MV，在加入于合并候选列表或AMVP候选列表之前会先进位至整数的精确度。
在运用双树块分割来分割亮度与色度分量的一实施例中，亮度与色度分量共享相同的合并候选列表或AMVP候选列表。例如，亮度块产生合并候选列表或AMVP候选列表，而且并位色度块会再使用此合并候选列表或AMVP候选列表。在另一实施例中，来自一或多个并位亮度块的一或多个CPR MV可以被用来建构用于当前色度块的合并候选列表或AMVP候选列表。在考虑插入指向合并候选列表或AMVP候选列表中当前画面的一或多个CPR MV的一些实施例中，检查每一个CPR MV合法性的条件会先在将该CPR MV加入到合并候选列表或AMVP候选列表之前来加以进行。
以配对式(Pairwise)平均候选或非-子块STMVP候选来实行CPR在HEVC标准中，配对式平均候选会产生自合并候选列表中事先定义的合并候选的配对，以作为组合候选的替代(replacement of combined candidates)。如果两个列表0MV都是可用的，在每一事先定义配对中合并候选的列表0MV会被平均，而产生用于配对式平均候选的列表0MV，而且具有较大合并索引的合并候选的列表0MV会被缩放到具有较小合并索引的合并候选的参考画面。如果只有列表0MV是可用的，合并候选的列表0MV会被直接用作配对式平均候选的列表0MV。如果列表0中没有MV是可用的，配对式平均候选的列表0是无效的(invalid)。一个相类似的MV平均规则会被应用来推导该配对式平均候选的列表1MV。非-子块空间-时间运动向量预测(Spatial-Temporal Motion Vector Prediction，STMVP)模式是联合探索测试模型(Joint Exploration Test Model，JEM)中STMVP模式的简化版本，非-子块STMVP由于其经过优化的参考位置而产生更多的编解码好处。一个非-子块STMVP候选是由将空间与时间候选的组合加以平均而产生的。非-子块STMVP模式对于硬件实行也是有帮助的。将配对式平均候选或非-子块STMVP候选插入于合并候选列表或AMVP候选列表中，会改善跳过模式编解码、合并模式编解码、或AMVP模式编解码的编解码效率。
在一实施例中，如果用来产生配对式平均候选或非-子块STMVP候选的所有来源候选都是CPR MV，所产生结果的配对式平均候选或非-子块STMVP候选是有效的CPR候选。例如，来自合并候选列表的两个运动候选二者都是CPR候选，而且产生自这两个CPR候选的配对式平均候选也会是有效的CPR候选。在一例子中，配对式平均候选的MV会进位至整数的MV。在另一例子中，如果配对式平均候选的MV不是整数的MV，此配对式平均候选不会被加入于候选列表中。在一实施例中，CPR配对式平均候选不会被加入于候选列表中。例如，如果CPR配对式平均候选的参考画面指向当前画面，此CPR配对式平均候选不会被加入于候选列表中。
在另一实施例中，如果用来产生非-子块STMVP候选的所有可用的候选都是CPRMV，此非-子块STMVP候选也是有效的候选。在另一实施例中，只有CPR候选被视为有效的候选以进行平均。在一例子中，非-子块STMVP候选的MV会进位至整数的MV。在另一例子中，如果非-子块STMVP候选的MV不是整数的MV，此非-子块STMVP候选不会被加入于候选列表中。在另一实施例中，在用于产生非-子块STMVP候选时，CPR候选会被视为无效的候选。例如，如果非-子块STMVP候选的参考画面指向当前画面，此非-子块STMVP候选不会被加入于候选列表中。
以MMVD来实行CPR在近来的视频编解码设计中，具有运动向量差异的合并模式(Merge mode with Motion Vector Difference，MMVD)被考虑用在跳过模式编解码或合并模式编解码之中。如果合并旗标或跳过旗标是致能的，相对应于MMVD的语法元素会被发信。MMVD的概念是扩展既有的MV以增加在合并候选列表中这些MV的多样性。首先，在合并候选列表中的K个MV被选择为MMVD的扩展，其中K是大于0的整数。只有具有预设合并类型(MRG_TYPE_DEFAULT_N)的合并候选可以被选择作MMVD扩展。与一般合并编解码流程相类似，只有合并候选索引需要被发信，而且解码器可以从合并候选索引与MMVD信息来建构MV信息，例如，解码器依据合并候选索引通过参考相邻MV信息来决定帧间方向(interDir)、参考索引、与MVP索引。从MMVD信息，解码器决定基础MV(base MV)的数目、扩展的方向、与扩展的步骤大小。在以MMVD来实行CPR的一实施例中，当CPR与MMVD二者都被致能时，只有具有IBC合并类型(MRG_TYPE_IBC)的合并候选才被保存作为有效的MMVD扩展。如此一来，所有扩展的MV都必须指向至当前画面。在另一实施例中，扩展的MV的范围可以被约束在CTU、CTU行(row)、或M个CTU行，其中M是大于0的整数。在一例子中，当目标候选是CPR候选时，在MMVD的MVD缩放会被失能(disabled)。在另一实施例中，当CPR被致能时，MMVD会被推论为失能。在另一实施例中，CPR候选不能被选择为MMVD的扩展。
在运用双树块分割的实施例中，当MMVD与CPR二者都被致能时，色度分量可以从亮度分量再使用MMVD信息而不管是否有进行缩放。在运用双树块分割的另一实施例中，当MMVD与CPR二者都被致能时，色度分量可以通过使用色度分量的合并候选列表来推导MMVD信息。如此一来，用于亮度与色度分量的合并候选会被独立地产生出来。在运用双树块分割的另一实施例中，当MMVD与CPR一起被应用时，色度分量可以再使用亮度分量的MMVD扩展来推导扩展的MV，并且选择最佳的扩展MV来作为所产生结果的色度分量MV。此所产生结果的MV可以和亮度分量的MV不同。如此一来，只有产生一个合并候选而用于亮度与色度分量二者，而且此与合并模式编解码近来的设计是符合兼容的。
以仿射运动补偿来实行CPR仿射运动补偿包括仿射合并模式与仿射AMVP模式。以下将说明几种方法来改善CPR与仿射运动补偿的整合。在一实施例中，如果CPR被致能时，仿射模式(包括仿射合并与仿射AMVP模式)会失能。在一实施例中，当当前画面被选择用作为编解码当前块的参考帧时，仿射AMVP模式会失能，因此用来指示出仿射AMVP模式是否为致能的旗标可以被省下来。在另一实施例中，一或多个CPR MV不能被用在仿射合并模式中。在另一实施例中，当仿射模式被选择时，参考画面不能选择当前画面。在另一实施例中，当仿射模式被选择时，选择当前画面作为参考画面的码字(codeword)被从参考画面索引发信中加以移除。
在另一实施例中，仿射AMVP模式的两个或三个控制点必须加以约束，而且只有在一当前画面的MV可以被用于仿射AMVP模式。在一实施例中，当当前画面被选择作为参考画面时，只有两个控制点的仿射模式可以被使用。在另一实施例中，当当前画面被选择作为参考画面时，只有三个控制点的仿射模式可以被使用。在一实施例中，在仿射合并模式中所必需的三个控制点可以是角落推导MV或空间继承MV。如果CPR用于仿射合并模式为致能的，用于亮度与色度分量二者的三个控制点的MV应该要指向当前画面。例如，当CPR被致能时，指向当前画面的第一三个角落推导的MV会被用于仿射合并模式。在另一例子中，当CPR被致能时，指向当前画面的继承MV会被用于仿射合并模式。在另一例子中，当CPR被致能时，如果来自当前画面的角落推导的MV中不到三个是可用的，来自当前画面的空间继承MV会被用于仿射合并模式。在一例子中，来自当前画面的首N个空间继承MV以及来自当前画面的首M个角落推导MV，可以被使用作为在仿射合并模式的控制点。N与M的数值二者都是大于0的整数。在另一实施例中，当当前画面被选择用作为参考画面时，用于列表0的整数MV旗标会被推论为真，或者imv_idx是1或2。在另一实施例中，当当前画面被选择用作为参考画面时，在仿射模式可允许分数的MV；用于列表0、列表1、或列表0与列表1二者的一整数MV旗标会被发信来指示MV是否被编解码为整数。在另一实施例中，以仿射模式编解码的每一子块的MV会进位为整数的MV。
在一些其他实施例中，仿射合并模式或子块合并模式，如仿射模式与高级时间运动向量预测(Advanced Temporal Motion Vector Prediction，ATMVP)模式，可以通过使用分别的候选列表与分别的语法来加以发信。当CPR被致能并且于I-切片时，或当CPR被致能并且所有参考画面都是当前画面或只有一个参考画面其为当前画面时，仿射合并模式或子块合并模式会被失能或是强制不加以选择。
在应用双树块分割的另一实施例中，仿射运动补偿与CPR同时被致能，用于亮度与色度分量的CU结构可以不同。用于亮度与色度分量的仿射AMVP编解码可以被独立地应用。在另一实施例中，用于亮度与色度分量的两个合并候选列表是被独立地产生出来，因此亮度与色度分量可以独立地应用仿射合并模式。在另一实施例中，色度分量可以以缩放用于仿射合并模式编解码来再使用亮度分量的控制点。
以子块ATMVP来实行CPR在以子块ATMVP模式来实行CPR的一实施例中，如果CPR被致能时，ATMVP会被失能。在应用双树块分割的另一实施例中，ATMVP与CPR二者都被致能，当亮度分量的MV指向当前画面时，用于ATMVP色度分量的初始MV可以再使用该亮度分量的初始MV。当没有亮度MV指向当前画面的情况时，色度ATMVP会被失能。在一实施例中，来自亮度并位块的CPR MV被视为用于当前色度块的ATMVP候选。在一实施例中，用于ATMVP模式的并位画面不能是当前画面。当发信用于ATMVP模式的并位画面或用于时间并位画面时，当前画面会从候选并位画面列表中被移除，当前画面不能被发信，或是当前画面被强制不加以发信。在一实施例中，当待处理的MV指向当前画面时，检查该MV合法性的条件是在将该待处理的候选加入到候选列表之前来加以进行。例如，如果被CPR MV所指向的参考块中的所有参考样本是被解码的并且被储存于CPR参照缓冲器中，此CPR MV在进行合法性检查之后会被标示为有效。例如，CPR参照缓冲器储存当前CTU与左方CTU区域的解码后样本，有效的CPRMV会指向该当前CTU或左方CTU区域中的参考块。无效的CPR MV不会被加入于合并候选列表或AMVP候选列表之中。
用于CPR参照缓冲器的更新规则一个虚拟管道数据单元(Virtual Pipeline DataUnit，VPDU)是定义来作为管道处理的基本单元，其为硬件友善的设计并通过在视频编码或解码过程中将视频画面分割为固定大小的数个VPDU。每一视频画面被分割为数个不重迭的VPDU来进行管道处理，并且后续的VPDU可以通过多重管道阶段(multiple pipelinestages)来同时处理。要定义VPDU的想法是为了要约束缓冲器尺寸大小于一个管道架构，管道架构会平行地于不同管道阶段来解码不同CU。一个VPDU可以是方型单位(例如每一VPDU包含MxM个亮度像素或NxN个色度像素)，或是非-方型单位。一个VPDU的面积大小可以通过区域(例如4096个像素)或是尺寸(例如64x64)来加以定义。在硬件解码器中，每一VPDU是通过一个管道阶段接着另一个管道阶段来加以处理，直到每一VPDU通过所有视频解码的管道阶段都加以处理过。VPDU的尺寸或区域是事先定义的。在硬件解码器中的不同管道阶段同时处理不同的VPDU。限制VPDU的尺寸于一个尺寸限度之内在硬件实作上是一个重要的设计课题，这是由于VPDU的尺寸在大多数的管道阶段大致上是和缓冲器尺寸大小成比例。VPDU尺寸大小的一个实施例是设定为等于最大转换块(TB)的尺寸大小，对于在HEVC标准4:2:0颜色格式是32x32亮度像素或16x16色度像素，或是对于在下一代产生的视频标准4:2:0颜色格式是64x64亮度像素或32x32色度像素。
在通过CPR模式编解码当前编解码树单元(CTU)中的当前CU的当前设计中，当当前画面被选择为参考画面时，只有当前CTU的样本可以被该当前CU参考。如此一来，当处理在当前CTU的第一CU时，没有可用的有效参考样本可以被使用在CPR模式中。需要具有与CTU尺寸大小相同的CPR参照缓冲器，来储存当前CTU的中的解码后样本。此CPR参照缓冲器在解码CTU之后会重置，而且会在每一CU被解码之后被更新。CPR参照缓冲器是一个CU接着一个CU被更新。只有储存在CPR参照缓冲器中的解码后样本可以被使用在CPR模式中。
在本发明的一些实施例中，当一个VPDU解码流程结束后，储存在CPR参照缓冲器中的解码后样本被更新，也就是说CPR参照缓冲器是依照一个VPDU接着一个VPDU加以更新。VPDU可以是具有64x64亮度样本的CU或是VPDU可以被设定为具有与最大转换尺寸的块相同的尺寸。CPR参照缓冲器是先进先出(first-in-first-out，FIFO)缓冲器。在一实施例中，储存在CPR参照缓冲器中的解码后样本可以被用来解码以CPR模式编解码的当前CU，而不管解码后样本与当前CU是否处于相同的CTU。例如，储存在CPR参照缓冲器中用来预测当前CU的参考块中的一或多个解码后样本，与当前CU不是处于相同的CTU。在一示例性的实施例中，当一个VPDU解码流程结束后，CPR参照缓冲器被更新，而且储存在CPR参照缓冲器中的解码后样本可以通过CPR模式被用来解码当前CU，而不管解码后样本与当前CU是否处于相同的CTU中。
用于实施例的代表性流程图根据以基于历史运动向量预测(HMVP)的方法来运用当前画面参考(CPR)的一实施例，图7为绘示视频处理方法来处理当前块的流程图。在图7中所绘示的视频处理方法可以实作施行于视频编码器或视频解码器。在步骤S702，视频编码器或视频解码器接收当前画面中当前块的输入数据；而且当前块是由帧间预测或CPR所编码或待编码。通过CPR所编码或待编码的当前块的参考画面是该当前画面。在步骤S704，检查当前块是要通过一般帧间预测模式或CPR模式所处理；在步骤S706，如果当前块是通过例如跳过、合并、或AMVP模式的一般帧间预测模式所处理，用于当前块的候选列表会通过纳入从一般HMVP表格所取得的一或多个HMVP候选来加以建构；在步骤S708，如果当前块是通过CPR模式所处理，用于当前块的候选列表会通过纳入从CPR HMVP表格所取得的一或多个HMVP候选来加以建构。一般HMVP表格与CPR HMVP表格被分别维护，一般HMVP表格是通过以一般帧间预测模式所编解码块的运动信息来加以更新，而且CPR HMVP表格是通过以CPR模式所编解码块的运动信息来加以更新。在步骤S710，一候选是从该候选列表中被选择以用于该当前块，例如，视频编码器依据率失真优化(Rate Distortion Optimization，ROD)决策来选择该当前块的候选，或是视频解码器依据熵解码器所剖析与解码的索引来选择该当前块的候选。在步骤S712，依据所选择候选的运动信息来在参考画面中定位参考块。如果该当前块是通过该CPR模式来处理，该参考画面即为该当前画面。在步骤S714，通过利用参考块来预测当前块，对该当前块进行编码或解码。
图8为根据运用CPR的一实施例，绘示视频处理方法来处理当前块的流程图。图8中所绘示视频处理方法可以在视频解码器中加以实行。在步骤S802，视频解码器接收当前画面中当前虚拟管道数据单元(VPDU)的输入数据，而且在当前画面CPR是被致能。一个VPDU是由最大TB尺寸大小或事先定义的尺寸大小或区域来定义的。在步骤S804，解码流程被执行来解码当前VPDU中的CU，而且CPR参照缓冲器被用来解码以CPR模式编解码的每一个CU。在步骤S806，CPR参照缓冲器是通过储存当前VPDU的解码后样本来被更新，而且之后接续的VPDU会被设定为当前VPDU。然后从步骤S802到S806对当前VPDU进行处理。依据此一实施例，CPR参照缓冲器是一个VPDU接着一个VPDU被更新。
代表性的方块图任何前述所描述的视频处理方法可以在编码器、解码器、或编码器与解码器二者上来实施实作，例如：任何所述的视频处理方法是在编码器或解码器的CPR预测模块或帧间预测模块上来实施实作。备选地，任何所述的视频处理方法可以在编码器或解码器的CPR预测模块或帧间预测模块上所耦合的电路来实施实作，以提供CPR预测模块或帧间预测模块所需的信息。图9绘示出了实作本发明一或多种视频处理方法的视频编码器900的示例性系统方块图。视频编码器900接收当前画面中当前块的输入数据。如果当前块是要通过帧内预测来处理，帧内预测模块910会依据帧内预测模式并基于当前画面的重构样本来提供当前块的帧内预测子。如果当前块是要通过CPR来处理，CPR预测模块911会基于当前块的CPR MV来提供CPR预测子。在一些实施例中，当前块的CPR MV是从当前块的候选列表中所选择的候选来推导出的，而且该候选列表包括从CPR HMVP表格所取得的一或多个HMVP候选。CPR预测模块911取得储存在CPR参照缓冲器中的重构样本来产生该CPR预测子，而且依据本发明的一实施例CPR参照缓冲器是依照一个VPDU接着一个VPDU而加以更新。如果当前块是要通过帧间预测来处理，帧间预测模块912会依据当前块的一或两个MV并基于来自其他一或多个画面的视频数据，来进行运动估计(motion estimation，ME)和运动补偿(motion compensation，MC)以提供帧间预测子。在本发明的一些实施例中，所述的一或两个MV是从当前块的候选列表中所选择的候选来推导出的，而且该候选列表包括从一般HMVP表格所取得的一或多个HMVP候选。CPR HMVP表格与一般HMVP表格被分别地维护与分别地更新。帧内预测模块910、CPR预测模块911、与帧间预测模块912中之一将所选择的预测子提供给加法模块916以形成预测误差，也称为预测残差。
当前块的预测残差透过转换模块(T)918进一步处理，接着是量化模块(Q)920处理。然后，已转换和已量化的残差信号由熵编码器934编码以形成已编码的视频比特流。已编码的视频比特流然后与边信息(side information)一起打包。当前块的已转换和已量化的残差信号由逆量化模块(IQ)922和逆转换模块(IT)924处理以还原预测残差。如图9所示，通过在重构模块(REC)926处加回所选择的预测子来还原预测残差，以产生重构的样本。已重构的样本可以储存在参考画面缓冲器(Ref.Pict.Buffer)932中，并用于预测其它画面。来自REC 926的已重构的样本可能由于编码处理而受到各种损害，因此，在储存于参考画面缓冲器932之前，内环路处理去块滤波器(in-loop processing Deblocking Filter,DF)928和样本适应性偏移(Sample Adaptive Offset,SAO)930可应用于已重构的样本，以进一步提高画面质量。与用于内环路处理去块滤波器DF 928和样本适应性偏移SAO 930的信息相关联的语法则被提供给熵编码器934，以合并到已编码的视频比特流中。
用于解码图9的视频编码器900所产生视频比特流的相对应视频解码器1000如图10所示。已编码的视频比特流是视频解码器1000的输入，并通过熵解码器1010解码以剖析和还原变换后和量化后的残差信号和其他系统信息。除了解码器1000仅需要帧间预测模块1014中的运动补偿预测之外，解码器1000的解码流程类似于编码器900处的重构环路。在本发明的一些实施例中，两个HMVP表格被分别地维护来解码以一般帧间预测模式所编码的CU以及以CPR模式所编码的CU。例如，当前块是通过帧内预测模块1012、CPR预测模块1013、或帧间预测模块1014来加以解码，而且如果当前块是以一般帧间预测模式来加以编码时，一个一般HMVP表格会被用来建构该当前块的候选列表。如果当前块是以CPR模式来加以编码时，一个CPR HMVP表格会被用来建构该当前块的候选列表。依据已解码的模式信息，开关模块1016自帧内预测模块1012选择帧内预测子、自CPR预测模块1013选择CPR预测子、或自帧间预测模块1014选择帧间预测子。通过逆量化(Inverse Quantization,IQ)模块1020和逆转换(Inverse Transformation,IT)模块1022来还原与每个块相关联的已转换和已量化的残差信号。通过在重构模块1018中加回预测子来重构已还原的已转换和已量化的残差信号，以产生重构的样本。重构的样本由去块滤波器1024和样本适应性偏移1026进一步处理以产生最终解码的视频。如果当前已解码的画面是参考画面，则当前已解码画面的重构样本也储存在参考画面缓冲器1028中，用于解码顺序中的后续画面。
图9和图10中的视频编码器900和视频解码器1000的各种组件可以由硬件组件，一个或多个处理器被配置为执行存储在存储器中的程序指令，或硬件和处理器的组合来实现。例如，处理器执行程序指令以控制当前画面中与当前块相关联的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器900和解码器1000中的一些组件中执行功能，并且与处理器电耦合的存储器用于存储程序指令，对应于块的已重构影像的信息和/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算器可读介质，诸如半导体或固态存储器，随机存取存储器(RAM)，只读存储器(ROM)，硬盘，光盘或其他合适的存储介质。存储器还可以是上面列出的两个或更多个非暂时性计算器可读介质的组合。如图7和图8所示，编码器900和解码器1000可以在相同的电子设备中实现，因此如果在相同的电子设备中实现，则编码器900和解码器1000的各种功能组件可以被共享或重用。例如，图9中的重构模块926，逆转换模块924，逆量化模块922，去块滤波器928，样本适应性偏移930和参考画面缓冲器932中的一个或多个，也分别可以用作图10中的重构模块1018，逆转换模块1022，逆量化模块1020，去块滤波器1024，样本适应性偏移1026和参考画面缓冲器1028。
在视频编解码系统进行处理方法的实施例，可以在集成于视频压缩芯片的电路来实作，或集成于视频压缩软件中执行以上描述的处理的程序代码来实作。例如，用来编码或解码以一般帧间预测模式或CPR模式所编解码块的候选列表，可以实现于计算器处理器上执行的程序代码，数字信号处理器(DSP)，微处理器或现场可程序门阵列(fieldprogrammable gate array,FPGA)上。可以透过执行定义本发明所体现的特定方法的机器可读软件代码或韧体代码，来将这些处理器配置成执行依据本发明的特定任务。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求书来指示，而不是前面的描述来指示。属于权利要求范围的等同物的含义和范围内的所有变化将被包括在其范围内。

Claims (5)

1.一种在视频解码系统中处理视频数据的方法，包括：
接收与包含多个虚拟管道数据单元的当前画面相关联的输入数据，其中每一个虚拟管道数据单元是固定尺寸大小的；
进行解码程序来解码该当前虚拟管道数据单元中的编解码单元以及产生该当前虚拟管道数据单元的解码后的样本，其中通过取得储存于当前画面参考参照缓冲器中的参考块的解码后的样本，来对以当前画面参考模式编码的每一个编解码单元加以解码；以及
当完成该当前虚拟管道数据单元的该解码程序时，通过储存该当前虚拟管道数据单元的解码后的样本，来对于该当前画面参考参照缓冲器加以更新，其中该当前画面参考参照缓冲器是依照一个虚拟管道数据单元接着一个虚拟管道数据单元加以更新。
2.根据权利要求1所述的在视频解码系统中处理视频数据的方法，其特征在于，每一个虚拟管道数据单元的尺寸大小是固定于64x64亮度样本或32x32色度样本以用于4:2:0颜色样本格式。
3.根据权利要求1所述的在视频解码系统中处理视频数据的方法，其特征在于，每一个虚拟管道数据单元的尺寸大小是设定为等于最大转换块的尺寸大小。
4.根据权利要求1所述的在视频解码系统中处理视频数据的方法，其特征在于，用于每一编解码单元的该解码程序包括：解码模式信息；依据该模式信息进行帧内预测、帧间预测、或当前画面参考以产生用于该编解码单元的预测子；以及还原转换后并且量化后的残差信号，以及依据该还原的转换后并且量化后的残差信号以及该预测子来重构该编解码单元以产生该解码后的样本。
5.根据权利要求1所述的在视频解码系统中处理视频数据的方法，其特征在于，用于解码以该当前画面参考模式所编码的当前编解码单元并储存在该当前画面参考参照缓冲器中的参考块的一个或多个解码后的样本，和该当前编解码单元不是处于相同的编解码树单元。
CN202310563581.9A 2018-11-07 2019-11-06 利用当前画面参照编码方式的视频区块编码或解码方法和装置 Pending CN116527882A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862756612P 2018-11-07 2018-11-07
US62/756,612 2018-11-07
PCT/CN2019/115905 WO2020094038A1 (en) 2018-11-07 2019-11-06 Method and apparatus of encoding or decoding video blocks by current picture referencing coding
CN201980072894.6A CN113016187B (zh) 2018-11-07 2019-11-06 利用当前画面参照编码方式的视频区块编码或解码方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980072894.6A Division CN113016187B (zh) 2018-11-07 2019-11-06 利用当前画面参照编码方式的视频区块编码或解码方法和装置

Publications (1)

Publication Number Publication Date
CN116527882A true CN116527882A (zh) 2023-08-01

Family

ID=70611695

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980072894.6A Active CN113016187B (zh) 2018-11-07 2019-11-06 利用当前画面参照编码方式的视频区块编码或解码方法和装置
CN202310563581.9A Pending CN116527882A (zh) 2018-11-07 2019-11-06 利用当前画面参照编码方式的视频区块编码或解码方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980072894.6A Active CN113016187B (zh) 2018-11-07 2019-11-06 利用当前画面参照编码方式的视频区块编码或解码方法和装置

Country Status (5)

Country Link
US (3) US11252406B2 (zh)
EP (2) EP4221226A1 (zh)
CN (2) CN113016187B (zh)
TW (1) TWI749394B (zh)
WO (1) WO2020094038A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588531B (en) * 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
WO2020094149A1 (en) * 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in triangular prediction mode
CN113228645A (zh) * 2018-12-28 2021-08-06 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
US11659166B2 (en) * 2019-01-02 2023-05-23 Lg Electronics Inc. Method and apparatus for coding image by using MMVD based on CPR
US11949851B2 (en) * 2019-01-04 2024-04-02 Lg Electronics Inc. Inter prediction method and apparatus using CPR-based MMVD
US20220116588A1 (en) * 2019-01-04 2022-04-14 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for image encoding/decoding
WO2020156545A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Prediction using intra-buffer samples for intra block copy in video coding
JP7284284B2 (ja) 2019-03-04 2023-05-30 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーの実装形態の態様
CN113940082A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 基于子块的帧内块复制和不同编解码工具之间的交互
KR102635519B1 (ko) 2019-07-10 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 샘플 식별
AU2020316548A1 (en) 2019-07-25 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
JP2022542898A (ja) * 2019-07-25 2022-10-07 北京字節跳動網絡技術有限公司 イントラブロックコピー仮想バッファに対するサイズ制限
WO2021036982A1 (en) * 2019-08-24 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Coded representation of history-based motion vector prediction tables
WO2021043299A1 (en) 2019-09-05 2021-03-11 Beijing Bytedance Network Technology Co., Ltd. Range constrains for block vector in intra-block copy mode
EP4018664A4 (en) 2019-09-23 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. SETTING THE VIRTUAL BLOCK COPY BUFFER BASED ON A VIRTUAL PIPELINE DATA UNIT
US11363285B2 (en) * 2020-02-20 2022-06-14 Tencent America LLC Block partitioning at picture boundaries
CN113286152B (zh) * 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新
US11477437B2 (en) * 2021-01-28 2022-10-18 Lemon Inc. Coding of motion information
WO2023025114A1 (en) * 2021-08-24 2023-03-02 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
CN113992635B (zh) * 2021-10-20 2022-09-20 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及存储介质
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6332171B1 (en) * 1999-02-19 2001-12-18 International Business Machines Corporation Self-contained queues with associated control information for receipt and transfer of incoming and outgoing data using a queued direct input-output device
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
ES2714756T3 (es) * 2011-06-30 2019-05-29 Ericsson Telefon Ab L M Señalización de imágenes de referencia
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
WO2014082680A1 (en) * 2012-11-30 2014-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Compressed data stream transmission using rate control
KR20140122195A (ko) 2013-04-05 2014-10-17 삼성전자주식회사 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
CN109889850A (zh) * 2014-02-21 2019-06-14 联发科技（新加坡）私人有限公司 视频编解码方法
WO2016034058A1 (en) * 2014-09-01 2016-03-10 Mediatek Inc. Method of intra picture block copy for screen content and video coding
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
US10469864B2 (en) 2014-11-27 2019-11-05 Kt Corporation Method and apparatus for video signal coding using current picture reference flag
CN112584139A (zh) 2014-11-27 2021-03-30 株式会社Kt 对视频信号进行解码或编码的方法
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region

Also Published As

Publication number Publication date
TW202025733A (zh) 2020-07-01
EP3871416A1 (en) 2021-09-01
EP4221226A1 (en) 2023-08-02
TWI749394B (zh) 2021-12-11
US20220124318A1 (en) 2022-04-21
WO2020094038A1 (en) 2020-05-14
US20210314560A1 (en) 2021-10-07
EP3871416A4 (en) 2022-08-24
US20220124319A1 (en) 2022-04-21
CN113016187B (zh) 2023-06-06
US11785207B2 (en) 2023-10-10
US11252406B2 (en) 2022-02-15
US11889056B2 (en) 2024-01-30
CN113016187A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113016187B (zh) 利用当前画面参照编码方式的视频区块编码或解码方法和装置
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
JP7500691B2 (ja) ビデオ信号の符号化／復号化方法及び前記方法のための装置
EP3334157B1 (en) Inter prediction method and device in video coding system
US20180242024A1 (en) Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
TWI749584B (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
AU2019217409B2 (en) Method and apparatus of current picture referencing for video coding using adaptive motion vector resolution and sub-block prediction mode
KR20230113262A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
CN112840645B (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
US11381829B2 (en) Image processing method and apparatus therefor
CN113507603B (zh) 图像信号编码/解码方法及其设备
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
CN113039782B (zh) 视频编解码中的子块去块方法及装置
CN116074505A (zh) 视频信号编码/解码方法以及用于所述方法的设备
JP2023159091A (ja) イントラブロックコピーのコーディングおよび復号化
US20200336747A1 (en) Inter prediction mode-based image processing method and device therefor
KR102551311B1 (ko) 비디오 신호 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
JP2021518084A (ja) 動きベクトルに基づく映像コーディング方法およびその装置
RU2812648C2 (ru) Способ и устройство для обработки данных видео и носитель для хранения информации

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination