CN107852505A - 用于使用帧内块复制模式的视频解码错误处理的方法和装置 - Google Patents

用于使用帧内块复制模式的视频解码错误处理的方法和装置 Download PDF

Info

Publication number
CN107852505A
CN107852505A CN201680031693.8A CN201680031693A CN107852505A CN 107852505 A CN107852505 A CN 107852505A CN 201680031693 A CN201680031693 A CN 201680031693A CN 107852505 A CN107852505 A CN 107852505A
Authority
CN
China
Prior art keywords
block
pixel
present image
image
inverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680031693.8A
Other languages
English (en)
Inventor
庄子德
郑佳韵
周汉良
陈庆晔
孙域晨
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107852505A publication Critical patent/CN107852505A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

为了克服由解码的块向量引起的问题，所述块向量指向与不可用区域重叠的参考块，公开了各种各样的方法。根据一方法，如果所述参考块与不可用区域重叠，通过通过从相邻可用像素填充生成用于所述当前块帧内块复制预测的所述不可用区域中的参考像素，所述填充可以以水平方向然后以垂直方向完成，所述填充也可以首先以垂直方向然后以水平方向完成。在另一个方法中，如果所述参考块与不可用区域重叠，通过使用所述不可用区域中先前解码的像素生成用于所述当前块帧内块复制预测的所述不可用区域中的参考像素。预定义的值也可以用于所述不可用区域。

Description

用于使用帧内块复制模式的视频解码错误处理的方法和装置
相关参考
本发明要求提交于2015年6月3日的，号码为62/170,267的美国临时专利申请案的优先权，美国临时专利申请案整体通过参考纳入其中。
技术领域
本发明涉及使用帧内块复制(Intra Block Copy，简称IntraBC)模式的视频编解码，具体地，本发明涉及用于使用帧内块复制模式的编解码系统的错误处理。
背景技术
高效视频编码(HEVC)是最近几年发展起来的一种新的编解码标准。在高效视频编解码系统中，H.264/AVC中固定大小的宏块(macroblock)被一个灵活的块所代替，称为编码单元(coding unit，简称CU)，CU中的像素共享相同的编解码参数以提升编解码效率。一个CU可以开始于一个最大的CU(largest CU，简称LCU)，在HEVC中也称为编码树单元(codedtree unit，CTU)。除了编码单元的概念，HEVC中也介绍了预测单元(prediction unit，简称PU)的概念。一旦完成了CU分层树的拆分，根据预测类型和PU分区，每个叶CU进一步被拆分为一个或多个预测单元。
随着HEVC标准的发展，也开始了HEVC扩展的发展。HEVC扩展包括屏幕内容编码(screen content coding，简称SCC)，由于屏幕内容特定的特性，编解码工具已经得到开发并在编解码效率方面证明了其显著增益。其间，色彩索引编码(colour index coding)(也称为基于主要色彩的编码(major colour based coding))技术表示像素块将索引(indices)用于调色板(主要色彩)，并且利用空间冗余(spatial redundancy)对调色板和索引进行编码。虽然可能的色彩组合(colour combinations)的总数是巨大的，但是对于典型的屏幕内容，图像的一个区域中的色彩数目通常是非常有限的。因此，色彩索引编码对于屏幕内容材料变得非常有效，相关的关键色彩索引编码技术简要说明如下。
在屏幕内容编码(SCC)发展的历程中，已经描述了各种各样的视频编码工具，包括“帧内图像块复制”(IntraBC)技术。IntraBC技术第一次公开于JCTVC-M0350(2013年4月18-26日，在韩国仁川举行的视频编码联合协作小组(Joint Collaborative Team on VideoCoding，简写为JCT-VC)ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第13次会议中，Budagavi在AHG8：使用帧内运动补偿的视频编解码(Video coding using Intra motioncompensation)，文献：JCTVC-M0350)中。图1示出了根据JCTVC-M0350的一个示例，其中使用帧内运动补偿(motion compensation，简称MC)对当前编码单元(CU，110)进行编码。帧内MC也称为帧内块复制(IntraBC)。预测块(120)由当前CU和位移向量(112)来定位，在这个示例中，搜索范围被限制于当前CTU(编码树单元)、左CTU以及左左CTU，预测块从已经重建的区域中获得。然后，对也称为运动向量(MV)或块向量(BV)的位移向量和用于当前CU的残差进行编码。众所周知，HEVC采用CTU和CU块结构作为编解码视频数据的基础单元，每个图像被分成多个CTU且每个CTU递归地分成多个CU。在预测期间，每个CU可以被分成用于执行预测进程多个块，称为预测单元(prediction units,简称PUs)。
在JCTVC-M0350中，在至少以下方面，IntraBC不同于用于帧间预测的运动补偿：
帧内运动补偿的运动矢量(MVS)被限制为一维的(1-D)(也就是水平或者垂直)，而帧间运动补偿使用二维的(2-D)运动估计。
帧间运动补偿的二进制化是定长的，而帧间预测使用指数哥伦布(exponential-Golomb)。
帧内运动补偿引入了一个新的语法元素来用指示运动矢量是水平的或者垂直的。
基于JCTVC-M0350，2013年7月25日-8月2日，在奥地利维也纳举行的JCT-VC ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第14次会议中，Pang等人在Non-RCES：使用2-D运动矢量的帧内运动补偿(Intra Motion Compensation with 2-D MVS)中公开了一些修正，文献：JCTVC-N0256(以下称为JCTVC-N0256)。首先，IntraBC扩展至支持2-D MVs，以致于垂直和水平的两个MV分量可以同时是非0的，相比于MV被严格限制为水平的或垂直的传统方法，这为IntraBC提供了更多的灵活性。
在JCTVC-R0309(2014年7月，在日本札幌举行的JCT-VC ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第18次会议中，Pang等人提出了：Non-SCCE1：JCTVC-R0185和JCTVC-R0203的组合，文献:JCTVC-R0309)中，相邻的BVs和编码的BVs被用作BV预测值(BVP)。派生的BV预测值与HEVC中的高级运动向量预测(advanced motion vector prediction，简称AMVP)方案相类似。由首先顺序访问当前块(210)的空间邻近的块a1(220)和b1(230)构成预测值候选列表如图2所示。如果任一空间邻近的块没有块向量，最后两个编码的BVs用作替代块向量以填充块向量候选列表以致于该列表包括两个不同的条目。替代块向量用(-2*CU_width,0)和(-CU_width,0)进行初始化，其中CU_width是CU的宽度。为了避免线缓冲器(line buffer)，上述在CTU之外的BV被认为是不可用的，将用于每个CTU以防止数据的相关性的最后两个编码的BVs重置为(0,0)。
在HEVC中，从帧间编码的切片(slice)中的用于当前编码的块的空间/时间相邻的块中派生Merge候选。merge_flag用于标志当前块是否被并入到其候选之一中，如果是，使用另一个索引以标志哪一候选被用于Merge模式。例如，如果图2中的候选块a1被标志为将要被使用的候选，则当前块将共享与块a1相同的运动向量和参考图像。
如果任何Merge候选都是不可用的(例如，在帧间模式中不存在或未被编码)，则在候选列表中插入的额外的候选。如果Merge候选列表在插入额外的候选后还是没有满，具有等于0的参考索引(也就是refIdx)0的运动向量将被用于填充所有空的候选。
可以插入的额外的候选的两种类型：
1.组合的双向预测的Merge候选(候选类型1)
2.0向量Merge/AWVP候选(候选类型2)
在额外的候选类型1之后插入额外的候选类型2。
对于候选类型1，通过组合原始的Merge候选生成组合的双向预测的Merge候选。具体地，具有mvL0(列表0中的运动向量)和refIdxL0(列表0中的参考图像索引)，或者具有mvL1(列表1中的运动向量)和refIdxL1(列表1中的参考图像索引)的两个原始的候选被用于生成双向预测的Merge候选。
对于候选类型2，通过组合0向量和可以被参考的参考索引来生成0向量Merge/AMVP候选。如果0向量候选没有重复，它将被加入至Merge/AMVP候选集中。
在SCM-2.0中(2014年6月30日-7月9日，在日本札幌举行的JCT-VC ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第18次会议中，Joshi等人提出了：屏幕内容编码测试模式2(Screen content coding test model 2(SCM 2))，文献：JCTVC-R1014)，将块向量差异的编码修正为去使用一个上下文编码(context-coded)的二进制以用于编码每个向量分量。在此文献中，还提出了一种进一步提升编解码效率和能够实现BVD个MVD编解码统一的方法。
在SCM3.0中(2014年8月17-24日，在法国斯特拉斯堡举行的JCT-VC ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第19次会议中，Joshi等人提出：屏幕内容编码测试模式3(Screen content coding test model 3(SCM 3))，文献：JCTVC-S1014)，如图3所示，采用了梯形(ladder shaped)的IntraBC搜索范围约束，其中具有交叉线背景的块指示梯形的IntraBC的搜索范围以及对应于当前CTU的块310。对于在当前CTU中的IntraBC块，将可用搜索区域被约束到具有点背景的CTUs和当前CTU中的重建的块中。
发明内容
为了克服由解码的块向量引起的问题，所述块向量指向与不可用区域重叠的参考块，公开了各种各样的方法。根据一方法，如果所述参考块与不可用区域重叠，通过通过从相邻可用像素填充生成用于所述当前块帧内块复制预测的所述不可用区域中的参考像素，所述填充可以以水平方向然后以垂直方向完成，所述填充也可以首先以垂直方向然后以水平方向完成。
根据另一方法，如果所述参考块与不可用区域重叠，通过使用所述不可用区域中先前解码的像素生成用于所述当前块帧内块复制预测的所述不可用区域中的参考像素。在一个实施例中，在对所述当前图像进行解码和将先前解码的块存储于所述当前图像的存储区域之前，将所述当前图像的所述存储区域中的所有像素设置为所述预定义的值，其中用于所述当前块的所述参考块直接从所述当前图像的所述存储区域中取出而不管所述参考块是否在所述不可用区域中。因此，当先前解码的像素是不可用的时候，将使用所述预定义的值。所述预定义值可以等于(1<<(bit_depth-1))，其中bit_depth对应于所述当前图像的位深度。
根据又一方法，如果所述参考块与不可用区域重叠，通过使用预定义的值生成用于所述当前块帧内块复制预测的所述不可用区域中的参考像素。所述预定义值可以等于(1<<(bit_depth-1))，其中bit_depth对应于所述当前图像的位深度。在一个实施例中，如果所述参考块与和不可用区域重叠，整个块被设置为所述预定义的值，所述预定义的值在序列参数集、图像参数集或切片数据头中用信号传递。
本发明另一方面处理决定是否使用整数运动向量的问题，根据本发明，一个或两个先前编码的切片、块或图像被用于确定是否使用整数运动向量用于当前切片、块或图像。
本发明又一方面处理自适应色彩转换(ACT)的问题。根据本发明，使用了像素层级的ACT。例如，通过将逆跨色彩预测(CCP)处理的像素直接传递到逆自适应色彩转换(ACT)进程，级联地应用像素层级的逆跨色彩预测(CCP)进程和逆自适应色彩转换(ACT)进程。在另一个示例中，通过将逆自适应色彩转换(ACT)处理的像素直接传递到像素重构进程，级联地应用像素层级的逆自适应色彩转换(ACT)进程和所述像素重构进程。
附图说明
图1示出了帧内块复制(IntraBC)的示例，其中块向量被限制于水平方向。
图2示出了基于空间相邻的块的运动向量重建运动向量预测值候选列表的示例。
图3示出了根据现有的HEVC SCC(高效视频编码-屏幕内容编码)规格的一个梯形的IntraBC搜索范围的示例。
图4示出了根据本发明一实施例的使用梯形边界外的先前解码的像素的示例。
图5示出了结合闭环色彩空间转换的解码系统的框图。
图6示出了根据本发明一实施例的结合错误处理的示例性解码系统的流程图，用于解码的块向量指向与不可用区域重叠的参考块的情况。
具体实施方式
以下描述是实施本发明的最佳实施模式，本说明书旨在说明本发明的一般原理而不应该做限制性的理解，本发明的范围由所附权利要求最佳确定。
用于使用帧内块复制模式的视频编解码的错误处理
在SCC中，解码器可能具有指向于不可用区域的解码的BV，例如，所述解码的BV由具有传输错误的比特流造成。编码器也可以生成错误的BV，这尤其可能在多个块(tile)进程和多个切片(slice)进程中发生。当编码的BV指向于不可用区域的时候，关于如何补偿IntraBC块的解码器行为未被定义。
为了克服这一问题，公开了一种本发明生成不可用数据(un-available data)的方法。
实施例1：填充不可用像素
如果IntraBC参考块与不可用区域重叠在一起，通过使用相邻的可用像素填充不可用区域的纹理，将填充的纹理用于IntraBC补偿，可以在水平方向和垂直方向单独地执行该填充。例如，对于不可用区域，可以首先应用水平填充，紧接着是垂直填充，或者，对于不可用区域，可以首先应用垂直填充，紧接着是水平填充。
实施例2：使用先前的解码的像素用于梯形边界之外的不可用区域
如果IntraBC参考块与先前重构的、但是在梯形边界之外的不可用区域重叠在一起，在所述梯形边界之外的解码的样本即使被认为是不可用的，所述解码的样本也将被使用。
图4示出了使用在梯形边界之外的先前解码的像素的示例。编码树单元CTU-0、CTU-1和CTU-2对应于各自CTU行或切片(slice)中主要的CTU，当前编码树单元CTU-3可以认为是IntraBC参考数据。换句话说，用交叉线填充的梯形区域对应于IntraBC参考数据，CTU-3可以用于IntraBC预测。在另一方面，斜线填充的区域410对应于已重构的区域。然而，在传统的IntraBC进程中，在梯形边界之外的区域不可以被用作用于CTU-3的参考数据，根据本发明一实施例，如果参考块与斜线填充的区域410重叠在一起，在斜线填充区域410中的先前解码的像素被用作IntraBC预测。
在上述示例中，在梯形边界之外的不可用区域中的像素可能还没有被解码。为了克服这一问题，在解码当前图像之前，可以重置上述当前图像中的所有样本为预定义的值。例如，预定义的值可以被设置为(1<<(bit_depth-1))。在当前图像解码期间，更新所述当前图像。对于IntraBC解码，参考块样本直接从当前图像中取出而不管所述参考块样本是否在可用区域之中。因此，如果在梯形区域之外的不可用区域中的像素先前已经解码了，先前解码的像素将被用作IntraBC预测。否则，如果存取了不可用区域中的像素，根据这一重置安排，存取的数据对应于所述预定义数据。可以在标准中定义预定义的值或者在SPS(序列参数集)、PPS(图像参数集)、或切片数据头(slice header)中用信号传递预定义的值。
根据下列条件可以确定参考块是否在梯形边界内：
(xPb+(mv_x>>2)+nPbSw-1+offsetX)/CtbSizeY-xCb/CtbSizeY<＝
yCb/CtbSizeY-(yPb+(mv_y>>2)+nPbSh-1+offsetY)/CtbSizeY. (1)
在上面的方程式中，(xPb,yPb)指定当前亮度预测块相对于当前图像的左上方的亮度样本的左上方的样本的位置，(xCb,yCb)指定当前亮度编码块相对于当前图像的左上方的的亮度样本的左上方的亮度样本的位置，nPbSw和nPbSh是PU的宽度和PU的高度，CtBSizeY是CTU的高度，变量offsetX和offsetY由下述方程式获得：
offsetX＝(ChromaArrayType＝＝0)？0:(mvCLX[0]&0x7？2:0)
offsetY＝(ChromaArrayType＝＝0)？0:(mvCLX[1]&0x7？2:0)
如果满足了方程式(1)中的条件，其意味着所述参考块在梯形参考区域之内，如果所述条件为假，其意味着所述参考块在梯形参考区域之外并且应用了上述的实施例。
实施例3：设置不可用区域中的像素为预定义的值
在这个实施例中，仅可用区域中的先前解码的数据被允许用作为IntraBC参考数据。如果所述IntraBC参考块和不可用区域重叠在一起，将所述不可用区域中的纹理设置为预定义的值，例如根据本实施例的(1<<(bit_depth-1))或者128。因此，如果所述IntraBC参考块与所述不可用区域重叠在一起，可以使用预定义的像素值，预定义的值可以在SPS(序列参数集)、PPS(图像参数集)、或切片数据头中用信号传递。
实施例4：为参考块中的所有像素设置一预定义的值
如果所述IntraBC参考块与不可用区域重叠在一起，将整个参考块的纹理设置为预定义的值，例如(1<<(bit_depth-1))，所述预定义的值可以在SPS(序列参数集)、PPS(图像参数集)、或切片数据头中用信号传递。
使用编码的切片/块/图像以决定MV分辨率
在屏幕内容编码(SCC)中，在SPS中用信号传递一SPS层级的语法motion_v ector_resolution_control_idc以控制use_integer_mv_flag的存在和推断，所述use_integer_mv_flag指定用于帧间预测的运动向量的分辨率。如果motion_vector_res olution_control_idc是2，用信号传递切片层级的语法use_integer_mv_flag。如果use_integer_mv_flag是1，其意味着这个切片的MV分辨率是整数个像素，否则，这个切片的MV分辨率是四分之一像素。在SCM-4.0(2015年2月，在瑞士日内瓦举行的JCT-VC ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第20次会议中，Joshi等人提出了：屏幕内容编码测试模式4(SCM4),文献JCTVC-T1014)中，由检查当前图像和先前编码的图像的相似性决定use_integer_mv_flag的值。然而，它需要两轮编码，第一轮以决定相似性，而第二轮以编码切片/图像。
根据本发明的另一方法，仅先前编码的切片/图像被用于决定use_integer_mv_flag的值，例如，选择两个先前编码的切片/图像以决定use_integer_mv_flag的值，这两个图像可以是在所述当前图像附近的两个图像。在另一个示例中，一个图像(例如图像A)是所述当前图像的列表0中的第一图像，并且另一个图像是所述当前图像所述列表0中的所述第一图像的列表0中的第一图像(也就是图像A的列表0中的第一图像)。
在另一个示例中，当前图像的统计数值(statistic)可以用于决定后续图像的use_integer_mv_flag的值。
扩大IntraBC搜索范围
在用于HEVC范围扩展版本6.0(RExt-6.0)的软件中，用于当前块(也就是编码单元CU)的IntraBC搜索范围是当前CTU和左CTU。用于IntraBC预测和补偿的像素是未过滤的像素，其是在去块和SAO(样本自适应偏移)之前的像素。
本发明的一方法将IntraBC搜索范围增加得比当前CTU和左CTU更大，用于IntraBC预测和补偿的像素取决于所述像素的位置可以是未过滤的像素或过滤的像素。
例如，用于IntraBC预测和补偿的像素可以是在当前CTU和左CTU中的未过滤的像素，其他像素是使用过滤的像素(也就是在去块和SAO之后)。
在另一个示例中，用于IntraBC预测和补偿的像素可以是在当前CTU、左CTU以及当前CTU及左CTU四条上面的线中的未过滤的像素，其他像素使用过滤的像素。
在又一示例中，用于IntraBC预测和补偿的像素可以是在当前CTU、当前CTU的四条上面的线以及当前CTU的四条左边的列中的未过滤的像素，其他像素是使用过滤的像素。
在又一示例中，用于IntraBC预测和补偿的像素可以是在当前CTU行的四条像素线上面的未过滤的像素，其他像素是使用过滤的像素。
IntraBC缓冲器管理
在SCM4.0中，需要存储当前图像的预去块纹理用于IntraBC搜索和补偿，也需要存储在当前图像的SAO进程后的纹理作为用于后续图像编码的参考帧。在本发明中，为了减少缓冲器尺寸，存储当前图像的所述预去块(pre-deblocking)纹理以及预去块纹理与在SAO之后的纹理之间的纹理差异，或者，存储SAO之后的纹理以及预去块纹理与SAO之后的纹理之间的纹理差异。因为SAO和去块滤波不会改变太多的图像值，所述纹理差异的位深度应该小于普通重构的纹理的位深度。
像素层级的ACT
在HEVC范围扩展(HEVC-HEVC)和HEVC屏幕内容编码(HEVC-SCC)中，有一个称为跨分量预测(cross-component prediction，简称CCP)的编码工具，CCP使用亮度/G残差去预测色度/B/R残差。在SCC中，提出了一环内自适应色彩转换(ACT)(adaptive colourtransform，简称ACT)以移除色彩分量之中的冗余(redundancy)。在SCM-2.0中，所述ACT是CU层级的进程，在SCM-3.0中，所述ACT修正为一TU层级的进程。
如图5所示的包括环内色彩空间转换的解码系统框图的示例，包括一额外的模块，也就是逆色彩空间转换(530)。图5示出了各种各样的模块，包括熵解码器(510)、解量化(515)、逆转换(520)、跨分量预测(CCP,525)、运动补偿(535)、帧内预测(540)、加法器(adder,545)、去块滤波器(550)、SAO(样本自适应偏移)滤波器(555)以及DPB(decodedpicture buffer)(解码的图像缓冲器，560)。所述解码器也包括第一开关(S1)以选择逆色彩空间转换(在下面的位置)或绕开逆色彩空间转换(在上面的位置)，解码器也包括以第二开关(S2)以选择帧间预测(在上面的位置)或帧内预测(在下面的位置)。除了所述逆色彩空间转换(530)，所有的模块都是传统HEVC中使用的标准解码器模块。当用使能的色彩空间转换对块进行编码的时候，所述逆色彩空间转换被唤醒以将自传统的逆DCT/DST转换和CCP的输出的残差域(residual domain)转换回原始域。
应用两个不同的色彩空间转换取决于CU是否是以无损的或有损的方式进行编码。用于使用YCoCg转换矩阵的有损编码的前向(forward)的和逆色彩空间转换定义如下：
前向的:以及(2)
逆:
其中原始色彩空间(C0,C1,C2)可以对应于(R,G,B),(Y,Cb,Cr)或(Y,U,V)
在本发明中，公开了像素层级的进程。例如，当在CCP中处理每个残差样本的时候，可以加载YUV/YCbCr/RGB的残差样本并且可以在像素层级的CCP进程之后级联(cascade)地执行ACT，所述ACT将不需要额外的处理阶段。在另一个示例中，当将残差和预测值相加的时候，在重构阶段执行像素层级的ACT，首先应用用于每个残差样本的逆ACT，然后将最终的残差样本和预测值相加。
在又一示例中，公开了在块层级的ACT进程。所述块尺寸是M×N，其中M和N两个都是正整数并且所述块尺寸可以在比特流中预定或传输。例如，当在CCP中处理每个块(例如4×4)中的残差样本的时候，可以加载YUV/YCbCr/RGB的残差样本并且可以在块层级的CCP进程之后级联地执行所述ACT。
在另一示例中，当在最后的色彩分量(例如V，Cr，B或R分量)上执行逆转换的时候，如果CCP关闭了，可以级联地应用所述逆ACT进程和所述逆转换进程。如果CCP打开了，可以级联地应用所述逆CCP进程和逆ACT进程和所述逆转换。
图6示出了根据本发明一实施例的结合错误处理的示例性解码系统的流程图，用于解码的块向量指向与不可用区域重叠的参考块的情况。在步骤610中，决定用于当前图像中当前块的解码的BV(block vector,块向量)；在步骤620中，决定所述当前图像中的参考块，其中所述参考块由所述解码的BV从所述当前块中指定；在步骤630中，如果所述参考块和不可用区域重叠在一起，通过从相邻可用像素填充、通过使用不可用区域中先前解码的像素或者通过使用预定义的值生成用于所述当前块的IntraBC预测的所述不可用区域中的参考像素；然后如步骤640所示，使用所述参考块可以对IntraBC模式中的所述当前块进行解码。
根据本发明所示出的流程图是为了说明视频编解码的一个示例，在不脱离本发明精神的前提下，本领域技术人员可以对每一步进行修改、重新排列步骤、拆分步骤或合并步骤来实施本发明。在本发明中，使用了特定的语法和语义示出了实施本发明实施例的示例，在不背离本发明精神的前提下，本领域技术人员可以用相等的语法和情景替换语法和语义以实施本发明。
上述描述是为了使本领域普通技术人员能够根据上下文所提供的特定应用和其需求实施本发明。对于本领域普通技术人员而言，所描述的实施例的各种各样的修正是显而易见的，且本文中所定义的一般原理可应用于其他实施例。因此，本发明不旨在限制于示出和描述的具体实施例，其应符合这里所公开的原则和新颖性特征一致的最广范围。在上述详细的描述中，为了提供本发明透彻的理解，示出了各种各样的具体的细节，然而本领域技术人员应当理解，可以实施本发明。
上述所描述的本发明的实施例可以实施为各种各样的硬件、软件代码或两者的组合，例如，本发明的一个实施例可以是集成到视频压缩芯片上的一个或多个电子电路或集成到视频压缩软件中的程序代码以执行本文所描述的进程。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，简称DSP)上执行的程序代码以执行本文所描述的进程。本发明也可以包含由电脑处理器、数字信号处理器、微处理器或现场可编程门阵列(field programmable gate array，简称FPGA)执行的一些功能。可以配置这些处理器执行根据本发明的具体的任务，通过执行由本发明定义的具体方法的机器可读软件代码或固件代码。软件代码或固件代码可以以不同的编程语言和不同的格式或样式来开发，还可以被不同的目标平台编译软件代码。然而，软件代码的不同的代码格式、风格和语言以及配置代码以执行与本发明中认为一致的其他手段将不会脱离本发明的精神和范围。
在不背离本发明精神或基本特征的情况下，本发明可以以其他特定的形式实施。所描述的实施例在所有方面仅被认为是说明性的而非限制性的，因此，本发明的范围由所附权利要求所指示而不是前面的描述。在权利要求的等同物的含义和范围内的所有变化都包括在它们的范围内。

Claims (17)

1.一种用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，包括：
决定用于当前图像中当前块的解码的块向量；
决定所述当前图像中的参考块，其中所述参考块由所述解码的块向量从所述当前块中指定；
如果所述参考块和不可用区域重叠在一起，通过从相邻可用像素填充、通过使用所述不可用区域中先前解码的像素或者通过使用预定义的值生成用于所述当前块帧内块复制预测的所述不可用区域中的参考像素；以及
使用所述参考块对所述帧内块复制模式中的所述当前块进行解码。
2.如权利要求1所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，其中所述从相邻可用像素填充对应于先水平填充，然后垂直填充。
3.如权利要求1所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，其中所述从相邻可用像素填充对应于先垂直填充，然后是水平填充。
4.如权利要求1所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，进一步包括：在对所述当前图像进行解码之前，将所述当前图像的存储区域中的所有像素设置为所述预定义的值，以及将先前解码的块存储于所述当前图像的所述存储区域中，其中用于所述当前块的所述参考块直接从所述当前图像的所述存储区域中取出而不管所述参考块是否在所述不可用区域中。
5.如权利要求4所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，其中所述预定义值等于(1<<(bit_depth-1))，并且其中bit_depth对应于所述当前图像的位深度。
6.如权利要求5所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，其中所述预定义的值在序列参数集、图像参数集或切片数据头中用信号传递。
7.如权利要求1所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，其中所述预定义值等于(1<<(bit_depth-1))，并且其中bit_depth对应于所述当前图像的位深度。
8.如权利要求1所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，其中使用所述预定义值生成所述参考块中的所有像素。
9.如权利要求1所述的用于使用帧内块复制模式的视频解码系统的错误处理的方法，其特征在于，其中所述预定义的值在序列参数集、图像参数集或切片数据头中用信号传递。
10.一种决定用于视频编码器或解码器的运动向量分辨率的方法，其特征在于，包括：
从媒介或处理器中接收当前图像单元的多个块；
决定与一个或多个先前图像单元有关的整数运动向量使用的一个或多个状态；
根据与所述一个或多个先前图像单元有关的所述整数运动向量使用的所述一个或多个状态，决定与所述当前图像单元有关的所述整数运动向量使用的当前状态；以及
根据所述整数运动向量使用的所述当前状态对所述当前图像单元中的所述多个块进行编码或解码。
11.如权利要求10所述的决定用于视频编码器或解码器的运动向量分辨率的方法，其特征在于，其中每个所述图像单元对应于一个块、切片或图像。
12.如权利要求10所述的决定用于视频编码器或解码器的运动向量分辨率的方法，其特征在于，其中所述当前图像单元对应于当前图像并且所述一个或多个先前图像单元对应于紧挨着所述当前图像的一个或多个先前编码的图像。
13.如权利要求10所述的决定用于视频编码器或解码器的运动向量分辨率的方法，其特征在于，其中所述一个或多个先前图像单元对应于第一先前图像和第二先前图像，并且其中所述第一先前图像对应于位于当前图像的参图像列表0中的一个主要参考图像，且所述第二先前图像对应于位于所述第一先前图像的参考图像列表0中的一个主要参考图像。
14.如权利要求10所述的决定用于视频编码器或解码器的运动向量分辨率的方法，其特征在于，其中所述当前图像单元对应于所述当前图像以及所述一个或多个先前图像单元对应于在所述当前图像之前的一个先前编码的图像。
15.一种视频解码器中主动色彩变换的方法，其特征在于，包括：
从视频比特流中获得色彩预测转换的样本，其中通过将自适应色彩转换(ACT)进程和跨色彩预测(CCP)进程应用于输入色彩残差样本生成所述色彩预测转换的样本；以及
从所述色彩预测转换样本中重构色彩样本，其中所述重构所述色彩样本包括：通过将逆跨色彩预测(CCP)处理的像素直接传递到逆自适应色彩转换(ACT)进程，级联地应用像素层级的逆跨色彩预测(CCP)进程和逆自适应色彩转换(ACT)进程，或者通过将逆自适应色彩转换(ACT)处理的像素直接传递到像素重构进程，级联地应用像素层级的逆自适应色彩转换(ACT)进程和所述像素重构进程。
16.如权利要求15所述的视频解码器中主动色彩变换的方法，其特征在于，当在最后色彩分量上执行逆转换的时候，由所述像素层级的逆跨色彩预测(CCP)进程和所述逆自适应色彩转换(ACT)级联地或由所述像素层级的逆自适应色彩转换(ACT)进程级联地处理从所述逆转换中输出用于所述最后色彩分量的样本。
17.如权利要求16所述的视频解码器中主动色彩变换的方法，其特征在于，其中所述最后色彩分量对应于色彩分量V，Cr，B或R。
CN201680031693.8A 2015-06-03 2016-06-03 用于使用帧内块复制模式的视频解码错误处理的方法和装置 Pending CN107852505A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562170267P 2015-06-03 2015-06-03
US62/170,267 2015-06-03
PCT/CN2016/084767 WO2016192677A1 (en) 2015-06-03 2016-06-03 Method and apparatus of error handling for video coding using intra block copy mode

Publications (1)

Publication Number Publication Date
CN107852505A true CN107852505A (zh) 2018-03-27

Family

ID=57440195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680031693.8A Pending CN107852505A (zh) 2015-06-03 2016-06-03 用于使用帧内块复制模式的视频解码错误处理的方法和装置

Country Status (5)

Country Link
US (2) US10356438B2 (zh)
EP (1) EP3304906A4 (zh)
CN (1) CN107852505A (zh)
CA (1) CA2986950C (zh)
WO (1) WO2016192677A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI729446B (zh) * 2018-08-03 2021-06-01 聯發科技股份有限公司 用於視訊編解碼之增強型幀內塊複製模式的方法和裝置
CN113170108A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 使用显式和隐式信令对不可用参考帧进行自适应块更新
CN113170106A (zh) * 2018-11-28 2021-07-23 北京字节跳动网络技术有限公司 帧内块复制模式中运动参考的扩展方法
CN113366853A (zh) * 2019-02-02 2021-09-07 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区初始化
CN114175633A (zh) * 2019-07-10 2022-03-11 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
WO2024007695A1 (en) * 2022-07-05 2024-01-11 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3297282A1 (en) * 2016-09-15 2018-03-21 Thomson Licensing Method and apparatus for video coding with adaptive clipping
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
US10462483B1 (en) 2018-04-26 2019-10-29 Tencent America LLC Method and apparatus for video coding
CN113383541B (zh) 2019-02-02 2024-02-20 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区访问方法
KR20210125506A (ko) 2019-03-04 2021-10-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
KR102461123B1 (ko) * 2019-03-11 2022-10-28 엘지전자 주식회사 Ibc 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020184990A1 (ko) * 2019-03-11 2020-09-17 엘지전자 주식회사 Ibc 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20220166986A1 (en) * 2019-03-13 2022-05-26 Lg Electronics Inc. Image encoding/decoding method and device using ibc prediction, and method for transmitting bitstream
KR20230170800A (ko) 2019-07-06 2023-12-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼
CN114097221B (zh) 2019-07-11 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
JP7359936B2 (ja) 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
CN117221536A (zh) * 2019-07-23 2023-12-12 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021121419A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between adaptive color transform and quantization parameters
WO2021143896A1 (en) * 2020-01-18 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Adaptive colour transform in image/video coding
US20220345604A1 (en) * 2021-04-27 2022-10-27 Apple Inc. Camera integration for portable electronic devices
US20230075788A1 (en) * 2021-09-01 2023-03-09 Tencent America LLC Template matching on ibc merge candidates
US11789352B2 (en) * 2021-11-01 2023-10-17 GM Global Technology Operations LLC Camera system laminated into glass using microsensor and lens
CN113997868B (zh) * 2021-11-15 2023-07-04 武汉华星光电技术有限公司 车载显示装置
US20230412907A1 (en) * 2022-05-20 2023-12-21 Sony Interactive Entertainment Inc. Near infrared (nir) transparent organic light emitting diode (oled) display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110181A1 (en) * 2013-10-18 2015-04-23 Samsung Electronics Co., Ltd. Methods for palette prediction and intra block copy padding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265163B2 (en) * 2001-12-21 2012-09-11 Motorola Mobility Llc Video shape padding method
US20080002772A1 (en) 2006-06-28 2008-01-03 Hong Kong Applied Science and Technology Research Institute Company Limited Motion vector estimation method
US9451285B2 (en) * 2010-04-16 2016-09-20 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
US11259020B2 (en) 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
US9774879B2 (en) * 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
US20150071357A1 (en) * 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
US9877034B2 (en) 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
US10856009B2 (en) * 2014-09-04 2020-12-01 Mediatek Inc. Method of block vector clipping and coding for screen content coding and video coding
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110181A1 (en) * 2013-10-18 2015-04-23 Samsung Electronics Co., Ltd. Methods for palette prediction and intra block copy padding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAMMY LEE等: "Non-CE6: Simplified reference samples padding for intra prediction（JCTVC-G791）", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH MEETING》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159788B2 (en) 2018-08-03 2021-10-26 Mediatek Inc. Method and apparatus of enhanced Intra Block Copying mode for video coding
TWI729446B (zh) * 2018-08-03 2021-06-01 聯發科技股份有限公司 用於視訊編解碼之增強型幀內塊複製模式的方法和裝置
CN113170108A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 使用显式和隐式信令对不可用参考帧进行自适应块更新
CN113170106A (zh) * 2018-11-28 2021-07-23 北京字节跳动网络技术有限公司 帧内块复制模式中运动参考的扩展方法
CN113366844B (zh) * 2019-02-02 2023-10-03 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区中的数据存储
CN113396592A (zh) * 2019-02-02 2021-09-14 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区管理
CN113366844A (zh) * 2019-02-02 2021-09-07 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区中的数据存储
CN113366853A (zh) * 2019-02-02 2021-09-07 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区初始化
CN113396592B (zh) * 2019-02-02 2023-11-14 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区管理
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11956438B2 (en) 2019-03-01 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Direction-based prediction for intra block copy in video coding
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding
CN114175633A (zh) * 2019-07-10 2022-03-11 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
CN114175633B (zh) * 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
US11936852B2 (en) 2019-07-10 2024-03-19 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
WO2024007695A1 (en) * 2022-07-05 2024-01-11 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Also Published As

Publication number Publication date
WO2016192677A1 (en) 2016-12-08
EP3304906A1 (en) 2018-04-11
CA2986950C (en) 2022-03-15
EP3304906A4 (en) 2019-04-17
US20180152727A1 (en) 2018-05-31
CA2986950A1 (en) 2016-12-08
US10356438B2 (en) 2019-07-16
US20190289320A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN107852505A (zh) 用于使用帧内块复制模式的视频解码错误处理的方法和装置
TWI634783B (zh) 用於二叉樹分割塊的確定候選集的方法及裝置
CN106797466B (zh) 一种处理视频数据的方法及装置
CN107409226B (zh) 用于视频编解码中的具有分数像素块向量分辨率的IntraBC模式的方法和装置
CN106797476B (zh) 用于编码/解码视频数据的方法和视频解码装置
KR101908205B1 (ko) 인트라 화상 블록 카피에 기초한 예측을 이용하는 비디오 코딩 방법
CN104205846B (zh) 用于三维视频译码的视图合成模式
TWI749584B (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
CN107852490A (zh) 使用帧内块复制模式的视频编解码方法及系统
CN109076237A (zh) 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
CN106716999A (zh) 用于视频编码的调色板预测器信令的方法
CN106797479A (zh) 对于并行处理的帧内块复制预测限制
CN107925769A (zh) 用于帧内块复制模式的已解码图像缓存器的方法和系统
CN106464870A (zh) 用于对帧内画面进行编码和解码的基于模板匹配的方法和装置
CN107852499A (zh) 用于在视频编解码中减少最坏情况下的带宽的约束帧内块复制的方法
CN105874795A (zh) 在波前并行处理被启用时对图片内预测模式的规则
CN106537916A (zh) 调色盘模式编码及解码设计
CN113796077A (zh) 视频编解码之亮度mpm列表导出的方法及装置
KR102649584B1 (ko) 크로마 인트라 모드에 기초한 크기 제한
CN106797471A (zh) 使用一般化复制之前模式的颜色索引编码方法
CN113853791B (zh) 数字视频中的变换旁路编解码残差块
CN113785306A (zh) 基于编解码树结构类型的编解码模式
JP2022545220A (ja) スキップしたブロックを変換するための残差コーディング
CN113812160B (zh) 用于屏幕内容编解码的最大可能模式列表构建
RU2807214C2 (ru) Ограничение представления дифференциальной импульсно-кодовой модуляции квантового остатка кодированного видео

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327

WD01 Invention patent application deemed withdrawn after publication