CN113906752A - 视频编码系统中用以决定去块滤波决策的视频处理方法和装置 - Google Patents

视频编码系统中用以决定去块滤波决策的视频处理方法和装置 Download PDF

Info

Publication number
CN113906752A
CN113906752A CN202080035948.4A CN202080035948A CN113906752A CN 113906752 A CN113906752 A CN 113906752A CN 202080035948 A CN202080035948 A CN 202080035948A CN 113906752 A CN113906752 A CN 113906752A
Authority
CN
China
Prior art keywords
block
current
edge
deblocking filtering
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080035948.4A
Other languages
English (en)
Inventor
蔡佳铭
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
联发科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 联发科技股份有限公司 filed Critical 联发科技股份有限公司
Publication of CN113906752A publication Critical patent/CN113906752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用于对当前块和相邻块进行编码的视频处理方法和装置包括：接收当前图片中当前块和相邻块的输入数据，确定当前块和相邻块均以BDPCM或RDPCM模式进行编码，通过停用针对第一颜色分量的去块滤波并激活针对第二颜色分量的去块滤波执行去块滤波操作，以及对当前块和相邻块进行编码或解码。BDPCM编码块中的每个当前像素由当前像素的一个或多个相邻像素预测。RDPCM被应用于根据RDPCM编码块的预测方向来处理RDPCM编码块的量化残差。

Description

视频编码系统中用以决定去块滤波决策的视频处理方法和 装置
交叉引用
本发明要求2019.5.30提交的申请号为62/854,382，名称为“Deblocking FilterDecisions for Block DPCM and Quantized Residual BDPCM”的美国临时专利申请以及2019.10.15提交的申请号为62/915,053，名称为“Deblocking Filter Decisions forBlock DPCM and Transform skip Mode”的美国临时专利申请的优先权。以上美国临时专利申请的内容通过引用一并并入本说明书中。
技术领域
本发明涉及视频编码和解码系统中的视频处理方法和装置。特别地，本发明涉及对两个块差分脉冲编码调制(Block Differential Pulse Code Modulation，简写为BDPCM)编码块之间或两个残差差分脉冲编码调制(Residual Differential Pulse CodeModulation，简写为RDPCM)编码块之间的边缘的去块滤波判决(deblocking filterdecision)。
背景技术
高效视频编码(HEVC)标准是由ITU-T研究组的视频编码联合协作团队(JCT-VC)的视频编码专家组开发的最新视频编码标准。HEVC标准改进了进行中的标准H.264/AVC的视频压缩性能，以满足对更高图片分辨率、更高帧频和更好视频品质的需求。HEVC标准依赖于基于块的编码结构，该结构将每个视频切片分为多个方形编码树单元(CTU)，其中CTU是HEVC中视频压缩的基本单元。光栅扫描顺序用于编码或解码每个切片中的CTU。每个CTU可以包含一个编码单元(CU)，也可以根据四叉树分区结构将其递归分为四个较小的CU，直到达到预定义的最小CU大小为止。预测决策是在CU级别做出的，其中每个CU使用图片间预测或图片内预测进行编码。一旦完成了CU分层树的划分，则根据用于预测的PU划分类型，将每个CU进一步划分成一个或多个预测单元(PU)。由于将相同的预测过程应用于PU中的所有像素，因此PU用作共享预测信息的基本代表块。预测信息以PU为基础传送到解码器。运动估计可为一幅或两幅参考图片中使用图像间预测编码的CU识别一个(单预测)或两个(双向预测)最佳参考块，而图像间预测中的运动补偿可根据一个或两个运动矢量(MV)来定位该一个或两个最佳参考块。使用图片内预测编码的CU由同一图片中的参考样本预测。CU的预测误差是CU与预测子之间的差异，并且预测误差被分成一个或多个变换单元(TU)以进行变换和量化。
块差分脉冲编码调制(BDPCM)在即将出现的新兴视频编码标准中，已经开发了块差分脉冲编码调制(Block-DPCM或BDPCM)来预测具有每个尺寸小于或等于32个样本的帧内CU(intra CU)的亮度(luma)分量中的像素。对于宽度或高度小于或等于32个亮度采样的每个帧内CU，在CU级别发送BDPCM标志bdpcm_flag。用于帧内CU的BDPCM标志指示是否将常规帧内编码或Block-DPCM应用于帧内CU，并且使用单个CABAC上下文对BDPCM标志进行编码。当选择BDPCM编码或解码当前块时，使用LOCO-1的中值边缘检测器从垂直和水平方向上的相邻采样中预测当前块中的每个采样。对于具有像素A作为左侧相邻(neighbor)，像素B作为顶部相邻，以及C作为左上相邻的当前块中的当前像素X，当前像素P(X)的预测子可通过以下公式得出：
P(X)＝min(A,B)ifC≥max(A,B)；
max(A,B)ifC≤min(A,B)；
A+B-C otherwise.
当选择了顶部和左上相邻时，使用未滤波的参考像素来预测当前块的顶部行，并且当选择左侧和左上相邻时，使用未滤波的参考像素来预测当前块的左列。当选择左侧相邻时，使用重构像素预测除第一像素之外的第一行，当选择顶部相邻时，使用重构像素预测除第一像素以外的左侧行。还使用重构像素来预测当前块的其余行(row)和列(column)。在当前块内以光栅扫描顺序处理像素。当前块的预测子与当前块的原始数据之间的差异称为预测误差，也称为当前块的残差，并且在重新缩放后，以与变换跳过模式(Transform SkipMode，简写为TSM)中的量化相同的方法，在空间域中量化当前块的预测误差。然后通过将量化的预测误差添加到预测子来重构每个像素。重构的像素用于按光栅扫描顺序预测后续像素。量化的预测误差的幅度和正负号(sign)被分别编码。首先对cbf_bdpcm_flag进行编码，如果该标志等于零，则将当前块的所有幅度解码为零。如果此标志等于1，则以光栅扫描顺序分别编码当前块的所有幅度。为了保持BDPCM的低复杂度，幅度值限制为最大31(包含31)。使用一元二值化对幅度进行编码，第一个比特子(bin)具有三个上下文，然后每个附加比特子具有一个上下文，直到第十二个比特子，所有其余比特子具有一个上下文。对于每个非零残差，以旁路模式对正负号进行编码。
为了维持常规帧内预测模式的连贯性，最可能模式(MostProbable Mode，简写为MPM)列表中的第一模式与BDPCM预测CU(不被发送)相关联，并且可用于后续块的MPM生成。
在两个BDPCM块之间的边界上，用于亮度(luma)和色度(chroma)分量的去块滤波均被停用，因为两个BDPCM块都不由变换阶段处理，其中变换阶段通常负责块伪像(artifact)。
残差差分脉冲编码调制(RDPCM)BDPCM的另一种方案是量化残差域的BDPCM(RDPCM(Quantizedresidual domainBDPCM)，在VVC中进一步重命名为BDPCM)。发信的BDPCM方向指示是采用垂直还是水平预测。BDPCM中使用的参考像素是未滤波的样本和重构的样本，并且在空间域中对预测误差进行量化。参考像素用于逐行预测BDPCM编码块的行或列。通过将去量化的预测误差添加到预测子来重构像素。RDPCM中使用的信令和预测方向与BDPCM方案相同。在RDPCM中，通过在类似于帧内预测的水平或垂直预测方向上进行样本复制来对整个块进行预测。对残差进行量化，并对量化后的残差与预测子(水平或垂直)之间的差异进行编码。对于大小为M行和N列的块，令ri,j,0≤i≤M-1,0≤j≤N-1是使用上方或左侧块边界的未滤波样本在水平或垂直方向进行帧内预测后的预测残差。如果在水平方向上执行RDPCM，则将当前块的左邻像素值复制到当前块的预测子中的每一列；如果在垂直方向执行RDPCM，将顶部邻行复制到当前块的预测子中的每一行。
令Q(ri,j),0≤i≤M-1,0≤j≤N-1表示残差ri,j的量化形式，其中残差是原始块与预测块值之间的差异。然后将RDPCM应用于量化后的残差样本，生成具有元素
Figure BDA0003353798310000041
的M×N数组
Figure BDA0003353798310000042
当发信垂直方向时：
Figure BDA0003353798310000043
对于水平预测，适用类似的规则，并且残差量化样本(residual quantizedsample)如下获得：
Figure BDA0003353798310000044
残差量化样本
Figure BDA0003353798310000045
被发送到解码器。在解码器侧，将上述计算取反以生成量化残差Q(ri,j),0≤i≤M-1,0≤j≤N-1。对于垂直预测情况，
Figure BDA0003353798310000046
对于水平预测情况，
Figure BDA0003353798310000047
逆量化残差Q-1(Q(ri,j))被添加到预测子以生成重构的样本值。
RDPCM方案的主要优点在于，可以通过简单地将预测子与所解析的系数相加来在系数解析期间同时(onthe fly)进行逆RDPCM，或者可以在系数解析之后执行逆RDPCM。可以避免将4xN和Nx4块拆分为2个并行处理的块(parallel processed block)。
去块滤波(Deblocking Filter)开发了去块滤波工具以减轻基于块的视频编码系统中沿着块的边界的块状伪像。去块滤波工具是应用于解码图片的环路滤波器，因为将滤波后的图片存储回解码图片缓冲区中，并用于预测视频图片序列中的其他图片。去块滤波操作是去块滤波决策和滤波处理的组合。去块滤波决策确定是否应用去块滤波以及滤波的强度。滤波处理修改通过去块滤波决策选择的块边界处的像素的值。去块滤波操作在亮度和色度分量之间是独立的，因此可以独立处理所有三个分量。去块滤波决策包括开/关决策、正常/强滤波器决策以及在常规滤波器模式下被去块滤波修改的像素数量。由于某些编码条件更有可能产生明显的块伪像(strong block artifact)，因此根据诸如预测模式和运动矢量之类的比特流信息来做出去块滤波决策。根据去块滤波决策来定义边界强度(Boundary strength，简写为bS)值，并且滤波处理仅应用于bS大于零的块边界。当所有三个条件都为真时，将由双线性滤波器(bilinear filter)实现的强去块滤波应用于亮度边界样本。条件1是“大块条件(large block condition)”，其检测边界的p侧或q侧的亮度样本是否位于较大块。其中，较大块的定义为：对于垂直边缘，当该侧块的宽度大于或等于32个亮度样本时；对于水平边缘，当该侧块的高度大于或等于32个亮度样本时。条件2和3由以下公式确定，其中β是取决于量化参数(Quantization Parameter)且具有分段线性相关的阈值，并且tC也是取决于QP的限幅偏移。
Condition2＝(d<β)？TRUE:FALSE
Condition3＝StrongFilterCondition＝(dpq is less than(β>>2),sp3+sq3小于(3*β>>5),且Abs(p0-q0)小于(5*tC+1)>>1)？TRUE:FALSE
在针对块边界选择强去块滤波的情况下，对于i＝0至Sp-1的p侧pi的块边界样本和对于j＝0至Sq-1的q侧qj的块边界样本通过线性插值如下替换：
pi′＝(fi*Middles,t+(64-fi)*Ps+32)＞＞6),限幅pi±tcPDi
qj′＝(gj*Middles,t+(64-gj)*Qs+32)＞＞6),限幅qj±tcPDj
其中tcPDi和tcPDj是与位置相关的限幅变量(clippingvariable)，强去块(strongdeblocking)参数gj,fi,Middles,t,Ps和Qs由公式导出，如表1所示。
表1–亮度分量的强去块参数的推导
Figure BDA0003353798310000051
Figure BDA0003353798310000061
Figure BDA0003353798310000071
用于色度分量的强去块滤波还修改了来自块边界的三个样本，并实现了强低通滤波(low-pass filtering)。用于色度分量的强去块滤波定义为：
p2’＝(3*p3+2*p2+p1+p0+q0+4)>>3
p1’＝(2*p3+p2+2*p1+p0+q0+q1+4)>>3
p0’＝(p3+p2+p1+2*p0+q0+q1+q2+4)>>3
将色度去块滤波应用到4x4色度样本网格上，并且当色度边缘的两侧都大于或等于八个色度样本并且满足以下三个决策时，选择色度去块滤波。第一个决策与边界强度决策以及大块决策相关联。第二和第三个决策与亮度决策相同，分别是开/关决策和强滤波器决策。在第一个决策中，修改bS确定以进行色度去块滤波，如表2所示。表2中的条件被顺序检查，如果满足条件，则跳过具有较低优先级的其余条件。
表2–修正边界强度确定
Figure BDA0003353798310000072
bS等于2时，或者当bS等于1时，执行色度去块滤波。第二和第三决策与HEVC亮度强滤波器决策基本相同。
用于子块边界的去块滤波在即将出现的新兴视频编码标准中，可以将去块滤波操作应用于与8x8网格对准的CU边界以及子块边界。子块边界包括通过空间时空运动矢量预测(Spatial Temporal Motion Vector Prediction，简写为STMVP)和仿射模式引入的预测单元(PU)边界，以及由子块变换(Sub-block Transform，简写为SBT)和内部子分区(IntraSub-Partition，简写为ISP)引入的变换单元(TU)边界模式。对于8x8网格上的SBT和ISP子块，采用与常规去块滤波中的TU相同的方法。当跨边缘的任一子块中存在非零变换系数时，将去块滤波应用于8x8网格上的TU边界。对于子块时间运动矢量预测(Subblock TemporalMotion Vector Prediction，简写为SbTMVP)和8x8网格上的仿射子块，采用与常规去块滤波中的PU相同的方法。对于PU边界，考虑到运动矢量与相邻子块的参考图片之间的差异，将去块滤波应用于8×8网格。
发明内容
在视频处理方法的示例性实施例中，视频编码或解码系统接收与当前图片中的当前块和相邻块相关联的输入视频数据，确定当前块和相邻块是否都被编码为BDPCM模式或两者均以RDPCM模式进行编码，若当前块和相邻块都以BDPCM或RDPCM模式编码时，通过对边缘上的第一颜色分量停用去块化滤波并为边缘上的第二颜色分量激活去块化滤波，对当前块和相邻块之间的边缘执行去块滤波操作，并在当前图片中对当前块和相邻块进行编码或解码。相邻块在空间上与当前块相邻。基于确定结果在当前块和相邻块之间的边缘上执行去块滤波操作。当前图片中的BDPCM编码块中的每个当前像素由当前图片中当前像素的一个或多个相邻像素预测。在一些实施例中，用于预测BDPCM编码块中的当前像素的一个或多个相邻像素包括当前像素的左相邻像素、当前像素的顶部相邻像素和当前像素的左上方相邻像素之一或其组合。当相邻像素位于BDPCM编码块之外时，用于预测BDPCM编码块中的当前像素的相邻像素是未滤波的参考像素，或者当相邻像素在BDPCM编码块内时，用于预测BDPCM编码块中的当前像素的相邻像素是重构像素。对于RDPCM编码块，根据RDPCM编码块的预测方向将RDPCM应用于RDPCM编码块的量化残差，以修改量化残差。
在仅将BDPCM或RDPCM模式应用于视频数据的亮度分量的实施例中，第一颜色分量是亮度分量，第二颜色分量是一个或多个色度分量。在仅将BDPCM或RDPCM模式应用于视频数据的一个或多个色度分量的实施例中，第一颜色分量是一个或多个色度分量，而第二颜色分量是亮度分量。
在本发明的实施例中，将当前块与相邻块之间的边缘上的第一颜色分量的去块滤波的边界强度值设置为零，并且将边缘上的第二颜色分量的去块滤波的边界强度值设置为二。也就是说，根据该实施例，可以使用去块滤波来对当前块与相邻块之间的边缘上的第二颜色分量进行滤波。
视频编码系统的一些实施例从当前像素的一个或多个相邻像素中确定以BDPCM模式编码的当前块中的每个当前像素的预测子，并根据每个当前像素的预测子确定每个当前像素的残差，在空间域中量化每个当前像素的残差，对每个当前像素的量化残差进行去量化，并通过将去量化后的残差添加到每个当前像素的预测子来重构每个当前像素。当前块的每个重构的当前像素可以用于根据光栅扫描顺序来预测当前块中的后续像素。视频解码系统的一些实施例从当前像素的一个或多个相邻像素确定以BDPCM模式编码的当前块中的每个当前像素的预测子，解码和去量化每个当前像素的量化后的残差，并通过将去量化的残差添加到每个当前像素的预测子中来重构每个当前像素。当前块的每个重构的当前像素可以用于根据光栅扫描顺序来预测当前块中的后续像素。
视频编码系统的一些实施例确定以RDPCM模式编码的当前块中的每个当前像素的预测子，根据每个当前像素的预测子确定每个当前像素的残差，在空间域中量化每个当前像素的残差，将RDPCM应用于当前块的量化残差，对经过处理的量化残差进行去量化，然后通过将相应的去量化残差和当前像素的预测子相加来重构每个当前像素。视频解码系统的一些实施例还确定以RDPCM模式编码的当前块中每个当前像素的预测子，解码当前块的量化残差，应用RDPCM处理量化残差，对处理后的量化残差进行去量化，通过将每个当前像素相应的去量化残差和预测子相加，重构每个当前像素。
在应用RDPCM的一些实施例中，视频编码或解码系统确定当前块的预测方向和相邻块的预测方向，并且如果两个预测方向不同，则通过激活第一和第二颜色分量的去块滤波，在当前块和相邻块之间的边缘上执行去块滤波操作。如果两个预测方向相同，则通过对第一颜色分量停用去块滤波并为第二颜色分量激活去块滤波，在当前块和相邻块之间的边缘上执行去块滤波操作。根据实施例，当前块的预测方向和相邻块的预测方向在视频比特流中明确地发信或从视频比特流解析。
视频编码系统的实施例显式地发信当前块和相邻块的BDPCM预测模式标志，并且视频解码系统解析当前块和相邻块的BDPCM预测模式标志。当前块和相邻块可以是CU、PU或TU。在以BDPCM模式对当前块进行编码的一个实施例中，视频处理方法还包括：接收与与当前块相邻的第二相邻块相关联的输入数据，以及在当前块与第二相邻块之间的边缘上执行去块滤波操作。在当前相邻块与第二相邻块之间的边缘上执行的去块滤波操作包括：如果第二相邻块是以除BDPCM模式之外的模式编码的，则激活针对第一和第二颜色分量的去块滤波。例如，如果第二相邻块没有以BDPCM模式编码，则将第一和第二颜色分量的边界强度值都设置为2，以对当前块和第二相邻块之间的边缘进行去块滤波。
本公开的各方面还提供一种用于在视频编码系统中执行视频处理的装置。该装置包括一个或多个电子电路，其被配置为接收当前图片中的当前块和相邻块的输入数据，确定当前块和相邻块是否均以BDPCM或RDPCM模式编码，当当前块和相邻块都以BDPCM或RDPCM模式编码时，通过停用用于第一颜色分量的去块滤波并激活用于第二颜色分量的去块滤波，执行在当前块和相邻块之间的边缘上的去块滤波操作，以及对当前图片中的当前块和相邻块进行编码或解码。
附图说明
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中：
图1示出了根据本发明的实施例的确定针对在p侧和q侧之间的边缘上的亮度分量Y的去块滤波的边界强度值。
图2示出了根据本发明实施例的确定针对在p侧和q侧之间的边缘上的色度分量Cb和Cr的去块滤波的边界强度值。
图3示出了根据本发明的实施例的示例性视频处理方法的流程图。
图4示出了根据本发明实施例的，结合了视频处理方法的视频编码系统的示例性系统框图。
图5示出了根据本发明实施例的，结合了视频处理方法的视频解码系统的示例性系统框图。
具体实施方式
将容易理解，如本文的附图中一般性描述和示出的，本发明的部件可以以各种不同的配置来布置和设计。因此，如附图所示，对本发明的系统和方法的实施例的以下更详细的描述并非旨在限制要求保护的本发明的范围，而仅是本发明的选定实施例的代表。
用于两个BDPCM或RDPCM块之间的边缘的去块滤波决策在本发明的一些示例性实施例中，BDPCM或RDPCM模式仅应用于视频数据的亮度分量。对于以BDPCM模式编码的当前块，在两个BDPCM块(即，当前块和与当前块相邻的另一个BDPCM编码的块)之间的边缘上停用(de-activated)亮度去块滤波。对于以RDPCM模式编码的当前块，在两个RDPCM块(即，当前块和与当前块相邻的另一个RDPCM编码的块)之间的边缘上停用亮度去块滤波。在本说明书中，术语BDPCM块或RDPCM块和术语BDPCM编码块或RDPCM编码块可互换使用，表示该块的至少一个颜色分量是由BDPCM或RDPCM模式处理的。BDPCM编码块中的每个当前像素由当前图片中当前像素的一个或多个相邻像素预测。例如，用于预测BDPCM编码块中的当前像素的相邻像素包括当前像素的左相邻像素、当前像素的顶部相邻像素和当前像素的左上相邻像素之一或组合。如果相邻像素位于BDPCM编码块之外，则用于预测BDPCM编码块中的当前像素的相邻像素是未滤波的参考像素，而若相邻像素位于BDPCM编码块之内，则用于预测BDPCM编码块中的当前像素的相邻像素是重构像素。根据预测方向将RDPCM应用于RDPCM编码块的量化残差，例如，从水平方向和垂直预测中选择预测方向。在一个实施例中，对于每个RDPCM编码块，在视频比特流中明确地发信或解析了预测方向。根据一个实施例，在两个BDPCM块之间的边缘上停用亮度去块滤波，或者根据另一个实施例，停用两个RDPCM块之间的边缘上的亮度去块滤波。停用亮度去块滤波或色度去块滤波也被称为针对第一颜色分量的停用去块滤波，其中第一颜色分量是亮度分量或一个或多个色度分量。停用亮度去块滤波意味着停用两个亮度块之间的亮度边缘上的去块滤波操作，而启用亮度去块滤波意味着启用两个亮度块之间的亮度边缘上的去块滤波操作。在一些实施例中，可以通过将亮度分量的边界强度值(bS)设置为零来停用亮度去块滤波。类似地，停用色度去块滤波意味着停用两个或四个色度块之间的一个或两个色度边缘上的去块滤波操作，并且激活色度去块滤波意味着激活两个或四个色度块之间的一个或两个色度边缘上的去块滤波操作。在一些实施例中，可以通过将色度分量的边界强度值(bS)设置为零来停用色度去块滤波。在将BDPCM或RDPCM模式应用于当前块的亮度分量的实施例中，在对色度分量的去块滤波决策中，当前块被视为帧内块。换言之，如果仅将BDPCM/RDPCM模式应用于当前块的第一颜色分量，则激活针对当前块与另一BDPCM/RDPCM编码块之间的边缘上的第二颜色分量的去块滤波。当第一分量是亮度分量时，第二颜色分量是一个或多个色度分量，或者当第一颜色分量是一个或多个色度分量时，第二颜色分量是亮度分量。在仅将BDPCM或RDPCM模式应用于亮度分量的实施例中，针对色度分量的去块滤波决策将每个BDPCM/RDPCM块视为帧内预测块，因此，可以将去块滤波操作应用于两个帧内预测块之间的边缘。在仅将BDPCM或RDPCM模式应用于视频数据的亮度分量的一个实施例中，对于两个BDPCM/RDPCM块之间的边缘，亮度分量的边界强度值(bS)设置为零，而色度分量(包括Cb和Cr分量)的边界强度值(bS)设置为2。在该实施例中，如果满足进一步的去块滤波标准，则使用去块滤波操作来对两个BDPCM/RDPCM块之间的边缘上的色度分量进行滤波。更一般地，当将BDPCM或RDPCM模式应用于第一颜色分量时，用于两个BDPCM/RDPCM块之间的边缘上的第一颜色分量的去块滤波的边界强度值被设置为零，而将用于两个BDPCM/RDPCM块之间的边缘上的第二颜色分量的去块滤波的边界强度值被设置为2。当前块可以是编码单元(CU)、预测单元(PU)或变换单元(TU)。
在一些其他实施例中，仅将BDPCM或RDPCM模式应用于视频数据的色度分量，在两个BDPCM编码块或两个RDPCM编码块之间的边缘上停用色度去块滤波，但是，亮度去块滤波在两个BDPCM编码块或两个RDPCM编码块之间的边缘上激活。在仅将BDPCM模式应用于色度分量的实施例中，当通过BDPCM模式处理当前块的色度分量时，在当前块和与当前块相邻的另一个BDPCM编码的块之间的边缘上停用对色度分量的去块滤波，并且在当前块和另一个BDPCM编码块之间的边缘上激活用于亮度分量的去块滤波。在仅将RDPCM模式应用于色度分量的实施例中，通过激活边缘上的色度分量的去块滤波并停用边缘上的色度分量的去块滤波来执行两个RDPCM块之间的边缘上的去块滤波操作。
在以下实施例中，可以将BDPCM或RDPCM模式应用于亮度和色度分量中的一个或两个，在一个实施例中，在两个BDPCM或RDPCM编码块之间的边缘上停用亮度去块滤波和色度去块滤波，在另一实施例中，在两个BDPCM或RDPCM编码块之间的边缘上激活亮度去块滤波和色度去块滤波。例如，根据一个实施例，针对两个BDPCM块或两个RDPCM块之间的边缘，针对亮度和色度分量的去块滤波的边界强度值被设置为零，并且针对亮度和色度分量的去块滤波的边界强度值是0。根据另一实施例，对于两个BDPCM块或两个RDPCM块之间的边缘，将针对亮度和色度分量的去块滤波的边界强度值设置为2。
在本发明的一些实施例中，视频编码系统明确地发信当前块的BDPCM预测模式标志，以指示当前块以BDPCM模式被编码，并且视频解码系统解析当前块的BDPCM预测模式标志。在一个实施例中，BDPCM模式可用于帧内编码块，并且针对每个帧内编码块发信BDPCM预测模式标志，以指示该帧内编码块是在正常帧内预测模式还是在BDPCM模式下被编码。
在图1和图2中示出了为实现本发明的实施例而导出用于标记边缘(marked edge)的去块滤波的边界强度值的一些示例。图1示出了根据本发明的实施例的导出亮度分量Y的去块滤波的边界强度值的方法。在图1中，如果未将BDPCM模式应用于亮度分量，则将以色度BDPCM模式编码的每个块视为以帧内模式编码的块，以确定亮度分量的边界强度值。在步骤S102中，视频编码或解码系统检查当前边缘的p侧和q侧是否都以亮度BDPCM模式编码，并且如果当前边缘的p侧和q侧均在亮度BDPCM模式下编码，针对亮度分量的去块滤波的边界强度值被设置为零(bS_Y＝0)用于当前边缘。在步骤S102的检查结果为假的情况下，编码或解码系统检查当前边缘的p侧或q侧中的任何一个是否以帧内模式或帧间和帧内联合预测(Combined Inter and Intra Prediction，简写为CIIP)模式进行编码，或者，在步骤S104中是否以亮度BDPCM模式对p侧和q侧之一进行编码。在步骤S106中，如果步骤S104的检查结果为真，则对于当前边缘，针对亮度分量的去块滤波的边界强度值被设置为二(bS_Y＝2)，否则，视频编码或解码系统检查当前边缘是否为标记的(marked)变换块(TransformBlock)边缘，并且对于每个颜色分量，在p侧或q侧的块(TB)编码块标记(CBF)不为零。如果步骤S106的检查结果为真，则对于当前边缘，针对亮度分量的去块滤波的边界强度值被设置为一(bS_Y＝1)。在步骤S108中，在步骤S106的检查结果为假的情况下，视频编码或解码系统还检查当前边缘是否是标记的预测块(PB)边缘，并且p侧和q侧的参考图片不同，或当前边缘是否为标记的PB边缘，并且以1/16亮度采样为单位，在p侧和q侧的mvx或mvy之间的绝对差小于或等于8，其中mvx代表运动向量的水平尺寸(horizontal dimension)和mvy表示运动向量的垂直尺寸。如果步骤S108的检查结果为真，则针对当前边缘的亮度分量的去块滤波的边界强度值被设置为一(bS_Y＝1)，如果步骤S108的检查结果为“否”，则当前边缘的边界强度值被设置为零(bS_Y＝0)。
图2示出了根据本发明实施例的针对色度分量Cb和Cr推导去块滤波的边界强度值的方法。在图2中，如果未将BDPCM模式应用于色度分量，则将以亮度BDPCM模式编码的每个块视为在帧内模式中编码的块，以确定色度分量的边界强度值。在步骤S202中，视频编码或解码系统检查当前边缘的p侧和q侧是否都以色度BDPCM模式被编码。在步骤S204中，如果步骤S202的检查结果为真，则针对色度分量的去块滤波的边界强度值设置为零(bS_Cb＝0，bS_Cr＝0)，否则视频编码或解码系统检查当前边缘的p侧或p侧之任一是否以帧内模式或CIIP模式编码，或者是否以色度BDPCM模式对当前边缘的p侧或q侧之一进行编码。以边缘模式或CIIP模式对当前边缘的q侧进行编码，如果步骤S204的检查结果为真(true)，则针对色度分量的去块滤波的边界强度值被设置为2(bS_Cb＝2，bS_Cr＝2)。在步骤S206中，在步骤S204的检查结果为假(false)的情况下，视频编码或解码系统还检查对于当前色度分量，p侧或q侧的CBF是否不为零，或者p侧或q侧是否为联合色度残差模式(joint chromaresidual mode)。如果步骤S206的测试结果为真，则针对当前色度分量Cb的去块滤波的边界强度值被设置为一(bS_Cb＝1)，否则针对当前色度分量Cb的边界强度值被设置为零(bS_Cb＝0)。如果步骤S206的测试结果为真，则针对当前色度分量Cr的去块滤波的边界强度值被设置为一(bS_Cr＝1)，否则，针对当前色度分量Cr的边界强度值被设置为零(bS_Cr＝0)。
考虑预测方向的，用于两个BDPCM或RDPCM块之间的边缘的去块滤波决策在本发明的一些实施例中，在对BDPCM编码块的边缘进行去块滤波决策时考虑针对BDPCM编码块的发信的BDPCM方向。所发信的BDPCM方向是在BDPCM或RDPCM模式中使用并在视频比特流中发信或从视频比特流解析的预测方向，例如，预测方向可以从垂直方向和水平方向中选择。在一个实施例中，如果这两个块的发信的BDPCM方向不同，则激活用于亮度和色度分量的去块滤波以滤波两个BDPCM或RDPCM块之间的边缘。在该实施例中，可以将BDPCM或RDPCM模式应用于亮度分量、色度分量或亮度和色度分量两者。例如，仅将BDPCM模式应用于视频数据的亮度分量，并且当这两个BDPCM块的预测方向不同时，针对亮度和色度分量的两个BDPCM块之间的边缘上的去块滤波的边界强度值被设置为2。
在另一个实施例中，如果这两个BDPCM或RDPCM块的发信的BDPCM方向不同，则在两个BDPCM或RDPCM块之间的边缘上激活亮度和色度分量的去块滤波，并且如果这两个BDPCM或RDPCM块的发信的BDPCM方向相同，则在两个BDPCM或RDPCM块之间的边缘上停用亮度和色度分量中的至少一个的去块滤波。在该实施例中，可以将BDPCM或RDPCM模式应用于亮度分量、色度分量或亮度和色度分量两者。例如，当将BDPCM模式仅应用于视频数据的亮度分量时，如果两个BDPCM块的预测方向不同，则针对两个BDPCM块之间的边缘将亮度和色度分量的去块滤波的边界强度值都设置为2；如果两个BDPCM块的预测方向相同，则针对两个BDPCM块之间的边缘将亮度分量的去块滤波的边界强度值设置为零，将色度分量的去块滤波的边界强度值设置为2。在另一示例中，当将BDPCM模式应用于视频数据的亮度和色度分量两者时，如果两个BDPCM块的预测方向不同，则针对两个BDPCM块之间的边缘将亮度和色度分量的去块滤波的边界强度值都设置为2；如果两个BDPCM块的预测方向相同，则针对两个BDPCM块之间的边缘将亮度分量和色度分量的去块滤波的边界强度值均设置为0。在又一示例中，当将BDPCM模式仅应用于视频数据的色度分量时，如果两个BDPCM块的预测方向不同，则针对两个BDPCM块之间的边缘将亮度和色度分量的去块滤波的边界强度值都设置为2；如果两个BDPCM块的预测方向相同，则针对两个BDPCM块之间的边缘将亮度分量的去块滤波的边界强度值设置为2，将色度分量的去块滤波的边界强度值设置为0。
对具有用BDPCM或RDPCM编码的一侧的边缘的去块滤波决策当在对具有用BDPCM或RDPCM模式编码的一侧的边缘做出去块滤波决策时，本发明的一些实施例将每个BDPCM或RDPCM编码块视为帧内编码块。例如，当仅边缘的一侧用BDPCM或RDPCM模式编码时，亮度和色度分量的去块滤波的边界强度(bS)值都设置为2，因此可以使用去块滤波对亮度和色度分量进行滤波。
在另一个实施例中，当将BDPCM或RDPCM模式仅应用于视频数据的亮度分量时，不将亮度去块仅应用于被BDPCM或RDPCM模式编码的当前边缘的一侧。也就是说，对于只有一侧以BDPCM/RDPCM模式编码的边缘，仅在以BDPCM/RDPCM模式编码的一侧停用亮度分量的去块滤波，而在边缘的另一侧仍启用亮度分量的去块滤波。在又一个实施例中，当将BDPCM或RDPCM模式应用于亮度分量时，在当前边缘上停用用于亮度分量的去块滤波，其中，利用BDPCM或RDPCM模式对当前边缘的任一侧进行编码。例如，如果边缘的任何一侧用BDPCM或RDPCM模式编码，则亮度分量的去块滤波的bS值将设置为零。
根据一个实施例，如果将BDPCM或RDPCM模式应用于视频数据的色度分量，则不将色度去块仅应用于被BDPCM或RDPCM模式编码的当前边缘的一侧。例如，用于滤波用BDPCM或RDPCM模式编码的侧的色度去块滤波的bS值被设置为零，而用于滤波边缘的另一侧的色度去块滤波的bS值被设置为2。在又一个实施例中，用于色度分量的去块滤波在边缘上被停用，该边缘的一侧用BDPCM或RDPCM模式编码。例如，如果当前边缘的一侧用BDPCM或RDPCM模式编码，则对于当前边缘，将色度分量的去块滤波的bS值设置为零。
前述实施例中的BDPCM或RDPCM编码块可以是编码单元块、预测单元块或变换单元块。
用于以变换跳过模式编码的块的去块滤波决策根据在变换跳过模式(transformSkip mode，简写为TSM)中编码边缘的一侧还是两侧的块来进行去块滤波决策的一些实施例。视频编码器通常对每个块的残差数据进行变换、量化和熵编码。视频编码器通过将诸如离散余弦变换(DCT)的变换操作应用于像素域中的残差数据来变换残差数据，并在频域中变换成变换系数。视频解码器执行已在视频编码器中完成的运算的逆运算，例如，视频解码器熵解码量化的变换系数，对变换系数进行去量化，然后执行逆变换运算以将变换系数变换回像素域中的残差数据。对于以TSM编码的当前块，将跳过变换和逆变换操作。当前块的一些示例包括变换单元(TU)、编码单元(CU)或预测单元(PU)。视频编码器量化并熵编码与当前块相关联的像素域残差数据；视频解码器对当前块的像素域残差数据进行熵解码和去量化。视频编码器可以生成用于包括在视频比特流中的TSM标志，该TSM标志指示是否使用TSM对当前块进行编码。
在将TSM应用于亮度分量的情况下，根据实施例，在以TSM编码的两个块之间的边缘上停用亮度去块滤波。例如，对于两个都用TSM编码的亮度块之间的边缘，亮度分量的bS值设置为零。在另一实施例中，当对两个相邻块中的仅一个用TSM进行编码时，亮度去块滤波不对用TSM编码的边缘的一侧进行滤波，而亮度去块滤波可以应用于边缘的另一侧。在又一实施例中，如果边缘的任一侧用TSM编码，则在边缘上停用亮度去块滤波。例如，如果当前边缘的任一侧用TSM编码，则当前边缘的亮度分量的bS值将设置为零。
在将TSM应用于色度分量的情况下，根据一个实施例，色度去块滤波在以TSM编码的两个块之间的边缘上被停用。例如，对于均以TSM编码的两个色度块之间的边缘，色度分量的bS值设置为零。在另一实施例中，当仅以TSM编码了一个相邻块时，色度去块滤波不对用TSM编码的边缘的该侧进行滤波，而色度去块滤波可以应用于边缘的另一侧。在又一个实施例中，如果边缘的任何一侧被TSM编码，则色度去块滤波在边缘上被停用。例如，如果当前边缘的任意一侧用TSM编码，则将当前边缘的色度分量的bS值设置为零。
考虑针对以变换跳过模式编码的块的运动信息的去块滤波决策在一些其他实施例中，当以TSM对一个或两个相邻块进行编码时，去块滤波决策还取决于两个相邻块的运动信息。在将TSM应用于亮度分量的情况下，根据一个实施例，如果这两个相邻的跳过变换的(transform-skipped)块具有相同或相似的运动矢量和相同的参考图片，则在两个变换跳过的块之间的边缘上停用亮度去块滤波。例如，如果两个用TSM编码的相邻亮度块具有相同或相似的运动矢量以及相同的参考图片，则将当前边缘的bS值设置为零。在另一实施例中，如果至少一个亮度块用TSM中编码并且两个亮度块具有相同或相似的运动矢量和相同的参考图片，则在这两个亮度块之间的边缘上停用亮度去块滤波。例如，如果当前边缘的任一侧用TSM编码并且当前边缘的两侧具有相同或相似的运动矢量和相同的参考图片，则将当前边缘的bS值设置为零。边缘的相邻块可以是CU、PU或TU。通过以四分之一亮度样本为单位，运动矢量的水平分量和垂直分量之间的绝对差小于阈值TH来定义相似运动矢量的示例。例如，阈值TH是1、2、3或4。在另一实施例中，前述示例或实施例也可以应用于色度分量。例如，根据一个实施例，当将TSM应用于色度分量时，如果两个相邻的已跳过变换的块具有相同或相似的运动矢量和相同的参考图片，则在两个已跳过变换的块之间的边缘上停用色度去块滤波。例如，如果两个用TSM编码的相邻色度块具有相同或相似的运动矢量以及相同的参考图片，则将当前边缘的bS值设置为零。在另一实施例中，如果以TSM编码色度块中的至少一个并且两个色度块具有相同或相似的运动矢量和相同的参考图片，则在该两个色度块之间的边缘上停用色度去块滤波。
编码或解码过程的示例性流程图图3示出了根据本发明实施例的将在视频编码或解码系统中实现的视频处理方法的示例性流程图。在步骤S302中，视频编码或解码系统接收与当前图片中的当前块和相邻块相关联的输入数据。在编码器侧，输入数据对应于将被编码为视频比特流的像素数据；在解码器侧，输入数据对应于要解码的编码数据或预测残差。相邻块在空间上与当前块相邻。在步骤S304中，视频编码或解码系统确定当前块和相邻块是否都以BDPCM模式被编码。BDPCM编码块中的每个当前像素由当前图片中当前像素的一个或多个相邻像素预测。在步骤S306中，如果当前块和相邻块均以BDPCM模式编码，则通过对边缘上的第一颜色分量停用去块滤波，并对该边缘上的第二颜色分量启用去块滤波，在当前块与相邻块之间的该边缘上执行去块滤波操作。例如，当仅将BDPCM模式应用于亮度分量时，第一颜色分量是亮度分量(Y)，而第二颜色分量是一个或多个色度分量(Cb和Cr)。在另一示例中，当仅将BDPCM模式应用于一个或多个色度分量时，第一颜色分量是一个或多个色度分量(Cb和Cr)，并且第二颜色分量是亮度分量(Y)。当步骤S304的检查结果为假时，视频编码或解码系统还在步骤S310中检查当前块和相邻块之一是否以BDPCM模式被编码。如果在BDPCM模式下对当前块和相邻块之一进行编码，则在步骤S312中通过对第一和第二颜色分量激活去块滤波来对当前块和相邻块之间的边缘执行去块滤波操作；否则，根据步骤S314中的边界强度确定方法，对当前块与相邻块之间的边缘进行去块滤波操作。边界强度确定方法的示例显示于表2中。在步骤S306、S312或S314中进行去块滤波操作之后，视频编码或解码系统在步骤S308中对当前图片中的当前块和相邻块进行编码或解码。
视频编码器和解码器的实现可以在视频编码器或解码器中实现前述的视频处理方法。例如，提出的视频处理方法在编码器的去块滤波和/或解码器的去块滤波中实现。可替代地，任何所提出的方法都被实现为耦合到编码器的去块滤波和/或解码器的去块滤波的电路，以便提供去块滤波所需的信息。图4示出了用于实现本发明的各种实施例的视频编码器400的示例性系统框图。帧内预测模组410基于当前图片的重构视频数据来提供帧内预测子。帧间预测模组412基于来自其他图片的视频数据执行运动估计(ME)和运动补偿(MC)以提供帧间预测子。对于每个块，帧内预测模组410或帧间预测模组412将所选择的预测子提供给加法器模组416以形成预测误差，也称为预测残差。在本发明的一些实施例中，当前块由BDPCM模式编码，并且当前块中的每个当前像素由当前图片中当前像素的一个或多个相邻像素预测。从当前像素的相邻像素确定以BDPCM模式编码的当前块中的每个当前像素的预测子，并且根据每个当前像素的预测子确定每个当前像素的残差。每个块的预测残差通常由变换模组(T)418然后由量化模组(Q)420进一步处理。在BDPCM模式的某些实施例中，对BDPCM编码块的预测残差在空间域中进行量化而非在频域中进行变换，在这种情况下，量化模组420处理当前块中每个当前像素的残差以产生量化残差。然后，量化的残差由熵编码器432编码以形成视频比特流。然后，将视频比特流与辅助信息(side information)打包在一起。然后，由逆量化模组(IQ)422处理当前块中的每个当前像素的量化残差以对量化残差进行去量化。由于针对当前块的残差跳过了变换操作，因此逆变换模组(IT)424不处理当前块的去量化残差。如图4所示，通过在重构模组(REC)426处将经去量化的残差加回到每个当前像素的预测子，来重构每个当前像素，以产生重构的视频数据。根据一个实施例，当前块的每个重构的当前像素然后用于根据光栅扫描顺序来预测当前块中的下一个像素。重构的视频数据可以被存储在参考图片缓冲器(Reference Picture Buffer)432中，并且被用于其他图片的预测。从REC 426中恢复的重构视频数据可能会由于编码处理而遭受各种损害；因此，在存储在参考图片缓冲器432中之前，将环路处理去块滤波(DF)428和样本自适应偏移(SAO)430应用于重构的视频数据，以进一步提高图片品质。当在以BDPCM模式编码的当前块和同样以BDPCM模式编码的相邻块之间的边缘上执行去块滤波操作时，DF 428的实施例停用用于第一颜色分量的去块滤波并激活用于第二颜色分量的去块滤波。例如，当仅将BDPCM模式应用于亮度分量时，第一颜色分量是亮度分量，而第二颜色分量是色度分量。与用于环路处理DF 428和SAO 430的信息相关联的语法被提供给熵编码器434，以用于合并到编码的视频比特流中。
在一些其他实施例中，当前块以RDPCM模式编码，并且在帧间预测模组412或帧内预测模组410中通过帧间或帧内预测来预测当前块中的每个当前像素，以生成每个当前像素的预测子。通过加法器416根据每个当前像素的预测子来确定当前块中的每个当前像素的残差，并且由量化模组420在空间域中对残差进行量化。然后将RDPCM应用于当前块的量化残差，以根据预测方向处理量化残差。预测方向的示例从水平方向和垂直方向中选择，并在视频比特流中发信。经处理的量化残差在逆量化模组422中被去量化，并且在当前块中的每个当前像素在重构模组426中通过添加相应的去量化残差和当前像素的预测子而被重构。在去块滤波428中，边界强度确定方法检查边缘的两侧是否以RDPCM模式编码，并且通过停用用于第一颜色分量的去块滤波以及激活第二颜色分量的去块滤波，来对两个RDPCM块的边缘执行去块滤波操作。例如，如果将RDPCM应用于亮度分量，则第一颜色分量是亮度分量，而第二颜色分量是一个或多个色度分量。在另一示例中，如果将RDPCM应用于一个或多个色度分量，则第一颜色分量是一个或多个色度分量，而第二颜色分量是亮度分量。
在图5中示出了用于解码从图4的视频编码器400生成的视频比特流的对应的视频解码器500。视频比特流是视频解码器500的输入，并由熵解码器510解码以解析和恢复量化的残差和其他系统信息。解码器500的解码过程类似于编码器400处的重构循环，除了解码器500仅需要帧间预测模组514中的运动补偿预测。每个块都由帧内预测模组512或帧间预测模组514解码。根据预测方向，通过BDPCM模式对本发明的一些实施例中的当前块进行解码。一个示例从水平和垂直方向中选择预测方向，并从视频比特流中对其进行解析。切换模组516根据解码的模式信息从帧内预测模组512选择帧内预测子或从帧间预测模组514选择帧间预测子。与以BDPCM模式编码的当前块的每个当前像素相关联的量化残差由逆量化模组(IQ)520逆量化以生成逆量化的残差。根据一些实施例，当处理BDPCM或RDPCM编码块时，跳过在逆变换模组(IT)522中执行的逆变换操作。通过在REC 518中将每个当前像素的去量化残差与每个当前像素的预测子相加，来重构每个当前像素，以产生重构的视频数据。当前块中的每个重构的当前像素用于根据光栅扫描顺序来预测当前块中的下一个像素。DF 524和SAO 526进一步处理重构的视频数据，以生成最终的解码视频。在DF 524中，在当前块和相邻块之间的边缘上执行去块滤波操作，其中当前块和相邻块都以BDPCM模式被编码。根据本发明的一些实施例，在两个BDPCM块之间的边缘上执行的去块滤波操作停用针对第一颜色分量的去块滤波并激活用于第二颜色分量的去块滤波。例如，当仅将BDPCM应用于亮度分量时，第一颜色分量是亮度分量，而第二颜色分量是一个或多个色度分量。如果当前解码的图片是参考图片，则当前解码的图片的重构视频也存储在参考图片缓冲器528中以用于解码顺序中后续的图片。
在一些实施例中，当前块以RDPCM模式编码，帧间预测模组514或帧内预测模组512用于预测当前块中每个当前像素的预测子，并且从视频比特流解码当前块的量化残差。应用RDPCM来处理当前块的量化残差，并且在逆量化模组520中对经处理的量化残差进行去量化。在REC 518中，通过将对应的去量化残差和当前像素的预测子相加，来重构当前块中的每个当前像素。DF 524在当前块和相邻块之间的边缘上执行去块滤波操作，其中，也以RDPCM模式对相邻块进行编码。在两个RDPCM块之间的边缘上执行的去块滤波操作将停用针对第一颜色分量的去块滤波，同时激活针对第二颜色分量的去块滤波。例如，当仅将RDPCM应用于亮度分量时，第一颜色分量是亮度分量，而第二颜色分量是一个或多个色度分量。
图4和图5中的视频编码器400和视频解码器500的各种组件可以由硬件组件、配置为执行存储在存储器中的程序指令的一个或多个处理器，或硬件和处理器的组合来实现。例如，处理器执行程序指令，该程序指令用于控制对块之间的边缘执行去块滤波操作。该处理器配备有一个或多个处理核心。在一些示例中，处理器执行程序指令以执行编码器400和解码器500中的某些组件中的功能，并且与处理器电耦合的存储器用于存储程序指令，与块的重构图像相对应的信息和/或编码或解码过程中的中间数据。在一些实施例中，存储器包括非暂时性计算机可读介质，例如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储介质。存储器也可以是上面列出的两个或多个非暂时性计算机可读介质的组合。如图4和图5所示，编码器400和解码器500可以在同一电子设备中实现，因此，如果在同一电子设备中实现，则编码器400和解码器500的各种功能组件可以被共享或重复使用。例如，图4中的重构模组426、逆变换模组424、逆量化模组422、去块滤波428、采样自适应偏移430和参考图片缓冲器432中的一个或多个也可以分别用作图5中的重构模组518、逆变换模组522、逆量化模组520、去块滤波524、样本自适应偏移526和参考图片缓冲器528。
用于编码或解码的视频处理方法的实施例可以在集成到视频压缩芯片中的电路或集成到视频压缩软件中的程序代码中执行，以执行上述处理。例如，可以在要在计算机处理器、数字信号处理器(DSP)、微处理器或现场可程序化门阵列(FPGA)上执行的程序代码中实现执行去块滤波操作。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。
在整个说明书中对“一个实施例”、“一些实施例”或类似语言的引用意味着结合这些实施例描述的特定特征、结构或特性可以被包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在一些实施例中”并不一定全都指同一实施例，这些实施例可以单独实现或与一个或多个其他实施例结合实现。此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，本领域技术人员将认识到，可以在没有一个或多个特定细节的情况下，或者在利用其他方法、组件等的情况下实践本发明。在其他情况下，未示出或未示出公知的结构或操作。详细描述以避免混淆本发明的方面。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入权利要求等同含义和范围内的所有改变均应包含在其范围之内。

Claims (15)

1.一种在视频编码系统中处理视频数据的方法，包括：
接收与当前图片中的当前块和相邻块相关的输入数据，其中，该相邻块在空间上与该当前块相邻；
确定该当前块和该相邻块是否均以块差分脉冲编码调制模式编码，其中，该当前图片中每个块差分脉冲编码调制编码块中的每个当前像素由该当前图片中的该当前像素的一个或多个相邻像素预测；
当该当前块和该相邻块均以块差分脉冲编码调制模式编码时，通过为该当前块和该相邻块之间的边缘上的第一颜色分量停用去块滤波并为该当前块和该相邻块之间的该边缘上的第二颜色分量激活去块滤波来对该当前块和该相邻块之间的该边缘执行去块滤波操作；以及
对该当前图片中的该当前块和该相邻块进行编码或解码。
2.根据权利要求1所述的方法，其中，该块差分脉冲编码调制模式仅应用于该当前块和该相邻块的亮度分量，并且该第一颜色分量是该亮度分量，以及该第二颜色分量是一个或多个色度分量。
3.根据权利要求1所述的方法，其中，该块差分脉冲编码调制模式仅应用于该当前块和该相邻块的一个或多个色度分量，并且该第一颜色分量是该一个或多个色度分量，以及该第二颜色分量是亮度分量。
4.根据权利要求1所述的方法，其中，针对在该当前块和该相邻块之间的该边缘上的该第二颜色分量的去块滤波的边界强度值被设置为2。
5.根据权利要求4所述的方法，其中，针对在该当前块和该相邻块之间的该边缘上的该第一颜色分量的去块滤波的边界强度值被设置为零。
6.根据权利要求1所述的方法，还包括：接收与该当前块相邻的第二相邻块相关联的输入数据，确定该第二相邻块以不同于该块差分脉冲编码调制模式的模式编码，通过激活该当前块和该第二相邻块之间的边缘上的该第一颜色分量和该第二颜色分量的去块滤波，在该当前块和该第二相邻块之间的该边缘上进行去块滤波。
7.根据权利要求1所述的方法，其中，基于该确定结果来执行在该当前块与该相邻块之间的边缘上的去块滤波操作。
8.一种在视频编码系统中处理视频数据的方法，包括：
接收与当前图片中的当前块和相邻块相关的输入数据，其中，该相邻块在空间上与该当前块相邻；
确定该当前块和该相邻块是否均以残差差分脉冲编码调制模式编码，其中，根据该当前块的预测方向将残差差分脉冲编码调制应用于该当前块的量化残差，以及根据该相邻块的预测方向将残差差分脉冲编码调制应用于该相邻块的量化残差；
当该当前块和该相邻块均以残差差分脉冲编码调制模式编码时，通过为该当前块和该相邻块之间的边缘上的第一颜色分量停用去块滤波并为该当前块和该相邻块之间的该边缘上的第二颜色分量激活去块滤波来对该当前块和该相邻块之间的该边缘执行去块滤波操作；以及
对该当前图片中的该当前块和该相邻块进行编码或解码。
9.根据权利要求8所述的方法，其中，该残差差分脉冲编码调制模式仅应用于该当前块和该相邻块的亮度分量，并且该第一颜色分量是该亮度分量，并且该第二颜色分量是一个或多个色度分量。
10.根据权利要求8所述的方法，其中，该残差差分脉冲编码调制模式仅应用于该当前块和该相邻块的一个或多个色度分量，并且该第一颜色分量是该一个或多个色度分量，以及该第二颜色分量是亮度分量。
11.根据权利要求8所述的方法，其中，针对在该当前块和该相邻块之间的该边缘上的该第二颜色分量的去块滤波的边界强度值被设置为2。
12.根据权利要求11所述的方法，其中，针对在该当前块和该相邻块之间的该边缘上的该第一颜色分量的去块滤波的边界强度值被设置为零。
13.根据权利要求8所述的方法，其中，还包括确定该当前块的预测方向和该相邻块的预测方向，其中如果该当前块和该相邻块的预测方向不同，则通过激活针对该当前块和该相邻块之间的该边缘上的该第一颜色分量和该第二颜色分量的去块滤波来执行去块滤波操作。
14.根据权利要求8所述的方法，其中，基于该确定结果来执行在该当前块与该相邻块之间的边缘上的去块滤波操作。
15.一种在视频编码系统中处理视频数据的装置，该装置包括一个或多个电子电路，其被配置用于：
接收与当前图片中的当前块和相邻块相关的输入数据，其中，该相邻块在空间上与该当前块相邻；
确定该当前块和该相邻块都以块差分脉冲编码调制模式编码，或者都以残差差分脉冲编码调制模式编码，其中，该当前图片中的每个块差分脉冲编码调制编码块中的每个当前像素通过该当前图片中的该当前像素的一个或多个相邻像素预测，并且根据该残差差分脉冲编码调制编码块的预测方向将残差差分脉冲编码调制应用于每个残差差分脉冲编码调制编码块的量化残差；
通过为该当前块和该相邻块之间的边缘上的第一颜色分量停用去块滤波并为该当前块和该相邻块之间的该边缘上的第二颜色分量激活去块滤波来对该当前块和该相邻块之间的该边缘执行去块滤波操作；以及
对该当前图片中的该当前块和该相邻块进行编码或解码。
CN202080035948.4A 2019-05-30 2020-05-28 视频编码系统中用以决定去块滤波决策的视频处理方法和装置 Pending CN113906752A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962854382P 2019-05-30 2019-05-30
US62/854,382 2019-05-30
US201962915053P 2019-10-15 2019-10-15
US62/915,053 2019-10-15
PCT/CN2020/092978 WO2020239038A1 (en) 2019-05-30 2020-05-28 Video processing methods and apparatuses for determining deblocking filter decision in video coding systems

Publications (1)

Publication Number Publication Date
CN113906752A true CN113906752A (zh) 2022-01-07

Family

ID=73552705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080035948.4A Pending CN113906752A (zh) 2019-05-30 2020-05-28 视频编码系统中用以决定去块滤波决策的视频处理方法和装置

Country Status (6)

Country Link
US (1) US11902510B2 (zh)
CN (1) CN113906752A (zh)
BR (1) BR112021024185A8 (zh)
MX (1) MX2021014662A (zh)
TW (1) TWI773994B (zh)
WO (1) WO2020239038A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7069421B2 (ja) * 2019-06-25 2022-05-17 日本放送協会 符号化装置、復号装置、及びプログラム
WO2021006651A1 (ko) * 2019-07-09 2021-01-14 엘지전자 주식회사 디블록킹 필터링에 기반한 영상 코딩 방법 및 그 장치
CN115315959A (zh) * 2020-03-25 2022-11-08 Lg电子株式会社 通过确定边界强度执行去块滤波的图像编码/解码方法和设备及发送比特流的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015058A1 (en) 2013-07-31 2015-02-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2015057438A1 (en) 2013-10-14 2015-04-23 Mediatek Singapore Pte. Ltd. Method of residue differential pulse-code modulation for hevc range extension
US9521423B2 (en) 2014-06-26 2016-12-13 Sony Corporation Data encoding and decoding apparatus, method and storage medium
WO2016200984A1 (en) 2015-06-08 2016-12-15 Vid Scale, Inc. Intra block copy mode for screen content coding

Also Published As

Publication number Publication date
WO2020239038A1 (en) 2020-12-03
US20220224886A1 (en) 2022-07-14
BR112021024185A8 (pt) 2023-02-07
BR112021024185A2 (pt) 2022-01-18
TW202112132A (zh) 2021-03-16
US11902510B2 (en) 2024-02-13
TWI773994B (zh) 2022-08-11
MX2021014662A (es) 2022-01-11

Similar Documents

Publication Publication Date Title
US11064220B2 (en) Method and apparatus of video data processing with restricted block size in video coding
US11729388B2 (en) Method of removing deblocking artifacts
US9467713B2 (en) Apparatus for decoding a moving picture
US20140086311A1 (en) Signaling of scaling list
CA3090780A1 (en) Method of applying edge offset
TWI773994B (zh) 視訊編碼系統中用以決定去區塊濾波決策之視訊處理方法和裝置
KR20190088020A (ko) 다양한 변환 기술을 사용하는 비디오 코딩 방법 및 장치
CN114640847A (zh) 编解码方法、装置及其设备
US20230090641A1 (en) Filtering method and video decoding apparatus
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
US11546589B2 (en) Filtering method and video decoding apparatus
CN114556950B (zh) 具有bdpcm尺寸约束的视频编解码方法以及装置
KR102550503B1 (ko) 부호화 장치, 복호 장치, 및 프로그램
US11233991B2 (en) Devices and methods for intra prediction in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220426

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right