CN113796086B - 编码或解码视频数据的方法和装置 - Google Patents

编码或解码视频数据的方法和装置 Download PDF

Info

Publication number
CN113796086B
CN113796086B CN202080031292.9A CN202080031292A CN113796086B CN 113796086 B CN113796086 B CN 113796086B CN 202080031292 A CN202080031292 A CN 202080031292A CN 113796086 B CN113796086 B CN 113796086B
Authority
CN
China
Prior art keywords
mode
current block
intra
intra prediction
interpolation filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080031292.9A
Other languages
English (en)
Other versions
CN113796086A (zh
Inventor
蔡佳铭
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113796086A publication Critical patent/CN113796086A/zh
Application granted granted Critical
Publication of CN113796086B publication Critical patent/CN113796086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于视频编码器或解码器的视频处理方法，所述方法包括：接收当前块的输入数据；确定帧内预测模式和根据帧内预测模式确定参考样本；从用于当前块的高斯插值滤波器和另选插值滤波器中确定帧内参考样本滤波器；将帧内参考样本滤波器应用于参考样本以产生针对当前块的帧内预测器；以及基于帧内预测器对当前块进行编码或解码。高斯插值滤波器和另选插值滤波器之间的确定取决于通过帧内预测模式计算的模式差值与尺寸相关阈值的比较。根据实施方式，对于块尺寸小于或等于32个样本的块，尺寸相关阈值被设定为等于24。所述另选插值滤波器可以是DCT‑IF插值滤波器。

Description

编码或解码视频数据的方法和装置
交叉引用
本发明要求于2019年4月25日提交的、序号为62/838,392、名称为“Simplification of Mode Dependent Intra Smoothing and Position DependentIntra Prediction Combination”的美国临时专利申请，于2019年5月22日提交的、序号为62/851,136、名称为“Simplification of Mode Dependent Intra SmoothingConditions”的美国临时专利申请，以及于2019年6月17日提交的、序号为62/862,202、名称为“Simplification of Mode Dependent Intra Smoothing Conditions”的美国临时专利申请的优先权。以上美国临时专利申请的全部内容通过引用并入本文。
技术领域
本发明涉及通过参考同一视频图片中的相邻样本来对视频数据进行编码或解码。特别地，本发明涉及利用由模式相关的(mode dependent)帧内平滑滤波器导出的帧内预测器来对视频数据进行编码或解码。
背景技术
帧内预测已经在各种图片和视频编码标准中被广泛采用，以处理初始图片或周期性地插入I图片或I块用于随机访问或用于减轻错误传播。帧内预测被设计为利用图片中的空间特征，例如图片内或图片区域内的平滑区域、垂直线或边缘、水平线或边缘、以及对角线或边缘。帧内预测对于运动或场景变化较大的区域也是有用的。对于基于块的视频编码标准，当前块的帧内预测依赖于已处理的相邻块中的样本。举例来说，如果视频图片或图片区域中的块是从顶部到底部且从左到右逐行依次处理的，则当前块的顶部上的相邻块和左侧上的相邻块可用以形成用于预测当前块中的样本的帧内预测器。
高效视频编码(HEVC)标准支援35种帧内预测模式，包括33个角度模式、DC模式和平面模式。图1例示出了HEVC标准中支援的33个角度帧内预测模式的预测方向，其中H表示水平方向模式，而V表示垂直方向模式。通过包括帧内平滑滤波器、帧内预测和帧内梯度滤波器的三个步骤来生成用于通过HEVC的帧内预测来编码或要通过HEVC的帧内预测来编码的针对当前块的帧内预测器。图2例示出了由帧内平滑滤波器滤波的用于汇出当前块的帧内预测器的示例性参考样本。在计算当前块20的帧内预测器之前，对当前块20的参考样本22应用作为预处理步骤的平滑操作。平滑操作对应于将具有低通特性的有限脉冲回应(FIR)帧内平滑滤波器[1 2 1]>>2应用于属于当前块20的左侧相邻列和上方相邻行的参考样本22。平滑操作通过应用FIR滤波器来减少由帧内预测模式中的一些引入的不连续性。根据帧内预测模式和当前块的尺寸自我调整地应用该平滑操作。
帧内预测的第二步骤是根据从35个帧内预测模式中选择的一个帧内预测模式从相邻参考样本中汇出帧内预测器。帧内预测模式由编码器决定并在位元流中用信号发送，因此对应的解码器可以从位元流解析帧内预测模式。当选择角度模式时，通过根据所选择的角度模式的预测方向从参考样本外推样本来预测当前块中的各个样本的值。当选择平面模式时，假定具有从相邻块的边界样本汇出的水平和垂直平滑梯度的幅度表面来计算当前块中的各个样本的值。当选择DC模式时，当前块的各个样本的值是参考样本的平均值。
在第三步骤中，帧内梯度滤波器被应用于当前块的左边界和上边界处的样本。应用帧内梯度滤波器的概念是利用沿着帧内预测方向的梯度资讯来改进帧内预测的品质。图3A例示出了将帧内梯度滤波应用于通过垂直模式或水平模式预测的预测器。在图3A中，预测像素Pij表示在行i和列j的预测器，并且AL表示当前块的左上角处的重构样本，而Li表示当前块的左侧相邻列中的重构样本。在应用帧内梯度滤波器之后，通过等式(1)计算各个预测像素Pij的最终预测像素P'ij。
P′ij＝Pij+α·(Li-AL) 等式(1)
其中，α为0至1的分数，并且是根据水平位移j来选择的，例如，当j＝0时，α＝1/2，并且当j＝1时，α＝1/4。对于通过水平模式预测的当前块，通过等式(2)计算各个预测像素Pij的最终预测像素P'ij。
P′ij＝Pij+α·(Aj-AL) 等式(2)
其中Aj是上述行中的重构样本。对于方向模式v+1～v+8和h+1～h+8，首先沿着帧内预测方向获得重构样本Li或Aj的对应参考样本RLi或RAj，以替换重构样本Li或Aj。当当前块的上一行或左列中的整像素不位于整像素的位置时，应用其插值以产生对应的参考样本RLi或RAj。图3B例示出了将帧内梯度滤波器应用于v+1～v+8个方向模式的示例。根据等式(3)从各个预测像素Pij计算最终预测像素P'ij。
P′ij＝Pij+α·(Li-RLi) 等式(3)
与垂直模式类似，α是从0到1的分数，并且是根据帧内预测的方向和水平位移j来选择的。对于h+1～h+8个方向模式，最终预测像素P'ij是根据等式(4)从各个预测像素Pij计算出的，其中α是从0到1的分数，并且是根据帧内预测方向和垂直位移i选择的。
P′ij＝Pij+α·(Aj-RAj) 等式(4)
虽然帧内梯度滤波器可以应用于所有的方向模式v+1～v+8和h+1～h+8，但是仅当帧内预测模式是HEVC标准中的DC模式、水平模式或垂直模式时，才应用帧内梯度滤波器。当所选择的帧内预测模式为DC模式时，通过帧内梯度滤波器对当前块的第一行及第一列中的样本进行滤波。当所选择的帧内预测模式为水平模式时，通过帧内梯度滤波器对第一行中的样本进行滤波，并且如果所选择的帧内预测模式为垂直模式，则通过帧内梯度滤波器对第一列中的样本进行滤波。
MPM列表生成 在HEVC标准中支援的35个帧内预测模式中，三个帧内预测模式被视为用于预测当前块的当前帧内预测模式的最可能模式(MPM)。左侧相邻块和上方相邻块的相邻帧内预测模式被包括在三个MPM中。在两个相邻帧内预测模式是相同方向模式，或两个相邻帧内预测模式中仅有一个帧内预测模式可用且是方向模式的情况下，紧邻此方向模式的两个相邻方向也包含在三个MPM中。当左侧相邻或上方相邻帧内预测模式不是方向性的或当帧内预测中相邻块不可用或未编码时，DC模式和平面模式也被视为MPM。用信号发送第一MPM标志以指示当前帧内预测模式是否与三个MPM中的一个MPM相同，如果相同，则发送另一标志以指示选择了三个MPM中的哪个MPM；如果第一MPM标志为假，则当前帧内预测模式为非MPM模式，并且使用5位元固定长度代码字来显式地用信号发送当前帧内预测模式。
图1所示的33个角度模式可以扩展到具有更多或更少角度模式的一般情况，其中各个角度模式可以由模式H+k或模式V+k表示，其中H表示水平模式的方向，V表示垂直模式的方向，并且k＝0、+-1、+-2、…+-K。图4中示出了用于帧内预测的65个角度模式的示例，其中k的范围从-16到16。模式H-16和模式V-16是相同的模式，其中该模式是指从当前块的左上角到中心的预测方向。图4例示出了65个角度帧内预测模式，其中在HEVC的原始33个角度模式之间具有额外的32个角度模式。图4中的65个角度模式包括在块的左边界处从底部到顶部的模式H+16到H-15和在块的顶部边界处从左到右的模式V-16到V+16。这些更密集的方向帧内预测模式可以应用于所有块尺寸并且用于亮度分量和色度分量两者。
在最近的发展中，具有6个MPM的帧内模式编码方法考虑了与两个相邻块(具有模式A的左侧块和具有模式B的上方相邻块)相关联的两个可用的相邻帧内预测模式。通过考虑以下三个方面来构造MPM列表：预设帧内预测模式、相邻帧内预测模式和派生帧内预测模式。6个MPM列表生成处理开始于将默认MPM列表初始化为{A，平面(0)或DC(1)，垂直(50)，水平(18)，VER-4(46))，VER+4(54))}。在两个相邻模式A和B相同并且A大于DC(1)模式的情况下，MPM清单包括三个预设模式{A，平面(0)，DC(1)}和三个派生模式。通过将预定义的偏移值加到相邻模式并执行模运算来获得三个派生模式。在两个相邻模式不同的情况下，两个相邻模式被分配给MPM清单中的前两个MPM，而剩余四个MPM是从预设模式和相邻模式派生的。在6个MPM列表产生处理期间，使用修剪来移除重复的模式，使得在MPM清单中仅包括唯一模式。对于61个非MPM模式的熵编码，使用截断二进位码(TBC)。
用于非方形块的宽角(wide-angle)帧内预测将若干常规角度帧内预测模式自我调整地替换为用于非方形块的宽角帧内预测(WAIP)模式。常规角度帧内预测方向被定义为按顺时针方向从45度到-135度。在最近的发展中，通过将原始模式索引用于发送信号来将一些原始模式替换为WAIP模式，在解析后WAIP模式的实际索引被重新映射，从而使帧内预测模式的总数不变，并且帧内模式编码方法也保持不变。为了支援这些WAIP模式，在图5A和图5B中定义了具有长度2W+1的顶部参考和具有长度2H+1的左侧参考。在图5A中，当前块52可以通过具有角度大于模式2的角度的左侧参考样本预测，在图5B中，当前块54可以通过具有角度大于模式66的角度的顶部参考样本来预测。宽角方向模式中被替换的模式的数量取决于块的纵横比。表1中例示出了替换后的帧内预测模式。
表1.由宽角模式替换的帧内预测模式
Figure GDA0003319733820000051
Figure GDA0003319733820000061
图6例示出在通过宽角帧内预测进行预测的当前块中由两个垂直相邻的预测样本参考的参考样本的不连续性的示例。由两个垂直相邻的预测样本62和64参考的两个参考样本66和68之间的间隔大于1个样本。低通参考样本滤波器和侧平滑被应用于宽角帧内预测，以减小两个参考样本66和68之间的增加的间隙Δpα的负面影响，其中α小于45度。
模式相关的帧内平滑在HEVC标准中，一旦决定了方向预测模式，除了平面模式和DC模式之外，使用两抽头线性插值滤波器(two-tap linear interpolation filter)来根据方向预测模式生成帧内预测块。四抽头帧内插值滤波器(four-tap linearinterpolation filter)被证明是进一步提高了方向帧内预测的精度。例如，简化的6位元四抽头高斯插值滤波器(6-bit four-tap Gaussian interpolation filter)用于方向帧内预测模式，而非方向帧内预测处理并未被修改。在即将到来的视频编码标准通用视频编码(VVC)的开发中，根据用于提供非分数位移的方向帧内预测模式的模式相关的帧内平滑(Mode Dependent Intra Smoothing,MDIS)状况来确定被应用于参考样本的帧内平滑滤波器的选择。
通过采用MDIS，取决于帧内预测模式来执行帧内预测中的参考样本处理。方向帧内预测模式首先被分类为以下三组中的一组：A、垂直模式(VER_IDX)或水平模式(HOR_IDX)；B、表示角度等于45度倍数的对角模式(即2、DIA_IDX、VDIA_IDX)；以及C、其余的方向模式。如果方向帧内预测模式被分类为属于A组，则不会将滤波器应用于参考样本以生成预测样本。如果帧内预测模式被分类为属于B组，则将[1,2,1]参考样本滤波器自我调整地应用于参考样本，以将这些滤波后的值进一步复制到帧内预测器。不将插值滤波器应用于属于B组的任何模式。否则，如果帧内预测模式被分类为属于C组，则仅将插值滤波器应用于参考样本，以根据所选择的方向生成落入参考样本之间的分数或整数位置的预测样本。当将帧内参考样本插值滤波器应用于参考样本时，不执行参考样本滤波。实际上，将值minDistVerhor计算为当前模式减去50的绝对值与当前模式减去18的绝对值之间的最小值，minDistVerhor＝min(abs(predModeIntra-50),abs(predModeIntra-18))。如果minDistVerDistHor大于表2中定义的阈值IntraHorVerDistThres，或者如果当前模式是WAIP模式，则应用高斯插值滤波器来计算帧内预测样本。否则，应用DCT-IF插值滤波器来计算帧内预测样本。
表2.各种变换块尺寸的阈值
Figure GDA0003319733820000071
位置相关的帧内预测组合在即将到来的视频编码标准VVC的最新发展中，通过位置相关的帧内预测组合(PDPC)方法进一步修改平面模式的帧内预测的预测结果。PDPC方法是一种帧内预测方法，其调用未滤波的边界参考样本和具有滤波的边界参考样本的HEVC样式的帧内预测的组合。PDPC应用于平面模式、DC模式、水平模式、垂直模式、左下角度模式及其八个相邻角度模式，以及右上角度模式及其八个相邻角度模式，而无需发送信号。根据PDPC方法，根据以下等式使用帧内预测模式和参考样本的线性组合来预测预测样本pred(x，y)：
pred(x，y)＝(wL×R(-1，y)+wT×R(x，-1)-wTL×R(-1，1)+(64-wL-wT+wTL)×pred(x，y)+32)＞＞6等式(5)
其中R(x，-1)、R(-1，y)分别表示位于当前样本(x，y)的顶部和左侧的参考样本，而R(-1，-1)表示位于当前块的左上角的参考样本。
如果PDPC方法应用于DC模式、平面模式、水平模式和垂直模式，则不需要附加的边界滤波器。图7A、图7B、图7C和图7D例示出了应用于各种预测模式的PDPC的参考样本74a、74b、74c或74d的定义。预测样本pred(x′，y′)位于预测块72a、72b、72c或72d内的(x′，y′)处。图7A例示出了应用于对角右上模式的PDPC所使用的样本，图7B例示出了应用于对角左下模式的PDPC所使用的样本，图7C例示出了应用于相邻对角右上模式的PDPC所使用的样本，并且图7D例示出了应用于相邻对角左下模式的PDPC所使用的样本。在示例中，对于对角模式，参考样本R(x，-1)的座标x由等式x＝x′+y′+1给出，并且参考样本R(-1，y)的座标类似地由等式y＝x′+y′+1给出。对于其它角度模式，参考样本R(x，-1)和R(-1，y)位于分数样本位置。在这种情况下，使用最近整数样本位置的样本值。PDPC权重取决于预测模式且示出在表3中。
表3.根据预测模式的PDPC权重
Figure GDA0003319733820000081
Figure GDA0003319733820000091
发明内容
公开了一种用于在视频编解码系统中处理通过帧内预测编码或要通过帧内预测编码的视频数据的视频编码或解码的方法和装置。视频编解码系统的实施方式接收与当前图片中的当前块相关联的输入数据。视频编解码系统确定当前块的帧内预测模式，然后根据帧内预测模式确定当前块的参考样本。根据当前块的帧内预测模式和块尺寸，从高斯插值滤波器和另选插值滤波器中确定用于当前块的帧内参考样本滤波器。在高斯插值滤波器与另选插值滤波器之间的确定取决于通过帧内预测模式计算的模式差值与尺寸相关阈值的比较。对于块尺寸小于或等于32个样本的块，或者对于4×4、4×8和8×4的块，尺寸相关阈值被设定为等于或大于24。将帧内参考样本滤波器应用于当前块的参考样本，以产生当前块的帧内预测器，并且帧内预测器被用于对当前块进行编码或解码。
在一些实施方式中，通过帧内预测模式计算的模式差值是帧内预测模式与水平模式之间的绝对模式数差和帧内预测模式与垂直模式之间的绝对模式数差中的最小值。水平模式数为18，并且垂直模式数为50。当通过当前帧内预测模式计算的模式差值大于尺寸相关阈值时，选择高斯插值滤波器用于当前块，并且当通过当前帧内预测模式计算的模式差值小于或等于尺寸相关阈值时，选择另选插值滤波器。根据帧内预测模式，从当前块的相邻重构样本确定当前块的参考样本。
在一些实施方式中，根据变数nTbS确定当前块的尺寸相关阈值，并且将变数nTbS定义为当前块的宽度取Log2加上当前块的高度取Log2之后移位1。根据优选实施方式，当变数nTbS等于2时，当前块的尺寸相关阈值等于24。在该实施方式中，当变数nTbS等于3时，尺寸相关阈值等于14，当变数nTbS等于4时，尺寸相关阈值等于2，并且当变数nTbS等于或大于5时，尺寸相关阈值等于0。
另选插值滤波器可以是Cubic或DCT-IF插值滤波器。当前块的帧内预测模式是常规(regular)方向帧内预测模式或宽角帧内预测模式。当前块是亮度CB，并且块尺寸对当前块中的亮度样本的数量进行计数。
在一些示例性实施方式中，当块尺寸大于32个样本时并且当当前块的帧内预测模式是预定义模式时，确定[1 2 1]参考样本平滑滤波器用于当前块。例如，预定义模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者或组合。
如果当前块的帧内预测模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者，则处理方法的一些实施方式将不选择高斯插值滤波器用于对参考样本进行滤波。
如果帧内预测模式是垂直模式或水平模式，或者如果根据一些实施方式确定[1 21]参考样本平滑滤波器，则选择另选插值滤波器用于当前块，并且另选插值滤波器是具有系数[0 64 0 0]的DCT-IF滤波器。在另一实施方式中，如果帧内预测模式是垂直模式或水平模式，则不将滤波器应用于当前块的参考样本。
根据实施方式，如果块尺寸是4×4、4×8或8×4并且帧内预测模式是模式2、模式34或模式66，或者如果块尺寸是4×8并且帧内预测模式是模式-6，或者如果块尺寸是8×4并且帧内预测模式是模式72，则不选择[1 2 1]参考样本平滑滤波器用于当前块。
根据实施方式，如果块尺寸大于32个样本，则仅选择[1 2 1]参考样本平滑滤波器和高斯插值滤波器用于当前块。所述另选插值滤波器是DCT-IF插值滤波器，且如果所述块尺寸为4×4、4×8或8×4或所述块尺寸小于或等于32个样本，则总是选择DCT-IF插值滤波器用于当前块。
本公开的各方面还提供了一种视频编码系统中的装置，用于接收与通过帧内预测编码或要通过帧内预测编码的当前块相关联的输入数据，相应地确定当前块的帧内预测模式和参考样本，根据当前块的帧内预测模式和块尺寸从高斯插值滤波器和另选插值滤波器确定帧内参考样本滤波器，将帧内参考样本滤波器应用于参考样本以生成当前块的帧内预测器，以及基于帧内预测器对当前块进行编码或解码。高斯插值滤波器与另选插值滤波器之间的选择取决于通过帧内预测模式计算的模式差值与尺寸相关阈值的比较。对于块尺寸小于或等于32个样本的块，尺寸相关阈值被设定为等于或大于24。
本发明的各方面进一步提供一种存储程式指令的非暂时性电脑可读介质，所述程式指令使装置的处理电路通过利用根据当前块的帧内预测模式和块尺寸而选择的帧内参考样本滤波器进行帧内预测来对所述当前块的视频数据进行编码或解码。通过阅读下面对具体实施例的描述，本发明的其他方面和特征对于本领域普通技术人员将变得显而易见。
附图说明
参考图式，提出多种实施例作为举例说明，其中相同的代码指示相同的元件。
图1示例出了HEVC标准中支援的33个角度帧内预测模式。
图2例示出了由帧内平滑滤波器滤波的用于汇出当前块的帧内预测器的示例性参考样本。
图3A例示出了帧内预测中将帧内梯度滤波应用于通过垂直模式预测的预测器。
图3B例示出了帧内预测中将帧内梯度滤波应用于通过角度模式预测的预测器。
图4例示出了65个角度帧内预测模式的示例。
图5A和图5B例示出了应用于两个示例矩形块的宽角帧内预测的参考样本。
图6例示出了在宽角帧内预测的示例中的参考样本的不连续性。
图7A至图7D例示出了应用于对角右上模式、对角左下模式、相邻对角右上模式和相邻对角左下模式的位置相关的帧内预测组合(PDPC)的参考样本的定义。
图8例示出了根据本发明的实施方式的示例性方法的流程图。
图9例示出了根据本发明的实施方式的结合了视频处理方法的视频编码系统的示例性系统框图。
图10例示出了根据本发明的实施方式的结合了视频处理方法的视频解码系统的示例性系统框图。
具体实施方式
容易理解，如在本文的附图中一般性描述和例示出的，本发明的模组和部件可以以各种不同的配置来设置和设计。因此，如附图中所表示的，本发明的系统和方法的实施方式的下述更详细描述并非旨在限制所要求保护的本发明的范围，而仅是表示本发明的所选实施方式。
在整个说明书中，对"实施方式"、"一些实施方式"或类似语言的引用意味着结合实施方式描述的特定特征、结构或特性可以包括在本发明的至少一个实施方式中。因此，在整个说明书中的各个地方出现的短语"在实施方式中"或"在一些实施方式中"不一定全部指同一实施方式，这些实施方式可以单独地或结合一个或更多个其它实施方式来实现。此外，所描述的特征、结构或特性可以以任何合适的方式组合在一个或更多个实施方式中。然而，相关领域的技术人员将认识到，可以在没有一个或更多个特定细节的情况下，或者利用其它方法、部件等来实践本发明。在其它示例中，没有详细示出或描述公知的结构或操作，以避免模糊本发明的各方面。
将WAIP模式作为常规方向帧内模式，以用于插值滤波器选择如前所述，将低通参考样本滤波器和侧平滑滤波器应用于宽角帧内预测(WAIP)模式，以减少两个参考样本之间的增加的间隙的负面影响。本发明的一些实施方式对WAIP模式进行与常规方向帧内预测模式相同的处理，以在帧内预测处理中选择插值滤波器。无论当前帧内预测模式是WAIP模式还是常规方向帧内预测模式，始终使用模式相关的帧内平滑(MDIS)插值滤波器选择条件进行确定。MDIS插值滤波器选择条件检查值minDistVerHor是否大于阈值。通过当前帧内预测模式与水平模式之间的绝对模式数差和当前帧内预测模式与垂直模式之间的绝对模式数差中的最小值来计算值minDistVerHor。如果MDIS插值滤波器选择条件的检查为真，则选择高斯插值滤波器用于当前块；否则选择另选插值滤波器。另选插值滤波器的一些示例包括Cubic插值滤波器和DCT-IF插值滤波器。
基于块尺寸和帧内预测模式确定帧内平滑滤波器使用当前块的一个或更多个彩色分量的相邻重构样本作为参考样本，以用于预测在帧内预测中编码的当前块。本发明的实施方式改进了帧内预测中的MDIS的设计。在一些示例性实施方式中，基于多次检查，在[12 1]参考样本平滑滤波器、高斯插值滤波器和DCT-IF插值滤波器中确定一种类型的帧内参考样本滤波器用于各个帧内编码块。当满足预定义条件时，将[1 2 1]参考样本平滑滤波器应用于当前块的重构边界样本。举例来说，当前块为亮度编码块(CB)。选择[1 2 1]参考样本平滑滤波器的预定义条件的实施方式是：在当前亮度CB的尺寸大于32个亮度样本并且当前帧内预测模式为预定义模式中的一者时。例如，预定义模式包括模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80以及平面模式中的一者或组合。预定义条件的另一实施方式是：当前帧内预测模式是具有45度倍数的角度的对角模式(例如模式2、模式34或模式66)中的一者。如图4所示，模式-14、模式-12、模式-10、模式-6、模式72、模式76、模式78和模式80是各种宽角方向模式，并且模式2、模式34和模式66是表示45度倍数的角度的对角模式。在一个实施方式中，当选择[1 2 1]参考样本平滑滤波器用于当前块时，使用具有系数[0 64 0 0]的DCT-IF滤波器来对当前块的参考样本进行滤波。
如果未选择[1 2 1]参考样本平滑滤波器，则将高斯插值滤波器有条件地应用于当前块，以根据当前块的帧内预测模式生成帧内预测器。在一个实施方式中，当以下两个条件都为真时，应用高斯插值滤波器。当当前帧内预测模式不是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的任何一者时，第一条件为真。当当前帧内预测模式与水平模式之间的绝对模式数差和当前帧内预测模式与垂直模式之间的绝对模式数差的最小值(即，minDisVerHor)大于尺寸相关阈值时，第二条件为真。垂直预测模式数为50且水平预测模式数为18。将模式差值minDistVerHor计算为当前模式减去50的绝对值与当前模式减去18的绝对值之间的最小值。用于汇出值minDistVerHor的等式为：minDistVerHor＝min(abs(predModeIntra-50),abs(predModeIntra-18))。在另一实施方式中，无论当前帧内预测模式是WAIP模式还是常规方向帧内预测模式，当模式差值minDisVerHor大于尺寸相关阈值时，应用高斯插值滤波器。在本发明的一些实施方式中，当当前块的变数nTbS等于2时，当前块的尺寸相关阈值IntraHorVerDistThres等于24，其中变数nTbS被定义为：Log2(块宽度)+Log2(块高度)>>1。换句话说，当当前块的块尺寸为4×4、4×8或8×4个样本时(意味着当当前块的块面积小于或等于32个样本时)，当前块的尺寸相关阈值IntraHorVerDistThres等于24。在一个实施方式中，当变数nTbS等于3时，阈值IntraHorVerDistThres等于14，并且当变数nTbS等于4时，阈值IntraHorVerDistThres等于2。在此实施方式中，当变数nTbS等于5、6或7时，尺寸相关阈值IntraHorVerDistThres等于0。当块尺寸等于或大于1024个样本(即，32×32、16×16或64×16)时，当前块的变数nTbS等于或大于5。即，如果当前块的参考样本没有被[1 2 1]参考样本平滑滤波器滤波，则高斯插值滤波器被应用于具有等于或大于32×32、16×64或64×16个样本尺寸的当前块，并且被通过除了垂直模式和水平模式之外的方向帧内预测模式编码。举例来说，对于大于1024个样本且具有不等于平面模式、垂直模式、水平模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78或模式80的帧内预测模式的块，将高斯插值滤波器应用于相邻重构样本。否则，对使用方向帧内预测模式编码的任何块的相邻重构样本应用DCT-IF插值滤波器。
与常规协定相比，在本申请的实施方式中，尺寸相关阈值IntraHorVerDistThres的设定已改变。例如，针对等于2的nTbS，尺寸相关阈值IntraHorVerDistThres变为24。针对等于2的nTbS，增加尺寸相关阈值IntraHorVerDistThres导致增大了针对小块使用DCT-IF插值滤波器的概率。这反映了本申请的一些重要概念。针对小块的强帧内插值滤波器(例如高斯滤波器)的需求不如针对较大块的多。因此，根据此需要保护申请的实施方式，简化针对小块在插值滤波器的选择方法以降低小块的帧内预测模式的运算/设计复杂度，其中高斯插值滤波器比DCT-IF插值滤波器要使用多得多的复杂性和资源用于编码/解码处理。在针对变数nTbS等于2的块或针对尺寸等于4×4、4×8或8×4个样本的块，将尺寸相关阈值IntraHorVerDistThres设定为等于24的实施方式中，当帧内预测模式为模式-6与模式74之间的任何模式时，值minDistVerHor小于或等于24。因此，将DCT-IF插值滤波器应用于通过模式-6与模式74之间的任何模式编码的所有4×4、4×8及8×4块。仅将高斯插值滤波器应用于通过模式-14与模式-7之间的任何模式或模式75到模式80之间的任何模式编码的4×4、4×8及8×4块。在另一实施方式中，将针对等于2的nTbS的阈值IntraHorVerDistThres设定为等于或大于24。在一些其它实施方式中，将针对等于2的nTbS的阈值IntraHorVerDistThres设定为17、18、19、21或22，因此，将DCT-IF插值滤波器用于由对应于分别小于或等于17、18、19、21或22的值MinDistVerHor的模式编码的4×4、4×8及8×4块。举例来说，当针对等于2的nTbS的阈值IntraHorVerDistThres设定为21时，将DCT-IF插值滤波器用于具有小于或等于32个样本的块面积的小块并且通过模式-3与模式71之间的任何模式编码，否则，选择高斯插值滤波器用于所述小块。
由于通过垂直模式(模式50)或水平模式(模式18)编码的当前块对应于minDistVerhor＝0，所以总是选择另选滤波器(例如DCT-IF滤波器)，而不管当前块的尺寸如何。根据一个实施方式，使用具有系数[0 64 0 0]的DCT-IF滤波器来对通过垂直或水平帧内预测模式编码的帧内编码块的相邻重构样本进行滤波。在另一实施方式中，编码器或解码器不需要在帧内参考样本滤波器当中针对通过垂直模式(模式50)和水平模式(模式18)编码的块选择滤波器，因为这些块的相邻重构样本在帧内预测中未被滤波。
下面描述用于确定[1 2 1]参考样本平滑滤波器的预定义条件的一个实施方式。如果当前块尺寸是4×4、4×8或8×4个样本并且所应用的帧内预测模式是模式2、模式34或模式66，则不将[1 2 1]参考样本平滑滤波器应用至当前块(例如，排除[1 2 1]参考样本平滑滤波器)；如果当前块尺寸是4×8个样本并且所应用的帧内预测模式是模式-6，则不将[12 1]参考样本平滑滤波器应用至当前块(例如，排除[1 2 1]参考样本平滑滤波器)；并且如果当前块尺寸是8×4个样本并且所应用的帧内预测模式是模式72，则不将[1 2 1]参考样本平滑滤波器应用至当前块。对于其他块尺寸，可以根据当前块的帧内预测模式将[1 2 1]参考样本滤波选择性地/有条件地应用于当前块。
针对小块的DCT-IF插值滤波器在本发明的一些实施方式中，[1 2 1]参考样本平滑滤波器或高斯插值滤波器仅应用于块尺寸大于32个样本的块，因此当块尺寸是4×4、4×8或8×4时或当块面积小于或等于32个样本时，不将[1 2 1]参考样本平滑滤波器或高斯插值滤波器应用于当前块。当块尺寸是4×4、4×8或8×4个样本时或当块面积小于或等于32个样本时，将DCT-IF插值滤波器应用于当前块。在本实施方式中，对于尺寸大于4×4、4×8或8×4个样本或面积大于32个样本的块，当满足根据当前块的帧内预测模式或根据当前块的帧内预测模式和块尺寸两者的标准时，应用[1 2 1]参考样本平滑滤波器。例如，根据一个实施方式，当帧内预测模式是诸如模式2、模式34或模式66的对角模式时，将[1 2 1]参考样本平滑滤波器应用于当前块的参考样本。在另选实施方式中，当帧内预测模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者时，将[1 2 1]参考样本平滑滤波器应用于当前块的参考样本。
简化位置相关的帧内预测组合在将位置相关的帧内预测组合(PDPC)应用于当前预测样本的一些实施方式中，PDPC中使用的相邻参考样本来自未滤波样本，且PDPC中使用的预测样本由插值滤波器来插值。在一个实施方式中，PDPC的相邻参考样本R(x，-1)、R(-1，y)和R(-1，-1)是未进行参考样本滤波的帧内参考样本。此外，通过插值滤波器对预测样本pred(x，y)进行插值。在另一实施方式中，如果PDPC的相邻参考样本R(x，-1)、R(-1，y)和R(-1，-1)是未进行参考样本滤波的帧内参考样本，并且预测样本pred(x，y)也没有被插值滤波器插值，则对于当前帧内预测模式，PDPC是禁用的。在一个实施方式中，仅允许将PDPC用于面积大于S的块，以最小化较小块的等待时间(latency)。例如，S是32、64或128个样本。在另一实施方式中，在仅允许对面积大于S的块应用参考平滑滤波器或参考样本插值的情况下，也仅允许将PDPC用于面积大于S的块。S的一些示例是32、64和128个样本。在又一实施方式中，当应用PDPC时，仅在帧内预测模式不是DC模式、平面模式、水平模式和垂直模式中的一者的情况下，PDPC的相邻参考样本R(x，-1)、R(-1，y)和R(-1，-1)是未进行参考样本滤波的帧内参考样本，并且预测样本pred(x，y)由插值滤波器插值。
在另一实施方式中，如果当前帧内预测模式属于表示45度倍数的角度的模式，则不使用[1 2 1]参考样本平滑滤波器。相反，应用高斯插值滤波器来生成帧内预测样本。换句话说，除了DC模式、平面模式、水平模式和垂直模式之外，当应用PDPC时，不对相邻参考样本R(x，-1)、R(-1，y)和R(-1，-1)通过参考样本滤波进行处理，而是由插值滤波器对预测样本pred(x，y)进行插值。在一个实施方式中，对于具有PDPC的平面模式，不对相邻参考样本R(x，-1)、R(-1，y)和R(-1，-1)通过参考样本滤波进行处理，并且未滤波的相邻参考样本和预测样本pred(x，y)被用于PDPC。在另一个实施方式中，对于具有PDPC的平面模式，未滤波的参考样本R(x，-1)、R(-1，y)和R(-1，-1)被用于PDPC，但是在应用PDPC之前，通过使用滤波的相邻参考样本来生成预测样本pred(x，y)。
代表性流程图图8是例示出根据本发明的实施方式的用于处理通过帧内预测编码或要通过帧内预测编码的当前块的视频处理方法的流程图。在步骤S802中，视频编码器或解码器接收当前图片中的当前块的输入数据。在步骤S804和步骤S806中，视频编码器或解码器确定当前块的帧内预测模式，并根据帧内预测模式确定当前块的参考样本。在步骤S808中，视频编码器或解码器根据当前块的帧内预测模式和块尺寸中的一者或两者检查是否满足当前块的预定义条件。例如，当块尺寸大于32个样本时，以及当帧内预测模式为平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者时，满足预定义条件。如果满足预定义条件，则在步骤S810中，确定/选择将[1 2 1]参考样本平滑滤波器用于当前块，否则，在步骤S812中，视频编码器或解码器检查通过帧内预测模式计算的模式差值是否大于尺寸相关阈值。通过帧内预测模式计算的模式差值minDistVerhor的示例为水平模式的模式数差与垂直模式的模式数差之间的最小值，即minDistVerhor＝min(abs(predModeIntra-50),abs(predModeIntra-18)，本文中50表示模式50，并且18表示模式18。针对块尺寸小于或等于32个样本的块，将尺寸相关阈值设定为等于24。如果通过帧内预测模式计算的模式差值大于尺寸相关阈值，则在步骤S814中确定/选择高斯插值滤波器用于当前块；否则，如果通过帧内预测模式计算的值小于或等于尺寸相关阈值，则在步骤S816中确定另选插值滤波器用于当前块。另选插值滤波器的一些示例为Cubic和DCT-IF插值滤波器。然后在步骤S818中，将上文所确定的帧内参考样本滤波器应用于当前块的参考样本，以产生当前块的帧内预测器。在步骤S820中，视频编码器或解码器基于帧内预测器对视频图片中的当前块进行编码或解码。
代表性框图图9例示出了实现本发明的一个或更多个视频处理方法的视频编码器900的示例性系统框图。将根据相邻重构样本通过帧内预测对当前块进行编码。帧内预测模组910确定当前块的帧内预测模式，然后根据帧内预测模式确定当前块的参考样本。帧内预测模组910根据当前块的帧内预测模式和块尺寸从高斯插值滤波器和DCT-IF插值滤波器确定帧内参考样本滤波器。高斯插值滤波器和DCT-IF插值滤波器之间的确定或选择取决于通过帧内预测模式计算的值与尺寸相关阈值的比较，并且对于块尺寸小于或等于32个样本的块，尺寸相关阈值被设定为等于或大于24。帧内预测模组910通过将帧内参考样本滤波器应用于当前块的参考样本来生成帧内预测器。帧间预测模组912执行运动估计(ME)和运动补偿(MC)，以基于来自其它一个或多个图片的视频数据来提供帧间预测器。帧内预测模组910或帧间预测模组912将所选择的预测器提供给加法器模组916，以形成预测误差(也称为预测残差)。由于当前块是通过帧内预测编码的，因此帧内预测模组910将当前块的帧内预测器发送到加法器模组916以产生当前块的预测残差。
当前块的预测残差由变换模组(T)918接着由量化模组(Q)920进一步处理。然后，熵编码器934对变换后和量化后的残差信号进行编码，以形成编码视频位元流。然后，编码视频位元流与辅助资讯一起封装。由逆量化模组(IQ)922和逆变换模组(IT)924处理当前块的变换后和量化后的残差信号，以恢复预测残差。如图9所示，通过在重构模组(REC)926处将其加回到所选择的预测器来恢复预测残差，以产生重构样本。重构样本可以存储在参考图片缓冲器(Ref.Pict.Buffer)932中，并用于预测其它图片。来自REC926的重构样本可能由于编码处理而受到各种损伤，因此，在将重构样本存储在参考图片缓冲器932中之前，对重构样本应用环内处理去块滤波器(DF)928和环内滤波器930，以进一步增强图片品质。与环内处理DF928和环内滤波器930的资讯相关联的语法被提供给熵编码器934，以结合到编码视频位元流中。
图10示出了与图9的视频编码器900相对应的视频解码器1000，编码的视频位元流是视频解码器1000的输入，并由熵解码器1010解码，以解析和恢复变换后和量化后的残差信号和其它系统资讯。除了解码器1000仅需要帧间预测模组1014中的运动补偿预测之外，解码器1000的解码处理类似于编码器900处的重构回圈。各个块由帧内预测模组1012或帧间预测模组1014解码。切换模组1016根据解码的模式资讯选择来自帧内预测模组1012的帧内预测器或来自帧间预测模组1014的帧间预测器。根据本发明的实施方式，帧内预测模组1012对当前块的帧内预测模式进行解码，并根据帧内预测模式确定当前块的参考样本。根据当前块的帧内预测模式和块尺寸，从高斯插值滤波器和DCT-IF插值滤波器中确定帧内参考样本滤波器用于当前块。将通过帧内预测模式计算的模式差值与尺寸相关阈值进行比较，如果通过帧内预测模式计算的模式差值大于尺寸相关阈值，则选择高斯插值滤波器用于当前块，否则选择DCT-IF插值滤波器。帧内预测模组1012将帧内参考样本滤波器应用于当前块的参考样本，以产生当前块的帧内预测器。与各个块相关联的变换后和量化后的残差信号由逆量化模组(IQ)1020和逆变换模组(IT)1022恢复。通过在REC模组1018中加回预测器来重构经恢复的变换后和量化后的残差信号，以产生重构样本。重构样本进一步由DF1024和环内滤波器1026处理，以生成最终解码视频。如果当前解码图片是参考图片，则根据解码顺序，当前解码图片的重构样本也被存储在参考图片缓冲器1028中以用于后续图片。
图9中的视频编码器900和图10中的视频解码器1000的各种部件可由硬体部件、经配置以执行存储在记忆体中的程式指令的一个或更多个处理器、或硬体与处理器的组合来实现。例如，处理器执行程式指令以控制在多个参考样本滤波器中选择滤波器用于各个帧内编码块。处理器配备有单个或多个处理核。在一些示例中，处理器执行程式指令以执行编码器900和解码器1000中的一些部件中的功能，并且与处理器电联接的记忆体被用于存储程式指令、与块的重构图像相对应的资讯和/或编码或解码处理期间的中间数据。在一些实施方式中，记忆体包括非暂时性电脑可读介质，诸如半导体或固态记忆体、随机存取记忆体(RAM)、唯读记忆体(ROM)、硬碟、光碟或其它合适的存储介质。记忆体还可以是上面列出的非暂时性电脑可读介质中的两者或更多者的组合。如图9和图10所示，编码器900和解码器1000可以在同一电子设备中实现，因此如果在同一电子设备中实现，则编码器900和解码器1000的各种功能部件可以被共用或重复使用。例如，图9中的重构模组926、逆变换模组924、逆量化模组922、去块滤波器928、环内滤波器930和参考图片缓冲器932中的一者或更多者还可以分别用作图10中的重构模组1018、逆变换模组1022、逆量化模组1020、去块滤波器1024、环内滤波器1026和参考图片缓冲器1028。
编码视频编码系统的处理方法的实施方式可以在集成到视频压缩晶片中的电路中或者集成到视频压缩软体中的程式码中实现，以执行上述处理。例如，可以在电脑处理器、数位讯号处理器(DSP)、微处理器或现场可程式设计闸阵列(FPGA)上执行的程式码中实现在多个参考样本滤波器中选择滤波器用于各个帧内编码块。这些处理器可以被配置为通过执行定义了本发明所体现的特定方法的机器可读软体代码或固件代码来执行根据本发明的特定任务。
本发明可以以其它特定形式实施而不脱离其精神或本质特征。所描述的示例在所有方面都应被认为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非由前文描述来指示。在权利要求的等效含义和范围内的所有改变都将包含在所述权利要求的范围内。

Claims (18)

1.一种在视频编解码系统中对视频数据进行视频处理的方法，所述方法包括以下步骤：
接收与在视频图片中通过帧内预测编码或要通过帧内预测编码的当前块相关联的输入数据；
确定所述当前块的帧内预测模式；
根据所述当前块的所述帧内预测模式确定所述当前块的参考样本；
根据所述当前块的所述帧内预测模式和块尺寸，从高斯插值滤波器和另选插值滤波器中确定帧内参考样本滤波器，其中，在所述高斯插值滤波器与所述另选插值滤波器之间的所述确定取决于通过所述帧内预测模式计算的模式差值与尺寸相关阈值的比较，其中，对于块尺寸小于或等于32个样本的块，所述尺寸相关阈值被设定为等于或大于24；
将所述帧内参考样本滤波器应用于所述当前块的所述参考样本，以产生所述当前块的帧内预测器；以及
基于所述帧内预测器对所述视频图片中的所述当前块进行编码或解码。
2.根据权利要求1所述的视频处理的方法，其特征在于，通过所述帧内预测模式计算的所述模式差值是所述帧内预测模式与水平模式之间的绝对模式数差和所述帧内预测模式与垂直模式之间的绝对模式数差中的最小值。
3.根据权利要求2所述的视频处理的方法，其特征在于，当通过所述当前块的所述帧内预测模式计算的所述模式差值大于所述尺寸相关阈值时，确定要应用所述高斯插值滤波器，并且当通过所述当前块的所述帧内预测模式计算的所述模式差值小于或等于所述尺寸相关阈值时，确定要应用所述另选插值滤波器。
4.根据权利要求1所述的视频处理的方法，其特征在于，根据所述当前块的相邻重构样本确定所述当前块的所述参考样本。
5.根据权利要求1所述的视频处理的方法，其特征在于，根据变数nTbS确定所述尺寸相关阈值，并且将所述变数nTbS定义为所述当前块的宽度的Log2加上所述当前块的高度的Log2移位1：nTbS＝Log2(宽度)+Log2(高度)>>1。
6.根据权利要求5所述的视频处理的方法，其特征在于，当所述变数nTbS为2时，所述尺寸相关阈值等于24。
7.根据权利要求5所述的视频处理的方法，其特征在于，当所述变数nTbS为3时，所述尺寸相关阈值等于14；当所述变数nTbS为4时，所述尺寸相关阈值等于2；并且当所述变数nTbS等于或大于5时，所述尺寸相关阈值等于0。
8.根据权利要求1所述的视频处理的方法，其特征在于，所述另选插值滤波器是Cubic插值滤波器或DCT-IF插值滤波器。
9.根据权利要求1所述的视频处理的方法，其特征在于，所述当前块的所述帧内预测模式是常规方向帧内预测模式或宽角帧内预测模式。
10.根据权利要求1所述的视频处理的方法，其特征在于，所述当前块为亮度编码块(CB)，并且所述块尺寸对所述当前块中的亮度样本的数量进行计数。
11.根据权利要求1所述的视频处理的方法，其特征在于，所述方法还包括以下步骤：当所述块尺寸大于32个样本时并且当所述当前块的所述帧内预测模式是预定义模式时，确定[1 2 1]参考样本平滑滤波器用于所述当前块。
12.根据权利要求11所述的视频处理的方法，其特征在于，所述预定义模式是平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者或组合。
13.根据权利要求1所述的视频处理的方法，其特征在于，所述确定步骤包括：当所述当前块的所述帧内预测模式为平面模式、模式-14、模式-12、模式-10、模式-6、模式2、模式34、模式66、模式72、模式76、模式78和模式80中的一者时，排除所述高斯插值滤波器。
14.根据权利要求1所述的视频处理的方法，其特征在于，所述确定步骤包括：如果所述帧内预测模式为垂直模式或水平模式，确定所述另选插值滤波器用于所述当前块，并且所述另选插值滤波器为具有系数[0 64 0 0]的DCT-IF滤波器。
15.根据权利要求1所述的视频处理的方法，其特征在于，所述确定步骤包括：如果所述块尺寸为4×4、4×8或8×4并且所述帧内预测模式为模式2、模式34或模式66，或者如果所述块尺寸为4×8并且所述帧内预测模式为模式-6，或者如果所述块尺寸为8×4并且所述帧内预测模式为模式72，排除[1 2 1]参考样本平滑滤波器用于所述当前块。
16.根据权利要求1所述的视频处理的方法，其特征在于，所述确定步骤包括：如果所述块尺寸大于32个样本，则从针对所述当前块的[1 2 1]参考样本平滑滤波器和所述高斯插值滤波器中进行确定，其中，所述另选插值滤波器是DCT-IF插值滤波器，并且所述确定步骤包括：如果所述块尺寸小于或等于32个样本，则确定所述DCT-IF插值滤波器用于所述当前块。
17.一种执行视频处理的装置，所述装置包括：电脑处理器，所述电脑处理器被配置为接收视频数据；以及通过执行包括以下步骤的步骤来对在所述电脑处理器上能够执行的程式进行程式设计以用于视频编解码：
接收与视频图片中通过帧内预测编码或要通过帧内预测编码的当前块相关联的输入数据；
确定所述当前块的帧内预测模式；
根据所述当前块的所述帧内预测模式确定所述当前块的参考样本；
根据所述当前块的所述帧内预测模式和块尺寸，从高斯插值滤波器和另选插值滤波器中确定帧内参考样本滤波器，其中，在所述高斯插值滤波器与所述另选插值滤波器之间的所述确定取决于通过所述帧内预测模式计算的模式差值与尺寸相关阈值的比较，其中，对于块尺寸小于或等于32个样本的块，所述尺寸相关阈值被设定为等于或大于24；
将所述帧内参考样本滤波器应用于所述当前块的所述参考样本，以产生所述当前块的帧内预测器；以及
基于所述帧内预测器对所述视频图片中的所述当前块进行编码或解码。
18.一种存储程式指令的非暂时性电脑可读介质，所述程式指令使装置的处理电路执行视频数据的视频处理方法，并且所述方法包括以下步骤：
接收与视频图片中通过帧内预测编码或要通过帧内预测编码的当前块相关联的输入数据；
确定所述当前块的帧内预测模式；
根据所述当前块的所述帧内预测模式确定所述当前块的参考样本；
根据所述当前块的所述帧内预测模式和块尺寸，从高斯插值滤波器和另选插值滤波器中确定帧内参考样本滤波器，其中，在所述高斯插值滤波器与所述另选插值滤波器之间的所述确定取决于通过所述帧内预测模式计算的模式差值与尺寸相关阈值的比较，其中，对于块尺寸小于或等于32个样本的块，所述尺寸相关阈值被设定为等于或大于24；
将所述帧内参考样本滤波器应用于所述当前块的所述参考样本，以产生所述当前块的帧内预测器；以及
基于所述帧内预测器对所述视频图片中的所述当前块进行编码或解码。
CN202080031292.9A 2019-04-25 2020-04-22 编码或解码视频数据的方法和装置 Active CN113796086B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962838392P 2019-04-25 2019-04-25
US62/838,392 2019-04-25
US201962851136P 2019-05-22 2019-05-22
US62/851,136 2019-05-22
US201962862202P 2019-06-17 2019-06-17
US62/862,202 2019-06-17
PCT/CN2020/086170 WO2020216255A1 (en) 2019-04-25 2020-04-22 Method and apparatus of encoding or decoding with mode dependent intra smoothing filter in intra prediction

Publications (2)

Publication Number Publication Date
CN113796086A CN113796086A (zh) 2021-12-14
CN113796086B true CN113796086B (zh) 2023-06-06

Family

ID=72941537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080031292.9A Active CN113796086B (zh) 2019-04-25 2020-04-22 编码或解码视频数据的方法和装置

Country Status (5)

Country Link
US (1) US20220201286A1 (zh)
EP (1) EP3949424A4 (zh)
CN (1) CN113796086B (zh)
TW (1) TWI737274B (zh)
WO (1) WO2020216255A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119183A (zh) * 2016-04-29 2023-11-24 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
BR112021004679A2 (pt) * 2018-09-16 2021-06-01 Huawei Technologies Co., Ltd. método e aparelho para predição
US11671592B2 (en) * 2019-12-09 2023-06-06 Qualcomm Incorporated Position-dependent intra-prediction combination for angular intra-prediction modes for video coding
KR20230123949A (ko) * 2020-12-22 2023-08-24 퀄컴 인코포레이티드 인핸스드 보간 필터들을 사용한 인트라 예측
WO2023183366A1 (en) * 2022-03-22 2023-09-28 Beijing Dajia Internet Information Technology Co., Ltd. Planar mode improvement for intra prediction
WO2024153198A1 (en) * 2023-01-18 2024-07-25 Mediatek Inc. Methods and apparatus of fractional block vectors in intra block copy and intra template matching for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器
CN107743705A (zh) * 2015-06-18 2018-02-27 高通股份有限公司 帧内预测及帧内模式译码
CN109314782A (zh) * 2016-05-24 2019-02-05 夏普株式会社 用于帧内预测编码的系统和方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183041A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
US8693551B2 (en) * 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
WO2016182266A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 영상의 부호화, 복호화 방법 및 장치
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373782A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373742A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) * 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
WO2017184970A1 (en) * 2016-04-22 2017-10-26 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
CN116866553A (zh) * 2017-01-16 2023-10-10 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
EP3879826B1 (en) * 2017-05-31 2022-08-03 LG Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
WO2019004888A1 (en) * 2017-06-30 2019-01-03 Telefonaktiebolaget Lm Ericsson (Publ) ENCODING AND DECODING AN IMAGE BLOCK USING A CURVED INTRA-PREDICTION MODE
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US11418816B2 (en) * 2017-09-20 2022-08-16 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
WO2019083284A1 (ko) * 2017-10-24 2019-05-02 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
CN118301336A (zh) * 2017-11-16 2024-07-05 英迪股份有限公司 图像编码/解码方法以及存储比特流的记录介质
WO2019112394A1 (ko) * 2017-12-07 2019-06-13 한국전자통신연구원 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치
CN117834831A (zh) * 2018-01-16 2024-04-05 Vid拓展公司 用于360度视频译码的自适应帧封装
GB2571313B (en) * 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
CN111919446B (zh) * 2018-04-02 2022-10-28 夏普株式会社 解码视频图片中的当前视频块的方法
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
US10469845B1 (en) * 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器
CN107743705A (zh) * 2015-06-18 2018-02-27 高通股份有限公司 帧内预测及帧内模式译码
CN109314782A (zh) * 2016-05-24 2019-02-05 夏普株式会社 用于帧内预测编码的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FILIPPOV， ALEXEY ET AL.JVET-L0628 CE3: A combination of tests 3.1.2 and 3.1.4 for intra reference sample interpolation filter.JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO， MO.2018,全文. *

Also Published As

Publication number Publication date
TWI737274B (zh) 2021-08-21
US20220201286A1 (en) 2022-06-23
EP3949424A1 (en) 2022-02-09
EP3949424A4 (en) 2022-12-21
WO2020216255A1 (en) 2020-10-29
TW202044832A (zh) 2020-12-01
CN113796086A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN113796086B (zh) 编码或解码视频数据的方法和装置
KR102668077B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
CN108353171B (zh) 视频编码样本自适应滤波的方法和装置
US10887587B2 (en) Distance weighted bi-directional intra prediction
US11102474B2 (en) Devices and methods for intra prediction video coding based on a plurality of reference pixel values
KR102517389B1 (ko) 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩
CA2964642A1 (en) Method of improved directional intra prediction for video coding
TWI688266B (zh) 用於圖像和視訊編解碼的畫面內預測融合的方法和裝置
US11595657B2 (en) Inter prediction using polynomial model
TWI719612B (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
JP7551784B2 (ja) 符号化・復号方法、装置及びそのデバイス
US12081750B2 (en) Coding and decoding method and apparatus and devices therefor
WO2020259630A1 (en) Method and apparatus of matrix based intra prediction in image and video processing
US20220038688A1 (en) Method and Apparatus of Encoding or Decoding Using Reference Samples Determined by Predefined Criteria
US11477444B2 (en) Method and apparatus of encoding or decoding video data with intra prediction mode mapping
US20210185314A1 (en) Image decoding device, image coding device, image processing system, and program
CN113615202A (zh) 用于屏幕内容编解码的帧内预测的方法和装置
KR20120047821A (ko) 화면내 예측 부호화를 위한 디블록킹 필터링 방법
RU2827777C2 (ru) Способ, оборудование и устройства для кодирования и декодирования

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220505

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant