CN114286111A - 图像编码系统中基于帧内预测执行图像解码的方法和设备 - Google Patents

图像编码系统中基于帧内预测执行图像解码的方法和设备 Download PDF

Info

Publication number
CN114286111A
CN114286111A CN202111337844.1A CN202111337844A CN114286111A CN 114286111 A CN114286111 A CN 114286111A CN 202111337844 A CN202111337844 A CN 202111337844A CN 114286111 A CN114286111 A CN 114286111A
Authority
CN
China
Prior art keywords
current block
sample
intra prediction
prediction mode
target sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111337844.1A
Other languages
English (en)
Inventor
柳先美
李在镐
崔璋元
徐廷东
许镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114286111A publication Critical patent/CN114286111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

本发明涉及一种图像编码系统中基于帧内预测执行图像解码的方法和设备。根据本发明的解码设备执行图像解码的方法包括下述步骤:导出当前块的帧内预测模式;导出包括当前块的左邻近样本和上邻近样本的邻近样本;基于当前块的目标样本的位置和帧内预测模式的预测角度,导出邻近样本当中的用于预测目标样本的参考样本;确定目标样本的内插滤波器;以及基于内插滤波器和参考样本导出目标样本的预测样本。

Description

图像编码系统中基于帧内预测执行图像解码的方法和设备
本申请是2019年10月30日提交的、国际申请日为2018年1月5日的、申请号为201880028597.7(PCT/KR2018/000226)的,发明名称为“在图像编码系统中基于帧内预测执行图像解码的方法和设备”专利申请的分案申请。
技术领域
本公开涉及视频编译技术,并且更具体地,涉及在图像编译系统中基于帧内预测的视频解码方法和设备。
背景技术
对于诸如HD(高清晰度)图像和UHD(超高清)图像的高分辨率、高质量图像的需求在各个领域都在增加。因为图像数据具有高分辨率和高质量,所以要发送的信息量或比特量相对于传统图像数据增加。因此,当使用诸如传统有线/无线宽带线的媒介发送图像数据或者使用现有存储介质存储图像数据时,其传输成本和存储成本增加。
因此,需要一种用于有效地发送、存储和再现高分辨率和高质量图像的信息的高效图像压缩技术。
发明内容
技术问题
本公开提供一种用于增加图像编译效率的方法和设备。
本公开还提供一种用于为当前块中的目标样本选择内插滤波器的帧内预测方法和设备。
本公开还提供一种用于基于针对所选择的目标样本的内插滤波器来执行帧内预测的方法和设备。
技术方案
一方面,提供一种由解码设备执行的视频解码方法。该方法包括:导出当前块的帧内预测模式;导出包括当前块的左邻近样本和上邻近样本的邻近样本;基于目标样本的位置和帧内预测模式的预测角度,导出邻近样本当中的用于预测当前块的目标样本的参考样本;确定用于目标样本的内插滤波器;以及基于内插滤波器和参考样本导出目标样本的预测样本。
另一方面,提供一种用于执行图像解码的解码设备。该解码设备包括:熵解码器,该熵解码器获取用于当前块的预测信息;和预测器,该预测器导出当前块的帧内预测模式;导出包括当前块的左邻近样本和上邻近样本的邻近样本,基于当前块的目标样本的位置和帧内预测模式的预测角度,导出邻近样本当中的用于目标样本的预测的参考样本,确定用于目标样本的内插滤波器,并且基于内插滤波器和参考样本来导出目标样本的预测样本。
另一方面,提供一种由编码设备执行的视频编码方法。该方法包括:确定当前块的帧内预测模式;导出包括当前块的左邻近样本和上邻近样本的邻近样本;基于目标样本的位置和帧内预测模式的预测角度,导出邻近样本当中的用于预测当前块的目标样本的参考样本;确定用于目标样本的内插滤波器;基于内插滤波器和参考样本,导出目标样本的预测样本;以及生成当前块的预测信息,对生成的预测信息进行编码,并且输出编码后的预测信息。
另一方面,提供一种视频编码设备。该编码设备包括:预测器,该预测器确定当前块的帧内预测模式;导出包括当前块的左邻近样本和上邻近样本的邻近样本;基于当前块的目标样本的位置和帧内预测模式的预测角度,导出邻近样本当中的用于预测目标样本的参考样本,确定用于目标样本的内插滤波器,并且基于内插滤波器和参考样本导出目标样本的预测样本;以及熵编码器,该熵编码器生成用于当前块的预测信息,对生成的预测信息进行编码,并输出编码后的预测信息。
有益效果
根据本公开,可以基于根据当前块的大小信息、到参考样本的距离的信息和/或预测模式信息选择的内插滤波器,对目标样本执行预测,从而可以准确地生成目标样本的分数样本位置处的参考样本以提高当前块的预测精度,并且可以减少当前块的残差以增强编译效率。
根据本公开,因为可以基于上述各种条件来选择用于目标样本的内插滤波器,所以可以减少关于内插滤波器的选择的信息的比特量,从而提高当前块的预测精度并增加当前块的编译效率。
附图说明
图1是图示可应用本公开的视频编码设备的配置的示意图。
图2图示本公开可应用于的视频编码设备的另一示例。
图3图示在编码设备中执行帧内预测的过程的示例。
图4是图示可应用本公开的视频解码设备的配置的示意图。
图5图示本公开可应用于的视频解码设备的另一示例。
图6图示在解码设备中执行帧内预测的过程的示例。
图7图示用于当前块的帧内预测的左邻近样本和上邻近样本的示例。
图8图示65个预测方向的帧内方向模式的示例。
图9图示当位于定向帧内预测模式的预测方向上的参考样本的位置是分数样本的位置时基于与参考样本的左右相邻的整数样本来导出目标样本的预测样本的示例。
图10图示基于当前块的大小和帧内预测模式选择内插滤波器的示例。
图11图示基于当前块的目标样本与参考样本之间的距离来选择内插滤波器的示例。
图12图示基于多个内插滤波器来导出当前块的目标样本的参考样本并且基于参考样本来导出目标样本的预测样本的示例。
图13示意性地图示根据本公开的编码设备的视频编码方法。
图14示意性地图示根据本公开的解码设备的视频解码方法。
具体实施方式
可以以各种形式修改本公开,并且将在附图中描述和图示其具体实施例。然而,实施例不旨在限制本公开。以下描述中使用的术语仅用于描述具体实施例,但不旨在限制本公开。单数的表达包括复数的表达,只要它以不同的方式清楚地读出即可。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元素、组件或其组合,并且因此应当理解不排除一个或多个不同特征、数字、步骤、操作、元素、组件或其组合的存在或添加的可能性。
同时,为了便于解释不同的特定功能,独立地绘制本公开中描述的附图中的元件,并不意味着这些元件由独立的硬件或独立的软件实现。例如,可以组合元件中的两个或更多个元件以形成单个元件,或者可以将一个元件划分成多个元件。在不脱离本公开的概念的情况下,元件被组合和/或划分的实施例属于本公开。
在下文中,将参考附图详细描述本公开的实施例。另外,在整个附图中,相同的附图标记用于指示相同的元件,并且将省略对相同元件的相同描述。
在本说明书中,通常图片意指在特定时间表示图像的单元,切片是组成图片的一部分的单元。一个图片可以由多个切片组成,并且图片和切片的术语可以根据需要彼此混合。
像素(pixel)或像素(pel)可以意指组成一个图片(或图像)的最小单元。此外,“样本”可以用作与像素对应的术语。样本通常可以表示像素或像素的值,可以仅表示亮度分量的像素(像素值),并且可以仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单元。该单元可以包括特定区域和与该区域相关的信息中的至少一个。可选地,该单元可以与诸如块、区域等术语混合。在典型情况下,M×N块可以表示以M列和N行排列的采样或变换系数的集合。
图1简要地图示可应用本公开的视频编码设备的结构。
参考图1,视频编码设备100可以包括图片分割器105、预测器110、残差处理器120、加法器150、滤波器255和存储器160。残差处理器140可以包括减法器121、变换器122、量化器123、重新排列器124、逆量化器125以及逆变换器126。
图片分割器105可以将输入图片分割成至少一个处理单元。
在示例中,处理单元可以被称为编译单元(CU)。在这种情况下,可以根据四叉树二叉树(QTBT)结构从最大编译单元(LCU)递归地分割编译单元。例如,可以基于四叉树结构和/或二叉树结构将一个编译单元分割为更深深度的多个编译单元。在这种情况下,例如,可以首先应用四叉树结构,并且可以稍后应用二叉树结构。可替选地,可以首先应用二叉树结构。可以基于不再进一步被分割的最终编译单元执行根据本公开的编译过程。在这种情况下,取决于图像特性,最大编译单元可以基于编译效率等而用作最终编译单元,或者编译单元可以根据需要递归地分割成较低深度的编译单元,并且具有最佳尺寸的编译单元可以用作最终编译单元。这里,编译过程可以包括诸如预测、变换和重建的过程,这将在后面描述。
在另一示例中,处理单元可以包括编译单元(CU)、预测单元(PU)或变换单元(TU)。可以根据四叉树结构将编译单元从最大编译单元(LCU)分割成更深深度的编译单元。在这种情况下,取决于图像特性,最大编译单元可以基于编译效率等直接用作最终编译单元,或者编译单元可以根据需要递归地分割成更深深度的编译单元,并且具有最佳尺寸的编译单元可以用作最终编译单元。当设置最小编译单元(SCU)时,编译单元可以不被分割成小于最小编译单元的编译单元。这里,最终编译单元指的是被分割或划分成预测单元或变换单元的编译单元。预测单元是从编译单元分割的单元,并且可以是样本预测的单元。这里,预测单元可以被划分为子块。变换单元可以根据四叉树结构从编译单元划分,并且可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。在下文中,编译单元可以被称为编译块(CB),预测单元可以被称为预测块(PB),并且变换单元可以被称为变换块(TB)。预测块或预测单元可以指的是图片中的块形式的特定区域,并且包括预测样本的阵列。此外,变换块或变换单元可以指的是图片中的块形式的特定区域,并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中,当前块)执行预测,并且可以生成包括当前块的预测样本的预测块。在预测器110中执行的预测单元可以是编译块,或者可以是变换块,或者可以是预测块。
预测器110可以确定是将帧内预测应用于当前块还是将帧间预测应用于当前块。例如,预测器110可确定以CU为单元应用帧内预测还是帧间预测。
在帧内预测的情况下,预测器110可以基于当前块所属的图片(下文中,当前图片)中的在当前块之外的参考样本来导出当前块的预测样本。在这种情况下,预测器110可以基于当前块的邻近参考样本的平均值或插值来导出预测样本(情况(i)),或者可以基于关于当前块的邻近参考样本当中的预测样本的特定(预测)方向中存在的参考样本来导出预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式,并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中,预测模式可以包括作为示例33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下,预测器110可以基于由运动矢量在参考图片上指定的样本来导出当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任何一个来导出当前块的预测样本。在跳过模式和合并模式的情况下,预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下,与合并模式不同,不发送预测样本和原始样本之间的差异(残差)。在MVP模式的情况下,邻近块的运动矢量被用作运动矢量预测器,并且因此被用作当前块的运动矢量预测器以导出当前块的运动矢量。
在帧间预测的情况下,邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括时间邻近块的参考图片也可以称为并置图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息的信息可以被(熵)编码,并且然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间邻近块的运动信息时,参考图片列表中的最高图片可以用作参考图片。可以基于当前图片和对应的参考图片之间的图片顺序计数(POC)差来对齐参考图片列表中包括的参考图片。POC对应于显示顺序,并且可以与编译顺序区分开。
减法器121生成残差样本,该残差样本是原始样本和预测样本之间的差。如果应用跳过模式,则可以如上所述不生成残差样本。
变换器122以变换块为单元变换残差样本以生成变换系数。变换器122可以基于对应变换块的大小和应用于与变换块在空间上重叠的编译块或预测块的预测模式来执行变换。例如,如果帧内预测应用于与变换块重叠的编译块或者预测块并且变换块是4×4残差阵列,则可以使用离散正弦变换(DST)变换核来变换残差样本,并且在其他情况下使用离散余弦变换(DCT)变换核来变换残差样本。
量化器123可以量化变换系数以生成量化的变换系数。
重新排列器124重新排列量化的变换系数。重新排列器124可以通过系数扫描方法将块形式的量化的变换系数重新排列成一维矢量。尽管重新排列器124被描述为单独的组件,但是重新排列器124可以是量化器123的一部分。
熵编码器130可以对量化的变换系数执行熵编码。熵编码可以包括编码方法,例如,指数哥伦布、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。除了量化的变换系数之外,熵编码器130可以一起或分开地对视频重建所需的信息(例如,语法元素值等)执行编码。可以以比特流形式以网络抽象层(NAL)为单元发送或存储熵编码信息。
逆量化器125对由量化器123量化的值(变换系数)进行逆量化,并且逆变换器126对由逆量化器125逆量化的值进行逆变换以生成残差样本。
加法器140将残差样本添加到预测样本以重建图片。可以以块为单元将残差样本添加到预测样本以生成重建块。虽然加法器140被描述为单独的组件,但是加法器140可以是预测器110的一部分。同时,加法器140可以被称为重建器或重建块生成器。
滤波器150可以将去块滤波和/或样本自适应偏移应用于重建图片。可以通过去块滤波和/或样本自适应偏移来校正重建图片中的块边界处的伪像或量化中的失真。在去块滤波完成之后,可以以样本为单元应用样本自适应偏移。滤波器150可以将自适应环路滤波器(ALF)应用于重建图片。可以将ALF应用于已经应用去块滤波和/或样本自适应偏移的重建图片。
存储器160可以存储重建图片(解码图片)或编码/解码所需的信息。这里,重建图片可以是由滤波器150滤波的重建图片。存储的重建图片可以用作用于其他图片的(帧间)预测的参考图片。例如,存储器160可以存储(参考)用于帧间预测的图片。这里,可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2图示可应用本公开的视频编码设备的另一示例。
参考图2,视频编码设备包括帧内预测器、参考平滑器200、预测器210、后置滤波器220、变换器230和量化器240。这里,帧内预测器可以包括参考平滑器200、预测器210和后置滤波器220。
当帧内预测被应用于当前块时,参考平滑器200可以基于当前块的大小、帧内预测模式信息和样本值对用于当前块属于的图片(在下文中,称为当前图片)中的当前块的帧内预测的左邻近样本和上邻近样本执行平滑处理。因此,可以防止关于当前块的预测样本的视觉伪像,该视觉伪像可能由于左邻近样本的样本值和上邻近样本的样本值之间的差而发生。
预测器210可以(i)基于当前块的左邻近样本和上邻近样本的平均值或插值导出预测样本,或者(ii)基于存在于关于左邻近样本和上邻近样本当中的预测样本的特定(预测)方向中的邻近样本导出预测样本。情况(i)可以被称为非定向模式或非角度模式,并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中,预测模式可以具有33个定向预测模式和至少两个非定向模式。非定向模式可以包括DC预测模式和平面模式(平面模式)。预测器210还可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
后置滤波器单元220可以根据导出当前块的预测样本的预测模式来选择性地执行后处理滤波以减轻当前块与邻近样本之间的不连续性。此后,编码设备可以将预测样本和原始样本之间的差导出为残差样本,并且变换器230可以以块为单位对残差样本进行变换以生成变换系数。此外,量化器240可以对变换系数进行量化以生成量化的变换系数。
图3图示在编码设备中执行帧内预测的过程的示例。编码设备可以执行帧内预测以生成当前块的预测样本(S300)。预测样本可以被称为预测信号或帧内预测信号。具体地,编码设备可以基于当前块的大小、模式信息和样本值来对用于当前块的帧内预测的左邻近样本和上邻近样本进行平滑(即,对其执行平滑处理)(S310)。此后,如上所述,编码设备可以根据帧内预测模式执行预测以生成预测样本(S320),并且执行后处理滤波以减轻当前块与邻近样本之间的不连续性(S330)。编码设备可以将预测样本和原始样本之间的差生成为残差样本(S340),并且以块为单位对残差样本进行变换以生成变换系数。此外,编码设备可以量化变换系数以生成量化的变换系数(S360)并且对量化的变换系数进行熵编码以执行信令(S370)。
图4简要地图示本公开可适用的视频解码设备的结构。
参考图4,视频解码设备400可以包括熵解码器410、残差处理器420、预测器430、加法器440、滤波器450和存储器460。残差处理器420可以包括重新排列器421、去量化器422、和逆变换器423。
当输入包括视频信息的比特流时,视频解码设备400可以与在视频编码设备中处理视频信息的过程相关联地重建视频。
例如,视频解码设备400可以使用在视频编码设备中应用的处理单元来执行视频解码。因此,视频解码的处理单元块可以是例如编译单元,并且在另一示例中,可以是编译单元、预测单元或变换单元。可以根据四叉树结构和/或二叉树结构从最大编译单元分割编译单元。
在一些情况下可以进一步使用预测单元和变换单元,并且在这种情况下,预测块是从编译单元导出或分割的块,并且可以是样本预测的单元。这里,预测单元可以被划分为子块。变换单元可以根据四叉树结构从编译单元分割,并且可以是导出变换系数的单元或从变换系数导出残差信号的单元。
熵解码器410可以解析比特流以输出视频重建或图片重建所需的信息。例如,熵解码器410可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编译方法来解码比特流中的信息,并且可以输出视频重建所需的语法元素的值和关于残差的变换系数的量化值。
更具体地,CABAC熵解码方法可以接收与比特流中的每个语法元素对应的bin,使用解码目标语法元素信息以及邻近和解码目标块的解码信息或者在先前步骤中解码的amabol/bin的信息来确定上下文模型,根据确定的上下文模型预测bin生成概率,并执行bin的算术解码以生成与每个语法元素值对应的符号。这里,CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
可以将关于在熵解码器410中解码的信息当中的预测的信息提供给预测器450,并且可以将已经由熵解码器410执行熵解码的残差值,即,量化的变换系数输入到重新排列器421。
重新排列器421可以将量化的变换系数重新排列成二维块形式。重新排列器421可以执行与由编码设备执行的系数扫描对应的重新排列。尽管重新排列器421被描述为单独的组件,但是重新排列器421可以是逆量化器422的一部分。
逆量化器422可以基于(去)量化参数对量化的变换系数进行去量化,以输出变换系数。在这种情况下,可以从编码设备用信号发送用于导出量化参数的信息。
逆变换器423可以对变换系数进行逆变换以导出残差样本。
预测器430可以对当前块执行预测,并且可以生成包括当前块的预测样本的预测块。在预测器430中执行的预测的单元可以是编译块,或者可以是变换块或者可以是预测块。
预测器430可以基于关于预测的信息确定是应用帧内预测还是应用帧间预测。在这种情况下,用于确定将在帧内预测和帧间预测之间使用哪一个的单元可以与用于生成预测样本的单元不同。另外,用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如,可以以CU为单元确定将在帧间预测和帧内预测之间应用哪一个。此外,例如,在帧间预测中,可以通过以PU为单元确定预测模式来生成预测样本,并且在帧内预测中,可以通过以PU为单元确定预测模式来以TU为单元生成预测样本。
在帧内预测的情况下,预测器430可以基于当前图片中的邻近参考样本导出当前块的预测样本。预测器430可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来导出当前块的预测样本。在这种情况下,可以通过使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下,预测器430可以基于根据运动矢量在参考图片中指定的样本来导出当前块的预测样本。预测器430可以使用跳过模式、合并模式和MVP模式之一来导出当前块的预测样本。这里,对于视频编码设备提供的当前块的帧间预测所要求的运动信息,例如,运动矢量和关于参考图片索引的信息,可以基于关于预测的信息来获取或导出。
在跳过模式和合并模式中,邻近块的运动信息可以用作当前块的运动信息。这里,邻近块可以包括空间邻近块和时间邻近块。
预测器430可以使用可用邻近块的运动信息来构造合并候选列表,并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。合并索引可以由编码设备用信号发送。运动信息可以包括运动矢量和参考图片。当在跳过模式和合并模式中使用时间邻近块的运动信息时,参考图片列表中的最高图片可以用作参考图片。
在跳过模式的情况下,不发送预测样本和原始样本之间的差异(残差),区别于合并模式。
在MVP模式的情况下,可以使用邻近块的运动矢量作为运动矢量预测器来导出当前块的运动矢量。这里,邻近块可以包括空间邻近块和时间邻近块。
当应用合并模式时,例如,可以使用重建的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成合并候选列表。从合并候选列表中选择的候选块的运动矢量被用作合并模式中的当前块的运动矢量。上述关于预测的信息可以包括合并索引,该合并索引指示具有从包括在合并候选列表中的候选块中选择的最佳运动矢量的候选块。这里,预测器430可以使用合并索引导出当前块的运动矢量。
当应用MVP(运动矢量预测)模式作为另一示例时,可以使用重建的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成运动矢量预测器候选列表。也就是说,重建的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量可以用作运动矢量候选。上述关于预测的信息可以包括指示从包括在列表中的运动矢量候选中选择的最佳运动矢量的预测运动矢量索引。这里,预测器430可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测运动矢量。编码设备的预测器可以获得当前块的运动矢量与运动矢量预测器之间的运动矢量差(MVD),对MVD进行编码并以比特流的形式输出编码的MVD。也就是说,可以通过从当前块的运动矢量中减去运动矢量预测器来获得MVD。这里,预测器430可以获取包括在关于预测的信息中的运动矢量,并且通过将运动矢量差加到运动矢量预测器来导出当前块的运动矢量。另外,预测器可以从上述关于预测的信息获得或导出指示参考图片的参考图片索引。
加法器440可以将残差样本添加到预测样本以重建当前块或当前图片。加法器440可以通过以块为单元将残差样本添加到预测样本来重建当前图片。当应用跳过模式时,不发送残差,并且因此预测样本可以变为重建样本。虽然加法器440被描述为单独的组件,但是加法器440可以是预测器430的一部分。同时,加法器440可以被称为重建器或重建块生成器。
滤波器450可以将去块滤波、样本自适应偏移和/或ALF应用于重建图片。这里,可以在去块滤波之后以样本为单元应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器460可以存储重建图片(解码图片)或解码所需的信息。这里,重建图片可以是由滤波器250滤波的重建图片。例如,存储器460可以存储用于帧间预测的图片。这里,可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重建图片可以用作其他图片的参考图片。存储器460可以按输出顺序输出重建图片。
图5图示本公开可适用的视频解码设备的另一示例。
参考图5,视频编码设备包括帧内预测器、参考平滑器500、预测器810、后置滤波器520、逆量化器530和逆变换器540。这里,帧内预测器可以包括参考平滑器500、预测器510和后置滤波器520。帧内预测器可以基于当前块的邻近参考样本,通过应用定向模式或非定向模式,来导出当前块的预测样本。这里,可以使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
具体地,当帧内预测应用于当前块时,参考平滑器500可以基于当前块的大小、预测模式和样本值对用于当前块属于的图片(在下文中,将其称为当前图片)中的当前块的帧内预测的左邻近样本和上邻近样本执行平滑处理。因此,可以防止关于当前块的预测样本的视觉伪像,该视觉伪像可能由于左邻近样本和上邻近样本的样本值之间的差异而发生。
预测器510可以基于当前块的左邻近样本和上邻近样本的平均值或插值来导出预测样本(情况(i)),或者可以基于存在于关于左邻近样本和上邻近样本当中的预测样本的特定(预测)方向中的邻近样本来导出预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式,并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中,预测模式可以包括例如33个定向预测模式和至少两个非定向模式。非定向模式可以包括DC预测模式和平面模式。预测器510可以使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
后置滤波器单元520可以根据导出当前块的预测样本的预测模式来选择性地执行后处理滤波以减轻当前块与邻近样本之间的不连续性。此后,逆量化器530可以对从编码设备接收的量化的变换系数进行逆量化,并且逆变换器540可以对逆量化的变换系数进行逆变换以生成以块为单位的残差样本。解码设备可以基于残差样本和预测样本来恢复基于帧内预测编码的当前块。
图6图示在解码设备中执行帧内预测的过程的示例。解码设备对通过比特流接收的熵编码信息进行熵解码以获得量化的变换系数(S600)。接下来,解码设备可以对量化的变换系数进行逆量化以获得变换系数(S610),并且对变换系数进行逆变换以生成以块为单位的残差样本(S620)。接下来,解码设备可以执行帧内预测以生成当前块的预测样本(S630)。预测样本可以被称为预测信号或帧内预测信号。具体地,解码设备可以基于当前块的大小、预测模式和样本值,对用于当前块的帧内预测的左邻近样本和上邻近样本执行平滑处理(S640)。此后,解码设备可以根据帧内预测模式执行预测以生成如上所述的预测样本(S650),并且执行后处理滤波以减少当前块与邻近样本之间的不连续性(S660)。解码设备可以将预测样本和残余样本相加以生成当前块的重建样本(S670)。
当如上所述对当前块执行预测时,可以基于帧内预测模式来执行预测。例如,可以基于在当前块的解码时间已经被编码/解码的邻近样本来执行帧内预测。即,可以使用当前块的左邻近样本和上邻近样本来重建当前块的预测样本。左邻近样本和上邻近样本可以如图1中所示表示。
图7图示用于当前块的帧内预测的左邻近样本和上邻近样本的示例。当对当前块执行帧内预测时,可以导出关于当前块的帧内预测模式,并且可以根据帧内预测模式使用左邻近样本和上邻近样本中的至少一个来生成与当前块有关的预测样本。用于当前块的帧内预测的左邻近样本和上邻近样本可以基于当前块的大小、预测模式和样本值经历平滑处理。即,可以基于当前块的大小、预测模式和样本值来执行滤波以减小左邻近样本和上邻近样本的样本值之间的差。因此,可以防止关于当前块的预测样本的视觉伪像,该视觉伪像可能由于左邻近样本和上邻近样本的样本值之间的差异而发生。
这里,帧内预测模式可以包括两个非定向帧内预测模式和33个定向帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式,并且定向帧内预测模式可以包括帧内预测模式#2至#34。平面帧内预测模式可以被称为平面模式,并且DC帧内预测模式可以被称为DC模式。帧内预测模式#10可以指示水平帧内预测模式或水平模式,帧内预测模式#26指示垂直帧内预测模式或垂直模式,基于其通过角度可以表达定向帧内预测模式的预测方向。换句话说,可以参考与帧内预测模式#10相对应的水平参考角度0°来表达与每个帧内预测模式相对应的相对角度,并且可以参考与帧内预测模式#26相对应的垂直参考角0°表达与每个帧内预测模式相对应的相对角度。
另外,对高质量视频的需求正在增加,并且为了提高视频编解码器的效率,定向帧内预测方向的数量可能会增加到65个。也就是说,帧内预测模式可以包括两个非定向帧内预测模式和65个定向帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式,并且定向帧内预测模式可以包括帧内预测模式#2至#66。
图8图示65个预测方向的帧内方向模式。
参考图8,可以基于具有左上对角线预测方向的帧内预测模式#34,来对具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式进行分类。图8中的H和V分别表示水平方向性和垂直方向性,并且从-32到32的数字表示在样本网格位置上的1/32单位的位移。帧内预测模式#2至#33具有水平方向性,并且帧内预测模式#34至#66具有垂直方向性。帧内预测模式#18和帧内预测模式#50分别表示水平帧内预测模式和垂直帧内预测模式,基于其,角度帧内预测模式的预测方向可以由角度表达。换句话说,可以基于与帧内预测模式#18相对应的水平参考角0°来表达与每个帧内预测模式相对应的相对角度,并且可以基于与帧内预测模式#50相对应的垂直参考角0°来表达对应于各个帧内预测模式的相对角度。
在将定向帧内预测模式应用于当前块的情况下,相对于当前块中执行帧内预测的目标样本,可以基于位于定向帧内预测模式的预测方向上的参考采样来导出目标样本的预测样本。即,可以将位于预测方向上的参考样本复制并导出为预测样本。这里,相对于当前块的上邻近样本和左邻近样本当中的目标样本,参考样本可以表示位于定向帧内预测模式的预测方向上的邻近样本。同时,当基于目标样本在定向帧内预测模式的预测方向上没有以整数样本为单位的参考样本时,即,当基于目标样本位于定向帧内预测模式的预测方向上的参考样本的位置是分数样本位置时,可以通过在与参考样本的左右相邻的整数样本之间的插值来导出参考样本的样本值,并且可以基于参考样本导出目标样本的预测样本。例如,可以基于参考样本和整数样本的距离比来执行整数样本之间的内插。
图9是图示当位于定向帧内预测模式的预测方向上的参考样本的位置是分数样本位置时基于与参考样本的左侧和右侧相邻的整数样本来导出目标样本的预测样本的示例的图。
参考图9,可以将基于目标样本的位于定向帧内预测模式的预测方向上的参考样本的分数样本位置导出为tanθ*(y+1)。用于计算分数样本位置的每个定向帧内预测模式的每个角度θ的tanθ值可以预先以整数为单位进行缩放并定义以有助于计算。如下表所示,可以导出各个缩放的方向帧内预测模式的tan θ值。
[表1]
predModelntra 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
intraPredAngle - 32 29 26 23 21 19 17 15 13 11 9 7 5 3 2 1
predModelntra 18 19 20 21 22 23 24 25 26 27 28 2g 30 31 32 33 34
intraPredAngle 0 1 2 3 5 7 9 11 13 15 17 19 21 23 26 29 32
predModeIntra 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51
intraPredAngle 29 26 23 21 19 17 15 13 11 9 7 5 3 2 1 0 1
predModelntra 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66
intraPredAngle 2 3 5 7 9 11 13 15 17 19 21 23 26 29 32
这里,predModeIntra-可以表示每个定向帧内预测模式,而intraPredAngle可以表示每个定向帧内预测模式的预测角度或每个定向帧内预测模式的缩放tan θ近似值。可以基于表1来导出根据预定义的帧内预测模式的tan θ近似值。同时,可以如下表所示导出每个缩放的定向帧内预测模式的tan-1θ值。
[表2]
predModelntra 19 20 21 22 23 24 25 26
invAngle -8192 -4096 -2731 -1638 -1170 -910 -745 -630
predModeIntra 27 28 29 30 31 32 33 34
invAngle -546 -482 -431 -390 -356 -315 -282 -256
predModeIntra 35 36 37 38 39 40 41 42
invAngle -282 -315 -356 -390 -431 -482 -546 -630
predModelntra 43 44 45 46 47 48 49
invAngle -745 -910 -1170 -1638 -2731 -4096 -8192
在此,predModeIntra可以表示每个定向帧内预测模式,intraPredAngle可以表示每个定向帧内预测模式的逆预测角度或每个定向帧内预测模式的缩放tan-1θ近似值。可以导出根据基于表2的预定帧内预测模式的tan-1θ近似值。
同时,可以将非定向帧内预测模式应用于当前块。非定向帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式。平面帧内预测模式可以被称为平面模式,并且DC帧内预测模式可以被称为DC模式。在DC模式下,可以基于当前块的邻近样本的平均值来导出当前块的预测样本。当当前块的样本的值相似时,可以有效地执行基于DC模式的帧内预测。同时,当在当前块的样本的值变化时基于DC模式执行帧内预测时,在当前块的预测块与邻近样本之间可能出现不连续性。在类似的情况下,即使当基于定向帧内预测模式执行帧内预测时,也可能发生非意图的可见轮廓。已经设计平面模式来克服此问题。平面模式指示预测模式,其中基于关于目标样本的参考样本执行水平线性预测和垂直线性预测,并且随后将导出的值平均以生成目标样本的预测样本。
当基于定向帧内预测模式对当前块执行预测时,如果如上所述相对于当前块的目标样本在当前块的定向帧内预测模式的预测方向中不存在以整数样本为单位的参考样本,即,当相对于目标样本位于定向帧内预测模式的预测方向上的参考样本的位置是分数样本位置时,可以通过参考样本的左右整数样本的内插来导出参考样本,并且可以基于所导出的参考样本来导出目标样本的预测样本。整数样本可以指示位于参考样本附近的整数样本位置的邻近样本。
在这种情况下,可以基于各种内插滤波器之一来导出参考样本的左侧和右侧的整数样本之间的插值。例如,可以基于具有低通滤波器效果的内插滤波器来执行内插,或者可以基于复杂的内插滤波器来执行内插。具有低通滤波器效果的内插滤波器可以表示线性滤波器或高斯滤波器,并且复杂内插滤波器可以表示样条滤波器。样条滤波器也可以称为立方滤波器。内插滤波器可以是4抽头内插滤波器。4抽头内插滤波器可以表示基于四个权重对四个整数样本执行内插的滤波器。基于内插滤波器执行的整数样本之间的内插可以由以下等式表示。
[等式1]
p[x][y]=(f[0]*ref[x+iIdx]+f[1]*ref[x+iIdx+1]+f[2]*ref[x+iIdx+2]+f[3]*ref[x+iIdx+3]+128)>>8
这里,p[x][y]可以表示目标样本的预测样本,f[0]、f[1]、f[2]和f[3]可以表示内插滤波器的滤波器系数,ref[n]可以表示第n个邻近样本,并且iIdx可以表示相对于目标样本位于当前块的帧内预测模式的预测方向上的分数样本位置的整数索引。分数样本位置的整数索引可以表示不包括分数样本位置的余数的整数值。
同时,可以导出作为低通滤波器之一的立方滤波器的滤波器系数和作为具有低通滤波器效果的内插滤波器之一的高斯滤波器的滤波器系数,如下表所示。
[表3]
Figure BDA0003351163920000211
在此,子像素位置n/32可以表示相对于目标样本位于当前块的帧内预测模式的预测方向上的分数样本位置的残差值。基于目标样本的分数样本位置和上面的表3,可以导出立方滤波器的滤波器系数或高斯滤波器的滤波器系数。
当如上所述基于定向帧内预测模式对当前块执行预测时,当前块的目标样本与参考样本之间的距离可以根据定向帧内预测模式的预测角度而增加,并且随着距离的增加,预测的准确性可能会降低。可以提出一种根据目标样本与参考样本之间的距离选择合适的内插滤波器并基于通过应用所选择的内插滤波器而导出的参考样本执行预测以提高预测精度的方法。根据目标样本与参考样本之间的距离来选择适当的内插滤波器的方法可以如下。
例如,可以基于当前块的大小或当前块的帧内预测模式来选择内插滤波器。如上所述,可以根据当前块的帧内预测模式的预测角度的斜率来导出当前块的目标样本和参考样本之间的距离。因为基于当前块的左邻近样本和上邻近样本来导出当前块的参考样本,所以随着目标样本的位置越靠近当前块的右下端,目标样本和参考样本之间的距离可能越大。另外,随着表1中定义的定向帧内预测模式的intraPredAngle值增大,预测角的斜率可能接近45°。随着预测角的斜率接近45°,目标样本和参考样本之间的距离可能增加,并且因此,随着intraPredAngle值增加,目标样本和参考样本之间的距离可能增加。
此外,可以基于当前块的大小来导出目标样本和参考样本之间的距离。即,随着当前块的大小增加,目标样本和参考样本之间的距离可能增加。因此,当前块的大小被认为与目标样本的预测精度密切相关。
如上所述,如果intraPredAngle的值大于0且小于32,则可以基于分数样本位置的参考样本来预测目标样本,如图9中所示。在这种情况下,因为仅存在分数样本位置附近的整数样本值,所以编译设备可以基于内插滤波器来预测分数样本位置的参考样本并且预测分数样本位置的参考样本的值可以被复制作为目标样本的预测样本的样本值。因此,可以根据内插滤波器的精度来确定当前块的预测块的精度。
当将帧内预测应用于当前块时,可用于帧内预测的信息可以被限于在解码当前块时已经重建的当前块的左邻近样本和上邻近样本,并且随着当前块的目标样本与参考样本之间的距离增加,目标样本与基于左邻近样本和上邻近样本导出的参考样本之间的相关性可能会大大降低。
因此,当目标样本和参考样本之间的距离太长时,基于具有低通滤波器效果的内插滤波器导出参考样本使得参考样本的伪像或噪声不会传播的方法可用于增强准确性预测和编译效率。相反,当目标样本与参考样本之间的距离彼此接近时,目标样本与参考样本之间的相关性较高,并且因此,一种基于精确内插导出参考样本使得目标样本和参考样本的预测样本之间的相似性保持在最大可能的程度的方法可以被有利地使用。即,当目标样本和参考样本之间的距离彼此接近时,基于复杂的内插滤波器导出参考样本的方法可以提高预测精度和编译效率。
因此,可以仅基于用于导出用于当前块的目标样本的参考样本的当前块的大小来选择当前块,可以仅基于当前块的帧内预测模式来选择,或基于当前块的大小和帧内预测模式进行选择。
例如,当当前块的大小是4×4大小并且对当前块执行帧内预测时,具有4×4大小的当前块与当前块的邻近样本的相关性可能非常高,并且因此,无论帧内预测模式如何,都可以基于复杂的内插滤波器来导出参考样本。可替选地,如果从当前块的帧内预测模式导出的intraPredAngle值是11或更大,不管当前块的大小如何,则目标样本和参考样本之间的距离可能会增加,并且因此,参考样本可能会基于具有内插滤波器效果的内插滤波器来导出。可替选地,当当前块的大小小于特定大小并且当前块的帧内预测模式的intraPredAngle值小于特定值时,可以基于复杂的内插滤波器来导出目标样本的参考样本,并且在其他情况下,可以基于具有低通滤波器效果的内插滤波器来导出目标样本的参考样本。
另外,当将最可能模式(MPM)模式应用于当前块以基于当前块的邻近块导出当前块的帧内预测模式并且当前块的预测模式是定向帧内预测模式,而不是平面模式或DC模式时,通过MPM模式选择的邻近块中使用的内插滤波器可以被导出为当前块的内插滤波器。这里,在将MPM模式应用于当前块的情况下,编译设备可以基于关于当前块的左或上邻近块的帧内预测模式来确定MPM列表,并基于MPM列表来确定帧内预测模式。
另外,当基于当前块的帧内预测模式选择内插滤波器时,帧内预测模式的参考,即,用于确定具有低通滤波器的内插滤波器是否被使用或者复杂的内插滤波器是否被使用的参考可以根据当前块的大小或者形式变化。
如果当前块是正方形块,则该块的宽度和高度相等,即,当前块的大小为N×N,并且因此,在选择内插滤波器时参考块的大小对于任何方向的定向帧内预测模式可以为N。同时,在当前块具有非正方形形状的情况下,即,在当前块大小为M×N的情况下,如果被选择为当前块的预测模式的模式是定向帧内预测模式并且该模式是垂直方向性预测模式,则用于选择内插滤波器的参考块的大小可以由M表示。这里,当帧内预测模式包括65个定向帧内预测模式和2个非定向帧内预测模式时,垂直方向性预测模式可以指示帧内预测模式#34至#66。类似地,当当前块的大小是M×N,被选择为当前块的预测模式的模式是定向模式,并且该模式是水平方向性预测模式时,用作用于选择内插滤波器的参考的当前块的大小可以是N。这里,当帧内预测模式包括65个定向帧内预测模式和两个非定向帧内预测模式时,水平方向性预测模式可以表示帧内预测模式#2至#33。
可替选地,如果当前块是具有M×N大小的非正方形块,并且当前块的预测模式是垂直方向性预测模式,则可以基于N选择当前块的内插滤波器,并且类似地,如果当前块是具有M×N大小的非正方形块,并且当前块的预测模式是水平方向性预测模式,则可以基于M来选择当前块的内插滤波器。然而,在稍后将描述的特定示例中,当垂直方向性预测模式应用于具有M×N大小的当前块时,用作用于选择内插滤波器的参考的当前块的大小可以由M表示。类似地,当水平方向性预测时模式应用于具有M×N大小的当前块时,用作用于选择内插滤波器的参考的当前块的大小可以用N表示。具体地,例如,如果块的大小值小于或等于8,则可以选择复杂的内插滤波器,并且可以基于复杂的内插滤波器来导出块的参考样本,并且在这种情况下,如果当前块的大小是8×4,并且当前块的帧内预测模式是具有垂直方向性的帧内预测模式之一,可以选择复杂的内插滤波器作为当前块的内插滤波器,并且当前块的参考样本可以基于复杂的内插滤波器被导出。
此外,如果当前块的帧内预测模式的intraPredAngle值小于或等于11,则选择复杂内插滤波器,并且可以基于复杂内插滤波器导出参考样本。如果当前块的帧内预测模式的intraPredAngle值大于11,则选择具有低通滤波器效果的内插滤波器,并且可以基于具有低通滤波器效果的内插滤波器来导出参考样本。
在当前块大小的值等于或大于16的情况下,如果当前块的帧内预测模式的intraPredAngle值小于或等于5,则选择复杂内插滤波器,并可以基于复杂的内插滤波器导出参考样本。如果当前块的帧内预测值的intraPredAngle值大于5,则选择具有低通滤波器效果的内插滤波器,并且可以基于具有低通滤波器效果的内插滤波器来导出参考样本。
图10图示基于当前块的大小和帧内预测模式选择内插滤波器的示例。编码设备/解码设备可以导出当前块的帧内预测模式,并且可以确定帧内预测模式是否是定向帧内预测模式(S1000)。定向帧内预测模式可以被称为角度预测。如果帧内预测模式是非定向帧内预测模式,则编码/解码设备可以基于帧内预测模式对当前块执行帧内预测。
当帧内预测模式是定向帧内预测模式时,编码设备/解码设备可以确定当前块的大小是否小于第一阈值(S1010)。当当前块是具有M×N大小的非正方形块并且被选择作为当前块的帧内预测模式的模式包括具有垂直方向性帧内预测模式时,即,当帧内预测模式包括65个定向帧内预测模式和2个非定向帧内预测模式时,如果当前块的帧内预测模式是帧内预测模式#34至#66之一,则用于选择内插滤波器的参考可以通过当前块的宽度,即,M来表示。类似地,在当前块是具有M×N大小的非正方形块并且被选择作为当前块的帧内预测模式的模式是具有水平方向性帧内预测模式的情况下,即,当帧内预测模式包括65个定向帧内预测模式和两个非定向帧内预测模式时,如果当前块的帧内预测模式是帧内预测模式#2至#33之一,用于选择内插滤波器的参考可以由当前块的高度,即,N来表示。可替选地,当仅考虑具有正方形的块并且当前块的大小为N×N时,当前块的大小的值可以由N表示。第一阈值可以被设置为4、8、16、32等。
如果当前块的大小不小于第一阈值,即,如果当前块的大小大于或等于第一阈值,则编码设备/解码设备可以选择高斯滤波器作为当前块的内插滤波器,并基于高斯滤波器导出当前块中目标样本的参考样本(S1020)。这里,高斯滤波器是具有低通滤波器效果的内插滤波器之一,并且可以基于除了高斯滤波器之外的具有低通滤波器效果的内插滤波器来导出目标样本的参考样本。例如,如果当前块的大小大于或等于第一阈值,则编码设备/解码设备可以选择当前块的内插滤波器作为线性滤波器,并基于线性滤波器导出当前块中的目标样本的参考样本。在此,参考样本可以基于目标样本指示位于当前块的定向帧内预测模式的预测方向上的邻近样本。
如果当前块的大小不小于第一阈值,则可以确定当前块的定向帧内预测模式的intraPredAngle是否小于第二阈值(S1030)。intraPredAngle可以指示定向帧内预测模式的预测角度。例如,第二阈值可以设置为11。
如果当前块的定向帧内预测模式的intraPredAngle不小于第二阈值,则编码设备/解码设备可以选择高斯滤波器作为当前块的内插滤波器,并基于高斯滤波器导出当前块中的目标样本的参考样本(S1020)。这里,高斯滤波器是如上所述的具有低通滤波器效果的内插滤波器之一,并且可以基于除了高斯滤波器之外的具有低通滤波器效果的内插滤波器来导出目标样本的参考样本。
如果当前块的定向帧内预测模式的intraPredAngle小于第二阈值,则编码设备/解码设备可以选择立方滤波器作为当前块的内插滤波器,并基于立方滤波器导出当前块的目标样本的参考样本(S1040)。这里,立方滤波器可以是如上所述的复杂内插滤波器之一,并且可以基于除立方滤波器之外的复杂内插滤波器来导出目标样本的参考样本。此外,立方滤波器可以称为样条滤波器。
编码设备/解码设备可以基于所导出的目标样本的参考样本来生成目标样本的预测样本(S1050)。编码设备/解码设备可以通过复制参考样本来生成预测样本。参考样本可以被复制并用作预测样本,并且因此,可以指示出基于内插滤波器生成预测样本。
同时,除了上述示例之外,可以提出一种将当前块划分为任意区域并针对每个区域选择内插滤波器的方法作为选择内插滤波器的方法。
例如,如果当前块的大小大于或等于特定大小,则可以将当前块划分为多个区域,并且可以考虑每个区域和当前块的邻近样本之间的距离来选择每个区域的内插滤波器。当前块的划分区域的大小可以是在编码设备和解码设备之间预先确定(即,预先设置)的固定值,或者可以基于当前块的大小、帧内预测模式等等导出。例如,在当前块的帧内预测模式是具有垂直方向性帧内预测模式并且帧内预测模式的模式编号大于#34的情况下,当前块的划分区域的大小可以被导出为4×4。换句话说,在当前块的帧内预测模式是帧内预测模式#35至#66之一的情况下,可以将当前块的划分区域的大小导出为4×4。在当前块是具有16×16大小的块的情况下,可以将当前块划分为具有4×4大小的区域,可以选择上述复杂内插滤波器作为以栅格扫描顺序从#0到#7的区域的内插滤波器,并且可以选择具有低通滤波效果的内插滤波器作为其他区域的内插滤波器。这里,根据栅格扫描顺序的具有4×4大小的16个区域的数目可以从上一行到下一行依次地顺序地导出,并且在每行中从左到右顺序地导出。即,可以将当前块的具有4×4大小的16个区域当中的第一行中包括的区域按照从左到右的顺序表示为区域#0、区域#1、区域#2和区域#3,第二行中包括的区域可以按照从左到右的顺序表示为区域#4、区域#5、区域#6和区域#7,第三行中包括的区域可以按照从左到右的顺序表示为区域#8、区域#9、区域#10和区域#11,并且第四行中包括的区域可以按照从左到右的顺序表示为区域#12、区域#13、区域#14和区域#15。同时,可以用信号发送当前块的划分区域的大小和指示用于每个区域的内插滤波器的信息。在这种情况下,解码设备可以基于该信息将当前块划分为多个区域,并选择每个区域的内插滤波器。
可替选地,可以基于当前块的目标样本与参考样本之间的距离来选择内插滤波器。即,可以基于目标样本和参考样本之间的距离是否等于或大于特定阈值来选择内插滤波器。这里,参考样本可以基于目标样本指示位于当前块的帧内预测模式的预测方向上的邻近样本。
例如,在当前块的大小为N×N的情况下,如果当前块的目标样本与参考样本之间的距离为N/2或更大,则可以基于具有低通滤波器效果的内插滤波器导出参考样本,并且在其他情况下,可以基于复杂的内插滤波器来导出参考样本。可以基于如上所述的当前块的大小来导出用于选择内插滤波器的特定阈值,或者可以基于当前块的帧内预测模式、当前块是否为正方形块/非正方形块等等来导出。可替选地,可以从编码设备发送关于特定阈值的信息,并且解码设备可以基于关于所接收的特定阈值的信息来导出当前块的特定阈值。
图11图示基于当前块的目标样本与参考样本之间的距离来选择内插滤波器的示例。编码设备/解码设备可以导出当前块的帧内预测模式,并确定帧内预测模式是否是定向帧内预测模式(S1100)。定向帧内预测模式可以被称为角度预测。如果帧内预测模式是非定向帧内预测模式,则编码/解码设备可以基于帧内预测模式对当前块执行帧内预测。
如果帧内预测模式是定向帧内预测模式,则编码设备/解码设备可以确定当前块的目标样本与参考样本之间的距离是否小于阈值(S1110)。参考样本可以基于目标样本表示位于当前块的帧内预测模式的预测方向上的邻近样本。此外,如上所述,可以基于当前块的大小、当前块的帧内预测模式、该块是否是正方形/非正方形块等来导出阈值。另外,可以用信号发送关于阈值的信息,并且可以基于关于用信号发送的阈值的信息来导出当前块的阈值。
如果当前块的目标样本与参考样本之间的距离不小于阈值,即,目标样本与参考样本之间的距离大于或等于阈值,编码设备/解码设备可以选择高斯滤波器作为当前块的内插滤波器,并基于高斯滤波器来导出当前块中的目标样本的参考样本(S1120)。这里,高斯滤波器是具有低通滤波器效果的内插滤波器之一,并且可以基于除了高斯滤波器之外的具有低通滤波器效果的内插滤波器来导出目标样本的参考样本。例如,如果当前块的大小大于或等于阈值,则编码设备/解码设备可以选择当前块的内插滤波器作为线性滤波器,并基于线性滤波器导出当前块中的目标样本的参考样本。
如果当前块的目标样本与参考样本之间的距离小于阈值,则编码设备/解码设备可以选择立方滤波器作为当前块的内插滤波器,并基于立方滤波器导出参考样本(S1130)。这里,立方滤波器可以是如上所述的复杂内插滤波器之一,并且可以基于除立方滤波器之外的复杂内插滤波器来导出目标样本的参考样本。此外,立方滤波器可以称为样条滤波器。
编码设备/解码设备可以基于所导出的目标样本的参考样本来生成目标样本的预测样本(S1140)。编码设备/解码设备可以通过复制参考样本来生成预测样本。参考样本可以被复制并用作预测样本,并且因此,可以指示出基于内插滤波器生成预测样本。
此外,如上所述,可以选择内插滤波器之一来导出目标样本的参考样本,但是也可以使用多个内插滤波器来导出参考样本。
例如,当当前块的目标样本的参考样本位置是分数样本位置时,即,当目标样本的参考样本是分数样本时,可以基于作为复杂内插滤波器的第一内插滤波器生成第一参考样本,可以基于作为具有上述低通滤波器效果的内插滤波器的第二内插滤波器生成第二参考样本,并且可以基于作为不同于第一内插滤波器和第二内插滤波器的内插滤波器的第三内插滤波器生成第三参考样本。当生成第一参考样本、第二参考样本和第三参考样本时,可以基于第一参考样本、第二参考样本和第三参考样本来生成目标样本的预测样本。例如,可以导出第一参考样本和第二参考样本的平均值作为目标样本的预测样本,可以导出第一参考样本和第三参考样本的平均值作为目标样本的预测样本,可以导出第二参考样本和第三参考样本的平均值作为目标样本的预测样本,或者可以导出第一参考样本、第二参考样本和第三参考样本的平均值作为目标样本的预测样本。
可替选地,可以通过第一参考样本和第二参考样本的加权平均值,即,第一参考样本和第二参考样本的加权和,导出目标样本的预测样本。可替选地,可以通过第一参考样本和第三参考样本的加权和、通过第二参考样本和第三参考样本的加权和、或通过第一参考样本、第二参考样本和第三参考样本的加权和来导出目标样本的预测样本。可替选地,可以通过第一参考样本、第二参考样本和第三参考样本的加权和来导出目标样本的预测样本。目标样本的预测样本可以基于上述示例以及除了上述示例之外的第一参考样本、第二参考样本和/或第三参考样本的组合来生成。
具体地,例如,可以如下生成目标样本的预测样本。如果在当前块上执行其中基于分数样本位置的参考样本执行帧内预测的定向帧内预测模式,则可以基于立方滤波器对整数样本位置的邻近样本进行内插使得可以导出第一参考样本,可以基于高斯滤波器对整数样本位置的邻近样本进行内插使得可以导出目标样本的第二参考样本,并且可以基于第一参考样本和第二参考样本生成目标样本的预测样本。这里,其中基于分数样本位置的参考样本执行帧内预测的定向帧内预测模式可以表示除了帧内预测模式#2、#18、#34、#50以及#66之外的定向帧内预测模式之一。另外,基于当前块的邻近样本当中的目标样本,整数样本位置处的邻近样本可以表示在位于当前块的定向帧内预测模式的预测方向上的分数样本位置附近的邻近样本。
在另一示例中,随着目标样本和参考样本之间的距离减小,帧内预测的预测精度更高,并且因此,可以提出一种方法,其基于目标样本与参考样本之间的距离,导出基于作为复杂的内插滤波器的第一内插滤波器生成的第一参考样本的第一权重以及基于作为具有低通滤波效果的内插滤波器的第二内插滤波器生成的第二参考样本的第二权重,并且基于第一权重和第二权重对第一参考样本和第二参考样本进行加权求和以生成目标样本的预测样本。例如,第一权重可以被导出为与目标样本和参考样本之间的距离成反比,并且第二权重可以被导出为通过从1中减去第一权重而获得的值。可替选地,为了避免小数点计算,此处使用的第一权重和第二个权重可以以整数为单位进行放大。因此,随着目标样本和参考样本之间的距离增加,第一权重可以被导出为较大的值,并且随着目标样本和参考样本之间的距离增加,第一权重可以被导出为较小的值。可以基于当前块的帧内预测模式的预测角度和目标样本的位置来计算目标样本与参考样本之间的距离。可替选地,可以存储关于块的大小和帧内预测模式的表,并且可以参考该表来导出目标样本和参考样本之间的距离。同时,可以选择性地应用上述实施例中公开的基于多个内插滤波器来导出目标样本的参考样本的方法。例如,可以基于当前块的大小、当前块的帧内预测模式、当前块的邻近样本的值的方差等来导出是否基于多个内插滤波器来导出目标样本的参考样本。可替选地,可以发送指示是否从编码设备基于多个内插滤波器来导出目标样本的参考样本,并且基于该标志确定是否基于多个内插滤波器来导出目标样本的参考样本。
图12图示基于多个内插滤波器来导出当前块的目标样本的参考样本并且基于参考样本来导出目标样本的预测样本的示例。编码设备/解码设备可以导出当前块的帧内预测模式,并确定帧内预测模式是否是定向帧内预测模式(S1200)。定向帧内预测模式可以被称为角度预测。
如果帧内预测模式是非定向帧内预测模式,则编码/解码设备可以基于非定向帧内预测模式对当前块执行帧内预测(S1210)。
当帧内预测模式是定向帧内预测模式时,编码设备/解码设备可以基于立方滤波器在整数采样位置处对邻近样本进行内插,以导出目标样本的第一参考采样(S1220)。这里,整数采样位置的邻近样本可以表示当前块的邻近样本当中的相对于目标样本位于当前块的定向帧内预测模式的预测方向上的分数采样位置附近的邻近样本。编码设备/解码设备可以基于第一参考样本执行目标样本的帧内预测(S1230)。编码设备/解码设备可以通过复制第一参考样本来生成第一临时预测样本。
当帧内预测模式是定向帧内预测模式时,编码设备/解码设备基于高斯滤波器对整数采样位置的邻近样本进行内插,以导出目标样本的第二参考采样(S1240)。编码设备/解码设备可以基于第二参考样本执行目标样本的帧内预测(S1240)。编码设备/解码设备可以通过复制第二参考样本来生成第二临时预测样本。
编码设备/解码设备可以对第一临时预测样本和第二临时预测样本进行加权求和以导出目标样本的预测样本(S1250)。可以将预测样本导出作为通过将第一临时预测样本的第一权重α与第一临时预测样本相乘所获得的值与通过将第二临时预测样本的1-α所乘以第二临时预测样本所获得的值的总和。如上所述,可以导出第一权重以使其与如上所述的目标样本和参考样本之间的距离成反比,并且可以导出第二权重作为通过从1减去第一权重而获得的值。可替选地,为了避免小数点计算,本文中使用的第一权重和第二权重可以以整数为单位放大并被导出。可以基于当前块的帧内预测模式的预测角度和目标样本的位置来计算目标样本与参考样本之间的距离。可替选地,可以预先存储关于块的大小和帧内预测模式的表,并且可以参考该表来导出目标样本和参考样本之间的距离。
图13示意性地图示根据本公开的编码设备的视频编码方法。图13中公开的方法可以由图1中公开的编码设备执行。具体地,例如,图13的步骤S1300至S1340可以由编码设备的预测器执行并且S1350可以由编码设备的熵编码器执行。
编码设备确定当前块的帧内预测模式(S1300)。编码设备可以执行各种帧内预测模式以导出具有最佳RD成本的帧内预测模式作为当前块的帧内预测模式。帧内预测模式可以是两个非定向预测模式和33个定向预测模式之一。如上所述,两个非定向预测模式可以包括DC内模式和平面内模式。可选地,帧内预测模式可以是两个非定向帧内预测模式和65个定向帧内预测模式之一。如上所述,两个非定向预测模式可以包括DC内模式和平面内模式。另外,65个定向帧内预测模式可以包括垂直定向帧内预测模式和水平定向帧内预测模式。垂直定向帧内预测模式可以包括帧内预测模式#34至帧内预测模式#66,并且水平定向帧内预测模式可以包括帧内预测模式#2至帧内预测模式#33。
编码设备导出包括当前块的左邻近样本和上邻近样本的邻近样本(S1310)。编码设备可以导出当前块的邻近样本。邻近样本可以包括左邻近样本和上邻近样本。另外,邻近样本可以包括左上样本。左邻近样本、左上邻近样本和上邻近样本可以从在解码当前块时已经重建的邻近块中导出。可以导出当前块的2N个上邻近样本、左上邻近样本和2N个左邻近样本。如果当前块的大小是N×N并且当前块的左上样本的x分量是0并且其y分量是0,则左邻近样本可以是p[-1][0]至p[-1][2N-1],左上邻样本可以是p[-1][-1],并且上邻样本可以是p[0][-1]至p[2N-1][-1]。
可替选地,当当前块的大小为M×N并且当前块的左上样本的x分量为0并且其y分量为0时,当前块的M+N个上邻近样本、左上邻近样本、以及M-N个左邻近样本可以被导出。如果当前块的大小具有M×N的非正方形形式,并且当前块左上角样本的x分量为0并且其y分量是0,则左邻近样本可以是p[-1][0]至p[-1][M+N-1],左上邻近样本可以是p[-1][-1],并且上邻近样本可以是p[0][-1]至p[M+N-1][-1]。
编码设备基于当前块的目标样本的位置和帧内预测模式的预测角度,导出用于邻近样本当中的目标样本的预测的参考样本(S1320)。编码设备可以基于当前块的目标样本的位置和帧内预测模式的预测角度导出参考样本相对于目标样本的位置,并且当参考样本的位置是分数样本位置时,编码设备可以将位于基于当前块的目标样本的位置和帧内预测模式的预测角度所导出的位置附近的邻近样本作为目标样本的参考样本导出。即,编码设备可以基于当前块的目标样本的位置和帧内预测模式的预测角度来导出多个邻近样本作为目标样本的参考样本。例如,可以导出四个邻近样本作为目标样本的参考样本。在此,目标样本可以表示在其上执行帧内预测的当前块中的样本。可以基于上述表1来导出帧内预测模式的预测角度,并且intraPredAngle可以是指示从帧内预测模式导出的预测角度的变量。
编码设备确定用于目标样本的内插滤波器(S1330)。编码设备可以基于当前块的大小和/或当前块的帧内预测模式来确定用于目标样本的内插滤波器。而且,例如,当参考样本的位置是分数样本位置时,即,例如,当导出多个参考样本时,可以确定内插滤波器。
例如,可以基于当前块的大小来确定用于目标样本的内插滤波器。例如,如果当前块的大小是4×4,则可以将复杂的内插滤波器确定为目标样本的内插滤波器。具体地,当当前块的大小是4×4时,立方滤波器可以被确定为目标样本的内插滤波器。立方滤波器是复杂的内插滤波器之一,并且立方滤波器可称为样条滤波器。
如果当前块是正方形块,则宽度和高度彼此相等。即,因为当前块是具有N×N大小的正方形块,所以对于任何预测方向的定向帧内预测模式,选择内插滤波器时的参考大小(即,参考值)可以为N。同时,如果当前块是非正方形块,即,如果当前块是具有M×N大小的非正方形块,则当当前块的帧内预测模式是具有垂直方向性帧内预测模式时,用于选择内插滤波器的参考块的大小(即,参考值)可以是M。类似地,如果当前块是具有M×N大小的非正方形块,并且当前块的帧内预测模式是具有水平方向性帧内预测模式,则作为用于选择内插滤波器的参考的当前块的大小(即,参考值)可以是N。可替选地,相反,如果当前块具有M×N大小和当前块的帧内预测模式是具有垂直方向性帧内预测模式,则可以基于N来选择当前块的内插滤波器,并且类似地,如果当前块具有的M×N大小的非正方形块并且当前块的帧内预测模式是具有水平方向性帧内预测模式,则可以基于M来选择当前块的内插滤波器。然而,在稍后描述的具体示例中,当具有垂直方向性预测模式应用于具有M×N大小的当前块时,作为用于选择内插滤波器的参考的当前块的大小可以由M表示,并且类似地,如果具有水平方向性帧内预测模式被应用于当前块时,当前块的大小可以用N表示。这里,当帧内预测模式包括65个定向帧内预测模式和两个非定向帧内预测模式时,具有垂直方向性的帧内预测模式可以表示帧内预测模式#34至#66,并且具有水平方向性的帧内预测模式可以表示帧内预测模式#2至#33。
例如,可以确定由当前块的形状和帧内预测模式的方向性指示的当前块的大小是否小于特定值。如果当前块的大小小于特定值,则可以将复杂的内插滤波器确定为目标样本的内插滤波器,并且如果当前块的大小不小于特定值,则具有低通滤波器效果的内插滤波器可以被确定为目标样本的内插滤波器。具体地,当当前块的大小小于特定值时,立方滤波器可以被确定为目标样本的内插滤波器。如果当前块的大小不小于特定值,则可以将高斯滤波器确定为目标样本的内插滤波器。可替选地,当当前块的大小不小于特定值时,可以将线性滤波器确定为目标样本的内插滤波器。具有低通滤波器效果的内插滤波器可以包括高斯滤波器和线性滤波器。这里,特定值可以被设置为4、8、16、32等。
具体地,当当前块的宽度和高度相等时(即,当当前块是正方形块时),可以确定当前块的宽度是否小于特定值,并且当当前块的宽度小于特定值时,可以将目标样本的内插滤波器导出为目标样本的立方滤波器,并且当当前块的宽度不小于特定值时,目标样本的内插滤波器可以被导出为高斯滤波器。
另外,当当前块的宽度和高度不同(即,当当前块是非正方形块时)并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式时,可以确定当前块的宽度是否小于特定值。当当前块的宽度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,并且当当前块的宽度不小于特定值时,可以将目标样本的内插滤波器导出为高斯滤波器。
另外,当当前块的宽度和高度不同(即,当当前块是非正方形块时)并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式时,可以确定当前块的高度是否小于特定值。当当前块的高度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,并且当当前块的高度不小于特定值时,可以将目标块的内插滤波器导出为高斯滤波器。
另外,当当前块的宽度和高度不同(即,当当前块是非正方形块时)并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式时,可以确定当前块的高度是否小于特定值。当当前块的高度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,并且当当前块的高度不小于特定值时,可以将目标样本的内插滤波器导出为高斯滤波器。
另外,当当前块的宽度和高度不同(也就是说,当当前块是非正方形块并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式时,可以确定当前块的宽度是否小于特定值。当当前块的宽度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,并且当当前块的宽度不小于特定值时,可以将目标样本的内插滤波器导出为高斯滤波器。
在另一示例中,可以基于当前块的帧内预测模式来确定用于目标样本的内插滤波器。
例如,可以确定当前块的帧内预测模式的预测角度是否小于特定值。如果帧内预测模式的预测角度小于特定值,则可以将复杂的内插滤波器确定为目标样本的内插滤波器,并且如果帧内预测模式的预测角度不小于特定值,则可以将具有低通滤波效果的内插滤波器确定为目标样本的内插滤波器。具体地,当帧内预测模式的预测角度小于特定值时,可以确定立方滤波器作为目标样本的内插滤波器,并且当帧内预测模式的预测角度不小于特定值时,可以将立方滤波器确定为目标样本的内插滤波器。可替选地,当帧内预测模式的预测角不小于特定值时,可以将线性滤波器确定为用于目标样本的内插滤波器。具有低通滤波器效果的内插滤波器可以包括高斯滤波器和线性滤波器。这里,特定值可以被设置为4、8、16、32等。可以基于上述表1导出帧内预测模式的预测角度,并且intraPredAngle可以指示帧内预测模式的预测角度。另外,例如,可以将特定值设置为11。
在另一示例中,可以基于当前块的大小和帧内预测模式来确定用于目标样本的内插滤波器。如果当前块是正方形块,则宽度和高度彼此相等。即,因为当前块是具有N×N大小的正方形块,所以对于任何预测方向的定向帧内预测模式,选择内插滤波器时的参考大小(即,参考值)可以为N。同时,如果当前块是非正方形块,即,如果当前块是具有M×N大小的非正方形块,则当当前块的帧内预测模式是具有垂直方向性的帧内预测模式时,用于选择内插滤波器的参考块的大小(即,参考值)可以是M。类似地,如果当前块是具有M×N大小的非正方形块并且当前块的帧内预测模式是具有水平方向性的帧内预测模式,则作为用于选择内插滤波器的参考的当前块的大小(即,参考值)可以是N。可替选地,相反,如果当前块是具有M×N大小的非正方形块并且当前块的帧内预测模式是具有垂直方向性的帧内预测模式,则可以基于N来选择当前块的内插滤波器,并且类似地,如果当前块是具有的M×N大小的非正方形块并且当前块的帧内预测模式是具有水平方向性的帧内预测模式,可以基于M来选择当前块的内插滤波器。然而,在稍后描述的具体示例中,当具有垂直方向性的帧内预测模式应用于具有M×N大小的当前块时,作为用于选择内插滤波器的参考的当前块的大小可以由M表示,并且类似地,如果具有水平方向性的帧内预测模式应用于当前块时,当前块的大小可以用N表示。这里,当帧内预测模式包括65个定向帧内预测模式和两个非定向帧内预测模式时,具有垂直方向性的帧内预测模式可以表示帧内预测模式#34至#66,并且具有水平方向性的帧内预测模式可以表示帧内预测模式#2至#33。
例如,编码设备可以确定当前块的大小是否小于第一特定值,并且当当前块的大小不小于第一特定值时,编码设备可以确定具有低通滤波器效果的内插滤波器作为目标样本的内插滤波器。具体地,当当前块的大小不小于第一特定值时,编码设备可以将高斯滤波器确定为内插滤波器。可替选地,当当前块的大小不小于第一特定值时,编码设备可以将线性滤波器确定为内插滤波器。
具体地,当当前块的宽度和高度彼此相等时,编码设备可以确定当前块的宽度是否小于第一特定值。当当前块的宽度不小于第一特定值时,编码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则编码设备可以确定当前块的宽度是否小于第一特定值。当当前块的宽度不小于第一特定值时,编码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则编码设备可以确定当前块的高度是否小于第一特定值。当当前块的高度不小于第一特定值时,编码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则编码设备可以确定当前块的高度是否小于第一特定值。当当前块的高度不小于第一特定值时,编码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同,并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则编码设备可以确定当前块的宽度是否小于第一特定值。当当前块的宽度不小于第一特定值时,编码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的大小小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则编码设备可以将复杂的内插滤波器确定为目标样本的内插滤波器。具体地,当当前块的大小小于第一特定值时,编码设备可以将立方滤波器确定为内插滤波器。
具体地,当当前块的宽度和高度相等并且当前块的宽度小于第一特定值时,编码设备可以确定当前的帧内预测模式的预测角度是否块小于第二特定值,并且当帧内预测模式的预测角度小于第二特定值时,编码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同,并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则编码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则编码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同,并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则编码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则编码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则编码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则编码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则编码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则编码设备可以将立方滤波器确定为内插滤波器。
如果帧内预测模式的预测角不小于第二特定值,则编码设备可以将具有低通滤波器效果的内插滤波器确定为目标样本的内插滤波器。具体地,如果帧内预测模式的预测角度不小于第二特定值,则编码设备可以将高斯滤波器确定为内插滤波器。可替选地,如果帧内预测模式的预测角度不小于第二特定值,则编码设备可以将线性滤波器确定为内插滤波器。
具体地,如果当前块的宽度和高度相等并且当前块的宽度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值,并且如果帧内预测模式的预测角度不小于第二特定值,则编码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则编码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度不小于第二特定值,则编码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则编码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度不小于第二特定值,则编码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则编码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度不小于第二特定值,则编码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则编码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则编码设备可以确定当前块的帧内预测模式的预测角度是否不小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则编码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
在另一示例中,当前块可以被划分为多个区域,并且可以基于每个区域与当前块的邻近样本之间的距离来确定每个区域的内插滤波器。在这种情况下,可以导出用于目标样本的内插滤波器作为包括目标样本的区域的内插滤波器。另外,如果当前块的大小大于或等于特定大小,则可以将当前块划分为多个区域。具体地,可以将区域当中的比特定值更接近于当前块的邻近样本的区域的内插滤波器确定为复杂的内插滤波器,并且可以将区域当中的比该特定值更远离当前块的邻近样本的区域的内插滤波器确定为具有低通滤波器效果的内插滤波器。
同时,可以预先设置从当前块划分的多个区域的大小。可替选地,可以基于当前块的大小、帧内预测模式等来导出多个区域的大小。例如,在当前块的帧内预测模式是帧内预测模式#35至#66之一的情况下,可以将当前块的划分区域的大小导出为4×4大小。在此,如果当前块是具有16×16大小的块,则可以将当前块划分为具有4×4大小的区域,可以将复杂的内插滤波器确定为以栅格扫描顺序从#0到#7的区域的内插滤波器,并且具有低通滤波效果的内插滤波器可以被确定为用于其他区域的内插滤波器。例如,可以将区域当中的以栅格扫描顺序从#0至#7的区域的内插滤波器确定为立方滤波器,并且将其他区域的内插滤波器确定为高斯滤波器或线性滤波器。这里,根据栅格扫描顺序的具有4×4尺寸的16个区域的数目可以从上一行到下一行依次地顺序地导出,并且在每行中从左到右顺序地导出。即,可以将当前块的具有4×4大小的16个区域当中的第一行中包括的区域按照从左到右的顺序表示为区域#0、区域#1、区域#2和区域#3,第二行中包括的区域可以按照从左到右的顺序被表示为区域#4、区域#5、区域#6和区域#7,第三行中包括的区域可以按照从左到右的顺序被表示为区域#8、区域#9、区域#10和区域#11,并且第四行中包括的区域可以按照从左到右的顺序被表示为区域#12、区域#13、区域#14和区域#15。同时,可以生成当前块的划分区域的大小和指示针对每个区域的内插滤波器的信息。
在另一示例中,可以基于目标样本和参考样本之间的距离来确定目标样本的内插滤波器。可以基于目标样本的位置和当前块的帧内预测模式的预测角度来导出目标样本与参考样本之间的距离。例如,可以基于目标样本的位置和根据帧内预测模式的预测角度的三角函数值(例如,tanθ)来计算距离。可替选地,可以基于用于块的大小和帧内预测模式的预定义表来导出距离。可替选地,目标样本和参考样本之间的距离可以指示垂直距离或水平距离。即,可以基于垂直距离导出目标样本与参考样本之间的距离,或者可以基于水平距离导出目标样本与参考样本之间的距离。例如,如果目标样本和参考样本之间的距离指示垂直距离,则可以基于目标样本的y分量来导出该距离。另外,如果目标样本和参考样本之间的距离指示水平距离,则可以基于目标样本的x分量来导出该距离。
例如,编码设备可以导出目标样本和参考样本之间的距离,并确定该距离是否小于特定值。如果距离小于特定值,则编码设备可以将复杂的内插滤波器确定为目标样本的内插滤波器,并且如果距离不小于特定值,则编码设备可以确定具有低通滤波器效果的内插滤波器作为目标样本的内插滤波器。具体地,如果距离小于特定值,则编码设备可以将立方滤波器确定为目标样本的内插滤波器,并且如果距离不小于特定值,则编码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。可以基于当前块的大小来导出特定值。可替选地,可以基于当前块的帧内预测模式、当前块是否是正方形/非正方形块等来导出特定值。例如,当当前块的大小是N×N时,特定值可以被导出作为N/2。此外,可以生成关于特定值的信息,并对其进行熵编码和发送。
在另一个示例中,可以将多个内插滤波器确定为目标样本的内插滤波器。例如,用于目标样本的内插滤波器可以包括复杂内插滤波器之一和具有低通滤波器效果的内插滤波器之一。可替选地,用于目标样本的内插滤波器可以包括复杂内插滤波器之一和具有低通滤波器效果的两个内插滤波器。可替选地,用于目标样本的内插滤波器可以包括两个复杂的内插滤波器和具有低通滤波器效果的一个内插滤波器。具体地,用于目标样本的内插滤波器可以包括立方滤波器和高斯滤波器。
编码设备基于内插滤波器和参考样本来导出目标样本的预测样本(S1340)。编码设备可以基于目标样本的位置和帧内预测模式的预测角度来导出内插滤波器的滤波器系数,并且可以基于滤波器系数和参考样本来导出目标样本的预测样本。例如,可以导出当前块的邻近样本当中的四个邻近样本作为参考样本,并且可以导出内插滤波器的四个滤波器系数。编码设备可以基于滤波器系数对参考样本进行内插以导出预测样本。可以基于上述等式1导出预测样本。
此外,当多个内插滤波器被确定为用于目标样本的内插滤波器时,编码设备可以基于每个内插滤波器来导出(时间)预测样本,并且可以基于所导出的(时间)预测样本来导出目标样本的预测样本。例如,目标样本的预测样本可以通过对(时间)预测样本求平均来导出,或者可以通过对(时间)预测样本进行加权求和来导出。同时,可以基于当前块的大小、当前块的帧内预测模式、当前块的邻近样本值的方差等等来导出是否将多个内插滤波器确定为目标样本的内插滤波器。另外,可以生成指示是否将多个内插滤波器确定为目标样本的内插滤波器的标志。
例如,用于目标样本的内插滤波器可以包括立方滤波器和高斯滤波器。在这种情况下,编码设备可以基于目标样本的位置和帧内预测模式的预测角度来导出立方滤波器的滤波器系数,并且可以基于目标样本的位置以及帧内预测模式的预测角度来导出高斯滤波器的滤波器系数。编码设备可以基于立方滤波器的滤波器系数和参考样本来导出目标样本的第一预测样本,基于高斯滤波器和参考样本的滤波器系数来导出目标样本的第二预测样本,并基于第一预测样本和第二预测样本导出目标样本的预测样本。目标样本的预测样本可以通过对第一预测样本和第二预测样本求平均而导出。可替选地,可以通过对第一预测样本和第二预测样本进行加权求和来导出目标样本的预测样本。在这种情况下,第一预测样本的权重可以与目标样本与参考样本之间的距离成反比,并且第二预测样本的权重可以被导出为通过从1减去第一预测样本的权重而获得的值。可替选地,此处使用的第一权重和第二权重可以以整数为单位进行放大并导出,以避免小数点计算。
此外,例如,用于目标样本的内插滤波器可以包括立方滤波器和线性滤波器。在这种情况下,编码设备可以基于参考样本的位置来导出立方滤波器的滤波器系数,并且可以基于参考样本的位置来导出线性滤波器的滤波器系数。编码设备可以基于立方滤波器的滤波器系数和参考样本来导出目标样本的第一预测样本,可以基于线性滤波器的滤波器系数和参考样本来导出目标样本的第二预测样本,并基于第一预测样本和第二预测样本导出目标样本的预测样本。目标样本的预测样本可以通过对第一预测样本和第二预测样本求平均而导出。可替选地,可以通过对第一预测样本和第二预测样本进行加权求和来导出目标样本的预测样本。在这种情况下,第一预测样本的权重可以与目标样本与参考样本之间的距离成反比,并且第二预测样本的权重可以被导出为通过从1减去第一预测样本的权重而获得的值。可替选地,此处使用的第一权重和第二权重可以以整数为单位进行放大并导出,以避免小数点计算。
在另一示例中,如果将MPM(最可能模式)模式应用于当前块以基于当前块的邻近块的帧内预测模式导出当前块的帧内预测模式并且当前块的帧内预测模式是定向帧内预测模式,而不是平面模式或DC模式,则可以基于通过邻近MPM模式选择的邻近块来确定用于目标样本的内插滤波器。即,可以导出在邻近块中使用的内插滤波器作为目标样本的内插滤波器。如果将MPM模式应用于当前块,则编码设备可以基于针对当前块的左或上邻近块的帧内预测模式来确定MPM列表,并且可以基于MPM列表来确定帧内预测模式。
编码设备生成当前块的预测信息,对预测信息进行编码,并输出编码后的预测信息(S1350)。编码设备可以对当前块的预测信息进行编码,并以比特流的形式输出编码信息。预测信息可以包括关于当前块的帧内预测模式的信息。编码设备可以生成关于指示帧内预测模式的帧内预测模式的信息,对帧内预测模式信息进行编码,并且以比特流的形式输出该信息。帧内预测模式信息可以包括直接指示当前块的帧内预测模式的信息,或者可以包括指示基于当前块的左或上块的帧内预测模式导出的帧内预测模式候选列表中的任意一个候选的信息。帧内预测模式候选列表可以指示MPM列表。
另外,当当前块被划分为多个区域时,预测信息可以包括指示当前块的划分区域的大小以及每个区域的内插滤波器的信息。另外,当基于当前块的大小、当前块的帧内预测模式或目标样本与参考样本之间的距离选择用于目标样本的内插滤波器时,预测信息可以包括关于用于选择目标样本的内插滤波器的特定值的信息。当基于当前块的大小和当前块的帧内预测模式选择内插滤波器时,预测信息可以包括关于第一特定值的信息和关于第二特定值的信息。此外,预测信息可以包括指示是否多个内插滤波器被确定为目标样本的内插滤波器的标志。当标记指示将多个内插滤波器确定为目标样本的内插滤波器时,可以基于多个内插滤波器来导出目标样本的预测样本,并且当标记指示多个内插滤波器不被确定为目标样本的内插滤波器时,不可以基于多个内插滤波器来导出用于目标样本的预测样本。例如,当标志的值为1时,标志可以指示多个内插滤波器被确定为目标样本的内插滤波器,而当标志的值为0时,标志可以指示多个内插滤波器不被确定为目标样本的内插滤波器。可以通过视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)或切片片段报头来用信号发送预测信息,或者可以基于块用信号发送预测信息。
图14示意性地图示根据本公开的解码设备的视频解码方法。图14中公开的方法可以由图4中所公开的解码设备执行。具体地,例如,图14的步骤S1400至S1440可以由解码设备的预测器执行。
解码设备导出当前块的帧内预测模式(S1400)。解码设备可以通过比特流获得关于当前块的预测信息。预测信息可以包括直接指示当前块的帧内预测模式的信息,或者可以包括指示基于当前块的左或上块的帧内预测模式导出的帧内预测模式候选列表中的任意一个候选的信息。帧内预测模式候选列表可以被称为MPM候选列表。解码设备可以基于所获得的预测信息来导出当前块的帧内预测模式。帧内预测模式可以是两个非定向预测模式和33个方向性预测模式之一。如上所述,两个非定向预测模式可以包括DC内模式和平面内模式。可替选地,帧内预测模式可以是两个非定向帧内预测模式和65个定向帧内预测模式之一。如上所述,两个非定向预测模式可以包括DC内模式和平面内模式。另外,65个定向帧内预测模式可以包括垂直定向帧内预测模式和水平定向帧内预测模式。垂直定向帧内预测模式可以包括帧内预测模式#34至帧内预测模式#66,并且水平定向帧内预测模式可以包括帧内预测模式#2至帧内预测模式#33。
解码设备导出包括当前块的左邻近样本和上邻近样本的邻近样本(S1410)。解码设备可以导出当前块的邻近样本。邻近样本可以包括左邻近样本和上邻近样本。另外,邻近样本可以包括左上样本。可以从在解码当前块时已经重建的邻近块中导出左邻近样本、左上邻近样本和上邻近样本。可以导出当前块的2N个上邻近样本、左上邻近样本和2N个左邻近样本。如果当前块的大小是N×N并且当前块的左上样本的x分量是0并且其y分量是0,则左邻近样本可以是p[-1][0]至p[-1][2N-1],左上邻样本可以是p[-1][-1],并且上邻样本可以是p[0][-1]至p[2N-1][-1]。
可替选地,当当前块的大小是M×N并且当前块的左上样本的x分量是0并且其y分量是0时,可以导出当前块的M+N个上邻近样本、左上邻近样本、以及M-N个邻近样本。如果当前块的大小具有M×N的非正方形形式并且当前块的左上角样本的x分量为0并且其y分量是0,则左邻近样本可以是p[-1][0]至p[-1][M+N-1],左上邻近样本可以是p[-1][-1],并且上邻近样本可以是p[0][-1]至p[M+N-1][-1]。
解码设备基于当前块的目标样本的位置和帧内预测模式的预测角度,导出邻近样本当中的用于预测目标样本的参考样本(S1420)。解码设备可以基于当前块的目标样本的位置和帧内预测模式的预测角度导出参考样本相对于目标样本的位置,并且当参考样本的位置是分数样本位置时,解码设备可以导出位于基于当前块的目标样本的位置和帧内预测模式的预测角度所导出的位置附近的邻近样本作为目标样本的参考样本。即,解码设备可以基于当前块的目标样本的位置和帧内预测模式的预测角度来导出多个邻近样本作为目标样本的参考样本。例如,可以导出四个邻近样本作为目标样本的参考样本。在此,目标样本可以表示在其上执行帧内预测的当前块中的样本。可以基于上述表1来导出帧内预测模式的预测角度,并且intraPredAngle可以是指示从帧内预测模式导出的预测角度的变量。
解码设备确定用于目标样本的内插滤波器(S1430)。解码设备可以基于当前块的大小和/或当前块的帧内预测模式来确定用于目标样本的内插滤波器。另外,例如,当参考样本的位置是分数样本位置时,可以确定内插滤波器。
例如,可以基于当前块的大小来确定用于目标样本的内插滤波器。例如,如果当前块的大小是4×4,则可以将复杂的内插滤波器确定为目标样本的内插滤波器。具体地,当当前块的大小是4×4时,立方滤波器可以被确定为目标样本的内插滤波器。立方滤波器是复杂的内插滤波器之一,并且立方滤波器可以被称为样条滤波器。
此外,如果当前块是正方形块,则宽度和高度彼此相等。即,因为当前块是具有N×N大小的正方形块,所以对于任何预测方向的定向帧内预测模式,选择内插滤波器时的参考大小(即参考值)可以为N。同时,如果当前块是非正方形块,即,如果当前块是具有M×N大小的非正方形块,则当当前块的帧内预测模式是具有垂直方向性的帧内预测模式时,用于选择内插滤波器的参考块的大小(即,参考值)可以是M。类似地,如果当前块是具有M×N大小的非正方形块,并且当前块的帧内预测模式是具有水平方向性的帧内预测模式,则作为用于选择内插滤波器的参考的当前块的大小(即,参考值)可以是N。可替选地,相反,如果当前块是具有M×N大小的非正方形块并且当前块的帧内预测模式是具有垂直方向性的帧内预测模式,则可以基于N来选择当前块的内插滤波器,并且类似地,如果当前块是具有的M×N大小的非正方形块并且当前块的帧内预测模式是具有水平方向性的帧内预测模式,则可以基于M来选择当前块的内插滤波器。然而,在稍后描述的具体示例中,当具有垂直方向性的帧内预测模式应用于具有M×N大小的当前块时,作为用于选择内插滤波器的参考的当前块的大小可以由M表示,并且类似地,如果具有水平方向性的帧内预测模式应用于当前块,则当前块的大小可以用N表示。这里,当帧内预测模式包括65个定向帧内预测模式和两个非定向帧内预测模式时,具有垂直方向性的帧内预测模式可以表示帧内预测模式#34至#66,并且具有水平方向性的帧内预测模式可以表示帧内预测模式#2至#33。
此外,例如,可以确定由当前块的形状和帧内预测模式的方向性指示的当前块的大小是否小于特定值。如果当前块的大小小于特定值,则可以将复杂的内插滤波器确定为目标样本的内插滤波器,并且如果当前块的大小不小于特定值,则具有低通滤波器效果的内插滤波器可以被确定为目标样本的内插滤波器。具体地,当当前块的大小小于特定值时,立方滤波器可以被确定为目标样本的内插滤波器。如果当前块的大小不小于特定值,则可以将高斯滤波器确定为目标样本的内插滤波器。可替选地,当当前块的大小不小于特定值时,可以将线性滤波器确定为目标样本的内插滤波器。具有低通滤波器效果的内插滤波器可以包括高斯滤波器和线性滤波器。这里,特定值可以被设置为4、8、16、32等。另外,当前块的预测信息可以包括关于特定值的信息。在这种情况下,可以基于关于特定值的信息来导出特定值。
具体地,当当前块的宽度和高度在大小上相等时(即,当当前块是正方形块时),可以确定当前块的宽度是否小于特定值,并且当当前块的宽度小于特定值时,可以将目标样本的内插滤波器导出为目标样本的立方滤波器,并且当当前块的宽度不小于特定值时,用于目标样本的内插滤波器可以被导出为高斯滤波器。
另外,当当前块的宽度和高度不同(即,当当前块是非正方形块时),并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式时,可以确定当前块的宽度是否小于特定值。当当前块的宽度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,而当当前块的宽度不小于特定值时,可以将目标样本的内插滤波器导出作为高斯滤波器。
另外,当当前块的宽度和高度不同(即,当当前块是非正方形块时),并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式时,可以确定当前块的高度是否小于特定值。当当前块的高度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,而当当前块的高度不小于特定值时,可以将目标样本的内插滤波器导出为高斯滤波器。
另外,当当前块的宽度和高度不同(即,当当前块是非正方形块时),并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式时,可以确定当前块的高度是否小于特定值。当当前块的高度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,而当当前块的高度不小于特定值时,可以将目标样本的内插滤波器导出为高斯滤波器。
另外,当当前块的宽度和高度不同(也就是说,当当前块是非正方形块时),并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式时,可以确定当前块的宽度是否小于特定值。当当前块的宽度小于特定值时,可以将目标样本的内插滤波器导出为立方滤波器,而当当前块的宽度不小于特定值时,可以将目标样本的内插滤波器导出为高斯滤波器。
在另一示例中,可以基于当前块的帧内预测模式来确定用于目标样本的内插滤波器。
例如,可以确定当前块的帧内预测模式的预测角度是否小于特定值。如果帧内预测模式的预测角度小于特定值,则可以确定复杂内插滤波器作为目标样本的内插滤波器,并且如果帧内预测模式的预测角度不小于特定值,则可以将具有低通滤波效果的内插滤波器确定为目标样本的内插滤波器。具体地,当帧内预测模式的预测角度小于特定值时,可以确定立方滤波器作为目标样本的内插滤波器,并且当帧内预测模式的预测角度不小于特定值时,可以将高斯滤波器确定为目标样本的内插滤波器。可替选地,当帧内预测模式的预测角度不小于特定值时,可以将线性滤波器确定为用于目标样本的内插滤波器。具有低通滤波器效果的内插滤波器可以包括高斯滤波器和线性滤波器。这里,特定值可以被设置为4、8、16、32等。可以基于上述表1导出帧内预测模式的预测角度,并且intraPredAngle可以指示帧内预测模式的预测角度。此外,例如,可以将特定值设置为11。此外,用于当前块的预测信息可以包括关于特定值的信息。在这种情况下,可以基于关于特定值的信息来导出特定值。
在另一示例中,可以基于当前块的大小和帧内预测模式来确定用于目标样本的内插滤波器。
例如,解码设备可以确定当前块的大小是否小于第一特定值,并且当当前块的大小不小于第一特定值时,解码设备可以确定具有低通滤波器效果的内插滤波器作为目标样本的内插滤波器。具体地,当当前块的大小不小于第一特定值时,解码设备可以将高斯滤波器确定为内插滤波器。可替选地,当当前块的大小不小于第一特定值时,解码设备可以将线性滤波器确定为内插滤波器。
具体地,当当前块的宽度和高度彼此相等时,解码设备可以确定当前块的宽度是否小于第一特定值。当当前块的宽度不小于第一特定值时,解码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同,并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则解码设备可以确定当前块的宽度是否小于第一特定值。当当前块的宽度不小于第一特定值时,解码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则解码设备可以确定当前块的高度是否小于第一特定值。当当前块的高度不小于第一特定值时,解码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则解码设备可以确定当前块的高度是否小于第一特定值。当当前块的高度不小于第一特定值时,解码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的宽度和高度彼此不同,并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则解码设备可以确定当前块的宽度是否小于第一特定值。当当前块的宽度不小于第一特定值时,解码设备可以将高斯滤波器或线性滤波器确定为目标样本的内插滤波器。
如果当前块的大小小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则解码设备可以将复杂的内插滤波器确定为目标样本的内插滤波器。具体地,当帧内预测模式的预测角度小于第二特定值时,解码设备可以将立方滤波器确定为内插滤波器。
具体地,当当前块的宽度和高度相等并且当前块的宽度小于第一特定值时,解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值,并且当帧内预测模式的预测角度小于第二特定值时,解码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同,并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则解码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则解码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则解码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则解码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则解码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则解码设备可以将立方滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则解码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则解码设备可以将立方滤波器确定为内插滤波器。
如果帧内预测模式的预测角不小于第二特定值,则解码设备可以将具有低通滤波器效果的内插滤波器确定为目标样本的内插滤波器。具体地,如果帧内预测模式的预测角不小于第二特定值,则解码设备可以将高斯滤波器确定为内插滤波器。可替选地,如果帧内预测模式的预测角度不小于第二特定值,则解码设备可以将线性滤波器确定为内插滤波器。
具体地,如果当前块的宽度和高度相等并且当前块的宽度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值,并且如果帧内预测模式的预测角度不小于第二特定值,则解码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则解码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度不小于第二特定值,则解码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则解码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度不小于第二特定值,则解码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同,并且当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式,则解码设备可以确定当前块的高度是否小于第一特定值。如果当前块的高度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否小于第二特定值。如果帧内预测模式的预测角度不小于第二特定值,则解码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
如果当前块的宽度和高度彼此不同并且当前块的帧内预测模式是具有水平方向性的定向帧内预测模式,则解码设备可以确定当前块的宽度是否小于第一特定值。如果当前块的宽度小于第一特定值,则解码设备可以确定当前块的帧内预测模式的预测角度是否不小于第二特定值。如果帧内预测模式的预测角度小于第二特定值,则解码设备可以将高斯滤波器或线性滤波器确定为内插滤波器。
同时,用于当前块的预测信息可以包括关于第一特定值的信息和关于第二特定值的信息。在这种情况下,可以基于关于第一特定值的信息来导出第一特定值,并且可以基于关于第二特定值的信息来导出第二特定值。可替选地,可以基于预设值来导出第一特定值和第二特定值。
在另一示例中,当前块可以被划分为多个区域,并且可以基于每个区域与当前块的邻近样本之间的距离来确定每个区域的内插滤波器。在这种情况下,可以导出用于目标样本的内插滤波器作为包括目标样本的区域的内插滤波器。另外,如果当前块的大小大于或等于特定大小,则可以将当前块划分为多个区域。具体地,可以将区域中的比当前值更接近于当前块的邻近样本的区域的内插滤波器确定为复杂的内插滤波器并且在这些区域中的比该特定值更加远离当前块的邻近样本的区域的内插滤波器可以被确定为具有低通滤波器效果的内插滤波器。
同时,可以预设从当前块划分的多个区域的大小。可替选地,可以基于当前块的大小、帧内预测模式等来导出多个区域的大小。例如,在当前块的帧内预测模式是帧内预测模式#35至#66之一的情况下,可以将当前块的划分区域的大小导出为4×4大小。在此,如果当前块是具有16×16大小的块,则可以将当前块划分为具有4x4大小的区域,可以将复杂的内插滤波器确定为按照栅格扫描顺序从#0到#7的区域的内插滤波器并且具有低通滤波效果的内插滤波器可以被确定为用于其他区域的内插滤波器。例如,可以将区域中的按照栅格扫描顺序#0到#7的区域的内插滤波器确定为立方滤波器,并且将其他区域的内插滤波器确定为高斯滤波器或线性滤波器。这里,根据栅格扫描顺序的具有4×4大小的16个区域的数目可以从上一行到下一行依次地顺序地导出,并且在每行中从左到右顺序地导出。即,可以将当前块的具有4×4大小的16个区域当中的第一行中包括的区域按照从左到右的顺序表示为区域#0、区域#1、区域#2和区域#3,第二行中包括的区域可以按照从左到右的顺序被表示为区域#4、区域#5、区域#6和区域#7,第三行中包括的区域可以按照从左到右的顺序表示为区域#8、区域#9、区域#10和区域#11,并且第四行中包括的区域可以按照从左到右的顺序被表示为区域#12、区域#13、区域#14和区域#15。同时,可以接收用于当前块的预测信息,并且该预测信息可以包括指示当前块的每个划分区域的大小的信息和指示每个区域的内插滤波器的信息。在这种情况下,可以基于指示当前块的划分区域的大小的信息和指示各个区域的内插滤波器的信息来导出当前块的划分区域的大小以及用于各个区域的内插滤波器。
在另一个示例中,可以基于目标样本和参考样本之间的距离来确定目标样本的内插滤波器。可以基于目标样本的位置和当前块的帧内预测模式的预测角度来导出目标样本与参考样本之间的距离。例如,可以基于目标样本的位置和根据帧内预测模式的预测角度的三角函数值(例如,tanθ)来计算距离。可替选地,可以基于用于块的大小和帧内预测模式的预定义表来导出距离。可替选地,目标样本和参考样本之间的距离可以指示垂直距离或水平距离。如果目标样本和参考样本之间的距离指示垂直距离,则可以基于目标样本的y分量来导出该距离。另外,如果目标样本和参考样本之间的距离指示水平距离,则可以基于目标样本的x分量来导出该距离。
例如,解码设备可以导出目标样本和参考样本之间的距离,并确定该距离是否小于特定值。如果距离小于特定值,则解码设备可以将复杂内插滤波器确定为目标样本的内插滤波器,并且如果距离不小于特定值,则解码设备可以确定具有低通滤波器效果的内插滤波器作为目标样本的内插滤波器。具体地,如果距离小于特定值,则解码设备可以将立方滤波器确定为目标样本的内插滤波器,并且如果距离不小于特定值,则解码设备可以确定高斯滤波器或线性滤波器作为目标样本的内插滤波器。可以基于当前块的大小来导出特定值。可替选地,可以基于当前块的帧内预测模式、当前块是否是正方形/非正方形块等来导出特定值。例如,当当前块的大小是N×N时,特定值可以被导出为N/2。此外,可以接收针对当前块的预测信息,并且该预测信息可以包括关于特定值的信息。在这种情况下,可以基于关于特定值的信息来导出特定值。
在另一个示例中,可以将多个内插滤波器确定为目标样本的内插滤波器。例如,用于目标样本的内插滤波器可以包括复杂内插滤波器之一和具有低通滤波器效果的内插滤波器之一。可替选地,用于目标样本的内插滤波器可以包括复杂内插滤波器之一和具有低通滤波器效果的两个内插滤波器。可替选地,用于目标样本的内插滤波器可以包括两个复杂的内插滤波器和具有低通滤波器效果的一个内插滤波器。具体地,用于目标样本的内插滤波器可以包括立方滤波器和高斯滤波器。同时,可以接收用于当前块的预测信息,并且预测信息可以包括指示是否多个内插滤波器被确定为用于目标样本的内插滤波器的标志。可以基于该标志来确定是否确定多个内插滤波器。例如,当标志指示多个内插滤波器被确定为用于目标样本的内插滤波器时,可以基于多个内插滤波器来导出用于目标样本的预测样本,并且当标志指示多个内插滤波器没有被确定为用于目标样本的内插滤波器时,不可以基于多个内插滤波器导出用于目标样本的预测样本。例如,当标志的值为1时,标志可以指示多个内插滤波器被确定为目标样本的内插滤波器,而当标志的值为0时,标志可以指示多个内插滤波器没有被确定为目标样本的内插滤波器。
解码设备基于内插滤波器和参考样本来导出目标样本的预测样本(S1440)。解码设备可以基于目标样本的位置和帧内预测模式的预测角度来导出内插滤波器的滤波器系数,并且可以基于滤波器系数和参考样本来导出目标样本的预测样本。例如,可以导出当前块的邻近样本当中的四个邻近样本作为参考样本,并且可以导出内插滤波器的四个滤波器系数。解码设备可以基于滤波器系数对参考样本进行内插,以导出预测样本。可以基于上述等式1导出预测样本。
此外,当多个内插滤波器被确定为用于目标样本的内插滤波器时,解码设备可以基于每个内插滤波器来导出(时间)预测样本,并且可以基于所导出的(时间)预测样本来导出目标样本的预测样本。例如,目标样本的预测样本可以通过对(时间)预测样本求平均来导出,或者可以通过对(时间)预测样本进行加权求和来导出。可以基于当前块的大小、当前块的帧内预测模式、当前块的邻近样本值的方差等等来导出是否将多个内插滤波器确定为目标样本的内插滤波器。另外,可以接收指示多个内插滤波器是否被确定为目标样本的内插滤波器的标志,并且可以基于该标记来确定是否将多个内插滤波器确定为目标样本的内插滤波器。
例如,用于目标样本的内插滤波器可以包括立方滤波器和高斯滤波器。在这种情况下,解码设备可以基于目标样本的位置和帧内预测模式的预测角度来导出立方滤波器的滤波器系数,并且可以基于目标样本的位置以及帧内预测模式的预测角度来导出高斯滤波器的滤波器系数。解码设备可以基于立方滤波器的滤波器系数和参考样本来导出目标样本的第一预测样本,可以基于高斯滤波器的滤波器系数和参考样本来导出目标样本的第二预测样本,并基于第一预测样本和第二预测样本导出目标样本的预测样本。目标样本的预测样本可以通过对第一预测样本和第二预测样本求平均而导出。可替选地,可以通过对第一预测样本和第二预测样本进行加权求和来导出目标样本的预测样本。在这种情况下,第一预测样本的权重可以与目标样本与参考样本之间的距离成反比,并且第二预测样本的权重可以被导出为通过从1减去第一预测样本的权重而获得的值。可替选地,此处使用的第一权重和第二权重可以以整数为单位进行放大并导出,以避免小数点计算。
此外,例如,用于目标样本的内插滤波器可以包括立方滤波器和线性滤波器。在这种情况下,解码设备可以基于参考样本的位置来导出立方滤波器的滤波器系数,并且可以基于参考样本的位置来导出线性滤波器的滤波器系数。解码设备可以基于立方滤波器的滤波器系数和参考样本来导出目标样本的第一预测样本,可以基于线性滤波器的滤波器系数和参考样本来导出目标样本的第二预测样本,并基于第一预测样本和第二预测样本导出目标样本的预测样本。目标样本的预测样本可以通过对第一预测样本和第二预测样本求平均而导出。可替选地,可以通过对第一预测样本和第二预测样本进行加权求和来导出目标样本的预测样本。在这种情况下,第一预测样本的权重可以与目标样本与参考样本之间的距离成反比,并且第二预测样本的权重可以被导出为通过从1减去第一预测样本的权重而获得的值。可替选地,此处使用的第一权重和第二权重可以以整数为单位进行放大并导出,以避免小数点计算。
在另一示例中,如果将MPM(最可能模式)模式应用于当前块以基于当前块的邻近块的帧内预测模式来导出当前块的帧内预测模式并且当前块的帧内预测模式是定向帧内预测模式,而不是平面模式或DC模式,则可以基于通过邻近MPM模式选择的邻近块来确定用于目标样本的内插滤波器。即,可以导出在邻近块中使用的内插滤波器作为目标样本的内插滤波器。如果将MPM模式应用于当前块,则解码设备可以基于针对当前块的左或上邻近块的帧内预测模式来确定MPM列表,并且可以基于MPM列表来确定帧内预测模式。
尽管在附图中未示出,但是解码设备可以根据预测模式将预测样本用作重建样本,或者将残余样本添加到预测样本以生成重建样本。当存在目标块的残差样本时,解码设备可以接收关于目标块的残差的信息,并且关于残差的信息可以被包括在关于重建样本的信息中。关于残差的信息可以包括与残差样本有关的变换系数。解码设备可以基于残差信息来导出目标块的残差样本(或残差样本阵列)。解码设备可以基于预测样本和残余样本来生成重建样本,并且可以基于重建样本来导出重建块或重建图片。此后,为了根据需要增强主观/客观图像质量,如上所述,解码设备可以将诸如去块滤波和/或SAO过程的环路滤波过程应用于重建的图片。
此外,解码设备可以通过比特流接收针对当前块的预测信息,并且可以对其进行熵解码。预测信息可以包括关于当前块的帧内预测模式的信息。解码设备可以获得关于指示帧内预测模式的帧内预测模式的信息。帧内预测模式信息可以包括直接指示当前块的帧内预测模式的信息,或者可以包括指示基于当前块的左或上块的帧内预测模式导出的帧内预测模式候选列表中的任意一个候选的信息。帧内预测模式候选列表可以指示MPM列表。
另外,当当前块被划分为多个区域时,预测信息可以包括指示当前块的划分区域的大小和每个区域的内插滤波器的信息。另外,当基于当前块的大小、当前块的帧内预测模式或目标样本与参考样本之间的距离选择用于目标样本的内插滤波器时,预测信息可以包括关于用于选择目标样本的内插滤波器的特定值的信息。当基于当前块的大小和当前块的帧内预测模式选择内插滤波器时,预测信息可以包括关于第一特定值的信息和关于第二特定值的信息。此外,预测信息可以包括指示是否多个内插滤波器被确定为目标样本的内插滤波器的标志。当标志指示将多个内插滤波器确定为目标样本的内插滤波器时,可以基于多个内插滤波器来导出目标样本的预测样本,并且当标志指示多个内插滤波器没有被确定为用于目标样本的内插滤波器时,不可以基于多个内插滤波器来导出目标样本的预测样本。例如,当标志的值为1时,标志可以指示多个内插滤波器被确定为目标样本的内插滤波器,而当标志的值为0时,标志可以指示多个内插滤波器没有被确定为目标样本的内插滤波器。可以通过视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)或切片片段报头来用信号发送预测信息,或者可以基于块为用信号发送预测信息。
根据上述本公开,可以基于根据当前块的大小、目标样本与参考样本之间的距离和/或预测模式(预测角度)而导出的内插滤波器,对目标样本执行预测,由此可以准确地生成目标样本的分数样本位置的参考样本,以增强当前块的预测精度,并且可以减少当前块的残差以增强编译效率。
此外,根据本公开,因为可以基于上述各种条件来选择用于目标样本的内插滤波器,所以可以减少与选择内插滤波器有关的信息的比特量,从而可以增强当前块的预测精度,并且可以提高当前块的编译效率。
在上述实施例中,基于具有一系列步骤或框的流程图来描述方法。本公开不限于以上步骤或块的顺序。如上所述,一些步骤或块可以同时发生或以与其他步骤或块不同的顺序发生。此外,本领域的技术人员将理解,以上流程图中所示的步骤不是排他的,可以包括其他步骤,或者在不影响本公开的范围的情况下可以删除流程图中的一个或多个步骤。
上述根据本公开的方法可以以软件实现。根据本公开的编码设备和/或解码设备可以被包括在执行图像处理的设备,例如,电视、计算机、智能电话、机顶盒或显示设备中。
当本公开的实施例以软件实现时,上述方法可以由执行上述功能的模块(过程、功能等)来实现。这样的模块可以存储在存储器中并由处理器执行。存储器可以在处理器内部或外部,并且可以使用各种公知的手段将存储器耦合到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片组、逻辑电路和/或数据处理设备。存储器可以包括ROM(只读存储器)、RAM(随机存取存储器)、闪存、存储卡、存储介质和/或其他存储设备。

Claims (7)

1.一种由解码设备执行的视频解码方法,所述方法包括:
从比特流中获得当前块的残差信息;
导出所述当前块的帧内预测模式;
导出包括所述当前块的左邻近样本和上邻近样本的邻近样本;
基于目标样本的位置和所述帧内预测模式的预测角度,导出所述邻近样本当中的用于预测所述当前块的所述目标样本的参考样本;
基于所述帧内预测模式和所述当前块的大小确定用于所述目标样本的内插滤波器;
基于所述内插滤波器和所述参考样本导出所述目标样本的预测样本;
基于所述残差信息导出所述目标样本的残差样本;
基于所述预测样本和所述残差样本生成重建图片;以及
对所述重建图片执行去块滤波,
其中,基于所述帧内预测模式和所述当前块的大小确定用于所述目标样本的内插滤波器包括:
确定所述当前块的大小是否小于第一特定值;和
当所述当前块的大小小于所述第一特定值时,确定所述帧内预测模式的预测角度是否小于第二特定值,
其中,当所述当前块的大小不小于所述第一特定值时,导出用于所述目标样本的内插滤波器为高斯滤波器,
其中,当所述当前块的大小小于所述第一特定值并且所述帧内预测模式的预测角度小于所述第二特定值时,导出用于所述目标样本的内插滤波器为立方滤波器,以及
其中,当所述当前块的大小小于所述第一特定值并且所述帧内预测模式的预测角度大于所述第二特定值时,导出用于所述目标样本的内插滤波器为所述高斯滤波器。
2.根据权利要求1所述的视频解码方法,其中
基于所述内插滤波器和所述参考样本导出所述目标样本的所述预测样本包括:
基于所述目标样本的位置和所述预测角度,导出所述内插滤波器的滤波器系数;以及
基于所述滤波器系数和所述参考样本导出所述目标样本的所述预测样本。
3.根据权利要求1所述的视频解码方法,其中
当所述当前块的宽度和高度相等时,所述当前块的大小等于所述当前块的宽度。
4.根据权利要求1所述的视频解码方法,其中
当所述当前块的宽度和高度不同并且所述当前块的帧内预测模式是具有垂直方向性的定向帧内预测模式时,所述当前块的大小等于所述当前块的宽度。
5.根据权利要求1所述的视频解码方法,其中
当所述当前块的宽度和高度不同并且所述当前块的帧内预测模式是具有水平方向性的定向帧内预测模式时,所述当前块的大小等于所述当前块的高度。
6.一种由编码设备执行的视频编码方法,所述方法包括:
确定当前块的帧内预测模式;
导出包括所述当前块的左邻近样本和上邻近样本的邻近样本;
基于目标样本的位置和所述帧内预测模式的预测角度,导出所述邻近样本当中的用于预测所述当前块的所述目标样本的参考样本;
基于所述帧内预测模式和所述当前块的大小,确定用于所述目标样本的内插滤波器;
基于所述内插滤波器和所述参考样本,导出所述目标样本的预测样本;
基于所述预测样本导出所述目标样本的残差样本;
基于所述预测样本和所述残差样本生成重建图片;
对所述重建图片执行去块滤波;以及
编码包括所述当前块的残差信息的视频信息,
其中,基于所述帧内预测模式和所述当前块的大小确定用于所述目标样本的内插滤波器包括:
确定所述当前块的大小是否小于第一特定值;和
当所述当前块的大小小于所述第一特定值时,确定所述帧内预测模式的预测角度是否小于第二特定值,
其中,当所述当前块的大小不小于所述第一特定值时,导出用于所述目标样本的内插滤波器为高斯滤波器,
其中,当所述当前块的大小小于所述第一特定值并且所述帧内预测模式的预测角度小于所述第二特定值时,导出用于所述目标样本的内插滤波器为立方滤波器,以及
其中,当所述当前块的大小小于所述第一特定值并且所述帧内预测模式的预测角度大于所述第二特定值时,导出用于所述目标样本的内插滤波器为所述高斯滤波器。
7.一种存储通过方法生成的比特流的非暂时性计算机可读存储介质,所述方法包括:
确定当前块的帧内预测模式;
导出包括所述当前块的左邻近样本和上邻近样本的邻近样本;
基于目标样本的位置和所述帧内预测模式的预测角度,导出所述邻近样本当中的用于预测所述当前块的所述目标样本的参考样本;
基于所述帧内预测模式和所述当前块的大小,确定用于所述目标样本的内插滤波器;
基于所述内插滤波器和所述参考样本,导出所述目标样本的预测样本;
基于所述预测样本导出所述目标样本的残差样本;
基于所述预测样本和所述残差样本生成重建图片;
对所述重建图片执行去块滤波;
编码包括所述当前块的残差信息的视频信息;以及
生成包括所述视频信息的所述比特流,
其中,基于所述帧内预测模式和所述当前块的大小确定用于所述目标样本的内插滤波器包括:
确定所述当前块的大小是否小于第一特定值;和
当所述当前块的大小小于所述第一特定值时,确定所述帧内预测模式的预测角度是否小于第二特定值,
其中,当所述当前块的大小不小于所述第一特定值时,导出用于所述目标样本的内插滤波器为高斯滤波器,
其中,当所述当前块的大小小于所述第一特定值并且所述帧内预测模式的预测角度小于所述第二特定值时,导出用于所述目标样本的内插滤波器为立方滤波器,以及
其中,当所述当前块的大小小于所述第一特定值并且所述帧内预测模式的预测角度大于所述第二特定值时,导出用于所述目标样本的内插滤波器为所述高斯滤波器。
CN202111337844.1A 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备 Pending CN114286111A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762512737P 2017-05-31 2017-05-31
US62/512,737 2017-05-31
PCT/KR2018/000226 WO2018221817A1 (ko) 2017-05-31 2018-01-05 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN201880028597.7A CN110574373B (zh) 2017-05-31 2018-01-05 在图像编码系统中基于帧内预测执行图像解码的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880028597.7A Division CN110574373B (zh) 2017-05-31 2018-01-05 在图像编码系统中基于帧内预测执行图像解码的方法和设备

Publications (1)

Publication Number Publication Date
CN114286111A true CN114286111A (zh) 2022-04-05

Family

ID=64454753

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202111337843.7A Pending CN114286110A (zh) 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备
CN201880028597.7A Active CN110574373B (zh) 2017-05-31 2018-01-05 在图像编码系统中基于帧内预测执行图像解码的方法和设备
CN202111337354.1A Pending CN114286109A (zh) 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备
CN202111337854.5A Pending CN114286112A (zh) 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备
CN202111337844.1A Pending CN114286111A (zh) 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202111337843.7A Pending CN114286110A (zh) 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备
CN201880028597.7A Active CN110574373B (zh) 2017-05-31 2018-01-05 在图像编码系统中基于帧内预测执行图像解码的方法和设备
CN202111337354.1A Pending CN114286109A (zh) 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备
CN202111337854.5A Pending CN114286112A (zh) 2017-05-31 2018-01-05 图像编码系统中基于帧内预测执行图像解码的方法和设备

Country Status (14)

Country Link
US (4) US10757407B2 (zh)
EP (3) EP3879826B1 (zh)
JP (3) JP6886528B2 (zh)
KR (3) KR102431855B1 (zh)
CN (5) CN114286110A (zh)
AU (3) AU2018276649B2 (zh)
BR (1) BR112019021446B1 (zh)
CA (2) CA3142170C (zh)
ES (2) ES2892473T3 (zh)
HU (2) HUE056668T2 (zh)
MX (2) MX2019011953A (zh)
PL (2) PL3879826T3 (zh)
RU (1) RU2740859C1 (zh)
WO (1) WO2018221817A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040319A (ko) * 2016-10-12 2018-04-20 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
MX2019004151A (es) * 2016-10-11 2019-08-05 Lg Electronics Inc Metodo y aparato de decodificación de imagen basados en la intrapredicción en sistema de codificación de imagen.
KR20180080115A (ko) * 2017-01-02 2018-07-11 한양대학교 산학협력단 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치
US10951908B2 (en) * 2017-05-24 2021-03-16 Lg Electronics Inc. Method and device for decoding image according to intra prediction in image coding system
JP2020120141A (ja) * 2017-05-26 2020-08-06 シャープ株式会社 動画像符号化装置及び動画像復号装置、フィルタ装置
CA3142170C (en) * 2017-05-31 2023-07-04 Lg Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
CN112075080A (zh) * 2018-03-30 2020-12-11 日本放送协会 帧内预测装置、图像编码装置、图像解码装置以及程序
BR112020026879A2 (pt) 2018-06-29 2021-04-06 Huawei Technologies Co., Ltd. Dispositivo e método para intra predição
BR112020027089A2 (pt) * 2018-07-11 2021-03-30 Huawei Technologies Co., Ltd. Método e aparelho para filtragem dependente de taxa de proporção para intraprevisão
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
KR20200083315A (ko) * 2018-12-28 2020-07-08 한국전자통신연구원 화면 내 예측 모드 유도 방법 및 장치
US20220182616A1 (en) * 2019-03-12 2022-06-09 Lg Electronics Inc. Method and apparatus for encoding/decoding video and method for transmitting bitstream
CN110401838B (zh) * 2019-03-12 2021-08-31 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置
US11973966B2 (en) 2019-03-12 2024-04-30 Hyundai Motor Company Method and apparatus for efficiently coding residual blocks
US20220201286A1 (en) * 2019-04-25 2022-06-23 Mediatek Inc. Method and Apparatus of Encoding or Decoding with Mode Dependent Intra Smoothing Filter in Intra Prediction
JP2022530240A (ja) * 2019-05-02 2022-06-28 北京字節跳動網絡技術有限公司 複数の参照フィルタを使用するイントラビデオコーディング
GB2585039A (en) * 2019-06-25 2020-12-30 Sony Corp Image data encoding and decoding
EP4018668A4 (en) * 2019-08-23 2023-06-21 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD AND DEVICE USING IT, ENCODING AND DECODE METHOD AND DEVICE USING IT BASED ON INTRA PREDICTION
CN110944211B (zh) * 2019-11-15 2022-07-08 腾讯科技(深圳)有限公司 用于帧内预测的插值滤波方法、装置、介质及电子设备
WO2022005521A1 (en) * 2020-06-30 2022-01-06 Google Llc Gradient predictor for image compression
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter
WO2024025316A1 (ko) * 2022-07-25 2024-02-01 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789119B (zh) * 2009-01-23 2011-12-07 华为技术有限公司 确定图像插值过程中的滤波器系数的方法及装置
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
KR102295680B1 (ko) * 2010-12-08 2021-08-31 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
EP2704435B1 (en) 2011-04-25 2019-02-20 LG Electronics Inc. Intra-prediction method, and encoder and decoder using same
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR101654673B1 (ko) * 2011-06-28 2016-09-22 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US10659806B2 (en) * 2014-11-04 2020-05-19 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus using interpolation filter on which image characteristic is reflected
US10142627B2 (en) * 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US10848759B2 (en) * 2015-07-28 2020-11-24 Lg Electronics Inc. Intra prediction mode-based image processing method and apparatus therefor
CA3005417A1 (en) * 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus for video coding
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US11368682B2 (en) * 2016-04-26 2022-06-21 Intellectual Discovery Co., Ltd. Method and device for encoding/decoding image
KR20190015216A (ko) * 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
CN116866613A (zh) * 2016-06-22 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
EP3301931A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra prediction
CA3142170C (en) * 2017-05-31 2023-07-04 Lg Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
CN107566798A (zh) * 2017-09-11 2018-01-09 北京大学 一种数据处理的系统、方法及装置

Also Published As

Publication number Publication date
MX2019011953A (es) 2019-12-02
KR102285435B1 (ko) 2021-08-04
WO2018221817A1 (ko) 2018-12-06
AU2021201808B2 (en) 2022-05-12
RU2740859C1 (ru) 2021-01-21
EP3595302A4 (en) 2020-04-15
KR20190119645A (ko) 2019-10-22
PL3879826T3 (pl) 2022-12-19
AU2018276649B2 (en) 2020-12-24
CA3060033A1 (en) 2018-12-06
AU2022215197A1 (en) 2022-09-01
EP3595302B1 (en) 2021-07-14
CN110574373A (zh) 2019-12-13
JP7469451B2 (ja) 2024-04-16
KR102568179B1 (ko) 2023-08-18
EP4084475B1 (en) 2024-03-06
JP6886528B2 (ja) 2021-06-16
EP3879826B1 (en) 2022-08-03
HUE056668T2 (hu) 2022-02-28
CA3060033C (en) 2022-02-15
KR20210097832A (ko) 2021-08-09
CA3142170C (en) 2023-07-04
BR112019021446B1 (pt) 2021-11-16
CN114286110A (zh) 2022-04-05
JP2021129313A (ja) 2021-09-02
KR102431855B1 (ko) 2022-08-11
US20200036970A1 (en) 2020-01-30
EP3879826A1 (en) 2021-09-15
CA3142170A1 (en) 2018-12-06
RU2021100114A3 (zh) 2021-05-31
US20230147003A1 (en) 2023-05-11
AU2021201808A1 (en) 2021-04-22
US20220053184A1 (en) 2022-02-17
RU2021100114A (ru) 2021-02-02
KR20220115822A (ko) 2022-08-18
AU2022215197B2 (en) 2024-04-04
BR112019021446A2 (pt) 2020-05-05
JP2023024731A (ja) 2023-02-16
ES2892473T3 (es) 2022-02-04
CN114286112A (zh) 2022-04-05
JP2020517190A (ja) 2020-06-11
ES2927102T3 (es) 2022-11-02
US10757407B2 (en) 2020-08-25
US11570431B2 (en) 2023-01-31
CN114286109A (zh) 2022-04-05
US20200329236A1 (en) 2020-10-15
EP4084475A1 (en) 2022-11-02
AU2018276649A1 (en) 2019-10-31
MX2023004965A (es) 2023-06-22
CN110574373B (zh) 2021-11-30
US11190763B2 (en) 2021-11-30
HUE060091T2 (hu) 2023-01-28
JP7203145B2 (ja) 2023-01-12
PL3595302T3 (pl) 2022-01-24
EP3595302A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
CN110574373B (zh) 在图像编码系统中基于帧内预测执行图像解码的方法和设备
KR102485470B1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
CN110809886A (zh) 在图像编译系统中根据帧内预测用于解码图像的方法和设备
US10951908B2 (en) Method and device for decoding image according to intra prediction in image coding system
CN112042198B (zh) 基于仿射运动预测的图像编码方法及其装置
RU2805157C1 (ru) Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений
RU2798770C1 (ru) Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений
RU2776098C2 (ru) Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination