CN117041540A - 在图像编译系统中根据帧内预测用于解码图像的方法和设备 - Google Patents
在图像编译系统中根据帧内预测用于解码图像的方法和设备 Download PDFInfo
- Publication number
- CN117041540A CN117041540A CN202311102285.5A CN202311102285A CN117041540A CN 117041540 A CN117041540 A CN 117041540A CN 202311102285 A CN202311102285 A CN 202311102285A CN 117041540 A CN117041540 A CN 117041540A
- Authority
- CN
- China
- Prior art keywords
- current block
- sample
- intra prediction
- pdpc
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 51
- 239000000523 sample Substances 0.000 claims abstract description 332
- 239000013074 reference sample Substances 0.000 claims abstract description 119
- 230000015654 memory Effects 0.000 claims description 27
- 230000001419 dependent effect Effects 0.000 claims description 14
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 abstract description 3
- 238000001914 filtration Methods 0.000 description 18
- 230000002123 temporal effect Effects 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Abstract
本公开涉及在图像编译系统中根据帧内预测用于解码图像的方法和设备。根据本公开，由解码装置执行的帧内预测方法包括以下步骤：导出用于当前块的帧内预测模式；导出当前块的参考样本；确定是否执行当前块的PDPC或UWP；当对当前块执行UWP时，导出当前块的目标样本的权重；根据帧内预测模式，从参考样本中导出目标样本的参考样本；以及通过基于权重对目标样本的参考样本执行加权和来导出目标样本的预测样本。
Description
本申请是2019年12月31日提交进入中国专利局的国际申请日为2018年5月11日的申请号为201880044324.1(PCT/KR2018/005438)的，发明名称为“在图像编译系统中根据帧内预测用于解码图像的方法和设备”的专利申请的分案申请。
技术领域
本公开涉及视频编译技术，并且更具体地，涉及在图像编译系统中基于帧内预测的视频解码方法和设备。
背景技术
对于诸如高清晰度(HD)图像和超高清(UHD)图像的高分辨率、高质量图像的需求在各个领域都在增加。因为图像数据具有高分辨率和高质量，所以要发送的信息量或比特量相对于传统图像数据增加。因此，当使用诸如传统有线/无线宽带线的介质来发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要一种用于有效地发送、存储和再现高分辨率和高质量图像的信息的高效图像压缩技术。
发明内容
要解决的技术问题
本公开的技术目的是为了提供一种可以增强图像编译效率的方法和设备。
本公开的另一个技术目的是为了提供一种帧内预测方法和装置，其基于目标样本的位置和用于目标样本的数学等式来生成用于执行非等权重预测(UWP)的目标样本的权重。
本公开的又一个目的是为了提供一种帧内预测方法和装置，其通过选择性地应用非等权重预测(UWP)或位置相关帧内预测组合(PDPC)来执行当前块的帧内预测。
技术方案
根据本公开的一个实施例，提供一种由解码装置执行的帧内预测方法。该方法包括导出用于当前块的帧内预测模式；导出当前块的参考样本；确定是否执行当前块的位置相关帧内预测组合(PDPC)或非等权重预测(UWP)；当对当前块执行UWP时，导出用于当前块的目标样本的权重；根据帧内预测模式，导出参考样本当中的目标样本的参考样本；以及通过基于权重的目标样本的参考样本的加权和来导出目标样本的预测样本。
根据本公开的另一实施例，提供一种执行帧内预测的解码装置。该解码装置包括熵解码器，用于获得当前块的预测信息；以及预测器，用于导出当前块的帧内预测模式、用于导出当前块的参考样本、用于确定是否执行当前块的位置相关帧内预测组合(PDPC)或非等权重预测(UWP)、用于当对当前块执行UWP时导出当前块的目标样本的权重、用于根据帧内预测模式导出参考样本当中的目标样本的参考样本、并且用于通过基于权重的目标样本的参考样本的加权和来导出目标样本的预测样本。
根据本公开的又一个实施例，提供一种由编码装置执行的帧内预测方法。该方法包括确定当前块的帧内预测模式；导出当前块的参考样本；确定是否执行当前块的位置相关帧内预测组合(PDPC)或非等权重预测(UWP)；当对当前块执行UWP时导出当前块的目标样本的权重；根据帧内预测模式导出参考样本当中的目标样本的参考样本；通过基于权重的目标样本的参考样本的加权和来导出目标样本的预测样本；以及生成当前块的预测信息、对生成的预测信息进行编码、并且输出编码后的预测信息。
根据本公开的又一个实施例，提供一种视频编码装置。编码装置包括预测器，用于确定当前块的帧内预测模式、用于导出当前块的参考样本、用于确定是否执行当前块的位置相关帧内预测组合(PDPC)或者非等权重预测(UWP)、用于当对当前块执行UWP时导出当前块的目标样本的权重、用于根据帧内预测模式导出参考样本当中的目标样本的参考样本、并且用于通过基于权重的目标样本的参考样本的加权和来导出目标样本的预测样本；以及熵编码器，用于生成当前块的预测信息、用于对生成的预测信息进行编码、并且用于输出编码后的预测信息。
有益效果
根据本公开，可以基于目标样本的位置来生成用于帧内预测的权重，这减少被用于存储用于生成权重的表的存储器的数量。
根据本公开，可以执行基于特定条件选择性地应用UWP和PDPC的帧内预测，这改进帧内预测效率和整体编译效率。
附图说明
图1是图示本公开可适用的视频编码装置的配置的示意图。
图2是图示本公开可适用的视频解码装置的配置的示意图。
图3图示用于当前块的帧内预测的左邻近样本和上邻近样本。
图4图示65个预测方向的帧内预测模式。
图5图示通过将UWP应用于当前块来执行的帧内预测的一个示例。
图6图示导出对于当前块的目标样本的参考样本的权重的一个示例。
图7图示通过将PDPC应用于当前块来执行的帧内预测的一个示例。
图8图示通过选择性地应用UWP和PDCP执行的帧内预测的一个示例。
图9图示通过选择性地应用UWP和PDPC执行的帧内预测的一个示例。
图10图示通过选择性地应用UWP和PDCP执行的帧内预测的一个示例。
图11图示根据本公开的编码装置的视频编码方法。
图12图示根据本公开的解码装置的视频解码方法。
具体实施方式
可以以各种形式修改本公开，并且将在附图中描述和图示其具体实施例。然而，实施例不旨在限制本公开。以下描述中使用的术语仅用于描述特定实施例，而不旨在限制本公开。单数的表达包括复数的表达，除非它明显地意指不同的意思。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元素、组件或其组合，并且因此应当理解为不排除一个或多个不同特征、数字、步骤、操作、元素、组件或其组合的存在或添加的可能性。
另一方面，为了便于解释不同的特定功能，独立地绘制本公开中描述的附图中的元件，并不意味着这些元件由独立的硬件或独立的软件实现。例如，可以组合元件中的两个或更多个元件以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本公开的概念的情况下，元件被组合和/或划分的实施例属于本公开。
在下文中，将参考附图详细描述本公开的实施例。另外，在整个附图中，相同的附图标记用于指示相同的元件，并且将省略对相同元件的相同描述。
在本说明书中，图片通常意指在特定时间表示一个图像的单位，切片是组成图片的一部分的单位。一个图片可以由多个切片组成，并且图片和切片的术语可以根据需要彼此混用。
像素或画素可以意指组成一个图片(或图像)的最小单位。此外，“样本”可以用作与像素对应的术语。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素(像素值)，并且可以仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单位。该单元可以包括特定区域和与该区域相关的信息中的至少一个。可选地，该单元可以与诸如块、区域等术语混用。在典型情况下，M×N块可以表示以M列和N行排列的采样或变换系数的集合。
图1简要地图示可应用本公开的视频编码装置的结构。
参考图1，视频编码装置100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重新排列器124、逆量化器125、逆变换器126。
图片分割器105可以将输入图片分割成至少一个处理单元。
在示例中，处理单元可以被称为编译单元(CU)。在这种情况下，可以根据四叉树二叉树(QTBT)结构从最大编译单元(LCU)递归地分割编译单元。例如，可以基于四叉树结构和/或二叉树结构将一个编译单元分割为更深深度的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构。可替选地，可以首先应用二叉树结构。可以基于不再进一步被分割的最终编译单元执行根据本公开的编译过程。在这种情况下，取决于图像特性，最大编译单元可以基于编译效率等而用作最终编译单元，或者编译单元可以根据需要递归地分割成较低深度的编译单元，并且具有最佳尺寸的编译单元可以用作最终编译单元。这里，编译过程可以包括诸如预测、变换和重建的过程，这将在后面描述。
在另一示例中，处理单元可以包括编译单元(CU)、预测单元(PU)或变换单元(TU)。可以根据四叉树结构将编译单元从最大编译单元(LCU)分割成更深深度的编译单元。在这种情况下，取决于图像特性，最大编译单元可以基于编译效率等直接用作最终编译单元，或者编译单元可以根据需要递归地分割成更深深度的编译单元，并且具有最佳尺寸的编译单元可以用作最终编译单元。当设置最小编译单元(SCU)时，编译单元可以不被分割成小于最小编译单元的编译单元。这里，最终编译单元指的是被分割或划分成预测单元或变换单元的编译单元。预测单元是从编译单元分割的单元，并且可以是样本预测的单元。这里，预测单元可以被划分为子块。变换单元可以根据四叉树结构从编译单元划分，并且可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。在下文中，编译单元可以被称为编译块(CB)，预测单元可以被称为预测块(PB)，并且变换单元可以被称为变换块(TB)。预测块或预测单元可以指的是图片中的块形式的特定区域，并且包括预测样本的阵列。此外，变换块或变换单元可以指的是图片中的块形式的特定区域，并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中，当前块)执行预测，并且可以生成包括当前块的预测样本的预测块。在预测器110中执行的预测单元可以是编译块，或者可以是变换块，或者可以是预测块。
预测器110可以确定是将帧内预测应用于当前块还是将帧间预测应用于当前块。例如，预测器110可确定以CU为单元应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可以基于当前块所属的图片(下文中，当前图片)中的在当前块之外的参考样本来导出当前块的预测样本。在这种情况下，预测器110可以基于当前块的邻近参考样本的平均值或插值来导出预测样本(情况(i))，或者可以基于关于当前块的邻近参考样本当中的预测样本的特定(预测)方向中存在的参考样本来导出预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，预测模式可以包括作为示例33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可以基于由运动矢量在参考图片上指定的样本来导出当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任何一个来导出当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差异(残差)。在MVP模式的情况下，邻近块的运动矢量被用作运动矢量预测器，并且因此被用作当前块的运动矢量预测器以导出当前块的运动矢量。
在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括时间邻近块的参考图片也可以称为并置图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息的信息可以被(熵)编码，并且然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间邻近块的运动信息时，参考图片列表中的最高图片可以用作参考图片。可以基于当前图片和对应的参考图片之间的图片顺序计数(POC)差来对齐参考图片列表中包括的参考图片。POC对应于显示顺序，并且可以与编译顺序区分开。
减法器121生成残差样本，该残差样本是原始样本和预测样本之间的差。如果应用跳过模式，则可以如上所述不生成残差样本。
变换器122以变换块为单元变换残差样本以生成变换系数。变换器122可以基于对应变换块的大小和应用于与变换块在空间上重叠的编译块或预测块的预测模式来执行变换。例如，如果帧内预测应用于与变换块重叠的编译块或者预测块并且变换块是4×4残差阵列，则可以使用离散正弦变换(DST)变换核来变换残差样本，并且在其他情况下使用离散余弦变换(DCT)变换核来变换残差样本。
量化器123可以量化变换系数以生成量化的变换系数。
重新排列器124重新排列量化的变换系数。重新排列器124可以通过系数扫描方法将块形式的量化的变换系数重新排列成一维矢量。尽管重新排列器124被描述为单独的组件，但是重新排列器124可以是量化器123的一部分。
熵编码器130可以对量化的变换系数执行熵编码。熵编码可以包括编码方法，例如，指数哥伦布、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。除了量化的变换系数之外，熵编码器130可以一起或分开地对视频重建所需的信息(例如，语法元素值等)执行编码。可以以比特流形式以网络抽象层(NAL)为单元发送或存储熵编码信息。
逆量化器125对由量化器123量化的值(变换系数)进行逆量化，并且逆变换器126对由逆量化器125逆量化的值进行逆变换以生成残差样本。
加法器140将残差样本添加到预测样本以重建图片。可以以块为单元将残差样本添加到预测样本以生成重建块。虽然加法器140被描述为单独的组件，但是加法器140可以是预测器110的一部分。另一方面，加法器140可以被称为重建器或重建块生成器。
滤波器150可以将去块滤波和/或样本自适应偏移应用于重建图片。可以通过去块滤波和/或样本自适应偏移来校正重建图片中的块边界处的伪像或量化中的失真。在去块滤波完成之后，可以以样本为单元应用样本自适应偏移。滤波器150可以将自适应环路滤波器(ALF)应用于重建图片。可以将ALF应用于已经应用去块滤波和/或样本自适应偏移的重建图片。
存储器160可以存储重建图片(解码图片)或编码/解码所需的信息。这里，重建图片可以是由滤波器150滤波的重建图片。存储的重建图片可以用作用于其他图片的(帧间)预测的参考图片。例如，存储器160可以存储(参考)用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2简要地图示可应用本公开的视频解码装置的结构。
参考图2，视频解码装置200可以包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。残差处理器220可以包括重新排列器221、逆量化器222、逆变换器223。
当输入包括视频信息的比特流时，视频解码装置200可以与在视频编码装置中处理视频信息的处理相应地重建视频。
例如，视频解码装置200可以使用在视频编码装置中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是例如编译单元，并且在另一示例中，可以是编译单元、预测单元或变换单元。可以根据四叉树结构和/或二叉树结构从最大编译单元分割编译单元。
在一些情况下可以进一步使用预测单元和变换单元，并且在这种情况下，预测块是从编译单元导出或分割的块，并且可以是样本预测的单元。这里，预测单元可以被划分为子块。可以根据四叉树结构从编译单元分割变换单元，并且可以是导出变换系数的单元或从变换系数导出残差信号的单元。
熵解码器210可以解析比特流以输出视频重建或图片重建所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编译方法来解码比特流中的信息，并且可以输出视频重建所需的语法元素的值和关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息和邻近及解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型预测bin生成概率，并且执行bin的算术解码以生成与每个语法元素值相应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用为了下一个符号/bin的上下文模型而解码的符号/bin的信息来更新上下文模型。
可以将关于在熵解码器210中解码的信息当中的预测的信息提供给预测器230，并且可以将已经由熵解码器210执行熵解码的残差值，即，量化的变换系数输入到重新排列器221。
重新排列器221可以将量化的变换系数重新排列成二维块形式。重新排列器221可以执行与由编码装置执行的系数扫描相对应的重新排列。尽管重新排列器221被描述为单独的组件，但是重新排列器221可以是逆量化器222的一部分。
逆量化器222可以基于(逆)量化参数对量化的变换系数进行逆量化，以输出变换系数。在这种情况下，可以从编码装置用信号发送用于导出量化参数的信息。
逆变换器223可以对变换系数进行逆变换以导出残差样本。
预测器230可以对当前块执行预测，并且可以生成包括当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编译块，或者可以是变换块或者可以是预测块。
预测器230可以基于关于预测的信息来确定是应用帧内预测还是应用帧间预测。在这种情况下，用于确定将在帧内预测和帧间预测之间使用哪一个的单元可以与用于生成预测样本的单元不同。另外，用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如，可以以CU为单位确定将在帧间预测和帧内预测之间应用哪一个。此外，例如，在帧间预测中，可以通过以PU为单位确定预测模式并生成预测样本，并且在帧内预测中，可以通过以PU为单位确定预测模式，并以TU为单位生成预测样本。
在帧内预测的情况下，预测器230可以基于当前图片中的邻近参考样本导出当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来导出当前块的预测样本。在这种情况下，可以通过使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器230可以基于根据运动矢量在参考图片中指定的样本来导出当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式之一来导出当前块的预测样本。这里，对于视频编码装置提供的当前块的帧间预测所要求的运动信息，例如，运动矢量和关于参考图片索引的信息，可以基于关于预测的信息来获取或导出。
在跳过模式和合并模式中，邻近块的运动信息可以用作当前块的运动信息。这里，邻近块可以包括空间邻近块和时间邻近块。
预测器230可以使用可用邻近块的运动信息来构造合并候选列表，并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。合并索引可以由编码装置用信号发送。运动信息可以包括运动矢量和参考图片。当在跳过模式和合并模式中使用时间邻近块的运动信息时，参考图片列表中的最高图片可以被用作参考图片。
不同于合并模式，在跳过模式的情况下不发送预测样本和原始样本之间的差异(残差)。
在MVP模式的情况下，可以使用邻近块的运动矢量作为运动矢量预测器来导出当前块的运动矢量。这里，邻近块可以包括空间邻近块和时间邻近块。
当应用合并模式时，例如，可以使用重建的空间邻近块的运动矢量和/或与作为时间邻近块的Col块相对应的运动矢量来生成合并候选列表。从合并候选列表中选择的候选块的运动矢量被用作合并模式中的当前块的运动矢量。上述关于预测的信息可以包括合并索引，该合并索引指示具有从包括在合并候选列表中的候选块中选择的最佳运动矢量的候选块。这里，预测器230可以使用合并索引导出当前块的运动矢量。
当应用运动矢量预测(MVP)模式作为另一示例时，可以使用重建的空间邻近块的运动矢量和/或与作为时间邻近块的Col块相对应的运动矢量来生成运动矢量预测候选列表。也就是说，重建的空间邻近块的运动矢量和/或与作为时间邻近块的Col块相对应的运动矢量可以用作运动矢量候选。上述关于预测的信息可以包括指示从包括在列表中的运动矢量候选中选择的最佳运动矢量的预测运动矢量索引。这里，预测器230可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测运动矢量。编码装置的预测器可以获得当前块的运动矢量与运动矢量预测器之间的运动矢量差(MVD)，对MVD进行编码并以比特流的形式输出编码的MVD。也就是说，可以通过从当前块的运动矢量中减去运动矢量预测器来获得MVD。这里，预测器230可以获取包括在关于预测的信息中的运动矢量，并且通过将运动矢量差加到运动矢量预测器来导出当前块的运动矢量。另外，预测器可以从上述关于预测的信息获得或导出指示参考图片的参考图片索引。
加法器240可以将残差样本添加到预测样本以重建当前块或当前图片。加法器240可以通过以块为单位将残差样本添加到预测样本来重建当前图片。当应用跳过模式时，不发送残差，并且因此预测样本可以变为重建样本。虽然加法器240被描述为单独的组件，但是加法器240可以是预测器230的一部分。另一方面，加法器240可以被称为重建器或重建块生成器。
滤波器250可以将去块滤波、样本自适应偏移和/或ALF应用于重建的图片。这里，可以在去块滤波之后以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重建图片(解码图片)或解码所需的信息。这里，重建图片可以是由滤波器250滤波的重建图片。例如，存储器260可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重建图片可以被用作其他图片的参考图片。存储器260可以按输出顺序输出重建图片。
如上所述，如果对当前块执行预测，则可以基于帧内预测模式来执行预测。例如，可以在对当前块进行解码时基于已经对其执行编码/解码的参考样本来执行帧内预测。换句话说，可以通过使用已经恢复的当前块的左参考样本、左上参考样本和上参考样本来恢复当前块的预测样本。左参考样本、左上参考样本和上参考样本可以如图3中所示表示。
图3图示用于当前块的帧内预测的左邻近样本和上邻近样本。左参考样本、左上参考样本和上参考样本可以表示当前块的邻近样本；如果当前块的大小为N×N，并且当前块的左上样本的x和y分量为0和0，则左参考样本的范围可能为p[-1][0]至p[-1][2N-1]，左上参考样本可以是p[-1][-1]，并且上参考样本的范围可能为p[0][-1]到p[2N-1][-1]。
对当前块执行帧内预测的情况下，可以导出当前块的帧内预测模式，并且可以根据帧内预测模式通过使用左参考样本、左上邻近样本和上邻近样本中的至少一个来生成当前块的预测样本。在此，帧内预测模式可以包括两个单向帧内预测模式和33个角度帧内预测模式。单向帧内预测模式可以包括平面(Planar)帧内预测模式和DC帧内预测模式；并且角度帧内预测模式可以包括第2到34帧内预测模式。平面帧内预测模式可以被称为平面模式，并且DC帧内预测模式可以被称为DC模式。此外，第10帧内预测模式表示水平帧内预测模式或水平模式，而第26帧内预测模式表示垂直帧内预测模式或垂直模式，可以以其为基准用角度来表示角度帧内模式的预测方向。换句话说，每个帧内预测模式的相对角度可以参考与第10帧内预测模式相对应的水平参考角度0度来表示，并且每个帧内预测模式的相对角度可以参考与第26帧内预测模式相对应的垂直参考角度0度来表示。
而且，因为对高质量视频的需求在增加，所以角度帧内预测方向的数目可以增加到65以改进视频编解码器的效率。换句话说，帧内预测模式可以包括两个单向帧内预测模式和65个角度帧内预测模式。单向帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式；并且角度帧内预测模式可以包括第2至第66帧内预测模式。
图4图示65个预测方向的帧内预测模式。
参考图4，可以参考沿着左上对角线预测方向的第34帧内预测模式将具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式彼此区分开。图4的H和V分别表示水平方向性和垂直方向性，并且从-32到32范围内的数字表示在样本网格上以1/32为单位的角度位置。第2至第33帧内预测模式具有水平方向性，而第34至第66帧内预测模式具有垂直方向性。第18帧内预测模式和第50帧内预测模式分别表示水平帧内预测模式和垂直帧内预测模式，可以以其为基准用角度来表示角度帧内预测模式的预测方向。换句话说，可以参考与第18帧内预测模式相对应的水平参考角度0度来表示与每个帧内预测模式相对应的相对角度，并且可以参考与第50帧内预测模式相对应的垂直参考角度0度来表示与每个帧内预测模式相对应的相对角度。
另一方面，如上所述，在对当前块执行帧内预测的情况下，可以应用各种方法来改进预测准确度。例如，可以通过对当前块应用非等权重预测(UWP)来导出当前块的预测样本。类似地，可以通过将位置相关帧内预测组合(PDPC)应用于当前块来导出当前块的预测样本。
图5图示通过将UWP应用于当前块来执行的帧内预测的一个示例。UWP可以表示帧内预测方法，该帧内预测方法根据当前块的帧内预测模式导出当前块的目标样本的参考样本、导出每个参考样本的权重、并且基于参考样本和参考样本的权重来导出目标样本的预测样本。换句话说，预测样本可以从参考样本的加权和中被导出。参考图5，可以对当前块的目标样本C执行UWP，并且可以根据当前块的帧内预测模式来导出目标样本C的参考样本。参考样本可以包括位于帧内预测模式的预测方向上的参考样本P和位于预测方向的相反方向上的参考样本P'。接下来，可以导出参考样本P的权重W1，导出参考样本P'的权重W2，并且可以通过将以下两个值相加来导出目标样本C的预测值：将参考样本P的样本值乘以权重W1而获得的值与将参考样本P’的样本值乘以权重W2而获得的值。
另一方面，可以基于目标样本的(临时)权重，来导出每个参考样本的权重。
例如，当当前块的帧内预测模式是平面模式并且应用UWP时，可以根据平面模式导出当前块的目标样本的参考样本。可以基于参考样本的权重从参考样本的加权和中生成目标样本的预测样本。另外，即使当当前块的帧内预测模式是角度帧内预测模式而不是平面模式时，也可以应用UWP。
这里，可以基于存储在存储器中的表来导出目标样本的权重。该表可以被称为权重表。此外，目标样本的权重可以称为目标样本的临时权重。例如，在其中执行帧内预测的块的最大大小是128×128的情况下，可以基于下表导出目标样本的(临时)权重。
[表1]
这里，weightForUWP[n]可以通过表1的第n个值导出。weightForUWP[n]可以表示执行帧内预测的块内目标样本的权重。另外，n可以对应于0到256中的任何一个。
在另一示例中，在其中执行帧内预测的块的最大大小是256×256的情况下，可以基于下表导出目标样本的(临时)权重。
[表2]
这里，weightForUWP[n]可以通过表1的第n个值导出。n可以对应于0到512中的任何一个。
在下文中，将描述一种基于表1或表2所示的存储器中存储的表来导出参考样本的权重的方法。
图6图示导出当前块的目标样本的参考样本的权重的一个示例。参考图6，当将UWP应用于当前块时，可以确定当前块的目标样本的x分量是否小于目标样本的y分量S600。图6中所示的X-pos可以表示当前块内的目标样本的x分量，并且Y-pos可以表示当前块内的目标样本的y分量。当当前块的目标样本的x分量小于目标样本的y分量时，VerticalWeight可以通过(x+1)*weightForUWP[x+y+2]导出，并且HorizontalWeight可以通过(1<<10)-VerticalWeight导出S610。这里，VerticalWeight可以表示目标样本的垂直权重，而HorizontalWeight可以表示目标样本的水平权重。另外，垂直权重可以被称为第一权重，并且水平权重可以被称为第二权重。
类似地，当当前块的目标样本的x分量不小于目标样本的y分量时，HorizontalWeight可以通过(x+1)*weightForUWP[x+y+2]导出，并且VerticalWeight可以由(1<<10)-HorizontalWeight导出S620。在此，weightForUWP[x+y+2]可以表示基于以上表1或表2导出的目标样本的(临时)权重。当导出目标样本的垂直权重和水平权重时，可以通过基于垂直权重和水平权重的目标样本的参考样本的加权和来导出当前块的目标样本的预测样本S630。更具体地，可以基于以下等式导出预测样本。
[等式1]
Predictor[x][y]＝(refmain＊VerticalWeight+refside＊HorizontalWeight)/(1<<10)
这里，Predictor[x][y]可以表示目标样本的预测样本，VerticalWeight可以表示目标样本的垂直权重，HorizontalWeight可以表示目标样本的水平权重，refmain可以表示以目标样本为基准的位于当前块的帧内预测模式的预测方向上的参考样本，并且refside可以表示以目标样本为基准的位于当前块的帧内预测模式的预测方向的相反方向上的参考样本。
另一方面，在如上所述基于存储在存储器中的表为目标样本导出权重的情况下，x和y的值将根据当前块的大小而变化，即，目标样本的x和y分量的范围变化，因此，随着当前块的大小变大，可能需要更多的存储空间。特别地，帧内预测可能对内存消耗量非常敏感。因此，在需要4*257个字节的内存来存储UWP的权重的情况下，即使UWP的压缩效率，即，预测效率足够好，UWP也可能会由于内存问题而不被使用。因此，本公开提出一种用于去除相应内存的使用并基于目标样本在当前块内的位置来生成目标样本的权重的方法。换句话说，代替基于上表导出目标样本的权重，而是提出一种基于参考样本的位置和等式来导出目标样本的权重的方法。
更具体地，可以基于以下等式来导出目标样本的权重。
[等式2]
weight[x][y]＝((1<<A))/D)
这里，x和y可以表示目标样本的x和y分量；weight[x][y]可以表示目标样本的权重；A可以表示权重表的精度；并且D可以表示用于计算目标样本的权重的除数。
另一方面，A可以根据当前块的大小而具有可变值。例如，A可以导出为10，D可以通过(x+y+2)导出。在这种情况下，可以基于以下等式来导出目标样本的权重。
[等式3]
weight[x][y]＝((1<<10))/(x+y+2))
这里，x和y可以表示目标样本的x和y分量，而weight[x][y]可以表示目标样本的权重。
另一方面，当当前块的目标样本的x分量小于目标样本的y分量，并且基于上面的等式3导出目标样本的临时权重的情况下，可以基于以下等式来导出目标样本的第一权重(即，垂直权重)和第二权重(即，水平权重)。
[等式4]
第一权重＝(x+1)*weight[x][y]
第二权重＝(1<<10)-第一权重
这里，x和y可以表示目标样本的x和y分量，而weight[x][y]可以表示目标样本的权重。
类似地，当当前块的目标样本的x分量小于目标样本的y分量，并且基于上面的等式3导出目标样本的临时权重的情况下，可以基于以下等式来导出目标样本的第一权重(即，垂直权重)和第二权重(即，水平权重)。
[等式5]
第二权重＝(x+1)*weight[x][y]
第一权重＝(1<<10)-第二权重
这里，x和y可以表示目标样本的x和y分量，而weight[x][y]可以表示目标样本的权重。
当当前块的大小为4×4时，可以如下获得基于现有权重表导出的权重和基于等式3导出的权重。
[表3]
表3(a)可以表示基于现有权重表导出的当前块的每个样本的权重，并且表3(b)可以表示基于上面的等式3导出的当前块的每个样本的权重。
此外，当当前块的大小是8×8时，可以如下获得基于现有权重表导出的权重和基于等式3导出的权重。
[表4]
表4(a)可以表示基于现有权重表导出的当前块的每个样本的权重，并且表4(b)可以表示基于上面的等式3导出的当前块的每个样本的权重。
此外，当当前块的大小为16×16时，可以如下获得基于现有权重表导出的权重和基于等式3导出的权重。
[表5]
[表6]
表5可以表示基于现有权重表导出的当前块的每个样本的权重，并且表6可以表示基于上面的等式3导出的当前块的每个样本的权重。
此外，当当前块的大小为32×32时，可以如下获得基于现有权重表导出的权重和基于等式3导出的权重。
[表7]
[表8]
表7可以表示基于现有权重表导出的当前块的每个样本的权重，并且表8可以表示基于上面的等式3导出的当前块的每个样本的权重。
如表3至表8中所示，可以基于本公开提出的目标样本的位置和等式3生成目标样本的权重，不论当前块的大小如何。换句话说，可以在不限于当前块的大小的情况下执行用于基于以上等式来生成权重的方法。
另一方面，在描述基于以上等式生成权重的方法时，本公开仅描述用于当当前块对应于4×4至32×32块之一时，即，当当前块的类型是正方形块时的导出权重的方法。然而，如下所述，即使当当前块的类型是非正方形块时，仍可以基于以上等式导出当前块的每个样本的权重。
例如，当当前块的大小为8×4时，可以如下获得基于现有权重表导出的权重和基于等式3导出的权重。
[表9]
表9(a)可以表示基于现有权重表导出的当前块的每个样本的权重，并且表9(b)可以表示基于上面的等式3导出的当前块的每个样本的权重。
此外，例如，当当前块的大小是4×8时，可以如下获得基于现有权重表导出的权重和基于等式3导出的权重。
[表10]
表10(a)可以表示基于现有权重表导出的当前块的每个样本的权重，并且表10(b)可以表示基于上面的等式3导出的当前块的每个样本的权重。
另一方面，上面的等式3没有考虑目标样本和参考样本之间的距离，即，基于目标样本在当前块内的位置导出的权重的小数点。因此，可以提出执行舍入的等式作为考虑权重的小数点的等式。例如，可以基于以下等式导出目标样本的权重。
[等式6]
weight[x][y]＝((1<<A)+offset)/D)
这里，x和y可以表示目标样本的x和y分量；weight[x][y]可以表示目标样本的参考样本的权重；A可以表示权重表的精度；并且D可以表示用于计算目标样本的参考样本的权重的除数。此外，offset可以表示考虑权重的小数点的偏移量。
另一方面，A可以根据当前块的大小而具有可变值。例如，A可以导出为10，D可以通过(x+y+2)导出。此外，offset可以通过(D>>1)导出。在这种情况下，可以
基于以下等式来导出目标样本的权重。
[等式7]
weight[x][y]＝((1<<10)+((x+y+2)>>1))/(x+y+2))
这里，x和y可以表示目标样本的x和y分量；weight[x][y]可以表示目标样本的权重。基于上面的等式7，可以导出考虑舍入误差的当前块的目标样本的权重。另一方面，可以基于等式7导出目标样本的权重，并且如果目标样本的x分量小于目标样本的y分量，则可以基于上面的等式4导出目标样本的第一权重和第二权重。而且，可以基于等式7导出目标样本的权重，并且如果目标样本的x分量不小于目标样本的y分量，则可以基于等式5导出目标样本的第一权重和第二权重。
例如，当当前块的大小为4×4，可以如下获得基于现有权重表导出的权重、基于等式3导出的权重、以及基于等式7导出的权重。
[表11]
表11(a)可以表示基于现有权重表导出的当前块的每个样本的权重，表11(b)可以表示基于等式3导出的当前块的每个样本的权重，并且表11(c)可以表示基于等式7导出的当前块的每个样本的权重。
另一方面，可以通过将位置相关帧内预测组合(PDPC)应用于当前块来导出当前块的预测样本。
图7图示通过将PDPC应用于当前块来执行的帧内预测的一个示例。PDPC可以表示基于未滤波的参考样本和滤波的参考样本来执行的帧内预测方法。更具体地，PDPC可以表示帧内预测方法，该帧内预测方法通过基于针对PDPC的滤波器执行滤波来获得滤波后的参考样本，并且基于当前块的帧内预测模式和滤波后的参考样本来导出当前块的临时预测样本，并且通过将现有的参考样本，即，在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出当前块的预测样本。例如，假设当前块的左上样本的x和y分量是0和0，当前块的帧内预测模式是平面模式，并且当前块的目标样本的位置是(x，y)。参考图7，可以基于滤波后的参考样本s[x，-1]和s[-1，y]来导出目标样本的临时预测样本q[x，y]并且可以通过未滤波的参考样本r[x，-1]和r[-1，y]与上面导出的临时预测样本q[x，y]的加权和导出目标样本的预测样本p[x，y]。
这里，预定义的滤波器可以是5个7抽头(tap)滤波器中的任何一个。或者预定义的滤波器可以是3抽头滤波器、5抽头滤波器和7抽头滤波器中的任何一种。3抽头滤波器、5抽头滤波器和7抽头滤波器可以分别表示具有3个滤波器系数的滤波器、具有5个滤波器系数的滤波器和具有7个滤波器系数的滤波器。另一方面，可以用信号发送指示是否应用PDPC的PDPC标志。可以基于PDPC标志的值来确定PDPC是否应用于当前块。例如，如果PDPC标志的值为1，则PDPC标志可以指示PDPC应用于当前块，而如果PDPC标志的值为0，则PDPC标志可以指示PDPC不应用于当前块。
另一方面，如果在特定条件下应用UWP和PDPC，则可以更有效地执行编码/解码输入图像的过程。另外，因为UWP可能带来与PDPC相似的效果，所以可以提出一种选择性地应用UWP和PDPC的方法，以便在UWP和PDPC不相互重叠的情况下获得最大的压缩效率，通过其可以进一步改进编码/解码效率。
因此，本公开提出通过在特定条件下应用UWP或PDPC来对当前块执行帧内预测的方法。
图8图示通过选择性地应用UWP和PDCP执行的帧内预测的一个示例。参考图8，可以将帧内预测模式中的特定帧内预测模式配置为应用UWP的帧内预测模式，并且如果当前块的帧内预测模式是特定帧内预测模式，则可以不将PDPC应用于当前块。更具体地，解码装置可以确定当前块的帧内预测模式是否是应用UWP的帧内预测模式S800。如果当前块的帧内预测模式不是应用UWP的帧内预测模式，则解码装置可以解析指示是否应用PDPC的PDPC标志S810，并且确定PDPC标志的值是否为1S820。解码装置可以基于PDPC标志的值来确定PDPC是否应用于当前块。例如，如果PDPC标志的值为1，则PDPC标志可以指示PDPC应用于当前块，而如果PDPC标志的值为0，则PDPC标志可以指示PDPC不应用于当前块。
当PDPC标志的值为1时，解码装置可以通过基于PDPC执行帧内预测来生成目标样本的预测样本S830。更具体地，解码装置可以通过使用针对PDPC的滤波器执行滤波来导出滤波后的参考样本，并且基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本。接下来，解码装置可以通过使用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。
另一方面，当PDPC标志的值为0时，解码装置可以通过执行常规的帧内预测来生成目标样本的预测样本S840。更具体地，解码装置可以基于当前块的参考样本当中的根据帧内预测模式导出的至少一个参考样本来导出目标样本的预测样本。
另一方面，如果当前块的帧内预测模式是应用UWP的帧内预测模式，则解码装置可以通过基于UWP执行帧内预测来生成目标样本的预测样本S850。更具体地，解码装置可以导出目标样本的权重并且基于该权重，通过使用当前块的参考样本当中的根据帧内预测模式导出的参考样本的加权和，来导出目标样本的预测样本。
另一方面，可以提出如下所述的通过在特定条件下应用UWP或PDPC来执行当前块的帧内预测的方法。
图9图示通过选择性地应用UWP和PDPC执行的帧内预测的一个示例。参考图9，在未对当前块执行不可分二次变换(NSST)的情况下，当前块的PDPC不应用于当前块，而是执行基于UWP的帧内预测以生成目标样本的预测样本。在此，NSST可以表示这样一种变换，该变换通过DCT类型-2或自适应多核变换(AMT)导出当前块的一阶变换系数，并且通过基于不可分变换矩阵对导出的一阶变换系数进行二次变换来生成用于当前块的残差信号的变换系数(或二阶变换系数)。AMT可以表示一种变换方法，其基于从DCT类型2、DST类型7、DCT类型8和DST类型1中选择的多个变换核将空间域中的当前块的残差信号(或残差块)变换为频域中的修改后的变换系数(或一阶变换系数)。
更具体地，解码装置可以确定当前块的NSST索引的值是否为0S900。NSST索引可以是指示是否在当前块上执行NSST的索引。解码装置可以基于NSST索引的值来确定是否对当前块执行NSST。例如，如果NSST索引的值为1，则NSST索引可以指示对当前块执行NSST，并且如果NSST索引的值为0，则NSST索引可以指示不对当前块执行NSST。
如果NSST索引的值是0，则解码装置可以解析指示是否应用PDPC的PDPC标志S910，并确定PDPC标志的值是否为1S920。解码装置可以基于PDPC标志的值来确定PDPC是否应用于当前块。例如，如果PDPC标志的值为1，则PDPC标志可以指示PDPC应用于当前块，而如果PDPC标志的值为0，则PDPC标志可以指示PDPC不应用于当前块。
当PDPC标志的值为1时，解码装置可以通过基于PDPC执行帧内预测来生成目标样本的预测样本S930。更具体地，解码装置可以通过使用针对PDPC的滤波器执行滤波来导出滤波后的参考样本，并且基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本。接下来，解码装置可以通过使用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。
另一方面，当PDPC标志的值为0时，解码装置可以通过执行常规的帧内预测来生成目标样本的预测样本S940。更具体地，解码装置可以基于当前块的参考样本当中的根据帧内预测模式导出的至少一个参考样本来导出目标样本的预测样本。
另一方面，如果NSST索引的值是1，则解码装置可以确定当前块的帧内预测模式是否是应用UWP的帧内预测模式S950。如果当前块的帧内预测模式是应用UWP的帧内预测模式，则解码装置可以通过基于UWP执行帧内预测来生成目标样本的预测样本S960。更具体地，解码装置可以导出目标样本的权重并且基于该权重，通过使用当前块的参考样本当中的根据帧内预测模式导出的参考样本的加权和来导出目标样本的预测样本。另一方面，如果当前块的帧内预测模式不是应用UWP的帧内预测模式，则解码装置可以通过执行常规的帧内预测来生成目标样本的预测样本S940。更具体地，解码装置可以基于当前块的参考样本当中的根据当前块的帧内预测模式导出的至少一个参考样本来导出目标样本的预测样本。
另一方面，除了是否执行NSST，还可以基于诸如当前块的大小或残差信号的特性的条件来确定是否应用PDPC。如下所述，可以如下面所述概括考虑特定条件来应用UWP或PDPC的方法。
图10图示通过选择性地应用UWP和PDCP执行的帧内预测的一个示例。更具体地，解码装置可以确定PDPC是否可应用于当前块S1000。换句话说，解码装置可以确定是否满足特定条件。例如，解码装置可以基于当前块的大小来确定PDPC是否可应用于当前块。解码装置可以确定当前块的大小是否大于应用PDPC的最小大小。在这种情况下，解码装置可以基于以上等式确定PDPC是否可应用于当前块。
[等式8]
Bool canBeCodedByPDPC＝Block size＞MIN_BLOCK_SIZE_OF_PDPC
这里，Block size可以表示当前块的大小，而MIN_BLOCK_SIZE_OF_PDPC可以表示应用PDPC的最小大小。如果当前块的大小大于最小大小，则PDPC可能不应用于当前块，而如果当前块的大小不大于最小大小，则PDPC可能会应用于当前块。
此外，作为另一示例，解码装置可以基于残差信号的特性来确定PDPC是否可应用于当前块。解码装置可以确定残差信号中的非零变换系数的数目是否不大于应用PDPC的非零变换系数的最小数目。在这种情况下，解码装置可以基于以上等式来确定PDPC是否可应用于当前块。
[等式9]
Bool canBeCodedByPDPC＝Number of nonZeroCoeff(Block)＞MIN_NUM_OF_NONZERO_COEFF_FOR_PDPC
这里，Number of nonZeroCoeff(Block)可以表示当前块的非零变换系数的数目，并且MIN_NUM_OF_NONZERO_COEFF_FOR_PDPC可以表示应用PDPC的非零变换系数的最小数目。如果当前块的非零变换系数的数目大于最小数目，则PDPC可能不应用于当前块，而如果当前块的非零变换系数的数目不大于最小数目，则PDPC可以应用于当前块。
如果满足当前块的特定条件，即，例如，如果当前块的大小不大于应用PDPC的最小大小或当前块的非零变换系数的数目不大于应用PDPC的最小非零变换系数的数目，则解码装置可以解析指示是否应用PDPC的PDPC标志S1010，并且确定PDPC标志的值是否为1S1020。解码装置可以基于PDPC标志的值来确定PDPC是否应用于当前块。例如，如果PDPC标志的值为1，则PDPC标志可以指示PDPC应用于当前块，而如果PDPC标志的值为0，则PDPC标志可以指示PDPC不应用于当前块。
当PDPC标志的值为1时，解码装置可以通过执行基于PDPC的帧内预测来生成目标样本的预测样本S1030。更具体地，解码装置可以通过使用针对PDPC的滤波器执行滤波来导出滤波后的参考样本，并且基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本。接下来，解码装置可以通过使用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。
另一方面，当PDPC标志的值为0时，解码装置可以通过执行常规的帧内预测来生成目标样本的预测样本S1040。更具体地，解码装置可以基于当前块的参考样本当中的根据帧内预测模式导出的至少一个参考样本来导出目标样本的预测样本。
另一方面，如果满足当前块的特定条件，即，例如，如果当前块的大小大于应用PDPC的最小大小或当前块的非零变换系数的数目大于应用PDPC的非零变换系数的最小数目，则解码装置可以确定当前块的帧内预测模式是否是应用UWP的帧内预测模式S1050。如果当前块的帧内预测模式是应用UWP的帧内预测模式，则解码装置可以通过基于UWP执行帧内预测来生成目标样本的预测样本S1060。更具体地，解码装置可以导出目标样本的权重并且基于该权重，通过使用当前块的参考样本当中的根据帧内预测模式导出的参考样本的加权和来导出目标样本的预测样本。另一方面，如果当前块的帧内预测模式不是应用UWP的帧内预测模式，则解码装置可以通过执行常规的帧内预测来生成目标样本的预测样本S1040。更具体地，解码装置可以基于当前块的参考样本当中的根据当前块的帧内预测模式导出的至少一个参考样本来导出目标样本的预测样本。
图11图示根据本公开的编码装置的视频编码方法。图11中公开的方法可以由图1中公开的编码装置来执行。更具体地，例如，图11的S1100至S1150的步骤可以由编码装置的预测单元来执行，并且S1160步骤可以由编码装置的熵编码单元来执行。
编码装置确定当前块的帧内预测模式S1100。编码装置可以执行各种帧内预测模式，并且将表现出最佳RD成本的帧内预测模式导出为当前块的帧内预测模式。帧内预测模式可以是两个单向预测模式和33个角度预测模式中的任何一种。如上所述，两个单向预测模式可以包括帧内DC模式和帧内平面模式。或者，帧内预测模式可以是两个单向帧内预测模式和65个角度帧内预测模式中的任何一种。如上所述，两个单向预测模式可以包括帧内DC模式和帧内平面模式。而且，65个角度帧内预测模式可以包括垂直角度帧内预测模式和水平角度预测模式。垂直角度预测模式可以包括第34帧内预测模式到第66帧内预测模式；并且水平角度帧内预测模式可以包括第2帧内预测模式到第33帧内预测模式。
编码装置导出当前块的参考样本S1110。编码装置可以导出当前块的参考样本。参考样本可以包括左参考样本、左上参考样本和上参考样本。左参考样本、左上参考样本和上参考样本可以从在当当前块被解码时已经恢复的邻近块中导出。可以导出当前块的2N个上参考样本、左上参考样本和2N个左参考样本。在此，当当前块的大小为N×N，并且当前块的左上样本的x和y分量分别为0和0时，左参考样本的范围可能为p[-1][0]到p[-1][2N-1]，左上参考样本可以是p[-1][-1]，并且上参考样本的范围可能为p[0][-1]到p[2N-1][-1]。
类似地，当当前块的大小为M×N，并且当前块的左上样本的x和y分量分别为0和0时，可以导出当前块的M+N个上参考样本、左上参考样本以及M+N个左参考样本。当当前块的大小是M×N非正方形块，并且当前块的左上样本的x和y分量分别为0和0时，左参考样本的范围可能为p[-1][0]到p[-1][M+N-1]，左上参考样本可以是p[-1][-1]，并且上参考样本的范围可能为p[0][-1]到p[M+N-1][-1]。
编码装置可以确定是否执行当前块的位置相关帧内预测组合(PDPC)或非等权重预测(UWP)S1120。编码装置可以基于各种条件来确定是对当前块执行PDPC还是UWP。
作为一个示例，编码装置可以基于当前块的帧内预测模式来确定是否执行当前块的位置相关帧内预测组合(PDPC)或非等权重预测(UWP)。更具体地，编码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式。当帧内预测模式不是用于UWP的帧内预测模式时，编码装置可以确定是否执行当前块的PDPC，并且当确定对当前块执行PDPC时，通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，编码装置可以通过基于针对PDPC的滤波器执行滤波来获取滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本，并且通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当帧内预测模式是用于UWP的帧内预测模式时，编码装置可以通过基于帧内预测模式对当前块执行UWP来导出当前块内的目标样本的预测样本。另一方面，编码装置可以生成指示是否执行当前块的PDPC的PDPC标志。例如，当PDPC标志的值是1时，PDPC标志可以指示对当前块执行PDPC，而当PDPC标志的值是0时，PDPC标志可以指示对当前块不执行PDPC。
作为另一示例，编码装置可以基于是否应用当前块的不可分二次变换(NSST)来确定是否执行当前块的PDPC或UWP。更具体地，编码装置可以确定当前块的NSST是否被应用。当确定对当前块执行NSST时，编码装置可以确定是否对当前块执行PDPC，并且当确定对当前块执行PDPC时，编码装置可以通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，编码装置可以通过基于针对PDPC的滤波器执行滤波来获取滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本，并且通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当确定不对当前块执行NSST时，编码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式，并且当确定帧内预测模式是用于UWP的帧内预测模式时，通过基于帧内预测模式对当前块执行UWP，来导出当前块内目标样本的预测样本。另一方面，编码装置可以生成指示是否执行当前块的PDPC的PDPC标志。例如，当PDPC标志的值是1时，PDPC标志可以指示对当前块执行PDPC，而当PDPC标志的值是0时，PDPC标志可以指示对当前块不执行PDPC。而且，编码装置可以生成指示当前块的NSST是否被应用的NSST索引。例如，当NSST索引的值为0时，NSST索引可以指示NSST不应用于当前块，而当NSST索引的值不为零时，NSST索引可以指示NSST应用于当前块。
作为又一示例，编码装置可以基于当前块的大小来确定是否执行当前块的PDPC或UWP。更具体地，编码装置可以确定当前块的大小是否小于特定大小。特定大小可以表示应用PDPC的最小大小。当当前块的大小小于特定大小时，编码装置可以确定是否执行当前块的PDPC，并且当确定对当前块执行PDPC时，编码装置可以通过基于帧内预测模式执行PDPC，来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，编码装置可以通过基于针对PDPC的滤波器执行滤波来获取滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本，并通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当当前块的大小大于特定大小时，编码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式，并且当确定帧内预测模式是用于UWP的帧内预测模式时，通过基于帧内预测模式对当前块执行UWP，来导出当前块内目标样本的预测样本。另一方面，编码装置可以生成指示是否执行当前块的PDPC的PDPC标志。例如，当PDPC标志的值是1时，PDPC标志可以指示对当前块执行PDPC，而当PDPC标志的值是0时，PDPC标志可以指示对当前块不执行PDPC。另外，可以预先配置特定大小。
作为又一示例，编码装置可以基于当前块的非零变换系数的数目来确定是否执行当前块的PDPC或UWP。更具体地，编码装置可以生成包括当前块的变换系数的残差信号，并且确定当前块的变换系数当中的非零变换系数的数目是否小于特定数目。当非零变换系数的数目小于特定数目时，编码装置可以确定是否执行当前块的PDPC，并且当确定对当前块执行PDPC时，编码装置可以通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，编码装置可以通过基于针对PDPC的滤波器执行滤波来获取滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本的目标样本来导出目标样本的临时预测样本，并且通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当非零变换系数的数目大于特定数目时，编码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式，并且当确定帧内预测模式是用于UWP的帧内预测模式时，通过基于帧内预测模式对当前块执行UWP来导出当前块内的目标样本的预测样本。另一方面，编码装置可以生成指示是否执行当前块的PDPC的PDPC标志。例如，当PDPC标志的值是1时，PDPC标志可以指示对当前块执行PDPC，而当PDPC标志的值是0时，PDPC标志可以指示对当前块不执行PDPC。另外，可以预先配置特定数目。
当在当前块上执行UWP时，编码装置导出当前块的目标样本的权重S1130。权重可以包括第一参考样本的第一权重和第二参考样本的第二权重；并且第一权重和第二权重可以基于目标样本的临时权重而被导出。而且，可以基于目标样本在当前块内的位置来导出目标样本的临时权重。例如，可以基于等式3导出目标样本的临时权重。当导出临时权重，并且目标样本的x分量小于目标样本的y分量时，可以基于等式4导出第一权重和第二权重。另外，当导出临时权重并且目标样本的x分量不小于目标样本的y分量时，可以基于等式5导出第一权重和第二权重。在不同示例中，可以基于等式4导出目标样本的临时权重。当导出临时权重，并且目标样本的x分量小于目标样本的y分量时，可以基于等式4导出第一权重和第二权重。另外，当导出临时权重并且目标样本的x分量不小于目标样本的y分量时，可以基于等式5导出第一权重和第二权重。
编码装置根据帧内预测模式来导出参考样本当中的目标样本的参考样本S1140。编码装置可以导出以当前块的参考样本中的当前块的目标样本(或目标样本的位置)为基准位于当前块的帧内预测模式的预测方向上的第一参考样本和位于与当前块的帧内预测模式的预测方向相反的方向上的第二参考样本。当当前块的帧内预测模式是角度帧内预测模式时，目标样本的参考样本可以包括以目标样本为基准位于帧内预测模式的预测方向上的第一参考样本和以目标样本为基准位于与帧内预测模式的预测方向的相反方向上的第二参考样本。
编码装置基于权重从目标样本的参考样本的加权和中导出目标样本的预测样本S1150。权重可以包括第一参考样本的第一权重和第二参考样本的第二权重。编码装置可以通过使用基于第一权重和第二权重的第一参考样本和第二参考样本的加权和来导出目标样本的预测样本。
编码装置生成当前块的预测信息，对生成的预测信息进行编码，并输出编码后的预测信息S1160。编码装置可以生成针对当前块的预测信息，并通过比特流用信号发送所生成的预测信息。预测信息可以包括指示是否执行当前块的PDPC的PDPC标志。此外，预测信息可以包括指示当前块的NSST是否被应用的NSST索引。而且，预测信息可以包括当前块的残差信号。
尽管在附图中未示出，但是编码装置可以基于原始样本和所导出的预测样本来生成残差样本。编码装置可以基于残差样本来生成残差信号。残差信号可以包括与残差样本有关的变换系数。编码装置可以基于预测样本和残差样本来导出恢复的样本。换句话说，编码装置可以通过将预测样本和残差样本相加来导出恢复的样本。另外，编码装置可以对残差信号进行编码并且以比特流的形式输出编码的残差信号。可以通过网络或存储介质将比特流发送到解码装置。
图12图示根据本公开的解码装置的视频解码方法。图12中公开的方法可以由图2中公开的解码装置执行。更具体地，例如，可以由解码装置的预测器执行S1200至S1250步骤。
解码装置导出对于当前块的帧内预测模式S1200。解码装置可以通过比特流获得当前块的预测信息。预测信息可以包括直接指示当前块的帧内预测模式的信息，或者可以包括指示来自基于当前块的左块或上块的帧内预测模式而导出的帧内预测模式候选列表中的任意一个候选的信息。帧内预测模式候选列表可以被称为MPM候选列表。解码装置可以基于所获得的预测信息来导出当前块的帧内预测模式。帧内预测模式可以是两个单向预测模式和33个角度预测模式中的任何一种。如上所述，两个单向预测模式可以包括帧内DC模式和帧内平面模式。或者，帧内预测模式可以是两个单向帧内预测模式和65个角度帧内预测模式中的任何一种。如上所述，两个单向预测模式可以包括帧内DC模式和帧内平面模式。而且，65个角度帧内预测模式可以包括垂直角度帧内预测模式和水平角度预测模式。垂直角度预测模式可以包括第34帧内预测模式到第66帧内预测模式；并且水平角帧内预测模式可以包括第2帧内预测模式到第33帧内预测模式。
解码装置导出当前块的参考样本S1210。解码装置可以导出当前块的参考样本。参考样本可以包括左参考样本、左上参考样本和上参考样本。左参考样本、左上参考样本和上参考样本可以从当当前块被解码时已经恢复的邻近块中导出。可以导出当前块的2N个上参考样本、左上参考样本和2N个左参考样本。在此，当当前块的大小为N×N，并且当前块的左上样本的x和y分量为0和0时，左参考样本的范围可能为p[-1][0]至p[-1][2N-1]，左上参考样本可以是p[-1][-1]，并且上参考样本的范围可能为p[0][-1]到p[2N-1][-1]。
同样，当当前块的大小为M×N，并且当前块的左上样本的x和y分量为0和0时，可以导出当前块的M+N个上参考样本、左上参考样本、以及M+N个左参考样本。当当前块的大小是M×N非正方形块，并且当前块的左上样本的x和y分量为0和0时，左参考样本的范围可能为p[-1][0]到p[-1][M+N-1]，左上参考样本可以是p[-1][-1]，并且上参考样本的范围可能为p[0][-1]到p[M+N-1][-1]。
解码装置可以确定是否执行当前块的位置相关帧内预测组合(PDPC)或非等权重预测(UWP)S1220。解码装置可以基于各种条件来确定是对当前块执行PDPC还是UWP。
作为一个示例，解码装置可以基于当前块的帧内预测模式来确定是否执行当前块的位置相关帧内预测组合(PDPC)或非等权重预测(UWP)。更具体地，解码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式。当帧内预测模式不是用于UWP的帧内预测模式时，解码装置可以通过比特流获得指示是否执行当前块的PDPC的PDPC标志，并且当PDPC标志的值为1时，通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，解码装置可以通过基于针对PDPC的滤波器执行滤波来导出滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本的目标样本来导出临时预测样本，并且通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当帧内预测模式是用于UWP的帧内预测模式时，解码装置可以通过基于帧内预测模式对当前块执行UWP来导出当前块内的目标样本的预测样本。
作为另一示例，解码装置可以基于是否应用当前块的不可分二次变换(NSST)来确定是否执行当前块的PDPC或UWP。更具体地，解码装置可以通过比特流获得当前块的NSST索引。NSST索引可以指示是否应用当前块的NSST。当NSST索引的值为0时，NSST索引可以指示NSST不应用于当前块，而当NSST索引的值不为零时，NSST索引可以指示NSST应用于当前块。当NSST索引的值是0时，解码装置可以通过比特流获得指示当前块的PDPC是否执行的PDPC标志，并且当PDPC标志的值是1时，解码装置可以通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，解码装置可以通过基于针对PDPC的滤波器执行滤波来导出滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本，并且通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当NSST索引的值为1时，解码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式，并且当确定帧内预测模式是用于UWP的帧内预测模式时，通过基于帧内预测模式对当前块执行UWP来导出当前块内的目标样本的预测样本。
作为又一示例，解码装置可以基于当前块的大小来确定是否执行当前块的PDPC或UWP。更具体地，解码装置可以确定当前块的大小是否小于特定大小。特定大小可以表示应用PDPC的最小大小。当当前块的大小小于特定大小时，解码装置可以通过比特流获得指示是否执行当前块的PDPC的PDPC标志，并且当PDPC标志的值是1时，可以通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，解码装置可以通过基于针对PDPC的滤波器执行滤波来导出滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本，并且通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当当前块的大小大于特定大小时，解码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式，并且当确定帧内预测模式是用于UWP的帧内预测模式时，通过基于帧内预测模式对当前块执行UWP，来导出当前块内的目标样本的预测样本。另一方面，可以预先配置特定大小。换句话说，可以基于预先配置的值来导出特定大小。
作为又一示例，解码装置可以基于当前块的非零变换系数的数目来确定是否执行当前块的PDPC或UWP。更具体地，解码装置可以通过比特流获得包括当前块的变换系数的残差信号，并确定当前块的变换系数中的非零变换系数的数目是否小于特定数目。当非零变换系数的数目小于特定数目时，解码装置可以通过比特流获得指示是否执行当前块的PDPC的PDPC标志，并且当PDPC标志的值为1时，通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本。当通过基于帧内预测模式执行PDPC来导出当前块内的目标样本的预测样本时，编码装置可以通过基于针对PDPC的滤波器执行滤波来导出滤波后的参考样本，基于当前块的帧内预测模式和滤波后的参考样本来导出目标样本的临时预测样本，并且通过应用在未滤波的参考样本中根据帧内预测模式导出的至少一个参考样本和临时预测样本的加权和来导出目标样本的预测样本。另一方面，当非零变换系数的数目大于特定数目时，解码装置可以确定帧内预测模式是否是用于UWP的帧内预测模式，并且当确定帧内预测模式是用于UWP的帧内预测模式时，通过基于帧内预测模式对当前块执行UWP来导出当前块内的目标样本的预测样本。另一方面，可以预先配置特定数目。换句话说，可以基于预先配置的值来导出特定数目。
当对当前块执行UWP时，解码装置导出当前块的目标样本的权重S1230。权重可以包括第一参考样本的第一权重和第二参考样本的第二权重；并且第一权重和第二权重可以基于目标样本的临时权重而被导出。而且，可以基于目标样本在当前块内的位置来导出目标样本的临时权重。例如，可以基于等式3导出目标样本的临时权重。当导出临时权重，并且目标样本的x分量小于目标样本的y分量时，可以基于等式4导出第一权重和第二权重。另外，当导出临时权重并且目标样本的x分量不小于目标样本的y分量时，可以基于等式导出5第一权重和第二权重。在不同示例中，可以基于等式4导出目标样本的临时权重。当导出临时权重，并且目标样本的x分量小于目标样本的y分量时，可以基于等式4导出第一权重和第二权重。另外，当导出临时权重并且目标样本的x分量不小于目标样本的y分量时，可以基于等式5导出第一权重和第二权重。
解码装置根据帧内预测模式来导出参考样本中的目标样本的参考样本S1240。解码装置可以导出以当前块的参考样本中的当前块的目标样本(或目标样本的位置)为基准位于当前块的帧内预测模式的预测方向上的第一参考样本和位于与当前块的帧内预测模式的预测方向相反的方向上的第二参考样本。当当前块的帧内预测模式是角度帧内预测模式时，目标样本的参考样本可以包括以目标样本为基准位于帧内预测模式的预测方向上的第一参考样本和以目标样本为基准位于帧内预测模式的预测方向的相反方向上的第二参考样本。
解码装置基于权重从目标样本的参考样本的加权和中导出目标样本的预测样本S1250。权重可以包括第一参考样本的第一权重和第二参考样本的第二权重。解码装置可以通过使用基于第一权重和第二权重的第一参考样本和第二参考样本的加权和来导出目标样本的预测样本。
同时，尽管在附图中未示出，但是解码装置可以基于预测样本来生成恢复的样本。解码装置可以从比特流中获得当前块的残差信号。残差信号可以包括关于残差样本的变换系数。解码装置可以基于残差信号来导出当前块的残差样本(或残差样本阵列)。在这种情况下，解码装置可以基于预测样本和残差样本来生成恢复的样本。
解码装置可以基于恢复的样本来导出恢复的块或恢复的图片。之后，如上所述，解码装置可以根据需要将去块滤波和/或诸如SAO过程的环路滤波过程应用于恢复的图片，以改进主观/客观图像质量。
此外，解码装置可以通过比特流接收当前块的预测信息，并且对接收到的预测信息执行熵解码。换句话说，解码装置可以通过比特流获得当前块的预测信息。预测信息可以包括指示是否执行当前块的PDPC的PDPC标志。而且，预测信息可以包括当前块的残差信号。此外，预测信息可以包括指示当前块的NSST是否被应用的NSST索引。
根据本公开，可以基于目标样本的位置来生成用于帧内预测的权重，这减少用于存储用于生成权重的表的内存的数量。
根据本公开，可以执行基于特定条件选择性地应用UWP和PDPC的帧内预测，这改进帧内预测效率和总体编码效率。
在上述实施例中，基于具有一系列步骤或块的流程图来描述方法。本公开不限于以上步骤或块的顺序。如上所述，一些步骤或块可以同时发生或以与其他步骤或块不同的顺序发生。此外，本领域的技术人员将理解，以上流程图中所示的步骤不是排他性的，可以包括其他步骤，或者在不影响本公开的范围的情况下可以删除流程图中的一个或多个步骤。
上述根据本公开的方法可以用软件实现。根据本公开的编码装置和/或解码装置可以被包括在执行图像处理的设备中，例如，用于电视、计算机、智能电话、机顶盒或显示设备。
当本公开的实施例以软件实现时，上述方法可以由执行上述功能的模块(过程、功能等)来实现。这样的模块可以存储在存储器中并由处理器执行。存储器可以在处理器内部或外部，并且可以使用各种公知的手段将存储器耦合到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其他存储设备。
Claims (3)
1.一种用于帧内预测的解码装置，所述解码装置包括：
存储器；以及
至少一个处理器，所述至少一个处理器连接到所述存储器，所述至少一个处理器配置为：
导出用于当前块的帧内预测模式；
确定是否对所述当前块执行加权帧内预测；
基于所述确定的结果确定是否对所述当前块执行位置相关帧内预测组合(PDPC)；
基于对所述当前块执行所述加权帧内预测，导出所述当前块的目标样本的权重；
根据所述帧内预测模式，导出所述目标样本的参考样本；并且
通过基于所述权重对所述目标样本的参考样本进行加权求和来导出所述目标样本的预测样本，
其中，基于对所述当前块执行所述加权帧内预测，不执行所述PDPC。
2.一种用于帧内预测的编码装置，所述编码装置包括：
存储器；以及
至少一个处理器，所述至少一个处理器连接到所述存储器，所述至少一个处理器配置为：
确定用于当前块的帧内预测模式；
确定是否对所述当前块执行加权帧内预测；
基于所述确定的结果确定是否对所述当前块执行位置相关帧内预测组合(PDPC)；
基于对所述当前块执行所述加权帧内预测，导出所述当前块的目标样本的权重；
根据所述帧内预测模式，导出所述目标样本的参考样本；
通过基于所述权重对所述目标样本的参考样本进行加权求和来导出所述目标样本的预测样本；并且
生成所述当前块的预测信息，
其中，基于对所述当前块执行所述加权帧内预测，不执行所述PDPC。
3.一种用于发送用于图像的数据的装置，所述装置包括：
至少一个处理器，所述至少一个处理器被配置为，获得比特流，其中所述比特流基于下述生成：确定用于当前块的帧内预测模式，确定是否对所述当前块执行加权帧内预测，基于所述确定的结果确定是否对所述当前块执行位置相关帧内预测组合(PDPC)，基于对所述当前块执行所述加权帧内预测，导出所述当前块的目标样本的权重，根据所述帧内预测模式，导出所述目标样本的参考样本，通过基于所述权重对所述目标样本的参考样本进行加权求和来导出所述目标样本的预测样本，以及生成包括所述当前块的预测信息的所述比特流；以及
发送器，所述发送器被配置为发送包括所述比特流的所述数据，
其中，基于对所述当前块执行所述加权帧内预测，不执行所述PDPC。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762522715P | 2017-06-21 | 2017-06-21 | |
| US201762522714P | 2017-06-21 | 2017-06-21 | |
| US62/522,714 | 2017-06-21 | ||
| US62/522,715 | 2017-06-21 | ||
| PCT/KR2018/005438 WO2018236051A1 (ko) | 2017-06-21 | 2018-05-11 | 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 |
| CN201880044324.1A CN110809886B (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880044324.1A Division CN110809886B (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117041540A true CN117041540A (zh) | 2023-11-10 |
Family
ID=64737249
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311106110.1A Pending CN117119180A (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
| CN202311102285.5A Pending CN117041540A (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
| CN202311100274.3A Pending CN117041537A (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
| CN201880044324.1A Active CN110809886B (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
| CN202311102638.1A Pending CN117097885A (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311106110.1A Pending CN117119180A (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311100274.3A Pending CN117041537A (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
| CN201880044324.1A Active CN110809886B (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
| CN202311102638.1A Pending CN117097885A (zh) | 2017-06-21 | 2018-05-11 | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210409727A1 (zh) |
| EP (1) | EP3627836A4 (zh) |
| KR (3) | KR102361010B1 (zh) |
| CN (5) | CN117119180A (zh) |
| WO (1) | WO2018236051A1 (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3627836A4 (en) * | 2017-06-21 | 2021-04-07 | LG Electronics Inc. | METHOD AND DEVICE FOR DECODING IMAGES ACCORDING TO INTRAPREDICTION IN AN IMAGE ENCODING SYSTEM |
| WO2020056798A1 (zh) * | 2018-09-21 | 2020-03-26 | 华为技术有限公司 | 一种视频编解码的方法与装置 |
| GB2577337A (en) * | 2018-09-24 | 2020-03-25 | Sony Corp | Image data encoding and decoding |
| CA3119645A1 (en) * | 2018-11-14 | 2020-05-22 | Huawei Technologies Co., Ltd. | Method and apparatus for intra prediction |
| CN113574872A (zh) * | 2019-01-14 | 2021-10-29 | 三星电子株式会社 | 编码方法及其装置以及解码方法及其装置 |
| KR20210102462A (ko) | 2019-02-24 | 2021-08-19 | 엘지전자 주식회사 | 이차 변환에 기반한 영상 코딩 방법 및 그 장치 |
| WO2020184566A1 (ja) * | 2019-03-11 | 2020-09-17 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
| SG11202110936PA (en) | 2019-04-12 | 2021-11-29 | Beijing Bytedance Network Technology Co Ltd | Chroma coding mode determination based on matrix-based intra prediction |
| JP7214894B2 (ja) | 2019-04-16 | 2023-01-30 | エルジー エレクトロニクス インコーポレイティド | イントラ予測ベースの映像コーディングにおける変換 |
| JP7403555B2 (ja) | 2019-04-16 | 2023-12-22 | 北京字節跳動網絡技術有限公司 | イントラコーディングモードにおけるマトリクスの導出 |
| CA3137181A1 (en) * | 2019-04-16 | 2020-10-22 | Lg Electronics Inc. | Transform for matrix-based intra-prediction in image coding |
| CN117097912A (zh) | 2019-05-01 | 2023-11-21 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
| CN113812150B (zh) | 2019-05-01 | 2023-11-28 | 北京字节跳动网络技术有限公司 | 使用滤波的基于矩阵的帧内预测 |
| BR112021022868A2 (pt) | 2019-05-22 | 2022-01-04 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de vídeos, aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador |
| CN113924775B (zh) | 2019-05-31 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测中的限制的上采样 |
| WO2020244610A1 (en) | 2019-06-05 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Context determination for matrix-based intra prediction |
| MX2021008601A (es) | 2019-06-17 | 2021-09-21 | Lg Electronics Inc | Codificacion de video o imagen basado en el mapeo de luma. |
| WO2020256400A1 (ko) | 2019-06-17 | 2020-12-24 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
| WO2020256466A1 (ko) * | 2019-06-19 | 2020-12-24 | 한국전자통신연구원 | 화면 내 예측 모드 및 엔트로피 부호화/복호화 방법 및 장치 |
| EP4042689A4 (en) | 2019-10-28 | 2023-06-07 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706442B2 (en) * | 2005-02-15 | 2010-04-27 | Industrial Technology Research Institute | Method for coding mode selection of intra prediction in video compression |
| CA2655970A1 (en) * | 2006-07-07 | 2008-01-10 | Telefonaktiebolaget L M Ericsson (Publ) | Video data management |
| KR101663235B1 (ko) * | 2009-12-14 | 2016-10-06 | 한국과학기술원 | 화면 내 예측 부호화/복호화 방법 및 장치 |
| US20110249741A1 (en) * | 2010-04-09 | 2011-10-13 | Jie Zhao | Methods and Systems for Intra Prediction |
| CA2853002C (en) * | 2011-10-18 | 2017-07-25 | Kt Corporation | Method for encoding image, method for decoding image, image encoder, and image decoder |
| US10491922B2 (en) * | 2015-09-29 | 2019-11-26 | Qualcomm Incorporated | Non-separable secondary transform for video coding |
| US10425648B2 (en) | 2015-09-29 | 2019-09-24 | Qualcomm Incorporated | Video intra-prediction using position-dependent prediction combination for video coding |
| US10455228B2 (en) * | 2016-03-21 | 2019-10-22 | Qualcomm Incorporated | Determining prediction parameters for non-square blocks in video coding |
| EP3627836A4 (en) * | 2017-06-21 | 2021-04-07 | LG Electronics Inc. | METHOD AND DEVICE FOR DECODING IMAGES ACCORDING TO INTRAPREDICTION IN AN IMAGE ENCODING SYSTEM |
-
2018
- 2018-05-11 EP EP18821371.4A patent/EP3627836A4/en not_active Withdrawn
- 2018-05-11 CN CN202311106110.1A patent/CN117119180A/zh active Pending
- 2018-05-11 CN CN202311102285.5A patent/CN117041540A/zh active Pending
- 2018-05-11 KR KR1020197037192A patent/KR102361010B1/ko active IP Right Grant
- 2018-05-11 CN CN202311100274.3A patent/CN117041537A/zh active Pending
- 2018-05-11 CN CN201880044324.1A patent/CN110809886B/zh active Active
- 2018-05-11 KR KR1020227003997A patent/KR102466945B1/ko active IP Right Grant
- 2018-05-11 US US16/625,535 patent/US20210409727A1/en not_active Abandoned
- 2018-05-11 WO PCT/KR2018/005438 patent/WO2018236051A1/ko unknown
- 2018-05-11 CN CN202311102638.1A patent/CN117097885A/zh active Pending
- 2018-05-11 KR KR1020227039290A patent/KR102622465B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018236051A1 (ko) | 2018-12-27 |
| CN110809886A (zh) | 2020-02-18 |
| KR20220154258A (ko) | 2022-11-21 |
| CN117119180A (zh) | 2023-11-24 |
| KR102466945B1 (ko) | 2022-11-14 |
| KR20200003210A (ko) | 2020-01-08 |
| KR102622465B1 (ko) | 2024-01-09 |
| US20210409727A1 (en) | 2021-12-30 |
| KR20220020440A (ko) | 2022-02-18 |
| CN110809886B (zh) | 2023-09-15 |
| EP3627836A4 (en) | 2021-04-07 |
| CN117041537A (zh) | 2023-11-10 |
| KR102361010B1 (ko) | 2022-02-09 |
| CN117097885A (zh) | 2023-11-21 |
| EP3627836A1 (en) | 2020-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110809886B (zh) | 在图像编译系统中根据帧内预测用于解码图像的方法和设备 | |
| RU2740859C1 (ru) | Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений | |
| AU2016253620B2 (en) | Method and apparatus for encoding image and method and apparatus for decoding image | |
| US9826251B2 (en) | Method and apparatus for encoding/decoding image | |
| CN108028923B (zh) | 视频编码系统中的帧内预测方法和设备 | |
| JP7240476B2 (ja) | 変換に基づく映像コーディング方法及びその装置 | |
| KR102489149B1 (ko) | 선택적 변환에 기반한 영상 코딩 방법 및 그 장치 | |
| JP7284318B2 (ja) | 映像コーディングシステムにおいてイントラ予測による映像デコーディング方法及び装置 | |
| RU2798770C1 (ru) | Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений | |
| RU2805157C1 (ru) | Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений | |
| RU2776098C2 (ru) | Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |