CN116546197A - 解码方法、编码方法、存储介质和图像的数据的发送方法 - Google Patents

解码方法、编码方法、存储介质和图像的数据的发送方法 Download PDF

Info

Publication number
CN116546197A
CN116546197A CN202310614561.XA CN202310614561A CN116546197A CN 116546197 A CN116546197 A CN 116546197A CN 202310614561 A CN202310614561 A CN 202310614561A CN 116546197 A CN116546197 A CN 116546197A
Authority
CN
China
Prior art keywords
prediction mode
transform
intra prediction
index
equal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310614561.XA
Other languages
English (en)
Inventor
具文模
M·萨勒海法尔
金昇焕
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN116546197A publication Critical patent/CN116546197A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

解码方法、编码方法、存储介质和图像的数据的发送方法。根据本发明的实施方式的用于对图像信号进行解码的方法包括以下步骤：对于宽度和高度彼此不同的当前块，基于当前块的宽度和高度之间的比率和帧内预测模式，根据帧内预测模式确定修改后的帧内预测模式；基于修改后的帧内预测模式确定逆不可分离变换集；以及相对于当前块的根据当前块的宽度和高度确定的左上区域，应用从逆不可分离变换集中选择的逆不可分离变换矩阵。

Description

解码方法、编码方法、存储介质和图像的数据的发送方法
本申请是原案申请号为201980066907.9的发明专利申请(国际申请号：PCT/KR2019/010231，申请日：2019年8月12日，发明名称：用于处理图像信号的方法和装置)的分案申请。
技术领域
本公开涉及一种用于处理视频信号的方法和装置，并且更具体地，涉及一种用于对视频信号进行编码或解码的方法和装置，其中，对视频信号应用考虑广角帧内预测模式的变换。
背景技术
压缩编码是指用于通过通信线路发送数字化信息或以适于存储介质的形式存储信息的一系列信号处理技术。包括视频、图像、音频等的媒体可以是压缩编码的目标。特别地，用于对图像执行压缩编码的技术被称为图像压缩。
下一代图像内容将具有高空间分辨率、高帧速率和高维度场景表现的特征。为了处理这样的内容，将导致存储器存储、存储器访问速率和处理能力的急剧增加。
因此，需要设计一种用于高效地处理下一代图像内容的编码工具。特别是，与具有较高精度的预测技术一起，在高效图像编码(HEVC)标准之后的图像编解码器标准需要一种用于将空间域中的图像信号变换为频域中的信号的高效变换技术。
发明内容
技术问题
需要一种用于根据预测模式以及具有更高精度的预测方案来提供有效变换技术的方法和装置。
因此，本公开的实施方式旨在提供一种用于提供能够支持具有高精度的预测模式的变换的图像信号处理方法和装置。
此外，本公开的实施方式提供一种用于提供能够通过结合广角帧内预测模式的低频不可分离变换的推导来支持有效预测模式的变换的图像信号处理方法和装置。
本公开要实现的技术目的不限于上述目的，并且本公开所属领域的技术人员可以从以下描述中清楚地理解以上未描述的其它技术目的。
技术方案
根据本公开的实施方式的对图像信号进行解码的方法包括：基于当前块的宽度和高度之间的比率以及帧内预测模式，根据帧内预测模式确定当前块的具有不同宽度和高度的修改后的帧内预测模式，基于修改后的帧内预测模式确定逆不可分离变换集，并且将从逆不可分离变换集中选择的逆不可分离变换矩阵应用于当前块的基于当前块的宽度和高度确定的左上区域。
此外，确定修改后的帧内预测模式可以包括：当宽度大于高度并且帧内预测模式大于或等于2并且小于第一参考值时，将通过将65加到帧内预测模式而获得的值确定为修改后的帧内预测模式。
此外，当当前块的宽度除以高度的比率小于或等于2时，可以将第一参考值设置为8，并且当当前块的宽度除以高度的比率大于2时，可以将第一参考值设置为12。
此外，确定修改后的帧内预测模式可以包括：当宽度小于高度并且帧内预测模式大于或等于第二参考值并且小于或等于66时，将通过从帧内预测模式减去67而获得的值确定为修改后的帧内预测模式。
此外，当当前块的高度除以宽度的比率小于或等于2时，第二参考值可以设置为61，并且当当前块的高度除以宽度的比率大于2时，第二参考值可以被设置为57。
此外，确定逆不可分离变换集可以包括：确定逆不可分离变换集的与修改后的帧内预测模式相对应的索引。
此外，当修改后的帧内预测模式大于或等于0且小于或等于1时，可以将索引确定为第一索引值，当修改后的帧内预测模式大于或等于2且小于或等于12时，可以将索引确定为第二索引值，当修改后的帧内预测模式大于或等于13且小于或等于23时，可以将索引确定为第三索引值，当修改的帧内预测模式大于或等于24且小于或等于44时，可以将索引确定为第四索引值，当修改后的帧内预测模式大于或等于45且小于或等于55时，可以将索引确定为第三索引值，当修改后的帧内预测模式大于或等于56时，可以将索引确定为第二索引值，并且当修改后的帧内预测模式小于0时，可以将索引确定为第二索引值。
根据本公开的另一个实施方式的用于对图像信号进行解码的装置包括：存储器，其存储图像信号；以及处理器，其联接到存储器并且被配置为处理图像信号，其中，处理器被配置为基于当前块的宽度和高度之间的比率以及帧内预测模式确定当前块的具有不同宽度和高度的修改后的帧内预测模式，基于修改后的帧内预测模式确定逆不可分离变换集，并且将从逆不可分离变换集中选择的逆不可分离变换矩阵应用到当前块的基于当前块的宽度和高度确定的左上区域。
此外，处理器可以被配置为当宽度大于高度并且帧内预测模式大于或等于2且小于第一参考值时通过将65加到帧内预测模式而获得的值确定为修改后的帧内预测模式。
此外，处理器可以被配置为当宽度小于高度并且帧内预测模式大于或等于第二参考值且小于或等于66时将从帧内预测模式减去67而获得的值确定为修改后的帧内预测模式。
此外，处理器可以被配置为确定逆不可分离变换集的与修改后的帧内预测模式相对应的索引。
此外，当修改后的帧内预测模式大于或等于0且小于或等于1时，可以将索引确定为第一索引值，当修改后的帧内预测模式大于或等于2且小于或等于12时，可以将索引确定为第二索引值，当修改后的帧内预测模式大于或等于13且小于或等于23时，可以将索引确定为第三索引值，当修改后的帧内预测模式大于或等于24且小于或等于44时，可以将索引确定为第四索引值，当修改后的帧内预测模式大于或等于45且小于或等于55时，可以将索引确定为第三索引值，当修改后的帧内预测模式大于或等于56时，可以将索引确定为第二索引值，并且当修改后的帧内预测模式小于0时，可以将索引确定为第二索引值。
有益效果
根据本公开的实施方式，可以设计能够支持具有高精度的预测模式的变换矩阵。
此外，根据本公开的实施方式，通过导出结合了广角帧内预测模式的低频不可分离变换，可以提高预测精度并且可以降低变换矩阵的设计复杂度。
本公开可以实现的效果不限于上述效果，并且本公开所属领域的技术人员将从以下描述中更清楚地理解本公开的其它效果和优点。
附图说明
附图被包括进来以提供对本公开的进一步理解，并构成详细描述的一部分，附图示出了本公开的实施方式，并且与本描述一起用于解释本公开的技术特征。
图1是应用本公开的实施方式，并且示出了执行图像信号的编码的编码器的示意性框图。
图2是应用本公开的实施方式，并且示出了执行图像信号的解码的解码器的示意性框图。
图3a-3d示出了可以应用本公开的实施方式。图3a、图3b、图3c和图3d是用于分别基于四叉树、二叉树、三叉树和非对称树描述块划分结构的图。
图4和图5是应用本公开的实施方式，其中，图4示出了编码器内的变换和量化单元以及逆量化单元和逆变换单元的示意性框图，并且图5示出了解码器内的逆量化单元和逆变换单元的示意性框图。
图6a和图6b示出用于确定每种预测模式的水平方向和垂直方向上的变换类型的表的示例。
图7是应用本公开的实施方式，并且是示出由多变换选择(MTS)执行的编码过程的流程图。
图8是应用本公开的实施方式，并且是示出执行MTS的解码过程的流程图。
图9是应用本公开的实施方式，并且是用于描述对MTS标记和MTS索引进行编码的过程的流程图。
图10是应用本公开的实施方式，并且是用于示出基于MTS标记和MTS索引将水平变换或垂直变换应用于行或列的解码过程的流程图。
图11是应用本公开的实施方式，并且示出了基于与变换相关参数执行逆变换的流程图。
图12是应用本公开的实施方式，并且是示出了在不可分离辅变换(NSST)中将变换集分配给每个帧内预测模式的表。
图13是应用本公开的实施方式，并且示出了吉文斯旋转的计算流程图。
图14是应用本公开的实施方式，并且示出了在由吉文斯旋转层和置换组成的4×4NSST中的一轮配置。
图15是应用本公开的实施方式，并且是用于描述前向减少变换和逆减少变换的操作的框图。
图16是应用本公开的实施方式，并且是示出根据逆扫描顺序从第64到第17执行逆扫描的过程的图。
图17是应用本公开的实施方式，并且示出通过主变换和辅变换对图像信号进行编码的流程图。
图18是应用本公开的实施方式，并且示出通过逆辅变换和逆主变换对图像信号进行解码的流程图。
图19是应用本公开的实施方式，并且示出了由67个模式组成的帧内预测模式配置的示例。
图20是应用本公开的实施方式，并且示出了用于35个帧内预测模式的67个帧内预测模式的映射表的示例。
图21是应用本公开的实施方式，并且示出在35个帧内预测模式中另外配置两个广角模式的示例。
图22是应用本公开的实施方式，并且示出在35个帧内预测模式中另外配置10个广角模式的示例。
图23是应用本公开的实施方式，并且示出了在35个帧内预测模式和67个帧内预测模式中添加的广角模式之间的索引映射表的示例。
图24和图25是应用本公开的实施方式，并且示出了用于非正方形块的帧内预测的示例。
图26a-26b是应用本公开的实施方式，并且示出了当将二维块改变为一维矢量时像素被布置的顺序的示例，其中，图26a示出了行优先顺序的示例，并且图26b示出了列优先顺序的示例。
图27a-27b是应用本公开的实施方式，并且示出了35个变换集和帧内预测模式之间的映射表的示例，其中，图27a示出了将变换集对称地分配给每个广角模式的情况的示例，图27b示出了将2号变换集分配给所有广角模式的情况的示例，并且图27c示出了将相同的附加变换集分配给所有广角模式的情况的示例。
图28a-28b是应用本公开的实施方式，并且示出了在10个变换集和帧内预测模式之间的映射表的示例，其中，图28a示出了将2号变换集分配给每个广角模式的情况的示例，并且图28b示出了将相同的附加变换集分配给所有广角模式的情况的示例。
图29a-29b是应用本公开的实施方式，并且示出了六个变换集和帧内预测模式之间的映射表的示例，其中，图29a示出了将2号变换集分配给每个广角模式的情况的示例，并且图29b示出了将相同的附加变换集分配给所有广角模式的情况的示例。
图30a-30b是应用本公开的实施方式，并且示出了四个变换集和帧内预测模式之间的映射表的示例，其中，图30a示出了将2号变换集分配给每个广角模式的情况的示例，并且图30b示出了将相同的附加变换集分配给所有广角模式的情况的示例。
图31是应用了本公开的实施方式，并且示出编码器通过考虑广角帧内预测(WAIP)来执行变换的流程图的示例。
图32是应用了本公开的实施方式，并且示出解码器通过考虑WAIP来执行变换的流程图的示例。
图33是应用本公开的实施方式，并且示出解码器通过考虑WAIP来执行变换的流程图的另一示例。
图34是应用本公开的实施方式，并且示出图像处理装置的框图的示例。
图35示出在应用本公开的实施方式中的图像编码系统的示例。
图36示出在应用本公开的实施方式中的图像流传输系统的示例。
具体实施方式
现在将详细参考本公开的实施方式，其示例在附图中示出。以下与附图一起公开的详细描述是为了描述本公开的示例性实施方式，而不是为了描述用于执行本公开的唯一实施方式。下面的详细描述包括提供对本公开的完整理解的细节。然而，本领域技术人员知道可以在没有这些细节的情况下执行本公开。
在某些情况下，为了防止本公开的概念模糊，可以基于每个结构和设备的核心功能以框图形式省略或示出已知结构和设备。
此外，尽管在本公开中尽可能选择当前广泛使用的通用术语作为术语，但是在特定情况下使用由申请人任意选择的术语。由于在这种情况下，术语的含义将在说明书的相应部分中清楚地描述，因此应理解，本公开内容将不由仅在本公开内容的说明书中使用的术语来简单地解释，而是应该指出术语的含义。
可以提供在以下描述中使用的特定术语以帮助理解本公开。此外，在本公开的技术概念的范围内，可以将特定术语修改为其它形式。例如，可以在每个编码过程中适当地替换和解释信号、数据、样本、图片、帧、块等。
在本公开中，“处理单元”是指执行诸如预测、变换和/或量化的编码/解码过程的单元。处理单元也可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于块、编码单元(CU)、预测单元(PU)或变换单元(TU)。
处理单元还可以被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于亮度分量的编码树块(CTB)、编码块(CB)、预测单元(PU)或变换块(TB)。另选地，处理单元可以对应于色度分量的CTB、CB、PU或TB。处理单元不限于此，并且可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
此外，处理单元不必限于正方形块，并且可以被配置为具有三个或更多个顶点的多边形形状。
在本公开中，像素通常被称为样本。另外，使用样本可以意味着使用像素值等。
图1是应用本公开的实施方式，并且示出执行图像信号的编码的编码器的示意性框图。
参照图1，编码器100可以被配置为包括图像划分单元110、变换单元120、量化单元130、逆量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、帧间预测单元180、帧内预测单元185和熵编码单元190。
图像划分单元110可以将输入到编码器100中的输入图像(或图片或帧)划分为一个或更多个处理单元。例如，处理单元可以是编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。在下面的描述中，将变换单元(TU)(即，执行变换的单元)统称为变换块。
然而，这些术语仅用于便于描述本公开，并且本公开不限于这些术语的定义。另外，在本公开中，为了便于描述，术语编码单元被用作在对图像信号进行编码或解码时使用的单元，但是本公开不限于此，并且可以根据本公开适当地解释。
编码器100从输入图像信号减去从帧间预测单元180或帧内预测单元185输出的预测信号以生成残差信号，并且将所生成的残差发信号传输至变换单元120。
变换单元120可以通过将变换技术应用于残差信号来生成变换系数。可以将变换过程应用于四叉树结构正方形块和被二叉树结构、三叉树结构或非对称树结构划分的块(正方形或矩形)。
变换单元120可以基于多个变换(或变换组合)来执行变换，并且该变换方案可以被称为多变换选择(MTS)。MTS也可以被称为自适应多重变换(AMT)或增强多重变换(EMT)。
MTS(或AMT或EMT)可以指基于从多个变换(或变换组合)中自适应选择的变换(或变换组合)执行的变换方案。
可以基于离散余弦变换(DCT)或离散正弦变换(DST)类型的内核来确定多个变换(或变换组合)，如本公开的图6a和图6b所示。在本公开中，变换类型可以被表达为例如像DCT类型2、DCT-II、DCT-2、DCT2，并且在以下描述中通常被指示为DCT-2。
根据本公开的实施方式的变换单元120可以执行以下实施方式。
变换单元120可以将前向主变换应用于包括残差样本的变换块的水平方向和垂直方向中的每个，并且可以基于变换块(或当前块)的大小来应用辅变换。例如，当当前块的大小大于或等于4×4时，可以应用稍后将描述的不可分离辅变换(NSST)和/或减少的辅变换(RST)。在一个实施方式中，可以基于当前块的宽度和高度将NSST和/或RST应用于左上4×4或8×8区域。在本文中，指示块(矩阵)的大小的“M×N”指示块的宽度和高度。例如，如果块的大小大于或等于4×4，这意味着块的宽度和高度两者都大于或等于4。
量化单元130可以量化变换系数并且将量化后的变换系数发送到熵编码单元190，并且熵编码单元190可以对量化后的信号进行熵编码，并且将熵编码后的量化信号输出为比特流。
尽管将变换单元120和量化单元130描述为单独的功能单元，但是本公开不限于此，并且可以将它们组合成一个功能单元。逆量化单元140和逆变换单元150也可以类似地组合为一个功能单元。
从量化单元130输出的量化信号可以用于生成预测信号。例如，通过逆量化单元140和逆变换单元1850以循环的方式将逆量化和逆变换应用于量化信号，以重构残差信号。将重构的残差信号加到与从帧间预测单元180或帧内预测单元185输出的预测信号，以生成重构信号。
此外，由于在这样的压缩过程期间发生的量化误差，可能出现示出块边界的劣化。这种现象被称为块伪影，并且是评估图像质量的关键因素之一。可以执行滤波处理以减少劣化。通过滤波过程消除块劣化并且减少当前图片的误差，从而提高图像质量。
滤波单元160对重构信号应用滤波，并且将所应用的重构信号输出至再现设备，或者将输出的重构发信号传输至解码图片缓冲器170。帧间预测单元170可以使用传输至解码图片缓冲器180的滤波后的信号作为参考图片。这样，在帧间预测模式下将滤波后的图片用作参考图片，以提高图像质量和编码效率。
解码图片缓冲器170可以存储滤波后的图片，以便在帧间预测单元180中将滤波后的图片用作参考图片。
帧间预测单元180执行时间预测和/或空间预测，以便通过参考重构图片来去除时间冗余和/或空间冗余。在这种情况下，由于用于预测的参考图片是在先前时间进行编码/解码时以块为单元量化和逆量化的变换信号，所以可能存在块伪影或振铃伪影。
因此，帧间预测单元180可以通过应用低通滤波器来以子像素为单元在像素之间对信号进行插值(interpolate)，以解决由于这种信号的不连续性或量化而导致的性能下降。在这种情况下，子像素是指通过应用插值滤波器生成的虚拟像素，而整数像素是指存在于重构图片中的实际像素。作为插值方法，可以采用线性插值、双线性插值、维纳滤波器等。
将插值滤波器应用于重构图片，以提高预测精度。例如，帧间预测单元180将插值滤波器应用于整数像素以生成插值像素，并且可以通过使用由插值像素构成的插值块作为预测块来执行预测。
此外，帧内预测单元185可以通过参考要进行当前编码的块附近的样本来预测当前块。帧内预测单元185可以执行以下过程以便执行帧内预测。首先，可以准备参考样本，这是生成预测信号所必需的。另外，可以通过使用准备的参考样本来生成预测信号。此后，对预测模式进行编码。在这种情况下，可以通过参考样本填充和/或参考样本滤波来准备参考样本。由于参考样本经历了预测和重构过程，因此可能存在量化误差。因此，可以针对用于帧内预测的每个预测模式执行参考样本滤波过程，以减小这种误差。
通过帧间预测单元180或帧内预测单元185生成的预测信号可以用于生成重构信号或用于生成残差信号。
图2是应用本公开的实施方式，并且示出执行图像信号的解码的解码器的示意性框图。
参照图2，解码器200可以被配置为包括解析单元(未示出)、熵解码单元210、逆量化单元220、逆变换单元230、滤波单元240、解码图片缓冲器(DPB)单元250、帧间预测单元260和帧内预测单元265。
此外，可以通过再现设备来再现通过解码器200输出的重构图像信号。
解码器200可以接收从图1的编码器100输出的信号，并且接收的信号可以通过熵解码单元210进行熵解码。
逆量化单元220通过使用量化步长信息从熵解码信号获得变换系数。
逆变换单元230对变换系数进行逆变换以获得残差信号。
当变换块的大小大于或等于4×4时，根据本公开的实施方式的逆变换单元230可以被配置为将逆不可分离辅变换应用于变换块，在水平方向和垂直方向上分开变换块，并且应用逆主变换。例如，可以基于当前块的宽度和高度，将逆NSST和/或逆RST应用于左上4×4或8×8区域。
尽管将解量化单元220和逆变换单元230描述为单独的功能单元，但是本公开不限于此，并且可以将它们组合成一个功能单元。
所获得的残差信号被加到从帧间预测单元260或帧内预测单元265输出的预测信号以生成重构信号。
滤波单元240对重构信号进行滤波，并且将所应用的重构信号输出至生成设备，或者将输出的重构信号传输至解码图片缓冲单元250。帧间预测单元250可以将发送到解码图片缓冲单元260的滤波后的信号作为参考图片。
在本公开中，在变换单元120和编码器100的各个功能单元中描述的实施方式可以分别等同地应用于逆变换单元230和解码器的对应功能单元。
图3示出了可以应用本公开的实施方式，图3a是用于说明基于四叉树(以下称为“QT”)的块分割结构的图，图3b是用于说明基于二叉树(以下称为“BT”)的块分割结构的图，图3c是用于描述基于三叉树的块分割结构的图(以下称为“TT”)，并且图3d是用于描述基于非对称树(以下称为“AT”)的块划分结构的图。
在图像编码时，可以基于四叉树(QT)来分割一个块。此外，可以使用QT来递归地分割由QT分割的一个子块。不再被QT分割的叶块可以使用二叉树(BT)、三叉树(TT)或非对称树(AT)中的至少一种方法进行分割。BT可以具有水平BT(2N×N、2N×N)和垂直BT(N×2N、N×2N)的两种类型的分割。TT可以具有水平TT(2N×1/2N、2N×N、2N×1/2N)和垂直TT(1/2N×2N、N×2N、1/2N×2N)的两种类型的分割。AT可以有四种类型的分割：水平向上AT(2N×1/2N、2N×3/2N)、水平向下AT(2N×3/2N、2N×1/2N)、垂直向左AT(1/2N×2N、3/2N×2N)和垂直向右AT(3/2N×2N、1/2N×2N)。可以使用BT、TT或AT进一步递归分割每个BT、TT或AT。
图3a示出了QT分割的示例。可以通过QT将块A分割成四个子块A0、A1、A2和A3。子块A1可以通过QT被分割成四个子块B0、B1、B2和B3。
图3b示出了BT分割的示例。不再被QT分割的块B3可以被分割为垂直BT C0和C1或水平BT D0和D1。如在块C0中，每个子块可以像水平BT E0和E1或垂直BT F0和F1的形式一样被递归地分割。
图3c示出了TT分割的示例。不再被QT分割的块B3可以被分割为垂直TT C0、C1和C2或水平TT D0、D1和D2。如在块C1中，每个子块可以像水平TT E0、E1和E2或垂直TT F0、F1和F2的形式一样被递归地分割。
图3d示出了AT分割的示例。不再被QT分割的块B3可以被分割为垂直AT C0和C1或水平AT D0和D1。如在块C1中，每个子块可以像水平AT E0和E1或垂直TT F0和F1的形式一样被递归地分割。
此外，BT、TT和AT分割可以被一起分割。例如，由BT分割的子块可以由TT或AT分割。此外，由TT分割的子块可以由BT或AT分割。由AT分割的子块可以由BT或TT分割。例如，在水平BT分割之后，每个子块可以被分割成垂直BT，或者在垂直BT分割之后，每个子块可以被分割成水平BT。两种类型的分割方法的分割顺序不同，但最终分割形状相同。
此外，如果块被分割，则可以以各种方式来定义块被搜索的顺序。通常，搜索是从左到右或从上到下执行的。搜索块可以是指用于确定是否分割每个分割子块的附加块的序列，或者可以是指在块不再被分割时，每个子块的编码序列，或者可以是指当在子块中引用另一个邻近块的信息时的搜索序列。
可以对由划分结构划分的每个处理单元(或变换单元)执行变换，诸如图3a至3d。特别地，可以针对每个行方向和每个列方向执行划分，并且可以应用变换矩阵。根据本公开的实施方式，可以基于处理单元(或变换单元)在行方向或列方向上的长度来使用不同的变换类型。
图4和图5是应用本公开的实施方式。图4示出了编码器内的变换和量化单元120/130以及解量化和变换单元140/150的示意性框图，并且图5示出了解码器内的解量化和变换单元220/230的示意性框图。
参照图4，变换和量化单元120/130可以包括主变换单元121、辅变换单元122和量化单元130。解量化和变换单元140/150可以包括解量化单元140、逆辅变换单元151和逆主变换单元152。
参照图5，解量化和变换单元220/230可以包括解量化单元220、逆辅变换单元231和逆主变换单元232。
在本公开中，当执行变换时，可以通过多个步骤来执行变换。例如，如图4所示，根据算法，可以应用主变换和辅变换的两个步骤，或者可以使用更多变换步骤。在这种情况下，主变换可以被称为核心变换。
主变换单元121可以将主变换应用于残差信号。在这种情况下，可以在编码器和/或解码器中以表格形式预定义主变换。
此外，MTS的几种变换类型(DCT-2、DST-7、DCT-8)的组合可以用于主变换。例如，可以如在图6a和图6b所示的表中那样确定变换类型。
辅变换单元122可以将辅变换应用于主变换信号。在这种情况下，可以将辅变换预定义为编码器和/或解码器中的表格。
在一个实施方式中，不可分离辅变换(NSST)可以有条件地应用于辅变换。例如，NSST可以仅应用于帧内预测块，并且可以具有可应用于每个预测模式组的变换集。
在这种情况下，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34(对角线方向)是对称的，因此可以通过形成一组来应用相同的变换集。在这种情况下，当应用用于预测模式52的变换时，输入数据被转置，然后被应用，因为预测模式52具有与预测模式16相同的变换集。
此外，由于在平面模式和DC模式的情况下不存在方向的对称性，因此每个模式具有不同的变换集，并且对应的变换集可以包括两个变换。关于其余方向模式，每个变换集可以包括三个变换。
量化单元130可以对辅变换信号执行量化。
逆量化单元和逆变换单元140/150逆向地执行上述过程，因此省略其冗余说明。
图5是解码器中的解量化单元220和逆变换单元230的示意性框图。
参照上述图5，解量化和逆变换单元220和230可以包括解量化单元220、逆辅变换单元231和逆主变换单元232。
解量化单元220通过使用量化步长信息从熵解码的信号获得变换系数。
逆辅变换单元231执行变换系数的逆辅变换。在这种情况下，逆辅变换表示图4中描述的辅变换的逆变换。
逆主变换单元232执行逆辅变换信号(或块)的逆主变换，并获得残差信号。在这种情况下，逆主变换表示图4中描述的主变换的逆变换。
在一个实施方式中，可以将MTS的多个变换(DCT-2、DST-7、DCT-8)的组合应用于主变换。例如，可以如在图6a和图6b所示的表中那样确定变换类型。
图6a和图6b示出用于确定针对每种预测模式的水平方向和垂直方向的变换类型的表的示例。图6a示出用于在帧内预测模式下确定水平/垂直方向上的变换类型的表的示例。图6b示出用于在帧间预测模式下确定水平/垂直方向上的变换类型的表的示例。图6a和图6b是用于确定变换类型的组合表的示例，示出了应用于联合探索模型(JEM)的MTS组合。也可以使用另一种组合。例如，图6b的表可用于帧内预测和帧间预测两者。基本上参照图6a和图6b描述应用于JEM的示例。
在JEM中，由于引入了称为EMT_CU_flag(或MTS_CU_flag)的语法元素，因此MTS的应用可能变为以块为单元(在HEVC的情况下以CU为单元)开/关。即，在帧内预测模式下，当MTS_CU_flag为0时，使用现有的高效图像编码(HEVC)中的DCT-2或DST-7(对于4×4块)。当MTS_CU_flag为1时，使用在图6a中提出的MTS组合。如图6a所示，可能的MTS组合可以根据帧内预测模式而有所不同。例如，相对于14、15、16、17、18、19、20、21、22模式，因为在水平方向上使用DST-7和DCT-5并且在垂直方向上使用DST-7和DCT-8，所以允许总共四种组合。因此，需要发信号通知使用了四个组合之一的信息。通过具有两比特的MTS_TU_index选择四个组合之一。图6b示出了可以在帧间预测模式下应用的MTS组合。与图6a不同，确定可能仅基于DST-7和DCT-8的组合。根据本公开的实施方式，可以使用EMT_CU_flag而不是MTS_CU_flag。例如，如果应用帧内预测模式，则可以使用图6a的集合2，并且如果应用帧间预测模式，则可以使用图6b。
图7是应用本公开的实施方式，并且是示出执行MTS的编码过程的流程图。
在本公开中，基本上，基本上描述在水平方向和垂直方向上应用变换的实施方式。但是，变换组合可以配置有不可分离变换。
另选地，可以配置可分离变换和不可分离变换的混合。在这种情况下，如果使用不可分离变换，则针对每个行/列的变换选择或者针对每个水平/垂直方向的选择变得不是必须的。只有当选择可分离变换时，才可以使用图6a或图6b的变换组合。
此外，可以应用本公开中提出的方法，而不管主变换或辅变换如何。即，在将所述方法应用于仅主变换或辅变换中的任何一个时都没有限制，并且所述方法可以应用于主变换和辅变换两者。在这种情况下，主变换可以指用于首先对残差块进行变换的变换。辅变换可以指用于将变换应用于作为主变换的结果生成的块的变换。根据本公开的实施方式，当变换块的大小大于或等于4×4时，可以基于变换块的宽度和高度将辅变换应用于变换块的左上4×4或8×8区域。
首先，编码器100可以确定与当前块相对应的变换配置组(S710)。在这种情况下，变换配置组可以由诸如图6a和图6b的组合组成。
编码器可以对变换配置组内的可用候选变换组合执行变换(S720)。
作为执行变换的结果，编码器可以确定或选择具有最小速率失真(RD)成本的变换组合(S730)。
编码器可以对与所选择的变换组合相对应的变换组合索引进行编码(S740)。
图8是应用本公开的实施方式，并且是示出执行MTS的解码过程的流程图。
首先，解码器200可以确定当前块的变换配置组(S810)。解码器200可以根据图像信号解析(或获得)变换组合索引。在这种情况下，变换组合索引可以对应于变换配置组内的多个变换组合之一(S820)。例如，变换配置组可以包括DST-4、DCT-4、DST-7和DCT-8。变换组合索引可以被称为MTS索引。在一个实施方式中，可以基于当前块的预测模式、块大小或块形状中的至少一个来配置变换配置组。
解码器100可以导出与变换组合索引相对应的变换组合(S830)。在这种情况下，变换组合可以由水平变换和垂直变换组成，并且可以包括DCT-2、DST-7或DCT-8中的至少一个。此外，参考图6a或图6b描述的变换组合可以用于变换组合。即，在本公开中，根据另一个实施方式的基于另一变换组合的配置是可能的。
解码器100可以基于导出的变换组合对当前块执行逆变换(S840)。如果利用行(水平)变换和列(垂直)变换配置变换组合，则在首先应用行(水平)变换之后，可以应用列(垂直)变换，但是本公开不限于此。如果变换组合以相反的方式配置或利用不可分离变换配置，则可以应用不可分离变换。
在一个实施方式中，如果垂直变换或水平变换是DST-7或DCT-8，则可以将DST-7的逆变换或DST-8的逆变换应用于每列，然后应用于每一行。此外，在垂直变换或水平变换中，可以对每一行和/或每一列应用不同的变换。
在一个实施方式中，可以基于指示是否执行MTS的MTS标记来获得变换组合索引。即，仅当基于MTS标记执行MTS时，可以获得变换组合索引。此外，解码器100可以检查非零系数的数量是否大于阈值。在这种情况下，仅当非零系数的数量大于阈值时，才可以获得变换组合索引。
在一个实施方式中，可以在序列、图片、切片、块、编码单元、变换单元或预测单元的至少一个级别中定义MTS标记或MTS索引。
在一个实施方式中，仅当变换单元的宽度和高度两者都为32或更小时，才可以应用逆变换。
此外，在另一个实施方式中，可以同时执行确定变换配置组的过程和解析变换组合索引的过程。另选地，步骤S810可以在编码器100和/或解码器200中被预先配置和被省略。
图9是应用本公开的实施方式，并且是用于描述对MTS标记和MTS索引进行编码的过程的流程图。
编码器100可以确定是否将MTS应用于当前块(S910)。
如果应用了MTS，则编码器100可以将MTS标记编码为1(S920)。
此外，编码器100可以基于当前块的预测模式、水平变换或垂直变换中的至少一者来确定MTS索引(S930)。在这种情况下，MTS索引指的是指示用于每个帧内预测模式的多个变换组合中的任何一个的索引，并且可以针对每个变换单元发送MTS索引。
当确定了MTS索引时，编码器100可以对在步骤S930确定的MTS索引进行编码(S940)。
此外，如果未应用MTS，则编码器100可以将MTS标记编码为0(S950)。
图10是应用本公开的实施方式，并且是用于示出基于MTS标记和MTS索引将水平变换或垂直变换应用于行或列的解码过程的流程图。
解码器200可以根据比特流解析MTS标记(S1010)。在这种情况下，MTS标记可以指示是否将MTS应用于当前块。
解码器200可以基于MTS标记检查是否将MTS应用于当前块(S1020)。例如，解码器200可以检查MTS标记是否为1。
当MTS标记为1时，解码器200可以检查非零系数的数量是否大于(或等于或大于)阈值(S1030)。例如，可以将变换系数的数量的阈值设置为2。可以基于块大小或变换单元的大小来设置阈值。
当非零系数的数量大于阈值时，解码器200可以解析MTS索引(S1040)。在这种情况下，MTS索引指的是指示针对每个帧内预测模式或每个帧间预测模式的多个变换组合中的任一个的索引。可以针对每个变换单元发送MTS索引。此外，MTS索引可以表示指示在预配置的变换组合表中定义的任一个变换组合的索引。在这种情况下，预先配置的变换组合表可以指图6a或图6b的表，但是本公开不限于此。
解码器100可以基于MTS索引或预测模式中的至少之一来导出或确定水平变换和垂直变换(S1050)。此外，解码器100可以导出与MTS索引相对应的变换组合。例如，解码器100可以导出或确定与MTS索引对应的水平变换和垂直变换。
此外，当非零系数的数量不大于阈值时，解码器200可以针对每列应用预配置的垂直逆变换(S1060)。例如，垂直逆变换可以是DST-7的逆变换。此外，垂直逆变换可以是DST-8的逆变换。
此外，解码器可以针对每行应用预配置的水平逆变换(S1070)。例如，水平逆变换可以是DST-7的逆变换。此外，水平逆变换可以是DST-8的逆变换。
即，当非零系数的数量不大于阈值时，可以使用在编码器100或解码器200中预配置的变换类型。例如，可以不使用在变换组合表(诸如图6a或图6b)中定义的变换类型，而使用通用的变换类型(例如，DCT-2)。
此外，当MTS标记为0时，解码器200可以针对每列应用预配置的垂直逆变换(S1080)。例如，垂直逆变换可以是DCT-2的逆变换。
此外，解码器200可以针对每行应用预配置的水平逆变换(S1090)。例如，水平逆变换可以是DCT-2的逆变换。即，当MTS标记为0时，可以使用在编码器或解码器中预配置的变换类型。例如，可以不使用在变换组合表(诸如图6a或图6b)中定义的变换类型，而使用通用的变换类型。
图11是应用本公开的实施方式，并且示出了基于变换相关参数执行逆变换的流程图。
应用本公开的解码器200可以获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1110)。在这种情况下，sps_mts_intra_enabled_flag指示在应用了帧内预测的编码单元(帧内编码单元)的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag。当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中存在tu_mts_flag。此外，sps_mts_inter_enabled_flag指示在应用帧间预测的编码单元(帧间编码单元)的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中不存在tu_mts_flag。当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中存在tu_mts_flag。
解码器200可以基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得tu_mts_flag(S1120)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码器200可以获得tu_mts_flag。在这种情况下，tu_mts_flag指示是否将MTS应用于亮度变换单元的残差样本。例如，当tu_mts_flag＝0时，MTS不应用于亮度变换单元的残差样本。当tu_mts_flag＝1时，将MTS应用于亮度变换单元的残差样本。可以关于Tu_mts_flag＝1应用本公开中描述的实施方式中的至少一个。
解码器200可以基于tu_mts_flag获得mts_idx(S1130)。例如，当tu_mts_flag＝1时，解码器可以获得mts_idx。在这种情况下，mts_idx指示是否根据当前变换块的水平方向和/或垂直方向将哪个变换内核应用于亮度残差样本。例如，本公开的实施方式中的至少一个可以应用于mts_idx。作为详细的示例，可以应用图6a和图6b的实施方式中的至少一个。
解码器200可以导出与mts_idx相对应的变换内核(S1140)。例如，可以将与mts_idx对应的变换内核划分并定义为水平变换和垂直变换。
对于另一个示例，可以将不同的变换内核应用于水平变换和垂直变换，但是本公开不限于此。可以将相同的变换内核应用于水平变换和垂直变换。
在一个实施方式中，可以像表1一样定义mts_idx。
[表1]
mts_idx[x0][y0] trTypeHor trTypeVer
0 0 0
1 1 1
2 2 1
3 1 2
4 2 2
此外，解码器200可以基于在步骤S1140导出的变换内核来执行逆变换(S1150)。
在图11中，已经基本描述了为了确定是否应用MTS而获得tu_mts_flag，基于所获得的tu_mts_flag值获得mts_idx并且确定变换内核的实施方式，但是本公开不限于此。例如，解码器200可以通过直接解析mts_idx而不解析tu_mts_flag来确定变换内核。在这种情况下，可以使用表1。即，当mts_idx值指示为0时，可以在水平方向/垂直方向上应用DCT-2。当mts_idx值指示除了0之外的值时，可以基于mts_idx值应用DST-7或DCT-8。
在本公开的另一个实施方式中，描述了执行变换过程的解码过程。
解码器200可以检查变换大小(nTbS)。在这种情况下，变换大小(nTbS)可以是指示缩放变换系数的水平样本大小的变量。
解码器200可以检查变换内核类型(trType)。在这种情况下，变换内核类型(trType)可以是指示变换内核的类型的变量，并且可以应用本公开的各种实施方式。变换内核类型(trType)可以包括水平变换内核类型(trTypeHor)和垂直变换内核类型(trTypeVer)。
参照表1，变换内核类型(trType)可以在为0时指示DCT-2，在为1时指示DST-7，在为2时指示DCT-8。
解码器200可以基于变换大小(nTbS)或变换内核类型中的至少一个来执行变换矩阵乘法。
对于另一示例，当变换内核类型为1并且变换大小为4时，当执行变换矩阵乘法时，可以应用先前确定的变换矩阵1。
对于另一示例，当变换内核类型为1并且变换大小为8时，当执行变换矩阵乘法时，可以应用先前确定的变换矩阵2。
对于另一示例，当变换内核类型为1并且变换大小为16时，当执行变换矩阵乘法时，可以应用先前确定的变换矩阵3。
对于另一示例，当变换内核类型为1并且变换大小为32时，可以应用先前定义的变换矩阵4。
同样，当变换内核类型为2且变换大小为4、8、16和32时，可以分别应用先前定义的变换矩阵5、6、7和8。
在这种情况下，每个先前定义的变换矩阵1至8可以对应于各种类型的变换矩阵中的任何一个。例如，可以应用图6中示出的类型的变换矩阵。
解码器200可以基于变换矩阵乘法来导出变换样本。
可以使用实施方式，但是本公开不限于此。本公开的以上实施方式和其它实施方式可以被组合和使用。
图12是应用本公开的实施方式，并且是示出在NSST中将变换集分配给每个帧内预测模式的表。
辅变换单元122可以将辅变换应用于主变换后的信号。在这种情况下，可以在编码器100和/或解码器200中将辅变换预先定义为表。
在一个实施方式中，可以将NSST有条件地应用于辅变换。例如，NSST仅在帧内预测块的情况下被应用，并且可以具有针对每个预测模式组的可应用变换集。
根据本公开的实施方式，当变换块的大小大于或等于4×4时，可以基于变换块的宽度和高度将NSST应用于变换块的左上4×4或8×8区域。
在这种情况下，可以基于预测方向的对称性来配置预测模式组。例如，预测模式52和预测模式16相对于预测模式34(对角线方向)彼此对称，并且因此可以形成一组，使得可以将相同的变换集应用于预测模式52和预测模式16。在这种情况下，当应用预测模式52的变换时，输入数据被转置并应用。其原因在于，预测模式52和预测模式16具有相同的变换集。
此外，平面模式和DC模式具有各自的变换集，因为不存在针对方向的对称性。对应变换集可以配置有两个变换。关于其余方向模式，可以针对每个变换集配置三个变换，但是本公开不限于此。每个变换集可以配置有多个变换。
图13是应用本公开的实施方式，并且示出了吉文斯旋转的计算流程图。
在另一个实施方式中，NSST不应用于整个主变换块，而是可以仅应用于其左上8×8区域。例如，当块的大小等于或大于8×8时，应用8×8 NSST。当块的大小小于8×8时，应用4×4 NSST。在这种情况下，在将块划分为4×4块之后，可以将4×4 NSST应用于4×4块中的每个。根据本公开的实施方式，当变换块的大小大于或等于4×4时，可以将NSST仅应用于变换块的左上4×4区域。
作为另一个实施方式，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4NSST。
由于8×8 NSST和4×4 NSST两者都遵循本公开中描述的变换组合配置，并且是不可分离变换，因此8×8 NSST接收64个数据并输出64个数据，而4×4 NSST具有16个输入和16个输出。
8×8 NSST和4×4 NSST均由吉文斯旋转的层次结构组合配置。在下面的等式1中示出与一个吉文斯旋转对应的矩阵，并且在下面的等式2中示出矩阵乘积。
[等式1]
/>
[等式2]
tm＝xmcosθ-xnsinθ
tn＝xmsinθ+xncosθ
如以上图13中所示，由于一个吉文斯旋转使两个数据旋转，所以为了处理64个数据(对于8×8 NSST)或16个数据(对于4×4 NSST)，总共需要32或8个吉文斯旋转。
因此，一束32或8用于形成吉文斯旋转层。通过所确定的置换(permutation)，将一个吉文斯旋转层的输出数据传输为下一个吉文斯旋转层的输入数据。
图14示出了由吉文斯旋转层和置换构成的4×4 NSST中的一轮配置，作为应用了本公开的实施方式。
参照以上图14，示出了在4×4 NSST的情况下顺序地处理四个吉文斯旋转层。如以上图14所示，通过所确定的置换(即，改组)，将一个吉文斯旋转层的输出数据传输为下一个吉文斯旋转层的输入数据。
如以上图14所示，有规律地确定要置换的模式，在4×4 NSST的情况下，将四个吉文斯旋转层和相应的置换组合在一起以形成一轮。
在8×8 NSST的情况下，六个吉文斯旋转层和相应的置换形成一轮。4×4 NSST经过两轮，而8×8 NSST经过四轮。不同轮使用相同的置换模式，但是应用的吉文斯旋转角度不同。因此，需要存储构成每个变换的所有吉文斯旋转的角度数据。
作为最后一步，对通过吉文斯旋转层输出的数据执行一次置换，并针对每个变换分别存储相应的置换信息。在前向NSST中，最后执行对应的置换，而在逆NSST中，相反地首先应用对应的逆置换。
在逆NSST的情况下，以相反的顺序执行吉文斯旋转层和应用于前向NSST的置换，并且通过甚至对于每个吉文斯旋转的角度取负值来执行旋转。
此外，根据一个实施方式，可以用将在下文中描述的减少的辅变换(RST)来代替NSST。
图15是应用本公开的实施方式，并且是用于描述前向减少变换和逆减少变换的操作的框图。
减少的辅变换(RST)
假定表示一个变换的正交矩阵具有N×N形式，减少变换(以下称为“RT”)仅留下N个变换基础矢量中的R个(R＜N)。如下面的等式3中给出了用于生成变换系数的前向RT的矩阵。
[等式3]
逆RT的矩阵是前向RT矩阵的转置矩阵。前向RT和逆RT的应用如图15所示。
假设将RT应用于经历了主变换的变换块的左上8×8块，则该RT可以被称为8×8减少辅变换(8×8 RST)。
假设等式3中的R值为16，前向8×8 RST具有16×64矩阵形式，逆8×8 RST具有64×16矩阵形式。
此外，与图12中相同的变换集配置被应用于8×8RST。也就是说，可以基于图12中的变换集来应用对应8×8RST。
作为一个实施方式，在图12中，假设根据帧内预测模式，一个变换集由两个或三个变换组成，包括不应用辅变换的情况在内的四个变换中的最大值之一可以配置成被选择。在这种情况下，可以将一个变换视为恒等矩阵。
如果将索引0、1、2和3分别分配给四个变换，则可以通过发信号通知针对每个变换块称为NSST索引的语法元素来指定对应变换。即，在NSST的情况下，可以基于NSST索引相对于8×8左上块指定8×8NSST。在RST配置中，可以指定8×8RST。此外，在这种情况下，可以将0号索引分配为恒等矩阵，即，不应用辅变换的情况。
如果应用前向8×8RST(诸如，等式3)，则生成16个有效变换系数。因此，可以考虑将形成8×8区域的64个输入数据减少至16个输出数据。从二维区域观点来看，只有1/4的区域填充有有效变换系数。因此，图16的4×4左上区域可以填充通过应用前向8×8RST获得的16个输出数据。
此外，如上所述，不可分离变换被应用于低频域(例如，变换块的左上4×4区域)的低频不可分离变换(LFNST)可以用作辅变换。
图16是应用本公开的实施方式，并且是示出根据逆扫描顺序从第64到第17执行逆扫描的过程的图。
图16示出假定前向扫描顺序从1开始，(以前向扫描顺序)对第17个系数至第64个系数执行扫描。然而，图16示出了逆扫描并且示出了对第64个系数至第17个系数执行逆扫描。
参考图16，左上4×4区域是分配了有效变换系数的感兴趣区域(ROI)，而其余区域被清空。也就是说，默认可以将值0分配给其余区域。
如果在图16的ROI区域中存在有效非零变换系数，这意味着不应用8×8RST。在这种情况下，可以省略对应的NSST索引编码。
相反，如果在图16的ROI区域以外的区域中不存在非零变换系数(如果应用了8×8RST，则将0分配给除ROI以外的区域)，则由于可能已经应用了8×8RST，所以可以对NSST索引进行编码。
如上所述，因为必须检查是否存在非零变换系数，所以可以在残差编码过程之后执行有条件NSST索引编码。
根据本公开的实施方式，当变换块的大小大于或等于4×4时，可以将NSST应用于变换块的左上4×4或8×8区域。
图17是应用本公开的实施方式，并且示出通过主变换和辅变换对图像信号进行编码的流程图。
编码器100可以基于当前块的预测模式、块形状和/或块大小中的至少一者来确定(或选择)前向辅变换(S1710)。在这种情况下，用于前向辅变换的候选可以包括图6和/或图12的实施方式中的至少一个。此外，根据本公开的实施方式，编码器100可以通过考虑通过如稍后将描述的应用广角帧内预测模式而修改的帧内预测模式来确定前向辅变换。
编码器100可以通过速率失真(RD)优化来确定最佳前向辅变换。最佳前向辅变换可以对应于多个变换组合之一。多个变换组合可以由变换索引定义。例如，对于RD优化，编码器100可以比较对每个候选执行的所有前向辅变换、量化、残差编码等的结果。在这种情况下，可以使用等式，诸如成本＝速率+λ·失真或成本＝失真+λ·速率，但是本公开不限于此。
编码器100可以发信号通知与最佳前向辅变换相对应的辅变换索引(S1720)。在这种情况下，本公开中描述的其它实施方式可以应用于辅变换索引。
例如，图12的变换集配置可以用作辅变换索引。根据帧内预测模式，一个变换集由2个或3个变换组成。因此，编码器100可以被配置为选择包括不应用辅变换的情况的四个变换中的最大一个。假设分别将索引0、1、2和3分配给四个变换，编码器100可以通过发信号通知针对每个变换系数块的辅变换索引来指定要应用的变换。在这种情况下，编码器100可以将索引0分配为恒等矩阵，即，不应用辅变换的情况。此外，如图27a至图30b所示，对于应用广角帧内预测模式的情况，辅变换索引可以像索引映射表那样构成。
在另一个实施方式中，可以在以下任何一个步骤中执行发信号通知辅变换索引：1)在残差编码之前，2)在残差编码期间(在最后一个非零变换系数位置的编码之后)，或3)在残差编码之后。实施方式被具体描述如下。
1)一种在残差编码之前发信号通知辅变换索引的方法
编码器100可以确定前向辅变换。
编码器100可以对与前向辅变换相对应的辅变换索引进行编码。
编码器100可以对最后的非零变换系数的位置进行编码。
编码器100可以对除了最后的非零变换系数的位置以外的语法元素执行残差编码。
2)一种在残差编码期间发信号通知辅变换索引的方法
编码器100可以确定前向辅变换。
编码器100可以对最后的非零变换系数的位置进行编码。
如果非零变换系数不位于特定区域中，则编码器100可以对与前向辅变换相对应的辅变换索引进行编码。在这种情况下，如果应用减少的辅变换，则当根据扫描顺序设置变换系数时，特定区域指示除了可能存在非零变换系数的位置以外的其余区域，但是本公开不限于此。
编码器100可以对除了最后的非零变换系数的位置以外的语法元素执行残差编码。
3)一种在残差编码之后发信号通知辅变换索引的方法
编码器100可以确定前向辅变换。
编码器100可以对最后的非零变换系数的位置进行编码。
编码器100可以对除了最后的非零变换系数的位置以外的语法元素执行残差编码。
如果非零变换系数不位于特定区域中，则编码器100可以在残差编码之后对与前向辅变换相对应的辅变换索引进行编码。在这种情况下，如果应用减少的辅变换，则当根据扫描顺序设置变换系数时，特定区域指示除了可能存在非零变换系数的位置以外的其余区域，但是本公开不限于此。
此外，编码器100可以对当前块(残差块)执行前向主变换(S1730)。在这种情况下，步骤S1710和/或步骤S1720可以类似地应用于前向主变换。
编码器100可以使用最佳前向辅变换对当前块执行前向辅变换(S1740)。例如，前向辅变换可以是减少的辅变换。减少的辅变换是指输入N个残差数据(N×1个残差矢量)并且输出L(L＜N)个变换系数数据(L×1个变换系数矢量)的变换。
在一个实施方式中，可以将减少的辅变换应用于当前块的特定区域。例如，当当前块是N×N时，特定区域可以指左上N/2×N/2区域，但是本公开不限于此。可以基于预测模式、块形状或块大小中的至少一项来不同地配置特定区域。例如，当当前块是N×N时，特定区域可以指左上M×M区域(M≤N)。此外，不可分离变换(低频不可分离变换)可以被应用至与变换块的低频域相对应的至少一些区域(例如，左上4×4区域)，作为辅变换。
此外，编码器100可以通过对当前块执行量化来生成变换系数块(S1750)。
编码器100可以通过对变换系数块执行熵编码来生成比特流。
图18是应用本公开的实施方式，并且示出通过逆辅变换和逆主变换对图像信号进行解码的流程图。
解码器200可以从比特流获得辅变换索引(S1810)。在这种情况下，本公开中描述的其它实施方式可以应用于辅变换索引。例如，辅变换索引可以包括图6a、图6b和/或图12的实施方式中的至少一个。此外，可以基于图27a至图30b中所示的索引映射表来确定辅变换索引。
在另一个实施方式中，可以在以下步骤中的任何一个步骤中执行获得辅变换索引的步骤：1)在残差解码之前，2)在残差解码期间(在对不是最后一个0的变换系数的位置进行解码之后)，或3)在残差解码后。
解码器200可以导出与辅变换索引相对应的辅变换(S1820)。在这种情况下，用于辅变换的候选可以包括图6和/或图12的实施方式中的至少一个。
在这种情况下，步骤S1810和S1820是实施方式，并且本公开不限于此。例如，解码器200可以基于当前块的预测模式、块形状和/或块大小中的至少之一来导出辅变换，而无需获得辅变换索引。
此外，解码器200可以通过对比特流进行熵解码来获得变换系数块，并且可以对变换系数块执行逆量化(S1830)。
解码器200可以对逆量化变换系数块执行逆辅变换(S1840)。例如，逆辅变换可以是减少的辅变换。减少的辅变换是指输入N个残差数据(N×1个残差矢量)并且输出L(L＜N)个变换系数数据(L×1个变换系数矢量)的变换。
在一个实施方式中，可以将减少的辅变换应用于当前块的特定区域。例如，当当前块是N×N时，特定区域可以指左上N/2×N/2区域，但是本公开不限于此。可以基于预测模式、块形状或块大小中的至少一项来不同地配置特定区域。例如，当当前块是N×N时，特定区域可以指左上M×M区域(M≤N)或M×L(M≤N，L≤N)。
此外，可以将应用于包括逆量化变换系数的变换块的低频域(例如，左上4×4区域)的不可分离变换(低频不可分离变换)用作逆辅变换。
此外，解码器200可以对逆辅变换结果执行逆主变换(S1850)。
解码器200通过步骤S1850生成残差块，并且通过将残差块和预测块相加来生成重构块。
在下文中，描述了一种在确定辅变换(或逆辅变换)的上述过程中通过考虑广角帧内预测模式来执行有效变换同时更多提高预测精度的方法和装置。
在下文中，稍后将描述的本公开的实施方式涉及静止图像或运动图像编码/解码方法和装置，并且更具体地涉及当应用广角帧内预测(WAIP)时用于广角模式的辅变换集映射和用于在由于WAIP而改变为广角模式时应用辅变换的方法和装置。
本公开的实施方式提供一种用于在应用WAIP时将辅变换集分配给广角模式的方法和装置。
此外，本公开的实施方式提供了一种用于在由于满足应用WAIP的条件而使预测方向改变时通过基于改变后的预测方向来使变换输入数据转置(或不使变换输入数据转置)而应用对应辅变换的方法和装置。
本公开的实施方式可以在对静止图像或者运动图像进行编码或解码时，通过根据广角帧内预测模式的应用将合适的辅变换集应用至每个广角模式并基于广角模式布置输入数据，来提高压缩性能。
在下文中，在下文中描述的不可分离变换可以对应于前述低频不可分离变换(LFNST)、不可分离辅变换(NSST)和/或减少的辅变换(RST)。
图19是应用本公开的实施方式，并且示出了由67个模式组成的帧内预测模式配置的示例。
帧内(在帧内)预测方法(帧内预测)包括平面模式和DC模式，即，非方向性预测模式、以及具有各自方向的多个方向性预测模式。现有图像压缩标准(例如，HEVC)使用35个帧内预测模式。35个帧内预测模式中的33个对应于方向性预测模式。在目前正在讨论的JEM或通用图像编码(VVC)标准中，现在考虑或使用67个帧内预测模式。67个帧内预测模式包括平面模式、DC模式和65个方向性帧内预测模式。67个帧内预测模式的配置可以如图19那样表示。
在图19中，由实线箭头指示的部分对应于现有35个帧内预测模式，而由虚线箭头指示的部分对应于加上的方向性帧内预测模式。
图20是应用本公开的实施方式，并且示出用于35个帧内预测模式的67个帧内预测模式的映射表的示例。
现有35个帧内预测模式的索引到67个帧内预测模式的索引的映射可以像图20那样配置。
如图20中所示，在67个模式配置中，0号索引和1号索引分别对应于平面模式和DC模式。在下文中，通过35个帧内预测模式配置帧内预测的情况被称为“35模式”或“35模式配置”。通过67个帧内预测模式配置帧内预测的情况被称为“67模式”或“67模式配置”。
图21是应用本公开的实施方式，并且示出在35个帧内预测模式中另外配置两个广角模式的示例。
通过本公开的实施方式描述的广角帧内预测的示例可以与图21相同。图21示出了在35模式配置中在第34号模式之后沿向右方向加上两个广角模式35和36的情况的示例。
图22是应用本公开的实施方式，并且示出在35个帧内预测模式中另外配置10个广角模式的示例。
图22示出在35模式下在下部方向加上5个广角模式并且在上部方向加上5个广角模式的情况的示例。在下部方向上加上的模式具有从顶部开始的索引-1、-2、-3、-4和-5，在上部方向上加上的模式具有从左开始的索引35、36、37、38和39。连同在35模式下加上模式一起，在67模式下，可以在上侧和下侧中的每侧加上10个模式。在这种情况下，下部的10个模式的索引可以为-1、-2、…、-10，上部的10个模式的索引可以为67、68、...、76。如图23所示，可以配置用于加上的模式的35模式和67模式之间的映射表。
图23是应用本公开的实施方式，并且示出了在35个帧内预测模式和67个帧内预测模式中加上的广角模式之间的索引映射表的示例。
在67模式下，与图23中未包括的广角模式相对应的索引为-1、-3、-5、-7、-9、67、69、71、73和75。基于67模式，索引可以分别出现在2号和-2号之间，在-2号和-4号之间，在-4号和-6号号之间，在-6号和-8号之间，在-8号和-10号之间，在66号和68号之间，在68号和70号之间，在70号和72号之间，在72号和74号之间以及在74号和76号之间。
根据本公开的实施方式，如果满足特定条件，则可以使用修改后的帧内预测模式(广角帧内预测模式)代替特定帧内预测模式。例如，可以执行基于35模式使用35号模式代替2号模式的预测。
如果将宽度(变换块(或变换单元)的水平长度)写为nWidth，并且将其高度(垂直长度)写为nHeight，则帧内预测模式的索引(predModeIntra)可以像表2那样改变。
[表2]
使用根据表2的根据广角帧内预测模式的应用的修改后的帧内预测模式的条件和修改后的帧内预测模式的索引的配置如下。
(a)当变换块的宽度除以高度的比率(nWidth/nHeight)小于或等于2时，帧内模式的索引(predModeIntra)大于或等于2并且小于或等于4(nWidth/nHeight<＝2并且2<＝predModeIntra<＝4)，将修改后的帧内预测模式的索引设置为通过将33加到帧内预测模式的索引而获得的值(predModeIntra＝predModeIntra+33)。
(b)当变换块的宽度除以高度的比率(nWidth/nHeight)大于2，并且帧内模式的索引(predModeIntra)大于或等于2且小于或等于6(nWidth/nHeight>2并且2<＝predModeIntra<＝6)时，将修改后的帧内预测模式的索引设置为通过将33加到帧内预测模式的索引而获得的值(predModeIntra＝predModeIntra+33)。
(c)当变换块的高度除以宽度的比率(nHeight/nWidth)小于或等于2，并且帧内模式的索引(predModeIntra)大于或等于32并且小于或等于34(nHeight/nWidth<＝2并且32<＝predModeIntra<＝34)时，修改后的帧内预测模式的索引被设置为通过从帧内预测模式的索引中减去35获得的值(predModeIntra＝predModeIntra-35)。
(d)当变换块的高度除以宽度的比率(nHeight/nWidth)大于2，并且帧内模式的索引(predModeIntra)大于或等于30且小于或等于34(nHeight/nWidth>2并且30<＝predModeIntra<＝34)时，将修改后的帧内预测模式的索引设置为通过从帧内预测模式的索引中减去35获得的值(predModeIntra＝predModeIntra-35)。
在表2中，相对于(c)和(d)的情况，修改后的帧内预测模式具有负数。基于图22，在向下方向上就在2号模式下分配-1，并且索引值朝向下侧一个接一个减小。
基于67模式根据广角帧内预测模式的应用使用修改后的帧内预测模式的条件以及修改后的帧内预测模式的索引的配置可以与表3相同。
[表3]
(a)当变换块的宽度除以高度的比率(nWidth/nHeight)小于或等于2，并且帧内模式的索引(predModeIntra)大于或等于2并且小于或等于7(nWidth/nHeight<＝2并且2<＝predModeIntra<＝7)时，将修改后的帧内预测模式的索引设置为通过将65加到帧内预测模式的索引而获得的值(predModeIntra＝predModeIntra+65)。
(b)当变换块的宽度除以高度的比率(nWidth/nHeight)大于2，并且帧内模式的索引(predModeIntra)大于或等于2且小于等于或等于11(nWidth/nHeight>2并且2<＝predModeIntra<＝11)时，将修改后的帧内预测模式的索引设置为通过将65加到帧内预测模式的索引而获得的值(predModeIntra＝predModeIntra+65)。
(c)当变换块的高度除以宽度的比率(nHeight/nWidth)小于或等于2，并且帧内模式的索引(predModeIntra)大于或等于61并且小于或等于66(nHeight/nWidth<＝2并且61<＝predModeIntra<＝66)时，将修改后的帧内预测模式的索引设置为通过从帧内预测模式的索引减去67而获得的值(predModeIntra＝predModeIntra-67)。
(d)当变换块的高度除以宽度的比率(nHeight/nWidth)大于2，并且帧内模式的索引(predModeIntra)大于或等于57并且小于或等于66(nHeight/nWidth>2并且57<＝predModeIntra<＝66)时，将修改后的帧内预测模式的索引设置为通过从帧内预测模式的索引减去67得到的值(predModeIntra＝predModeIntra-67)。
即，在表3的(a)和(b)中，当变换块的宽度大于其高度，并且帧内预测模式大于或等于2且小于第一参考值时，将通过将65加到帧内预测模式而获得的值确定为修改后的帧内预测模式。在这种情况下，当变换块的宽度除以高度的比率小于或等于2时，可以将第一参考值设置为8(情况(a))，并且当变换块的宽度除以高度的比率大于2时，可以将第一参考值设置为12(情况(b))。
此外，在表3的(c)和(d)中，当变换块的宽度小于其高度，并且帧内预测模式大于或等于第二参考值并且小于或等于66时，将通过从帧内预测模式减去67而获得的值确定为修改后的帧内预测模式。在这种情况下，当变换块的高度除以宽度的比率小于或等于2时，可以将第二参考值设置为61(情况(c))，并且当变换块的宽度除以高度的比率大于2时，可以将第二参考值设置为57(情况(d))。
参考图24和图25描述可以有利地应用上述广角帧内预测方法的情况。
图24和图25是应用本公开的实施方式，并且示出了用于非正方形块的帧内预测的示例。
如果块的宽度大于其高度，如图24所示，通常，位于上侧的参考样本比位于左侧的参考样本更靠近要预测的块内的位置。因此，在左下方向上执行的预测可能比在右上方向上执行的预测更准确。相反，如图25中所示，如果块的高度大于块的宽度，通常，左部的参考样本比上部的参考样本更靠近要预测的块内的位置。因此，在右上方向上执行的预测可能比在左下方向上执行的预测更准确。因此，变换前述帧内预测模式的索引可以是更有利的。关于35模式和67模式，可以如表4和表5中那样概括帧内预测模式(即，变换的目标)。
[表4]
条件 替换后的帧内预测模式
W/H＝＝2 模式2、3、4
W/H>2 模式2、3、4、5、6
W/H＝＝1 无
H/W＝＝1/2 模式32、33、34
H/W<1/2 模式30、31、32、33、34
[表5]
条件 替换后的帧内预测模式
W/H＝＝2 模式2、3、4、5、6、7
W/H>2 模式2、3、4、5、6、7、8、9、10、11
W/H＝＝1 无
H/W＝＝1/2 模式61、62、63、64、65、66
H/W<1/2 模式57、58、59、60、61、62、63、64、65、66
表4示出了要在35模式配置下变换的帧内预测模式，并且表5示出了要在67模式配置下变换的帧内预测模式。在表4和表5中，W表示变换块的宽度，H是变换块的高度。
在一个实施方式中，在索引变换之前对广角帧内预测模式的索引进行编码。即，在67模式配置中，尽管将2号帧内预测模式变换为67号帧内预测模式，但是对2(即，先前模式的索引)进行编码。
图26是应用本公开的实施方式，并且示出了当将二维块改变为一维矢量时布置像素的顺序的示例，其中，图26a示出了行优先顺序的示例，并且图26b示出了列优先顺序的示例。
如上所述，如果应用了广角帧内预测模式，如图22所示，则在现有帧内预测中加上与广角帧内预测模式相对应的方向。在下侧加上的预测模式被表示为ML1至MLN，在上侧加上的预测模式被表示为ML1至MLN。例如，最接近2号模式的模式是ML1，并且与下部方向上的各个预测模式相对应的索引(1至N)增大(预测模式值ML1至MLN减小)，并且最下侧模式被表示为MLN。对于35模式和67模式，最接近34号和66号的模式被表示为MT1，索引(1到M)向右增大，最右侧模式被表示为MTM。
关于模式ML1到MLN和ML1到MLM，可以如图12所示映射辅变换集。在图12中，关于与对角线方向(67模式配置中的34号模式和35模式配置中的18号模式)对称的方向性模式对(例如，32号和36号)应用相同的辅变换集。相同或相似的方法可以应用于ML1至MLN和MT1至MTM，即，广角帧内预测模式。例如，如果M＝N并且MLa和MTa关于对角线方向(a＝1，...，N)彼此对称，则可以将相同的变换集应用于MLa和MTa。
在这种情况下，相对于MTa模式，在首先对二维输入数据进行转置之后，将辅变换应用于MLa。即，如图26a和图26b所示，如果在通过沿行优先(或列优先)方向读取二维输入数据而将二维输入数据变换成一维输入数据之后，将变换应用于MLa，则在通过在列优先(或行优先)方向读取输入数据将输入数据转换为一维数据之后，将与MLa相同的变换应用于MTa。在图26a和图26b中的每个位置指示的数字指示用于指示像素位置的索引而不是像素值。
图27是应用本公开的实施方式，并且示出了35个变换集和帧内预测模式之间的映射表的示例，其中，图27a示出了将变换集对称地分配给每个广角模式的情况的示例，图27b示出了将2号变换集分配给所有广角模式的情况的示例，并且图27c示出了将相同的附加变换集分配给所有广角模式的情况的示例。
在图27a中，与图12相同的变换集索引可以被分配给0至66号模式。可以将附加变换集的不同索引分别分配给与广角模式相对应的模式对(其中，模式对分别对应于(MLa，MTa)，a＝1，2，...，10)。
此外，如图27b所示，可以将变换集索引2号索引重新用于其它广角模式。如图如图27c所示，可以将单独的变换集索引35号分配给其它广角模式。
图28是应用本公开的实施方式，并且示出在10个变换集和帧内预测模式之间的映射表的示例，其中，图28a示出了将2号变换集分配给每个广角模式的情况的示例，并且图28b示出了将相同的附加变换集分配给所有广角模式的情况的示例。
如图28a和图28b所示，可以将10个变换集映射到0到66号帧内预测模式。图28a和图28b中所示的索引用于在变换集之间进行区分。图27a至图27c中所示的相同索引可以对应于相同变换集并且可以对应于不同变换集。
如图28a所示，可以将2号变换集重新用于其它广角帧内预测模式，并且可以将35号变换集分配为如图28b所示的单独变换集。
图29是应用本公开的实施方式，并且示出了六个变换集和帧内预测模式之间的映射表的示例，其中，图29a示出了将2号变换集分配给每个广角模式的情况的示例，并且图29b示出了将相同的附加变换集分配给所有广角模式的情况的示例。
可以将六个变换集映射到0到66号帧内预测模式，如图29a和29b所示。图29a和图29b中所示的索引用于在变换集之间进行区分。与图27a至图28b相同的索引可以对应于相同变换集，或者索引可以对应于不同变换集。
如图29a中所示，可以将2号变换集重新用于其它广角帧内预测模式，并且如图29b所示，可以将35号变换集分配给其它广角帧内预测模式。
图30是应用本公开的实施方式，并且示出四个变换集和帧内预测模式之间的映射表的示例，其中，图30a示出了将2号变换集分配给每个广角模式的情况的示例，并且图30b示出了将相同的附加变换集分配给所有广角模式的情况的示例。
四个变换集可以被映射到0至66号帧内预测模式，如图30a和图30b所示。图30a和图30b中所示的索引用于在变换集之间进行区分。与图27a至图28b相同的索引可以对应于相同变换集，或者索引可以对应于不同变换集。
如图30a中所示，可以将2号变换集重新用于其它广角帧内预测模式，并且如图30b所示，可以将35号变换集分配给其它广角帧内预测模式。
即，如图30a所示，当由于应用广角帧内预测模式而使修改后的帧内预测模式大于或等于0且小于或等于1时，可以将不可分离辅变换集的索引确定为第一索引值0。当修改后的帧内预测模式大于或等于2且小于或等于12时，可以将不可分离辅变换集的索引确定为第二索引值2。当修改后的帧内预测模式大于或等于13并且小于或等于23时，可以将不可分离辅变换集的索引确定为第三索引值18。当修改后的帧内预测模式大于或等于24并且小于或等于44时，可以将不可分离辅变换集的索引确定为第四索引值34。当修改后的帧内预测模式大于或等于45且小于或等于55时，可以将不可分离辅变换集的索引确定为第三索引值18。当修改后的帧内预测模式大于或等于56时，可以将不可分离辅变换集的索引确定为第二索引值2。当修改后的帧内预测模式小于0时，可以将不可分离辅变换集的索引确定为第二索引值2。
图31是应用本公开的实施方式，并且示出编码器通过考虑广角帧内预测(WAIP)来执行变换的流程图的示例。图31示出了编码器100的操作的示例。图31示出基于编码器100在预测步骤和主变换步骤之后在量化步骤之前执行的辅变换步骤的示例。
编码器100可以通过考虑WAIP来确定帧内预测模式(S3110)。根据本公开的实施方式，如图24或图25中所示，为了生成用于非正方形预测单元的更准确预测样本，可以应用WAIP。如果应用了WAIP，如表2至表5中所示，可以使用修改后的帧内预测模式代替特定帧内预测模式。
此外，编码器100对与所应用的帧内预测模式相对应的索引进行编码(S1350)。在这种情况下，编码器100可以在索引改变之前对原始帧内预测模式进行编码。例如，在67模式配置中，尽管将2号帧内预测模式变换为67号帧内预测模式，但是对2(即，先前的帧内预测模式的索引)进行编码。
编码器100使用预先配置的映射图(map)来确定辅变换集(S3120)。在这种情况下，预先配置的映射图可以是图27a至图30b中所示的索引映射表。
此后，编码器100可以在应用主变换之后通过速率-失真成本比较来选择最佳辅变换(S3130)，并且可以对所选择的辅变换的索引进行编码(S3140)。根据本公开的实施方式，辅变换可以是在应用了主变换之后应用于变换块的左上区域(低频域)的不可分离变换。关于已经被应用了辅变换的变换块，编码器100可以通过量化和熵编码来输出比特流。编码器100可以将主变换应用于在辅变换之前已经从编码单元中排除了预测样本的变换块。在这种情况下，主变换可以对应于行方向和列方向的可分离变换。
图32是应用本公开的实施方式，并且示出解码器通过考虑WAIP来执行变换的流程图的示例。图32示出了解码器200的操作的示例。图32示出了基于解码器200在逆量化步骤之后在逆主变换步骤之前执行的逆辅变换步骤的示例。
解码器200从图像信号解析针对已经被执行了熵解码和逆量化的变换块的帧内预测模式的索引(S3210)。此外，解码器200从与图像信号相关的比特流中解析辅变换的索引。在这种情况下，可以由编码器100发送帧内预测模式的索引和辅变换的索引以及图像信号。
解码器200通过考虑WAIP来确定帧内预测模式(S3220)。根据本公开的实施方式，如图24或图25中所示，可以应用WAIP以便针对非正方形预测单元生成更准确的预测样本。如果应用了WAIP，如表2至表5所示，则可以使用修改后的帧内预测模式代替特定帧内预测模式。此外，从编码器100接收的帧内预测模式的索引可以是改变之前的帧内预测模式的原始索引，而不是通过应用WAIP改变的索引。在这种情况下，在参考表2至表5对原始索引执行变换之后，解码器200可以确定修改后的帧内预测模式的索引。
解码器200从预定映射图中选择辅变换集(S3230)。在这种情况下，预配置的映射图可以是图27a至图30b中所示的索引映射表。
解码器200从所选择的辅变换集中选择辅变换(S3240)，并将逆辅变换应用于变换块(S3250)。在这种情况下，辅变换可以是在应用主变换之后应用于变换块的左上区域(低频域)的不可分离变换。此后，解码器200可以通过将逆主变换应用于已经被应用了逆辅变换的变换块来生成残差样本。在这种情况下，逆主变换可以对应于在行方向和列方向上的可分离变换。
图33是应用本公开的实施方式，并且示出解码器通过考虑WAIP来执行变换的流程图的另一示例。
根据本公开的实施方式的对图像信号进行解码的方法可以包括：步骤S3310，基于当前块的宽度与高度之间的比率和帧内预测模式，从帧内预测模式确定具有不同宽度和高度的当前块的修改后的帧内预测模式；步骤3320，基于修改后的帧内预测模式确定逆不可分离变换集；以及步骤3330，将选自逆不可分离变换集的逆不可分离变换矩阵应用于当前块的基于当前块的宽度和高度确定的左上区域。
更具体地，首先，解码器200可以通过关于由编码器100生成的图像信号的比特流进行熵解码和逆量化来生成由频域的系数组成的块(当前块)。
在步骤S3310中，如果当前块是非正方形的(当前块的宽度和高度不同)，则解码器200可以通过考虑用于当前块的宽度和高度的条件以及编码后的帧内预测模式的范围的条件来确定修改后的帧内预测模式。可以像表2至表4那样配置编码后的帧内预测模式的索引和修改后的帧内预测模式的索引之间的变换。
例如，在表3中，即，在表3的(a)和(b)中，当变换块的宽度大于其高度，并且帧内预测模式大于或等于且小于第一参考值时，通过将65加到帧内预测模式而获得的值被确定为修改后的帧内预测模式。在这种情况下，当当前块的宽度除以其高度的比率小于或等于2时，第一参考值被设置为8(情况(a))。当变换块的宽度除以高度的比率大于2时，第一参考值可以被设置为12(情况(b))。此外，在表3的(c)和(d)中，当变换块的宽度小于其高度并且帧内预测模式大于或等于第二参考值并且小于或等于66时，将通过从帧内预测模式减去67而获得的值确定为修改后的帧内预测模式。在这种情况下，当变换块的高度除以宽度的比率小于或等于2时，可以将第二参考值设置为61(情况(c))。当变换块的宽度除以高度的比率大于2时，第二参考值可以被设置为57(情况(d))。
在步骤S3320中，解码器200基于修改后的帧内预测模式确定逆不可分离变换集。根据本公开的实施方式，解码器200可以确定与修改后的帧内预测模式相对应的低频不可分离变换矩阵集的索引。修改后的帧内预测模式的索引和逆不可分离变换之间的映射可以通过考虑WAIP按如图27a至图30b中所示那样配置。
例如，如图30a所示，当由于应用广角帧内预测模式而使修改后的帧内预测模式大于或等于0且小于或等于1时，可以将不可分离辅变换集的索引确定为第一索引值0。当修改后的帧内预测模式大于或等于2且小于或等于12时，可以将不可分离辅变换集的索引确定为第二索引值2。当修改后的帧内预测模式大于或等于13并且小于或等于23时，可以将不可分离辅变换集的索引确定为第三索引值18。当修改后的帧内预测模式大于或等于24并且小于或等于44时，可以将不可分离辅变换集的索引确定为第四索引值34。当修改后的帧内预测模式大于或等于45且小于或等于55时，可以将不可分离辅变换集的索引确定为第三索引值18。当修改后的帧内预测模式大于或等于56时，可以将不可分离辅变换集的索引确定为第二索引值2。当修改后的帧内预测模式小于0时，可以将不可分离辅变换集的索引确定为第二索引值2。
在步骤S3330中，解码器200可以将从在步骤S3320中确定的逆不可分离变换集中选择的逆不可分离变换矩阵应用于当前块。例如，解码器200可以将由在步骤S3320中确定的逆不可分离变换集的索引指定的逆不可分离变换矩阵应用于当前块。此后，解码器200可以通过应用附加变换(或逆主变换)来生成残差信号或残差块。
图34是应用了本公开的实施方式，并且示出了图像处理装置的框图的示例。图像处理装置可以对应于解码装置或编码装置。
处理图像信号的图像处理装置3400包括存储图像信号的存储器3420、以及联接到该存储器并处理图像信号的处理器3410。
根据本公开的实施方式的处理器3410可以由用于处理图像信号的至少一个处理电路组成，并且可以通过执行用于对图像信号进行编码或解码的指令来处理图像信号。即，处理器3410可以通过执行上述编码或解码方法来对原始图像数据进行编码或对编码后的图像信号进行解码。
图35示出了在应用了本公开的实施方式中的图像编码系统的示例。
图像编码系统可以包括源设备和接收设备。源设备可以通过数字存储介质或通过网络以文件或流传输形式将编码视频/图像信息或数据发送到接收设备。
源设备可以包括图像源、编码装置和发送器。接收设备可以包括接收器、解码装置和渲染器。编码装置可以被称为视频/图像编码装置，并且解码装置可以被称为视频/图像解码装置。发送器可以被包括在编码装置中。接收器可以被包括在解码装置中。渲染器可以包括显示器，并且该显示器可以被实现为单独的设备或外部组件。
图像源可以通过视频/图像的捕获、合成或生成过程来获取视频/图像。图像源可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备可以包括例如一个或多个摄像机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成设备可以包括例如计算机、平板电脑和智能电话，并且可以(电子地)生成视频/图像。例如，虚拟视频/图像可以由计算机等生成，并且在这种情况下，视频/图像捕获过程可以由生成相关数据的过程代替。
编码装置可以对输入视频/图像进行编码。编码装置可以执行用于压缩和编码效率的一系列过程，包括预测、变换、量化等。编码数据(编码视频/图像信息)可以以比特流形式输出。
发送器可以通过数字存储介质或网络以文件或流传输形式将在比特流中输出的编码视频/图像信息或数据传送到接收设备的接收器。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行传输的元件。接收器可以提取比特流，并将提取的比特流传送到解码装置。
解码装置可以执行与编码装置的操作相对应的一系列过程(包括解量化、逆变换、预测等)，以对视频/图像进行解码。
渲染器可以渲染解码的视频/图像。渲染后的视频/图像可以由显示器显示。
图36示出了作为应用了本公开的实施方式的图像流传输系统的示例。
参照图36，应用了本公开的内容流传输系统基本上可以包括编码服务器、流传输服务器、Web服务器、媒体存储器、用户设备和多媒体输入设备。
编码服务器的基本功能是通过将从多媒体输入设备(诸如，智能手机、相机或便携式摄像机)输入的内容压缩为数字数据来生成比特流，并将比特流发送到流传输服务器。对于另一示例，如果诸如智能电话、相机或便携式摄像机的多媒体输入设备直接生成比特流，则可以省略编码服务器。
可以通过应用本公开的比特流生成方法或编码方法来生成比特流。流传输服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器通过网络服务器基于用户请求将多媒体数据发送到用户设备。Web服务器充当通知用户提供了哪些服务的媒介。当用户从Web服务器请求所需的服务时，Web服务器将请求发送到流传输服务器。流传输服务器将多媒体数据发送给用户。在这种情况下，内容流传输系统可以包括单独控制服务器。在这种情况下，控制服务器用于控制内容流传输系统内的装置之间的指令/响应。
流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，如果从编码服务器接收到内容，则流传输服务器可以实时接收内容。在这种情况下，为了提供流畅的流传输服务，流传输服务器可以存储给定时间内的比特流。
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航器、平板PC、平板电脑、超级本、可穿戴设备(例如，手表型终端(智能手表)、玻璃型终端(智能玻璃)和头戴式显示器(HMD))、数字电视、台式计算机和数字电视标牌。
内容流传输系统内的服务器可以作为分布式服务器运行。在这种情况下，可以分发和处理从服务器接收的数据。
本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，可以在计算机、处理器、微处理器、控制器或芯片上实现并执行每个附图中示出的功能单元。
另外，应用了本公开内容的解码器和编码器可以包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视摄像机、图像聊天设备、实时通信设备(诸如，图像通信)、移动流传输设备、存储介质、便携式摄像机、按需图像(VoD)服务提供设备、OTT(互联网电视)图像设备、互联网流传输服务提供设备、三维(3D)图像设备、图像电话图像设备、运输工具终端(例如，车辆终端、飞机终端、轮船终端等)以及医学图像设备等中，并且可以用于处理图像信号或数据信号。例如，OTT图像设备可以包括游戏机、蓝光播放器、互联网访问电视、家庭影院系统、智能电话、平板电脑、数字图像记录器(DVR)等。
此外，可以以计算机执行的程序的形式来产生应用本公开的处理方法，并且可以将该处理方法存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括所有类型的存储设备和存储计算机可读数据的分发存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备。此外，计算机可读记录介质包括以载波的形式实现的媒体(例如，通过互联网的传输)。此外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或通过有线/无线通信网络发送。
此外，本公开的实施方式可以通过程序代码被实现为计算机程序产品，该程序代码可以由本公开的实施方式在计算机上执行。程序代码可以存储在计算机可读载体上。
如上所述，可以在处理器、微处理器、控制器或芯片上实现和执行本公开中描述的实施方式。例如，附图中示出的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。
此外，应用了本公开的解码器和编码器可以包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、用于监视的相机、图像对话设备、诸如图像通信之类的实时通信设备、移动流传输设备、存储介质、便携式摄像机、图像点播(VoD)服务提供设备、互联网电视(OTT)图像设备、互联网流传输服务提供设备、三维(3D)图像设备、图像电话设备和医学图像设备中，并且可用于处理图像信号或数据信号。例如，OTT图像设备可以包括游戏机、蓝光播放器、互联网访问电视、家庭影院系统、智能电话、平板电脑和数字图像记录器(DVR)。
此外，应用了本公开的处理方法可以以计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储了计算机可读数据的所有类型的存储设备。计算机可读记录介质可以包括例如蓝光磁盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘、以及光学数据存储设备。此外，计算机可读记录介质包括以载体形式实现的介质(例如，通过互联网的传输)。此外，使用编码方法生成的比特流可以存储在计算机可读记录介质中，或者可以在有线和无线通信网络上发送。
此外，本公开的实施方式可以被实现为使用程序代码的计算机程序产品。根据本公开的实施方式可以由计算机执行程序代码。程序代码可以存储在计算机可读的载体上。
通过以预定形式的本公开的组件和特征的组合来实现上述实施方式。除非另有说明，否则应有选择地考虑每个组件或特征。可以在不与另一个组件或特征组合的情况下实现每个组件或特征。此外，一些组件和/或特征彼此组合并且可以实现本公开的实施方式。在本公开的实施方式中描述的操作顺序可以改变。一个实施方式的一些组件或特征可以被包括在另一个实施方式中，或者可以被另一个实施方式的对应组件或特征所代替。显然，引用特定权利要求的一些权利要求可以与引用特定权利要求以外的权利要求的其它权利要求组合以构成实施方式，或者在提交申请之后通过修改的方式添加新的权利要求。
本公开的实施方式可以通过各种手段来实现，例如，硬件、固件、软件或其组合。当实施方式由硬件实现时，本公开的一个实施方式可以由一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等实现。
当实施方式由固件或软件实现时，本公开的一个实施方式可以由执行上述功能或操作的模块、过程、功能等来实现。软件代码可以存储在存储器中并且可以由处理器驱动。存储器设置在处理器内部或外部，并且可以通过各种众所周知的方式与处理器交换数据。
对于本领域的技术人员显而易见的是，在不脱离本公开的必要特征的情况下，可以以其它特定形式来具体实现本公开。因此，前述详细描述不应解释为在所有方面是限制性的，而应被认为是说明性的。本公开的范围应该由所附权利要求的合理解释来确定，并且在本公开的等同范围内的所有修改都包括在本公开的范围内。
工业实用性
已经出于说明目的公开了本公开的前述优选实施方式，并且本领域技术人员可以在不脱离在所附权利要求中公开的本公开的技术精神和范围的情况下改进、改变、替代或添加各种其它实施方式。

Claims (4)

1.一种由解码装置执行的图像解码方法，该图像解码方法包括以下步骤：
从比特流获取包括预测相关信息的图像信息；
基于所述预测相关信息推导当前块的帧内预测模式；
基于所述当前块的宽度与高度之间的比率和所述帧内预测模式，确定具有与所述帧内预测模式不同的宽度和高度的当前块的修改后的帧内预测模式；
基于修改后的帧内预测模式确定逆不可分离变换集；以及
将从所述逆不可分离变换集中选择的逆不可分离变换矩阵应用于所述当前块的基于所述当前块的所述宽度和所述高度确定的左上区域，
其中，修改后的帧内预测模式是通过将65或-67加到所述帧内预测模式而确定的，
其中，确定所述逆不可分离变换集包括确定所述逆不可分离变换集的与修改后的帧内预测模式相关的索引，
其中，基于修改后的帧内预测模式大于或等于0并且小于或等于1，将所述索引确定为第一索引值，
其中，基于修改后的帧内预测模式大于或等于2并且小于或等于12，将所述索引确定为第二索引值，
其中，基于修改后的帧内预测模式大于或等于13并且小于或等于23，将所述索引确定为第三索引值，
其中，基于修改后的帧内预测模式大于或等于24并且小于或等于44，将所述索引确定为第四索引值，
其中，基于修改后的帧内预测模式大于或等于45并且小于或等于55，将所述索引确定为所述第三索引值，
其中，基于修改后的帧内预测模式大于或等于56，将所述索引确定为所述第二索引值，并且
其中，基于修改后的帧内预测模式小于0，将所述索引确定为所述第二索引值。
2.一种由编码装置执行的图像编码方法，该图像编码方法包括以下步骤：
推导当前块的帧内预测模式；
基于所述当前块的宽度与高度之间的比率和所述帧内预测模式，确定具有与所述帧内预测模式不同的宽度和高度的当前块的修改后的帧内预测模式；
基于修改后的帧内预测模式确定不可分离变换集；
将从所述不可分离变换集中选择的不可分离变换矩阵应用于所述当前块的基于所述当前块的所述宽度和所述高度确定的左上区域，
生成预测相关信息；以及
通过对包括所述预测相关信息的图像信息进行编码来生成比特流，
其中，修改后的帧内预测模式是通过将65或-67加到所述帧内预测模式而确定的，
其中，确定所述不可分离变换集包括确定所述不可分离变换集的与修改后的帧内预测模式相关的索引，
其中，基于修改后的帧内预测模式大于或等于0并且小于或等于1，将所述索引确定为第一索引值，
其中，基于修改后的帧内预测模式大于或等于2并且小于或等于12，将所述索引确定为第二索引值，
其中，基于修改后的帧内预测模式大于或等于13并且小于或等于23，将所述索引确定为第三索引值，
其中，基于修改后的帧内预测模式大于或等于24并且小于或等于44，将所述索引确定为第四索引值，
其中，基于修改后的帧内预测模式大于或等于45并且小于或等于55，将所述索引确定为所述第三索引值，
其中，基于修改后的帧内预测模式大于或等于56，将所述索引确定为所述第二索引值，并且
其中，基于修改后的帧内预测模式小于0，将所述索引确定为所述第二索引值。
3.一种存储有视频信息的非易失性计算机可读数字存储介质，所述视频信息通过根据权利要求2所述的方法生成。
4.一种图像的包括比特流的数据的发送方法，该发送方法包括以下步骤：
获得所述图像的比特流，其中，所述比特流是通过执行以下步骤生成的：推导当前块的帧内预测模式；基于所述当前块的宽度与高度之间的比率和所述帧内预测模式，确定具有与所述帧内预测模式不同的宽度和高度的当前块的修改后的帧内预测模式；基于修改后的帧内预测模式确定不可分离变换集；将从所述不可分离变换集中选择的不可分离变换矩阵应用于所述当前块的基于所述当前块的所述宽度和所述高度确定的左上区域；生成预测相关信息；通过对包括所述预测相关信息的图像信息进行编码来生成比特流，以及
发送包括所述比特流的数据，
其中，修改后的帧内预测模式是通过将65或-67加到所述帧内预测模式而确定的，
其中，确定所述不可分离变换集包括确定所述不可分离变换集的与修改后的帧内预测模式相关的索引，
其中，基于修改后的帧内预测模式大于或等于0并且小于或等于1，将所述索引确定为第一索引值，
其中，基于修改后的帧内预测模式大于或等于2并且小于或等于12，将所述索引确定为第二索引值，
其中，基于修改后的帧内预测模式大于或等于13并且小于或等于23，将所述索引确定为第三索引值，
其中，基于修改后的帧内预测模式大于或等于24并且小于或等于44，将所述索引确定为第四索引值，
其中，基于修改后的帧内预测模式大于或等于45并且小于或等于55，将所述索引确定为所述第三索引值，
其中，基于修改后的帧内预测模式大于或等于56，将所述索引确定为所述第二索引值，并且
其中，基于修改后的帧内预测模式小于0，将所述索引确定为所述第二索引值。
CN202310614561.XA 2018-08-12 2019-08-12 解码方法、编码方法、存储介质和图像的数据的发送方法 Pending CN116546197A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862717890P 2018-08-12 2018-08-12
US62/717,890 2018-08-12
CN201980066907.9A CN112840648B (zh) 2018-08-12 2019-08-12 用于处理图像信号的方法和装置
PCT/KR2019/010231 WO2020036390A1 (ko) 2018-08-12 2019-08-12 영상 신호를 처리하기 위한 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980066907.9A Division CN112840648B (zh) 2018-08-12 2019-08-12 用于处理图像信号的方法和装置

Publications (1)

Publication Number Publication Date
CN116546197A true CN116546197A (zh) 2023-08-04

Family

ID=69525624

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202310615999.XA Pending CN116546198A (zh) 2018-08-12 2019-08-12 解码装置、编码装置、存储介质和发送图像的数据的装置
CN202310618895.4A Pending CN116546199A (zh) 2018-08-12 2019-08-12 解码装置、编码装置、存储介质和发送图像的数据的装置
CN202310618424.3A Pending CN116527891A (zh) 2018-08-12 2019-08-12 解码方法、编码方法、可读介质和图像的数据的发送方法
CN202310614561.XA Pending CN116546197A (zh) 2018-08-12 2019-08-12 解码方法、编码方法、存储介质和图像的数据的发送方法
CN201980066907.9A Active CN112840648B (zh) 2018-08-12 2019-08-12 用于处理图像信号的方法和装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202310615999.XA Pending CN116546198A (zh) 2018-08-12 2019-08-12 解码装置、编码装置、存储介质和发送图像的数据的装置
CN202310618895.4A Pending CN116546199A (zh) 2018-08-12 2019-08-12 解码装置、编码装置、存储介质和发送图像的数据的装置
CN202310618424.3A Pending CN116527891A (zh) 2018-08-12 2019-08-12 解码方法、编码方法、可读介质和图像的数据的发送方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980066907.9A Active CN112840648B (zh) 2018-08-12 2019-08-12 用于处理图像信号的方法和装置

Country Status (5)

Country Link
US (4) US11153560B2 (zh)
EP (1) EP3826303A1 (zh)
KR (2) KR102553341B1 (zh)
CN (5) CN116546198A (zh)
WO (1) WO2020036390A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111758261B (zh) 2018-09-02 2022-06-10 Lg电子株式会社 用于处理图像信号的方法和设备
US11509908B2 (en) * 2018-09-11 2022-11-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US20220109875A1 (en) * 2019-02-09 2022-04-07 Lg Electronics Inc. Method and device for processing video signal
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
WO2021238828A1 (en) * 2020-05-27 2021-12-02 Beijing Bytedance Network Technology Co., Ltd. Indication of multiple transform matrices in coded video
CN117296325A (zh) * 2021-04-12 2023-12-26 Lg电子株式会社 用于设计低频不可分离变换的方法和设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5907192B2 (ja) * 2013-03-29 2016-04-26 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法及び画像復号プログラム
CN115134610A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10324724B2 (en) * 2015-12-16 2019-06-18 Intel Corporation Hardware apparatuses and methods to fuse instructions
EP4106333A1 (en) * 2016-02-12 2022-12-21 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
ES2817100B1 (es) * 2016-03-28 2022-04-13 Kt Corp Metodo y aparato para procesar senales de video
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
EP3806463A1 (en) * 2016-12-23 2021-04-14 Huawei Technologies Co., Ltd. An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법
KR102601267B1 (ko) * 2017-05-17 2023-11-10 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11134272B2 (en) * 2017-06-29 2021-09-28 Qualcomm Incorporated Memory reduction for non-separable transforms
JP7446988B2 (ja) * 2017-08-04 2024-03-11 エルジー エレクトロニクス インコーポレイティド ビデオ圧縮のための変換を構成する方法および装置
EP4307676A3 (en) * 2017-12-21 2024-03-13 LG Electronics Inc. Method for coding image on basis of selective transform and device therefor
CN115604470A (zh) * 2018-04-01 2023-01-13 Lg电子株式会社（Kr） 视频编解码方法、计算机可读存储介质及发送方法
WO2019235797A1 (ko) * 2018-06-03 2019-12-12 엘지전자 주식회사 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10382772B1 (en) * 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction

Also Published As

Publication number Publication date
US20220060697A1 (en) 2022-02-24
US20240098258A1 (en) 2024-03-21
KR102553341B1 (ko) 2023-07-06
WO2020036390A1 (ko) 2020-02-20
CN116527891A (zh) 2023-08-01
CN112840648A (zh) 2021-05-25
KR20210029273A (ko) 2021-03-15
EP3826303A4 (en) 2021-05-26
CN116546199A (zh) 2023-08-04
US20210160490A1 (en) 2021-05-27
CN116546198A (zh) 2023-08-04
EP3826303A1 (en) 2021-05-26
KR20230106744A (ko) 2023-07-13
US11870982B2 (en) 2024-01-09
US11153560B2 (en) 2021-10-19
CN112840648B (zh) 2023-06-16
US11563937B2 (en) 2023-01-24
US20230164309A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
CN111937400B (zh) 通过使用约化变换来处理视频信号的方法和装置
CN112166613B (zh) 使用缩减二次变换来处理视频信号的方法和装置
CN112840648B (zh) 用于处理图像信号的方法和装置
CN112400322B (zh) 基于二次变换处理视频信号的方法和设备
CN116546201A (zh) 基于块的自适应编码和比特流压缩的可逆数据隐藏方法
CN111937386A (zh) 通过向分区块应用二次变换来处理视频信号的方法及设备
CN114009023B (zh) 基于变换的图像编码方法及其装置
CN114930847A (zh) 基于变换的图像编码方法及其装置
CN114946189A (zh) 基于变换的图像编码方法及其装置
CN114586353A (zh) 基于变换的图像编码方法及装置
CN114747220A (zh) 基于变换的图像编码方法及其设备
CN114731439A (zh) 基于变换的图像编译方法及其装置
CN114846799A (zh) 基于变换的图像编码方法及其设备
CN114731434A (zh) 基于变换的图像编码方法及其装置
CN114342393A (zh) 基于变换的图像编译方法及其设备
CN114270839B (zh) 基于变换对图像进行编码的方法和设备
CN114651445B (zh) 基于变换的视频编码方法及其装置
CN113273210B (zh) 用于编译关于合并数据的信息的方法和装置
CN115066904A (zh) 基于变换的图像编译方法及其装置
CN114762340A (zh) 编译图像的基于变换的方法及其装置
CN114762341A (zh) 用于基于变换的图像编码的方法和装置
CN114424538A (zh) 基于变换的图像编码方法及其装置
CN114762344A (zh) 基于变换的图像编码方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination