CN115278233A - 解码设备、编码设备及发送设备 - Google Patents

解码设备、编码设备及发送设备 Download PDF

Info

Publication number
CN115278233A
CN115278233A CN202210916508.0A CN202210916508A CN115278233A CN 115278233 A CN115278233 A CN 115278233A CN 202210916508 A CN202210916508 A CN 202210916508A CN 115278233 A CN115278233 A CN 115278233A
Authority
CN
China
Prior art keywords
transform
inverse
quadratic
target block
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210916508.0A
Other languages
English (en)
Inventor
M·萨勒海法尔
金昇焕
具文模
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115278233A publication Critical patent/CN115278233A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

解码设备、编码设备及发送设备。根据本发明的一种借助解码装置执行的图像解码方法包括以下步骤：从比特流中推导关于目标块的量化变换系数；对关于所述目标块的量化变换系数执行反量化并且推导变换系数；基于对所述变换系数的简化逆变换来推导关于所述目标块的残差样本；以及基于关于所述目标块的残差样本和关于所述目标块的预测样本来生成重构图片。基于简化逆变换矩阵来执行所述简化逆变换。所述简化逆变换矩阵是列数小于行数的非正方形矩阵。

Description

解码设备、编码设备及发送设备
本申请是原案申请号为201880086783.6的发明专利申请(国际申请号：PCT/KR2018/015815，申请日：2018年12月13日，发明名称：基于变换的图像编码方法和用于该方法的装置)的分案申请。
技术领域
本公开涉及图像编码技术，并且更具体地，涉及基于图像编码系统的变换的图像编码方法和设备。
背景技术
对于诸如HD(高清晰度)图像和UHD(超高清)图像的高分辨率、高质量图像的需求在各个领域都在增加。因为图像数据具有高分辨率和高质量，所以要发送的信息量或比特量相对于传统图像数据增加。因此，当使用诸如传统有线/无线宽带线的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要一种用于有效地发送、存储和再现高分辨率和高质量图像的信息的高效图像压缩技术。
发明内容
技术任务
本公开的目的是提供增强图像编码效率的方法和设备。
本公开的另一目的是提供增强变换效率的方法和设备。
本公开的又一目的是提供用于通过变换增强残差编码的效率的方法和设备。
本公开的再一目的是提供基于简化变换的图像编码方法和设备。
解决方案
本公开的示例性实施方式提供了一种由解码设备执行的图像解码方法。该方法包括以下步骤：从比特流中推导目标块的量化变换系数；通过对所述目标块的所述量化变换系数执行反量化来推导变换系数；基于对所述变换系数的简化逆变换来推导所述目标块的残差样本；以及基于所述目标块的残差样本和所述目标块的预测样本来生成重构图片，并且所述简化逆变换是基于简化逆变换矩阵来执行的，并且所述简化逆变换矩阵是非正方形矩阵，所述非正方形矩阵的列数小于所述非正方形矩阵的行数。
本公开的另一示例性实施方式提供了一种由编码设备执行的图像编码方法。该方法包括以下步骤：推导目标块的残差样本；基于对所述残差样本的简化变换来推导所述目标块的变换系数；通过基于所述目标块的变换系数执行量化来推导量化变换系数；以及对关于所述量化变换系数的信息进行编码，并且所述简化变换是基于简化变换矩阵来执行的，并且所述简化变换矩阵是非正方形矩阵，所述非正方形矩阵的行数小于所述非正方形矩阵的列数。
本公开的又一示例性实施方式提供了一种执行图像解码的解码设备。该解码设备包括：熵解码器，该熵解码器从比特流中推导目标块的量化变换系数；反量化器，该反量化器通过对所述目标块的所述量化变换系数执行反量化来推导变换系数；逆变换器，该逆变换器基于对所述变换系数的简化逆变换来推导所述目标块的残差样本；以及加法器，该加法器基于所述目标块的残差样本和所述目标块的预测样本来生成重构图片，并且基于简化逆变换矩阵来执行所述简化逆变换，并且所述简化逆变换矩阵是非正方形矩阵，所述非正方形矩阵的列数小于所述非正方形矩阵的行数。
本公开的再一示例性实施方式提供了一种执行图像编码的编码设备。该编码设备包括：减法器，该减法器推导目标块的残差样本；变换器，该变换器基于对所述残差样本的简化变换来推导所述目标块的变换系数；量化器，该量化器通过基于所述目标块的变换系数执行量化来推导量化变换系数；以及熵编码器，该熵编码器对关于所述量化变换系数的信息进行编码，并且所述简化变换是通过简化变换矩阵执行的，并且所述简化变换矩阵是非正方形矩阵，所述非正方形矩阵的行数小于所述非正方形矩阵的列数。
技术效果
根据本公开，能够增强整体图像/视频压缩效率。
根据本公开，能够通过高效变换来减少将针对残差处理而发送的数据量，并且能够增强残差编码效率。
根据本公开，能够通过频域中的二次变换将非零变换系数集中在低频分量上。
根据本公开，能够基于简化变换来执行图像编码，由此增强图像编码效率。
附图说明
图1是例示了适用本公开的视频/图像编码装置的配置的示意图。
图2是例示了适用本公开的视频/图像解码装置的配置的示意图。
图3是例示了根据示例性实施方式的多重变换技术的示意性示图。
图4是示例性例示了预测方向的65种帧内定向模式的示图。
图5a至图5c是例示了根据示例性实施方式的不可分离二次变换过程的流程图。
图6是用于说明根据本公开的示例性实施方式的简化变换的示图。
图7是例示了根据本公开的示例性实施方式的简化变换过程的流程图。
图8是例示了根据本公开的另一示例性实施方式的简化变换过程的流程图。
图9是例示了根据本公开的示例性实施方式的基于不可分离二次变换的简化变换过程的流程图。
图10是例示了应用根据本公开的示例性实施方式的简化变换的块的示图。
图11是例示了根据本公开的示例性实施方式的视频编码设备的操作的流程图。
图12是例示了根据本公开的示例性实施方式的视频解码设备的操作的流程图。
具体实施方式
本公开可以按各种形式进行修改，并且将在附图中描述和例示其特定实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语仅仅用于描述特定的实施方式，而不旨在限制本公开。单数的表述包括复数的表述，只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
实施本发明的方式
另外，为了便于解释不同的特定功能，独立地绘制本实施方式中描述的附图中的元件，并不意味着这些元件由独立的硬件或独立的软件实现。例如，可以组合元件中的两个或更多个以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本实施方式的概念的情况下，元件被组合和/或划分的实施例属于本实施方式。
以下描述可以应用于处理视频、一个或更多个图像的技术领域。例如，以下描述中公开的方法或示例性实施方式可以与通用视频编码(VVC)标准(ITU-T H.266建议书)、VVC之后的下一代视频/图像编码标准或VVC之前的标准(例如，高效视频编码(HEVC)标准(ITU-T H.265建议书)等)的公开内容相关联。
下文中，将参照附图详细地描述本实施方式的示例。另外，在整个附图中，类似的附图标记用于指示类似的元件，并且将省略对类似元件的相同描述。
在本公开中，视频可以意指根据时间推移的一系列图像的集合。通常，图片意指表示特定时间的图像的单元，切片是构成图片的一部分的单元。一个图片可以由多个切片构成，并且术语图片和切片可以根据场合需要彼此混合。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素(像素值)，并且可以仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单元。该单元可以包括特定区域和与该区域相关的信息中的至少一个。可选地，该单元可以与诸如块、区域等术语混合。在典型情况下，M×N块可以表示以M列和N行排列的样本或变换系数的集合。
图1简要地图示适用本实施方式的视频编码设备的结构。在下文中，编码设备可以包括视频编码设备和/或图像编码设备，并且视频编码设备可以用作包括图像编码设备的概念。
参照图1，视频编码设备100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125、逆变换器126。
图片分割器105可以将输入图片分离成至少一个处理单元。
在示例中，处理单元可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树(QTBT)结构从最大编码单元(LCU)递归地分离出编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元分离为更深深度的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构。可替选地，可以首先应用二叉树结构。可以基于不再进一步被分离的最终编码单元执行根据本实施方式的编码过程。在这种情况下，最大编码单元可以取决于图像特性基于编码效率等而用作最终编码单元，或者编码单元可以根据需要递归地分离成较低深度的编码单元并且具有最佳尺寸的编码单元可以用作最终编码单元。这里，编码过程可以包括诸如预测、变换和重构这样的过程，这将在后面描述。
在另一示例中，处理单元可以包括编码单元(CU)、预测单元(PU)或变换器(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分离成深度较深的编码单元。在这种情况下，可以根据图像特性基于编码效率等直接将最大编码单元用作最终编码单元，或者可以在必要时将编码单元递归地分离成深度较深的编码单元，并且可以使用具有最佳大小的编码单元作为最终编码单元。当设置了最小编码单元(SCU)时，编码单元可以不被分离成比最小编码单元小的编码单元。这里，最终编码单元是指被分割或分离成预测单元或变换器的编码单元。预测单元是从编码单元分割的单元，并且可以是样本预测的单元。这里，预测单元可以被划分成子块。可以根据四叉树结构从编码单元划分出变换器，并且变换器可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。下文中，编码单元可以被称为编码块(CB)，预测单元可以被称为预测块(PB)，并且变换器可以被称为变换块(TB)。预测块或预测单元可以是指图片中的块的形式的特定区域，并且包括预测样本的阵列。另外，变换块或变换器可以是指图片中的块的形式的特定区域，并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中，它可以表示当前块或残差块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可以确定对当前块是应用帧内预测还是应用帧间预测。例如，预测器110可以确定以CU为单元应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可以基于当前块所属的图片(下文中，当前图片)中的当前块之外的参考样本来导出当前块的预测样本。在这种情况下，预测器110可以基于当前块的邻近参考样本的平均值或内插来导出预测样本(情况(i))，或者可以基于关于当前块的邻近参考样本中的预测样本的特定(预测)方向中存在的参考样本来导出预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，预测模式可以包括作为示例的33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可以基于由参考图片上的运动矢量指定的样本来导出当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任何一个来导出当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。在MVP模式的情况下，邻近块的运动矢量被用作运动矢量预测器，并且因此被用作当前块的运动矢量预测器以导出当前块的运动矢量。
在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括时间邻近块的参考图片也可以称为并置图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息这样的信息可以被(熵)编码，并且然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间邻近块的运动信息时，参考图片列表中的最高图片可以用作参考图片。可以基于当前图片和相应的参考图片之间的图片顺序号(POC)差来对齐参考图片列表中包括的参考图片。POC对应于显示顺序，并且可以与编码顺序区分开。
减法器121生成残差样本，该残差样本是原始样本和预测样本之间的差。如果应用跳过模式，则可以不如上所述生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于相应变换块的大小和被应用于与变换块在空间上重叠的编码块或预测块的预测模式来执行变换。例如，如果帧内预测被应用于与变换块重叠的编码块或者预测块并且变换块是4×4残差阵列，则可以使用离散正弦变换(DST)变换核来变换残差样本，并且在其他情况下，使用离散余弦变换(DCT)变换核来变换残差样本。
量化器123可以量化变换系数以生成量化的变换系数。
重排器124重新排列量化的变换系数。重排器124可以通过系数扫描方法将块形式的量化的变换系数重新排列成一维矢量。尽管重排器124被描述为单独的组件，但是重排器124可以是量化器123的一部分。
熵编码器130可以对量化的变换系数执行熵编码。熵编码可以包括编码方法，例如，指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了量化的变换系数之外，熵编码器130还可以一起或分开地对视频重构所需的信息(例如，语法元素值等)执行熵编码或预定方法。可以以比特流形式以网络抽象层(NAL)为单位发送或存储熵编码信息。
反量化器125对由量化器123量化的值(变换系数)进行反量化，并且逆变换器126对由反量化器125反量化的值进行逆变换以生成残差样本。
加法器140将残差样本添加到预测样本以重构图片。可以以块为单位将残差样本添加到预测样本以生成重构块。虽然加法器140被描述为单独的组件，但是加法器140可以是预测器110的一部分。另外，加法器140可以被称为重构器或重构块生成器。
滤波器150可以将去块滤波和/或样本自适应偏移应用于重构的图片。可以通过去块滤波和/或样本自适应偏移来校正重构图片中的块边界处的伪像或量化时的失真。在去块滤波完成之后，可以以样本为单位应用样本自适应偏移。滤波器150可以将自适应环路滤波器(ALF)应用于重构的图片。可以将ALF应用于已经应用去块滤波和/或样本自适应偏移的重构图片。
存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里，重构图片可以是由滤波器150滤波的重构图片。存储的重构图片可以用作用于其他图片的(帧间)预测的参考图片。例如，存储器160可以存储用于帧间预测的(参考)图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2简要地图示适用本公开的视频/图像解码设备的结构。下文中，视频解码设备可以包括图像解码设备。
参照图2，视频解码设备200可以包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。残差处理器220可以包括重排器221、反量化器222、逆变换器223。
另外，尽管并未描绘，但是视频解码设备200可以包括用于接收包括视频信息的比特流的接收器。接收器可以被配置为单独的模块，或者可以被包括在熵解码器210中。
当输入包括视频/图像信息的比特流时，视频解码设备200可以与在视频编码设备中处理视频信息的过程关联地重构视频/图像/图片。
例如，视频解码设备200可以使用在视频编码设备中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是例如编码单元，并且在另一示例中是编码单元、预测单元或变换器。可以根据四叉树结构和/或二叉树结构和/或三叉树结构从最大编码单元分离编码单元。
在一些情况下可以进一步使用预测单元和变换单元，并且在这种情况下，预测块是从编码单元导出或分割出的块，并且可以是样本预测的单位。这里，预测单元可以被划分为子块。变换单元可以根据四叉树结构从编码单元分离出，并且可以是导出变换系数的单元或从变换系数导出残差信号的单元。
熵解码器210可以解析比特流以输出视频重构或图片重构所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编码方法来解码比特流中的信息，并且可以输出视频重构所需的语法元素的值和关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin(二进制位)，使用解码目标语法元素信息以及邻居和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型预测bin生成概率，并执行bin的算术解码以生成与每个语法元素值相对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
可以将在熵解码器210中解码的信息中的关于预测的信息提供给预测器230，并且可以将已经由熵解码器210执行熵解码的残差值，即，量化的变换系数输入到重排器221。
重排器221可以将量化的变换系数重新排列成二维块形式。重排器221可以执行与由编码设备执行的系数扫描相对应的重新排列。尽管重排器221被描述为单独的组件，但是重排器221可以是反量化器222的一部分。
反量化器222可以基于(反)量化参数对量化的变换系数进行反量化，以输出变换系数。在这种情况下，可以从编码设备发信号通知用于导出量化参数的信息。
逆变换器223可以对变换系数进行逆变换以导出残差样本。
预测器230可以对当前块执行预测，并且可以生成包括当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块，或者可以是变换块或者可以是预测块。
预测器230可以基于关于预测的信息确定是应用帧内预测还是应用帧间预测。在这种情况下，用于确定在帧内预测和帧间预测之间将使用哪一个的单元可以与用于生成预测样本的单元不同。另外，用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如，可以以CU为单位确定在帧间预测和帧内预测之间将应用哪一个。此外，例如，在帧间预测中，可以通过以PU为单位确定预测模式来生成预测样本，并且在帧内预测中，可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器230可以基于当前图片中的邻近参考样本导出当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来导出当前块的预测样本。在这种情况下，可以通过使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器230可以基于根据运动矢量在参考图片中指定的样本来导出当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式之一来导出当前块的预测样本。这里，由视频编码设备提供的当前块的帧间预测所要求的运动信息(例如，运动矢量和关于参考图片索引的信息)可以基于关于预测的信息来获取或导出。
在跳过模式和合并模式中，邻近块的运动信息可以用作当前块的运动信息。这里，邻近块可以包括空间邻近块和时间邻近块。
预测器230可以使用可用邻近块的运动信息来构造合并候选列表，并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。合并索引可以由编码设备发信号通知。运动信息可以包括运动矢量和参考图片。当在跳过模式和合并模式中使用时间邻近块的运动信息时，参考图片列表中的最高图片可以用作参考图片。
在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。
在MVP模式的情况下，可以使用邻近块的运动矢量作为运动矢量预测器来导出当前块的运动矢量。这里，邻近块可以包括空间邻近块和时间邻近块。
当应用合并模式时，例如，可以使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成合并候选列表。从合并候选列表中选择的候选块的运动矢量被用作合并模式中的当前块的运动矢量。上述关于预测的信息可以包括合并索引，该合并索引指示从包括在合并候选列表中的候选块中选择的具有最佳运动矢量的候选块。这里，预测器230可以使用合并索引导出当前块的运动矢量。
当作为另一示例应用MVP(运动矢量预测)模式时，可以使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成运动矢量预测器候选列表。也就是说，重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量可以用作运动矢量候选。上述关于预测的信息可以包括指示从包括在列表中的运动矢量候选中选择的最佳运动矢量的预测运动矢量索引。这里，预测器230可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测运动矢量。编码设备的预测器可以获得当前块的运动矢量与运动矢量预测器之间的运动矢量差(MVD)，对MVD进行编码并以比特流的形式输出编码的MVD。也就是说，可以通过从当前块的运动矢量中减去运动矢量预测器来获得MVD。这里，预测器230可以获取包括在关于预测的信息中的运动矢量，并且通过将运动矢量差添加到运动矢量预测器来导出当前块的运动矢量。另外，预测器可以从上述关于预测的信息获得或导出指示参考图片的参考图片索引。
加法器240可以将残差样本添加到预测样本以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本添加到预测样本来重构当前图片。当应用跳过模式时，不发送残差，并且因此预测样本可以变为重构样本。虽然加法器240被描述为单独的组件，但是加法器240可以是预测器230的一部分。另外，加法器240可以被称为重构器或重构块生成器。
滤波器250可以将去块滤波、样本自适应偏移和/或ALF应用于重构的图片。这里，可以在去块滤波之后以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重构图片(解码图片)或解码所需的信息。这里，重构图片可以是经滤波器250滤波的重构图片。例如，存储器260可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以用作其他图片的参考图片。存储器260可以按输出顺序输出重构图片。
此外，如上所述，在执行视频编码时，执行预测以增强压缩效率。因此，可以生成包括针对当前块的预测样本的预测块，即，编码目标块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中被同样地导出。编码设备可以通过将关于原始块与预测块之间残差的残差信息而不是原始块本身的原始样本值发信号通知给解码设备来提高图像编码效率。解码设备可以基于残差信息来导出包括残差样本的残差块，可以通过将残差块与预测块相加来生成包括重构样本的重构块，并且可以生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码设备可以导出原始块与预测块之间的残差块，可以通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来导出变换系数，可以通过对变换系数执行量化过程来导出量化变换系数，并且可以(通过比特流)向解码设备发信号通知相关残差信息。在这种情况下，残差信息可以包括诸如值信息、位置信息、变换方案、变换核以及量化变换系数的量化参数这样的信息。解码设备可以基于残差信息执行反量化/逆变换过程，并且可以导出残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。另外，编码设备还可以通过对量化变换系数执行反量化/逆变换来导出残差块以供后续图片的帧间预测参考，并且可以基于残差块生成重构图片。
图3示意性例示了根据本公开的多重变换技术。
参照图3，变换器可以对应于图1的以上提到的编码设备中的变换器，并且逆变换器可以对应于图1的编码设备中的以上提到的逆变换器或图2的解码设备中的以上提到的逆变换器。
变换器可以通过基于残差块中的残差样本(残差样本阵列)执行初级变换来推导(初级)变换系数(S310)。这里，初级变换可以包括多重变换集(MTS)。在某些情况下，多重变换集也可以被称为自适应多核变换。
自适应多核变换可以表示另外使用离散余弦变换(DCT)类型2、离散正弦变换(DST)类型7、DCT类型8和/或DST类型1执行变换的方法。即，多核变换可以表示基于从DCT类型2、DST类型7、DCT类型8和DST类型1中选择的多个变换核将空间域中的残差信号(或残差块)变换成频域中的变换系数(或初级变换系数)的变换方法。这里，从变换器的角度来看，初级变换系数可以被称为时间变换系数。
即，如果应用现有的变换方法，则可以基于DCT类型2应用针对残差信号(或残差块)的从空间域到频域的变换，以生成变换系数。另一方面，如果应用了自适应多核变换，则可以基于DCT类型2、DST类型7、DST类型8和/或DST类型1等应用针对残差信号(或残差块)的从空间域到频域的变换，以生成变换系数(或初级变换系数)。这里，DCT类型2、DST类型7、DCT类型8、DST类型1等可以被称为变换类型、变换核或变换芯。
作为参考，可以基于基函数来定义DCT/DST变换类型，并且可以如下表中所示地表示基函数。
表1
Figure BDA0003775955620000121
如果执行自适应多核变换，则可以在变换核当中选择针对目标块的垂直变换核和水平变换核，并且可以基于垂直变换核对目标块执行垂直变换，并基于水平变换核针对目标块执行水平变换。这里，水平变换可以表示针对目标块的水平分量的变换，并且垂直变换可以表示针对目标块的垂直分量的变换。可以基于包含残差块的目标块(CU或子块)的预测模式和/或指示变换子集的变换索引来自适应确定垂直变换核/水平变换核。
变换器可以通过基于(初级)变换系数执行二次变换来推导(二次)变换系数(S320)。如果初级变换是从空间域到频域的变换，则二次变换可以被视为从频域到频域的变换。二次变换可以包括不可分离变换。在这种情况下，二次变换可以被称为不可分离二次变换(NSST)或依赖模式的不可分离二次变换(MDNSST)。不可分离二次变换可以表示通过基于不可分离变换矩阵对通过初级变换推导的(初级)变换系数进行二次变换来生成针对残差信号的变换系数(或二次变换系数)的变换。这里，可以基于不可分离变换矩阵一次性应用变换，而不用将垂直变换和水平变换分别应用(或不独立地将水平和垂直变换应用)于(初级)变换系数。即，不可分离二次变换可以表示通过基于不可分离变换矩阵将(初级)变换系数的垂直分量和水平分量一起变换来生成变换系数(或二次变换系数)的变换方法。可以向由(初级)变换系数构成的块(下文中，被称为变换系数块)的左上区域应用不可分离二次变换。例如，如果变换系数块的宽度(W)和高度(H)二者为8或更大，则可以向变换系数块的左上8×8区域应用8×8不可分离二次变换。另外，如果变换系数块的宽度(W)和高度(H)二者为4或更大并且变换系数块的宽度(W)或高度(H)小于8，则可以向变换系数块的左上min(8,W)×min(8,H)区域应用4×4不可分离二次变换。然而，示例性实施方式不限于此，并且例如，如果仅满足变换系数块的宽度(W)或高度(H)小于8的条件，则还可以向变换系数块的左上min(8,W)×min(8,H)应用4×4不可分离二次变换。
具体地，例如，当使用4×4输入块时，可以如下执行NSST。
可以如下地表示4×4输入块X。
[式1]
Figure BDA0003775955620000131
当以矢量形式表达X时，可以如下地表示矢量
Figure BDA0003775955620000132
[式2]
Figure BDA0003775955620000133
在这种情况下，可以如下地计算NSST。
[式3]
Figure BDA0003775955620000134
这里，
Figure BDA0003775955620000135
表示变换系数矢量，并且T表示16×16(不可分离)变换矩阵。
通过式3，可以推导16×1变换系数矢量
Figure BDA0003775955620000136
并且可以通过扫描顺序(水平、垂直、对角等)将
Figure BDA0003775955620000137
重新组织为4×4块。然而，上述计算是示例，并且超立方-吉文斯变换(HyGT)等可以被用于二次变换的计算，以降低NSST的计算复杂度。
此外，在NSST中，可以依赖于模式地选择变换核(或变换芯、变换类型)。这里，该模式可以包括帧内预测模式和/或帧间预测模式。
如上所述，可以基于以变换系数块的宽度(W)和高度(H)为基础确定的8×8变换或4×4变换来执行NSST。即，可以基于8×8子块大小或4×4子块大小来执行NSST。例如，为了选择基于模式的变换核，可以针对8×8子块大小和4×4子块大小二者为NSST配置35组三个NSST核。即，可以针对8×8子块大小配置35个变换集，并且可以针对4×4子块大小配置35个变换集。在这种情况下，用于8×8子块大小的35个变换集可以分别包含3个8×8变换核，并且在这种情况下，用于4×4子块大小的35个变换集可以包括3个4×4变换核。然而，变换子块的大小、集的数目以及集中的变换核的数目是示例，并且可以使用除了8×8或4×4之外的大小或者可以配置n个集，并且每个集中可以包括k个变换核。
变换集还可以被称为NSST集，并且NSST集中的变换核可以被称为NSST核。例如，可以基于目标块(CU或子块)的帧内预测模式执行变换集中的特定一个的选择。
作为参考，例如，帧内预测模式可以包括两种非定向或非角度帧内预测模式和65种定向或角度帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式#0和DC帧内预测模式#1，并且定向帧内预测模式可以包括65种帧内预测模式#2至#66。然而，这是示例，并且即使当帧内预测模式的数目不同时，也可以应用本公开。此外，在某些情况下可以进一步使用帧内预测模式#67，并且帧内预测模式#67可以表示线性模型(LM)模式。
图4示例性示出了65种预测方向的帧内定向模式。
参照图4，基于具有左上对角预测方向的帧内预测模式#34，可以划分具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式。图3中的H和V分别是指水平方向性和垂直方向性，并且数字-32至32指示样本网格位置上的1/32单元的位移。帧内预测模式#2至#33具有水平方向性，并且帧内预测模式#34至#66具有垂直方向性。帧内预测模式#18和帧内预测模式#50分别表示水平帧内预测模式和垂直帧内预测模式。帧内预测模式#2可以被称为左下对角帧内预测模式，帧内预测模式#34可以被称为左上对角帧内预测模式，并且帧内预测模式#66可以被称为作为右上对角帧内预测模式。
在这种情况下，例如，如下表中所示，可以表示35个变换集与帧内预测模式之间的映射。作为参考，当向目标块应用LM模式时，可以不向目标块应用二次变换。
表2
帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
集 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
帧内模式 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67(LM)
集 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 无
此外，当确定使用特定集时，可以通过NSST索引来选择特定集中的k个变换核中的一个。编码设备可以基于速率失真(RD)检查来推导指示特定变换核的NSST索引，并且可以将NSST索引发信号通知给解码设备。解码设备可以基于NSST索引在特定集中选择k个变换核中的一个。例如，NSST索引值0可以指示第一NSST核，NSST索引值1可以指示第二NSST核，并且NSST索引值2可以指示第三NSST核。另选地，NSST索引值0可以指示不向目标块应用第一NSST，并且NSST索引值1至3可以指示三个变换核。
返回参照图3，变换器可以基于所选择的变换核执行NSST，并且获得(二次)变换系数。变换系数可以如上所述通过量化器被推导为量化变换系数，并且被编码和发信号通知给解码设备并且传送到编码设备中的反量化器/逆变换器。
此外，当如上所述省略二次变换的情况下，作为初级(可分离)变换的输出的(初级)变换系数可以如上所述通过量化器被推导为量化变换系数，并且可以被编码和发信号通知给解码设备并且被传送到编码设备中的反量化器/逆变换器。
逆变换器可以以与通过上述变换器执行的过程相反的顺序执行一系列过程。逆变换器可以接收(反量化的)变换系数，执行二次(逆)变换以推导(初级)变换系数(S350)，并且对(初级)变换系数执行初级(逆)变换以获取残差块(残差样本)。这里，从逆变换器的角度来看，初级变换系数可以被称为修改后的变换系数。如上所述，编码设备和解码设备可以基于残差块和预测块来生成重构块，并且可以基于重构块来生成重构图片。
此外，如上所述，当省略二次(逆)变换时，可以接收(反量化后的)变换系数，并且可以对其执行初级(可分离)变换，以获取残差块(残差样本)。如上所述，编码设备和解码设备可以基于残差块和预测块来生成重构块，并且可以基于重构块来生成重构图片。
图5a至图5c是用于说明根据本公开的示例性实施方式的简化变换的示图。
如以上在图3中描述的，在不可分离二次变换(下文中，被称为“NSST”)中，通过应用初级变换而获得的变换系数的块数据被划分成M×M块，然后可以针对每个M×M块执行M2xM2 NSST。M可以是例如4或8，但是不限于此。
M2xM2 NSST也可以以矩阵乘积的形式应用，但是上面在图3中描述的超立方-吉文斯变换(HyGT)可以被用于计算NSST，以便减少计算量和所需的存储容量。HyGT是正交变换，并且HyGT可以包括由正交矩阵G(m,n,θ)定义的吉文斯旋转Gi,j(m,n)作为基本分量。可以由下式4表示吉文斯旋转Gi,j(m，n)。
[式4]
Figure BDA0003775955620000161
可以在图5a中例示基于式4的吉文斯旋转。参照式4和图5a，可以确认仅以一个角度(θ)描述一个吉文斯旋转。
图5b例示了构成16×16 NSST的一轮的示例。更具体地，可以通过在超立方体布置中组合吉文斯旋转来执行HyGT，并且如图5b中例示的，可以以蝴蝶形式例示用于16个元素的HyGT的流程。如图5b中例示的，一轮由4个吉文斯旋转层构成，每个吉文斯旋转层由8个吉文斯旋转构成，并且每个吉文斯旋转可以如同图5b中例示的连接配置一样形成为选择2个输入数据的结构以应用旋转变换，然后在对应的选择位置处照原样输出旋转变换后的两个输入数据。16×16 NSST可以依次应用两轮和一次置换层，并且可以通过对应的置换层任意地混合16个数据。可以如图5b中例示地连接所有两轮，但是这两轮的所有吉文斯旋转层可能不同。
64×64 NSST由具有64个输入和输出的吉文斯旋转层构成，并且如同16×16 NSST一样，可以应用至少一轮，并且一轮可以由6个吉文斯旋转层构成，这些旋转层以类似于图5b的方法连接。例如，可以向64×64 NSST应用四轮，然后，可以应用用于随机混合64个数据的置换层。针对这四轮中的每一个的吉文斯旋转层可以互不相同。
图5b例示了应用于正向变换的轮。当应用逆变换时，首先应用后向置换层，然后可以按从最后一轮到第一轮的顺序，沿着图5b中的从底部到顶部的方向应用对应的吉文斯旋转。与后向NSST的每个吉文斯旋转对应的角度可以是通过向对应的正向角度施加负(“-”)符号而获得的值。
为了增强编码效率，可以使用一轮或更多轮HyGT。如图5c中例示的，NSST可以由R个HyGT轮构成，并且可以另外包括排序遍。排序遍还可以被解释为可选的置换遍，并且可以基于方差对变换系数进行排序。作为示例，可以向16×16 NSST应用两轮HyGT，并且可以向64×64 NSST应用四轮HyGT。
图6是用于说明根据本公开的示例性实施方式的简化变换的示图。
在本说明书中，“目标块”可以意指将被编码的当前块或残差块。
在本说明书中，“简化变换”可以意指基于其大小根据简化因子而减小的变换矩阵对目标块的残差样本执行的变换。如果执行简化变换，则由于变换矩阵的大小减小，变换所需的计算量可以减少。即，简化变换可以被用于消除当对大块进行变换或不可分离变换时出现的计算复杂性问题。简化变换可以被称为初级变换(或核心变换)。简化变换还可以被用于诸如初级变换(例如，DCT、DST等)和二次变换(例如，NSST)这样的任何类型的变换。
简化变换可以被称为诸如简化的变换、缩减变换、减小的变换、简化的二次变换、缩小的变换、简单化变换、简单变换、RTS、RST等这样的各种术语，并且可以指代简化变换的名称不限于所列示例。
在根据示例性实施方式的简化变换中，可以通过将N维矢量映射到位于不同空间中的R维矢量来确定简化变换矩阵，其中，R小于N。N可以意指要变换的块的一条边的长度的平方或与要变换的块对应的变换系数的总数，并且简化因子可以意指R/N值。简化因子可以被称为诸如简化的因子、缩减因子、减小因子、缩小因子、简单化的因子、简单因子等这样的各种术语。此外，R可以被称为简化系数，但是在某些情况下，简化因子也可以意指R。另外，在某些情况下，简化因子也可以意指N/R值。
在示例性实施方式中，可以通过比特流来发信号通知简化因子或简化系数，但是示例性实施方式不限于此。例如，简化因子或简化系数的预定值可以被存储在编码设备100和解码设备200中的每一个中，在这种情况下，可以不单独发信号通知简化因子或简化系数。
根据示例性实施方式的简化变换矩阵的大小可以为R×N，小于正常变换矩阵的大小N×N，并且可以被如下式5中表示地定义。
[式5]
Figure BDA0003775955620000171
图6的(a)中例示的简化变换块中的矩阵(T)可以意指式5的矩阵(TRxN)。如果如图6的(a)中例示地将简化变换矩阵(TRxN)与目标块的残差样本相乘，则可以推导目标块的变换系数。
在示例性实施方式中，如果将变换的块的大小为8×8、R＝16(即，R/N＝16/64＝1/4)并且目标块的大小为64×64，则可以通过如下式6中的矩阵运算来表达根据图6的(a)的简化变换。
[式6]
Figure BDA0003775955620000181
在式6中，r1至r64可以表示目标块的残差样本。作为式6的运算结果，可以推导目标块的变换系数(ci)，并且可以在式7中示出ci的推导过程。
[式7]
Figure BDA0003775955620000182
作为式7的运算结果，可以推导目标块的变换系数(c1至cR)。即，如果R＝16，则可以推导目标块的变换系数(c1至c16)。如果应用常规变换而非简化变换并且大小为64×64(N×N)的变换矩阵乘以包括大小为64×1(N×1)的残差样本的矩阵，则推导目标块的64(N)个变换系数，但是由于应用了简化变换，因此仅推导目标块的16(R)个变换系数。目标块的变换系数的总数从N减少至R，因此可以减少编码设备100向解码设备200发送的数据量，由此增强编码设备100与解码设备200之间的传输效率。
查看变换矩阵的大小，常规变换矩阵的大小为64×64(N×N)，但简化变换矩阵的大小减小为16×64(R×N)，使得与执行常规变换时相比，执行简化变换时存储器的使用可以以R/N的比率减小。另外，与使用常规变换矩阵时乘法运算的次数N×N相比，当使用简化变换矩阵时，乘法运算的次数可以以R/N的比率减小。
在示例性实施方式中，可以通过由编码设备100的变换器122变换目标块的残差样本来推导目标块的变换系数；目标块的变换系数可以被传送到解码设备200的逆变换器；并且解码设备200的逆变换器223可以对目标块的变换系数进行逆变换。可以基于对目标块的变换系数执行的逆变换来推导目标块的残差样本。即，根据(简化)逆变换的详细操作仅与根据(简化)变换的详细操作的顺序相反，并且根据(简化)逆变换的详细操作与根据(简化)变换的详细操作基本上近似。
根据示例性实施方式的简化逆变换矩阵TNxR的大小是比常规逆变换矩阵N×N的大小小的N×R，并且简化逆变换矩阵TNxR与式5中表示的简化变换矩阵TRxN具有转置关系。
图6的(b)中例示的简化逆变换块中的矩阵Tt可以意指简化逆变换矩阵TNxR。如果如图6的(b)所例示地将目标块的变换系数与简化逆变换矩阵TNxR相乘，则可以推导目标块的初级变换系数或目标块的残差样本。
更具体地，如果基于二次逆变换应用简化逆变换，则当变换系数与简化逆变换矩阵TNxR相乘时，可以推导目标块的初级变换系数。另一方面，如果基于初级逆变换应用简化逆变换，则当目标块的变换系数与简化逆变换矩阵TNxR相乘时，可以推导目标块的残差样本。
在示例性实施方式中，如果要逆变换的块的大小为8×8、R＝16(即，R/N＝16/64＝1/4)并且目标块的大小为64×64，则可以通过如下式8中的矩阵运算来表达根据图6的(b)的简化逆变换。
[式8]
Figure BDA0003775955620000191
在式8中，c1至c16可以表示目标块的变换系数。作为式8的运算结果，可以推导表示目标块的初级变换系数或目标块的残差样本的rj，并且可以在式9中示出rj的推导过程。
[式9]
Figure BDA0003775955620000201
作为式9的运算结果，可以推导表示目标块的初级变换系数或目标块的残差样本的r1至rN。查看逆变换矩阵的大小，常规逆变换矩阵的大小为64×64(N×N)，但简化逆变换矩阵的大小减小为64×16(N×R)，使得与执行常规逆变换时相比，执行简化逆变换时存储器的使用可以以R/N的比率减小。另外，与使用常规逆变换矩阵时乘法运算的次数N×N相比，当使用简化逆变换矩阵时，乘法运算的次数可以以R/N的比率减小至(N×R)。
图7是例示了根据本公开的示例性实施方式的简化变换过程的流程图。
图7中例示的每个步骤可以由图2中例示的解码设备200执行。更具体地，S700可以由图2中例示的反量化器222执行，并且S710和S720可以由图2中例示的逆变换器223执行。因此，将省略或简化与图2中的以上提到的内容重复的详细描述。
在如以上参照图6描述的示例性实施方式中，根据(简化)变换的详细操作与根据(简化)逆变换的详细操作的顺序相反，并且根据(简化)变换的详细操作与根据(简化)逆变换的详细操作可以基本上近似。因此，本领域技术人员将容易理解，以下描述的对简化逆变换的S700至S720的描述也可以以相同或相似的方式被应用于简化变换。
根据示例性实施方式的解码设备200可以通过对目标块的量化变换系数执行反量化来推导变换系数(S700)。
根据示例性实施方式的解码设备200可以选择变换核(S710)。更具体地，解码设备200可以基于变换索引、将变换的区域的宽度和高度、图像解码中使用的帧内预测模式以及关于目标块的颜色分量的信息中的至少一个来选择变换核。然而，示例性实施方式不限于此，并且例如，变换核是预定义的，并且可以不发信号通知用于选择变换核的单独信息。
在示例中，关于目标块的颜色分量的信息可以通过CIdx来发信号通知。如果目标块是亮度块，则CIdx可以指示0，并且如果目标块是色度块(例如，Cb块或Cr块)，则CIdx可以指示非零值(例如，1)。
根据示例性实施方式的解码设备200可以基于所选择的变换核和简化因子向变换系数应用简化逆变换(S720)。
图8是例示了根据本公开的另一示例性实施方式的简化变换过程的流程图。
图8中例示的每个步骤可以由图2中例示的解码设备200执行。更具体地，S800可以由图2中例示的反量化器222执行，并且S810至S860可以由图2中例示的逆变换器223执行。因此，将省略或简化与图2中的以上提到的内容重复的详细描述。
在如以上参照图6描述的示例性实施方式中，根据(简化)变换的详细操作仅与根据(简化)逆变换的详细操作的顺序相反，并且根据(简化)变换的详细操作与根据(简化)逆变换的详细操作可以基本上近似。因此，本领域技术人员将容易理解，以下描述的对简化逆变换的S800至S860的描述也可以以相同或相似的方式被应用于简化变换。
根据示例性实施方式的解码设备200可以对目标块的量化系数执行反量化(S800)。如果在编码设备100中执行了变换，则解码设备200可以在S800中通过对目标块的量化变换系数进行反量化来推导目标块的变换系数。相反，如果在编码设备100中未执行变换，则解码设备200可以在S800中通过对目标块的量化残差样本执行反量化来推导目标块的残差样本。
根据示例性实施方式的解码设备200可以确定编码设备100中是否已经对目标块的残差样本执行了变换(S810)，并且当确定已经执行了变换时，解码设备200可以解析(或者从比特流解码)变换索引(S820)。变换索引可以包括水平变换的水平变换索引和垂直变换的垂直变换索引。
在示例中，变换索引可以包括初级变换索引、核心变换索引、NSST索引等。例如，变换索引例如可以被表达为Transform_idx，并且NSST索引可以被表达为NSST_idx。另外，水平变换索引可以被表达为Transform_idx_h，并且垂直变换索引可以被表达为Transform_idx_v。
当在S810中确定编码设备100中未对目标块的残差样本执行变换时，根据示例性实施方式的解码设备200可以省略根据S820至S860的操作。
根据示例性实施方式的解码设备200可以基于变换索引、应用变换的区域的宽度和高度、图像解码中使用的帧内预测模式以及关于目标块的颜色分量的信息中的至少一个来选择变换核(S830)。
根据示例性实施方式的解码设备200可以确定是否满足对目标块的变换系数执行简化逆变换的条件(S840)。
在示例中，如果应用简化逆变换的区域的宽度和高度均大于第一系数，则解码设备200可以确定满足对目标块的变换系数执行简化逆变换的条件。
在另一示例中，如果应用简化逆变换的区域的宽度和高度的乘积大于第二系数并且应用简化逆变换的区域的宽度和高度中的较小一个大于第三系数，则解码设备200可以确定满足对目标块的变换系数执行简化逆变换的条件。
在另一示例中，如果应用简化逆变换的区域的宽度和高度均小于或等于第四系数，则解码设备200可以确定满足对目标块的变换系数执行简化逆变换的条件。
在另一示例中，如果应用简化逆变换的区域的宽度和高度的乘积小于或等于第五系数并且应用简化逆变换的区域的宽度和高度中的较小一个小于或等于第六系数，则解码设备200可以确定满足对目标块的变换系数执行简化逆变换的条件。
在另一示例中，如果满足应用简化逆变换的区域的宽度和高度均大于第一系数的条件、应用简化逆变换的区域的宽度和高度的乘积大于第二系数并且应用简化逆变换的区域的宽度和高度中的较小一个大于第三系数的条件、应用简化逆变换的区域的宽度和高度均小于或等于第四系数的条件以及应用简化逆变换的区域的宽度和高度的乘积小于或等于第五系数并且应用简化逆变换的区域的宽度和高度中的较小一个小于或等于第六系数的条件中的至少一个，则解码设备200可以确定满足对目标块的变换系数执行简化逆变换的条件。
在以上示例中，第一系数至第六系数可以是任何预定的正整数。例如，第一系数至第六系数可以是4、8、16或32。
根据示例性实施方式的简化逆变换可以被应用于目标块中包括的正方形区域(即，如果应用简化逆变换的区域的宽度和高度相同)，并且在某些情况下，应用简化逆变换的区域的宽度和高度可以被固定为预定系数的值(例如，4、8、16、32等)。此外，应用简化逆变换的区域不限于正方形区域，并且简化逆变换可以被应用于矩形区域或非矩形区域。随后，将参照图10来描述对应用简化逆变换的区域的更详细描述。
在示例中，可以基于变换索引来确定是否满足执行简化逆变换的条件。即，变换索引可以指示已经对目标块执行了哪个变换。
当在S840中确定不满足执行简化逆变换的条件时，根据示例性实施方式的解码设备200可以对目标块的变换系数执行(常规)逆变换。如以上参照图3描述的，(逆)变换可以包括例如DCT2、DCT4、DCT5、DCT7、DCT8、DST1、DST4、DST7、NSST、JEM-NSST(HyGT)等，但是不限于此。
当在S840中确定满足执行简化逆变换的条件时，根据示例性实施方式的解码设备200可以对目标块的变换系数执行简化逆变换(S860)。
图9是例示了根据本公开的示例性实施方式的基于不可分离二次变换的简化变换过程的流程图。
图9中例示的每个步骤可以由图2中例示的解码设备200执行，并且更具体地，S900可以由图2中例示的反量化器222执行，并且S910至S980可以由图2中例示的逆变换器223执行。另外，图9的S900可以对应于图8的S800，图9的S940可以对应于图8的S830，并且图9的S950可以对应于图8的S840。因此，将省略或简化与以上参照图2和图8描述的内容重复的详细描述。
在如以上参照图6描述的示例性实施方式中，根据(简化)变换的详细操作仅与根据(简化)逆变换的详细操作的顺序相反，并且根据(简化)变换的详细操作与根据(简化)逆变换的详细操作可以基本上近似。因此，本领域技术人员将容易理解，以下描述的对简化逆变换的S900至S980的描述也可以以相同或相似的方式被应用于简化变换。
根据示例性实施方式的解码设备200可以对目标块的量化系数执行反量化(S900)。
根据示例性实施方式的解码设备200可以确定编码设备100中是否已经对目标块的残差样本执行了NSST(S910)，并且当确定已经执行了NSST时，解码设备200可以解析(或者从比特流解码)NSST索引(S920)。
根据示例性实施方式的解码设备200可以确定NSST索引是否大于0(S930)，并且当确定NSST索引大于0时，解码设备200可以基于NSST索引、应用NSST索引的区域的宽度和高度、帧内预测模式、关于目标块的颜色分量的信息中的至少一个来选择变换核(S940)。
根据示例性实施方式的解码设备200可以确定是否满足对目标块的变换系数执行简化逆变换的条件(S950)。
如果在S950中确定不满足执行简化逆变换的条件，则根据示例性实施方式的解码设备200可以对目标块的变换系数执行不基于简化逆变换的(常规)逆变换。
如果在S950中确定满足执行简化逆变换的条件，则根据示例性实施方式的解码设备200可以基于简化逆变换来对目标块的变换系数执行逆NSST。
当在S910中确定编码设备100中未对目标块的残差样本执行NSST时，根据示例性实施方式的解码设备200可以省略根据S920至S970的操作。
如果在S930中确定NSST索引不大于0，则根据示例性实施方式的解码设备200可以省略根据S940至S970的操作。
根据示例性实施方式的解码设备200可以对通过应用逆NSST而推导的目标块的初级变换系数执行初级逆变换。当对初级变换系数执行初级逆变换时，可以推导目标块的残差样本。
图10是例示了根据本公开的示例性实施方式的应用简化变换的块的框图。
如以上参照图8描述的，目标块中的应用简化(逆)变换的区域不限于正方形区域，并且简化变换可以被应用于矩形区域或非矩形区域。
图10例示了向大小为16×16的目标块1000中的非矩形区域应用简化变换的示例。图10中带阴影的十个块1010表示在目标块1000中应用简化变换的区域。由于相应最小单元块的大小为4×4，因此根据图10的示例，向10个4×4像素应用简化变换(即，向160个像素应用简化变换)。当R＝16时，简化变换矩阵的大小可以为16×160。
此外，本领域的技术人员可以容易地理解，应用图10中例示的简化变换的区域中所包括的最小单元块1010的布置仅仅是大量示例中的一个。例如，应用简化变换的区域中所包括的最小单元块可以彼此不相邻，或者它们之间可以具有仅共享一个顶点的关系。
图11是例示了根据本公开的示例性实施方式的视频编码设备的操作的流程图。
图11中例示的每个步骤可以由图1中例示的编码设备100执行。更具体地，可以由图1中例示的减法器121执行S1100，可以由图1中例示的变换器122执行S1110，可以由图1中例示的量化器123执行S1120，并且可以由图1中例示的熵编码器130执行S1130。另外，根据S1100至S1130的操作是基于以上参照图6至图10描述的内容中的一些。因此，将省略或简化与以上参照图1和图6至图10描述的内容重复的详细描述。
根据示例性实施方式的编码设备100可以推导目标块的残差样本(S1100)。
根据示例性实施方式的编码设备100可以基于对残差样本的简化变换来推导目标块的变换系数(S1110)。在示例中，可以基于简化变换矩阵来执行简化变换，并且简化变换矩阵可以是行数小于列数的非正方形矩阵。
在示例性实施方式中，S1110可以包括确定是否满足应用简化变换的条件，基于该确定来生成和编码变换索引，选择变换核以及当满足应用简化变换的条件时基于所选择的变换核和简化因子向残差样本应用简化变换。此时，可以基于简化因子来确定简化变换矩阵的大小。
如果根据S1110的简化变换是基于初级变换的，则当对目标块的残差样本执行简化变换时，可以推导目标块的初级变换系数。解码设备200可以对目标块的初级变换系数执行NSST，并且此时，可以基于简化变换来执行或者不基于简化变换来执行NSST。当基于简化变换执行NSST时，这可以对应于根据S1110的操作。
根据示例性实施方式的编码设备100可以通过基于目标块的变换系数执行量化来推导量化变换系数(S1120)。
根据示例性实施方式的编码设备100可以对关于量化变换系数的信息进行编码(S1130)。更具体地，编码设备100可以生成关于量化变换系数的信息并且对所生成的关于量化变换系数的信息进行编码。关于量化变换系数的信息可以包括残差信息。
在示例中，关于量化变换系数的信息可以包括关于是否应用简化变换的信息、关于简化因子的信息、关于应用简化变换的最小变换大小的信息以及关于应用简化变换的最大变换大小的信息中的至少一个。随后，将在图12中描述关于量化变换系数的信息的更详细描述。
参照S1110，可以确认基于对残差样本的简化变换来推导目标块的变换系数。查看变换矩阵的大小，常规变换矩阵的大小为N×N，但简化变换矩阵的大小减小为R×N，使得与执行常规变换时相比，执行简化变换时存储器的使用可以以R/N的比率减小。另外，与使用常规变换矩阵时乘法运算的次数N×N相比，当使用简化变换矩阵时，乘法运算的次数可以以R/N的比率减小至(R×N)。另外，由于当应用简化变换时仅推导R个变换系数，因此与应用常规变换时推导N个变换系数的情况相比，目标块的变换系数的总数从N减小至R，使得编码设备100向解码设备200发送的数据量能减少。总之，能够通过根据S1110的简化变换来增强编码设备100的变换效率和编码效率。
图12是例示了根据本公开的示例性实施方式的视频解码设备的操作的流程图。
图12中例示的每个步骤可以由图2中例示的解码设备200执行。更具体地，可以由图2中例示的熵解码器210执行S1200，可以由图2中例示的反量化器222执行S1210，可以由图2中例示的逆变换器223执行S1220，并且可以由图2中例示的加法器240执行S1230。另外，根据S1200至S1230的操作是基于以上参照图6至图10描述的内容中的一些的。因此，将省略或简化与以上参照图2和图6至图10描述的内容重复的详细描述。
根据示例性实施方式的解码设备200可以从比特流推导目标块的量化变换系数(S1200)。更具体地，解码设备200可以从比特流中解码关于目标块的量化变换系数的信息，并且基于关于目标块的量化变换系数的信息来推导目标块的量化变换系数。关于目标块的量化变换系数的信息可以被包括在序列参数集(SPS)或切片头中，并且可以包括关于是否应用简化变换的信息、关于简化因子的信息、关于应用简化变换的最小变换大小的信息、关于应用简化变换的最大变换大小的信息以及关于简化逆变换大小的信息中的至少一个。
更具体地，可以用启用标志表示关于是否应用简化变换的信息，可以用简化因子值表示关于简化因子的信息，用最小变换大小值表示关于应用简化逆变换的最小变换大小的信息，可以用最大变换大小值表示关于应用简化逆变换的最大变换大小的信息，并且可以用简化逆变换的大小值表示关于简化逆变换大小的信息。此时，可以通过第一语法元素发信号通知启用标志，可以通过第二语法元素发信号通知简化因子值，可以通过第三语法元素发信号通知最小变换大小值，可以通过第四语法元素发信号通知最大变换大小值，并且可以通过第五语法元素发信号通知简化逆变换大小值。
在示例中，第一语法元素可以被表示为语法元素Reduced_transform_enabled_flag。如果应用了简化变换，则语法元素Reduced_transform_enabled_flag可以指示1，而如果未应用简化变换，则语法元素Reduced_transform_enabled_flag可以指示0。如果未发信号通知语法元素Reduced_transform_enabled_flag，则语法元素Reduced_transform_enabled_flag的值可以被估计为0。
另外，第二语法元素可以被表示为语法元素Reduced_transform_factor。语法元素Reduced_transform_factor可以指示R/N的值，其中，N可以意指应用变换的块的一条边的长度的平方或与应用变换的块对应的变换系数的总数。R可以意指小于N的简化系数。然而，该示例不限于此，并且例如，Reduced_transform_factor也可以指示R而非R/N。就简化逆变换矩阵而言，R意指简化逆变换矩阵的列数，并且N意指简化逆变换矩阵的行数，并且此时，简化逆变换矩阵的列数需要小于行数。R可以是例如8、16、32等，但是不限于此。如果未发信号通知语法元素Reduced_transform_factor，则Reduced_transform_factor的值可以被估计为R/N(或R)。
另外，第三语法元素可以被表达为语法元素min_reduced_transform_size。如果未发信号通知语法元素min_reduced_transform_size，则min_reduced_transform_size的值可以被估计为0。
另外，第四语法元素可以被表达为语法元素max_reduced_transform_size。如果未发信号通知语法元素max_reduced_transform_size，则max_reduced_transform_size的值可以被估计为0。
另外，第五语法元素可以被表达为语法元素reduced_transform_size。语法元素reduced_transform_size中所包括并且发信号通知的简化逆变换的大小值可以指示应用简化逆变换的区域的大小或简化变换矩阵的大小，但是不限于此。如果未发信号通知语法元素reduced_transform_size，则reduced_transform_size的值可以被估计为0。
下表3示出了在SPS中包括并发信号通知关于目标块的量化变换系数的信息的示例。
[表3]
Figure BDA0003775955620000281
根据示例性实施方式的解码设备200可以通过对目标块的量化变换系数执行反量化来推导变换系数(S1210)。
根据示例性实施方式的解码设备200可以基于对变换系数的简化逆变换来推导目标块的残差样本(S1220)。在示例中，可以基于简化逆变换矩阵来执行简化逆变换，并且简化逆变换矩阵可以是列数小于行数的非正方形矩阵。
在示例性实施方式中，S1220可以包括对变换索引进行解码，基于变换索引确定是否满足应用简化逆变换的条件，选择变换核以及当满足应用简化逆变换的条件时，基于所选择的变换核和简化因子对变换系数应用简化逆变换。此时，可以基于简化因子来确定简化逆变换矩阵的大小。
如果根据S1220的简化逆变换是基于逆NSST的，则当对目标块的变换系数执行简化逆变换时，可以推导目标块的初级变换系数。解码设备200可以对目标块的初级变换系数执行初级逆变换，并且此时，可以基于简化逆变换来执行或者不基于简化逆变换来执行初级逆变换。
另选地，当根据S1220的简化逆变换是基于初级逆变换时，可以通过对目标块的变换系数执行简化逆变换来直接推导目标块的残差样本。
根据示例性实施方式的解码设备200可以基于目标块的残差样本和目标块的预测样本来生成重构图片(S1230)。
参照S1220，可以确认基于对目标块的变换系数的简化逆变换来推导目标块的残差样本。查看逆变换矩阵的大小，常规逆变换矩阵的大小为N×N，但简化逆变换矩阵的大小减小为N×R，使得与执行常规变换时相比，执行简化变换时存储器的使用可以以R/N的比率减小。另外，与使用常规逆变换矩阵时乘法运算的次数N×N相比，当使用简化逆变换矩阵时，乘法运算的次数可以以R/N的比率减小至(N×R)。另外，由于当应用简化逆变换时仅需要对R个变换系数进行解码，因此与应用常规逆变换时需要对N个变换系数进行解码的情况相比，目标块的变换系数的总数可以为从N减少至R，由此增强解码效率。总之，能够通过根据S1220的简化逆变换来增强解码设备200的(逆)变换效率和编码效率。
以上提到的设备的内部部件可以是执行存储在存储器中的连续处理的处理器，或者可以是由其它硬件构成的硬件部件。这些可以位于设备的内部/外部。
根据示例性实施方式，以上提到的模块可以被省略或者被执行相似/相同操作的其它模块替换。
以上提到的根据本公开的方法可以以软件的形式来实现，并且根据本公开的编码设备和/或解码设备可以被包括在诸如TV、计算机、智能电话、机顶盒、显示装置等这样的执行图像处理的设备中。
在以上提到的示例性实施方式中，虽然方法是基于作为一系列步骤或框所示的流程图来描述的，但是本公开不限于步骤的顺序，并且某个步骤可以按与上述不同的顺序发生，或者与上述其他步骤同时发生。另外，本领域的技术人员将理解，用流程图示出的步骤不是排他性的，并且在不影响本公开的范围的情况下，可以包括其它步骤或者可以删除流程图中的一个或更多个步骤。
当用软件实现本公开的实施方式时，可以用执行上述功能的模块(进程、功能等)来实现上述方法。这些模块可以被存储在存储器中并且由处理器驱动。存储器可以在处理器的内部或外部，并且可以使用各种熟知的手段将存储器联接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括ROM(只读存储器)、RAM(随机存取存储器)、闪速存储器、存储卡、存储介质和/或其它存储装置。

Claims (16)

1.一种用于图像解码的解码设备，该解码设备被配置为：
从比特流中推导目标块的量化变换系数；
通过对所述目标块的所述量化变换系数执行反量化来推导变换系数；
基于对所述变换系数的二次逆变换来推导所述目标块的残差样本；
基于所述目标块的所述残差样本和所述目标块的预测样本来生成重构图片；以及
对所述重构图片应用去块滤波器，
其中，所述二次逆变换是基于不可分离变换的并且是基于逆变换矩阵来执行的，其中，所述逆变换矩阵是非正方形矩阵，
其中，所述目标块的大小为K×K并且K为正整数，
其中，基于所述不可分离变换的所述二次逆变换的输入区域被包括在M×M大小的区域中，其中，M小于K并且M为正整数，并且
其中，所述逆变换矩阵的大小为N×R，其中，N等于基于所述不可分离变换的所述二次逆变换的输出区域中的元素的数目，R小于N，并且N和R中的每一个为正整数。
2.根据权利要求1所述的解码设备，其中，所述解码设备还被配置为：
对变换索引进行解码；
基于所述变换索引来确定是否满足应用所述二次逆变换的条件并选择变换核；以及
基于满足应用所述二次逆变换的条件，基于所选择的所述变换核对所述变换系数应用所述二次逆变换。
3.根据权利要求2所述的解码设备，
其中，基于所述变换索引、所述二次逆变换的所述输入区域的宽度和高度、用于所述目标块的帧内预测模式以及关于所述目标块的颜色分量的信息中的至少一个来选择所述变换核。
4.根据权利要求2所述的解码设备，
其中，应用所述二次逆变换的条件包括所述二次逆变换的所述输入区域的宽度和高度均大于第一系数的条件、所述二次逆变换的所述输入区域的宽度和高度的乘积大于第二系数并且所述二次逆变换的所述输入区域的宽度和高度中的较小一个大于第三系数的条件、所述二次逆变换的所述输入区域的宽度和高度均小于或等于第四系数的条件以及所述二次逆变换的所述输入区域的宽度和高度的乘积小于或等于第五系数并且所述二次逆变换的所述输入区域的宽度和高度中的较小一个小于或等于第六系数的条件中的至少一个。
5.根据权利要求1所述的解码设备，
其中，基于所述不可分离变换的所述二次逆变换的所述输入区域被包括在8×8大小的区域中，所述逆变换矩阵的列数等于16。
6.根据权利要求1所述的解码设备，
其中，基于所述不可分离变换的所述二次逆变换的所述输入区域被包括在8×8大小的区域中，所述逆变换矩阵的简化因子为16。
7.根据权利要求1所述的解码设备，
其中，所述比特流中所包括的序列参数集SPS包括关于是否启用所述二次逆变换的信息、关于简化因子的信息、关于应用所述二次逆变换的最小变换大小的信息、关于应用所述二次逆变换的最大变换大小的信息以及关于逆变换大小的信息中的至少一个。
8.根据权利要求7所述的解码设备，
其中，所述比特流中所包括的所述SPS包括表示关于是否启用所述二次逆变换的信息的启用标志、表示关于所述简化因子的信息的简化因子值、表示关于应用所述二次逆变换的所述最小变换大小的信息的最小变换大小值、表示关于应用所述二次逆变换的所述最大变换大小的信息的最大变换大小值以及所述二次逆变换的大小值中的至少一个，并且
其中，通过第一语法元素发信号通知所述启用标志，通过第二语法元素发信号通知所述简化因子值，通过第三语法元素发信号通知所述最小变换大小值，通过第四语法元素发信号通知所述最大变换大小值，并且通过第五语法元素发信号通知所述二次逆变换的所述大小值。
9.一种用于图像编码的编码设备，该编码设备被配置为：
推导目标块的残差样本；
通过基于所述残差样本执行二次变换来推导所述目标块的变换系数；
通过基于所述目标块的所述变换系数应用量化来推导量化变换系数；以及
对关于所述量化变换系数的信息进行编码以输出比特流，
其中，所述二次变换是基于不可分离变换的并且是基于变换矩阵来执行的，其中，所述变换矩阵是非正方形矩阵，
其中，所述目标块的大小为K×K并且K为正整数，
其中，基于所述不可分离变换的所述二次变换的输入区域被包括在M×M大小的区域中，其中，M小于K并且M为正整数，并且
其中，所述变换矩阵的大小为R×N，其中，N等于基于所述不可分离变换的所述二次变换的所述输入区域中的元素的数目，R小于N，并且N和R中的每一个为正整数。
10.根据权利要求9所述的编码设备，其中，该编码设备还被配置为：
确定是否满足应用所述二次变换的条件；
基于所述确定来生成变换索引并对所述变换索引进行编码；
选择变换核；以及
基于满足应用所述二次变换的条件，基于所选择的所述变换核对所述残差样本应用所述二次变换。
11.根据权利要求10所述的编码设备，其中，
基于所述变换索引、所述二次变换的所述输入区域的宽度和高度、用于所述目标块的帧内预测模式以及关于所述目标块的颜色分量的信息中的至少一个来选择所述变换核。
12.根据权利要求10所述的编码设备，其中，应用所述二次变换的条件包括所述二次变换的所述输入区域的宽度和高度均大于第一系数的条件、所述二次变换的所述输入区域的宽度和高度的乘积大于第二系数并且所述二次变换的所述输入区域的宽度和高度中的较小一个大于第三系数的条件、所述二次变换的所述输入区域的宽度和高度均小于或等于第四系数的条件以及所述二次变换的所述输入区域的宽度和高度的乘积小于或等于第五系数并且所述二次变换的所述输入区域的宽度和高度中的较小一个小于或等于第六系数的条件中的至少一个。
13.根据权利要求9所述的编码设备，其中，所述二次变换的所述输入区域被包括在8×8大小的区域中，所述变换矩阵的行数等于16。
14.根据权利要求9所述的编码设备，其中，所述二次变换的所述输入区域被包括在8×8大小的区域中，所述变换矩阵的简化因子为16。
15.根据权利要求9所述的编码设备，其中，所述比特流包括关于是否启用所述二次变换的信息、关于简化因子的信息、关于应用所述二次变换的最小变换大小的信息、关于应用所述二次变换的最大变换大小的信息以及关于变换大小的信息中的至少一个。
16.一种用于图像的数据的发送设备，所述发送设备被配置为：
获得所述图像的比特流，其中，所述比特流是基于以下生成的：推导目标块的残差样本，通过基于所述残差样本执行二次变换来推导所述目标块的变换系数，通过基于所述目标块的所述变换系数应用量化来推导量化变换系数，以及对关于所述量化变换系数的信息进行编码；并且
发送包含所述比特流的所述数据，
其中，所述二次变换是基于不可分离变换的并且是基于变换矩阵来执行的，其中，所述变换矩阵是非正方形矩阵，
其中，所述目标块的大小为K×K并且K为正整数，
其中，基于所述不可分离变换的所述二次变换的输入区域被包括在M×M大小的区域中，其中，M小于K并且M为正整数，并且
其中，所述变换矩阵的大小为R×N，其中，N等于基于所述不可分离变换的所述二次变换的所述输入区域中的元素的数目，R小于N，并且N和R中的每一个为正整数。
CN202210916508.0A 2017-12-15 2018-12-13 解码设备、编码设备及发送设备 Pending CN115278233A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762599020P 2017-12-15 2017-12-15
US62/599,020 2017-12-15
PCT/KR2018/015815 WO2019117639A1 (ko) 2017-12-15 2018-12-13 변환에 기반한 영상 코딩 방법 및 그 장치
CN201880086783.6A CN111684809B (zh) 2017-12-15 2018-12-13 基于变换的图像编码方法和用于该方法的装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880086783.6A Division CN111684809B (zh) 2017-12-15 2018-12-13 基于变换的图像编码方法和用于该方法的装置

Publications (1)

Publication Number Publication Date
CN115278233A true CN115278233A (zh) 2022-11-01

Family

ID=66820509

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201880086783.6A Active CN111684809B (zh) 2017-12-15 2018-12-13 基于变换的图像编码方法和用于该方法的装置
CN202210916508.0A Pending CN115278233A (zh) 2017-12-15 2018-12-13 解码设备、编码设备及发送设备
CN202210920509.2A Pending CN115278240A (zh) 2017-12-15 2018-12-13 图像编解码方法和发送方法及非暂态计算机可读存储介质
CN202210917423.4A Pending CN115278234A (zh) 2017-12-15 2018-12-13 图像编解码方法和发送方法及非暂态计算机可读存储介质
CN202210919980.XA Pending CN115297326A (zh) 2017-12-15 2018-12-13 图像编解码方法和发送方法及非暂态计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880086783.6A Active CN111684809B (zh) 2017-12-15 2018-12-13 基于变换的图像编码方法和用于该方法的装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202210920509.2A Pending CN115278240A (zh) 2017-12-15 2018-12-13 图像编解码方法和发送方法及非暂态计算机可读存储介质
CN202210917423.4A Pending CN115278234A (zh) 2017-12-15 2018-12-13 图像编解码方法和发送方法及非暂态计算机可读存储介质
CN202210919980.XA Pending CN115297326A (zh) 2017-12-15 2018-12-13 图像编解码方法和发送方法及非暂态计算机可读存储介质

Country Status (10)

Country Link
US (3) US11218731B2 (zh)
EP (1) EP3716630A4 (zh)
JP (4) JP7009632B2 (zh)
KR (3) KR102315455B1 (zh)
CN (5) CN111684809B (zh)
BR (1) BR112020012033A2 (zh)
CA (2) CA3210247A1 (zh)
MX (1) MX2020006314A (zh)
RU (2) RU2762873C2 (zh)
WO (1) WO2019117639A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3210247A1 (en) 2017-12-15 2019-06-20 Lg Electronics Inc. Image coding method on basis of transformation and device therefor
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2020179715A1 (ja) * 2019-03-01 2020-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR20220006055A (ko) * 2019-05-11 2022-01-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 다중 인트라 코딩 방법 사이의 상호 작용
CN113940074A (zh) * 2019-05-27 2022-01-14 Lg电子株式会社 基于广角帧内预测和变换的图像编码方法和装置
KR20210130234A (ko) * 2019-08-31 2021-10-29 엘지전자 주식회사 영상 코딩 시스템에서 단순화된 레지듀얼 데이터 코딩을 사용하는 영상 디코딩 방법 및 그 장치
EP4024861A4 (en) * 2019-08-31 2023-06-28 LG Electronics Inc. Method for decoding video for residual coding and device therefor
US11184617B2 (en) 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
WO2021096172A1 (ko) * 2019-11-11 2021-05-20 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2024076134A1 (ko) * 2022-10-05 2024-04-11 세종대학교산학협력단 동영상 인코딩 및 디코딩 장치와 방법

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448053A (en) * 1993-03-01 1995-09-05 Rhoads; Geoffrey B. Method and apparatus for wide field distortion-compensated imaging
US20060029157A1 (en) * 2004-08-09 2006-02-09 Texas Instruments Incorporated Wireless precoding methods
CN101742328A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US20120008682A1 (en) * 2010-07-09 2012-01-12 Qualcomm Incorporated Video coding using directional transforms
US20120177102A1 (en) * 2011-01-10 2012-07-12 Tandberg Telecom As Integer transform video compression system, method and computer program product
JP2012138883A (ja) * 2010-12-09 2012-07-19 Sony Corp 画像処理装置及び画像処理方法
US20120240001A1 (en) * 2011-03-16 2012-09-20 Samsung Electronics Co., Ltd. Ldpc code family for millimeter-wave band communications in a wireless network
US20120301040A1 (en) * 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
CN102986221A (zh) * 2011-07-19 2013-03-20 松下电器产业株式会社 图像编码装置及其集成电路、以及图像编码方法
US8423597B1 (en) * 2003-08-29 2013-04-16 Nvidia Corporation Method and system for adaptive matrix trimming in an inverse discrete cosine transform (IDCT) operation
CN103250415A (zh) * 2010-09-28 2013-08-14 三星电子株式会社 用于图像的变换的方法和装置以及用于图像的逆变换的方法和装置
CN103636205A (zh) * 2011-07-01 2014-03-12 三星电子株式会社 具有低延迟的用于残差编码的模式依赖变换
US20140198848A1 (en) * 2010-01-28 2014-07-17 Humax Co., Ltd. Image encoding/decoding method for rate-distortion optimization and device for performing same
US20140241424A1 (en) * 2011-11-07 2014-08-28 Genip Pte. Ltd. Apparatus of decoding video data
US20140301487A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Method and device for classifying samples of an image
US20140307782A1 (en) * 2011-11-07 2014-10-16 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN104378639A (zh) * 2011-10-19 2015-02-25 株式会社Kt 解码视频信号的方法
US20150125061A1 (en) * 2013-11-04 2015-05-07 Varian Medical Systems, Inc. Apparatus and Method for Reconstructing an Image Using High-Energy-Based Data
CN104885453A (zh) * 2012-11-29 2015-09-02 Lg电子株式会社 支持多个层的用于编码/解码图像的方法和设备
US20160269730A1 (en) * 2013-07-23 2016-09-15 Research & Business Foundation Sungkyunkwan University Method and apparatus for encoding/decoding image
US20170094313A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding
WO2017061671A1 (ko) * 2015-10-08 2017-04-13 엘지전자 주식회사 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
US20170230677A1 (en) * 2016-02-10 2017-08-10 Amazon Technologies, Inc. Video decoder memory optimization
US20170238013A1 (en) * 2016-02-15 2017-08-17 QUACLOMM Incorporated Multi-pass non-separable transforms for video coding
US20170280140A1 (en) * 2014-09-19 2017-09-28 Lg Electronics Inc. Method and apparatus for adaptively encoding, decoding a video signal based on separable transform

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605212B2 (ja) * 1997-11-05 2011-01-05 ソニー株式会社 ディジタル信号変換方法およびディジタル信号変換装置
JP2005184042A (ja) * 2003-12-15 2005-07-07 Sony Corp 画像復号装置及び画像復号方法並びに画像復号プログラム
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
WO2007083312A2 (en) * 2006-01-18 2007-07-26 Numeri Ltd. Method and apparatus for a multidimensional discrete multiwavelet transform
CA2680140A1 (en) * 2007-04-16 2008-11-06 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
CN101272492B (zh) * 2008-05-05 2011-07-13 中兴通讯股份有限公司 一种自适应的二维4×4块的逆变换方法
JP2011003946A (ja) * 2009-06-16 2011-01-06 Keio Gijuku 画像符号化復号化方法及び装置
TW201138475A (en) * 2009-08-06 2011-11-01 Panasonic Corp Encoding method, decoding method, encoding device and decoding device
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN102006478A (zh) * 2010-11-29 2011-04-06 青岛海信信芯科技有限公司 一种视频解码的反变换方法及装置
PT3373581T (pt) * 2010-12-21 2020-01-27 Ntt Docomo Inc Codificação com intra-predição melhorada utilizando representações planares
US20130272393A1 (en) 2011-01-05 2013-10-17 Koninklijke Philips N.V. Video coding and decoding devices and methods preserving ppg relevant information
US20140010284A1 (en) * 2011-02-25 2014-01-09 Samsung Electronics Co., Ltd. Image transform and inverse transform method, and image encoding and decoding device using same
US20120230395A1 (en) * 2011-03-11 2012-09-13 Louis Joseph Kerofsky Video decoder with reduced dynamic range transform with quantization matricies
US9747255B2 (en) * 2011-05-13 2017-08-29 Texas Instruments Incorporated Inverse transformation using pruning for video coding
KR101943049B1 (ko) * 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
MY168044A (en) * 2011-06-30 2018-10-11 Samsung Electronics Co Ltd Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
US9826238B2 (en) * 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit
JP2013038768A (ja) * 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
RU2715382C2 (ru) * 2011-10-18 2020-02-27 Кт Корпорейшен Способ декодирования видеосигнала
TW201325247A (zh) * 2011-11-07 2013-06-16 Samsung Electronics Co Ltd 在視訊解碼的反量化及逆轉換期間實現資料修剪的逆轉換方法及設備
WO2014071439A1 (en) * 2012-11-08 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
JP2016105528A (ja) * 2013-03-22 2016-06-09 パナソニック株式会社 画像符号化装置および画像符号化方法
TWI551124B (zh) * 2014-07-11 2016-09-21 晨星半導體股份有限公司 應用於視訊系統之編碼／解碼方法及編碼／解碼裝置
CN105516730B (zh) * 2014-09-24 2018-04-24 晨星半导体股份有限公司 视讯编码装置及视讯解码装置以及其编码与解码方法
KR20170116043A (ko) 2015-02-12 2017-10-18 엘지전자 주식회사 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US20170034530A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for decoding and encoding
JP6555814B2 (ja) * 2015-08-20 2019-08-07 日本放送協会 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム
KR102199463B1 (ko) * 2015-08-31 2021-01-06 삼성전자주식회사 스캔 순서를 고려한 영상의 변환 방법 및 그 장치, 및 역변환 방법 및 그 장치
WO2017093189A1 (en) * 2015-11-30 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Encoding of pictures in a video
US10349085B2 (en) * 2016-02-15 2019-07-09 Qualcomm Incorporated Efficient parameter storage for compact multi-pass transforms
CN105791867B (zh) * 2016-03-23 2019-02-22 北京大学 基于边界自适应变换的优化视频数据编码方法
US10893274B2 (en) * 2016-05-12 2021-01-12 Lg Electronics Inc. Method for processing video signal on basis of arbitrary partition transform
CN106254883B (zh) * 2016-08-02 2021-01-22 海信视像科技股份有限公司 一种视频解码中的反变换方法和装置
CA3210247A1 (en) 2017-12-15 2019-06-20 Lg Electronics Inc. Image coding method on basis of transformation and device therefor

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448053A (en) * 1993-03-01 1995-09-05 Rhoads; Geoffrey B. Method and apparatus for wide field distortion-compensated imaging
US8423597B1 (en) * 2003-08-29 2013-04-16 Nvidia Corporation Method and system for adaptive matrix trimming in an inverse discrete cosine transform (IDCT) operation
US20060029157A1 (en) * 2004-08-09 2006-02-09 Texas Instruments Incorporated Wireless precoding methods
CN101742328A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US20140198848A1 (en) * 2010-01-28 2014-07-17 Humax Co., Ltd. Image encoding/decoding method for rate-distortion optimization and device for performing same
US20120301040A1 (en) * 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
US20120008682A1 (en) * 2010-07-09 2012-01-12 Qualcomm Incorporated Video coding using directional transforms
CN103250415A (zh) * 2010-09-28 2013-08-14 三星电子株式会社 用于图像的变换的方法和装置以及用于图像的逆变换的方法和装置
JP2013542664A (ja) * 2010-09-28 2013-11-21 サムスン エレクトロニクス カンパニー リミテッド 映像変換方法及びその装置、並びに映像逆変換方法及びその装置
JP2012138883A (ja) * 2010-12-09 2012-07-19 Sony Corp 画像処理装置及び画像処理方法
US20120177102A1 (en) * 2011-01-10 2012-07-12 Tandberg Telecom As Integer transform video compression system, method and computer program product
US20120240001A1 (en) * 2011-03-16 2012-09-20 Samsung Electronics Co., Ltd. Ldpc code family for millimeter-wave band communications in a wireless network
CN103636205A (zh) * 2011-07-01 2014-03-12 三星电子株式会社 具有低延迟的用于残差编码的模式依赖变换
CN102986221A (zh) * 2011-07-19 2013-03-20 松下电器产业株式会社 图像编码装置及其集成电路、以及图像编码方法
CN104378639A (zh) * 2011-10-19 2015-02-25 株式会社Kt 解码视频信号的方法
US20140241424A1 (en) * 2011-11-07 2014-08-28 Genip Pte. Ltd. Apparatus of decoding video data
US20140307782A1 (en) * 2011-11-07 2014-10-16 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN104885453A (zh) * 2012-11-29 2015-09-02 Lg电子株式会社 支持多个层的用于编码/解码图像的方法和设备
US20140301487A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Method and device for classifying samples of an image
US20160269730A1 (en) * 2013-07-23 2016-09-15 Research & Business Foundation Sungkyunkwan University Method and apparatus for encoding/decoding image
US20150125061A1 (en) * 2013-11-04 2015-05-07 Varian Medical Systems, Inc. Apparatus and Method for Reconstructing an Image Using High-Energy-Based Data
US20170280140A1 (en) * 2014-09-19 2017-09-28 Lg Electronics Inc. Method and apparatus for adaptively encoding, decoding a video signal based on separable transform
US20170094313A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding
WO2017061671A1 (ko) * 2015-10-08 2017-04-13 엘지전자 주식회사 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
US20170230677A1 (en) * 2016-02-10 2017-08-10 Amazon Technologies, Inc. Video decoder memory optimization
US20170238013A1 (en) * 2016-02-15 2017-08-17 QUACLOMM Incorporated Multi-pass non-separable transforms for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN等: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，JVET-G1001-v1", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 117TH MEETING: TORINO, IT, 13–21 JULY 2017》, 19 August 2017 (2017-08-19) *

Also Published As

Publication number Publication date
WO2019117639A1 (ko) 2019-06-20
CA3088026A1 (en) 2019-06-20
US20220046282A1 (en) 2022-02-10
KR102315455B1 (ko) 2021-10-20
MX2020006314A (es) 2020-09-18
JP2023065606A (ja) 2023-05-12
CN115297326A (zh) 2022-11-04
US11218731B2 (en) 2022-01-04
JP7009632B2 (ja) 2022-01-25
CN115278240A (zh) 2022-11-01
US20200366935A1 (en) 2020-11-19
CA3210247A1 (en) 2019-06-20
RU2762873C2 (ru) 2021-12-23
CN111684809B (zh) 2022-08-19
JP2022036083A (ja) 2022-03-04
CN115278234A (zh) 2022-11-01
EP3716630A1 (en) 2020-09-30
KR102485470B1 (ko) 2023-01-05
KR20210128036A (ko) 2021-10-25
US11895334B2 (en) 2024-02-06
KR20230008911A (ko) 2023-01-16
BR112020012033A2 (pt) 2020-11-24
US11601679B2 (en) 2023-03-07
CA3088026C (en) 2023-10-03
KR20200078659A (ko) 2020-07-01
EP3716630A4 (en) 2021-01-27
US20230156223A1 (en) 2023-05-18
RU2745254C1 (ru) 2021-03-22
RU2021106917A (ru) 2021-04-12
JP7240476B2 (ja) 2023-03-15
CN111684809A (zh) 2020-09-18
JP2021507596A (ja) 2021-02-22
JP7422913B2 (ja) 2024-01-26
JP2024026776A (ja) 2024-02-28
RU2021106917A3 (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN111684809B (zh) 基于变换的图像编码方法和用于该方法的装置
US9866832B2 (en) Method and apparatus for encoding/decoding image using transform skip flag
US11570452B2 (en) Image coding method on basis of secondary transform and device therefor
CN110809886A (zh) 在图像编译系统中根据帧内预测用于解码图像的方法和设备
CN112655216A (zh) 基于变换的图像编码方法及装置
CN111615830B (zh) 基于选择性变换的图像编码方法和用于该方法的装置
EP4294012A1 (en) Video coding method on basis of secondary transform, and device for same
CN113228685A (zh) 用于基于二次变换编码图像的方法及其装置
US20240146965A1 (en) Image coding method on basis of transformation and device therefor
RU2787474C1 (ru) Способ кодирования изображений на основе преобразования и устройство для этого
CN117678224A (zh) 基于不可分离主变换的图像编码/解码方法和设备及存储比特流的存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination