CN115604468A - 编码器、解码器、计算机可读存储介质及发送数据的设备 - Google Patents

编码器、解码器、计算机可读存储介质及发送数据的设备 Download PDF

Info

Publication number
CN115604468A
CN115604468A CN202211233500.0A CN202211233500A CN115604468A CN 115604468 A CN115604468 A CN 115604468A CN 202211233500 A CN202211233500 A CN 202211233500A CN 115604468 A CN115604468 A CN 115604468A
Authority
CN
China
Prior art keywords
transform
block
quadratic
index
inverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211233500.0A
Other languages
English (en)
Inventor
具文模
M·萨勒海法尔
金昇焕
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115604468A publication Critical patent/CN115604468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

编码器、解码器、计算机可读存储介质及发送数据的设备。本公开提供一种基于缩减二次变换重构视频信号的方法，该方法包括：从视频信号获得二次变换索引；推导与二次变换索引对应的二次变换，其中，该二次变换表示缩减二次变换，并且该缩减二次变换表示基于输入的N个残差数据(N×1残差向量)输出L(L<N)个变换系数数据(L×1变换系数向量)的变换；通过对当前块(N×N)执行熵解码和去量化来获得变换系数块；使用缩减二次变换对变换系数块执行逆二次变换；对应用了逆二次变换的块执行逆一次变换；以及使用应用了逆一次变换的块来重构当前块。

Description

编码器、解码器、计算机可读存储介质及发送数据的设备
本申请是原案申请号为201980034874.X的发明专利申请(国际申请号：PCT/KR2019/003812，申请日：2019年4月1日，发明名称：使用缩减二次变换来处理视频信号的方法和装置)的分案申请。
技术领域
本公开涉及一种用于处理视频信号的方法和装置，更具体地，涉及一种可应用于4×4块的缩减二次变换(RST)的设计、在4×4RST之后生成的变换系数的布局和扫描次序以及用于指定要应用的4×4RST的变换索引编码方法。
背景技术
下一代视频内容将具有高空间分辨率、高帧频和场景表示的高纬度的特性。为了处理这种内容，诸如存储器存储、存储器访问速率和处理能力的技术将显著增加。
因此，有必要设计一种用于更高效地处理下一代视频内容的新编码工具。具体地，有必要设计一种当应用变换时在编码效率和复杂度方面更高效的变换。
发明内容
[技术问题]
本公开的实施方式提供了一种用于反映新的变换设计的编码器/解码器结构。
此外，本公开的实施方式提供一种可应用于4×4块的缩减二次变换(RST)的设计、在4×4RST之后生成的变换系数的布局和扫描次序以及用于指定要应用的4×4RST的变换索引编码方法和结构。
[技术方案]
本公开提供一种通过新的变换设计来降低复杂度并增强编码效率的方法。
本公开提供一种设计可应用于4×4块的RST的方法。
本公开提供一种要应用4×4RST的区域配置、设置在应用4×4RST之后生成的变换系数的方法、所设置的变换系数的扫描次序、对针对各个块生成的变换系数进行排序和组合的方法等。
本公开提供一种对指定4×4RST的变换索引进行编码的方法。
本公开提供一种通过检查在应用4×4RST时非零变换系数是否存在于不可接受的区域中来对对应变换索引进行有条件地编码的方法。
本公开提供一种在对最后非零变换系数位置进行编码之后对对应变换索引进行有条件地编码，然后针对不被接受的位置省略相关残差编码的方法。
本公开提供一种在应用4×4RST时对亮度块和色度块应用不同的变换索引编码和残差编码的方法。
[有益效果]
根据本公开，当对静止图像或运动画面进行编码时，通过应用4×4RST，与应用另一不可分二次变换(NSST)的情况相比计算量可显著减少。
此外，通过考虑在应用4×4RST时特定区域中不存在有效变换系数，可通过对指定4×4RST的变换索引进行有条件地编码并应用相关残差编码的优化来增强性能。
如上所述，通过新的低复杂度计算算法，计算复杂度可降低并且编码效率可增强。
附图说明
图1是示出根据本公开的实施方式的用于对视频信号进行编码的编码器的配置的框图。
图2是示出根据本公开的实施方式的用于对视频信号进行解码的解码器的配置的框图。
图3A至图3D示出可应用本公开的实施方式，图3A是用于描述基于四叉树(以下称为“QT”)的块分裂结构的图，图3B是用于描述基于二叉树(以下称为“BT”)的块分裂结构的图，图3C是用于描述基于三叉树(以下称为“TT”)的块分裂结构的图，图3D是用于描述基于不对称树(以下称为“AT”)的块分裂结构的图。
图4是应用了本公开的实施方式，并且示出编码器内的变换和量化单元120/130以及去量化和变换单元140/150的示意性框图。
图5是应用了本公开的实施方式，并且示出解码器内的去量化和变换单元220/230的示意性框图。
图6是示出作为应用了本公开的实施方式的应用多变换选择(MTS)的变换配置组的表。
图7是示出作为应用了本公开的实施方式的执行多变换选择(MTS)的编码过程的流程图。
图8是示出作为应用了本公开的实施方式的执行多变换选择(MTS)的解码过程的流程图。
图9是用于描述作为应用了本公开的实施方式的对MTS标志和MTS索引进行编码的过程的流程图。
图10是用于描述作为应用了本公开的实施方式的基于MTS标志和MTS索引对行或列应用水平变换或垂直变换的解码过程的流程图。
图11是作为应用了本公开的实施方式的基于变换相关参数执行逆变换的流程图。
图12是示出作为应用了本公开的实施方式的为NSST中的各个帧内预测模式分配变换集(transform set)的表。
图13是作为应用了本公开的实施方式的Givens旋转的计算流程图。
图14示出作为应用了本公开的实施方式的由Givens旋转层和排列(permutation)构成的4×4NSST中的一轮配置。
图15是用于描述作为应用了本公开的实施方式的正向缩减变换(forwardreduced transform)和逆缩减变换的操作的框图。
图16是示出作为应用了本公开的实施方式的根据逆扫描次序从第64至第17执行逆扫描的过程的图。
图17示出作为应用了本公开的实施方式的变换系数块(变换块)的三个正向扫描次序。
图18示出作为应用了本公开的实施方式的当应用对角线扫描(diagonal scan)并且在左上4×8块中应用4×4RST时各个4×4块的有效变换系数的位置和正向扫描次序。
图19示出作为应用了本公开的实施方式的当应用对角线扫描并且在左上4×8块中应用4×4RST时两个4×4块的有效变换系数被组合成一个4×4块的情况。
图20是作为应用了本公开的实施方式的基于缩减二次变换对视频信号进行编码的流程图。
图21是作为应用了本公开的实施方式的基于缩减二次变换对视频信号进行解码的流程图。
图22是作为应用了本公开的实施方式的内容流系统的架构图。
具体实施方式
本公开提供了一种基于缩减二次变换重构视频信号的方法，该方法包括以下步骤：从视频信号获得二次变换索引；推导与二次变换索引对应的二次变换，其中，该二次变换表示缩减二次变换，并且该缩减二次变换表示基于输入的N个残差数据(N×1残差向量)输出L(L<N)个变换系数数据(L×1变换系数向量)的变换；通过对当前块(N×N)执行熵解码和去量化来获得变换系数块；使用缩减二次变换对变换系数块执行逆二次变换；对应用了逆二次变换的块执行逆一次变换；以及使用应用了逆一次变换的块来重构当前块。
本公开的特征在于，对当前块的特定区域应用缩减二次变换，并且该特定区域是当前块中的左上M×M(M≤N)。
本公开的特征在于，当执行逆二次变换时，对当前块中各个划分的4×4块应用4×4缩减二次变换。
本公开的特征在于，基于变换系数块中的最后非零变换系数的位置来确定是否获得二次变换索引。
本公开的特征在于，当最后非零变换系数不位于特定区域中时，获得二次变换索引，并且如果应用缩减二次变换，则该特定区域表示当根据扫描次序设置变换系数时除了可能存在非零变换系数的位置以外的剩余区域。
该方法还包括：从视频信号获得当前块的一次变换索引，其中，该一次变换索引与由DST7和/或DCT8的组合配置的多个变换组合中的任一个相对应；以及推导与一次变换索引对应的变换组合，其中，该变换组合包括水平变换和垂直变换，并且水平变换和垂直变换与DST7或DCT8中的任一个相对应，并且使用变换组合来执行逆一次变换。
本公开提供一种基于缩减二次变换来重构视频信号的设备，该设备包括：解析单元，其从视频信号获得二次变换索引；变换单元，其推导与二次变换索引对应的二次变换，其中，该二次变换表示缩减二次变换，并且该缩减二次变换表示基于输入的N个残差数据(N×1残差向量)输出L(L<N)个变换系数数据(L×1变换系数向量)的变换；熵解码单元，其对当前块(N×N)执行熵解码；去量化单元，其对执行了熵解码的当前块执行去量化以获得变换系数块；变换单元使用缩减二次变换对变换系数块执行逆二次变换，并且对应用了逆二次变换的块执行逆一次变换；以及重构单元，其使用应用了逆一次变换的块来重构当前块。
[本发明的模式]
以下，将参照附图详细描述本公开的实施方式的配置和操作，参照附图描述的本公开的配置和操作作为实施方式而描述，本公开的范围、核心配置和操作不限于此。
此外，本公开中所使用的术语选自当前广泛使用的一般术语，但在特定情况下，使用申请人随机选择的术语。在这种情况下，在对应部分的详细描述中，由于清楚地描述了其含义，所以术语不应仅以本公开的描述中使用的术语的名称简单地解释，应该理解和解释对应术语的含义。
此外，当存在为了描述本发明而选择的一般术语或者具有类似含义的另一术语时，可替换本公开中使用的术语以更适当地解释。例如，在各个编码过程中，可适当地替换和解释信号、数据、样本、画面、帧和块。此外，在各个编码过程中，可适当地替换和解释分割、分解、分裂和划分。
在本公开中，多变换选择(MTS)可指使用至少两个变换类型执行变换的方法。这也可表示为自适应多变换(AMT)或显式多变换(EMT)，并且同样，mts_idx也可表示为AMT_idx、EMT_idx、tu_mts_idx、AMT_TU_idx、EMT_TU_idx、变换索引或变换组合索引，本公开不限于这些表达。
图1示出根据本公开的一个实施方式的用于对视频信号进行编码的编码器的示意性框图。
参照图1，编码器100可包括图像分割单元110、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码画面缓冲器(DPB)170、帧间预测单元180、帧内预测单元185和熵编码单元190。
图像分割单元110可将输入到编码器100的输入图像(或画面或帧)分割为一个或更多个处理单元。例如，处理单元可以是编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
然而，所使用的术语仅是为了方便例示本公开，本公开不限于这些术语的定义。在本公开中，为了例示方便，采用术语“编码单元”作为对视频信号进行编码或解码的过程中使用的单元，然而，本公开不限于此，可基于本公开的内容适当地选择另一处理单元。
编码器100可通过从输入的图像信号减去从帧间预测单元180或帧内预测单元185输出的预测信号来生成残差信号。所生成的残差信号可被发送到变换单元120。
变换单元120可通过对残差信号应用变换方案来生成变换系数。变换过程可应用按四叉树结构或二叉树结构、三叉结构或非对称结构的正方形块分裂的块(正方形或矩形)。
变换单元120可基于多个变换(或变换组合)执行变换，并且该变换方案可被称为多变换选择(MTS)。MTS也可被称为自适应多变换(AMT)或增强多变换(EMT)。
MTS(或AMT或EMT)可指基于从多个变换(或变换组合)自适应地选择的变换(或变换组合)执行的变换方案。
多个变换(或变换组合)可包括本公开的图6中描述的变换(或变换组合)。在本公开中，变换或变换类型可被表示为例如DCT类型2、DCT-II、DCT2或DCT-2。
变换单元120可执行以下实施方式。
本公开提供一种设计可应用于4×4块的RST的方法。
本公开提供一种要应用4×4RST的区域配置、设置在应用4×4RST之后生成的变换系数的方法、所设置的变换系数的扫描次序、对针对各个块生成的变换系数进行排序和组合的方法等。
本公开提供一种对指定4×4RST的变换索引进行编码的方法。
本公开提供一种通过检查在应用4×4RST时非零变换系数是否存在于不可接受的区域中来对对应变换索引进行有条件地编码的方法。
本公开提供一种在对最后非零变换系数位置进行编码之后对对应变换索引进行有条件地编码，然后针对不被接受的位置省略相关残差编码的方法。
本公开提供一种在应用4×4RST时对亮度块和色度块应用不同的变换索引编码和残差编码的方法。
其详细实施方式将在本公开中更详细地描述。
量化单元130可将变换系数量化并将量化的变换系数发送到熵编码单元190，并且熵编码单元190可对量化的信号进行熵编码并输出熵编码的量化的信号作为比特流。
尽管变换单元120和量化单元130被描述为单独的功能单元，但本公开不限于此，可被组合成一个功能单元。去量化单元140和逆变换单元150也可类似地组合成一个功能单元。
从量化单元130输出的量化的信号可用于生成预测信号。例如，在环路(loop)中通过去量化单元140和逆变换单元150对量化的信号应用逆量化和逆变换以重构残差信号。重构的残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构的信号。
此外，由于在这种压缩过程期间发生的量化错误，可能发生显示块边界的劣化。这种现象被称为块效应，并且这是用于评估图像质量的关键要素之一。可执行滤波过程以便降低劣化。通过滤波过程去除块劣化并减少当前画面的错误以增强图像质量。
滤波单元160对重构的信号应用滤波并将所应用的重构的信号输出到再现装置或将输出的重构的信号发送到解码画面缓冲器170。帧间预测单元180可使用发送到解码画面缓冲器170的滤波的信号作为参考画面。因此，滤波的画面在帧间预测模式下用作参考画面以增强图像质量和编码效率。
解码画面缓冲器170可存储滤波的画面以便在帧间预测单元180中使用滤波的画面作为参考画面。
帧间预测单元180执行时间预测和/或空间预测以便参考重构的画面去除时间冗余和/或空间冗余。这里，由于用于预测的参考画面是在上一次编码/解码时以块为单位量化和去量化的变换的信号，所以可能存在块效应(blocking artifact)或振铃效应(ringing artifact)。
因此，帧间预测单元180可通过应用低通滤波器以子像素为单位在像素之间对信号进行插值，以便解决由于这种信号的不连续或量化而导致的性能下降。这里，子像素意指通过应用插值滤波器而生成的虚拟像素，整像素意指存在于重构的画面中的实际像素。作为插值方法，可采用线性插值、双线性插值、维纳滤波器等。
将插值滤波器应用于重构的画面以增强预测的精度。例如，帧间预测单元180将插值滤波器应用于整像素以生成插值的像素，并且可使用由插值的像素构成的插值的块作为预测块来执行预测。
此外，帧内预测单元185可参考要进行当前编码的块附近的样本来预测当前块。帧内预测单元185可执行以下过程，以便执行帧内预测。首先，可准备生成预测信号所需的参考样本。另外，可使用所准备的参考样本来生成预测信号。此后，对预测模式进行编码。在这种情况下，可通过参考样本填充和/或参考样本滤波来准备参考样本。由于参考样本经受预测和重构过程，所以可能存在量化错误。因此，可针对用于帧内预测的各个预测模式执行参考样本滤波过程，以便减少这种错误。
通过帧间预测单元180或帧内预测单元185生成的预测信号可用于生成重构的信号或用于生成残差信号。
图2是作为应用了本公开的实施方式的执行视频信号的解码的解码器的示意性框图。
参照图2，解码器200可被配置为包括解析单元(未示出)、熵解码单元210、去量化单元220、逆变换单元230、滤波单元240、解码画面缓冲器(DPB)单元250、帧间预测单元260和帧内预测单元265。
另外，通过解码器200输出的重构的视频信号可通过再现装置再现。
解码器200可接收从图1的编码器100输出的信号，并且所接收的信号可通过熵解码单元210熵解码。
去量化单元220使用量化步长信息从熵解码的信号获得变换系数。
逆变换单元230对变换系数进行逆变换以获得残差信号。
这里，本公开提供一种针对按预测模式、块大小或块形状中的至少一个划分的各个变换配置组配置变换组合的方法，并且逆变换单元230可基于本公开所配置的变换组合来执行逆变换。此外，可应用本公开中描述的实施方式。
逆变换单元230可执行以下实施方式。
本公开提供一种基于缩减二次变换来重构视频信号的方法。
逆变换单元230可推导与二次变换索引对应的二次变换，使用二次变换对变换系数块执行逆二次变换，并对执行了逆二次变换的块执行逆一次变换。这里，二次变换是指缩减二次变换，并且缩减二次变换表示输入N个残差数据(N×1残差向量)以输出L(L<N)个变换系数数据(L×1变换系数向量)的变换。
本公开的特征在于，对当前块的特定区域应用缩减二次变换，并且该特定区域是当前块中的左上M×M(M≤N)。
本公开的特征在于，当执行逆二次变换时对当前块中划分的各个4×4块应用4×4缩减二次变换。
本公开的特征在于，基于变换系数块中的最后非零变换系数的位置来确定是否获得二次变换索引。
本公开的特征在于，当最后非零变换系数不在特定区域中时，获得二次变换索引，并且该特定区域指示在应用缩减二次变换的情况下根据扫描次序设置变换系数时可存在非零变换系数的位置以外的剩余区域。
逆变换单元230可推导与一次变换索引对应的变换组合并使用该变换组合来执行逆一次变换。这里，一次变换索引对应于由DST7和/或DCT8的组合构成的多个变换组合中的任一个，并且变换组合包括水平变换和垂直变换。在这种情况下，水平变换和垂直变换对应于DST7或DCT8。
去量化单元220和逆变换单元230被描述为单独的功能单元，但本公开不限于此。去量化单元220和逆变换单元230可被组合成单个功能单元。
通过将所获得的残差信号与帧间预测单元260或帧内预测单元265所输出的预测信号相加来生成重构的信号。
滤波单元240可通过对重构的信号应用滤波来将重构的信号输出或发送到回放装置或解码画面缓冲器单元250。发送到解码画面缓冲器单元250的滤波的信号可在帧间预测单元260中用作参考画面。
在本公开中，变换单元120和编码器100的各个功能单元中描述的实施方式可相同地应用于逆变换单元230和解码器的对应功能单元。
图3示出可应用本公开的实施方式，图3A是用于描述基于四叉树(以下称为“QT”)的块分裂结构的图，图3B是用于描述基于二叉树(以下称为“BT”)的块分裂结构的图，图3C是用于描述基于三叉树(以下称为“TT”)的块分裂结构的图，图3D是用于描述基于不对称树(以下称为“AT”)的块分裂结构的图。
在视频编码中，一个块可基于四叉树(QT)来分裂。此外，按QT分裂的一个子块可使用QT进一步递归地分裂。不再QT分裂的页块可使用二叉树(BT)、三叉树(TT)或不对称树(AT)中的至少一个方法来分裂。BT可具有水平BT(2NxN、2NxN)和垂直BT(N×2N、N×2N)的两种类型的分裂。TT可具有水平TT(2N×1/2N、2N×N、2N×1/2N)和垂直TT(1/2N×2N、N×2N、1/2N×2N)的两种类型的分裂。AT可具有水平上AT(2N×1/2N、2N×3/2N)、水平下AT(2N×3/2N、2N×1/2N)、垂直左AT(1/2N×2N、3/2N×2N)和垂直右AT(3/2N×2N、1/2N×2N)的四种类型的分裂。各个BT、TT或AT可进一步使用BT、TT或AT递归地分裂。
图3A示出QT分裂的示例。块A可按QT分裂为四个子块A0、A1、A2和A3。子块A1可按QT分裂为四个子块B0、B1、B2和B3。
图3B示出BT分裂的示例。不再按QT分裂的块B3可分裂为垂直BT C0和C1或水平BTD0和D1。如块C0中一样，各个子块可类似水平BT E0和E1或垂直BT F0和F1的形式进一步递归地分裂。
图3C示出TT分裂的示例。不再按QT分裂的块B3可分裂为垂直TT C0、C1和C2或水平TT D0、D1和D2。如块C1中一样，各个子块可类似水平TT E0、E1和E2或垂直TT F0、F1和F2的形式进一步递归地分裂。
图3D示出AT分裂的示例。不再按QT分裂的块B3可分裂为垂直AT C0和C1或水平ATD0和D1。如块C1中一样，各个子块可类似水平AT E0和E1或垂直TT F0和F1的形式进一步递归地分裂。
此外，BT、TT和AT分裂可一起分裂。例如，按BT分裂的子块可按TT或AT分裂。此外，按TT分裂的子块可按BT或AT分裂。按AT分裂的子块可按BT或TT分裂。例如，在水平BT分裂之后，各个子块可分裂为垂直BT，或者在垂直BT分裂之后，各个子块可分裂为水平BT。两种类型的分裂方法在分裂顺序方面不同，但具有相同的最终分裂形状。
此外，如果块被分裂，则搜索块的顺序可按各种方式定义。通常，从左至右或从上至下执行搜索。搜索块可意指确定是否分裂各个分裂子块的附加块的顺序，或者如果块不再分裂，则可意指各个子块的编码顺序，或者当子块中参考另一邻近块的信息时，可意指搜索顺序。
图4和图5是应用了本公开的实施方式。图4示出编码器内的变换和量化单元120/130和去量化和变换单元140/150的示意性框图，图5示出解码器内的去量化和变换单元220/230的示意性框图。
参照图4，变换和量化单元120/130可包括一次变换单元121、二次变换单元122和量化单元130。去量化和变换单元140/150可包括去量化单元140、逆二次变换单元151和逆一次变换单元152。
参照图5，去量化和变换单元220/230可包括去量化单元220、逆二次变换单元231和逆一次变换单元232。
在本公开中，当执行变换时，可通过多个步骤执行变换。例如，如图4中一样，可应用一次变换和二次变换的两个步骤，或者可根据算法使用更多变换步骤。在这种情况下，一次变换可被称为核心变换。
一次变换单元121可对残差信号应用一次变换。在这种情况下，可在编码器和/或解码器中以表的形式预定义一次变换。
离散余弦变换类型2(以下，“DCT2”)可应用于一次变换。另选地，离散正弦变换类型7(以下称为“DST7”)可应用于特定情况。例如，在帧内预测模式下，DST7可应用于4×4块。
此外，一次变换可采用多变换选择(MTS)的各种变换DST 7、DCT 8、DST 1和DCT 5的组合。例如，可采用图6。
二次变换单元122可对一次变换的信号应用二次变换，这里，可在编码器和/或解码器中在表中预定义二次变换。
作为实施方式，二次变换可有条件地采用不可分二次变换(以下，称为“NSST”)。例如，NSST可仅应用于帧内预测块，并且可具有适用于各个预测模式组的变换集。
这里，可基于关于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34(对角线方向)对称，所以可通过形成一个组来应用相同的变换集。在这种情况下，当应用预测模式52的变换时，输入数据被转置然后应用，因为预测模式52具有与预测模式16相同的变换集。
此外，由于在平面模式和DC模式的情况下不存在方向的对称性，所以各个模式具有不同的变换集，并且对应变换集可由两个变换构成。关于剩余方向模式，各个变换集可由三个变换构成。
作为另一实施方式，二次变换可采用多变换选择(MTS)的各种变换DST 7、DCT 8、DST 1和DCT 5的组合。例如，可采用图6。
作为另一实施方式，DST 7可应用于二次变换。
作为另一实施方式，NSST可不应用于整个一次变换的块，而是可仅应用于左上8×8区域。例如，当块大小为8×8或更大时，应用8×8NSST，并且当块大小小于8×8时，应用4×4NSST，并且在这种情况下，块被划分为4×4块，然后，对各个划分的块应用4×4NSST。
作为另一实施方式，即使在4×N/N×4(N>＝16)的情况下，可应用4×4NSST。
将参照图12至图15和本公开中的其它实施方式更详细地描述NSST、4×4NSST和8×8NSST。
量化单元130可对二次变换的信号执行量化。
去量化和逆变换单元140和150反向执行上述过程，将省略其冗余描述。
图5是解码器中的去量化单元220和逆变换单元230的示意性框图。
参照上面的图5，去量化和逆变换单元220和230可包括去量化单元220、逆二次变换单元231和逆一次变换单元232。
去量化单元220使用量化步长信息从熵解码的信号获得变换系数。
逆二次变换单元231对变换系数执行逆二次变换。这里，逆二次变换表示上面的图4中描述的二次变换的逆变换。
作为另一实施方式，二次变换可采用多变换选择(MTS)的各种变换DST 7、DCT 8、DST 1和DCT 5的组合。例如，可采用图6。
逆一次变换单元232对逆二次变换的信号(或块)执行逆一次变换，并获得残差信号。这里，逆一次变换表示图4中描述的一次变换的逆变换。
作为实施方式，一次变换可采用多变换选择(MTS)的各种变换DST 7、DCT 8、DST 1和DCT 5的组合。例如，可采用图6。
作为本公开的实施方式，DST 7可应用于一次变换.
作为本公开的实施方式，DCT 8可应用于一次变换。
本公开提供一种针对按预测模式、块大小或块形状中的至少一个划分的各个变换配置组配置变换组合的方法，并且逆一次变换单元232可基于本公开所配置的变换组合来执行逆变换。此外，可应用本公开中描述的实施方式。
图6是示出作为应用了本公开的实施方式的应用多变换选择(MTS)的变换配置组的表。
应用多变换选择(MTS)的变换配置组
在本公开中，变换配置组Gi的第j变换组合候选由下式1所示的对表示。
[式1]
(H(Gi,j),V(Gi,j))
这里，H(Gi,j)指示第j候选的水平变换，V(Gi,j)指示e第j候选的垂直变换。例如，在图6中，可表示H(G3,2)＝DST7，V(G3,2)＝DCT8。根据上下文，如上面的示例中一样，指派给H(Gi,j)或V(Gi,j)的值可以是标称值以区分变换，或者可以是指示变换的索引值或者可以是变换的2维(D)矩阵。
此外，在本公开中，DCT和DST的2D矩阵值可如下面的式2和3所示表示。
[式2]
DCT类型2：
Figure BDA0003882588000000131
DCT类型8：
Figure BDA0003882588000000132
[式3]
DST类型7：
Figure BDA0003882588000000133
DST类型4：
Figure BDA0003882588000000134
这里，变换是DST还是DCT由S或C表示，类型编号以罗马数字的形式叠加表示，下标N指示变换是N×N变换。此外，诸如
Figure BDA0003882588000000135
和
Figure BDA0003882588000000136
的2D矩阵假设列向量形成变换基础。
参照上面的图6，可基于预测模式来确定变换配置组，并且组的数量可以是总共六个组G0至G5。另外，G0至G4对应于应用帧内预测的情况，G5表示应用于通过帧间预测生成的残差块的变换组合(或变换集和变换组合集)。
一个变换组合可由应用于对应2D块的行的水平变换(或行变换)和应用于列的垂直变换(或列变换)构成。
这里，所有变换配置组中的每一个可具有四个变换组合候选。可通过0至3的变换组合索引来选择和确定四个变换组合，并且变换组合索引可被编码并从编码器发送到解码器。
作为实施方式，通过帧内预测获得的残差数据(或残差信号)可根据帧内预测模式而具有不同的统计特性。因此，如图6所示，一般余弦变换以外的变换可应用于各个帧内预测模式。
参照上面的图6，示出使用35个帧内预测模式的情况和使用67个帧内预测模式的情况。多个变换组合可应用于各个帧内预测模式列中划分的各个变换配置组。例如，多个变换组合可由四个(行方向变换和列方向变换)组合构成。作为特定示例，可在组0中在行(水平)方向和列(垂直)方向上应用DST-7和DST-5，结果，总共四个组合可用。
由于可对各个帧内预测模式应用总共变换核组合，所以可每一变换单元发送用于选择变换核组合之一的变换组合索引。在本公开中，变换组合索引可被称为MTS索引并被表示为mtx_idx。
此外，除了上面的图6中呈现的变换核之外，可能发生由于残差信号的特性，DCT2对于行方向和列方向二者最优的情况。因此，为各个编码单元定义MTS标志以自适应地执行变换。这里，当MTS标志为0时，DCT2可应用于行方向和列方向二者，并且当MTS标志为1时，可通过MTS索引选择或确定四个组合之一。
作为实施方式，当MTS标志为1时，如果一个变换单元的非零变换系数的数量不大于阈值，则DST-7可应用于行方向和列方向二者，而不应用上面图6的变换核。例如，阈值可被设定为2，其可基于块大小或变换单元的大小不同地设定。这也适用于本说明书中的其它实施方式。
作为实施方式，如果通过首先解析变换系数值，非零变换系数的数量不大于阈值，则可通过应用DST-7而不解析MTS索引来减少附加信息传输量。
作为实施方式，当MTS标志为1时，如果对于一个变换单元，非零变换系数的数量大于阈值，则可解析MTS索引并且可基于MTS索引确定水平变换和垂直变换。
作为实施方式，仅当变换单元的宽度和高度二者等于或小于32时，才可应用MTS。
作为实施方式，上面的图6可通过离线训练来预先配置。
作为实施方式，MTS索引可被定义为可同时指示水平变换和垂直变换的一个索引。另选地，MTS索引可单独地定义水平变换索引和垂直变换索引。
作为实施方式，可在序列、画面、切片、块、编码单元、变换单元或预测单元中的至少一个级别定义MTS标志或MTS索引。例如，可在序列参数集(SPS)、编码单元或变换单元中的至少一个级别定义MTS标志或MTS索引。
作为另一实施方式，可配置与变换索引对应的变换组合(水平变换或垂直变换)，而不依赖于MTS标志、预测模式和/或块形状。例如，变换组合可由DCT2、DST7和/或DCT8中的至少一个配置。作为特定示例，当变换索引为0、1、2、3或4时，各个变换组合可为(DCT2、DCT2)、(DST7、DST7)、(DCT8、DST7)、(DST7、DCT8)或(DCT8、DCT8)。
图7是示出作为应用了本公开的实施方式的执行多变换选择(MTS)的编码过程的流程图。
在本公开中，基本上描述了对水平方向和垂直方向单独地应用变换的实施方式，但变换组合可被配置为不可分变换。
另选地，变换组合可由可分变换和不可分变换的混合配置。在这种情况下，当使用不可分变换时，可能不需要行/列变换选择或水平/垂直方向选择，并且仅当选择可分变换时，才可使用上面图6的变换组合。
此外，可应用本公开所提出的方案，而与一次变换或二次变换无关。即，不存在方案应该仅应用于一次变换和二次变换二者中的任一个的限制，方案可应用于一次变换和二次变换二者。这里，一次变换可意指首先变换残差块的变换，二次变换可意指对作为一次变换的结果生成的块应用变换的变换。
首先，编码器可确定与当前块对应的变换配置组。这里，变换配置组可意指上面图6的变换配置组，并且本公开不限于此，变换配置组可由其它变换组合构成。
编码器可对变换配置组中可用的候选变换组合执行变换(S720)。
作为执行变换的结果，编码器可确定或选择具有最小失真(RD)成本的变换组合(S730)。
编码器可对与所选变换组合对应的变换组合索引进行编码(S740)。
图8是示出作为应用了本公开的实施方式的执行多变换选择(MTS)的解码过程的流程图。
首先，解码器可确定当前块的变换配置组(S810)。
解码器可从视频信号解析(或获得)变换组合索引，这里，变换组合索引可对应于变换配置组中的多个变换组合中的任一个(S820)。例如，变换配置组可包括离散正弦变换类型(DST)7和离散余弦变换类型(DST)8。变换组合索引可被称为MTS索引。
作为实施方式，变换配置组可基于当前块的预测模式、块大小或块形状中的至少一个来配置。
解码器可推导与变换组合索引对应的变换组合(S830)。这里，变换组合可包括水平变换和垂直变换，并且可包括DST-7或DCT-8中的至少一个。
此外，变换组合可意指上面图6中描述的变换组合，但本公开不限于此。即，根据本公开中的其它实施方式，变换组合可由其它变换组合配置。
解码器可基于变换组合对当前块执行逆变换(S840)。当变换组合包括行(水平)变换和列(垂直)变换时，可在首先应用行(水平)变换之后应用列(垂直)变换。然而，本公开不限于此，变换次序可反转，或者当变换组合包括不可分变换时，可立即应用不可分变换。
作为实施方式，当垂直变换或水平变换是DST-7或DCT-8时，DST-7的逆变换或DCT-8的逆变换可应用于各列，然后应用于各行。
作为实施方式，关于垂直变换或水平变换，可对各行和/或各列应用不同的变换。
作为实施方式，可基于指示是否执行MTS的MTS标志获取变换组合索引。即，当根据MTS标志执行MTS时，可获得变换组合索引。
作为实施方式，解码器可检查非零变换系数的数量是否大于阈值。在这种情况下，当非零变换系数的数量大于阈值时，可获得变换组合索引。
作为实施方式，可在序列、画面、切片、块、编码单元、变换单元或预测单元中的至少一个级别定义MTS标志或MTS索引。
作为实施方式，仅当变换单元的宽度和高度二者等于或小于32时，才可应用逆变换。
另一方面，作为另一实施方式，确定变换配置组的过程和解析变换组合索引的过程可同时执行。另选地，上面的步骤S810可在编码器和/或解码器中预先配置和省略。
图9是用于描述作为应用了本公开的实施方式的对MTS标志和MTS索引进行编码的过程的流程图。
编码器可确定是否对当前块应用多变换选择(MTS)(S910)。
当应用多变换选择(MTS)时，编码器可对MTS标志＝1进行编码(S920)。
另外，编码器可基于当前块的预测模式、水平变换和垂直变换中的至少一个来确定MTS索引(S930)。这里，MTS索引可意指指示各个帧内预测模式的多个变换组合中的任一个的索引，并且可针对各个变换单元发送MTS索引。
当确定MTS索引时，编码器可对MTS索引进行编码(S940)。
另一方面，当不应用多变换选择(MTS)时，编码器可对MTS标志＝0进行编码(S950)。
图10是用于描述作为应用了本公开的实施方式的基于MTS标志和MTS索引对行或列应用水平变换或垂直变换的解码过程的流程图。
解码器可从比特流解析MTS标志(S1010)。这里，MTS标志可指示是否对当前块应用多变换选择(MTS)。
解码器可基于MTS标志来确定是否对当前块应用多变换选择(MTS)(S1020)。例如，可检查MTS标志是否为1。
当MTS标志为1时，解码器可检查非零变换系数的数量是否大于(或者等于或大于)阈值(S1030)。例如，阈值可被设定为2，其可基于块大小或变换单元的大小不同地设定。
当非零变换系数的数量大于阈值时，解码器可解析MTS索引(S1040)。这里，MTS索引可意指各个帧内预测模式或帧间预测模式的多个变换组合中的任一个，并且可针对各个变换单元发送MTS索引。另选地，MTS索引可意指指示预先配置的变换组合表中定义的任一个变换组合的索引，这里，预先配置的变换组合表可意指上面的图6，但本公开不限于此。
解码器可基于MTS索引和预测模式中的至少一个来推导或确定水平变换和垂直变换(S1050)。
另选地，解码器可推导与MTS索引对应的变换组合。例如，解码器可推导或确定与MTS索引对应的水平变换和垂直变换。
此外，当非零变换系数的数量不大于阈值时，解码器可对各列应用预先配置的垂直逆变换(S1060)。例如，垂直逆变换可以是DST7的逆变换。
另外，解码器可对各行应用预先配置的水平逆变换(S1070)。例如，水平逆变换可以是DST7的逆变换。即，当非零变换系数的数量不大于阈值时，可使用由编码器或解码器预先配置的变换核。例如，可使用上面图6中所示的变换组合表中未定义但被广泛使用的变换核。
此外，当MTS标志为0时，解码器可对各列应用预先配置的垂直逆变换(S1080)。例如，垂直逆变换可以是DCT2的逆变换。
另外，解码器可对各行应用预先配置的水平逆变换(S1090)。例如，水平逆变换可以是DCT2的逆变换。即，当MTS标志为0时，可使用由编码器或解码器预先配置的变换核。例如，可使用上面图6中所示的变换组合表中未定义但被广泛使用的变换核。
图11是作为应用了本公开的实施方式的基于变换相关参数执行逆变换的流程图。
应用了本公开的解码器可获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1110)。这里，sps_mts_intra_enabled_flag指示帧内编码单元的残差编码句法中是否存在tu_mts_flag。例如，当sps_mts_intra_enabled_flag＝0时，帧内编码单元的残差编码句法中不存在tu_mts_flag，当sps_mts_intra_enabled_flag＝0时，帧内编码单元的残差编码句法中存在tu_mts_flag。另外，sps_mts_inter_enabled_flag指示帧间编码单元的残差编码句法中是否存在tu_mts_flag。例如，当sps_mts_inter_enabled_flag＝0时，帧内编码单元的残差编码句法中不存在tu_mts_flag，当sps_mts_inter_enabled_flag＝0时，帧间编码单元的残差编码句法中存在tu_mts_flag。
解码器可基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag来获得tu_mts_flag(S1120)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码器可获得tu_mts_flag。这里，tu_mts_flag指示是否对亮度变换块的残差样本应用多变换选择(以下，称为“MTS”)。例如，当tu_mts_flag＝0时，不对亮度变换块的残差样本应用MTS，当tu_mts_flag＝1时，对亮度变换块的残差样本应用MTS。
作为另一示例，本文献的至少一个实施方式可应用于tu_mts_flag。
解码器可基于tu_mts_flag来获得mts_idx(S1130)。例如，当tu_mts_flag＝1时，解码器可获得mts_idx。这里，mts_idx指示沿着当前变换块的水平和/或垂直方向对亮度残差样本应用哪一变换核。
例如，本文献的至少一个实施方式可应用于mts_idx。作为特定示例，可应用上面图6的至少一个实施方式。
解码器可推导与mts_idx对应的变换核(S1140)。例如，与mts_idx对应的变换核可通过划分为水平变换和垂直变换来定义。
作为另一示例，可对水平变换和垂直变换应用不同的变换核。然而，本公开不限于此，可对水平变换和垂直变换应用同一变换核。
作为实施方式，mts_idx可如下表1所示定义。
[表1]
mts_idx[x0][y0] trTypeHor trTypeVer
0 0 0
1 1 1
2 2 1
3 1 2
4 2 2
另外，解码器可基于变换核来执行逆变换(S1150)。
作为本公开的另一实施方式，描述执行变换过程的解码过程。
解码器可检查变换大小nTbS(S10)。这里，变换大小nTbS可以是表示缩放的变换系数的水平样本大小的变量。
解码器可检查变换核类型trType(S20)。这里，变换核类型trType可以是表示变换核的类型的变量，并且可应用本公开的各种实施方式。变换核类型trType可包括水平变换核类型trTypeHor和垂直变换核类型trTypeVer。
参照上面的表1，当变换核类型trType为0时，变换核类型可表示DCT2，当变换核类型trType为1时，变换核类型可表示DST7，当变换核类型trType为2时，变换核类型可表示DCT8。
解码器可基于变换大小nTbS或变换核类型中的至少一个来执行变换矩阵乘法(S30)。
作为另一示例，当变换核类型为1并且变换大小为4时，可在执行变换矩阵乘法时应用预定变换矩阵1。
作为另一示例，当变换核类型为1并且变换大小为8时，可在执行变换矩阵乘法时应用预定变换矩阵2。
作为另一示例，当变换核类型为1并且变换大小为16时，可在执行变换矩阵乘法时应用预定变换矩阵3。
作为另一示例，当变换核类型为1并且变换大小为32时，可在执行变换矩阵乘法时应用预定义的变换矩阵4。
类似地，当变换核类型为2并且变换大小为4、8、16或32时，可分别应用预定义的变换矩阵5、6、7和8。
这里，预定义的变换矩阵1至8中的每一个可对应于各种类型的变换矩阵中的任一个。作为示例，可应用上面图6所示的类型的变换矩阵。
解码器可基于变换矩阵乘法来推导变换样本(S40)。
可使用上述各个实施方式，但本公开不限于此，可与上述实施方式和本公开的其它实施方式组合使用。
图12是示出作为应用了本公开的实施方式的为NSST中的各个帧内预测模式分配变换集的表。
不可分二次变换(NSST)
二次变换单元可对一次变换的信号应用二次变换，这里，可在编码器和/或解码器中在表中定义二次变换。
作为实施方式，二次变换可有条件地采用不可分二次变换(以下，称为“NSST”)。例如，NSST可仅应用于帧内预测块，并且可具有适用于各个预测模式组的变换集。
这里，可基于关于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34(对角线方向)对称，所以可通过形成一个组来应用同一变换集。在这种情况下，当应用预测模式52的变换时，输入数据被转置然后应用，因为预测模式52具有与预测模式16相同的变换集。
此外，由于在平面模式和DC模式的情况下不存在方向的对称性，所以各个模式具有不同的变换集，并且对应变换集可由两个变换构成。关于剩余方向模式，各个变换集可由三个变换构成。然而，本公开不限于此，各个变换集可由多个变换构成。
图13是作为应用了本公开的实施方式的Givens旋转的计算流程图。
作为另一实施方式，NSST可不应用于整个一次变换的块，而是可仅应用于左上8×8区域。例如，当块大小为8×8或更大时，应用8×8NSST，并且当块大小小于8×8时，应用4×4NSST，并且在这种情况下，块被划分成4×4块，然后对各个划分的块应用4×4NSST。
作为另一实施方式，即使在4×N/N×4(N＞＝16)的情况下，可应用4×4NSST。
由于8×8NSST和4×4NSST二者遵循本公开中描述的变换组合配置并且是不可分变换，所以8×8NSST接收64个数据并输出64个数据，并且4×4NSST具有16个输入和16个输出。
8×8NSST和4×4NSST二者由Givens旋转的层次组合配置。下式4中示出与一个Givens旋转对应的矩阵，并且下式5中示出矩阵乘积。
[式4]
Figure BDA0003882588000000201
[式5]
tm＝xm cosθ-xn sinθ
tn＝xm sinθ+xn cosθ
如上面的图13所示，由于一个Givens旋转将两个数据旋转，所以为了处理64个数据(对于8×8NSST)或16个数据(对于4×4NSST)，需要总共32或8个Givens旋转。
因此，使用32或8的一束来形成Givens旋转层。一个Givens旋转层的输出数据通过确定的排列被转移为下一Givens旋转层的输入数据。
图14示出作为应用了本公开的实施方式的由givens旋转层和排列构成的4×4NSST中的一轮配置。
参照上面的图14，示出在4×4NSST的情况下顺序地处理四个Givens旋转层。如上面的图14所示，一个Givens旋转层的输出数据通过确定的排列(即，混洗)被转移为下一Givens旋转层的输入数据。
如上面的图14所示，有规律地确定要排列的图案，并且在4×4NSST的情况下，四个Givens旋转层和对应排列被组合以形成一轮。
在8×8NSST的情况下，六个Givens旋转层和对应排列形成一轮。4×4NSST经过两轮，并且8×8NSST经过四轮。不同轮次使用相同的排列图案，但所应用的Givens旋转角度不同。因此，需要存储构成各个变换的所有Givens旋转的角度数据。
作为最后一步，最终进一步对通过Givens旋转层输出的数据执行一个排列，并且针对各个变换单独地存储对应排列信息。在正向NSST中，最后执行对应排列，并且在逆NSST中，相反首先应用对应逆排列。
在逆NSST的情况下，以相反次序执行应用于正向NSST的Givens旋转层和排列，并且通过甚至对于各个Givens旋转的角度也取负值来执行旋转。
图15是用于描述作为应用了本公开的实施方式的正向缩减变换和逆缩减变换的操作的框图。
缩减二次变换(RST)
当假设表示一个变换的正交矩阵具有N×N形式时，缩减变换(以下，称为“'RT”)仅留下N个变换基向量当中的R个变换基向量(R<N)。生成变换系数的正向RT的矩阵由下式6给出。
[式6]
Figure BDA0003882588000000211
由于逆RT的矩阵成为正向RT矩阵的转置矩阵，所以正向RT和逆RT的应用如上面的图15所示。
当假设对经过一次变换的变换块的左上8×8块应用RT的情况时，RT可被称为8×8缩减二次变换(8×8RST)。
当上式6的R值为16时，正向8×8RST具有16×64矩阵形式，逆8×8RST具有64×16矩阵形式。
此外，与上面图12所示相同的变换集配置可甚至应用于8×8RST。即，可根据上面图12中的变换集应用对应8×8RST。
作为实施方式，当根据上面图12中的帧内预测模式，一个变换集包括两个或三个变换时，可配置包括不应用二次变换的情况的最多4个变换之一以选择。这里，一个变换可被视为单位矩阵。
当分别向四个变换指派索引0、1、2和3时，可为各个变换块用信号通知称为NSST索引的句法元素，从而指定对应变换。即，在NSST的情况下，可通过NSST索引为8×8左上块指定8×8NSST，并且可在RST配置中指定8×8RST。此外，在这种情况下，索引0可分配给不应用单位矩阵(即，二次变换)的情况。
当应用上式6所示的正向8×8RST时，生成16个有效变换系数，结果，可认为构成8×8区域的64个输入数据缩减为16个输出数据。从二维区域的角度，仅四分之一区域填充有效变换系数。因此，图16中的4×4左上区域可填充通过应用正向8×8RST而获得的16个输出数据。
图16是示出作为应用了本公开的实施方式的根据逆扫描次序从第64至第17执行执行逆扫描的过程的图。
上面图16示出当正向扫描次序从1开始时从第17系数至第64系数扫描(以正向扫描次序)。然而，上面图16示出逆扫描，并且这示出从第64系数至第17系数执行逆扫描。
参照上面的图16，左上4×4区域是分配了有效变换系数的感兴趣的区域(ROI)，剩余区域为空。即，值0可默认分配给剩余区域。
如果在上面图16的ROI区域以外的区域中存在0以外的有效变换系数，则这意味着不应用8×8RST，结果，在这种情况下，与之对应的NSST索引编码可被省略。
相反，如果在上面图16的ROI区域以外的区域中不存在非零变换系数(如果应用8×8RST，当0被分配给ROI以外的区域时)，存在将应用8×8RST的可能性，结果，NSST索引可被编码。
因此，可在残差编码过程之后执行条件NSST索引编码，因为有必要检查非零变换系数的存在。
本公开提供一种用于设计RST的方法以及关联的优化方法，其可应用于来自RST结构的4×4块。除了4×4 RST之外，本公开中公开的实施方式可应用于8×8 RST或另一类型的变换。
图17示出作为应用了本公开的实施方式的变换系数块(变换块)的三个正向扫描次序。
实施方式1：RST适用于4×4块
可应用于一个4×4块的不可分变换是16×16变换。即，当构成4×4块的数据元素以行优先或列优先次序设置时，使用16×1向量来应用不可分变换。
正向16×16变换由16个按行变换的基向量构成，并且当对16×1向量和各个变换基向量应用内积时，获得变换基向量的变换系数。获得与所有16个变换基向量对应的变换系数的过程等效于将16×16不可分变换矩阵乘以输入的16×1向量。
通过矩阵乘积获得的变换系数具有16×1向量形式，并且对于各个变换系数，统计特性可不同。例如，当16×1变换系数向量由第0元素至第15元素构成时，第0元素的方差可大于第15元素的方差。换言之，随着元素位于更前，元素的对应方差值更大，从而元素可具有更大的能量值。
当从16×1变换系数应用逆16×16不可分变换时，可重构原始4×4块信号。当正向16×16不可分变换是正交变换时，可通过正向16×16变换的转置矩阵获得对应逆16×16变换。
当16×1变换系数向量乘以逆16×16不可分变换矩阵时，可获得16×1向量形式的数据，并且当所获得的数据以首先应用的行优先或列优先次序设置时，可重构4×4块信号。
如上所述，构成16×1变换系数向量的元素可具有不同的统计特性。
如果设置在较前侧(靠近第0元素)的变换系数具有较大的能量，则即使对首先出现的一些变换系数应用逆变换而不使用所有变换系数，也可重构非常接近原始信号的信号。例如，当逆16×16不可分变换由16列基向量构成时，仅L列基向量留下以形成16×L矩阵。另外，当在变换系数当中仅L个重要变换系数留下(L×1向量)之后，16×L矩阵和L×1向量彼此相乘时，当16×L矩阵和L×1向量彼此相乘时，可重构16×1向量，其与原始输入的16×1向量数据具有较小误差。
结果，由于仅L个系数用于数据重构，所以即使在获得变换系数时，也获得L×1变换系数向量，而非16×1变换系数向量。即，当通过在正向16×16不可分变换矩阵中选择L个对应按行变换向量来配置L×16变换，然后将所配置的L×16变换乘以16×1输入向量时，可获得L个重要变换系数。
L值具有1≤L<16的范围，通常，可在16个变换基向量当中通过任意方法选择L个向量，但是从编码和解码的角度，选择在信号的能量方面重要性高的变换基向量就编码效率而言可能是有利的。
实施方式2：4×4RST的应用区域的配置和变换系数的设置方式
4×4RST可作为二次变换应用，并且可对应用了诸如DCT类型2的一次变换的块二次应用。当应用了一次变换的块的大小为N×N时，应用了一次变换的块的大小通常大于4×4。因此，当对N×N块应用4×4RST时，可存在如下两个方法。
实施方式2-1)4×4RST不应用于所有N×N区域，而是可仅应用于一些区域。例如，4×4RST可仅应用于左上M×M区域(M≤N)。
实施方式2-2)要应用二次变换的区域可被划分成4×4块，然后可对各个划分的块应用4×4RST。
作为实施方式，实施方式2-1)和2-2)可被混合并应用。例如，仅左上M×M区域可被划分成4×4块，然后可应用4×4RST。
作为实施方式，二次变换可仅应用于左上8×8区域，并且当N×N块等于或大于8×8时，可应用8×8RST，当N×N块小于8×8(4×4、8×4和4×8)时，如上面实施方式2-2)中一样，N×N块可被划分成4×4块，然后可对各个4×4块应用4×4RST。此外，即使在4×N/N×4(N>＝16)的情况下，也可应用4×4NSST。
当在应用4×4RST之后生成L(1≤L<16)个变换系数时，产生L个变换系数如何设置的自由度。然而，由于在残差编码步骤中处理变换系数时将存在预定次序，所以编码性能可根据L个变换系数在2D块中如何设置而变化。
例如，在HEVC的残差编码的情况下，编码从距DC位置最远的位置开始。这是为了利用随着远离DC位置移动，量化的系数值为零或接近零的事实增强编码性能。
因此，就编码性能而言可能有利的是甚至为L个变换系数设置具有高能量的更重要系数，以使得L个变换系数在残差编码的次序中较晚编码。
图17示出以HEVC中应用的4×4变换块(系数组(CG))为单位的三个正向扫描次序。残差编码遵循上面图17的扫描次序的相反次序(即，按16至1的次序执行编码)。
由于根据帧内预测模式选择上面图17中呈现的三个扫描次序，所以本公开可被配置为即使对于L个变换系数也类似地根据帧内预测模式来确定扫描次序。
图18示出作为应用了本公开的实施方式的当应用对角线扫描并且在左上4×8块中应用4×4RST时各个4×4块的有效变换系数的位置和正向扫描次序。
当遵循上面图17中的对角线扫描次序并且将左上4×8块划分为4×4块并对各个4×4块应用4×4RST时，如果L值为8(即，如果16个变换系数当中仅8个变换系数留下)，则变换系数可如上面图18中那样设置。
各个4×4块中仅一半可具有变换系数，可对标记有X的位置默认应用值0。
因此，可通过根据上面图17所示的扫描次序为各个4×4块设置L个变换系数，并且假设各个4×4块的16-L个剩余位置填充零来应用残差编码。
图19示出作为应用了本公开的实施方式的当应用对角线扫描并且在左上4×8块中应用4×4RST时两个4×4块的有效变换系数被组合成一个4×4块的情况。
参照上面的图19，设置在两个4×4块中的L个变换系数可被组合成一个。具体地，当L值为8时，由于两个4×4块的变换系数在完全填充一个4×4块的同时被组合，所以在另一个4×4块中也没有留下变换系数。
因此，由于关于空的4×4块不需要大多数残差编码，所以对应coded_sub_block_flag可用0编码。
此外，作为本公开的实施方式，各种方案可甚至应用于两个4×4块的变换系数如何混合。变换系数可根据随机次序组合，但本公开可提供以下方法。
1)两个4×4块的变换系数在扫描次序中交替地混合。即，在上面的图18中，当顶块的变换系数为
Figure BDA0003882588000000251
和
Figure BDA0003882588000000252
并且底块的变换系数为
Figure BDA0003882588000000253
Figure BDA0003882588000000254
和
Figure BDA0003882588000000255
时，变换系数可逐个交替地混合，类似
Figure BDA0003882588000000256
Figure BDA0003882588000000257
另选地，
Figure BDA0003882588000000258
和
Figure BDA0003882588000000259
的次序可改变。即，
Figure BDA00038825880000002510
可被配置为首先出来。
2)可首先设置第一4×4块的变换系数，然后可设置第二4×4块的变换系数。即，变换系数可被连接并设置，类似
Figure BDA00038825880000002511
另选地，次序可改变，类似
Figure BDA0003882588000000261
实施方式3：对4×4RST的NSST索引进行编码的方法
当如上面图18所示应用4×4RST时，根据各个4×4块的变换系数扫描次序，第L+1至第16可填充0值。
因此，当甚至在两个4×4块之一中在第L+1至第16位置生成非零值时，可知道这种情况是不应用4×4RST的情况。
当4×4RST还具有选择并应用作为NSST准备的变换集之一的结构时，可用信号通知应用变换的变换索引(在实施方式中可称为NSST索引)。
假设任何解码器可通过比特流解析知道NSST索引并且在残差解码之后执行解析。
当执行残差解码并且确认在第L+1与第16之间存在至少一个非零变换系数时，不应用4×4RST，因此可配置为不解析NSST索引。
因此，当有必要降低信令成本时，仅选择性地解析NSST索引。
如果如上面图18所示对特定区域中的多个4×4块应用4×4RST(例如，可对所有多个4×4块应用相同的4×4RST，或者可应用不同的4×4RST)，则可通过一个NSST索引指定应用于所有4×4块的4×4RST。在这种情况下，可指定相同的4×4RST，或者可指定应用于所有4×4块中的每一个的4×4RST。
由于通过一个NSST索引是否对所有4×4块应用4×4RST，所以可在残差解码过程检查在所有4×4块的第L+1至第16位置是否存在非零变换系数。作为检查结果，当即使在一个4×4块中在不被接受的位置(第L+1至第16位置)存在非零变换系数时，可将NSST索引配置为不被编码。
可针对亮度块和色度块单独地用信号通知NSST索引，并且在色度块的情况下，可针对Cb和Cr用信号通知单独的NSST索引，并且可共享一个NSST索引。
当针对Cb和Cr共享一个NSST索引时，可应用由同一NSST索引指定的4×4RST。在这种情况下，Cb和Cr的4×4RST本身可相同，或者NSST索引可相同，但可提供单独的4×4RST。
为了对共享的NSST索引应用条件信令，针对Cb和Cr检查在所有4×4块的第L+1至第16是否存在非零变换系数，并且当存在非零变换系数时，可将NSST索引配置为不用信号通知。
如上面的图19所示，即使对于两个4×4块的变换系数被组合的情况，当应用4×4RST时也检查在不存在有效变换系数的位置是否存在非零变换系数，然后可确定是否用信号通知NSST。
例如，如上面的图19的(b)所示，当L值为8并且在应用4×4RST时一个4×4块(标记有X的块)不存在有效变换系数时，可检查不存在有效变换系数的块的coded_sub_block_flag。在这种情况下，当coded_sub_block_flag为1时，可将NSST索引配置为不用信号通知。
实施方式4：在残差编码之前执行对NSST索引的编码的情况的优化方法
当在残差编码之前执行对NSST索引的编码时，是否应用4×4RST是预定的，结果，对于0分配给变换系数的位置，可省略残差编码。
这里，是否应用4×4RST可被配置为通过NSST索引来知道。例如，当NSST索引为0时，不应用4×4RST。
另选地，可通过单独的句法元素(例如，NSST标志)来用信号通知NSST索引。例如，如果单独的句法元素称为NSST标志，则首先解析NSST标志以确定是否应用4×4RST，并且如果NSST标志值为1，则对于可能不存在有效变换系数的位置，可省略残差编码。
作为实施方式，当执行残差编码时，TU上的最后非零变换系数位置首先被编码。当在对最后非零变换系数位置进行编码之后执行对NSST索引的编码，并且假设对最后非零变换系数的位置应用4×4RST时，如果最后非零变换系数位置被确定为可能不生成非零变换系数的位置，则在不对NSST索引进行编码的情况下，可配置为不对最后非零变换系数位置应用4×4RST。
例如，由于在上面图18中标记有X的位置的情况下，当应用4×4RST时不定位有效变换系数(例如，这些位置可填充零值)，所以当最后非零变换系数被定位在标记有X的区域中时，可省略对NSST索引的编码。当最后非零变换系数未被定位于标记有X的区域中时，可执行对NSST索引的编码。
作为实施方式，当在对最后非零变换系数位置的编码之后通过对NSST索引进行有条件地编码来检查是否应用4×4RST时，剩余残差编码部分可通过以下两个方案处理。
1)在不应用4×4RST的情况下，一般残差编码保持原样。即，在从非零变换系数位置到DC的任何位置处可存在非零变换系数的假设下执行编码。
2)当应用4×4RST时，由于对于特定位置或特定4×4块(例如，上面图18的X位置，其可默认填充0)不存在变换系数，所以可不执行对应位置或块的残差。
例如，在到达上面图18中标记为X的位置的情况下，可省略对sig_coeff_flag的编码。这里，sig_coeff_flag意指指示在对应位置是否存在非零变换系数的标志。
当两个块的变换系数如上面图19所示组合时，对于分配有0的4×4块，可省略对coded_sub_block_flag的编码，并且对应值可被推导为0，并且所有对应4×4块可被推导为零值，而无需单独的编码。
在对非零变换系数位置进行编码之后对NSST索引进行编码的情况下，当最后非零变换系数的x位置Px和y位置Py分别小于Tx和Ty时，可省略NSST索引编码，并且可不应用4×4RST。
例如，Tx＝1且Ty＝1的情况意指对于在DC位置存在非零变换系数的情况，省略NSST索引编码。
通过与阈值比较来确定是否对NSST索引进行编码的方案可不同地应用于亮度和色度。例如，可对亮度和色度应用不同的Tx和Ty，并且阈值可应用于亮度，而不应用于色度。或者反之亦然。
上述两个方法(即，当非零变换系数位于不存在有效变换系数的区域中时省略NSST索引编码的第一方法以及当非零变换系数的X坐标和Y坐标中的每一个小于预定阈值时省略NSST索引编码的第二方法)可同时应用。
例如，可首先检查最后非零变换系数的位置坐标的阈值，然后可检查最后非零变换系数是否位于不存在有效变换系数的区域中。另选地，次序可改变。
实施方式4中呈现的方法甚至可应用于8×8RST。即，当最后非零变换系数位于左上8×8区域中左上4×4以外的区域中时，可省略对NSST索引的编码，如果否，则可执行NSST索引编码。
此外，当非零变换系数的X和Y坐标值二者小于阈值时，可省略对NSST索引的编码。另选地，两个方法可一起应用。
实施方式5：当应用RST时对亮度和色度应用不同的NSST索引编码和残差编码方案
上面实施方式3和4中描述的方案可分别不同地应用于亮度和色度。即，亮度和色度的NSST索引编码和残差编码方案可不同地应用。
例如，亮度可采用上面实施方式4的方案，色度可采用上面实施方式3的方案。另选地，亮度可采用上面实施方式3或4中呈现的条件NSST索引编码，色度可不采用条件NSST索引编码。或者反之亦然。
图20是作为应用了本公开的实施方式的基于缩减二次变换对视频信号进行编码的流程图。
编码器可基于当前块的预测模式、块形状和/或块大小中的至少一个来确定(或选择)正向二次变换(S2010)。在这种情况下，正向二次变换的候选可包括上面图6和/或图12的实施方式中的至少一个。
编码器可通过率失真优化来确定最优正向二次变换。最优正向二次变换可对应于多个变换组合之一，并且多个变换组合可由变换索引定义。例如，为了RD优化，可针对各个候选比较执行正向二次变换、量化、残差编码等全部的结果。在这种情况下，可使用诸如cost＝rate+λ·distortion或cost＝distortion+λ·rate的方程，但本公开不限于此。
编码器可用信号通知与最优正向二次变换对应的二次变换索引(S2020)。这里，二次变换索引可采用本公开中描述的其它实施方式。
例如，二次变换索引可采用上面图12的变换集配置。由于根据帧内预测模式，一个变换集包括两个或三个变换，所以除了不应用二次变换的情况之外，可配置为选择最多四个变换之一。当分别向四个变换指派索引0、1、2和3时，可通过针对各个变换系数块用信号通知二次变换索引来指定所应用的变换。在这种情况下,索引0可被分配给不应用单位矩阵(即，二次变换)的情况。
作为另一实施方式，二次变换索引的信令可在下列任一个步骤中执行：1)在残差编码之前；2)在残差编码的中间(在对非零变换系数位置进行编码之后)；或者3)在残差编码之后。下面将详细描述实施方式。
1)在残差编码之前用信号通知二次变换索引的方法
编码器可确定正向二次变换。
编码器可用信号通知与正向二次变换对应的二次变换索引。
编码器可对最后非零变换系数的位置进行编码。
编码器可对最后非零变换系数的位置以外的句法元素执行残差编码。
2)在残差编码的中间用信号通知二次变换索引的方法
编码器可确定正向二次变换。
编码器可对最后非零变换系数的位置进行编码。
当非零变换系数不位于特定区域中时，编码器可对与正向二次变换对应的二次变换索引进行编码。这里，在应用缩减二次变换的情况下，特定区域表示当根据扫描次序设置变换系数时可能存在非零变换系数的位置以外的剩余区域。然而，本公开不限于此。
编码器可对最后非零变换系数的位置以外的句法元素执行残差编码。
3)在残差编码之前用信号通知二次变换索引的方法
编码器可确定正向二次变换。
编码器可对最后非零变换系数的位置进行编码。
当非零变换系数不位于特定区域中时，编码器可对最后非零变换系数的位置以外的句法元素执行残差编码。这里，在应用缩减二次变换的情况下，特定区域表示当根据扫描次序设置变换系数时可能存在非零变换系数的位置以外的剩余区域。然而，本公开不限于此。
编码器可用信号通知与正向二次变换对应的二次变换索引。
此外，编码器可对当前块(残差块)执行正向一阶变换(S2030)。这里，步骤S2010和/或步骤S2020可类似地应用于正向一次变换。
编码器可使用最优正向二次变换对当前块执行正向二次变换(S2040)。例如，最优正向二次变换可以是缩减二次变换。缩减二次变换是指输入N个残差数据(N×1残差向量)并且输出L(L<N)个变换系数数据(L×1变换系数向量)的变换。
作为实施方式，可对当前块的特定区域应用缩减二次变换。例如，当当前块为N×N时，特定区域可意指左上N/2×N/2区域。然而，本公开不限于此，可根据预测模式、块形状或块大小中的至少一个不同地配置。例如，当当前块为N×N时，特定区域可意指左上M×M区域(M≤N)。
此外，编码器对当前块执行量化以生成变换系数块(S2050)。
编码器对变换系数块执行熵编码以生成比特流。
图21是作为应用了本公开的实施方式的基于缩减二次变换对视频信号进行解码的流程图。
解码器可从比特流获得二次变换索引(S2110)。这里，二次变换索引可采用本公开中描述的其它实施方式。例如，二次变换索引可包括上面图6和/或图12的实施方式中的至少一个。
作为另一实施方式，二次变换索引的获得可在下列任一个步骤中执行：1)在残差编码之前；2)在残差编码的中间(在对非零变换系数位置进行解码之后)；或者3)在残差编码之后。
解码器可推导与二次变换索引对应的二次变换(S2120)。在这种情况下，二次变换的候选可包括上面图6和/或图12的实施方式中的至少一个。
然而，步骤S2110和S2120是实施方式，本公开不限于此。例如，解码器可不获得二次变换索引，而是基于当前块的预测模式、块形状和/或块大小中的至少一个来推导二次变换。
此外，解码器可通过对比特流进行熵解码来获得变换系数块，并对变换系数块执行去量化(S2130)。
解码器可对去量化的变换系数块执行逆二次变换(S2140)。例如，逆二次变换可以是缩减二次变换。缩减二次变换意指输入N个残差数据(N×1残差向量)并且输出.L(L<N)个变换系数数据(L×1变换系数向量)的变换。
作为实施方式，可对当前块的特定区域应用缩减二次变换。例如，当当前块为N×N时，特定区域可意指左上N/2×N/2区域。然而，本公开不限于此，可根据预测模式、块形状或块大小中的至少一个不同地配置。例如，当当前块为N×N时，特定区域可意指左上M×M区域(M≤N)或M×L(M≤N，L≤N)。
另外，解码器可对逆二次变换结果执行逆一次变换(S2150)。
解码器通过步骤S2150生成残差块，并且残差块和预测块相加以生成重构块。
图22示出应用了本公开的内容流系统。
参照图22，应用了本公开的内容流系统可基本上包括编码服务器、流服务器、web服务器、媒体存储装置、用户设备和多媒体输入装置。
编码服务器基本上用于通过将从多媒体输入装置(例如，智能电话、相机或摄像机)输入的内容压缩为数字数据来生成比特流，并将比特流发送到流服务器。又如，如果多媒体输入装置(例如，智能电话、相机或摄像机)直接生成比特流，则可省略编码服务器。
可通过应用了本公开的编码方法或比特流生成方法来生成比特流。流服务器可在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户请求通过web服务器将多媒体数据发送到用户设备。web服务器起到通知用户提供哪一服务的媒介的作用。当用户向web服务器请求期望的服务时，web服务器向流服务器发送请求。流服务器将多媒体数据发送给用户。在这种情况下，内容流系统可包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统内的设备之间的指令/响应。
流服务器可从媒体存储装置和/或编码服务器接收内容。例如，如果从编码服务器接收到内容，则流服务器可实时接收内容。在这种情况下，为了提供流畅的流服务，流服务器可将比特流存储给定时间。
用户设备的示例可包括移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、石板PC、平板PC、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)和头戴式显示器(HMD))、数字TV、台式计算机和数字标牌。
内容流系统内的服务器可作为分布式服务器操作。在这种情况下，从服务器接收的数据可被分发并处理。
如上所述，本公开中描述的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，附图所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。
此外，应用了本公开的解码器和编码器可包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、用于监视的相机、视频对话装置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流服务提供装置、三维(3D)视频装置、视频电话装置和医疗视频装置中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可包括游戏机、蓝光播放器、互联网接入TV、家庭影院系统、智能电话、平板PC和数字视频记录仪(DVR)。
此外，应用了本公开的处理方法可按照由计算机执行的程序的形式生成，并且可存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储装置。例如，计算机可读记录介质可包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网的传输)。此外，使用编码方法生成的比特流可存储在计算机可读记录介质中，或者可经由有线和无线通信网络发送。
此外，本公开的实施方式可使用程序代码实现为计算机程序产品。根据本公开的实施方式，程序代码可由计算机执行。程序代码可存储在可由计算机读取的载体上。
工业实用性
出于例示性目的而公开了本公开的上述优选实施方式，在不脱离所附权利要求中公开的本公开的技术精神和范围的情况下，本领域技术人员可改进、改变、替换或添加各种其它实施方式。

Claims (7)

1.一种用于视频解码的解码器，该解码器包括：
存储器；以及
连接到所述存储器的至少一个处理器，其中，所述至少一个处理器被配置为：
从比特流推导当前块的量化变换系数；
通过对所述量化变换系数执行去量化来推导变换系数；
基于逆二次变换矩阵来对所述变换系数执行逆二次变换；
通过对执行了所述逆二次变换的变换系数执行逆一次变换来推导残差块；以及
基于所述当前块的预测块和所述残差块来生成重构块，
其中，所述逆二次变换是输入L个变换系数并输出N个变换系数的变换，其中，L小于N，并且
其中，与所述逆二次变换矩阵相关的二次变换索引是基于在所述当前块的变换系数当中的第(L+1)个至第N个变换系数的位置不存在最后非零变换系数的情况从所述比特流获得的。
2.根据权利要求1所述的解码器，其中，对所述当前块中的左上M×M区域应用所述逆二次变换，其中，M≤N。
3.根据权利要求1所述的解码器，其中，基于所述逆二次变换被执行，对所述当前块中各个划分的4×4块应用4×4二次变换。
4.根据权利要求1所述的解码器，其中，所述至少一个处理器还被配置为：
从所述比特流获得所述当前块的一次变换索引，其中，所述一次变换索引与由离散正弦变换类型7DST7和/或离散余弦变换类型8DCT8的组合配置的多个变换组合中的任一个有关；以及
推导与所述一次变换索引相关的变换组合，
其中，所述变换组合包括水平变换和垂直变换，并且所述水平变换和所述垂直变换与所述DST7或所述DCT8中的任一个相关，并且
其中，基于所述变换组合来执行所述逆一次变换。
5.一种用于视频编码的编码器，该编码器包括：
存储器；以及
连接到所述存储器的至少一个处理器，其中，所述至少一个处理器被配置为：
推导当前块的残差块；
对所述残差块执行一次变换；
通过对所述一次变换的结果执行基于二次变换矩阵的二次变换来推导所述当前块的变换系数；
通过对所述变换系数执行量化来推导量化变换系数；以及
对关于所述量化变换系数和与所述二次变换矩阵相关的二次变换索引的信息进行编码以生成比特流，
其中，所述二次变换是输入N个变换系数并输出L个变换系数的变换，其中，L小于N，并且
其中，所述二次变换索引被配置为基于在所述当前块的变换系数当中的第(L+1)个至第N个变换系数的位置不存在最后非零变换系数的情况从所述比特流获得。
6.一种计算机可读存储介质，所述计算机可读存储介质存储由根据权利要求5所述的编码器生成的比特流。
7.一种用于发送视频的数据的设备，所述设备包括：
至少一个处理器，所述至少一个处理器被配置为获得所述视频的比特流，其中，所述比特流是基于以下操作生成的：推导当前块的残差块，对所述残差块执行一次变换，通过对所述一次变换的结果执行基于二次变换矩阵的二次变换来推导所述当前块的变换系数，通过对所述变换系数执行量化来推导量化变换系数，以及对关于所述量化变换系数和与所述二次变换矩阵相关的二次变换索引的信息进行编码以生成比特流；以及
发送器，所述发送器被配置为发送包括所述比特流的所述数据，
其中，所述二次变换是输入N个变换系数并输出L个变换系数的变换，其中，L小于N，并且
其中，所述二次变换索引被配置为基于在所述当前块的变换系数当中的第(L+1)个至第N个变换系数的位置不存在最后非零变换系数的情况从所述比特流获得。
CN202211233500.0A 2018-04-01 2019-04-01 编码器、解码器、计算机可读存储介质及发送数据的设备 Pending CN115604468A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862651251P 2018-04-01 2018-04-01
US62/651,251 2018-04-01
PCT/KR2019/003812 WO2019194504A1 (ko) 2018-04-01 2019-04-01 축소된 2차 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN201980034874.XA CN112166613B (zh) 2018-04-01 2019-04-01 使用缩减二次变换来处理视频信号的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980034874.XA Division CN112166613B (zh) 2018-04-01 2019-04-01 使用缩减二次变换来处理视频信号的方法和装置

Publications (1)

Publication Number Publication Date
CN115604468A true CN115604468A (zh) 2023-01-13

Family

ID=68101097

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202211233500.0A Pending CN115604468A (zh) 2018-04-01 2019-04-01 编码器、解码器、计算机可读存储介质及发送数据的设备
CN202211233328.9A Pending CN115604470A (zh) 2018-04-01 2019-04-01 视频编解码方法、计算机可读存储介质及发送方法
CN201980034874.XA Active CN112166613B (zh) 2018-04-01 2019-04-01 使用缩减二次变换来处理视频信号的方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202211233328.9A Pending CN115604470A (zh) 2018-04-01 2019-04-01 视频编解码方法、计算机可读存储介质及发送方法
CN201980034874.XA Active CN112166613B (zh) 2018-04-01 2019-04-01 使用缩减二次变换来处理视频信号的方法和装置

Country Status (12)

Country Link
US (2) US11616985B2 (zh)
EP (2) EP3764649B1 (zh)
JP (2) JP7301951B2 (zh)
KR (3) KR20240017106A (zh)
CN (3) CN115604468A (zh)
ES (1) ES2961923T3 (zh)
FI (1) FI3764649T3 (zh)
HR (1) HRP20231341T1 (zh)
HU (1) HUE063982T2 (zh)
PL (1) PL3764649T3 (zh)
SI (1) SI3764649T1 (zh)
WO (1) WO2019194504A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036390A1 (ko) 2018-08-12 2020-02-20 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
TWI814889B (zh) 2018-08-16 2023-09-11 大陸商北京字節跳動網絡技術有限公司 變換矩陣選擇的係數相關的編解碼
US11589075B2 (en) * 2018-10-01 2023-02-21 Lg Electronics Inc. Encoding/decoding method for video signal and device therefor
CN113365055B (zh) * 2019-03-09 2023-03-14 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
KR102655582B1 (ko) * 2019-05-10 2024-04-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리를 위한 다중 이차 변환 행렬
US11218728B2 (en) * 2019-06-04 2022-01-04 Tencent America LLC Method and apparatus for video coding
CN117354521A (zh) 2019-06-07 2024-01-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
CN114208190B (zh) 2019-08-03 2023-12-15 北京字节跳动网络技术有限公司 视频编解码中缩减二次变换的矩阵的选择
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
WO2021102424A1 (en) * 2019-11-21 2021-05-27 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus on transform and coefficient signaling
EP4066492A1 (en) 2019-11-26 2022-10-05 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Coding concepts for a transformed representation of a sample block
GB2593778A (en) * 2020-04-03 2021-10-06 Sony Group Corp Video data encoding and decoding
CN112543324B (zh) * 2020-12-06 2023-02-28 浙江大华技术股份有限公司 视频解码方法、编码方法、编解码器及存储介质
GB2603559B (en) * 2021-07-22 2023-08-09 Imagination Tech Ltd Coding blocks of pixels

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542664A (ja) 2010-09-28 2013-11-21 サムスン エレクトロニクス カンパニー リミテッド 映像変換方法及びその装置、並びに映像逆変換方法及びその装置
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
US10194158B2 (en) * 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
US9571837B2 (en) * 2013-11-01 2017-02-14 Broadcom Corporation Color blending prevention in video coding
KR102600756B1 (ko) * 2015-03-06 2023-11-10 한국과학기술원 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
US20170034530A1 (en) 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for decoding and encoding
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
WO2017191782A1 (en) * 2016-05-04 2017-11-09 Sharp Kabushiki Kaisha Systems and methods for coding transform data
CN109076226B (zh) 2016-05-13 2021-08-13 索尼公司 图像处理装置和方法
KR20190008203A (ko) 2016-05-13 2019-01-23 소니 주식회사 화상 처리 장치 및 방법
EP3457691A4 (en) * 2016-05-13 2019-03-20 Sharp Kabushiki Kaisha IMAGE DECODING DEVICE AND IMAGE ENCODING DEVICE
EP3454559A4 (en) * 2016-05-13 2019-03-13 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
JP6861479B2 (ja) * 2016-06-24 2021-04-21 東京エレクトロン株式会社 プラズマ成膜方法およびプラズマ成膜装置
CN115052142A (zh) 2016-08-01 2022-09-13 韩国电子通信研究院 图像编码/解码方法
WO2018061837A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 画像処理装置および方法
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
JP6870096B2 (ja) * 2017-01-03 2021-05-12 エルジー エレクトロニクス インコーポレイティド 二次変換を用いたビデオ信号のエンコーディング／デコーディング方法及び装置
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
EP3606066A4 (en) * 2017-03-23 2020-03-25 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD

Also Published As

Publication number Publication date
US20210014534A1 (en) 2021-01-14
KR20240017106A (ko) 2024-02-06
EP4250731A3 (en) 2023-12-06
ES2961923T3 (es) 2024-03-14
JP2021517796A (ja) 2021-07-26
WO2019194504A1 (ko) 2019-10-10
JP7301951B2 (ja) 2023-07-03
SI3764649T1 (sl) 2023-12-29
EP4250731A2 (en) 2023-09-27
CN115604470A (zh) 2023-01-13
PL3764649T3 (pl) 2024-01-22
EP3764649A4 (en) 2021-05-12
US11968398B2 (en) 2024-04-23
FI3764649T3 (fi) 2023-10-19
CN112166613B (zh) 2022-10-21
US20230199220A1 (en) 2023-06-22
KR102465119B1 (ko) 2022-11-09
KR102631119B1 (ko) 2024-01-29
CN112166613A (zh) 2021-01-01
HRP20231341T1 (hr) 2024-02-16
JP2023120355A (ja) 2023-08-29
KR20220153118A (ko) 2022-11-17
EP3764649A1 (en) 2021-01-13
KR20200123806A (ko) 2020-10-30
US11616985B2 (en) 2023-03-28
EP3764649B1 (en) 2023-09-27
HUE063982T2 (hu) 2024-02-28

Similar Documents

Publication Publication Date Title
CN112166613B (zh) 使用缩减二次变换来处理视频信号的方法和装置
CN111937400B (zh) 通过使用约化变换来处理视频信号的方法和装置
US11677986B2 (en) Method for performing transform index coding on basis of intra prediction mode, and device therefor
CN112400322B (zh) 基于二次变换处理视频信号的方法和设备
CN116527891A (zh) 解码方法、编码方法、可读介质和图像的数据的发送方法
US20220312012A1 (en) Method and apparatus for processing video signal by applying secondary transform to partitioned block
WO2019194505A1 (ko) 축소된 회전기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US11979609B2 (en) Method for performing transform index coding on basis of intra prediction mode, and device therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination