CN114885163B - 用于对图像信号编码和解码的方法及计算机可读记录介质 - Google Patents

用于对图像信号编码和解码的方法及计算机可读记录介质 Download PDF

Info

Publication number
CN114885163B
CN114885163B CN202210567582.6A CN202210567582A CN114885163B CN 114885163 B CN114885163 B CN 114885163B CN 202210567582 A CN202210567582 A CN 202210567582A CN 114885163 B CN114885163 B CN 114885163B
Authority
CN
China
Prior art keywords
transform
current block
inseparable
intra prediction
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210567582.6A
Other languages
English (en)
Other versions
CN114885163A (zh
Inventor
具文模
M·萨勒海法尔
金昇焕
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202210567582.6A priority Critical patent/CN114885163B/zh
Publication of CN114885163A publication Critical patent/CN114885163A/zh
Application granted granted Critical
Publication of CN114885163B publication Critical patent/CN114885163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本申请涉及用于对图像信号编码和解码的方法及计算机可读记录介质。根据本发明的实施方式的对图像信号进行解码的方法包括以下步骤：对当前块执行逆量化；基于当前块的帧内预测模式，在预定不可分变换集当中确定指示针对当前块的不可分变换集的不可分变换集索引；将不可分变换集中所包括的变换核确定为针对当前块的不可分变换矩阵；将针对经逆量化的当前块的不可分变换矩阵应用于当前块的左上区域，左上区域基于当前块的宽度和高度而确定；通过基于当前块的帧内预测模式执行帧内预测来生成当前块的预测块；以及基于经逆变换的当前块和预测块来重构当前块。

Description

用于对图像信号编码和解码的方法及计算机可读记录介质
本申请是原案申请号为201980014859.9的发明专利申请(国际申请号：PCT/KR2019/011248，申请日：2019年09月02日，发明名称：用于处理图像信号的方法和设备)的分案申请。
技术领域
本公开涉及用于处理图像信号的方法和设备，具体地，涉及一种通过执行变换来对图像信号进行编码或解码的方法和设备。
背景技术
压缩编码是指通过通信线路发送数字化的信息或将其以适当形式存储在存储介质中的信号处理技术。诸如视频、图像和音频的媒体可以是压缩编码的对象，特别是，对图像执行压缩编码的技术被称为视频图像压缩。
下一代视频内容将具有高空间分辨率、高帧频和场景表示的高维度的特征。为了处理这种内容，存储器存储、存储器访问速率和处理能力将显著增加。
因此，有必要设计用于更高效地处理下一代视频内容的编码工具。具体地，高效视频编码(HEVC)标准之后的视频编解码器标准需要连同预测技术一起以更高准确性将空域视频信号变换为频域信号的高效变换技术。
发明内容
技术问题
本公开的实施方式提供一种对当前块应用适当变换的图像信号处理方法和设备。
本公开所解决的技术问题不限于上述技术问题，对于本领域技术人员而言，本文中未描述的其它技术问题将从以下描述变得显而易见。
技术方案
根据本公开的实施方式的对图像信号进行解码的方法包括：确定不可分变换集索引，该不可分变换集索引基于当前块的帧内预测模式从预定义的不可分变换集当中指示用于当前块的不可分变换的不可分变换集；从不可分变换集索引所指示的不可分变换集中包括的变换核当中，确定当前块的不可分变换索引所指示的变换核作为不可分变换矩阵；以及将不可分变换矩阵应用于基于当前块的宽度和高度确定的当前块的左上区域，其中，各个预定义的不可分变换集包括两个变换核。
此外，可向根据帧内预测模式的范围配置的四个变换集中的每一个指派不可分变换集索引。
此外，如果帧内预测模式是0至1，则不可分变换集索引可被确定为第一索引值，如果帧内预测模式是2至12或56至66，则不可分变换集索引可被确定为第二索引值，如果帧内预测模式是13至23或45至55，则不可分变换集索引可被确定为第三索引值，如果帧内预测模式是24至44，则不可分变换集索引可被确定为第四索引值。
此外，可为不可分变换集索引的各个索引值配置两个不可分变换核。
此外，当不可分变换索引不等于0并且当前块的宽度和高度大于或等于4时，可应用不可分变换矩阵。
此外，该方法还可包括：针对应用了不可分变换的当前块应用水平方向变换和垂直方向变换。
此外，可基于用于选择变换矩阵的多变换选择(MTS)索引和应用于当前块的预测模式来确定水平方向变换和垂直方向变换。
根据本公开的实施方式的用于对图像信号进行解码的设备包括：存储器，其用于存储图像信号；以及处理器，其联接到存储器，其中，处理器被配置为：确定不可分变换集索引，该不可分变换集索引基于当前块的帧内预测模式从预定义的不可分变换集当中指示用于当前块的不可分变换的不可分变换集；从不可分变换集索引所指示的不可分变换集中包括的变换核当中，确定当前块的不可分变换索引所指示的变换核作为不可分变换矩阵；以及将不可分变换矩阵应用于基于当前块的宽度和高度确定的当前块的左上区域，其中，各个预定义的不可分变换集包括两个变换核。
有益效果
根据本公开的实施方式，可通过确定并应用适合于当前块的变换来改进变换效率。
本公开的效果不限于上述效果，对于本领域技术人员而言，本文中未描述的其它效果将从以下描述变得显而易见。
附图说明
附图作为说明书的一部分包括在本文中以用于帮助理解本公开，附图提供本公开的实施方式，并且利用下面的描述来描述本公开的技术特征。
图1示出作为应用了本公开的实施方式的视频编码系统的示例。
图2是作为应用了本公开的实施方式的对视频/图像信号进行编码的编码设备的示意性框图。
图3是作为应用了本公开的实施方式的对图像信号进行解码的解码设备的示意性框图。
图4是应用了本公开的实施方式的内容串流系统的配置图。
图5a是用于描述根据QT(四叉树)的块分割结构的图，图5b是用于描述根据BT(二叉树)的块分割结构的图，图5c是用于描述根据TT(三叉树)的块分割结构的图，图5d是用于描述根据AT(不对称树)的块分割结构的图。
图6和图7示出应用了本公开的实施方式，图6是编码设备中的变换和量化单元以及逆量化和逆变换单元的示意性框图，图7是解码设备中的逆量化和逆变换单元的示意性框图。
图8是示出执行自适应多变换(AMT)的处理的流程图。
图9是示出执行AMT的解码处理的流程图。
图10是示出根据本公开的实施方式的基于MTS的逆变换处理的流程图。
图11是根据本公开的实施方式的基于MTS执行解码的设备的框图。
图12和图13是示出作为应用了本公开的实施方式的应用二次变换的编码/解码的流程图。
图14和图15示出应用了本公开的实施方式，图14是用于描述Givens旋转的图，图15示出由Givens旋转层和置换组成的4×4不可分二次变换(NSST)中的一个回合的配置。
图16示出作为应用了本公开的实施方式的缩减二次变换(RST)的操作。
图17是示出作为应用了本公开的实施方式的以反向扫描顺序从第64系数到第17系数执行反向扫描的处理的图。
图18是示出作为应用了本公开的实施方式的使用单变换指示符(STI)进行编码的示例性流程图
图19是示出作为应用了本公开的实施方式的使用统一变换指示符(UTI)进行编码的示例性流程图。
图20是示出作为应用了本公开的实施方式的使用UTI进行编码的示例性流程图。
图21是示出作为应用了本公开的实施方式的用于执行变换的编码的示例性流程图。
图22是示出作为应用了本公开的实施方式的用于执行变换的解码的示例性流程图。
图23是示出作为应用了本公开的实施方式的编码设备100中的变换单元120的示例的详细框图。
图24是示出作为应用了本公开的实施方式的解码设备200中的逆变换单元230的示例的详细框图。
图25是作为应用了本公开的实施方式的处理视频信号的流程图。
图26是作为应用了本公开的实施方式的用于处理视频信号的设备的示例性框图。
具体实施方式
参照附图详细描述本公开的一些实施方式。要连同附图一起公开的详细描述旨在描述本公开的一些实施方式，而非旨在描述本公开的仅有实施方式。以下详细描述包括更多细节，以便提供本公开的全面理解。然而，本领域技术人员将理解，本公开可在没有这些更多细节的情况下实现。
在一些情况下，为了避免本公开的概念变得模糊，已知结构和装置被省略或者可基于各个结构和装置的核心功能以框图形式示出。
尽管本公开中使用的大多数术语选自本领域中广泛使用的一般术语，但是一些术语是申请人任意选择的，其含义根据需要在以下描述中详细说明。因此，本公开应该以术语的预期含义来理解，而非其简单名称或含义。
提供以下描述中使用的特定术语以帮助理解本公开，并且这些特定术语的使用可在不脱离本公开的技术精神的情况下以各种形式改变。例如，在各个编码处理中，信号、数据、样本、画面、帧、块等可适当地替换和解释。
在本说明书中，“处理单元”是指执行诸如预测、变换和/或量化的编码/解码处理的单元。此外，处理单元可被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可对应于块、编码单元(CU)、预测单元(PU)或变换单元(TU)。
另外，处理单元可被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可对应于用于亮度分量的编码树块(CTB)、编码块(CB)、PU或变换块(TB)。此外，处理单元可对应于用于色度分量的CTB、CB、PU或TB。此外，处理单元不限于此，可被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
另外，处理单元未必限于正方形块，可被配置成具有三个或更多个顶点的多边形形状。
此外，在本说明书中，像素被称为样本。另外，使用样本可意指使用像素值等。
图1示出作为应用了本公开的实施方式的视频编码系统的示例。
视频编码系统可包括源装置10和接收装置20。源装置10可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或串流的形式发送到接收装置20。
源装置10可包括视频源11、编码设备12和发送器13。接收装置20可包括接收器、解码设备22和渲染器23。编码设备12可被称为视频/图像编码设备，解码设备20可被称为视频/图像解码设备。发送器13可包括在编码设备12中。接收器21可包括在解码设备22中。渲染器23可包括显示器，并且该显示器可被配置成单独的装置或外部组件。
视频源可通过视频/图像捕获、组合或生成处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板、智能电话等，并且(电子地)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像，并且在这种情况下，视频/图像捕获处理可由相关数据生成处理代替。
编码设备12可对输入的视频/图像进行编码。为了压缩和编码效率，编码设备12可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器13可通过数字存储介质或网络将编码的视频/图像信息或以比特流的形式输出的数据以文件或串流的形式发送到接收装置接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。发送器13可包括用于通过预定文件格式生成媒体文件的元件以及用于通过广播/通信网络传输的元件。接收器21可提取比特流并将比特流发送到解码设备22。
解码设备22可通过执行与编码设备12的操作对应的诸如逆量化、逆变换和预测的一系列过程来将视频/图像解码。
渲染器23可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
图2是作为应用了本公开的实施方式的对视频/图像信号进行编码的编码设备的示意性框图。编码设备100可对应于图1的编码设备12。
图像划分单元110可将输入到编码设备100的输入图像(或画面或帧)划分成一个或更多个处理单元。例如，处理单元可被称为编码单元(CU)。在这种情况下，编码单元可根据四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如，可基于四叉树结构和/或二叉树结构将单个编码单元分割成具有更深深度的多个编码单元。在这种情况下，可首先应用四叉树结构，然后可应用二叉树结构。另选地，可首先应用二叉树结构。根据本公开的编码过程可基于不再分割的最终编码单元来执行。在这种情况下，最大编码单元可直接用作最终编码单元，或者编码单元可被递归地分割成具有更深深度的编码单元，并且可根据图像特性基于编码效率根据需要使用具有最优大小的编码单元作为最终编码单元。这里，编码过程可包括诸如预测、变换和重构的过程(将稍后描述)。另选地，处理单元还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编码单元分割或划分。预测单元可以是样本预测的单元，变换单元可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。
单元可与术语“块”或“区域”互换使用。通常，M×N块表示M列和N行的一组样本或变换系数。样本通常可表示像素或像素值，并且可表示仅亮度分量的像素/像素值或仅色度分量的像素/像素值。样本可用作与画面(图像)、像素或画素对应的术语。
编码设备100可通过从输入的视频信号(原始块或原始样本阵列)减去从帧间预测单元180或帧内预测单元185输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)，并且所生成的残差信号被发送到变换单元120。在这种情况下，如所示，在编码器100中从输入的视频信号(原始块或原始样本阵列)减去预测信号(预测块或预测样本阵列)的单元可被称为减法器115。预测器可对处理目标块(以下称为当前块)执行预测并相对于当前块生成包括预测样本的预测块。预测器可确定对当前块或CU单元应用帧内预测还是帧间预测。预测器可生成关于预测的各种类型的信息(例如，预测模式信息)，并将该信息发送到熵编码单元190，如稍后在各个预测模式的描述中描述的。关于预测的信息可在熵编码单元190中被编码并以比特流的形式输出。
帧内预测单元185可参考当前画面中的样本来预测当前块。根据预测模式，参考的样本可与当前块邻近，或者可与其分离。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的微细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这是示例性的，可根据设置使用数量等于或大于65或者等于或小于33的定向预测模式。帧内预测单元185可使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
帧间预测单元180可基于参考画面上的运动矢量所指定的参考块(参考样本阵列)相对于当前块推导预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可包括运动矢量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面可与包括时间邻近块的参考画面相同或不同。时间邻近块可被称为并置参考块或并置CU(colCU)，并且包括时间邻近块的参考画面可被称为并置画面(colPic)。例如，帧间预测单元180可基于邻近块形成运动信息候选列表，并且生成指示哪一候选用于推导当前块的运动矢量和/或参考画面索引的信息。可基于各种预测模式执行帧间预测，并且在跳过模式和合并模式的情况下，帧间预测单元180可使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可不发送残差信号。在运动矢量预测(MVP)模式的情况下，可通过使用邻近块的运动矢量作为运动矢量预测器并用信号通知运动矢量差来指示当前块的运动矢量。
通过帧间预测单元180或帧内预测单元185生成的预测信号可用于生成重构信号或残差信号。
变换单元120可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括DCT(离散余弦变换)、DST(离散正弦变换)、KLT(Karhunen-Loeve变换)、GBT(基于图的变换)和CNT(有条件非线性变换)中的至少一个。这里，GBT是指从表示关于像素之间的关系的信息的图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获得的变换。此外，变换处理可应用于具有相同大小的正方形像素块，或者应用于具有可变大小的非正方形块。
量化单元130可量化变换系数并将量化的变换系数发送到熵编码单元190，并且熵编码单元190可对量化的信号(关于量化的变换系数的信息)进行编码并将编码的信号作为比特流输出。关于量化的变换系数的信息可被称为残差信息。量化单元130可基于系数扫描顺序将块形式的量化的变换系数重排为一维矢量的形式，并且基于一维矢量形式的量化的变换系数来生成关于量化的变换系数的信息。例如，熵编码单元190可执行诸如指数Golomb、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)的各种编码方法。熵编码单元190可对视频/图像重构所需的信息(例如，句法元素的值等)与量化的变换系数一起或分开进行编码。编码的信息(例如，视频/图像信息)可按比特流的形式发送或存储在网络抽象层(NAL)单元中。比特流可通过网络发送或存储在数字存储介质中。这里，网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。发送从熵编码单元190输出的信号的发送器(未示出)和/或存储信号的存储装置(未示出)可被配置成编码设备100的内部/外部元件，并且发送器可以是熵编码单元190的组件。
从量化单元130输出的量化的变换系数可用于生成预测信号。例如，可通过经由环路中的逆量化单元140和逆变换单元150对量化的变换系数应用逆量化和逆变换来重构残差信号。加法器155可将重构的残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，使得可生成重构信号(重构画面、重构块或重构样本阵列)。当如应用跳过模式的情况一样相对于处理目标块不存在残差时，预测块可用作重构块。加法器155也可被称为重构单元或重构块生成器。所生成的重构信号可通过将稍后描述的滤波用于当前画面中的下一处理目标块的帧内预测或者用于下一画面的帧间预测。
滤波单元160可通过对重构信号应用滤波来改进主观/客观画面质量。例如，滤波单元160可通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面发送到解码画面缓冲器170。例如，各种滤波方法可包括解块滤波、样本自适应偏移、自适应环路滤波和双边滤波。滤波单元160可生成关于滤波的各种类型的信息并将该信息发送到熵编码单元190，如稍后将在各个滤波方法的描述中描述的。关于滤波的信息可在熵编码单元190中编码并以比特流的形式输出。
发送到解码画面缓冲器170的修改的重构画面可在帧间预测单元180中用作参考画面。因此，编码设备可避免编码设备100与解码设备之间不匹配，并且当应用帧间预测时改进编码效率。
解码画面缓冲器170可存储修改的重构画面，使得修改的重构画面在帧间预测单元180中用作参考画面。
图3是作为应用了本公开的实施方式的执行视频信号的解码的解码设备的示意性框图。图3的解码设备200对应于图1的解码设备22。
参照图3，解码设备200可包括熵解码单元210、逆量化单元220、逆变换单元230、加法器235、滤波单元240、解码画面缓冲器(DPB)250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可被统称为预测器。即，预测器可包括帧间预测单元180和帧内预测单元185。逆量化单元220和逆变换单元230可被统称为残差处理器。即，残差处理器可包括逆量化单元220和逆变换单元230。上述熵解码单元210、逆量化单元220、逆变换单元230、加法器235、滤波单元240、帧间预测单元260和帧内预测单元265可根据实施方式被配置成单个硬件组件(例如，解码器或处理器)。此外，解码画面缓冲器250可根据实施方式被配置成单个硬件组件(例如，存储器或数字存储介质)。
当输入包括视频/图像信息的比特流时，解码设备200可通过与图2的编码设备100中处理视频/图像信息的处理对应的处理来重构图像。例如，解码设备200可使用编码设备100中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编码单元，并且编码单元可根据四叉树结构和/或二叉树结构从编码树单元或最大编码单元分割。另外，由解码设备200解码和输出的重构视频信号可通过再现设备再现。
解码设备200可接收以比特流的形式从图2的编码设备100输出的信号，并且所接收的信号可通过熵解码单元210解码。例如，熵解码单元210可解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。例如，熵解码单元210可基于诸如指数Golomb、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的句法元素值和关于残差的变换系数的量化值。更具体地，CABAC熵解码方法接收与比特流中的各个句法元素对应的二进制位(bin)，使用解码目标句法元素信息以及邻近和解码目标块的解码信息或者关于在前一级中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率，并执行bin的算术解码以生成与各个句法元素值对应的符号。这里，CABAC熵解码方法可使用关于在确定上下文模型之后为下一符号/bin上下文模型解码的符号/bin的信息来更新上下文模型。熵解码单元210中解码的信息当中关于预测的信息可被提供给预测器(帧间预测单元260和帧内预测单元265)，并且熵解码单元210中已执行熵解码的残差值(即，量化的变换系数)和相关参数信息可被输入到逆量化单元220。此外，熵解码单元210中解码的信息当中关于滤波的信息可被提供给滤波单元240。此外，接收从编码设备100输出的信号的接收器(未示出)可被另外配置成解码设备200的内部/外部元件，或者接收器可以是熵解码单元210的组件。
逆量化单元220可对量化的变换系数进行逆量化以输出变换系数。逆量化单元220可按二维块的形式重排量化的变换系数。在这种情况下，可在编码设备100中基于系数扫描顺序执行重排。逆量化单元220可使用量化参数(例如，量化步长信息)对量化的变换系数执行逆量化并获取变换系数。
逆变换单元230对变换系数进行逆变换以获得残差信号(残差块或残差样本阵列)。
预测器可对当前块执行预测并相对于当前块生成包括预测样本的预测块。预测器可基于从熵解码单元210输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测，并确定特定帧内/帧间预测模式。
帧内预测单元265可参考当前画面中的样本来预测当前块。根据预测模式，参考的样本可与当前块邻近或者可与当前块分离。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测265可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元260可基于参考画面上的运动矢量所指定的参考块(参考样本阵列)相对于当前块推导预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。例如，帧间预测单元260可基于邻近块来形成运动信息候选列表，并基于所接收的候选选择信息来推导当前块的运动矢量和/或参考画面索引。可基于各种预测模式执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
加法器235可通过将所获得的残差信号与从帧间预测单元260或帧内预测单元265输出的预测信号(预测块或预测样本阵列)相加来生成重构信号(重构画面、重构块或重构样本阵列)。当如应用跳过模式的情况一样相对于处理目标块不存在残差时，预测块可用作重构块。
加法器235也可被称为重构单元或重构块生成器。所生成的重构信号可通过将稍后描述的滤波用于当前画面中的下一处理目标块的帧内预测或用于下一画面的帧间预测。
滤波单元240可通过对重构信号应用滤波来改进主观/客观画面质量。例如，滤波单元240可通过对重构画面应用各种滤波方法来生成修改的重构画面并将修改的重构画面发送到解码画面缓冲器250。例如，各种滤波方法可包括解块滤波、样本自适应偏移(SAO)、自适应环路滤波(ALF)和双边滤波。
发送到解码画面缓冲器250的修改的重构画面可被帧间预测单元260用作参考画面。
在本说明书中，编码设备100的滤波单元160、帧间预测单元180和帧内预测单元185中描述的实施方式可同样或以对应方式应用于解码设备的滤波单元240、帧间预测单元260和帧内预测单元265。
图4是作为应用了本公开的实施方式的内容串流系统的配置图。
应用了本公开的内容串流系统可包括编码服务器410、流服务器420、web服务器430、媒体存储装置440、用户设备450和多媒体输入装置460。
编码服务器410用于将从诸如智能电话、相机和摄像机的多媒体输入装置输入的内容压缩为数字数据以生成比特流并将该比特流发送到流服务器420。作为另一示例，当诸如智能电话、相机和摄像机的多媒体输入装置460直接生成比特流时，编码服务器410可被省略。
可通过应用了本公开的编码方法或比特流生成方法来生成比特流，并且流服务器420可在发送或接收比特流的处理中暂时存储比特流。
流服务器420基于用户请求通过web服务器430将多媒体数据发送到用户设备450，并且web服务器430用作告知用户服务的介质。当用户向web服务器430发送对期望的服务的请求时，web服务器430将请求传送至流服务器420并且流服务器420将多媒体数据发送到用户。这里，内容串流系统可包括附加控制服务器，并且在这种情况下，控制服务器用于控制内容串流系统中的装置之间的命令/响应。
流服务器420可从媒体存储装置440和/或编码服务器410接收内容。例如，当从编码服务器410接收内容时，流服务器420可实时接收内容。在这种情况下，流服务器420可将比特流存储预定时间，以便提供平滑的串流服务。
用户设备450的示例可包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、PDA(个人数字助理)、PMP(便携式多媒体播放器)、导航装置、石板PC、平板PC、超极本、可穿戴装置(例如，智能手表、智能眼镜和HMD(头戴式显示器))、数字TV、台式计算机、数字标牌等。
内容串流系统中的各个服务器可作为分布式服务器操作，并且在这种情况下，各个服务器接收的数据可按分布式方式处理。
图5a是用于描述根据QT(四叉树)的块分割结构的图，图5b是用于描述根据BT(二叉树)的块分割结构的图，图5c是用于描述根据TT(三叉树)的块分割结构的图。
在视频编码中，可基于QT来分割单个块。此外，可使用QT进一步递归地分割根据QT分割的单个子块。不再根据QT分割的叶块可使用BT、TT和AT中的至少一个来分割。BT可具有两种类型的分割：水平BT(2NxN、2NxN)；和垂直BT(Nx2N、Nx2N)。TT可具有两种类型的分割：水平TT(2Nx1/2N、2NxN、2Nx1/2N)；和垂直TT(1/2Nx2N、Nx2N、1/2Nx2N)。AT可具有四种类型的分割：水平上AT(2Nx1/2N、2Nx3/2N)；水平下AT(2Nx3/2N、2Nx1/2N)；垂直左AT(1/2Nx2N、3/2Nx2N)；和垂直右AT(3/2Nx2N、1/2Nx2N)。各个类型的BT、TT和AT可使用BT、TT和AT进一步递归地分割。
图5a示出QT分割的示例。块A可根据QT被分割成四个子块A0、A1、A2和A3。子块A1可根据QT被进一步分割成四个子块B0、B1、B2和B3。
图5b示出BT分割的示例。不再根据QT分割的块B3可被分割成垂直BT(C0和C1)或水平BT(D0和D1)。诸如块C0的各个子块可被进一步递归地分割成水平BT(E0和E1)或垂直BT(F0和F1)。
图5c示出TT分割的示例。不再根据QT分割的块B3可被分割成垂直TT(C0、C1和C2)或水平TT(D0、D1和D2)。诸如块C1的各个子块可被进一步递归地分割成水平TT(E0、E1和E2)或垂直TT(F0、F1和F2)。
图5d示出AT分割的示例。不再根据QT分割的块B3可被分割成垂直AT(C0和C1)或水平AT(D0和D1)。诸如块C1的各个子块可被进一步递归地分割成水平AT(E0和E1)或垂直TT(F0和F1)。
此外，BT、TT和AT分割可按组合方式使用。例如，根据BT分割的子块可根据TT或AT来分割。此外，根据TT分割的子块可根据BT或AT来分割。根据AT分割的子块可根据BT或TT来分割。例如，各个子块可在水平BT分割之后被分割成垂直BT，或者各个子块可在垂直BT分割之后被分割成水平BT。在这种情况下，尽管分割顺序不同，但最终分割的形状相同。
此外，当块被分割时，可按各种方式定义块搜索顺序。通常，从左至右、从上至下执行搜索，并且块搜索可意指确定各个分割的子块是否另外分割的顺序、当子块不再分割时子块的编码顺序、或者当子块参考邻近其它块的信息时的搜索顺序。
可对根据如图5a至图5d所示的分割结构分割的处理单元(或变换块)执行变换，具体地，可在行方向和列方向上执行分割，并且可应用变换矩阵。根据本公开的实施方式，可根据处理单元(或变换块)在行方向或列方向上的长度使用不同的变换类型。
对残差块应用变换以便尽可能将残差块去相关，将系数集中在低频上，并在块的末尾生成零尾部。JEM软件中的变换部包括两个主要功能(核心变换和二次变换)。核心变换由应用于残差块的所有行和列的离散余弦变换(DCT)和离散正弦变换(DST)变换族组成。此外，可另外对核心变换的输出的左上角应用二次变换。类似地，可按逆二次变换和逆核心变换的顺序应用逆变换。首先，可对系数块的左上角应用逆二次变换。然后，对逆二次变换的输出的行和列应用逆核心变换。核心变换或逆变换可被称为一次变换或逆变换。
图6和图7示出应用了本公开的实施方式，图6是编码设备100中的变换和量化单元120/130和逆量化和逆变换单元140/150的示意性框图，图7是解码设备200中的逆量化和逆变换单元220/230的示意性框图。
参照图6，变换和量化单元120/130可包括一次变换单元121、二次变换单元122和量化单元130。逆量化和逆变换单元140/150可包括逆量化单元140、逆二次变换单元151和逆一次变换单元152。
参照图7，逆量化和逆变换单元220/230可包括逆量化单元220、逆二次变换单元231和逆一次变换单元232。
在本公开中，可通过多个阶段执行变换。例如，可如图6所示应用一次变换和二次变换两个阶段，或者可根据算法使用超过两个变换阶段。这里，一次变换可被称为核心变换。
一次变换单元121可对残差信号应用一次变换。这里，可在编码器和/或解码器中作为表预定义一次变换。
二次变换单元122可对一次变换的信号应用二次变换。这里，可在编码器和/或解码器中作为表预定义二次变换。
在实施方式中，可作为二次变换有条件地应用不可分二次变换(NSST)。例如，NSST仅应用于帧内预测块，并且可具有每预测模式组适用的变换集。
这里，可基于相对于预测方向的对称性设定预测模式组。例如，预测模式52和预测模式16基于预测模式34(对角方向)对称，因此可生成一个组并且可对其应用相同的变换集。这里，当应用预测模式52的变换时，由于预测模式52的变换集与预测模式16相同，所以输入数据被转置，然后应用变换。
在平面模式和DC模式的情况下，相对于方向不存在对称性，因此它们具有各自的变换集并且对应变换集可由两个变换组成。对于剩余定向模式，各个变换集可由三个变换组成。
量化单元130可对二次变换的信号执行量化。
逆量化和逆变换单元140/150执行上述过程的逆过程，省略冗余描述。
图7是解码设备200中的逆量化和逆变换单元220/230的示意性框图。
参照图7，逆量化和逆变换单元220/230可包括逆量化单元220、逆二次变换单元231和逆一次变换单元232。
逆量化单元220使用量化步长信息从熵解码的信号获得变换系数。
逆二次变换单元231对变换系数执行逆二次变换。这里，逆二次变换是指图6中描述的二次变换的逆变换。
逆一次变换单元232对逆二次变换的信号(或块)执行逆一次变换并获得残差信号。这里，逆一次变换是指图6中描述的一次变换的逆变换。
除了应用于HEVC的DCT-2和4×4DST-4之外，自适应多变换或显示多变换(AMT或EMT)用于帧间和帧内编码的块的残差编码。除了HEVC中的变换之外，还使用选自DCT/DST族的多个变换。JEM中新引入的变换矩阵是DST-7、DCT-8、DST-1和DCT-5。下表1示出所选DST/DCT的基本函数。
[表1]
可对宽度和高度等于或小于64的CU应用EMT，并且是否应用EMT可由CU级别标志控制。当CU级别标志为0时，对CU应用DCT-2以便对残差进行编码。用信号通知两个附加标志以便标识要用于应用EMT的CU中的亮度编码块的水平和垂直变换。如HEVC中一样，在JEM中可在变换跳过模式下对块的残差进行编码。对于帧内残差编码，由于其它帧内预测模式的其它残差统计，使用依赖模式的变换候选选择处理。如下表2中所示定义三个变换子集，并且如表3中所示基于帧内预测模式选择变换子集。
[表2]
与子集概念一起，初始使用CU级别EMT_CU_flag为1的CU的帧内预测模式基于表2确认变换子集。此外，对于水平EMT_TU_horizontal_flag)和垂直(EMT_TU_vertical_flag)变换中的每一个，根据表3基于使用标志的显式信令选择确认的变换子集中的两个变换候选之一。
[表3]
[表4]
表4示出作为应用了本公开的实施方式的应用自适应多变换(AMT)的变换配置组。
参照表4，基于预测模式来确定变换配置组，并且组数可为6(G0至G5)。另外，G0至G4对应于应用帧内预测的情况，G5表示应用于根据帧间预测生成的残差块的变换组合(或变换集或变换组合集)。
一个变换组合可由应用于对应2D块的行的水平变换(或行变换)和应用于其列的垂直变换(或列变换)组成。
这里，各个变换配置组可具有四个变换组合候选。这四个变换组合候选可使用变换组合索引0至3来选择或确定，并且变换组合索引可被编码并从编码器发送到解码器。
在实施方式中，通过帧内预测获得的残差数据(或残差信号)可根据帧内预测模式具有不同的统计特性。因此，可如表4所示针对各个帧内预测应用正常余弦变换以外的变换。在本说明书中，例如，变换类型可被表示为DCT-Type 2、DCT-II或DCT-2。
参照表4，示出使用35个帧内预测模式的情况和使用67个帧内预测模式的情况。可针对各个帧内预测模式列中分类的各个变换配置组应用多个变换组合。例如，多个变换组合可由四个组合(行方向上的变换和列方向上的变换)组成。作为特定示例，可在行(水平)方向和列(垂直)方向二者上对组0应用DST-7和DCT-5，因此可总共应用四个组。
由于可对各个帧内预测模式应用总共四个变换核组合，所以可每变换单元发送用于从其中选择一个的变换组合索引。在本说明书中，变换组合索引可被称为AMT索引并且可由amt_idx表示。
此外，除了表4所示的变换核之外，由于残差信号的特性，可生成DCT-2对于行方向和列方向二者最优的情况。因此，可通过为各个编码单元定义AMT标志来自适应地应用变换。这里，当AMT标志为0时，DCT-2可应用于行方向和列方向二者，当AMT标志为1时，可通过AMT索引选择或确定四个组合之一。
在实施方式中，如果当AMT标志为0时对于一个变换单元，变换系数的数量少于3，则不应用表4的变换核，并且DST-7可应用于行方向和列方向二者。
在实施方式中，如果先前解析变换系数值，因此变换系数的数量少于3，则不解析AMT索引并且应用DST-7，因此附加信息的传输量可减少。
在实施方式中，仅当变换单元的宽度和高度二者均等于或小于32时，才可应用AMT。
在实施方式中，表4可通过离线训练预设。
在实施方式中，AMT索引可被定义为可指示水平变换和垂直变换的组合的一个索引。另选地，AMT索引可被定义为单独的水平变换索引和垂直变换索引。
图8是示出执行自适应多变换(AMT)的处理的流程图。
尽管在本说明书中基本描述了关于在水平方向和垂直方向上单独应用的可分变换的实施方式，但是变换组合可由不可分变换组成。
另选地，变换组合可被配置成可分变换和不可分变换的混合。在这种情况下，当使用可分变换时不需要行/列方式变换选择或水平/垂直方向上的选择，并且仅当选择可分变换时才可使用表4的变换组合。
另外，可应用本说明书中提出的方法，而不管一次变换和二次变换如何。即，方法可应用于这两种变换。这里，一次变换可指初始变换残差块的变换，二次变换可指对作为一次变换的结果生成的块应用变换的变换。
首先，编码设备100可确定与当前块对应的变换组(S805)。这里，变换组可指表4的变换组，但本公开不限于此，变换组可由其它变换组合组成。
编码设备100可对变换组中的可用候选变换组合执行变换(S810)。作为变换的结果，编码设备100可确定或选择具有最低率失真(RD)成本的变换组合(S815)。编码设备100可对与所选变换组合对应的变换组合索引进行编码(S820)。
图9是示出执行AMT的解码处理的流程图。
首先，解码设备200可确定当前块的变换组(S905)。解码设备200可解析变换组合索引，并且该变换组合索引可对应于变换组中的多个变换组合之一(S910)。解码设备200可推导与变换组合索引对应的变换组合(S915)。这里，尽管变换组合可指表4所示的变换组合，但本公开不限于此。即，变换组合可被配置成其它变换组合。
解码设备200可基于变换组合对当前块执行逆变换(S920)。当变换组合由行变换和列变换组成时，可应用行变换，然后可应用列变换。然而，本公开不限于此，可在应用列变换之后应用行变换，并且当变换组合由不可分变换组成时，不可分变换可立即应用。
在另一实施方式中，确定变换组的处理和解析变换组合索引的处理可同时执行。
在本公开的实施方式中，上述术语“AMT”可被重新定义为“多变换集或多变换选择(MTS)”。在通用视频编码(VVC)JVET-K1001-v4中总结了下面描述的MTS相关句法和语义。
在本公开的实施方式中，两个MTS候选可用于定向模式并且四个MTS候选可用于非定向模式如下。
A)非定向模式(DC和平面)
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
当MTS索引为2时，DCT-8用于垂直变换并且DST-7用于水平变换。
当MTS索引为3时，DCT-8用于水平和垂直变换。
B)属于水平组模式的模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DCT-8用于垂直变换并且DST-7用于水平变换。
C)属于垂直组模式的模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
这里(在使用67个模式的VTM 2.0中)，水平组模式包括帧内预测模式2至34，并且垂直模式包括帧内预测模式35至66。
在本公开的另一实施方式中，三个MTS候选用于所有帧内预测模式。
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
当MTS索引为2时，DCT-8用于垂直变换并且DST-7用于水平变换。
在本公开的另一实施方式中，两个MTS候选用于定向预测模式，并且三个MTS候选用于非定向模式。
A)非定向模式(DC和平面)
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
当MTS索引为2时，DCT-8用于垂直变换并且DST-7用于水平变换。
B)与水平组模式对应的预测模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DCT-8用于垂直变换并且DST-7用于水平变换。
C)与垂直组模式对应的预测模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
在本公开的另一实施方式中，一个MTS候选(例如，DST-7)可用于所有帧内模式。在这种情况下，编码时间可减少40％，而编码损失很小。另外，一个标志可用于在DCT-2和DST-7之间指示。
图10是示出根据本公开的实施方式的基于MTS的逆变换处理的流程图。
应用了本公开的解码设备200可获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1005)。这里，sps_mts_intra_enabled_flag指示帧内编码单元的残差编码句法中是否存在cu_mts_flag。例如，如果sps_mts_intra_enabled_flag＝0，则帧内编码单元的残差编码句法中不存在cu_mts_flag，如果sps_mts_intra_enabled_flag＝1，则帧内编码单元的残差编码句法中存在cu_mts_flag。另外，sps_mts_inter_enabled_flag指示帧间编码单元的残差编码句法中是否存在cu_mts_flag。例如，如果sps_mts_inter_enabled_flag＝0，则帧间编码单元的残差编码句法中不存在cu_mts_flag，如果sps_mts_inter_enabled_flag＝1，则帧间编码单元的残差编码句法中存在cu_mts_flag。
解码设备200可基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得cu_mts_flag(S1010)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码设备200可获得cu_mts_flag。这里，cu_mts_flag指示是否对亮度变换块的残差样本应用MTS。例如，如果cu_mts_flag＝0，则不对亮度变换块的残差样本应用MTS，如果cu_mts_flag＝1，则对亮度变换块的残差样本应用MTS。
解码设备200可基于cu_mts_flag获得mts_idx(S1015)。例如，当cu_mts_flag＝1时，解码设备200可获得mts_idx。这里，mts_idx指示在水平方向和/或垂直方向上对当前变换块的亮度残差样本应用哪一变换核。
例如，本说明书中描述的实施方式中的至少一个可应用于mts_idx。
解码设备200可推导与mts_idx对应的变换核(S1020)。例如，与mts_idx对应的变换核可被单独地定义为水平变换和垂直变换。
例如，当对当前块应用MTS(即，cu_mts_flag＝1)时，解码设备200可基于当前块的帧内预测模式来配置MTS候选。在这种情况下，图10的解码流程图还可包括配置MTS候选的步骤。然后，解码设备200可使用mts_idx从配置的MTS候选当中确定要应用于当前块的MTS候选。
作为另一示例，不同变换核可应用于水平变换和垂直变换。然而，本公开不限于此，相同的变换核可应用于水平变换和垂直变换。
解码设备200可基于变换核执行逆变换(S1025)。
此外，在本说明书中，MTS可被表示为AMT或EMT，并且mts_idx可被表示为AMT_idx、EMT_idx、AMT_TU_idx、EMT_TU_idx等，但本公开不限于此。
图11是根据本公开的实施方式的基于MTS执行解码的设备的框图。
应用了本公开的解码设备200可包括序列参数获取单元1105、MTS标志获取单元1110、MTS索引获取单元1115和变换核推导单元1120。
序列参数获取单元1105可获取sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag。这里，sps_mts_intra_enabled_flag指示帧内编码单元的残差编码句法中是否存在cu_mts_flag，sps_mts_inter_enabled_flag指示帧间编码单元的残差编码句法中是否存在cu_mts_flag。参照图10的描述可应用于特定示例。
MTS标志获取单元1110可基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获取cu_mts_flag。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，MTS标志获取单元1110可获取cu_mts_flag。这里，cu_mts_flag指示是否对亮度变换块的残差样本应用MTS。参照图10的描述可应用于特定示例。
MTS索引获取单元1115可基于cu_mts_flag获取mts_idx。例如，当cu_mts_flag＝1时，MTS索引获取单元1115可获取mts_idx。这里，mts_idx指示在水平方向和/或垂直方向上对当前变换块的亮度残差样本应用哪一变换核。参照图10的描述可应用于特定示例。
变换核推导单元1120可推导与mts_idx对应的变换核。然后，解码设备200可基于所推导的变换核执行逆变换。
引入依赖模式的不可分二次变换(MDNSST)。为了维持低复杂度，在一次变换之后仅对低频系数应用MDNSST。此外，主要应用于低频系数的不可分变换可被称为LFNST(低频不可分变换)。如果变换系数块的宽度(W)和高度(H)二者等于或大于8，则对变换系数块的8×8左上区域应用8×8不可分二次变换。如果宽度或高度小于8，则应用4×4不可分二次变换，并且可对变换系数块的左上min(8,W)×min(8,H)执行4×4不可分二次变换。这里，min(A,B)是输出A和B之间的较小值的函数。此外，W×H是块大小，W表示宽度，H表示高度。
对于块大小4×4和8×8，可存在总共35×3不可分二次变换。这里，35是帧内预测模式所指定的变换集的数量，3是各个预测模式的NSST候选的数量。从帧内预测模式到变换集的映射可定义于下表5中。
[表5]
为了指示变换集当中的变换核，可对NSST索引(NSST idx)进行编码。当未应用NSST时，用信号通知等于0的NSST索引。
图12和图13是示出作为应用了本公开的实施方式的应用二次变换的编码/解码的流程图。
在JEM中，对于以变换跳过模式编码的块，不应用二次变换(MDNSST)。当对于CU用信号通知MDNSST索引并且其不等于零时，MDNSST不用于CU中以变换跳过模式编码的组件的块。图12和图13中示出包括系数编码和NSST索引编码的总编码结构。CBF标志被编码以确定是否执行系数编码和NSST编码。在图12和图13中，CBF标志可表示亮度块cbg标志(cbf_luma标志)或色度块cbf标志(cbf_cb标志或cbf_cr标志)。当CBF标志为1时，变换系数被编码。
参照图12，编码设备100检查CBF是否为1(S1205)。如果CBF为0，则编码设备100不执行变换系数编码和NSST索引编码。如果CBF为1，则编码设备100对变换系数执行编码(S1210)。此外，编码设备100确定是否执行NSST索引编码(S1215)并执行NSST索引编码(S1220)。当不应用NSST索引编码时，编码设备100可结束变换过程而不应用NSST，并且执行后续步骤(例如，量化)。
参照图13，解码设备200检查CBF是否为1(S1305)。如果CBF为0，则解码设备200不执行变换系数解码和NSST索引解码。如果CBF为1，则解码设备200对变换系数执行解码(S1310)。此外，解码设备200确定是否执行NSST索引编码(S1315)并解析NSST索引(S1320)。
可对8×8或4×4左上区域应用NSST，而非对已应用一次变换的整个块(在HEVC的情况下，TU)应用。例如，当块大小为8×8或更大时可应用8×8NSST，当块大小小于8×8时可应用4×4NSST。此外，当应用8×8NSST时，可每4×4块应用4×4NSST。8×8NSST和4×4NSST二者可根据上述变换集配置来确定，并且8×8NSST可具有64条输入数据和64条输出数据，4×4NSST可具有16个输入和16个输出，因为它们是不可分变换。
图14和图15示出应用了本公开的实施方式，图14是用于描述Givens旋转的图，图15示出由Givens旋转层和置换组成的4×4NSST中的一个回合的配置。
8×8NSST和4×4NSST二者可被配置成Givens旋转的层次组合。与一个Givens旋转对应的矩阵被表示为数学表达式1，矩阵乘积被表示为图14。
[数学表达式1]
在图14中，根据Givens旋转输出的tm和tn可如数学表达式2所表示计算。
[数学表达式2]
tm＝xm cosθ-xn sinθ
tn＝xm sinθ+xn cosθ
由于Givens旋转如图14所示旋转两条数据，所以需要32或8个Givens旋转以处理64(在8×8NSST的情况下)或16(在4×4NSST的情况下)条数据。因此，一组32或8个Givens旋转可形成Givens旋转层。如图15所示，通过置换(混排)发送一个Givens旋转层的输出数据作为下一Givens旋转层的输入数据。规则地定义如图15所示置换的图案，在4×3NSST的情况下，四个Givens旋转层和对应置换形成一个回合。通过两个回合执行4×4NSST，通过四个回合执行8×8NSST。尽管不同的回合使用相同的置换图案，但所应用的Givens旋转角度不同。因此，需要存储构成各个置换的所有Givens旋转的角度数据。
作为最后步骤，最后对通过Givens旋转层输出的数据执行另一个置换，并且针对各个置换单独地存储关于对应置换的信息。在正向NSST的末尾执行对应置换，并且在逆NSST中初始应用对应反向置换。
反向NSST反向地执行对正向NSST应用的Givens旋转层和置换，并且通过对各个Given旋转角度取负值来执行旋转。
RST(缩减二次变换)
图16示出作为应用了本公开的实施方式的RST的操作。
当表示变换的正交矩阵为N×N时，缩减变换(RT)仅留下N个变换基本矢量中的R个(R<N)。关于生成变换系数的正向RT的矩阵可由数学表达式3定义。
[数学表达式3]
由于关于反向RT的矩阵是正向RT矩阵的转置矩阵，所以如图16的(a)和(b)所示图示化了正向RT和反向RT的应用。
对已应用一次变换的变换系数块的8×8左上块应用的RT可被称为8×8RST。当在数学表达式3中R被设定为16时，正向8×8RST具有16×64矩阵的形式，反向8×8RST具有64×16矩阵的形式。此外，如表5所示的变换集配置可应用于8×8RST。即，可如表5所示根据帧内预测模式基于变换集确定8×8RST。由于一个变换集根据帧内预测模式由两个或三个变换组成，所以可选择包括不应用二次变换的情况的最多四个变换之一(一个变换可对应于各向异性矩阵)。当索引0、1、2和3被指派给四个变换时，可通过用信号通知与各个变换系数块的NSST索引对应的句法元素来指定要应用的变换。例如，索引9可被指派给各向异性矩阵，即，不应用二次变换的情况。因此，通过NSST索引为8×8左上块，可根据JEM NSST指定8×8NSST并且可根据RST配置指定8×8RST。
图17是示出作为应用了本公开的实施方式的以反向扫描顺序从第64系数到第17系数执行反向扫描的处理的图。
当应用如数学表达式3表示的8×8RST时，生成16个有效变换系数，因此构成8×8区域的64条输入数据缩减为16条输出数据，并且根据二维区域的角度，仅四分之一区域由有效变换系数填充。因此，通过应用正向8×8RST而获得的16条输出数据填充图17的左上区域。
在图17中，4×4左上区域成为由有效变换系数填充的感兴趣区域(ROI)，剩余区域是空的。空区域可填充0作为默认值。如果在图17的ROI以外的区域中发现非零有效变换系数，则还未明确地应用8×8RST，因此对于对应NSST索引，可省略对应编码。另一方面，如果在图17的ROI以外的区域中未发现非零有效变换系数(应用8×8RST或者ROI以外的区域填充0)，则由于可能应用8×8RST，所以NSST索引可被编码。这种有条件NSST索引编码需要检查是否存在非零变换系数，因此可在残差编码处理之后执行。
图18是示出作为应用了本公开的实施方式的使用单变换指示符进行编码的示例性流程图。
在本公开的实施方式中，引入了单变换指示符(STI)。当STI被启用(STI编码＝＝1)时可应用单个变换，而非顺序地使用两个变换(一次变换和二次变换)。这里，单个变换可以是任何类型的变换。例如，单个变换可以是可分变换或不可分变换。单个变换可以是从不可分变换近似的变换。当STI已被启用时，可用信号通知单变换索引(图18中的ST_idx)。这里，单变换索引可指示可用变换候选当中要应用的变换。
参照图18，编码设备100确定CBF是否为1(S1805)。当CBF为1时，编码设备100确定是否应用STI编码(S1810)。当应用STI编码时，编码设备100对STI索引STI_idx进行编码(S1845)并对变换系数执行编码(S1850)。当未应用STI编码时，编码设备100对指示是否在CU级别应用EMT(或MTS)的标志EMT_CU_Flag进行编码(S1815)。此外，编码设备100对变换系数执行编码(S1820)。然后，编码设备100确定是否对变换单元(TU)应用EMT(S1825)。当对TU应用EMT时，编码设备100对应用于TU的一次变换索引EMT_TU Idx进行编码(S1830)。随后，编码设备100确定是否应用NSST(S1835)。当应用NSST时，编码设备100对指示要应用的NSST的索引NSST_Idx进行编码(S1840)。
在示例中，如果满足/启用单变换编码条件(例如，STI_coding＝＝1)，则可隐含地推导单变换索引ST_Idx，而非用信号通知。可基于块大小和帧内预测模式隐含地确定ST_idx。这里，ST_Idx可指示应用于当前变换块的变换(或变换核)。
如果满足以下条件中的一个或更多个，则可启用STI(STI_coding＝＝1)。
1)块大小对应于诸如4或8的预定值。
2)块宽度＝＝块高度(正方形块)
3)帧内预测模式是诸如DC和平面模式的预定模式之一。
在另一示例中，可用信号通知STI编码标志以便指示是否应用单个变换。可基于STI编码值和CBF用信号通知STI编码标志。例如，当CBF为1并且启用STI编码时，可用信号通知STI编码标志。此外，可考虑块大小、块形状(正方形块或非正方形块)或帧内预测模式有条件地用信号通知STI编码标志。
为了使用在系数编码期间获取的信息，可在系数编码之后确定ST_idx。在示例中，可基于块大小、帧内预测模式和非零系数的数量隐含地确定ST_idx。在另一示例中，可基于块大小、块形状、帧内预测模式和/或非零系数的数量有条件地编码/解码ST_idx。在另一示例中，可根据非零系数的分布(即，非零系数的位置)省略ST_idx信令。具体地，当在4×4左上区域以外的区域中发现非零系数时，可省略ST_idx信令。
图19是示出作为应用了本公开的实施方式的使用统一变换指示符(UTI)进行编码的示例性流程图。
在本公开的实施方式中，引入了统一变换指示符。UTI包括一次变换指示符和二次变换指示符。
参照图19，编码设备100确定CBF是否为1(S1905)。当CBF为1时，编码设备100确定是否应用UTI编码(S1910)。当应用UTI编码时，编码设备100对UTI索引UTI_idx进行编码(S1945)并对变换系数执行编码(S1950)。当未应用UTI编码时，编码设备100对指示是否在CU级别应用EMT(或MTS)的标志EMT_CU_Flag进行编码(S1915)。此外，编码设备100对变换系数执行编码(S1920)。然后，编码设备100确定是否对变换单元(TU)应用EMT(S1925)。当对TU应用EMT时，编码设备100对应用于TU的一次变换索引EMT_TU Idx进行编码(S1930)。随后，编码设备100确定是否应用NSST(S1935)。当应用NSST时，编码设备100对指示要应用的NSST的索引NSST_Idx进行编码(S1940)。
可针对各个预定单元(CTU或CU)对UTI进行编码。
UTI编码模式可取决于以下条件。
1)块大小
2)块形状
3)帧内预测模式
预先定义如何从UTI推导/提取核心变换索引。预先定义如何从UTI推导/提取二次变换索引。
可选地，可使用UTI的句法结构。UTI可取决于CU(TU)大小。例如，较小的CU(TU)可具有较窄范围内的UTI索引。在示例中，如果满足预定义的条件(例如，块大小小于预定义的阈值)，则UTI可仅指示核心变换索引。
[表6]
UTI索引 二值化(FLC) 核心变换Idx 二次变换Idx
0 00000 0 0
1 00001 0 1
2 00010 0 2
3 00011 0 3
4 00100 1 0
5 00101 1 1
6 00110 1 2
7 00111 1 3
… … … …
31 11111 5 3
在另一示例中，当指示不使用二次变换(例如，二次变换索引＝＝0或二次变换已经预定)时，UTI索引可被视为核心变换索引。以相同的方式，当核心变换索引被视为已知时，UTI索引可被视为二次变换索引。具体地，考虑帧内预测模式和块大小，可使用预定核心变换。
图20是示出作为应用了本公开的实施方式的使用UTI进行编码的两个示例性流程图。
在另一示例中，变换编码结构可如图20所示使用UTI索引编码。这里，UTI索引可比系数编码早或比系数编码晚编码。
参照图20的左图，编码设备100检查CBF是否为1(S2005)。当CBF为1时，编码设备100对UTI索引UTI_idx进行编码(S2010)并对变换系数执行编码(S2015)。
参照图20的右图，编码设备100检查CBF是否为1(S2055)。当CBF为1时，编码设备100对变换系数执行编码(S2060)并对UTI索引UTI_idx进行编码(S2065)。
在本公开的另一实施方式中，引入了变换指示符的数据隐藏和隐式编码方法。这里，变换指示符可包括ST_idx、UTI_idx、EMT_CU_Flag、EMT_TU_Flag、NSST_Idx以及可用于指示变换核的任何种类的变换相关索引。上述变换指示符可不用信号通知，而是可在系数编码处理中插入对应信息(可系数编码处理期间提取)。系数编码处理可包括以下部分。
-Last_position_x，Last_position_y
-组标志
-重要图
-Greather_than_1标志
-Greather_than_2标志
-剩余级别编码
-符号编码
例如，可在上述系数编码处理中的一个或更多个中插入变换指示符信息。为了插入变换指示符信息，可联合考虑以下内容。
符号编码的图案
剩余级别的绝对值
Greather_than_1标志的数量
Last_position_X和Last_position_Y的值
可有条件地考虑上述数据隐藏方法。例如，数据隐藏方法可取决于非零系数的数量。
在另一示例中，NSST_idx和EMT_idx可以是依赖的。例如，当EMT_CU_Flag等于零(或一)时，NSST_idx可不为零。在这种情况下，可用信号通知NSST_idx-1，而非NSST_idx。
在本公开的另一实施方式中，如下表7所示引入基于帧内预测模式的NSST变换集映射。尽管下面作为不可分变换的示例描述了NSST，但另一已知术语(例如，LFNST)可用于不可分变换。例如，NSST集和NSST索引可由LFNST集和LFNST索引代替。此外，本说明书中描述的RST也可由LFNST代替，作为使用应用于变换块的至少一个区域(4×4或8×8左上区域或8×8块中4×4右下区域以外的区域)的正方形不可分变换矩阵中具有缩减输入长度和/或缩减输出长度的非正方形变换矩阵的不可分变换(例如，LFNST)的示例。
[表7]
NSST集数量可如表8所示从0至3重排。
[表8]
在NSST变换集中，仅使用四个变换集(而非35个)，以使得所需存储器空间可减小。
另外，每变换集的各种数量的变换核可如下使用。
情况A：使用每个变换集两个可用变换核，以使得NSST索引范围从0至2。例如，当NSST索引为0时，可不应用二次变换(基于解码器的逆二次变换)。当NSST索引为1或2时，可应用二次变换。变换集可包括可映射索引1或2的两个变换核。
[表9]
参照表9，两个变换核用于不可分变换(NSST或LFNST)集0至3中的每一个。
情况B：两个可用变换核用于变换集0，一个用于其它。变换集0(DC和平面)的可用NSST索引为0至2。然而，其它模式(变换集1、2和3)的NSST索引为0至1。
[表10]
参照表10，为与索引0对应的不可分变换(NSST)集设定两个不可分变换核，为与索引1、2和3对应的不可分变换(NSST)集中的每一个设定一个不可分变换核。
情况C：每变换核使用一个变换核，并且NSST索引范围为0至1。
[表11]
图21是示出作为应用了本公开的实施方式的用于执行变换的编码的示例性流程图。
编码设备100对残差块执行一次变换(S2105)。一次变换可被称为核心变换。作为实施方式，编码设备100可使用上述MTS执行一次变换。此外，编码设备100可向解码设备200发送指示MTS候选当中的特定MTS的MTS索引。这里，可基于当前块的帧内预测模式来配置MTS候选。
编码设备100确定是否应用二次变换(S2110)。例如，编码设备100可基于一次变换的残差块的变换系数来确定是否应用二次变换。例如，二次变换可以是NSST或RST。
编码设备100确定二次变换(S2115)。这里，编码设备100可基于根据帧内预测模式指定的NSST(或RST)变换集来确定二次变换。
例如，编码设备100可在步骤S2115之前基于当前块的大小来确定将应用二次变换的区域。
编码设备100执行在步骤S2115中确定的二次变换(S2120)。
图22是示出作为应用了本公开的实施方式的用于执行变换的解码的示例性流程图。
解码设备200确定是否应用逆二次变换(S2205)。例如，逆二次变换可以是NSST或RST。例如，解码设备200可基于从编码设备100接收的二次变换标志来确定是否应用逆二次变换。
解码设备200确定逆二次变换(S2210)。这里，解码设备200可基于根据上述帧内预测模式指定的NSST(或RST)变换集来确定应用于当前块的逆二次变换。
此外，例如，解码设备200可在步骤S2210之前基于当前块的大小来确定将应用逆二次变换的区域。
解码设备200使用在步骤S2210中确定的逆二次变换对逆量化的残差块执行逆二次变换(S2215)。
解码设备对逆二次变换的残差块执行逆一次变换(S2220)。逆一次变换可被称为逆核心变换。在实施方式中，解码设备200可使用上述MTS执行逆一次变换。此外，作为示例，解码设备200可在步骤S2220之前确定是否对当前块应用MTS。在这种情况下，图22的解码流程图还可包括确定是否应用MTS的步骤。
例如，当对当前块应用MTS(即，cu_mts_flag＝1)时，解码设备200可基于当前块的帧内预测模式来配置MTS候选。在这种情况下，图22的解码流程图还可包括配置MTS候选的步骤。另外，解码设备200可使用指示所配置的MTS候选当中的特定MTS的mtx_idx来确定应用于当前块的逆一次变换。
图23是作为应用了本公开的实施方式的编码设备100中的变换单元120的详细框图。
应用了本公开的实施方式的编码设备100可包括一次变换单元2310、二次变换应用确定单元2320、二次变换确定单元2330和二次变换单元2340。
一次变换单元2310可对残差块执行一次变换。一次变换可被称为核心变换。作为实施方式，一次变换单元2310可使用上述MTS执行一次变换。此外，一次变换单元2310可向解码设备200发送指示MTS候选当中的特定MTS的MTS索引。这里，可基于当前块的帧内预测模式来配置MTS候选。
二次变换应用确定单元2320可确定是否应用二次变换。例如，二次变换应用确定单元2320可基于一次变换的残差块的变换系数来确定是否应用二次变换。例如，二次变换可以是NSST或RST。
二次变换确定单元2330确定二次变换。这里，二次变换确定单元2330可如上所述基于根据帧内预测模式指定的NSST(或RST)变换集来确定二次变换。
例如，二次变换确定单元2330可基于当前块的大小来确定将应用二次变换的区域。
二次变换单元2340可执行所确定的二次变换。
图24是作为应用了本公开的实施方式的解码设备200中的逆变换单元230的详细框图。
应用了本公开的解码设备200包括逆二次变换应用确定单元2410、逆二次变换确定单元2420、逆二次变换单元2430和逆一次变换单元2440。
逆二次变换应用确定单元2410可确定是否应用逆二次变换。例如，逆二次变换可以是NSST或RST。例如，逆二次变换应用确定单元2410可基于从编码设备100接收的二次变换标志来确定是否应用逆二次变换。
逆二次变换确定单元2420可确定逆二次变换。这里，逆二次变换确定单元2420可基于根据帧内预测模式指定的NSST(或RST)变换集来确定应用于当前块的逆二次变换。
此外，例如，逆二次变换确定单元2420可基于当前块的大小来确定将应用逆二次变换的区域。
逆二次变换单元2430可使用所确定的逆二次变换对逆量化的残差块执行逆二次变换。
逆一次变换单元2440可对逆二次变换的残差块执行逆一次变换。在实施方式中，逆一次变换单元2440可使用上述MTS来执行逆一次变换。此外，作为示例，逆一次变换单元2440可确定是否对当前块应用的MTS。
例如，当对当前块应用MTS(即，cu_mts_flag＝1)时，逆一次变换单元2440可基于当前块的帧内预测模式来配置MTS候选。另外，逆一次变换单元2440可使用指示所配置的MTS候选当中的特定MTS的mtx_idx来确定应用于当前块的逆一次变换。
图25是作为应用了本公开的实施方式的处理视频信号的流程图。图25的流程图的处理可由解码设备200或逆变换单元230执行。
首先，解码设备200可基于不可分变换索引以及当前块的宽度和高度来确定是否对当前块应用反向不可分变换。例如，如果不可分变换索引不为0并且当前块的宽度和高度等于或大于4，则解码设备200可确定应用不可分变换。如果不可分变换索引为0或者当前块的宽度或高度小于4，则解码设备200可省略反向不可分变换并执行逆一次变换。
在步骤S2505中，解码设备200确定指示基于当前块的帧内预测模式预定义的不可分变换集当中用于当前块的不可分变换的不可分变换集的不可分变换集索引。可设定不可分变换集索引，使得其被分配给根据帧内预测模式的范围配置的四个变换集中的每一个，如表7或表8所示。即，当帧内预测模式为0和1时，不可分变换集索引可被确定为第一索引值，当帧内预测模式为2至12或56至66时确定为第二索引值，当帧内预测模式为13至23或45至55时确定为第三索引值，当帧内预测模式为24至44时确定为第四索引值，如表7或表8所示。
这里，各个预定义的不可分变换集可包括两个变换核，如表9所示。此外，各个预定义的不可分变换集可包括一个或两个变换核，如表10或表11所示。
在步骤S2510中，解码设备200从不可分变换集索引所指示的不可分变换集中所包括的变换核当中确定当前块的不可分变换索引所指示的变换核作为不可分变换矩阵。例如，可为各个不可分变换集索引值配置两个不可分变换核，并且解码设备200可在与不可分变换集索引对应的两个变换矩阵核之间基于不可分变换索引所指示的变换核来确定不可分变换矩阵。
在步骤S2515中，解码设备200将不可分变换矩阵应用于基于当前块的宽度和高度确定的当前块的左上区域。例如，如果当前块的宽度和高度二者等于或大于8，则可对当前块的8×8左上区域应用不可分变换，如果当前块的宽度或高度小于8，则可对当前块的4×4区域应用不可分变换。响应于将应用不可分变换的区域，不可分变换的大小也可被设定为8×8或4×4。
此外，解码设备200可对已应用不可分变换的当前块应用水平变换和垂直变换。这里，可基于用于选择预测模式的MTS索引和应用于当前块的变换矩阵来确定水平变换和垂直变换。
图26是作为应用了本公开的实施方式的用于处理视频信号的设备的示例性框图。图26所示的视频信号处理设备可对应于图1的编码设备或图2的解码设备。
用于处理视频信号的视频处理设备2600包括存储视频信号的存储器2620以及与存储器组合并处理视频信号的处理器2610。
根据本公开的实施方式的处理器2610可被配置成用于视频信号处理的至少一个处理电路，并且可通过执行对视频信号进行编码或解码的命令来处理视频信号。即，处理器2610可通过执行上述编码或解码方法来对原始视频数据进行编码或对编码的视频信号进行解码。
此外，应用了本公开的处理方法可按照由计算机执行并存储在计算机可读记录介质中的程序的形式制造。具有根据本公开的数据结构的多媒体数据也可存储在计算机可读记录介质中。计算机可读记录介质包括存储有可由计算机读取的数据的所有类型的存储装置和分布式存储装置。例如，计算机可读记录介质可包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网的传输)。此外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中，或者可经由有线/无线通信网络发送。
此外，本公开的实施方式可根据程序代码被实现为计算机程序产品，并且程序代码可根据本公开的实施方式在计算机中执行。程序代码可被存储在计算机可读载体上。
如上所述，本公开的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，各个图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。
此外，应用了本公开的解码器和编码器可包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频系统、数字影院视频系统、监视相机、视频会话设备、实时通信设备(例如，视频通信)、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供设备、机顶盒视频(OTT)视频系统、互联网串流服务提供设备、3D视频系统、视频电话视频系统、医疗视频系统等中，并且可用于处理视频信号或数据信号。例如，OTT视频系统可包括游戏机、蓝光播放器、互联网访问TV、家庭影院系统、智能电话、平板PC、数字视频记录仪(DVR)等。
此外，应用了本公开的处理方法可按照由计算机执行并存储在计算机可读记录介质中的程序的形式制造。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储有可由计算机读取的数据的所有类型的存储装置和分布式存储装置。例如，计算机可读记录介质可包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网的传输)。此外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中，或者可经由有线/无线通信网络发送。
此外，本公开的实施方式可根据程序代码被实现为计算机程序产品，并且程序代码可根据本公开的实施方式在计算机中执行。程序代码可被存储在计算机可读载体上。
上述实施方式是本公开的元素和特征的组合。除非另外提及，否则元素或特征可被视为选择性的。各个元素或特征可在不与其它元素或特征组合的情况下实践。此外，可通过将部分元素和/或特征组合来构造本公开的实施方式。本公开的实施方式中描述的操作顺序可重排。任一个实施方式的一些构造可包括在另一实施方式中，并且可由另一实施方式的对应构造代替。对于本领域技术人员而言显而易见的是，所附权利要求中未明确彼此引用的权利要求可作为示例性实施方式组合呈现，或者在提交申请之后通过后续修改作为新权利要求包括。
本公开的实现方式可通过例如硬件、固件、软件或其组合的各种手段来实现。在硬件配置中，根据本公开的实现方式的方法可由一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等实现。
在固件或软件配置中，本公开的实现方式可按模块、过程、功能等的形式实现。软件代码可被存储在存储器中并由处理器执行。存储器可位于处理器的内部或外部并且可经由各种已知手段向处理器发送数据以及从处理器接收数据。
本领域技术人员将理解，在不脱离本公开的精神和基本特性的情况下，本公开可按本文所阐述的那些方式以外的其它特定方式实现。因此，上述实施方式因此在所有方面均被解释为例示性的而非限制性的。本公开的范围应该由所附权利要求及其法律上的等同物，而非由以上描述确定，并且落入所附权利要求的含义和等同范围内的所有改变旨在被涵盖于其中。
工业实用性
尽管出于例示性目的描述了本公开的示例性方面，但是本领域技术人员将理解，在不脱离本公开的基本特性的情况下，可进行各种修改、添加和替换。

Claims (9)

1.一种用于对图像信号进行解码的方法，该方法包括以下步骤：
对当前块执行逆量化；
基于所述当前块的帧内预测模式，确定指示预定不可分变换集当中的针对所述当前块的不可分变换集的不可分变换集索引；
将所述不可分变换集中所包括的变换核确定为针对所述当前块的不可分变换矩阵；
将针对经逆量化的当前块的所述不可分变换矩阵应用于所述当前块的左上区域，所述左上区域基于所述当前块的宽度和高度而确定；
通过基于所述当前块的所述帧内预测模式执行帧内预测来生成所述当前块的预测块；以及
基于经逆变换的当前块以及预测块来重构所述当前块，
其中，基于所述当前块的所述帧内预测模式所属的帧内预测模式范围来确定包括四个索引值的所述不可分变换集索引，
其中，针对所述当前块的所述变换核被确定为针对所述当前块的所述不可分变换集中包括的两个变换核中的一个，并且
其中，将所述不可分变换矩阵应用于包括在所述当前块的所述左上区域中的R个系数以生成N个变换系数，R小于N，N等于包括在所述当前块的所述左上区域中的系数的总数。
2.根据权利要求1所述的方法，
其中，基于所述帧内预测模式是0或1，所述不可分变换集索引被确定为第一索引值，
其中，基于所述帧内预测模式是2至12或56至66中的一种，所述不可分变换集索引被确定为第二索引值，
其中，基于所述帧内预测模式是13至23或45至55中的一种，所述不可分变换集索引被确定为第三索引值，并且
其中，基于所述帧内预测模式是24至44中的一种，所述不可分变换集索引被确定为第四索引值。
3.根据权利要求2所述的方法，
其中，为所述不可分变换集索引的各个索引值配置两个不可分变换核。
4.根据权利要求1所述的方法，
其中，基于所述当前块的宽度和高度大于或等于4，应用所述不可分变换矩阵。
5.根据权利要求1所述的方法，该方法还包括以下步骤：
针对应用了所述不可分变换矩阵的所述当前块应用水平方向变换和垂直方向变换。
6.根据权利要求5所述的方法，
其中，基于用于选择变换矩阵的多变换选择MTS索引来确定所述水平方向变换和所述垂直方向变换。
7.一种用于对图像信号进行编码的方法，该方法包括以下步骤：
通过基于当前块的帧内预测模式执行帧内预测来生成针对所述当前块的预测块；
基于所生成的预测块获得包括残差样本的所述当前块；
基于所述当前块的所述帧内预测模式确定针对所述当前块的不可分变换集；
将所述不可分变换集中所包括的变换核确定为针对所述当前块的不可分变换矩阵；
将针对所述当前块的所述不可分变换矩阵应用于所述当前块的左上区域，所述左上区域基于所述当前块的宽度和高度而确定；以及
对经变换的当前块执行量化，
其中，对指示预定不可分变换集当中的针对所述当前块的所述不可分变换集的不可分变换集索引进行编码，
其中，基于所述当前块的所述帧内预测模式所属的帧内预测模式范围来确定包括四个索引值的所述不可分变换集索引，
其中，针对所述当前块的所述变换核被确定为针对所述当前块的所述不可分变换集中包括的两个变换核中的一个，并且
其中，将所述不可分变换矩阵应用于包括在所述当前块的所述左上区域中的N个系数以生成R个变换系数，R小于N，N等于包括在所述当前块的所述左上区域中的系数的总数。
8.一种计算机可读记录介质，该计算机可读记录介质上存储有计算机程序，所述计算机程序在由处理器执行时使所述处理器执行以下操作：
通过基于当前块的帧内预测模式执行帧内预测来生成针对所述当前块的预测块；
基于所生成的预测块获得包括残差样本的所述当前块；
基于所述当前块的所述帧内预测模式确定针对所述当前块的不可分变换集；
将所述不可分变换集中所包括的变换核确定为针对所述当前块的不可分变换矩阵；
将针对所述当前块的所述不可分变换矩阵应用于所述当前块的左上区域，所述左上区域基于所述当前块的宽度和高度而确定；以及
对经变换的当前块执行量化，
其中，对指示预定不可分变换集当中的针对所述当前块的所述不可分变换集的不可分变换集索引进行编码，
其中，基于所述当前块的所述帧内预测模式所属的帧内预测模式范围来确定包括四个索引值的所述不可分变换集索引，
其中，针对所述当前块的所述变换核被确定为针对所述当前块的所述不可分变换集中包括的两个变换核中的一个，并且
其中，将所述不可分变换矩阵应用于包括在所述当前块的所述左上区域中的N个系数以生成R个变换系数，R小于N，N等于包括在所述当前块的所述左上区域中的系数的总数。
9.一种传输由图像编码方法生成的比特流的方法，所述图像编码方法包括以下步骤：
通过基于当前块的帧内预测模式执行帧内预测来生成针对所述当前块的预测块；
基于所生成的预测块获得包括残差样本的所述当前块；
基于所述当前块的所述帧内预测模式确定针对所述当前块的不可分变换集；
将所述不可分变换集中所包括的变换核确定为针对所述当前块的不可分变换矩阵；
将针对所述当前块的所述不可分变换矩阵应用于所述当前块的左上区域，所述左上区域基于所述当前块的宽度和高度而确定；以及
对经变换的当前块执行量化，
其中，对指示预定不可分变换集当中的针对所述当前块的所述不可分变换集的不可分变换集索引进行编码，
其中，基于所述当前块的所述帧内预测模式所属的帧内预测模式范围来确定包括四个索引值的所述不可分变换集索引，
其中，针对所述当前块的所述变换核被确定为针对所述当前块的所述不可分变换集中包括的两个变换核中的一个，并且
其中，将所述不可分变换矩阵应用于包括在所述当前块的所述左上区域中的N个系数以生成R个变换系数，R小于N，N等于包括在所述当前块的所述左上区域中的系数的总数。
CN202210567582.6A 2018-09-02 2019-09-02 用于对图像信号编码和解码的方法及计算机可读记录介质 Active CN114885163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210567582.6A CN114885163B (zh) 2018-09-02 2019-09-02 用于对图像信号编码和解码的方法及计算机可读记录介质

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862726301P 2018-09-02 2018-09-02
US62/726,301 2018-09-02
US201862727548P 2018-09-05 2018-09-05
US62/727,548 2018-09-05
CN201980014859.9A CN111758261B (zh) 2018-09-02 2019-09-02 用于处理图像信号的方法和设备
CN202210567582.6A CN114885163B (zh) 2018-09-02 2019-09-02 用于对图像信号编码和解码的方法及计算机可读记录介质
PCT/KR2019/011248 WO2020046084A1 (ko) 2018-09-02 2019-09-02 영상 신호를 처리하기 위한 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980014859.9A Division CN111758261B (zh) 2018-09-02 2019-09-02 用于处理图像信号的方法和设备

Publications (2)

Publication Number Publication Date
CN114885163A CN114885163A (zh) 2022-08-09
CN114885163B true CN114885163B (zh) 2024-04-23

Family

ID=69644580

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202210567582.6A Active CN114885163B (zh) 2018-09-02 2019-09-02 用于对图像信号编码和解码的方法及计算机可读记录介质
CN202210567277.7A Active CN115134592B (zh) 2018-09-02 2019-09-02 用于编码或解码图像信号的设备及计算机可读记录介质
CN202210567578.XA Active CN114885162B (zh) 2018-09-02 2019-09-02 解码设备、编码设备和计算机可读记录介质
CN201980014859.9A Active CN111758261B (zh) 2018-09-02 2019-09-02 用于处理图像信号的方法和设备
CN202210565048.1A Active CN115037934B (zh) 2018-09-02 2019-09-02 用于图像信号编码和解码的方法及计算机可读记录介质

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202210567277.7A Active CN115134592B (zh) 2018-09-02 2019-09-02 用于编码或解码图像信号的设备及计算机可读记录介质
CN202210567578.XA Active CN114885162B (zh) 2018-09-02 2019-09-02 解码设备、编码设备和计算机可读记录介质
CN201980014859.9A Active CN111758261B (zh) 2018-09-02 2019-09-02 用于处理图像信号的方法和设备
CN202210565048.1A Active CN115037934B (zh) 2018-09-02 2019-09-02 用于图像信号编码和解码的方法及计算机可读记录介质

Country Status (12)

Country Link
US (4) US11146816B2 (zh)
EP (2) EP4210331A1 (zh)
JP (2) JP7200253B2 (zh)
KR (4) KR102396338B1 (zh)
CN (5) CN114885163B (zh)
ES (1) ES2944839T3 (zh)
FI (1) FI3723375T3 (zh)
HR (1) HRP20230450T1 (zh)
HU (1) HUE061853T2 (zh)
PL (1) PL3723375T3 (zh)
SI (1) SI3723375T1 (zh)
WO (1) WO2020046084A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2020001377A (es) 2017-08-04 2020-03-09 Lg Electronics Inc Metodo y aparato para configurar una transformacion para compresion de video.
US11785254B2 (en) 2020-05-29 2023-10-10 Tencent America LLC Implicit mode dependent primary transforms
WO2024011065A1 (en) * 2022-07-05 2024-01-11 Qualcomm Incorporated Non-separable transform for inter-coded blocks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060084483A (ko) * 2005-01-19 2006-07-24 삼성전자주식회사 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
CN101682770A (zh) * 2007-06-15 2010-03-24 高通股份有限公司 视频块预测模式的自适应译码
WO2017043941A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017061671A1 (ko) * 2015-10-08 2017-04-13 엘지전자 주식회사 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
CN107257456A (zh) * 2011-10-19 2017-10-17 株式会社Kt 解码视频信号的方法
CN108322743A (zh) * 2018-02-28 2018-07-24 中南大学 一种基于模式依赖特性的不可分二次变换模式的帧内快速选择方法
CN108319984A (zh) * 2018-02-06 2018-07-24 北京林业大学 基于dna甲基化水平的木本植物叶片表型特征和光合特性预测模型的构建方法及预测方法
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2414093C2 (ru) * 2006-02-13 2011-03-10 Кабусики Кайся Тосиба Способ и устройство, и программа кодирования/декодирования видео
KR101302660B1 (ko) * 2009-09-14 2013-09-03 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치
CN102045560B (zh) * 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
JP2012023632A (ja) * 2010-07-15 2012-02-02 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
AU2015201843B2 (en) * 2010-07-15 2017-03-09 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US9462280B2 (en) * 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
GB2509670B (en) * 2011-10-18 2018-12-05 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
JP2013168932A (ja) * 2012-01-18 2013-08-29 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
US20130188691A1 (en) * 2012-01-20 2013-07-25 Sony Corporation Quantization matrix design for hevc standard
CA2873694A1 (en) * 2012-06-01 2013-12-05 Sharp Kabushiki Kaisha Arithmetic decoding device, image decoding device, arithmetic encoding device, and image encoding device
KR102250088B1 (ko) * 2013-10-24 2021-05-10 삼성전자주식회사 비디오 스트림을 복호화하는 방법 및 장치
JP2015115614A (ja) * 2013-12-06 2015-06-22 日本電信電話株式会社 変換処理方法、逆変換処理方法、変換処理装置、逆変換処理装置、変換処理プログラム及び逆変換処理プログラム
CN203908842U (zh) * 2014-06-17 2014-10-29 嘉兴学院 一种泡沫混凝土导热系数测试模具
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
KR20170116043A (ko) * 2015-02-12 2017-10-18 엘지전자 주식회사 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR102600756B1 (ko) * 2015-03-06 2023-11-10 한국과학기술원 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
US20180115787A1 (en) * 2015-04-12 2018-04-26 Lg Electronics Inc. Method for encoding and decoding video signal, and apparatus therefor
US20180220158A1 (en) * 2015-07-21 2018-08-02 Lg Electronics Inc. Method and device for processing video signal using graph-based transform
US20170034530A1 (en) 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for decoding and encoding
KR102199463B1 (ko) * 2015-08-31 2021-01-06 삼성전자주식회사 스캔 순서를 고려한 영상의 변환 방법 및 그 장치, 및 역변환 방법 및 그 장치
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US20180084279A1 (en) * 2016-03-02 2018-03-22 MatrixView, Inc. Video encoding by injecting lower-quality quantized transform matrix values into a higher-quality quantized transform matrix
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US10237566B2 (en) * 2016-04-01 2019-03-19 Microsoft Technology Licensing, Llc Video decoding using point sprites
WO2017173593A1 (en) * 2016-04-06 2017-10-12 Mediatek Singapore Pte. Ltd. Separate coding secondary transform syntax elements for different color components
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
WO2017222334A1 (ko) * 2016-06-24 2017-12-28 한국전자통신연구원 변환 기반의 영상 부호화/복호화 방법 및 장치
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
US9712830B1 (en) * 2016-09-15 2017-07-18 Dropbox, Inc. Techniques for image recompression
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
CN116886904A (zh) 2016-10-14 2023-10-13 世宗大学校产学协力团 影像编码方法、影像解码方法以及传送比特流的方法
CN106791879A (zh) * 2016-11-30 2017-05-31 北京工业大学 一种基于视频编码模式的方向变换方法
GB2557335A (en) * 2016-12-07 2018-06-20 Sony Corp Image data encoding and decoding
US10609367B2 (en) * 2016-12-21 2020-03-31 Qualcomm Incorporated Low-complexity sign prediction for video coding
JP6870096B2 (ja) 2017-01-03 2021-05-12 エルジー エレクトロニクス インコーポレイティド 二次変換を用いたビデオ信号のエンコーディング／デコーディング方法及び装置
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
CN206698375U (zh) * 2017-04-28 2017-12-01 河南工程学院 一种滑动像素块整数dct核心矩阵变换运动补偿器
US11134272B2 (en) * 2017-06-29 2021-09-28 Qualcomm Incorporated Memory reduction for non-separable transforms
CN108322745B (zh) * 2018-02-28 2019-12-03 中南大学 一种基于不可分二次变换模式的帧内快速选择方法
WO2020036390A1 (ko) * 2018-08-12 2020-02-20 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060084483A (ko) * 2005-01-19 2006-07-24 삼성전자주식회사 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
CN101682770A (zh) * 2007-06-15 2010-03-24 高通股份有限公司 视频块预测模式的自适应译码
CN107257456A (zh) * 2011-10-19 2017-10-17 株式会社Kt 解码视频信号的方法
WO2017043941A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017061671A1 (ko) * 2015-10-08 2017-04-13 엘지전자 주식회사 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법
CN108319984A (zh) * 2018-02-06 2018-07-24 北京林业大学 基于dna甲基化水平的木本植物叶片表型特征和光合特性预测模型的构建方法及预测方法
CN108322743A (zh) * 2018-02-28 2018-07-24 中南大学 一种基于模式依赖特性的不可分二次变换模式的帧内快速选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Crosscheck of JVET-K0158: AHG9: Separable Convolutional Neural Network Filter with Squeeze-and-Excitation block;Xiaodan Song等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10–18 July 2018，JVET-K0443-r1》;20180713;全文 *
Joint Separable and Non-Separable Transforms for Next-Generation Video Coding;Xin Zhao等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20180205;全文 *

Also Published As

Publication number Publication date
US11632570B2 (en) 2023-04-18
EP4210331A1 (en) 2023-07-12
SI3723375T1 (sl) 2023-07-31
KR102396338B1 (ko) 2022-05-09
KR20230148276A (ko) 2023-10-24
CN115037934B (zh) 2024-04-26
CN111758261B (zh) 2022-06-10
EP3723375B1 (en) 2023-04-05
HUE061853T2 (hu) 2023-08-28
US11882310B2 (en) 2024-01-23
US20220060747A1 (en) 2022-02-24
FI3723375T3 (fi) 2023-05-04
KR20220062691A (ko) 2022-05-17
CN115037934A (zh) 2022-09-09
US20230269397A1 (en) 2023-08-24
PL3723375T3 (pl) 2023-06-12
EP3723375A1 (en) 2020-10-14
US20200374554A1 (en) 2020-11-26
CN111758261A (zh) 2020-10-09
JP2021509793A (ja) 2021-04-01
HRP20230450T1 (hr) 2023-07-21
US20240114166A1 (en) 2024-04-04
JP7465333B2 (ja) 2024-04-10
KR20230010069A (ko) 2023-01-17
ES2944839T3 (es) 2023-06-26
KR102488860B1 (ko) 2023-01-13
CN114885162B (zh) 2024-04-23
JP2023025283A (ja) 2023-02-21
EP3723375A4 (en) 2021-08-18
CN114885162A (zh) 2022-08-09
CN115134592B (zh) 2024-04-26
CN115134592A (zh) 2022-09-30
WO2020046084A1 (ko) 2020-03-05
JP7200253B2 (ja) 2023-01-06
KR20200088444A (ko) 2020-07-22
KR102591086B1 (ko) 2023-10-17
CN114885163A (zh) 2022-08-09
US11146816B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CN113039803B (zh) 编码/解码视频信号的方法及其装置
CN111742555B (zh) 对视频信号进行编码/解码的方法及其设备
CN111919450B (zh) 用于编码/解码视频信号的方法及其装置
JP7465333B2 (ja) 映像信号を処理するための方法及び装置
CN113316937B (zh) 处理视频信号的方法和设备
KR102658656B1 (ko) 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant