CN113228685B - 用于基于二次变换编码图像的方法及其装置 - Google Patents

用于基于二次变换编码图像的方法及其装置 Download PDF

Info

Publication number
CN113228685B
CN113228685B CN201980084533.3A CN201980084533A CN113228685B CN 113228685 B CN113228685 B CN 113228685B CN 201980084533 A CN201980084533 A CN 201980084533A CN 113228685 B CN113228685 B CN 113228685B
Authority
CN
China
Prior art keywords
transform
context
index
bin
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980084533.3A
Other languages
English (en)
Other versions
CN113228685A (zh
Inventor
具文模
金昇焕
M·萨勒海法尔
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202310882791.4A priority Critical patent/CN116744003A/zh
Priority to CN202310883425.0A priority patent/CN116744004A/zh
Priority to CN202310884650.6A priority patent/CN116744005A/zh
Publication of CN113228685A publication Critical patent/CN113228685A/zh
Application granted granted Critical
Publication of CN113228685B publication Critical patent/CN113228685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Abstract

根据本文档的图像解码方法包括基于关于目标块的变换系数的逆缩减二次变换(RST)来推导修改的变换系数的步骤。基于变换集以及从分别包括在变换集中的两个变换核矩阵中选择的变换核矩阵来执行逆RST，变换集是根据应用于目标块的帧内预测模式基于映射关系而确定的，并且基于是否应用逆RST以及指示包括在变换集中的变换核矩阵中的一个变换核矩阵的变换索引来执行逆RST。关于变换索引的语法元素bin串是基于根据关于目标块的分割结构的树类型的不同的上下文集来进行解码的。

Description

用于基于二次变换编码图像的方法及其装置
技术领域
本公开总体上涉及图像编码技术，更具体地，涉及图像编码系统中的基于变换的图像编码方法及其设备。
背景技术
如今，在各个领域中对诸如4K、8K或更高的超高清(UHD)图像/视频这样的高分辨率和高质量图像/视频的需求已经不断增长。随着图像/视频数据变成更高分辨率和更高质量，与传统图像数据相比，所发送的信息量或比特量增加。因此，当使用诸如传统有线/无线宽带线这样的介质来发送图像数据或者使用现有存储介质来存储图像/视频数据时，其传输成本和存储成本增加。
另外，如今，对于诸如虚拟现实(VR)和人工现实(AR)内容或全息图等这样的沉浸式媒体的兴趣和需求正在增加，并且对具有与诸如游戏图像这样的真实图像不同的图像特征的图像/视频的广播正在增加。
因此，需要有效地压缩并发送或存储以及再现具有如上所述的各种特征的高分辨率和高质量图像/视频的信息的高效图像/视频压缩技术。
发明内容
技术问题
本公开的技术方面在于提供用于增加图像编码效率的方法和设备。
本公开的另一方面在于提供用于增加变换效率的方法和设备。
本公开的又一技术方面在于提供用于通过对变换索引进行编码来增加二次变换的效率的方法和设备。
本公开的又一技术方面在于提供基于缩减二次变换(RST)的图像编码方法和图像编码设备。
本公开的又一技术方面在于提供基于变换集并且能够增加编码效率的图像编码方法和图像编码设备。
技术方案
根据本公开的实施方式，提供了一种由解码设备执行的图像解码方法。该方法可以包括：从比特流推导目标块的量化变换系数；通过基于目标块的量化变换系数的解量化来推导变换系数；基于变换系数的逆缩减二次变换(RST)来推导修改的变换系数；基于修改的变换系数的逆一次变换来推导目标块的残差样本；以及基于目标块的残差样本来生成重构图片，其中，该逆RST可以基于变换集以及从每个变换集中包括的两个变换核矩阵当中选择的变换核矩阵来执行，该变换集是根据应用于目标块的帧内预测模式基于映射关系而确定的，并且该逆RST可以基于与是否应用逆RST以及变换集中包括的变换核矩阵中的一个变换核矩阵有关的变换索引来执行，并且其中，用于变换索引的语法元素bin串是基于根据针对目标块的分割结构的树类型的不同的上下文集来进行解码的。
根据本公开的另一实施方式，提供了一种用于执行图像解码的解码设备。解码设备可以包括：熵解码器，其从比特流中推导关于预测的信息和目标块的量化变换系数；预测器，其基于关于预测的信息生成目标块的预测样本；解量化器，其通过基于目标块的量化变换系数的解量化来推导变换系数；逆变换器，其包括基于变换系数的逆RST来推导修改的变换系数的逆缩减二次变换器(RST)，以及基于修改的变换系数的逆一次变换来推导目标块的残差样本的逆一次变换器；以及加法器，其基于残差样本和预测样本来生成重构样本，其中，该逆RST可以基于变换集以及从每个变换集中包括的两个变换核矩阵当中选择的变换核矩阵来执行，该变换集是根据应用于目标块的帧内预测模式基于映射关系而确定的，并且该逆RST可以基于与指示是否应用逆RST以及变换集中包括的变换核矩阵中的一个变换核矩阵有关的变换索引来执行，并且其中，用于变换索引的语法元素bin串是基于根据针对目标块的分割结构的树类型的不同的上下文集来进行解码的。
根据本公开的又一实施方式，提供了一种由编码设备执行的图像编码方法。该方法可以包括：基于应用于目标块的帧内预测模式来推导预测样本；基于预测样本来推导目标块的残差样本；基于残差样本的一次变换来推导目标块的变换系数；基于变换系数的缩减二次变换(RST)来推导修改的变换系数，该逆RST基于变换集以及从每个变换集中包括的两个变换核矩阵当中选择的变换核矩阵来执行，该变换集是根据应用于目标块的帧内预测模式基于映射关系而确定的；通过执行基于修改的变换系数的量化来推导量化变换系数；以及生成指示是否应用逆RST以及包括在变换集中的变换核矩阵中的一个变换核矩阵的变换索引，并且其中，用于变换索引的语法元素bin串是基于根据针对目标块的分割结构的树类型的不同的上下文集来进行解码的。
根据本公开的又一实施方式，可以提供一种数字存储介质，该数字存储介质存储包括根据由编码设备执行的图像编码方法生成的编码的图像信息的图像数据。
根据本公开的又一实施方式，可以提供一种数字存储介质，该数字存储介质存储包括编码的图像信息或比特流的图像数据以使解码设备执行图像解码方法。
技术效果
根据本公开，可以增加整体图像/视频压缩效率。
根据本公开，可以通过变换索引的编码来增加二次变换的效率。
根据本公开，可以通过基于变换集执行图像编码来增加图像编码效率。
附图说明
图1示意性地例示了可应用本公开的视频/图像编码系统的示例。
图2是示意性地例示可应用本公开的视频/图像编码设备的配置的图。
图3是示意性地例示可应用本公开的视频/图像解码设备的配置的图。
图4示意性地例示了根据本公开的实施方式的多变换技术。
图5例示了65个预测方向的定向帧内模式。
图6是例示根据本公开的实施方式的RST的图。
图7是例示根据本公开的实施方式的变换系数扫描顺序的图。
图8是例示根据本公开的实施方式的逆RST处理的流程图。
图9是例示根据本公开的实施方式的视频解码设备的操作的流程图。
图10是例示根据本公开的实施方式的逆RST的控制流程图。
图11是例示根据本公开的实施方式的视频编码设备的操作的流程图。
图12是例示根据本公开的实施方式的RST的控制流程图。
图13例示了应用本公开的内容流系统的结构。
具体实施方式
尽管本公开可能易于进行各种修改并且包括各种实施方式，但是其具体实施方式已在附图中通过示例的方式示出，并且现在将对其进行详细描述。然而，这并不旨在将本公开限制于本文公开的具体实施方式。本文中使用的术语只是出于描述特定实施方式的目的，并不旨在限制本公开的技术思路。除非上下文另外清楚指示，否则单数形式可以包括复数形式。诸如“包括”和“具有”之类的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此不应被理解为预先排除了存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
此外，为了方便描述彼此不同的特性功能，独立地例示了本文中描述的附图上的各组件，然而，并不意指各组件由单独的硬件或软件来实现。例如，可以组合这些组件中的任何两个或更多个以形成单个组件，并且任何单个组件可以被划分成多个组件。其中组件被组合和/或划分的实施方式将属于本公开的专利权的范围，只要它们不脱离本公开的实质即可。
在下文中，将参照附图更详细地说明本公开的优选实施方式。另外，在附图中，相同的附图标号用于相同的组件，并且将省略对相同组件的重复描述。
本文档涉及视频/图像编码。例如，本文档中公开的方法/示例可以涉及VVC(通用视频编码)标准(ITU-T Rec.H.266)、VVC之后的下一代视频/图像编码标准、或其它视频编码相关标准(例如，HEVC(高效视频编码)标准(ITU-T Rec.H.265)、EVC(基本视频编码)标准、AVS2标准等)。
在本文档中，可以提供与视频/图像编码相关的各种实施方式，并且除非相反地指定，否则这些实施方式可以彼此组合并执行。
在本文档中，视频可以是指一段时间内一系列图像的集合。通常，图片是指表示特定时间区域的图像的单元，而条带/贴片是构成图片的一部分的单元。条带/贴片可包括一个或更多个编码树单元(CTU)。一幅图片可以由一个或更多个条带/贴片组成。一幅图片可以由一个或多个贴片组组成。一个贴片组可以包括一个或更多个贴片。
像素或图元(pel)可以是指构成一幅图片(或图像)的最小单元。另外，“样本”可用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。另选地，样本可以意指空间域中的像素值，或者当该像素值被变换为频域时，其可以意指频域中的变换系数。
单元可以表示图像处理的基本单位。单元可以包括特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在通常情况下，M×N块可以包括由M列和N行组成的样本(或样本阵列)或变换系数的集(或阵列)。
在本文档中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“A/B”可以意指“A和/或B”。另外，“A、B”可以意指“A和/或B”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。
另外，在该文档中，术语“或”应该被解释为指示“和/或”。例如，表述“A或B”可以包括1)仅A、2)仅B和/或3)A和B二者。换句话说，本文档中的术语“或”应该被解释为指示“附加地或另选地”。
图1示意性地例示可应用本公开的视频/图像编码系统的示例。
参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式将编码后的视频/图像信息或数据传递到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。
编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编码效率的预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并且将接收/提取的比特流发送到解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换、预测等这样的一系列过程来解码视频/图像。
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
图2是示意性地例示可应用本公开的视频/图像编码设备的配置的图。在下文中，所谓的视频编码设备可以包括图像编码设备。
参照图2，编码设备200可以包括图像划分器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234、逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式，以上描述的图像划分器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由一个或更多个硬件组件(例如，编码器芯片组或处理器)构成。此外，存储器270可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件可以进一步包括作为内部/外部组件的存储器270。
图像划分器210可以将输入到编码设备200的输入图像(或图片或帧)划分为一个或更多个处理单元。作为一个示例，处理单元可以被称为编码单元(CU)。在这种情况下，从编码树单元(CTU)或最大编码单元(LCU)开始，可以根据四叉树二叉树三叉树(QTBTTT)结构来递归地划分编码单元。例如，基于四叉树结构、二叉树结构和/或三叉树结构，一个编码单元可以被划分为深度较深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构和/或三叉树结构。另选地，可以首先应用二叉树结构。可以基于未进一步划分的最终编码单元来执行根据本公开的编码过程。在这种情况下，基于根据图像特性的编码效率，最大编码单元可以直接用作最终编码单元。另选地，可以根据需要将编码单元递归地划分为更深的深度的编码单元，由此可以将最佳大小的编码单元用作最终编码单元。这里，编码过程可以包括诸如预测、变换和重构之类的过程，其将在后面描述。作为另一示例，处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可以与上述最终编码单元分开或划分开。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
根据情况，可以使用单元和诸如块、区域等之类的术语来代替彼此。在通常情况下，M×N块可以表示由M列和N行构成的样本或变换系数的集。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可用作与一幅图片(或图像)的像素或图元(pel)相对应的术语。
减法器231从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如图所示，编码器200中的从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对处理目标块(下文称为“当前块”)执行预测，并且可以生成包括当前块的预测样本的预测块。预测器可以确定是以当前块或CU为基础应用帧内预测还是应用帧间预测。如稍后在每个预测模式的描述中所讨论的，预测器可以生成与预测有关的各种信息(例如，预测模式信息)，并将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这仅仅是示例，并且根据设置，可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来推导针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表，并且生成指示哪个候选被用于推导当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳变模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳变模式下，与合并模式不同，不能发送残差信号。在运动信息预测(运动向量预测、MVP)模式的情况下，邻近块的运动向量可以被用作运动向量预测符，并且可以通过发信号通知运动向量差来指示当前块的运动向量。
预测器220可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以被用于诸如屏幕内容编码(SCC)这样的游戏等的内容图像/视频编码。尽管IBC基本上在当前块中执行预测，但是其执行方式与帧间预测的相似之处在于，它推导当前块中的参考块。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
通过帧间预测器221和/或帧内预测器222生成的预测信号可以被用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，GBT意指当用曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换处理可以被应用于大小相同的正方形像素块，或者可以应用于大小可变的块而非正方形的块。
量化器233可以对变换系数进行量化并且将它们发送到熵编码器240，并且熵编码器240可以对量化后的信号(关于量化变换系数的信息)进行编码并且输出比特流中的编码后的信号。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量化变换系数重新布置成一维向量形式，并且基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器240可以执行诸如例如指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的各种编码方法。熵编码器240可以对除了量化变换系数(例如，语法元素的值等)之外的视频/图像重构所需的信息一起或分别进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式在网络抽象层(NAL)的单元基础上进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本公开中，从编码设备发送到/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程进行编码并且被包括在比特流中。可以通过网络传输比特流，或者将其存储在数字存储介质中。这里，网络可以包括广播网络、通信网络和/或类似物，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)或存储其的存储器(未示出)可以被配置为编码设备200的内部/外部元件，或者发送器可以被包括在熵编码器240中。
从量化器233输出的量化变换系数可以被用于生成预测信号。例如，通过利用解量化器234和逆变换器235向量化变换系数应用解量化和逆变换，可以重构残差信号(残差块或残差样本)。加法器155将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，使得可以生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳变模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前块中的下一处理目标块的帧内预测，并且如随后描述的，可以被用于通过滤波进行的下一图片的帧间预测。
此外，在图片编码和/或重构处理中，可以应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过向重构信号应用滤波来改善主观/客观视频质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片存储在存储器270中，尤其是存储在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环形滤波器、双边滤波器等。如随后在对每种滤波方法的描述中所讨论的，滤波器260可以生成与滤波相关的各种信息，并且将所生成的信息发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
已发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。据此，编码设备可以避免在应用帧间预测时编码设备100和解码设备中的预测失配，并且还可以提高编码效率。
存储器270DPB可以存储修改后的重构图片，以便使用它作为帧间预测器221中的参考图片。存储器270可以存储从中已推导(或编码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器221，以被用作邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并且将它们发送到帧内预测器222。
图3是示意性地例示可应用本公开的视频/图像解码设备的配置的图。
参照图3，视频解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器360可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以与据此已在图2的编码设备中处理视频/图像信息的处理对应地重构图像。例如，解码设备300可以基于与从比特流获得的与块分割相关的信息来推导单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编码单元，可以用编码树单元或最大编码单元顺着四叉树结构、二叉树结构和/或三叉树结构对其进行分割。可以用编码单元推导一个或更多个变换单元。并且，可以通过再现器来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。在本公开中，随后将描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并且从比特流中获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等这样的编码方法对比特流中的信息进行解码，并且可以输出图像重构所需的语法元素的值和关于残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的各语法元素对应的bin，使用解码目标语法元素信息以及邻近和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中已对其执行了熵解码的残差值(即，量化变换系数)和关联的参数信息可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外，接收从编码设备输出的信号的接收器(未示出)还可以将解码设备300构成为内部/外部元件，并且接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可以被称为视频/图像/图片编码设备，并且解码设备可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
解量化器321可以通过对量化变换系数进行解量化来输出变换系数。解量化器321可以将量化变换系数重新布置为二维块的形式。在这种情况下，可以基于已在编码设备中执行的系数扫描的顺序来执行重新布置。解量化器321可以使用量化参数(例如，量化步长信息)对量化变换系数执行解量化，并且获得变换系数。
解量化器322通过对变换系数进行逆变换来获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且具体地可以确定帧内/帧间预测模式。
预测器可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以针对块的预测执行块内复制(IBC)。块内复制可以被用于诸如屏幕内容编码(SCC)这样的游戏等的内容图像/视频编码。尽管IBC基本上在当前块中执行预测，但是其执行方式与帧间预测的相似之处在于，它推导当前块中的参考块。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来推导针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表，并且基于接收到的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器330输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳变模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前块中的下一处理目标块的帧内预测，并且如随后描述的，可以通过滤波来输出或者被用于下一图片的帧间预测。
此外，在图片解码处理中，可以应用具有色度缩放的亮度映射(LMCS)。
滤波器350可以通过向重构后的信号应用滤波来改善主观/客观视频质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片发送到存储器360中，尤其是发送到存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环形滤波器、双边滤波器等。
已存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从中已推导(或解码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器260，以被用作邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并且将它们发送到帧内预测器331。
在本说明书中，在解码设备300的预测器330、解量化器321、逆变换器322和滤波器350中描述的示例可以分别类似地或对应地应用于编码设备200的预测器220、解量化器234、逆变换器235和滤波器260。
如上所述，执行预测，以便提高执行视频编码时的压缩效率。据此，可以生成包括针对作为编码目标块的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。可以在编码设备和解码设备中相同地推导预测块，并且编码设备可以通过向解码设备发信号通知并非原始块本身的原始样本值而是关于原始块与预测块之间的残差的信息(残差信息)来提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块，通过将残差块与预测块相加来生成包括重构样本的重构块，并且生成包括重构块的重构图片。
可以通过变换过程和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来推导变换系数，并且通过对变换系数执行量化过程来推导量化变换系数，使得它可以(通过比特流)向解码设备发信号通知关联的残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以基于残差信息来执行量化/解量化过程并且推导残差样本(或残差样本块)。解码设备可以基于预测块和残差块来生成重构块。编码设备可以通过对量化变换系数进行解量化/逆变换来推导残差块以便作为下一个图片的帧间预测的参考，并且可以基于此来生成重构图片。
图4示意性地例示根据本公开的实施方式的多变换技术。
参照图4，变换器可以对应于前述图2的编码设备中的变换器，并且逆变换器可以对应于前述图2的编码设备中的逆变换器、或者图3的解码设备中的逆变换器。
变换器可以通过基于残差块中的残差样本(残差样本阵列)执行一次变换来推导(一次)变换系数(S410)。该一次变换可以被称为核心变换。在本文中，一次变换可以基于多变换选择(MTS)，并且当将多变换用作一次变换时，可以将其称为多核心变换。
多核心变换可以表示附加地使用离散余弦变换(DCT)类型2和离散正弦变换(DST)类型7、DCT类型8和/或DST类型1进行变换的方法。也就是说，多核心变换可以表示基于从DCT类型2、DST类型7、DCT类型8和DST类型1当中选择的多个变换核将空间域的残差信号(或残差块)变换为频域的变换系数(或一次变换系数)的变换方法。在本文中，从变换器的视角来看一次变换系数可以称为临时变换系数。
换句话说，当应用常规变换方法时，可以通过基于DCT类型2对残差信号(或残差块)应用从空间域到频率域的变换来生成变换系数。与此不同，当应用多核心变换时，可以通过基于DCT类型2、DST类型7、DCT类型8和/或DST类型1对残差信号(或残差块)应用从空间域到频率域的变换来生成变换系数(或一次变换系数)。在本文中，DCT类型2、DST类型7、DCT类型8和DST类型1可以被称为变换类型、变换核或变换核心。
作为参考，可以基于基函数来限定DCT/DST变换类型，并且基函数可以如下表所示。
[表1]
如果执行多核心变换，则可以从变换核当中选择用于目标块的垂直变换核心和水平变换核心，可以基于垂直变换核对目标块执行垂直变换，并且可以基于水平变换核对目标块执行水平变换。这里，水平变换可以表示针对目标块的水平分量的变换，并且垂直变换可以表示针对目标块的垂直分量的变换。可以基于包括残差块的目标块(CU或子块)的预测模式和/或变换索引来适应性地确定垂直变换核心/水平变换核心。
此外，根据示例，如果通过应用MTS来执行一次变换，则可以通过将特定基函数设置为预定值并组合要在垂直变换或水平变换中应用的基函数来设置变换核的映射关系。例如，当水平变换核表示为trTypeHor，且垂直方向变换核表示为trTypeVer时，可以将值为0的trTypeHor或trTypeVer设置给DCT2，将值为1的trTypeHor或trTypeVer设置给DST7，并且将值为2的trTypeHor或trTypeVer可以设置给DCT8。
在这种情况下，MTS索引信息可以被编码并且发信号通知到解码设备以指示多个变换核集中的任何一个。例如，MTS索引0可以指示trTypeHor和trTypeVer值均为0，MTS索引1可以指示trTypeHor和trTypeVer值均为1，MTS索引2可以指示trTypeHor值为2并且trTypeVer值为1，MTS索引为3可以指示trTypeHor值为1并且trTypeVer值为2，而MTS索引4可以指示trTypeHor和trTypeVer值均为2。
变换器可以通过基于(一次)变换系数执行二次变换来推导修改的(二次)变换系数(S420)。一次变换是从空间域到频域的变换，而二次变换是指通过使用(一次)变换系数之间存在的相关性，变换为更具压缩性的表示。二次变换可以包括不可分离的变换。在这种情况下，二次变换可以称为不可分离的二次变换(NSST)或模式相关的不可分离的二次变换(MDNSST)。不可分离的二次变换可表示这样的变换，其通过基于不可分离的变换矩阵对通过一次变换推导出的(一次)变换系数进行二次变换来生成针对残差信号的修改的变换系数(或二次变换系数)。此时，垂直变换和水平变换可以不单独应用于(一次)变换系数(或者水平变换和垂直变换可以不独立应用)，但是可以基于不可分离的变换一次地应用变换矩阵。换句话说，不可分离的二次变换可以表示这样的变换方法，其中，(一次)变换系数的垂直分量和水平分量不分离，并且例如，将二维信号(变换系数)通过某个确定的方向(例如，行第一方向或列第一方向)重新布置为一维信号，然后基于不可分离的变换矩阵生成修改的变换系数(或二次变换系数)。例如，根据行优先顺序，M×N个块以第一行、第二行、…和第N行的顺序设置成排。根据列优先顺序，M×N个块以第一列、第二列、…和第N列的顺序设置成排。不可分离的二次变换可以应用于配置有(一次)变换系数的块(在下文中，可以称为变换系数块)的左上区域。例如，如果变换系数块的宽度(W)和高度(H)均等于或大于8，则可以将8×8不可分离的二次变换应用于变换系数块的左上8×8区域。此外，如果变换系数块的宽度(W)和高度(H)均等于或大于4，并且变换系数块的宽度(W)或高度(H)小于8，那么可以将4×4不可分离的二次变换应用于变换系数块的左上min(8,W)×min(8,H)区域。然而，实施方式不限于此，并且例如，即使仅满足变换系数块的宽度(W)或高度(H)等于或大于4的条件，4×4不可分离的二次变换也可以应用于变换系数块的左上min(8,W)×min(8,H)区域。
具体地，例如，如果使用4×4输入块，则不可分离的二次变换可以如下执行。
4×4输入块X可以表示如下。
[式1]
如果X以向量的形式表示，则向量可以如下表示。
[式2]
在式2中，向量是通过根据行优先顺序重新布置式1的二维块X而获得的一维向量。
在这种情况下，可以如下计算不可分离的二次变换。
[式3]
在此式中，表示变换系数向量，而T表示16×16(不可分离的)变换矩阵。
通过前述式3，可以推导16×1变换系数向量并且可以通过扫描顺序(水平、垂直和对角线等)将向量/>重新组织为4×4块。然而，上述计算是示例，并且超立方体-吉文斯变换(HyGT)等也可以用于不可分离的二次变换的计算，以便降低不可分离的二次变换的计算复杂度。
此外，在不可分离的二次变换中，可以将变换核(或变换核心、变换类型)选择为模式相关。在这种情况下，模式可以包括帧内预测模式和/或帧间预测模式。
如上所述，可以基于以变换系数块的宽度(W)和高度(H)为基础确定的8×8变换或4×4变换来执行不可分离的二次变换。8×8变换是指当W和H二者都等于或大于8时可应用于变换系数块中包含的8×8区域的变换，并且8×8区域可以是变换系数块中的左上8×8区域。类似地，4×4变换是指当W和H二者都等于或大于4时可应用于变换系数块中包含的4×4区域的变换，并且4×4区域可以是变换系数块中的左上4×4区域。例如，8×8变换核矩阵可以是64×64/16×64矩阵，而4×4变换核矩阵可以是16×16/8×16矩阵。
这里，为了选择基于模式的变换核，针对用于8×8变换和4×4变换二者的不可分离的二次变换，可以每个变换集配置三个不可分离的二次变换核，并且可以存在35个变换集。也就是说，可以针对8×8变换配置35个变换集，并且可以针对4×4变换配置35个变换集。在这种情况下，可以在针对8×8变换的35个变换集中的每个变换集中包含三个8×8变换核，并且可以在针对4×4变换的35个变换集中的每个变换集中包括三个4×4变换核。上面提及的每个集中的变换的大小、集的数量、以及变换核的数量仅用于说明。替代地，可以使用除8×8或4×4之外的大小，可以配置n个集，并且在每个集中可以包括k个变换核。
变换集可以被称为NSST集，并且NSST集中的变换核可以被称为NSST核。例如，可以基于目标块(CU或子块)的帧内预测模式来执行来自变换集当中的特定集的选择。
为了参照，作为示例，帧内预测模式可以包括两个非定向(或非角度)帧内预测模式和65个定向(或角度)帧内预测模式。非定向帧内预测模式可以包括0号平面帧内预测模式和1号DC帧内预测模式，并且定向帧内预测模式可以包括在2号帧内预测模式与66号帧内预测模式之间的65个帧内预测模式。然而，这是示例，并且本公开可以应用于帧内预测模式的数量不同的情况。此外，根据情况，可以进一步使用67号帧内预测模式，并且67号帧内预测模式可以表示线性模型(LM)模式。
图5例示性地例示了65个预测方向的帧内定向模式。
参照图5，基于具有左上对角线预测方向的34号帧内预测模式，可以对具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式进行分类。图5的H和V分别是指水平方向性和垂直方向性，并且序号-32至32指示在样本网格位置上以1/32为单位的位移。这可以代表模式索引值的偏移。2号至33号帧内预测模式具有水平方向性，而34号至66号帧内预测模式具有垂直方向性。此外，严格来说，34号帧内预测模式可以被认为既不是水平的也不是垂直的，但是就确定二次变换的变换集而言，可以将其分类为属于水平方向性。这是因为输入数据被转置为用于基于34号帧内预测模式对称的垂直方向模式，并且用于水平模式的输入数据对齐方法被用于34号帧内预测模式。转置输入数据是指将二维块数据M×N的行和列转变为N×M数据。18号帧内预测模式和50号帧内预测模式可以分别表示水平帧内预测模式和垂直帧内预测模式，并且2号帧内预测模式可以被称为右上对角线帧内预测模式，因为它有左参考像素，并且在右上方向上预测。以相同的方式，34号帧内预测模式可以被称为右下对角线帧内预测模式，而第66号帧内预测模式可以被称为左下对角线帧内预测模式。
在这种情况下，例如，35个变换集与帧内预测模式之间的映射可以如下表所示。作为参考，如果将LM模式应用于目标块，则可以不将二次变换应用于目标块。
[表2]
帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
集 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
帧内模式 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67(LM)
集 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 NULL
此外，如果确定要使用特定集，则可以通过不可分离的二次变换索引来选择特定集中的k个变换核之一。编码设备可以基于率失真(RD)校验来推导指示特定变换核的不可分离的二次变换索引，并且可以将不可分离的二次变换索引发信号通知给解码设备。解码设备可以基于不可分离的二次变换索引从特定集中的k个变换核当中选择一个。例如，NSST索引值0可以指示第一不可分离的二级变换核，NSST索引值1可以指示第二不可分离的二次变换核，NSST索引值2可以指示第三不可分离的二次变换核。另选地，NSST索引值0可以指示第一不可分离的二次变换没有被应用于目标块，并且NSST索引值1至3可以指示三个变换核。
返回参照图4，变换器可以基于所选择的变换核来执行不可分离的二次变换，并且可以获得修改的(二次)变换系数。如上所述，修改的变换系数可以被推导为通过量化器量化的变换系数，并且可以被编码并发信号通知给解码设备，并且被传送到编码设备中的解量化器/逆变换器。
此外，如上所述，如果省略了二次变换，则可以将作为一次(可分离的)变换的输出的(一次)变换系数推导为如上所述通过量化器量化的变换系数，并且可以被编码并发信号通知给解码设备，并传送到编码设备中的解量化器/逆变换器。
逆变换器可以与在上述变换器中已经执行的顺序相反的顺序执行一系列过程。逆变换器可以接收(解量化的)变换系数，并且通过执行二次(逆)变换来推导(一次)变换系数(S450)，并且可以通过对(一次)变换系数执行一次(逆)变换来获得残差块(残差样本)(S460)。就此而言，从逆变换器的视角来看，一次变换系数可以被称为修改的变换系数。如上所述，编码设备和解码设备可以基于残差块和预测块来生成重构块，并且可以基于重构块来生成重构图片。
解码设备还可以包括二次逆变换应用确定器(或用于确定是否应用二次逆变换的元件)和二次逆变换确定器(或用于确定二次逆变换的元件)。二次逆变换应用确定器可以确定是否应用二次逆变换。例如，二次逆变换可以是NSST或RST，并且二次逆变换应用确定器可以基于通过解析比特流而获得的二次变换标志来确定是否应用二次逆变换。在另一示例中，二次逆变换应用确定器可以基于残差块的变换系数来确定是否应用二次逆变换。
二次逆变换确定器可以确定二次逆变换。在这种情况下，二次逆变换确定器可以基于根据帧内预测模式指定的NSST(或RST)变换集来确定应用于当前块的二次逆变换。在实施方式中，可以取决于一次变换确定方法来确定二次变换确定方法。可以根据帧内预测模式来确定一次变换和二次变换的各种组合。此外，在示例中，二次逆变换确定器可以基于当前块的大小来确定应用二次逆变换的区域。
此外，如上所述，如果省略二次(逆)变换，则可以接收(解量化的)变换系数，可以执行一次(可分离的)逆变换，并且可以获得残差块(残差样本)。如上所述，编码设备和解码设备可以基于残差块和预测块来生成重构块，并且可以基于重构块来生成重构图片。
此外，在本公开中，可以在NSST的概念中应用其中减小了变换矩阵(核)的大小的缩减二次变换(RST)，以便减少不可分离的二次变换所需的计算量和存储量。
此外，本公开中描述的变换核、变换矩阵以及构成变换核矩阵的系数，即，核系数或矩阵系数，可以以8比特来表示。这可以是在解码设备和编码设备中实现的条件，并且与现有的9比特或10比特相比，可以减少存储变换核所需的存储量，并且可以合理地适应性能劣化。另外，以8比特表示核矩阵可以允许使用小的乘法器，并且可以更适合于用于最佳软件实现的单指令多数据(SIMD)指令。
在本说明书中，术语“RST”可以是指基于大小根据缩减因子而减小的变换矩阵来对目标块的残差样本执行的变换。在执行缩减变换的情况下，由于变换矩阵的大小的减小，可以减少变换所需的计算量。也就是说，RST可以用于解决在大小大的块的变换或不可分离的变换时发生的计算复杂性问题。
RST可以被称为诸如缩减变换、缩减二次变换、缩小变换、简化变换和简单变换等之类的各种术语，并且RST可以被称为的名称不限于所列示例。另选地，由于RST主要在变换块中的包括非零系数的低频区域中执行，因此它可以被称为低频不可分离的变换(LFNST)。
此外，当基于RST执行二次逆变换时，编码设备200的逆变换器235和解码设备300的逆变换器322可以包括：逆缩减二次变换器，其基于变换系数的逆RST来推导修改的变换系数；以及逆一次变换器，其基于修改的变换系数的逆一次变换来推导目标块的残差样本。逆一次变换是指应用于残差的一次变换的逆变换。在本公开中，基于变换推导变换系数可以是指通过应用变换来推导变换系数。
图6是例示根据本公开的实施方式的RST的图。
在本说明书中，术语“目标块”可以指在其上执行编码的当前块或残差块。
在根据示例的RST中，可以将N维向量映射到位于另一个空间中的R维向量，从而可以确定缩减变换矩阵，其中R小于N。N可以是指应用了变换的块的侧边的长度的平方，或与应用了变换的块相对应的变换系数的总数，并且缩减因子可以是指R/N值。缩减因子可以被称为缩减因子、缩小因子、简化因子、简单因子或其它各种术语。此外，R可以被称为缩减系数，但是根据情况，缩减因子可以是指R。此外，根据情况，缩减因子可以是指N/R值。
在示例中，可以通过比特流来用信号通知缩减因子或缩减系数，但是示例不限于此。例如，可以在编码设备200和解码设备300中的每一个中存储针对缩减因子或缩减系数的预定值，并且在这种情况下，可以不单独发信号通知缩减因子或缩减系数。
根据示例的缩减变换矩阵的大小可以是小于N×N(常规变换矩阵的大小)的R×N，并且可以如下面的式4所限定。
[式4]
图6的(a)中所示的缩减变换块中的矩阵T可以是指式4的矩阵TR×N。如图6的(a)所示，当将缩减变换矩阵TR×N乘以目标块的残差样本时，可以推导目标块的变换系数。
在示例中，如果应用了变换的块的大小是8×8并且R＝16(即，R/N＝16/64＝1/4)，则根据图6的(a)的RST可以被表示为以下式5所示的矩阵运算。在这种情况下，存储和乘法计算可以通过缩减因子缩减至大约1/4。
[式5]
在式5中，r1至r64可以表示目标块的残差样本，并且具体地可以是通过应用一次变换而生成的变换系数。作为式5的计算的结果，可以推导目标块的变换系数ci，并且推导ci的过程可以如式6所示。
[式6]
作为式6的计算的结果，可以推导目标块的变换系数c1至cR。也就是说，当R＝16时，可以推导目标块的变换系数c1至c16。如果应用常规变换而不是RST，并将64×64(N×N)大小的变换矩阵与64×1(N×1)大小的残差样本相乘，则因为应用了RST而针对目标块仅推导16(R)个变换系数，尽管针对目标块推导了64(N)个变换系数。由于用于目标块的变换系数的总数从N缩减到R，所以编码设备200向解码设备300发送的数据量减少，因此编码设备200与解码设备300之间的传输效率可以提高。
当从变换矩阵的大小的视角考虑时，常规变换矩阵的大小为64×64(N×N)，但缩减变换矩阵的大小缩减为16×64(R×N)，因此与执行常规变换的情况相比，执行RST的情况下的存储使用率可以减小R/N比率。另外，当与使用常规变换矩阵的情况下的乘法计算的数量N×N相比时，使用缩减变换矩阵可以将乘法计算的数量(R×N)减小R/N比率。
在示例中，编码设备200的变换器232可以通过对目标块的残差样本执行一次变换和基于RST的二次变换来推导目标块的变换系数。这些变换系数可以被传送到解码设备300的逆变换器，并且解码设备300的逆变换器322可以基于针对变换系数的逆缩减二次变换(RST)来推导修改的变换系数，并且可以基于针对修改的变换系数的逆一次变换来推导目标块的残差样本。
根据示例的逆RST矩阵TN×R的大小为比常规逆变换矩阵N×N的大小小的N×R，并且与式4中所示的缩减变换矩阵TR×N具有转置关系。
图6的(b)所示的缩减逆变换块中的矩阵Tt可以是指逆RST矩阵TN×R T(上标T是指转置)。如图6的(b)所示，当将逆RST矩阵TN×R T乘以目标块的变换系数时，可以推导目标块的修改的变换系数或目标块的残差样本。逆RST矩阵TR×N T可以表示为(TR×N T)NxR。
更具体地，当逆RST被用作二次逆变换时，当逆RST矩阵TN×R T被乘以目标块的变换系数时，可以推导目标块的修改的变换系数。此外，可以将逆RST用作逆一次变换，并且在这种情况下，当将逆RST矩阵TN×R T与目标块的变换系数相乘时，可以推导目标块的残差样本。
在示例中，如果应用逆变换的块的大小是8×8并且R＝16(即，R/N＝16/64＝1/4)，则根据图6的(b)的RST可以被表示为以下式7所示的矩阵运算。
[式7]
在式7中，c1至c16可以表示目标块的变换系数。作为式7的计算的结果，可以推导表示目标块的修改的变换系数或目标块的残差样本的rj，并且推导rj的过程可以如式8所示。
[式8]
作为式8的计算的结果，可以推导表示目标块的修改的变换系数或目标块的残差样本的r1至rN。从逆变换矩阵的大小的视角考虑，常规逆变换矩阵的大小为64×64(N×N)，但逆缩减变换矩阵的大小缩减为64×16(R×N)，因此与执行常规逆变换的情况相比，执行逆RST的情况下的存储使用率可以减小R/N比率。另外，当与使用常规逆变换矩阵的情况下的乘法计算的数量N×N相比时，使用逆缩减变换矩阵可以将乘法计算的数量(N×R)减少R/N比率。
表2所示的变换集配置也可以应用于8×8RST。也就是说，可以根据表2中的变换集来应用8×8RST。由于根据帧内预测模式，一个变换集包括两个或三个变换(核)，因此可以将其配置为选择包括在不应用二次变换的情况下在内的至多四个变换中的一个。在不应用二次变换的变换中，可以考虑应用恒等矩阵(identity matrix)。假设分别将索引0、1、2和3分配给四个变换(例如，可以将索引0分配给应用恒等矩阵的情况，即，不应用二次变换的情况)，可以针对每个变换系数块发信号通知作为语法元素的NSST索引，由此指定要应用的变换。也就是说，通过NSST索引，可以为左上8×8块指定8×8NSST，并可以在RST配置中指定8×8RST。8×8NSST和8×8RST是指当要变换的目标块的W和H均等于或大于8时可应用于变换系数块中包括的8×8区域的变换，并且8×8区域可以是变换系数块中的左上8×8区域。类似地，4×4NSST和4×4RST是指当目标块的W和H均等于或大于4时可应用于变换系数块中包括的4×4区域的变换，并且4×4区域可以是变换系数块中的左上4×4区域。
如果应用了式4中所示的(正向)8×8RST，则生成16个有效变换系数。因此，考虑到形成8×8区域的64条输入数据被缩减为16条输出数据，并且从二维区域的角度来看，仅该区域的1/4被有效变换系数填充。因此，通过应用正向8×8RST获得的16条输出数据可以填充该块的左上区域(变换系数1至16)，如图7所示。
图7是例示根据本公开的实施方式的变换系数扫描顺序的图。如上所述，当正向扫描顺序从第一变换系数开始时，可以在正向扫描顺序中从第64到第17变换系数按图7所示的箭头指示的方向和顺序执行反向扫描。
在图7中，左上4×4区域是填充有有效变换系数的兴趣区域(ROI)，其余区域为空。默认情况下，空区域可以用0填充。
也就是说，当将具有16×64正向变换矩阵的8×8RST应用于8×8区域时，输出变换系数可以布置在左上4×4区域中，并且根据图7的扫描顺序可以将不存在输出变换系数的区域填充为0(从第64到第17变换系数)。
如果在图7的ROI之外发现非零有效变换系数，则确定尚未应用8×8RST，因此可以省略NSST索引编码。相反，如果在图7的ROI之外未发现非零变换系数(例如，如果在应用8×8RST的情况下在ROI之外的区域中将变换系数设置为0)，则很可能已经应用了8×8RST，因此可以执行NSST索引编码。由于有必要检查是否存在非零变换系数，因此可以在残差编码处理之后执行该有条件的NSST索引编码。
本公开公开了用于优化RST的设计和关联的方法，该RST的设计和关联可以从本实施方式中描述的RST结构应用于4×4块。一些概念不仅可以应用于4×4RST，而且可以应用于8×8RST或其它类型的变换。
图8是例示根据本公开的实施方式的逆RST处理的流程图。
图8中公开的每个操作可以由图3所示的解码设备300来执行。具体地，S800可以由图3所示的解量化器321执行，并且S810和S820可以由图3所示的逆变换器322来执行。因此，对与上述参照图3所述的内容重叠的特定细节的说明将被省略或简述。在本公开中，RST可以被应用于正向变换，并且逆RST可以是指被应用于反向变换。
在实施方式中，根据逆RST的特定操作与根据RST的特定操作不同之处可以仅在于它们的操作顺序彼此相反，并且根据逆RST的特定操作可以基本上是类似于根据RST的特定操作。因此，本领域技术人员将容易理解，以下描述的用于逆RST的S800至S820的描述可以以相同或相似的方式应用于RST。
根据实施方式的解码设备300可以通过对目标块的量化变换系数执行解量化来推导变换系数(S800)。
解码设备300可以在逆一次变换之后并且在逆二次变换之前确定是否应用逆二次变换。例如，逆二次变换可以是NSST或RST。例如，解码设备可以基于从比特流解析的二次变换标志来确定是否应用逆二次变换。在另一示例中，解码设备可以基于残差块的变换系数来确定是否应用逆二次变换。
解码设备300可以确定逆二次变换。在这种情况下，解码设备300可以基于根据帧内预测模式指定的NSST(或RST)变换集来确定应用于当前块的二次逆变换。在实施方式中，可以取决于一次变换确定方法来确定二次变换确定方法。例如，可以确定仅当将DCT-2用作一次变换中的变换核时才应用RST或LFNST。另选地，可以根据帧内预测模式来确定一次变换和二次变换的各种组合。
此外，在示例中，解码设备300可以在确定逆二次变换之前，基于当前块的大小来确定对其应用逆二次变换的区域。
根据实施方式的解码设备300可以选择变换核(S810)。更具体地，解码设备300可以基于关于变换索引、应用了变换的区域的宽度和高度、在图像解码中使用的帧内预测模式、以及目标块的颜色分量的信息中的至少一项来选择变换核。然而，示例不限于此，例如，可以预先定义变换核，并且可以不发信号通知用于选择变换核的单独信息。
在一个示例中，可以通过CIdx指示关于目标块的颜色分量的信息。如果目标块是亮度块，则CIdx可以指示0，并且如果目标块是色度块(例如，Cb块或Cr块)，则CIdx可以指示非零值(例如，1)。
根据实施方式的解码设备300可以基于选择的变换核和缩减因子将逆RST应用于变换系数(S820)。
在下文中，提出了根据本公开的实施方式的考虑帧内预测模式和块的大小的确定二次NSST集(即，二次变换集或变换集)的方法。
在实施方式中，可以基于上述帧内预测模式来配置用于当前变换块的集，由此将包括具有各种大小的变换核的变换集应用于变换块。表3中的变换集使用表4中的0到3表示。
[表3]
帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
NSST集 0 0 2 2 2 2 2 2 2 2 2 2 2 18 18 18 18 18 18 18 18 18 18 18 34 34 34 34 34 34 34 34 34 34
帧内模式 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66
NSST集 34 34 34 34 34 34 34 34 34 34 34 18 18 18 18 18 18 18 18 18 18 18 2 2 2 2 2 2 2 2 2 2 2
[表4]
帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
NSST集 0 0 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3
帧内模式 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66
NSST集 3 3 3 3 3 3 3 3 3 3 3 2 2 2 2 2 2 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1
表3中所示的索引0、2、18和34分别对应于表4中的0、1、2和3。在表3和表4中，仅使用四个变换集而不是35个变换集，从而显著减少了存储器空间。
可以包括在每个变换集中的变换核矩阵的各种数量可以设置为如下表所示。
[表5]
[表6]
[表7]
根据表5，两个可用的变换核用于每个变换集，因此变换索引的范围是0到2。
根据表6，两个可用的变换核用于变换集0(即，根据帧内预测模式中的DC模式和平面模式的变换集)，并且一个变换核用于每个其余变换集。这里，用于变换集1的可用变换索引的范围是0到2，而用于其余变换集1到3的变换索引的范围是0到1。
根据表7，一个可用的变换核用于每个变换集，因此变换索引的范围是0到1。
在表3的变换集映射中，可以使用总共四个变换集，并且可以将四个变换集重新布置以通过索引0、1、2和3进行区分，如表4所示。表8和表9例示了可用于二次变换的四个变换集，其中表8呈现了可应用于8×8块的变换核矩阵，而表9呈现了可应用于4×4块的变换核矩阵。表8和表9每个变换集包括两个变换核矩阵，并且两个变换核矩阵可以应用于表5中所示的所有帧内预测模式。
[表8]
/>
/>
/>
/>
/>
/>
/>
[表9]
/>
/>
/>
/>
/>
/>
/>
表8中所示的所有例示性变换核矩阵都是乘以作为缩放值的128的变换核矩阵。在表8的矩阵阵列中存在的g_aiNsst8×8[N1][N2][16][64]阵列中，N1表示变换集的数量(N1为4或35，由索引0、1、…和N1-1区分)，N2表示各个变换集中包括的变换核矩阵的数量(1或2)，而[16][64]表示16×64缩减二次变换(RST)。
如表3和表4所示，当变换集包括一个变换核矩阵时，可以将第一变换核矩阵或第二变换核矩阵用于表8中的变换集。
虽然在应用RST时输出16个变换系数，但是当仅应用16×64矩阵的m×64部分时，可以仅输出m个变换系数。例如，当通过设置m＝8并且仅乘以来自上部的8×64矩阵而仅输出八个变换系数时，可以将计算量减少一半。为了在最坏的情况下减少计算量，可以将8×64矩阵应用于8×8变换单元(TU)。
表9中所示的可应用于4×4区域的所有例示性变换核矩阵都是乘以作为缩放值的128的变换核矩阵。在表9的矩阵阵列中存在的g_aiNsst4×4[N1][N2][16][64]阵列中，N1表示变换集的数量(N1为4或35，由索引0、1、…和N1-1区分)，N2表示各个变换集中包括的变换核矩阵的数量(1或2)，[16][16]表示16×16变换。
如表3和表4所示，当变换集包括一个变换核矩阵时，可以将第一变换核矩阵或第二变换核矩阵用于表9中的变换集。
如在8×8RST中一样，当仅应用16×16矩阵的m×16部分时，可以仅输出m个变换系数。例如，当通过设置m＝8并且仅乘以来自上部的8×16矩阵而仅输出八个变换系数时，可以将计算量减少一半。为了在最坏的情况下减少计算量，可以将8×16矩阵应用于4×4变换单元(TU)。
基本上，表9中列出的可应用于4×4区域的变换核矩阵可以应用于4×4TU、4×MTU和M×4TU(M>4，4×M TU和M×4TU可以被划分为4×4的区域，每个指定的变换核矩阵都可以应用到该区域，或者变换核矩阵可以仅应用于最大左上4×8或8×4区域)，或者可以仅应用于左上4×4区域。如果将二次变换配置为仅应用于左上4×4区域，则可能不需要表8中所示的可应用于8×8区域的变换核矩阵。
为了减少最坏情况下的计算量，可以提出以下实施方式。在下文中，包括M行和N列的矩阵被表示为M×N矩阵，并且M×N矩阵是指在正向变换中(即，在编码设备执行变换(RST)时)应用的变换矩阵。因此，在由解码设备执行的逆变换(逆RST)中，可以使用通过转置M×N矩阵而获得的N×M矩阵。
1)在具有W的宽度和H的高度(其中，W≥8且H≥8)的块(例如，变换单元)的情况下，将可应用于8×8区域的变换核矩阵应用于块的左上8×8区域。在W＝8且H＝8的情况下，可仅应用16×64矩阵的8×64部分。也就是说，可以生成八个变换系数。
2)在具有W的宽度和H的高度(其中，W和H之一小于8，即，W和H之一为4)的块(例如，变换单元)的情况下，将可应用于4×4区域的变换核矩阵应用于该块的左上区域。在W＝4并且H＝4的情况下，可以仅应用16×16矩阵的8×16部分，在这种情况下，生成八个变换系数。
如果(W，H)＝(4，8)或(8，4)，则仅对左上4×4区域应用二次变换。如果W或H大于8(即，如果W和H之一等于或大于16而另一个为4)，则仅对两个左上4×4块应用二次变换。也就是说，仅左上的4×8或8×4区域可以被划分为两个4×4块，并且可以向其应用指定的变换核矩阵。
3)在具有W的宽度和H的高度(其中，W和H均为4)的块(例如，变换单元)的情况下，可以不应用二次变换。
4)在具有宽度W和高度H的块(例如，变换单元)的情况下，通过应用二次变换生成的系数的数量可以保持为变换单元的面积(即，变换单元中包括的像素总数＝W×H)的1/4或更小。例如，当W和H都为4时，可以应用16×16矩阵的上部4×16矩阵，使得生成四个变换系数。
假设仅将二次变换应用于整个变换单元(TU)的左上角8×8区域，则需要针对4×8变换单元或8×4变换单元生成八个或更少的系数，因此可以将16×16矩阵的上部8×16矩阵应用于左上4×4区域。最多可将16×64矩阵应用于8×8变换单元(最多可生成16个系数)。在4×N或N×4(N≥16)变换单元中，可以将16×16矩阵应用于左上4×4块，或者可以将16×16矩阵的上部8×16矩阵应用于两个左上4×4块。类似地，在4×8变换单元或8×4变换单元中，可以通过将16×16矩阵的上部4×16矩阵应用于两个左上4×4块来生成八个变换系数。
5)应用于4×4区域的二次变换的最大大小可以限制为8×16。在这种情况下，与16×16矩阵相比，可以将存储应用于4×4区域的变换核矩阵所需的存储器的量减少一半。
例如，在表9所示的所有变换核矩阵中，可以通过仅提取每个16×16矩阵的上部8×16矩阵而将最大大小限制为8×16，并且可以将实际的图像编码系统实现为仅存储变换核矩阵的8×16矩阵。
如果最大可应用变换大小为8×16，并且生成一个系数所需的最大乘法数限制为8，则最多8×16矩阵可应用于4×4块，最多8×16矩阵可应用于包括在4×N块或N×4块(N≥8，N＝2n，n≥3)中的最多两个左上的两个4×4块中的每一个。例如，可以针对4×N块或N×4块(N≥8，N＝2n，n≥3)中的一个左上4×4块存储8×16矩阵。
根据实施方式，当编码指定要应用于亮度分量的二次变换的索引时，具体地，当一个变换集包括两个变换核矩阵时，需要指定是否应用二次变换以及哪个变换核矩阵应用于二次变换。例如，当不应用二次变换时，可以将变换索引编码为0，而当应用二次变换时，可以将针对两个变换集的变换索引分别编码为1和2。
在这种情况下，当对变换索引进行编码时，可以使用截短一元编码。例如，可以分别将0、10和11的二进制码分配给变换索引0、1和2，由此对变换索引进行编码。
另外，当通过截短一元编码对变换索引进行编码时，可以将不同的CABAC上下文分配给每个bin。在以上示例中对变换索引0、10和11进行编码时，可以使用两个CABAC上下文。
当编码指定要应用于色度分量的二次变换的变换索引时，具体地，当一个变换集包括两个变换核矩阵时，类似于针对亮度分量对二次变换的变换索引编码时，有必要指定是否应用二次变换以及在二次变换中应用哪个变换核矩阵。例如，当不应用二次变换时，可以将变换索引编码为0，而当应用二次变换时，可以将两个变换集的变换索引分别编码为1和2。
在这种情况下，当对变换索引进行编码时，可以使用截短一元编码。例如，可以分别将0、10和11的二进制码分配给变换索引0、1和2，由此对变换索引进行编码。
另外，当通过截短一元编码对变换索引进行编码时，可以将不同的CABAC上下文分配给每个bin。在以上示例中对变换索引0、10和11进行编码时，可以使用两个CABAC上下文。
根据实施方式，可以根据色度帧内预测模式来分配不同的CABAC上下文集。例如，当色度帧内预测模式被划分为非定向模式(例如，平面模式或DC模式)和其它定向模式(即，分为两组)时，当在上述示例中编码0、10和11时，可以为每个组分配相对应的CABAC上下文集(包括两个上下文)。
当色度帧内预测模式被划分为多个组并且分配了相对应的CABAC上下文集时，有必要在对二次变换的变换索引进行编码之前找出色度帧内预测模式值。然而，在色度直接模式(DM)中，由于照原样使用亮度帧内预测模式值，因此还需要找出亮度分量的帧内预测模式值。因此，当编码关于色度分量的信息时，可能会出现对亮度分量信息的数据依赖。因此，在色度DM中，当在不具有关于帧内预测模式的信息的情况下对二次变换的变换索引进行编码时，可以通过映射到特定组来去除数据依赖。例如，如果色度帧内预测模式是色度DM，则可以使用假定平面模式或DC模式的相应CABAC上下文集来编码变换索引，或者可以假定其它定向模式来应用相应的CABAC上下文集。
此外，如上所述，可以基于多个变换集来执行二次变换，并且每个变换集可以由多个变换核矩阵(或变换)组成。在此情况下，可以通过被映射到帧内预测模式值来确定变换集，并且可以通过发信号通知指示应用哪个变换核矩阵执行变换的变换索引来确定构成变换集的变换核矩阵。
这里，二次变换可为前述缩减二次变换(RST)、不可分离的二次变换(NSST)、低频不可分离的变换(LFNST)、分层Givens变换(LGT)等。因此，当将RST应用于二次变换时，发信号通知的索引信息可以表示为“RST索引”、nsst索引、lfnst索引等。然而，由于信令方法与应用哪种二次变换无关，因此指示变换核矩阵的索引信息在下文中被称为“ST索引”。
此外，在发信号通知索引信息的同时，也可以发信号通知N个变换核矩阵构成变换集的情形和未应用二次变换的情形。例如，可以将0至N指派为索引值，索引0可以指示未应用二次变换的情形，并且索引1至N可以被配置为指示对应的N个变换核矩阵。另外，在将从0至N的索引值转换为二进制值(即，二值化)的情况下，其可以通过如下截短一元方法进行二值化。
[表10]
索引的值 二进制码 二进制码的长度
0 0 1
1 10 2
2 110 3
N-1 111…10 N
N 111…11 N
如表10中所示，如果二进制码是N，则二进制码的最大长度是N。如果0、1和2被指派为索引值(即，当N＝2时)，0、10和11可以被分别指派给对应的二进制码。
通常，二进制串的每个位置的二进制值被称作bin，并且二进制串的每个bin可以通过上下文自适应二进制算术编码(CABAC)或旁路编码方法进行编码。旁路编码方法是在无需上下文的情况下分配0.5的概率的编码方案，而CABAC编码(其可被称作常规编码)是从上下文信息中获得要应用于编码的概率值(即，概率信息)的编码方案。
当用CABAC编码进行编码时，可以使用M个上下文信息对N个bin进行编码，并且每个上下文信息可以应用于编码特定位置的一个bin或者应用于编码多个位置的多个bin。这里，M可以等于或小于N，并且如下所述，当应用上下文集时，由于两个或更多个上下文信息可以应用于一个bin，所以M可以大于N。
另外，可以通过在使用CABAC的编解码器(例如，HEVC、VVC)中应用的方法来更新每个上下文，并且以上描述的常规编码方法也可以遵循在现有编解码器中应用的方法。
例如，如果索引值为0、1及2并且0、10及11分别被指派为对应的二进制码，则可以通过将上下文信息分配到每个bin来应用两个上下文信息。也就是说，当编码第一bin时可以应用上下文A，并且当编码第二bin时可以应用上下文B。
根据示例，当M个上下文信息构成一个束(bundle)(上下文集)时，可以配置多个上下文集，并且可以根据编码条件应用不同的上下文集。
例如，可以根据要变换的目标块的树类型来应用不同的上下文集。根据亮度块和对应于亮度块的色度块是否各自具有单独的分割结构，树类型可以被分类为单树(SINGLE_TREE)或双树(DUAL_TREE)。如果色度块与亮度块具有相同的分割结构，那么它可以表示为单树，而如果色度块具有与亮度分量块的不同的分割结构，那么它可以表示为双树。如果树类型是单树，则可以使用第一上下文集来对变换索引进行编码，并且如果树类型是双树，则可以使用第二上下文集来对变换索引进行编码。
也就是说，当树类型是单树时，在两个bin当中的第一bin中使用第一上下文信息，并且在第二bin中使用第二上下文信息，第一上下文集由第一上下文信息和第二上下文信息组成。当树类型是双树时，如果在两个bin当中的第一bin中使用第三上下文信息并且在第二bin中使用第二上下文信息，则第二上下文集由不同于第一上下文集的第三上下文信息和第二上下文信息组成。当然，第二上下文集可以包括第三上下文信息和第四上下文信息。
具体地，如果索引值为0、1、2并且0、10和11分别被指派给对应的二进制码，则可以将两个不同上下文信息(例如，上下文0及上下文2)应用于每个bin。在此情况下，一个上下文集可以由两个上下文组成，并且可以存在由两个上下文组成的多个上下文集。其它上下文集可以由上下文1及上下文2组成，并且另一上下文集可以包括不同于第一上下文集的上下文信息。可以根据预设条件(例如，目标块的树类型)来选择多个上下文集中的任何一个。
总之，可以根据树类型来将由不同上下文信息组成的上下文集应用于编码变换索引。
另外，根据示例，如果索引值为0、1和2并且0、10和11分别被指派给对应的二进制码，则当编码第一bin时，0和10/11是可区分的，并且当编码第二bin时，10和11是可区分的，当根据相应的其自身上下文信息编码两个bin时，一个上下文集可以由两个上下文信息组成。
另外，根据示例，也可以分层地组织上下文集。例如，通过定义一束上下文集(一组上下文集)，配置了若干个“上下文集的组”，并且“上下文集的组”中的一个被选择和应用。当分层地配置上下文集时，也可以构建若干级别的集合。
根据示例，当用两个级别来分层地组织上下文集时，可在以下阵列中表示所有上下文。
[式9]
ST_index_context[P][Q][2]
在式9中，P是“上下文集的组”，并且Q是构成“上下文集的组”的上下文集。
ST_index_context指示由两个上下文组成的上下文集存在与对应于P×Q的数量一样多的上下文集。也就是说，“上下文集的组”可以是P中的一个，并且一个“上下文集的组”由Q个上下文集组成。假设P和Q值二者都是2，则上下文可以如下指定为总共3个变量(p，q，r)：
[式10]
ST_index_context[p][q][r](0≤p,q,r≤1)
在式10中，变量p、q和r都可以是0或1。
变量r指示上下文，并且在上述截短通用码中可以是对应于第一bin的r＝0以及对应于第二bin的r＝1。
变量q指示上下文集，并且可以如在以下伪码示例中确定。
[表11]
在表11的伪码中，‘DM_chroma_mode’和‘LM_chroma_mode’分别是指使用亮度分量(亮度块)的帧内预测模式作为色度分量(色度块)的帧内预测模式的DM色度编码模式以及基于从亮度分量(亮度块)的相邻重构像素值估计的权重和偏移值来计算色度预测块的LM色度编码模式。‘chroma_coding’变量指示色度分量是否被编码，并且‘Planar_mode’和‘DC_Mode’分别指示平面预测模式和DC预测模式。
原始预测模式值被存储为‘intra_mode’变量，但该值被两个if条件语句临时改变并且用于确定q值。‘chroma_format’变量指示当前图片中的色度分量的分辨率，并且‘chroma_422’指示4:2:2格式。表11的伪码中所呈现的阵列变量‘g_chroma422IntraAngleMappingTable’是用于模式值的映射表的示例，并且‘DM_CHROMA_IDX’是指示DM色度编码模式的索引。作为映射表，可以使用与表11的g_chroma422IntraAngleMappingTable不同的映射表，并且可以使用在伪码中呈现的if条件语句中的一些或者仅每个if条件语句的一部分。
变量p也可以根据编码条件来确定，例如，当指示MTS是否应用于残差样本的‘MTS_flag’值为1且用于亮度分量的ST索引值和用于色度分量的ST索引值被单独编码时，其可以具有值p＝1，并且在其它情况下，p可以具有值0。例如，当亮度分量及色度分量的分割结构以不同的双树进行编码使得用于亮度分量的语法元素及用于色度分量的语法元素被独立编码时，p＝1值且在其它情况下p可以具有值0。
图9是例示根据本公开的实施方式的视频解码设备的操作的流程图。
图9所示的每个操作可以由图3所示的解码设备300执行。具体地，S910可以由图3所示的熵解码器310执行，S920可以由图3所示的解量化器321执行，S930和S940可以由图3所示的逆变换器322执行，并且S950可以由图3所示的加法器340执行。根据S910至S950的操作基于参照图4至图8说明的前述细节中的一些。因此，对与上面参照图3至图8说明的细节重叠的特定细节的描述将被省略或简述。
根据实施方式的解码设备300可以从比特流中推导目标块的量化变换系数(S910)。具体地，解码设备300可以从比特流中解码关于目标块的量化变换系数的信息，并且可以基于关于目标块的量化变换系数的信息来推导目标块的量化变换系数。关于目标块的量化变换系数的信息可以被包括在序列参数集(SPS)或条带头部中，并且可以包括关于是否应用缩减变换(RST)的信息、关于缩减因子的信息、关于应用了RST的最小变换大小的信息、关于应用了RST的最大变换大小的信息、关于缩减逆变换大小的信息、以及关于指示包括在变换集中的任一变换核矩阵的变换索引的信息。
根据实施方式的解码设备300可以通过对目标块的量化变换系数进行解量化来推导变换系数(S920)。
根据实施方式的解码设备300可以基于变换系数的逆缩减二次变换(RST)来推导修改的变换系数(S930)。
在示例中，可以基于逆RST变换矩阵来执行逆RST，并且逆RST变换矩阵可以是其中列数小于行数的非正方形矩阵。
在实施方式中，S930可以包括：解码变换索引；基于变换索引来确定是否满足用于应用逆RST的条件；选择变换核矩阵；以及当满足用于应用逆RST的条件时，基于所选择的变换核矩阵和/或缩减因子来将逆RST应用于变换系数。在这种情况下，可以基于缩减因子来确定缩减逆变换矩阵的大小。
根据实施方式的解码设备300可以基于修改的变换系数的逆变换来推导目标块的残差样本(S940)。
解码设备300可以对目标块的修改的变换系数执行逆一次变换，在这种情况下，可以应用缩减逆变换，或可以将常规的可分离的变换用作逆一次变换。
根据实施方式的解码设备300可以基于目标块的残差样本和目标块的预测样本来生成重构样本(S950)。
参照S930，可以识别出，目标块的残差样本是基于目标块的变换系数的逆RST来推导的。从逆变换矩阵的大小的角度来看，由于常规逆变换矩阵的大小为N×N，而逆RST矩阵的大小缩减为N×R，因此与执行常规变换的情况相比，执行逆RST的情况的存储器使用量可以减少R/N比率。此外，与使用常规的逆变换矩阵的情况下的乘法的数量N×N相比，使用逆RST矩阵可以将乘法的数量(N×R)减少R/N比率。另外，由于当应用逆RST时仅需要解码R个变换系数，因此与在应用常规的逆变换时需要解码N个变换系数相比，目标块的变换系数的总数可以从N减少到R，因而增加了解码效率。也就是说，根据S930，可以通过逆RST来增加解码设备300的(逆)变换效率和解码效率。
图10是例示根据本公开的实施方式的逆RST的控制流程图。
解码设备300从比特流接收关于变换索引和帧内预测模式的信息(S1000)。
将该信息作为语法信息接收，并且语法信息被接收为包括0和1的bin串。
熵解码器310可以推导关于变换索引的语法元素的二值化信息。
该操作针对所接收到的变换索引的语法元素可以具有的二进制值生成候选集。根据本实施方式，可以通过截短一元编码对用于变换索引的语法元素进行二值化。
根据本实施方式的变换索引的语法元素可以指示是否应用了逆RST以及包括在变换集中的变换核矩阵之一。当变换集包括两个变换核矩阵时，变换索引的语法元素可以具有三个值。
也就是说，根据实施方式，变换索引的语法元素的值可以包括：0，其指示逆RST没有被应用于目标块；1，其指示变换核矩阵的第一变换核矩阵；2，其指示变换核矩阵的第二变换核矩阵。
在这种情况下，可以根据截短一元编码将变换索引的语法元素的三个值分别编码为0、10和11。也就是说，语法元素的值0可以被二值化为“0”，语法元素的值1可以被二值化为“10”，并且语法元素的值2可以被二值化为“11”。
熵解码器310基于根据目标块的树类型的不同上下文集来推导针对变换索引的bin串的上下文信息(即，上下文模型)(S1010)，并且可以基于上下文信息对语法元素bin串的bin进行解码(S1020)。
根据该实施方式，不同的上下文信息(即，概率模型)可以分别应用于变换索引的两个bin。也就是说，可以通过上下文方法而不是通过旁路方法来解码变换索引的所有两个bin，其中可以基于第一上下文信息来解码变换索引的语法元素的bin中的第一bin，可以基于第二上下文信息来解码变换索引的语法元素的bin中的第二bin。
可以基于不同的上下文集来推导此上下文信息。
例如，根据亮度块和对应于亮度块的色度块是否各自具有单独的分割结构，目标块的树类型可以被分类为单树(SINGLE_TREE)或双树(DUAL_TREE)。如果色度块与亮度块具有相同的分割结构，那么它可以表示为单树，而如果色度块具有与亮度分量块的不同的分割结构，那么它可以表示为双树。如果树类型是单树，则可以使用第一上下文集来对变换索引进行编码，并且如果树类型是双树，则可以使用第二上下文集来对变换索引进行编码。
也就是说，当目标块的树类型是双树类型时，基于第一上下文集推导上下文信息，而当目标块的树类型是单树类型时，基于不同于第一上下文集的第二上下文集推导上下文信息。在此情况下，第一上下文集由用于变换系数的语法元素的bin当中的第一bin的第一上下文信息和用于变换系数的语法元素的bin当中的第二bin的第二上下文信息组成。第二上下文集可以包括用于变换系数的语法元素的bin当中的第一bin的第三上下文信息和用于变换系数的语法元素的bin当中的第二bin的第四上下文信息。
根据实施方式，第一上下文信息和第三上下文信息可以彼此不同，并且第二上下文信息和第四上下文信息可以是相同的。当然，第二上下文信息和第四上下文信息可以彼此不同。
总之，熵解码器310接收使用截短一元编码方法二值化的串，并且基于上下文集和与其对应的上下文信息，使用对应的二值化值的候选集对变换索引的语法元素进行解码。
可以通过该基于上下文信息的解码来推导变换索引的语法元素可以具有的二进制值当中的应用于目标块的变换索引的语法元素的值(S1030)。
也就是说，可以推导出变换索引0、1、和2中的哪一个应用于当前目标块。
解码设备300的逆变换器322根据应用于目标块的帧内预测模式基于映射关系来确定变换集(S1040)，并且可以基于变换集和变换索引的语法元素的值执行逆RST(S1050)。
如上所述，多个变换集可以根据要变换的变换块的帧内预测模式来确定，并且可以基于由变换索引指示的变换集中包括的变换核矩阵中的任何一个来执行RST。
图11是例示根据本公开的实施方式的视频编码设备的操作的流程图。
图11所示的每个操作可以由图2所示的编码设备200来执行。具体地，S1110可以由图2所示的预测器220来执行，S1120可以由图2所示的减法器231来执行，S1130和S1140可以由图2所示的变换器232来执行，并且S1150可以由图2所示的量化器233和熵编码器240来执行。根据S1110至S1150的操作是基于图4至图8中描述的一些内容。因此，对与上面的参照图4至图8说明的细节重叠的特定细节的描述将被省略或简述。
根据实施方式的编码设备200可以基于应用于目标块的帧内预测模式来推导预测样本(S1110)。
根据实施方式的编码设备200可以推导目标块的残差样本(S1120)。
根据实施方式的编码设备200可以基于残差样本的一次变换来推导目标块的变换系数(S1130)。可以通过多个变换核来执行一次变换，并且可以基于帧内预测模式来选择变换核。
解码设备300可以对目标块的变换系数执行二次变换，特别是NSST，在这种情况下，可以基于缩减变换(RST)或不基于RST来执行NSST。当基于缩减变换来执行NSST时，可以执行根据S1140的操作。
根据实施方式的编码设备200可以基于变换系数的RST来推导目标块的修改的变换系数(S1140)。在示例中，可以基于缩减变换矩阵或变换核矩阵来执行RST，并且缩减变换矩阵可以是其中行数小于列数的非正方形矩阵。
在实施方式中，S1140可以包括：确定是否满足用于应用RST的条件；基于该确定来生成和编码变换索引；选择变换核；以及当满足用于应用RST的条件时，基于所选择的变换核矩阵和/或缩减因子将RST应用于残差样本。在这种情况下，可以基于缩减因子来确定缩减变换核矩阵的大小。
根据实施方式的编码设备200可以通过基于目标块的修改的变换系数执行量化来推导量化变换系数，并且可以对关于量化变换系数的信息进行编码(S1150)。
具体地，编码设备200可以生成关于量化变换系数的信息，并且可以对生成的关于量化变换系数的信息进行编码。
在示例中，关于量化变换系数的信息可以包括关于是否应用RST的信息、关于缩减因子的信息、关于应用了RST的最小变换大小的信息、以及关于应用了RST的最大变换大小的信息中的至少一个。。
参照S1140，可以识别出基于残差样本的RST来推导目标块的变换系数。在从变换核矩阵的大小的角度来看时，由于常规变换核矩阵的大小为N×N而缩减变换矩阵的大小缩减为R×N，因此与执行常规变换的情况相比，执行RST的情况下的存储器使用量可以减小R/N比率。此外，与使用常规变换核矩阵的情况下的乘法的数量N×N相比，使用缩减变换核矩阵可以使乘法的数量(R×N)减少R/N比率。另外，由于当应用RST时仅需要推导R个变换系数，因此与当应用常规变换时推导N个变换系数的情况相比，目标块的变换系数的总数可以从N减少至R，因而减少了由编码设备200向解码设备300发送的数据量。也就是说，根据S1140，可以通过RST来增加编码设备200的变换效率和编码效率。
图12是例示根据本公开的实施方式的RST的控制流程图。
首先，编码设备200可以根据应用于目标块的帧内预测模式基于映射关系来确定变换集(S1200)。
变换器232可以通过基于包括在变换集中的变换核矩阵中的任何一个执行RST来推导变换系数(S1210)。
在本实施方式中，变换系数可以是由一次变换然后是二次变换得到的修改的变换系数，并且在每个变换集中可以包括两个变换核矩阵。
当执行RST时，关于RST的信息可以由熵编码器240编码。
熵编码器240可以推导指示包括在变换集中的变换核矩阵中的任何一个的变换索引的语法元素的值(S1220)。
根据本实施方式的变换索引的语法元素可以指示是否应用了(逆)RST以及包括在变换集中的变换核矩阵中的任何一个。当变换集包括两个变换核矩阵时，变换索引的语法元素可以具有三个值。
根据实施方式，可以将变换索引的语法元素的值推导为：0，其指示未将(逆)RST应用于目标块；1，其指示变换核矩阵的第一变换核矩阵；或2，其指示变换核矩阵的第二变换核矩阵。
熵编码器240可以对变换索引的语法元素的推导值进行二值化(S1230)。
熵编码器240可以根据截短一元编码将变换索引的语法元素的三个值二值化为0、10和11。也就是说，语法元素的值0可以被二值化为“0”，语法元素的值1可以被二值化为“10”，并且语法元素的值2可以被二值化为“11”，并且熵编码器240可以将推导的变换索引的语法元素二值化为“0”、“10”和“11”中的一个。
熵编码器240基于根据目标块的树类型的不同上下文集来推导针对变换索引的bin串的上下文信息(S1240)，并且可以基于上下文信息对语法元素bin串的bin进行编码(S1250)。
根据此实施方式，不同的上下文信息可以应用于变换索引的两个bin中的每一个。也就是说，可以通过上下文方法而不是通过旁路方法来对变换索引的所有两个bin进行编码，其中可以基于第一上下文信息来对变换索引的语法元素的bin中的第一bin进行编码，可以基于第二上下文信息来对变换索引的语法元素的bin中的第二bin进行编码。
可以基于不同的上下文集来推导此上下文信息。
例如，根据亮度块和对应于亮度块的色度块是否各自具有单独的分割结构，目标块的树类型可以被分类为单树(SINGLE_TREE)或双树(DUAL_TREE)。如果色度块与亮度块具有相同的分割结构，那么它可以表示为单树，而如果色度块具有与亮度分量块的不同的分割结构，那么它可以表示为双树。如果树类型是单树，则可以使用第一上下文集来对变换索引进行编码，并且如果树类型是双树，则可以使用第二上下文集来对变换索引进行编码。
也就是说，当目标块的树类型是双树类型时，基于第一上下文集推导上下文信息，而当目标块的树类型是单树类型时，基于不同于第一上下文集的第二上下文集推导上下文信息。在此情况下，第一上下文集由用于变换系数的语法元素的bin当中的第一bin的第一上下文信息和用于变换系数的语法元素的bin当中的第二bin的第二上下文信息组成。第二上下文集可以包括用于变换系数的语法元素的bin当中的第一bin的第三上下文信息和用于变换系数的语法元素的bin当中的第二bin的第四上下文信息。
根据实施方式，第一上下文信息和第三上下文信息可以彼此不同，并且第二上下文信息和第四上下文信息可以是相同的。当然，第二上下文信息和第四上下文信息可以彼此不同。
语法元素的编码的bin串可以作为比特流输出到解码设备300或外部。
在上述实施方式中，借助于一系列步骤或方框基于流程图解释了方法，但是本公开不限于步骤的顺序，并且可以按与上述顺序或步骤不同的顺序或步骤来执行某一步骤，或某一步骤与其它步骤并发地执行。此外，本领域普通技术人员可以理解，流程图中所示的步骤不是排它的，并且在不影响本公开的范围的情况下，可以并入另一步骤或者可以删除流程图中的一个或更多个步骤。
根据本公开的上述方法可以被实现为软件形式，并且根据本公开的编码设备和/或解码设备可以被包括在诸如电视、计算机、智能电话、机顶盒和显示装置等之类的用于图像处理的设备中。
当本公开中的实施方式通过软件来实施时，上述方法可以被实施为用于执行上述功能的模块(步骤、功能等)。这些模块可以存储在存储器中并且可以由处理器执行。存储器可以在处理器内部或外部，并且可以以各种众所周知的方式连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储装置。也就是说，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实施和执行。例如，每个附图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实施和执行。
此外，应用本公开的解码设备和编码设备可以包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监控相机、视频聊天装置、实时通信装置(诸如视频通信)、移动流装置、存储介质、便携式摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流服务提供装置、三维(3D)视频装置、视频电话视频装置、和医疗视频装置，并且可以用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏机、蓝光播放器、互联网接入TV、家庭影院系统、智能电话、平板PC、数字视频记录仪(DVR)等。
另外，应用本公开的处理方法可以以由计算机执行的程序的形式来生产，并且可以存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的各种存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，互联网上的传输)形式实施的介质。另外，通过编码方法所生成的比特流可以存储在计算机可读记录介质中，或者通过有线或无线通信网络来传输。另外，本公开的实施方式可以通过程序代码被实施为计算机程序产品，并且程序代码可以按照本公开的实施方式在计算机上执行。程序代码可以存储在计算机可读载体上。
图13例示了应用本公开的内容流系统的结构。
此外，应用本公开的内容流系统可以大致包括编码服务器、流服务器、web服务器、媒体存储装置、用户设备和多媒体输入装置。
编码服务器用于将从诸如智能电话、相机、便携式摄像机等的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且向流服务器发送它。作为另一示例，在诸如智能电话、相机、便携式摄像机等的多媒体输入装置直接生成比特流的情况下，可以省略编码服务器。可以通过应用本公开的编码方法或比特流生成方法来生成比特流。并且流服务器可以在发送或接收比特流的过程期间临时存储比特流。
流服务器基于用户的请求通过web服务器向用户装置发送多媒体数据，web服务器用作向用户通知存在什么服务的的器具。当用户请求用户想要的服务时，web服务器将请求传送至流服务器，并且流服务器向用户发送多媒体数据。在此而言，内容流系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流系统中的相应装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收内容的情况下，可以实时地接收内容。在这种情况下，为了平稳地提供流服务，流服务器可以存储比特流达预定时间。
例如，用户装置可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、板式PC、平板PC、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。内容流系统中的各个服务器可以作为分布式服务器操作，并且在这种情况下，由各个服务器接收到的数据可以用分布式方式进行处理。

Claims (4)

1.一种由解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
从比特流中接收残差信息、变换索引和关于帧内预测模式的信息；
基于所述残差信息来推导目标块的变换系数；以及
基于所述变换系数的逆缩减二次变换RST来推导修改的变换系数；
其中，推导修改的变换系数的步骤包括以下步骤：
根据应用于所述目标块的所述帧内预测模式基于映射关系来确定变换集；
从所述变换集中包括的两个变换核矩阵当中基于所述变换索引选择变换核矩阵；以及
通过基于所述变换核矩阵执行所述逆RST来推导所述修改的变换系数，
其中，所述变换索引是基于上下文自适应二进制算术编码CABAC并且通过以下来解码的：
基于包括第一上下文集和第二上下文集的上下文集来推导所述变换索引的语法元素的上下文信息；
基于所述上下文信息来对包括第一bin和第二bin的用于所述变换索引的所述语法元素的bin进行解码；以及
基于解码后的bin来推导所述变换索引的所述语法元素的值，
其中，基于所述目标块的树类型是双树类型，所述上下文信息是基于第一上下文集而推导的，并且基于所述目标块的所述树类型是单树类型，所述上下文信息是基于第二上下文集而推导的，
其中，所述第一上下文集包括用于所述变换索引的语法元素的所述第一bin的第一上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第二上下文信息，并且
其中，所述第二上下文集包括用于所述变换索引的语法元素的所述第一bin的第三上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第四上下文信息。
2.一种由图像编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
推导目标块的残差样本；
基于所述残差样本的一次变换来推导所述目标块的变换系数；以及
基于所述变换系数的缩减二次变换RST来推导修改的变换系数，
其中，推导所述修改的变换系数的步骤包括以下步骤：
根据应用于所述目标块的帧内预测模式基于映射关系来确定变换集；
从所述变换集中包括的两个变换核矩阵当中选择变换核矩阵；
通过基于所述变换核矩阵执行所述RST来推导所述修改的变换系数；以及
生成指示所述变换核矩阵的变换索引，
其中，所述变换索引是基于上下文自适应二进制算术编码CABAC并且通过以下来生成的：
推导所述变换索引的语法元素的值；
基于包括第一上下文集和第二上下文集的上下文集来推导所述变换索引的所述语法元素的上下文信息；以及
基于所述上下文信息来对包括第一bin和第二bin的用于所述变换索引的所述语法元素的bin进行编码，
其中，基于所述目标块的树类型是双树类型，所述上下文信息是基于第一上下文集而推导的，并且基于所述目标块的所述树类型是单树类型，所述上下文信息是基于第二上下文集而推导的，
其中，所述第一上下文集包括用于所述变换索引的语法元素的所述第一bin的第一上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第二上下文信息，并且
其中，所述第二上下文集包括用于所述变换索引的语法元素的所述第一bin的第三上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第四上下文信息。
3.一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储由图像编码方法生成的比特流，该图像编码方法包括以下步骤：
推导目标块的残差样本；
基于所述残差样本的一次变换来推导所述目标块的变换系数；以及
基于所述变换系数的缩减二次变换RST来推导修改的变换系数，
其中，推导所述修改的变换系数的步骤包括以下步骤：
根据应用于所述目标块的帧内预测模式基于映射关系来确定变换集；
从所述变换集中包括的两个变换核矩阵当中选择变换核矩阵；
通过基于所述变换核矩阵执行所述RST来推导所述修改的变换系数；以及
生成指示所述变换核矩阵的变换索引，
其中，所述变换索引是基于上下文自适应二进制算术编码CABAC并且通过以下来生成的：
推导所述变换索引的语法元素的值；
基于包括第一上下文集和第二上下文集的上下文集来推导所述变换索引的所述语法元素的上下文信息；以及
基于所述上下文信息来对包括第一bin和第二bin的用于所述变换索引的所述语法元素的bin进行编码，
其中，基于所述目标块的树类型是双树类型，所述上下文信息是基于第一上下文集而推导的，并且基于所述目标块的所述树类型是单树类型，所述上下文信息是基于第二上下文集而推导的，
其中，所述第一上下文集包括用于所述变换索引的语法元素的所述第一bin的第一上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第二上下文信息，并且
其中，所述第二上下文集包括用于所述变换索引的语法元素的所述第一bin的第三上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第四上下文信息。
4.一种用于视频的数据的发送方法，所述发送方法包括以下步骤：
获得所述视频的比特流，所述比特流是基于以下而生成的：推导目标块的残差样本，基于所述残差样本的一次变换来推导所述目标块的变换系数，以及基于所述变换系数的缩减二次变换RST来推导修改的变换系数；以及
发送包括所述比特流的所述数据，
其中，推导所述修改的变换系数的步骤包括以下步骤：
根据应用于所述目标块的帧内预测模式基于映射关系来确定变换集；
从所述变换集中包括的两个变换核矩阵当中选择变换核矩阵；
通过基于所述变换核矩阵执行所述RST来推导所述修改的变换系数；以及
生成指示所述变换核矩阵的变换索引，
其中，所述变换索引是基于上下文自适应二进制算术编码CABAC并且通过以下来生成的：
推导所述变换索引的语法元素的值；
基于包括第一上下文集和第二上下文集的上下文集来推导所述变换索引的所述语法元素的上下文信息；以及
基于所述上下文信息来对包括第一bin和第二bin的用于所述变换索引的所述语法元素的bin进行编码，
其中，基于所述目标块的树类型是双树类型，所述上下文信息是基于第一上下文集而推导的，并且基于所述目标块的所述树类型是单树类型，所述上下文信息是基于第二上下文集而推导的，
其中，所述第一上下文集包括用于所述变换索引的语法元素的所述第一bin的第一上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第二上下文信息，并且
其中，所述第二上下文集包括用于所述变换索引的语法元素的所述第一bin的第三上下文信息以及用于所述变换索引的所述语法元素的所述第二bin的第四上下文信息。
CN201980084533.3A 2018-12-19 2019-12-17 用于基于二次变换编码图像的方法及其装置 Active CN113228685B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310882791.4A CN116744003A (zh) 2018-12-19 2019-12-17 编解码方法、存储介质和发送方法
CN202310883425.0A CN116744004A (zh) 2018-12-19 2019-12-17 编码设备、解码设备和数据发送设备
CN202310884650.6A CN116744005A (zh) 2018-12-19 2019-12-17 解码设备、编码设备和数据发送设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862782285P 2018-12-19 2018-12-19
US62/782,285 2018-12-19
PCT/KR2019/017900 WO2020130581A1 (ko) 2018-12-19 2019-12-17 이차 변환에 기반한 영상 코딩 방법 및 그 장치

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202310883425.0A Division CN116744004A (zh) 2018-12-19 2019-12-17 编码设备、解码设备和数据发送设备
CN202310882791.4A Division CN116744003A (zh) 2018-12-19 2019-12-17 编解码方法、存储介质和发送方法
CN202310884650.6A Division CN116744005A (zh) 2018-12-19 2019-12-17 解码设备、编码设备和数据发送设备

Publications (2)

Publication Number Publication Date
CN113228685A CN113228685A (zh) 2021-08-06
CN113228685B true CN113228685B (zh) 2023-08-04

Family

ID=71100502

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202310884650.6A Pending CN116744005A (zh) 2018-12-19 2019-12-17 解码设备、编码设备和数据发送设备
CN201980084533.3A Active CN113228685B (zh) 2018-12-19 2019-12-17 用于基于二次变换编码图像的方法及其装置
CN202310882791.4A Pending CN116744003A (zh) 2018-12-19 2019-12-17 编解码方法、存储介质和发送方法
CN202310883425.0A Pending CN116744004A (zh) 2018-12-19 2019-12-17 编码设备、解码设备和数据发送设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310884650.6A Pending CN116744005A (zh) 2018-12-19 2019-12-17 解码设备、编码设备和数据发送设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310882791.4A Pending CN116744003A (zh) 2018-12-19 2019-12-17 编解码方法、存储介质和发送方法
CN202310883425.0A Pending CN116744004A (zh) 2018-12-19 2019-12-17 编码设备、解码设备和数据发送设备

Country Status (4)

Country Link
US (3) US11297347B2 (zh)
KR (1) KR20210095138A (zh)
CN (4) CN116744005A (zh)
WO (1) WO2020130581A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11677984B2 (en) * 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
US11582491B2 (en) * 2020-03-27 2023-02-14 Qualcomm Incorporated Low-frequency non-separable transform processing in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061671A1 (ko) * 2015-10-08 2017-04-13 엘지전자 주식회사 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
WO2017192705A1 (en) * 2016-05-03 2017-11-09 Qualcomm Incorporated Binarizing secondary transform index
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2018135885A1 (ko) * 2017-01-19 2018-07-26 가온미디어 주식회사 변환 처리를 제공하는 영상 복호화 및 부호화 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6352452B2 (ja) * 2014-06-20 2018-07-04 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ビデオ符号化における構文の２値化とコンテキスト適応型符号化の方法と装置
CN105516730B (zh) * 2014-09-24 2018-04-24 晨星半导体股份有限公司 视讯编码装置及视讯解码装置以及其编码与解码方法
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
KR20240034898A (ko) * 2015-10-13 2024-03-14 삼성전자주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
KR102434480B1 (ko) * 2016-02-12 2022-08-19 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102492809B1 (ko) * 2016-03-28 2023-01-27 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN116708783A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
CN110546952A (zh) * 2017-03-21 2019-12-06 Lg电子株式会社 图像编码系统中的变换方法和用于该变换方法的设备
GB2564151A (en) * 2017-07-05 2019-01-09 Sony Corp Image data encoding and decoding
KR102450506B1 (ko) * 2017-07-31 2022-10-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102427789B1 (ko) * 2017-10-10 2022-08-02 한국전자통신연구원 인터 예측 정보를 사용하는 방법 및 장치
WO2019093597A1 (ko) * 2017-11-09 2019-05-16 삼성전자 주식회사 움직임 벡터 해상도에 기초하여 영상을 부호화하는 장치 및 방법, 및 복호화 장치 및 방법
WO2019107927A1 (ko) * 2017-11-28 2019-06-06 한국전자통신연구원 양방향 인트라 예측 방법 및 장치
KR20190062273A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 영상 변환 신경망 및 영상 역변환 신경망을 이용한 영상 처리 방법 및 장치
CN115955562A (zh) * 2017-11-29 2023-04-11 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
US11310517B2 (en) * 2017-12-07 2022-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding using selective information sharing between channels
KR20200045366A (ko) * 2018-10-22 2020-05-04 주식회사 윌러스표준기술연구소 다중 변환 선택을 사용하는 비디오 신호 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061671A1 (ko) * 2015-10-08 2017-04-13 엘지전자 주식회사 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
WO2017192705A1 (en) * 2016-05-03 2017-11-09 Qualcomm Incorporated Binarizing secondary transform index
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2018135885A1 (ko) * 2017-01-19 2018-07-26 가온미디어 주식회사 변환 처리를 제공하는 영상 복호화 및 부호화 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Description of SDR video coding technology proposal by LG Electronics;Moonmo Koo 等;JVET-J0017-v1，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11;全文 *

Also Published As

Publication number Publication date
CN113228685A (zh) 2021-08-06
CN116744005A (zh) 2023-09-12
CN116744004A (zh) 2023-09-12
US11297347B2 (en) 2022-04-05
US20230412843A1 (en) 2023-12-21
US20210297700A1 (en) 2021-09-23
KR20210095138A (ko) 2021-07-30
US11792430B2 (en) 2023-10-17
WO2020130581A1 (ko) 2020-06-25
US20220174319A1 (en) 2022-06-02
CN116744003A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN112655216B (zh) 基于变换的图像编码方法及装置
CN113940070B (zh) 基于变换的图像解码和编码方法及发送比特流的方法
CN113170197B (zh) 基于二次变换的图像编码方法及其装置
EP3944618B1 (en) Transform for matrix-based intra-prediction in image coding
CN113273214B (zh) 基于二次变换的图像编码方法及其装置
CN113302942B (zh) 基于二次变换的图像编码方法及其设备
CN113228685B (zh) 用于基于二次变换编码图像的方法及其装置
CN113302941B (zh) 基于二次变换的视频编码方法及其装置
CN114009023B (zh) 基于变换的图像编码方法及其装置
CN114946189A (zh) 基于变换的图像编码方法及其装置
CN113597770B (zh) 基于变换的图像编译方法及其装置
CN114270839B (zh) 基于变换对图像进行编码的方法和设备
CN117597934A (zh) 用于设计低频不可分离变换的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant