CN110024399A - 对图像编码/解码的方法和设备及存储比特流的记录介质 - Google Patents

对图像编码/解码的方法和设备及存储比特流的记录介质 Download PDF

Info

Publication number
CN110024399A
CN110024399A CN201780073630.3A CN201780073630A CN110024399A CN 110024399 A CN110024399 A CN 110024399A CN 201780073630 A CN201780073630 A CN 201780073630A CN 110024399 A CN110024399 A CN 110024399A
Authority
CN
China
Prior art keywords
transformation
current block
scanning
coefficient
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073630.3A
Other languages
English (en)
Other versions
CN110024399B (zh
Inventor
赵承眩
林成昶
姜晶媛
高玄硕
李镇浩
李河贤
全东山
金晖容
崔振秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Priority to CN202410527725.XA priority Critical patent/CN118214876A/zh
Priority to CN202410527724.5A priority patent/CN118200575A/zh
Priority to CN202410527728.3A priority patent/CN118214877A/zh
Publication of CN110024399A publication Critical patent/CN110024399A/zh
Application granted granted Critical
Publication of CN110024399B publication Critical patent/CN110024399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种对图像进行编码和解码的方法。对此，一种用于对图像进行解码的方法可包括：对比特流进行熵解码；确定当前块的变换系数的扫描单元和扫描顺序；基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和对齐；以及对对齐的变换系数执行逆变换。

Description

对图像编码/解码的方法和设备及存储比特流的记录介质
技术领域
本发明涉及一种用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质。详细地，本发明涉及一种对图像进行编码/解码的方法和设备，所述方法及设备能够自适应地确定变换系数的扫描方法。
背景技术
近来，在各种应用领域中对诸如高清晰度(HD)图像或超高清(UHD)图像的高分辨率质量图像的需求已增加。然而，与传统图像数据相比，更高分辨率和更高质量的图像数据的数据量增加。因此，当通过使用诸如传统有线宽带网络或无线宽带网络的介质传输图像数据时，或者当在传统存储介质中存储图像数据时，传输成本和存储成本增加。为了解决随着图像数据的分辨率和质量的提高而出现的这些问题，需要高效的图像编码/解码技术。
图像压缩技术包括各种技术，包括：从当前画面的先前画面或后续画面来对当前画面中包括的像素值进行预测的帧间预测技术；通过使用当前画面中的像素信息来对当前画面中包括的像素值进行预测的帧内预测技术；用于将短码分配给具有高出现频率的值并将长码分配给具有低出现频率的值的熵编码技术；等等。图像数据可通过使用这种图像压缩技术而被有效地压缩，并且压缩的图像数据被传输或存储。
发明内容
技术问题
因此，本发明提供了一种用于对图像进行解码/编码的方法和设备，其中，可通过自适应地确定变换系数的扫描方法来提高图像编码/解码效率。
技术方案
根据本发明的一种用于对图像进行解码的方法可包括：通过对比特流进行熵解码来获得当前块的变换系数；确定当前块的变换系数的扫描单元和扫描顺序；基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和对齐；以及对对齐的变换系数执行逆变换。
在用于对图像进行解码的方法中，扫描单元可基于当前块的尺寸和预设阈值来确定。
在用于对图像进行解码的方法中，扫描单元可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定。
在用于对图像进行解码的方法中，扫描单元可以以系数组单元、个体系数单元和组合单元中的任意一个来确定。
在用于对图像进行解码的方法中，扫描顺序可基于当前块的尺寸和预设阈值来确定。
在用于对图像进行解码的方法中，扫描顺序可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定。
在用于对图像进行解码的方法中，当以系数组单元执行扫描时，彼此不同的扫描顺序可被应用于系数组内的扫描和系数组之间的扫描。
在用于对图像进行解码的方法中，扫描顺序可基于逆变换的类型、逆变换的位置和应用逆变换的区域中的至少一个来确定。
在用于对图像进行解码的方法中，当以二次逆变换和初次逆变换的顺序执行逆变换时，可针对仅执行二次逆变换的区域以及执行二次逆变换和初次逆变换二者的区域不同地确定扫描顺序。
在用于对图像进行解码的方法中，执行二次逆变换的区域的扫描顺序可基于当前块的尺寸和当前块的帧内预测模式中的至少一个来确定，并且执行二次逆变换和初次逆变换二者的区域的扫描顺序可基于当前块的形状来确定。
同时，根据本发明的一种用于对图像进行编码的方法可包括：通过对当前块的残差块进行变换来获得当前块的变换系数；确定当前块的变换系数的扫描单元和扫描顺序；以及基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和熵编码。
在用于对图像进行编码的方法中，扫描单元可基于当前块的尺寸和预设阈值来确定。
在用于对图像进行编码的方法中，扫描单元可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定。
在用于对图像进行编码的方法中，扫描单元可以以系数组单元、个体系数单元和组合单元中的任意一个来确定。
在用于对图像进行编码的方法中，扫描顺序可基于当前块的尺寸和预设阈值来确定。
在用于对图像进行编码的方法中，扫描顺序可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定。
在用于对图像进行编码的方法中，当以系数组单元执行扫描时，彼此不同的扫描顺序被应用于系数组内的扫描和系数组之间的扫描。
在用于对图像进行编码的方法中，扫描顺序可基于变换类型、变换位置和应用了变换的区域中的至少一个来确定。
在用于对图像进行编码的方法中，当以初次变换和二次变换的顺序执行变换时，可针对执行了二次逆变换的区域以及执行了二次逆变换和初次逆变换二者的区域不同地确定扫描顺序。
在用于对图像进行编码的方法中，执行了初次变换的区域的扫描顺序可基于当前块的尺寸和当前块的帧内预测模式中的至少一个来确定，并且执行了初次变换和二次变换二者的区域的扫描顺序可基于当前块的形状来确定。
同时，根据本发明的一种记录介质可存储通过使用编码方法产生的比特流，所述方法包括：通过对当前块的残差块进行变换来获得当前块的变换系数；确定当前块的变换系数的扫描单元和扫描顺序；以及基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和熵编码。
有益效果
根据本发明，可提供一种用于对图像进行编码/解码的方法和设备，所述方法和设备能够自适应地确定变换系数的扫描方法。
根据本发明，可提高图像编码和解码效率。
根据本发明，当进行图像编码和解码时，可减少图像编码器和解码器的计算复杂度。
附图说明
图1是示出根据应用了本发明的编码设备的实施例的构造的框图。
图2是示出根据应用了本发明的解码设备的实施例的构造的框图。
图3是示意性示出在图像编码和解码时的图像划分(division)结构的示图。
图4是用于示出根据帧内预测模式的变换集的示图。
图5是用于示出变换处理的示图。
图6是用于示出量化的变换系数的扫描的示图。
图7至图9是用于示出根据本发明的实施例的扫描单元的示图。
图10是用于示出根据本发明的实施例的第一组合对角线扫描顺序和第二组合对角线扫描顺序的示图。
图11至图13是用于示出当以系数组单元进行扫描时系数组内的扫描与系数组之间的扫描之间的扫描关系的示图。
图14是用于示出基于当前块的形状确定扫描顺序的示例的示图。
图15至图18是用于示出基于执行了变换的区域确定扫描顺序的示例的示图。
图19是用于示出根据本发明的实施例的用于对图像进行解码的方法的流程图。
图20是用于示出根据本发明的实施例的用于对图像进行编码的方法的流程图。
具体实施方式
可对本发明进行各种修改，并且存在本发明的各种实施例，现在将参照附图提供并详细描述本发明的各种实施例的示例。然而，本发明不限于此，尽管示例性实施例可被解释为包括本发明的技术构思和技术范围内的所有修改、等同形式或替代形式。类似的参考标号指示在各个方面相同或相似的功能。在附图中，为了清楚起见，元件的形状和尺寸可被夸大。在本发明的以下详细描述中，参照了通过图示的方式示出可实施本发明的具体实施例的附图。这些实施例被足够详细地描述以使本领域技术人员能够实现本公开。应该理解的是，尽管本公开的各种实施例不同，但不必是相互排斥的。例如，在不脱离本公开的精神和范围的情况下，结合一个实施例在此描述的具体特征、结构和特性可以在其他实施例中实现。此外，应该理解的是，在不脱离本公开的精神和范围的情况下，每个公开的实施例中的各个元件的位置或布置可被修改。因此，以下详细描述不应被视为具有限制意义，并且本公开的范围仅由所附权利要求(在被适当地解释的情况下，还连同权利要求所要求保护的等同物的全部范围)限定。
说明书中使用的术语“第一”、“第二”等可被用于描述各种组件，但是这些组件不应被解释为限于这些术语。这些术语仅用于将一个组件与其他组件区分开。例如，在不脱离本发明的范围的情况下，“第一”组件可被命名为“第二”组件，并且“第二”组件也可类似地被命名为“第一”组件。术语“和/或”包括多个项的组合或多个项中的任意一项。
将理解的是，在本说明书中，当元件被简单地称为被“连接到”或“耦接到”另一元件而不是被“直接连接到”或“直接耦接到”另一元件时，它可以被“直接连接到”或“直接耦接到”另一元件，或者是在其间介入其它元件的情况下被连接到或耦接到另一元件。相反地，应该理解的是，当元件被称为“直接耦接”或“直接连接”到另一元件时，不存在中间元件。
此外，本发明的实施例中示出的组成部件被独立地示出，以便呈现彼此不同的特征功能。因此，这并不意味着每个组成部件以单独的硬件或软件的组成单元被构成。换句话说，为了方便，每个组成部件包括枚举的组成部件中的每一个。因此，每个组成部件中的至少两个组成部件可被组合形成一个组成部件，或者一个组成部件可被划分为多个组成部件以执行每个功能。在没有脱离本发明的本质的情况下，每个组成部件被组合的实施例以及一个组成部件被划分的实施例也被包括在本发明的范围中。
本说明书中使用的术语仅用于描述具体实施例而并不意图限制本发明。除非在上下文中具有明确不同的含义，否则以单数使用的表述包括复数的表述。在本说明书中，将理解的是，诸如“包括”、“具有”等术语旨在指示在说明书中公开的特征、数字、步骤、动作、元件、部件或其组合的存在，并且不旨在排除可存在或可添加一个或更多个其他特征、数字、步骤、动作、元件、部件或它们的组合的可能性。换言之，当特定元件被称为“被包括”时，不排除相应元件之外的元件，而是，另外的元件也可被包括在本发明的实施例或本发明的范围内。
此外，一些组件可能不是执行本发明的基本功能的必不可少的组件，而是仅改善其性能的选择性组件。可通过仅包括用于实现本发明的本质的必不可少的组成部件而不包括用于改善性能的组件来实现本发明。仅包括所述必不可少的组件而不包括仅用于改善性能的选择性组件的结构也被包括在本发明的范围内。
在下文中，将参照附图详细地描述本发明的实施例。在描述本发明的示例性实施例时，由于公知功能或结构可能会不必要地模糊对本发明的理解，因此将不详细地描述它们。附图中的相同的组成元件由相同的参考标号指示，并且对相同元件的重复描述将被省略。
此外，在下文中，图像可意为构成视频的画面，或者可意为视频本身。例如，“对图像进行编码或解码或者进行两者”可意为“对视频进行编码或解码或者进行两者”，并且可意为“对视频的多个图像之中的一个图像进行编码或解码或者进行两者”。这里，画面和图像可具有相同的含义。
术语的描述
编码器：意为执行编码的设备。
解码器：意为执行解码的设备。
块：是M×N样点阵列。这里，M和N意为正整数，并且块可意为二维形式的样点阵列。块可以指单元。当前块可意为在编码时成为目标的编码目标块，或者在解码时成为目标的解码目标块。此外，当前块可以是编码块、预测块、残差块和变换块中的至少一个。
样点：是构成块的基本单元。样点可根据比特深度(Bd)被表示为从0到2Bd-1的值。在本发明中，样点可以用作像素的含义。
单元：指编码和解码单元。当对图像进行编码和解码时，该单元可以是通过对单个图像进行分区(partitioning)而产生的区域。此外，单元可意为当在编码或解码期间单个图像被分区成子划分单元时的子划分单元。当对图像进行编码和解码时，可执行针对每个单元的预定处理。单个单元可被分区为尺寸小于该单元的尺寸的子单元。取决于功能，单元可意为块、宏块、编码树单元、编码树块、编码单元、编码块、预测单元、预测块、残差单元、残差块、变换单元、变换块等。此外，为了区分单元和块，单元可包括亮度分量块、与亮度分量块相关联的色度分量块以及每个颜色分量块的语法元素。单元可具有各种尺寸和形状，并且具体地，单元的形状可以是诸如矩形形状、正方形形状、梯形形状、三角形形状、五边形形状等的二维几何图形。此外，单元信息可包括单元类型(指示编码单元、预测单元、变换单元等)、单元尺寸、单元深度、对单元进行编码和解码的顺序等中的至少一个。
编码树单元：被配置有亮度分量Y的单个编码树块以及与色度分量Cb和Cr相关的两个编码树块。此外，编码树单元可意为包括块和每个块的语法元素。每个编码树单元可通过使用四叉树分区方法和二叉树分区方法中的至少一种分区方法被分区，以构造诸如编码单元、预测单元、变换单元等的下级单元。编码树单元可被用作用于指示在对作为输入图像的图像进行编码/解码时成为处理单元的像素块的术语。
编码树块：可用作用于指示Y编码树块、Cb编码树块和Cr编码树块中的任意一个的术语。
邻近块：意为与当前块相邻的块。与当前块相邻的块可意为与当前块的边界接触的块，或者位于距当前块预定距离内的块。邻近块可意为与当前块的顶点相邻的块。这里，与当前块的顶点相邻的块可意为与水平相邻于当前块的邻近块垂直相邻的块，或者与垂直相邻于当前块的邻近块水平相邻的块。
重建邻近块：意为与当前块相邻并在空间上/时间上已被编码或解码的邻近块。这里，重建邻近块可意为重建邻近单元。重建空间邻近块可以是当前画面内已通过编码或解码或编码和解码两者而被重建的块。重建时间邻近块是参考画面内的与当前画面的当前块相同位置处的块或其邻近块。
单元深度：意为单元的被分区程度。在树结构中，根节点可以是最高节点，叶节点可以是最低节点。此外，当单元被表示为树结构时，单元所在的级可意为单元深度。
比特流：意为包括编码图像信息的比特流。
参数集：与比特流内的结构中的头信息相应。视频参数集、序列参数集、画面参数集和自适应参数集中的至少一个参数集可被包括在参数集中。此外，参数集可包括条带(slice)头信息和并行块(tile)头信息等。
解析：可意为通过执行熵解码来确定语法元素的值，或者可意为熵解码本身。
符号：可意为编码/解码目标单元的语法元素、编码参数、变换系数值中的至少一个。此外，符号可意为熵编码目标或熵解码结果。
预测单元：意为当执行预测(诸如帧间预测、帧内预测、帧间补偿、帧内补偿以及运动补偿)时的基本单元。单个预测单元可被分区为具有小尺寸的多个分区或者可被分区为下级预测单元。
预测单元分区：意为通过对预测单元进行分区而获得的形状。
参考画面列表：意为包括用于画面间预测或运动补偿的一个或更多个参考画面的列表。LC(List Combined)、L0(List 0)、L1(List 1)、L2(List 2)、L3(List 3)等是参考画面列表的类型。一个或更多个参考画面列表可被用于画面间预测。
画面间预测指示符：可意为当前块的画面间预测方向(单向预测、双向预测等)。可选地，画面间预测指示符可意为用于产生当前块的预测块的参考画面的数量。进一步可选地，画面间预测指示符可意为用于针对当前块执行画面间预测或运动补偿的预测块的数量。
参考画面索引：意为指示参考画面列表中的特定参考画面的索引。
参考画面：可意为针对画面间预测或运动补偿特定块所参考的画面。
运动矢量：是用于画面间预测或运动补偿的二维矢量，并且可意为参考画面与编码/解码目标画面之间的偏移。例如，(mvX,mvY)可表示运动矢量，mvX可表示水平分量，mvY可表示垂直分量。
运动矢量候选：可意为当对运动矢量进行预测时成为预测候选的块，或者可意为该块的运动矢量。运动矢量候选可在运动矢量候选列表中被列出。
运动矢量候选列表：可意为运动矢量候选的列表。
运动矢量候选索引：意为指示运动矢量候选列表中的运动矢量候选的指示符。运动矢量候选索引也被称为运动矢量预测因子的索引。
运动信息：可意为包括运动矢量、参考画面索引、画面间预测指示符以及以下项中的至少任意一项的信息：参考画面列表信息、参考画面、运动矢量候选、运动矢量候选索引、合并候选和合并索引。
合并候选列表：意为由合并候选组成的列表。
合并候选：意为空间合并候选、时间合并候选、组合合并候选、组合双向预测合并候选、零合并候选等。合并候选可具有画面间预测指示符、用于每个列表的参考画面索引、以及诸如运动矢量的运动信息。
合并索引：意为指示合并候选列表内的合并候选的信息。合并索引可指示与当前块在空间和/或时间上相邻的重建块之中的用于推导合并候选的块。合并索引可指示由合并候选拥有的运动信息中的至少一项。
变换单元：意为当对残差信号执行编码/解码(诸如变换、逆变换、量化、反量化以及变换系数编码/解码)时的基本单元。单个变换单元可被分区为具有小尺寸的多个变换单元。
缩放：意为将变换系数等级与因子相乘的处理。可通过对变换系数等级进行缩放来产生变换系数。缩放还可被称为反量化。
量化参数：可意为在量化期间产生变换系数的变换系数等级时使用的值。量化参数也可意为在反量化期间通过对变换系数等级进行缩放产生变换系数时使用的值。量化参数可以是被映射在量化步长大小上的值。
变量增量(Delta)量化参数：意为编码/解码目标单元的量化参数与预测出的量化参数之间的差值。
扫描：意为对块或矩阵内的系数进行排序的方法。例如，将系数的二维矩阵改变为一维矩阵的操作可被称为扫描，并且将系数的一维矩阵改变为二维矩阵的操作可被称为扫描或逆扫描。
变换系数：可意为在编码器中执行变换之后产生的系数值。变换系数可意为在解码器中执行了熵解码和反量化中的至少一个之后产生的系数值。通过对变换系数或残差信号进行量化而获得的量化的等级或量化的变换系数等级也可落在变换系数的含义内。
量化的等级：意为在编码器中通过对变换系数或残差信号进行量化而产生的值。可选地，量化的等级可意为作为在解码器中经历反量化的反量化目标的值。类似地，作为变换和量化的结果的量化的变换系数等级也可落在量化的等级的含义内。
非零变换系数：意为值不为0的变换系数，或者意为值不为0的变换系数等级。
量化矩阵：意为在执行的量化处理或反量化处理中使用以便提高主观图像质量或客观图像质量的矩阵。量化矩阵也可被称为缩放列表。
量化矩阵系数：意为量化矩阵内的每个元素。量化矩阵系数也可被称为矩阵系数。
默认矩阵：意为在编码器或解码器中被初步定义的预定量化矩阵。
非默认矩阵：意为在编码器或解码器中未被初步定义但由用户用信号发送的量化矩阵。
图1是示出根据应用了本发明的实施例的编码设备的构造的框图。
编码设备100可以是编码器、视频编码设备或图像编码设备。视频可包括至少一个图像。编码设备100可顺序地对至少一个图像进行编码。
参照图1，编码设备100可包括运动预测单元111、运动补偿单元112、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、反量化单元160、逆变换单元170、加法器175、滤波器单元180以及参考画面缓冲器190。
编码设备100可通过使用帧内模式或帧间模式或者帧内模式和帧间模式两者来对输入图像执行编码。此外，编码设备100可通过对输入图像进行编码来产生比特流，并可输出产生的比特流。产生的比特流可被存储在计算机可读记录介质中，或可通过有线/无线传输介质被流传输。当帧内模式被用作预测模式时，切换器115可切换到帧内。可选地，当帧间模式被用作预测模式时，切换器115可切换到帧间模式。这里，帧内模式可意为帧内预测模式，帧间模式可意为帧间预测模式。编码设备100可产生用于输入图像的输入块的预测块。此外，在产生预测块之后，编码设备100可对输入块与预测块的残差进行编码。输入图像可被称为作为当前编码目标的当前图像。输入块可被称为作为当前编码目标的当前块或者可被称为编码目标块。
当预测模式是帧内模式时，帧内预测单元120可使用与当前块相邻并且已被编码/解码的块的像素值作为参考像素。帧内预测单元120可通过使用参考像素来执行空间预测，或可通过执行空间预测来产生输入块的预测样点。这里，帧内预测可意为帧内的预测(intra-prediction)。
当预测模式是帧间模式时，运动预测单元111可在执行运动预测时从参考图像搜索与输入块最匹配的区域，并通过使用搜索到的区域推导运动矢量。参考图像可被存储在参考画面缓冲器190中。
运动补偿单元112可通过使用运动矢量执行运动补偿来产生预测块。这里，帧间预测可意为帧间的预测或运动补偿。
当运动矢量的值不为整数时，运动预测单元111和运动补偿单元112可通过对参考画面的部分区域应用插值滤波器来产生预测块。为了对编码单元执行画面间预测或运动补偿，可确定跳过模式、合并模式、高级运动矢量预测(AMVP)模式和当前画面参考模式之中的哪种模式被用于相应编码单元中包括的预测单元的运动预测和运动补偿。然后，可根据确定的模式不同地执行画面间预测或运动补偿。
减法器125可通过使用输入块和预测块的残差来产生残差块。残差块可被称为残差信号。残差信号可意为原始信号和预测信号之间的差。此外，残差信号可以是通过对原始信号和预测信号之间的差进行变换或量化或者进行变换和量化而产生的信号。残差块可以是块单元的残差信号。
变换单元130可通过对残差块执行变换来产生变换系数，并可输出产生的变换系数。这里，变换系数可以是通过对残差块执行变换而产生的系数值。当变换跳过模式被应用时，变换单元130可跳过对残差块的变换。
可通过对变换系数或残差信号应用量化来产生量化的等级。在下文中，量化的等级在实施例中也可被称为变换系数。
量化单元140可通过根据参数对变换系数或残差信号进行量化来产生量化的等级，并可输出产生的量化的等级。这里，量化单元140可通过使用量化矩阵来对变换系数进行量化。
熵编码单元150可通过根据概率分布对由量化单元140计算出的值或对在执行编码时计算出的编码参数值执行熵编码来产生比特流，并可输出产生的比特流。熵编码单元150可对图像的像素信息以及用于对图像进行解码的信息执行熵编码。例如，用于对图像进行解码的信息可包括语法元素。
当熵编码被应用时，符号被表示，使得较少数量的比特被分配给具有高产生机会的符号并且较大数量的比特被分配给具有低产生机会的符号，因此，用于将被编码的符号的比特流的大小可被减少。熵编码单元150可使用诸如指数Golomb、上下文自适应可变长编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的编码方法进行熵编码。例如，熵编码单元150可通过使用可变长编码/码(VLC)表来执行熵编码。此外，熵编码单元150可推导目标符号的二值化方法以及目标符号/二进制位的概率模型，并通过使用推导出的二值化方法和上下文模型来执行算术编码。
为了对变换系数等级进行编码，熵编码单元150可通过使用变换系数扫描方法将二维块形式的系数改变为一维矢量形式。
编码参数可包括在编码器被编码并被用信号发送到解码器的诸如语法元素的信息(标志、索引等)，并可包括在执行编码或解码时推导出的信息。编码参数可意为在对图像进行编码或解码时所需的信息。例如，编码参数可包括以下项中的至少一个值或组合形式：单元/块尺寸、单元/块深度、单元/块分区信息、单元/块分区结构、是否进行四叉树形式的分区、是否进行二叉树形式的分区、二叉树形式的分区方向(水平方向或垂直方向)、二叉树形式的分区形式(对称分区或非对称分区)、帧内预测模式/方向、参考样点滤波方法、预测块滤波方法、预测块滤波器抽头、预测块滤波器系数、帧间预测模式、运动信息、运动矢量、参考画面索引、帧间预测角度、帧间预测指示符、参考画面列表、参考画面、运动矢量预测因子候选、运动矢量候选列表、是否使用合并模式、合并候选、合并候选列表、是否使用跳过模式、插值滤波器类型、插值滤波器抽头、插值滤波器系数、运动矢量大小、运动矢量的表示精度、变换类型、变换大小、是否使用初次(首次)变换的信息、是否使用二次变换的信息、初次变换索引、二次变换索引、残差信号是否存在的信息、编码块样式、编码块标志(CBF)、量化参数、量化矩阵、是否应用环路内滤波器、环路内滤波器系数、环路内滤波器抽头、环路内滤波器形状/形式、是否应用去块滤波器、去块滤波器系数、去块滤波器抽头、去块滤波器强度、去块滤波器形状/形式、是否应用自适应样点偏移、自适应样点偏移值、自适应样点偏移类别、自适应样点偏移类型、是否应用自适应环内滤波器、自适应环内滤波器系数、自适应环内滤波器抽头、自适应环内滤波器形状/形式、二值化/反二值化方法、上下文模型确定方法、上下文模型更新方法、是否执行常规模式、是否执行旁路模式、上下文二进制位、旁通二进制位、变换系数、变换系数等级、变换系数等级扫描方法、图像显示/输出顺序、条带识别信息、条带类型、条带分区信息、并行块识别信息、并行块类型、并行块分区方法、画面类型、比特深度、以及亮度信号或色度信号的信息。
这里，用信号发送标志或索引可意为相应的标志或索引被编码器熵编码并包括在比特流中，并可意为相应的标志或索引被解码器从比特流熵解码。
当编码设备100通过帧间预测执行编码时，编码的当前图像可被用作针对将被随后处理的另一图像的参考图像。因此，编码设备100可对编码的当前图像进行重建或解码，或可将重建的或解码的图像存储为参考图像。
可以在反量化单元160中对量化的等级进行反量化，或者可以在逆变换单元170中对量化的等级进行逆变换。可通过加法器175将经过反量化或逆变换的系数或经过反量化和逆变换二者的系数与预测块相加。通过将经过反量化或逆变换的系数或经过反量化和逆变换二者的系数与预测块相加，可产生重建块。这里，经过反量化或逆变换的系数或经过反量化和逆变换二者的系数可意为被执行了反量化和逆变换中的至少一个的系数，并可意为重建残差块。
重建块可通过滤波器单元180。滤波器单元180可向重建块或重建图像应用去块滤波器、样点自适应偏移(SAO)以及自适应环路滤波器(ALF)中的至少一个。滤波器单元180可被称为环内滤波器。
去块滤波器可去除在块之间的边界中产生的块失真。为了确定是否应用去块滤波器，可基于块中包括的若干行或列中所包括的像素来确定是否将去块滤波器应用于当前块。当去块滤波器被应用于块时，可根据所需的去块滤波强度来应用另一滤波器。
为了对编码误差进行补偿，可通过使用样点自适应偏移将合适的偏移值与像素值相加。样点自适应偏移可按像素单元对经过去块的图像与原始画面之间的偏移进行校正。可使用考虑关于每个像素的边缘信息来应用偏移的方法，或可使用以下方法：将图像的像素分区为预定数量的区域，确定被应用偏移的区域，并对所确定的区域应用偏移。
自适应环路滤波器可基于经过滤波的重建图像与原始图像的比较结果来执行滤波。包括在图像中的像素可被分区为预定组，将被应用于每个组的滤波器可被确定，并且不同的滤波可针对每个组被执行。可通过编码单元(CU)用信号发送是否应用ALF的信息，并且将被应用于每个块的ALF的形式和系数可以改变。
已通过滤波器单元180的重建块或重建图像可被存储在参考画面缓冲器190中。图2是示出根据应用了本发明的实施例的解码设备的构造的框图。
解码设备200可以是解码器、视频解码设备或图像解码设备。
参照图2，解码设备200可包括熵解码单元210、反量化单元220、逆变换单元230、帧内预测单元240、运动补偿单元250、加法器255、滤波器单元260以及参考画面缓冲器270。
解码设备200可接收从编码设备100输出的比特流。解码设备200可接收存储在计算机可读记录介质中的比特流，或者可接收通过有线/无线传输介质流传输的比特流。解码设备200可通过使用帧内模式或帧间模式对比特流进行解码。此外，解码设备100可产生通过解码而产生的重建图像或解码的图像，并可输出重建图像或解码的图像。
当在解码时使用的预测模式是帧内模式时，切换器可被切换到帧内。可选地，当在解码时使用的预测模式是帧间模式时，切换器可被切换到帧间模式。
解码设备200可通过对输入的比特流进行解码来获得重建残差块，并产生预测块。当重建残差块和预测块被获得时，解码设备200可通过将重建残差块与预测块相加来产生变为解码目标的重建块。解码目标块可被称为当前块。
熵解码单元210可通过根据概率分布对比特流进行熵解码来产生符号。产生的符号可包括量化的等级形式的符号。这里，熵解码方法可以是上述熵编码的方法的逆处理。
为了对变换系数等级进行解码，熵解码单元210可通过使用变换系数扫描方法将一维矢量形式的系数改变为二维块形式。
量化的等级可以在反量化单元220中被反量化，或可在逆变换单元230中被逆变换。量化的等级可以是进行反量化或逆变换或进行它们二者的结果，并可被产生为重建残差块。这里，反量化单元220可对量化的等级应用量化矩阵。
当帧内模式被使用时，帧内预测单元240可通过执行空间预测来产生预测块，其中，空间预测使用与解码目标块相邻的已被解码的块的像素值。
当帧间模式被使用时，运动补偿单元250可通过执行运动补偿来产生预测块，其中，运动补偿使用运动矢量以及存储在参考画面缓冲器270中的参考图像。
加法器255可通过将重建残差块与预测块相加来产生重建块。滤波器单元260可对重建块或重建图像应用去块滤波器、样点自适应偏移和自适应环路滤波器中的至少一个。滤波器单元260可输出重建图像。重建块或重建图像可被存储在参考画面缓冲器270中，并在执行帧间预测时被使用。
图3是示意性地示出当对图像进行编码和解码时的图像的分区结构的示图。图3示意性地示出将单个单元分区为多个下级单元的示例。
为了对图像进行有效分区，当进行编码和解码时，编码单元(CU)可被使用。编码单元可以用作在对图像进行编码/解码时的基本单元。此外，编码单元可以用作在对图像进行编码/解码时区分帧内模式和帧间模式的单元。编码单元可以是用于变换系数的预测、变换、量化、逆变换、反量化或编码/解码处理的基本单元。
参照图3，图像300按照最大编码单元(LCU)被顺序分区，并且LCU被确定为分区结构。这里，LCU可以以与编码树单元(CTU)相同的含义被使用。单元分区可意为对与所述单元相关联的块进行分区。块分区信息中可包括单元深度的信息。深度信息可表示单元被分区的次数或单元被分区的程度或它们二者。可基于树结构按与深度信息相关联的层来对单个单元进行分区。每个被分区出的下级单元可以具有深度信息。深度信息可以是表示CU的尺寸的信息，并可存储在每个CU中。
分区结构可意为LCU 310内的编码单元(CU)的分布。这样的分布可根据是否将单个CU分区为多个(等于或大于2的正整数，包括2、4、8、16等)CU而被确定。通过分区产生的CU的水平尺寸和垂直尺寸根据分区的次数，可以分别是分区之前的CU的水平尺寸和垂直尺寸的一半，或者可以分别具有比分区之前的水平尺寸和垂直尺寸更小的尺寸。CU可被递归地分区为多个CU。CU的分区可被递归地执行直到预定深度或预定尺寸为止。例如，LCU的深度可以是0，并且最小编码单元(SCU)的深度可以是预定最大深度。这里，如上所述，LCU可以是具有最大编码单元尺寸的编码单元，并且SCU可以是具有最小编码单元尺寸的编码单元。分区从LCU 310开始，随着CU的水平尺寸或垂直尺寸或它们二者通过分区而减小，CU深度增加1。
此外，可通过使用CU的分区信息来表示CU是否被分区的信息。分区信息可以是1比特信息。除SCU外的所有CU可包括分区信息。例如，当分区信息的值是第一值时，CU可不被分区，当分区信息的值是第二值时，CU可被分区。
参照图3，具有深度0的LCU可以是64×64的块。0可以是最小深度。具有深度3的SCU可以是8×8的块。3可以是最大深度。32×32的块的CU和16×16的块的CU可分别由深度1和深度2来表示。
例如，当单个编码单元被分区为四个编码单元时，所述四个分区出的编码单元的水平尺寸和垂直尺寸可以是被分区之前的CU的水平尺寸和垂直尺寸的一半尺寸。在一个实施例中，当尺寸为32×32的编码单元被分区为四个编码单元时，所述四个分区出的编码单元中的每一个可具有16×16的尺寸。当单个编码单元被分区为四个编码单元时，可称编码单元可以以四叉树形式被分区。
例如，当单个编码单元被分区为两个编码单元时，所述两个编码单元的水平尺寸或垂直尺寸可以是被分区之前的编码单元的水平尺寸或垂直尺寸的一半。例如，当尺寸为32×32的编码单元沿垂直方向被分区时，两个分区出的编码单元中的每一个可具有16×32的尺寸。当单个编码单元被分区为两个编码单元时，可称编码单元以二叉树形式被分区。图3的LCU 320是应用了四叉树形式的分区和二叉树形式的分区两者的LCU的示例。
基于以上描述，将描述根据本发明的对图像进行编码/解码的方法。
在以下描述中，将描述根据本发明的变换和量化的处理。
可通过执行作为量化处理的一部分的变换将在帧内预测或帧间预测后产生的残差信号变换到频域。这里，作为执行的初次变换，除了DCT类型2(DCT-II)之外，还可使用各种DCT和DST核。在这样的变换核中，可执行可分离变换，或者可执行二维不可分离变换，其中，可分离变换针对残差信号在水平方向或垂直方向或者在水平方向和垂直方向两者上分别执行一维变换。
在一个实施例中，除了DCT-II、DCT-V、DCT-VIII、DST-I和DST-VII以外，作为用于变换的DCT类型和DST类型还可如下表所示自适应地用于一维变换。例如，如表1和表2的示例中所示，变换集可被配置为用于推导用于变换的DCT类型或DST类型。
表1
变换集 变换类型
0 DST_VII、DCT-VIII
1 DST-VII、DST-I
2 DST-VII、DCT-V
表2
变换集 变换类型
0 DST_VII、DCT-VIII、DST-I
1 DST-VII、DST-I、DCT-VIII
2 DST-VII、DCT-V、DST-I
例如，如图4所示，彼此不同的变换集可根据帧内预测模式针对水平方向或垂直方向被定义，并且编码器/解码器可通过使用编码/解码目标块的帧内预测模式并通过使用包括在与帧内预测模式相应的变换集中的变换类型，来执行变换或逆变换或执行它们二者。
这里，可以在编码器/解码器中根据相同规则来定义变换集，而不是对变换集进行熵编码/解码。这里，指示包括在相应变换集中的变换类型中的哪个变换类型被使用的信息可以被熵编码/解码。
例如，当块尺寸等于或小于64x64时，如表2的示例所示，可根据帧内预测模式配置3个变换集。然后，可通过使用三个变换集来执行九种组合变换方法以进行水平方向变换和垂直方向变换，并且通过使用优化的变换方法对残差信号进行编码/解码，从而可提高编码效率。这里，为了对指示包括在单个变换集中的三个变换类型中的哪个变换类型被使用的信息进行熵编码/解码，可使用截断一元二值化方法。这里，指示包括在变换集中的变换类型中哪个变换类型被用于垂直变换和水平变换中的至少一个的信息可以被熵编码/解码。
如图5的示例所示，在编码器中，当上文描述的初次变换已完成，为了增加变换系数的能量聚集，可执行二次变换。对于二次变换，可执行分别在水平方向或垂直方向或者在水平方向和垂直方向两者上执行一维变换的可分离变换，或者可执行二维不可分离变换。指示使用的变换类型的信息可被用信号发送，或者可根据当前编码信息或邻近编码信息在编码器/解码器中被隐含推导出。例如，与初次变换相同，可定义用于二次变换的变换集，并可在编码器/解码器中根据相同规则来定义变换集，而不是对变换集进行熵编码/解码。这里，指示在相应变换集中包括的变换类型之中哪种变换类型被使用的信息可被用信号发送，并该信息可通过使用帧内预测或帧间预测被应用于残差信号中的至少一个。
变换候选的数量和类型的中的至少一个可针对每个变换集而变化，并且变换候选的数量和类型中的至少一个可通过考虑块(CU、PU、TU等)的位置、尺寸、分区形状、预测模式(帧内/帧间模式)和帧内预测模式(方向/非方向)中的至少一个来可变地确定。
在解码器中，可根据是否执行二次逆变换来执行二次逆变换。可根据是否对二次逆变换的结果执行初次逆变换来执行初次逆变换。
上述初次变换和二次变换可被应用于亮度/色度分量的至少一个信号分量，或可根据任意编码块的尺寸/形状而被应用。指示是否在所述任意编码块中使用初次变换/二次变换并且指示使用的初次变换/次变换类型的索引可被熵编码/解码，或可根据当前/邻近编码信息中的至少一个在编码器/解码器中被隐含推导出。
对于在帧内预测或帧间预测后产生的残差信号，可以在初次变换或二次变化或者初次变换和二次变换二者被完成时执行量化，并且可对量化的变换系数进行熵编码。这里，对于量化的变换系数，如图6所示，可基于帧内预测模式和最小块的尺寸/形状中的至少一个来执行根据对角线方向、垂直方向和水平方向的扫描。
此外，可通过对经过熵解码的量化的变换系数执行逆扫描而以块形状对齐所述经过熵解码的量化的变换系数，并可对相应的块执行反量化和逆变换中的至少一个。这里，作为逆扫描的方法，可执行对角线扫描、水平扫描和垂直扫描中的至少一种。
在一个实施例中，当当前编码块的尺寸是8×8时，对于8×8的块的残差信号，可执行初次变换和二次变换以及量化。对于通过上述处理获得的四个4×4的子块中的每个子块，可通过根据图6所示的三种扫描顺序中的至少一种扫描其量化的变换系数来执行熵编码。此外，可通过对量化的变换系数进行逆扫描来执行熵解码。经过逆扫描的量化的变换系数可在被反量化之后变为变换系数。可通过对变换系数执行二次逆变换和初次逆变换中的至少一个来产生重建残差信号。
下文中，参照图7至图18，将详细描述根据本发明的实施例的扫描变换系数的方法。
编码器可基于扫描单元和扫描顺序中的至少一个，对由针对当前块的残差信号执行的初次变换的结果所产生的变换系数进行扫描，或对通过对初次变换的结果附加地执行二次变换所产生的变换系数进行扫描。
在执行逆变换之前，解码器可基于扫描单元和扫描顺序中的至少一个对经过熵解码的变换系数进行逆扫描。这里，变换系数可以是经过熵解码的系数或经过反量化的变换系数或它们二者。
在以下描述中，将基于编码器描述变换系数的扫描单元和扫描顺序。然而，可使用与编码器相同的方法来描述变换系数的逆扫描单元和逆扫描顺序。
编码器可通过对变换系数执行量化来扫描变换系数。这里，可在编码器中对扫描的变换系数进行熵编码。
解码器可通过对经过熵解码的变换系数进行逆扫描来以块形状对齐变换系数。对于以块形状对齐的变换系数，可执行二次逆变换以及二次逆变换之后的初次逆变换，或可执行初次逆变换。这里，可对以块形状对齐的变换系数执行反量化，并可对反量化的变换系数执行逆变换(二次逆变换或初次逆变换或它们二者)。逆变换系数可以是当前块的重建残差信号。
在以下描述中，扫描可意为编码器/解码器中的扫描或逆扫描。此外，扫描顺序可意为扫描方法。这里，扫描方法可指示对角线扫描、垂直扫描和水平扫描中的至少一种。此外，个体系数可意为每个变换系数。
接下来，将描述扫描单元。
可以以至少一个扫描单元来扫描变换系数。根据本发明的实施例的变换系数的扫描单元可以是系数组单元、个体系数单元(individual coefficient unit)和组合单元中的任意一个。
在一个实施例中，可以以2N×2N、2N×N、N×2N、3N×N、N×3N、3N×2N、2N×3N、4N×N、N×4N、4N×3N和3N×4N(N是等于或大于1的整数)尺寸的至少一个系数组单元对当前块内的变换系数进行扫描，或者可以以个体系数单元对当前块内的变换系数进行扫描。
可基于当前块的尺寸来确定扫描单元。
详细地，可基于当前块的尺寸与预定阈值的比较来确定扫描单元。这里，所述预定阈值可意为用于确定扫描单元的标准尺寸，并且可以以最小值和最大值中的至少一个的形式表示。
同时，所述预定阈值可以是在编码器/解码器中预先确定的固定值，或者可以是基于与对当前块进行解码有关的参数(例如，预测模式、帧内预测模式、变换类型、扫描方法等)推导出的变量，或者可通过比特流(例如，序列级、画面级、条带级、块级等)被用信号发送。
在一个实施例中，可以以系数组单元对水平长度和垂直长度的乘积等于或大于256的块进行扫描，否则，可以以个体系数单元对其他块进行扫描。
在另一实施例中，可以以系数组单元对水平长度和垂直长度中的最小长度等于或大于8的块进行扫描，否则，可以以个体系数单元对其他块进行扫描。
同时，可基于当前块的形状来确定扫描单元。
在一个实施例中，当当前块具有矩形形状时，可以以个体系数单元对当前块进行扫描。
在另一实施例中，当当前块具有正方形形状时，可以以系数组单元对当前块进行扫描。
同时，可基于当前块的帧内预测模式来确定扫描单元。这里，可按原样考虑帧内预测模式的值，或可考虑帧内预测模式是否是非方向模式，或可考虑帧内预测模式的方向(例如，垂直方向或水平方向)。
在一个实施例中，当当前块的帧内预测模式是DC模式和平面模式中的至少一种时，可以以系数组单元对当前块进行扫描。
在另一实施例中，当当前块的帧内预测模式是垂直模式时，可以以个体系数单元对当前块进行扫描。
此外，在另一实施例中，当当前块的帧内预测模式是水平模式时，可以以个体系数单元对当前块进行扫描。
同时，可从编码器向解码器用信号发送扫描单元的信息。因此，解码器可通过使用用信号发送的扫描单元的信息来确定当前块的扫描单元。
图7至图9是用于示出根据本发明的实施例的扫描单元的示图。
可基于当前块的宽高比来确定系数组单元的尺寸。此外，可以以相同的系数组单元对当前块内的变换系数进行扫描。这里，相同的系数组单元可意为系数组单元的尺寸和系数组单元的形状相同。
在一个实施例中，如图7(a)所示，可以以相同的系数组单元对具有16×16尺寸的当前块内的变换系数进行扫描。
在一个实施例中，如图7(b)所示，可以以相同的系数组单元对具有8×16尺寸的当前块内的变换系数进行扫描。
在一个实施例中，如图7(c)所示，可以以相同的4×2的系数组单元对具有16×8尺寸的当前块内的变换系数进行扫描。
同时，可以以不同的系数组单元对当前块内的变换系数进行扫描。这里，不同的系数组单元可意为系数组单元的尺寸和系数组单元的形状中的至少一个是不同的。
在一个实施例中，如图8所示，可通过将具有8×16尺寸的当前块划分为单个8×8的系数组、2个4×4的系数组和8个2×2的系数组来对该当前块内的变换系数进行扫描。
同时，可从编码器向解码器用信号发送系数组单元的尺寸信息。因此，解码器可通过使用用信号发送的系数组单元的尺寸信息来确定当前块的扫描单元。
同时，可以以个体系数单元对当前块内的变换系数进行扫描。这里，以个体系数单元进行扫描可意为对当前块的全部变换系数进行扫描，而不是将当前块划分为系数组。
在一个实施例中，如图9(a)所示，可以以个体系数单元对具有16×8尺寸的当前块内的所有变换系数进行扫描。
同时，可以以组合单元对当前块内的变换系数进行扫描。这里，以组合单元进行扫描可意为以系数组单元对当前块内的变换系数之中的属于部分区域的系数进行扫描，并且以个体系数单元对属于其余区域的系数进行扫描。
在一个实施例中，如图9(b)所示，可以以4×4的系数组单元对具有16×8尺寸的当前块内的变换系数之中的属于左上4×4的区域的变换系数进行扫描，并可以以个体系数单元对属于其余区域的变换系数进行扫描。
接下来，将描述扫描顺序。
可根据至少一个扫描顺序对变换系数进行扫描。作为根据本发明的实施例的变换系数的扫描顺序，除了如图10所示的第一组合对角线扫描顺序和第二组合对角线扫描顺序之外，还可使用如图6所示的对角线扫描顺序、水平扫描顺序和垂直扫描顺序中的至少一个来以个体系数或变换系数组单元或以个体系数和变换系数组单元二者来对变换系数进行扫描。
可基于当前块的形状来确定扫描顺序。这里，当前块的形状可以以当前块的宽高比(水平长度：垂直长度)表示。
在一个实施例中，当当前块具有正方形形状时，可以以对角线扫描顺序对当前块进行扫描。当当前块是垂直长度大于水平长度的块时，可以以垂直扫描顺序对当前块进行扫描。当当前块是垂直长度小于水平长度的块时，可以以水平扫描顺序对当前块进行扫描。
图11至图13是用于示出当以系数组单元进行扫描时系数组内的扫描与系数组之间的扫描之间的扫描关系的示图。当以系数组单元执行扫描时，可通过使用相同的扫描顺序来执行系数组内的扫描和系数组之间的扫描。
在一个实施例中，如图11所示，当以4×4的系数组单元对具有16×16尺寸的当前块内的变换系数进行扫描时，可根据对角线扫描顺序执行对系数组内的系数的扫描和对系数组单元的扫描。
在另一实施例中，如图12所示，当以2×4的系数组单元对具有8×16尺寸的当前块内的变换系数进行扫描时，可根据垂直扫描顺序执行对系数组内的系数的扫描和对系数组单元的扫描。
此外，在另一实施例中，如图13所示，当以4×2的系数组单元对具有16×8尺寸的当前块内的变换系数进行扫描时，可根据水平扫描顺序执行对系数组内的系数的扫描和对系数组单元的扫描。
与以上相反，当以系数组单元执行扫描时，可针对系数组内的扫描和系数组之间的扫描执行彼此不同的扫描顺序。
在一个实施例中，当以4×4的系数组单元对具有16×16尺寸的当前块内的变换系数进行扫描时，可根据对角线扫描顺序对系数组内的系数进行扫描，并可根据水平扫描顺序或垂直扫描顺序对系数组单元进行扫描。
在另一实施例中，当以2×4的系数组单元对具有8×16尺寸的当前块内的变换系数进行扫描时，可根据垂直扫描顺序对系数组内的系数进行扫描，并可根据对角线扫描顺序或水平扫描顺序对系数组单元进行扫描。
同时，当执行系数组中的扫描时，可以将以下信息从编码器用信号发送到解码器：该信息指示彼此不同的扫描顺序是否可用于系数组内的扫描和系数组之间的扫描。在一个实施例中，当执行系数组中的扫描时，可以以标志形式表示以下信息：该信息指示彼此不同的扫描顺序是否可用于系数组内的扫描和系数组之间的扫描。
同时，当以个体系数单元执行扫描时，可根据单个扫描顺序对当前块内的所有变换系数进行扫描。
当以个体系数单元执行扫描时，可基于当前块的形状来确定扫描顺序。这里，当前块的形状可以以当前块的宽高比(水平长度：垂直长度)表示。
在一个实施例中，如图14(a)所示，当当前块具有正方形形状时，可以以对角线扫描顺序对当前块进行扫描。当前块是如图14(b)所示的垂直长度大于水平长度的块时，可以以垂直扫描顺序对当前块进行扫描。当块是如图14(c)所示的垂直长度小于水平长度的块时，可以以水平扫描顺序对当前块进行扫描。
同时，当对变换系数进行扫描时，可使用根据当前块的尺寸或形状或它们二者映射的扫描顺序。这里，形状可意为当前块是否是正方形，当前块是在水平方向还是垂直方向上的非正方形。
同时，可基于当前块的尺寸来确定扫描顺序。
详细地，可基于当前块的尺寸与预定阈值的比较来确定扫描顺序。这里，所述预定阈值可意为用于确定扫描单元的标准尺寸，并且可以以最小值和最大值中的至少一个来表示。
同时，所述预定阈值可以是在编码器/解码器中预先确定的固定值，可以是基于与对当前块进行解码有关的参数(例如，预测模式、帧内预测模式、变换类型、扫描方法)推导出的变量，或者可通过比特流(例如，序列级、画面级、条带级、块级等)被用信号发送。
在一个实施例中，对于水平长度和垂直长度的乘积等于或大于256的块，可根据对角线扫描顺序对变换系数组或个体系数进行扫描，否则，可以以水平扫描顺序或垂直扫描顺序的单元对变换系数组或个体系数进行扫描。
在另一实施例中，对于水平长度和垂直长度中的最小长度等于或大于8的块，可根据对角线扫描顺序对变换系数组或个体系数进行扫描，否则，可以以水平扫描顺序或垂直扫描顺序的单元对变换系数组或个体系数进行扫描。
同时，可基于当前块的帧内预测模式来确定扫描顺序。这里，可按原样考虑帧内预测模式的值，可考虑帧内预测模式是否是非定向模式，或可考虑帧内预测模式的方向(例如，垂直方向或水平方向)。
在一个实施例中，当当前块的帧内预测模式是DC模式和平面模式中的至少一个时，可根据对角线扫描顺序对变换系数组或个体系数进行扫描。
在另一实施例中，当当前块的帧内预测模式是垂直模式时，可根据垂直扫描顺序和水平扫描顺序中的至少一个对变换系数组或个体系数进行扫描。
此外，在另一实施例中，当当前块的帧内预测模式是水平模式时，可根据垂直扫描顺序和水平扫描顺序中的至少一个对变换系数组或个体系数进行扫描。
同时，可从编码器向解码器用信号发送扫描顺序的信息。因此，解码器可通过使用用信号发送的扫描顺序的信息来确定当前块的扫描顺序。在一个实施例中，扫描顺序的信息可以是指示对角线扫描顺序、垂直扫描顺序、水平扫描顺序、组合对角线扫描顺序等的信息。
可基于应用于当前块的变换类型、变换位置和应用了变换的区域中的至少一个来确定上述变换系数的扫描单元和扫描顺序中的至少一个。这里，变换位置可以是指示特定变换是否被用于垂直变换的信息，或者是指示特定变换是否被用于水平变换的信息。
当通过与诸如恒等变换的其他变换组合来执行变换时，根据使用恒等变换的变换位置，可确定扫描顺序。这里，恒等变换可以是如下面的公式1的n×n矩阵In中所示的主对角线(从左上到右下的对角线)的元素是1并且其余元素是0的矩阵。
公式1
在一个实施例中，当通过使用恒等变换进行水平变换并使用DCT-II、DCT-V、DCT-VIII、DST-1、DST-VI和DST-VII中的一个进行垂直变换来执行变换时，可根据垂直扫描顺序对变换系数组或个体系数进行扫描。
在另一实施例中，当通过使用DCT-II、DCT-V、DCT-VIII、DST-1、DST-VI和DST-VII中的一个进行水平变换并使用恒等变换进行垂直变换来执行变换时，可根据水平扫描顺序对变换系数组或个体系数进行扫描。
同时，当通过使用旋转变换来执行变换时，可根据旋转角度确定扫描顺序。
在一个实施例中，当旋转角度是0度时，垂直扫描可被用于系数组单元或个体系数单元。
在一个实施例中，当旋转角度是90度时，水平扫描可被用于系数组单元或个体系数单元。
在一个实施例中，当旋转角度是180度时，垂直扫描可被用于系数组单元或个体系数单元。
在一个实施例中，当旋转角度是270度时，水平扫描可被用于系数组单元或个体系数单元。
同时，当通过使用Givens变换或Hyper-Givens变换来执行变换时，可根据旋转角度θ确定扫描顺序。这里，可基于下面的公式2中表示的代表性定义来定义Givens变换或Hyper-Givens变换G(m，n，θ)。
[公式2]
在一个实施例中，当旋转角度θ是0度时，垂直扫描可被用于系数组单元或个体系数单元。
在一个实施例中，当旋转角度θ是90度时，水平扫描可被用于系数组单元或个体系数单元。
在一个实施例中，当旋转角度θ是180度时，垂直扫描可被用于系数组单元或个体系数单元。
在一个实施例中，当旋转角度θ是270度时，垂直扫描可被用于系数组单元或个体系数单元。
同时，当针对变换块执行DCT变换或DST变换时，可根据DCT变换和DST变换中的哪个变换被用于垂直变换或水平变换来确定扫描顺序。这里，DCT变换可意为DCT-II、DCT-V和DCT-VIII中的至少一种。此外，DST变换意为DST-1、DST-VI和DST-VII中的至少一种。
在一个实施例中，当通过使用DCT变换进行水平变换并且使用DST变换进行垂直变换来执行变换时，可根据垂直扫描顺序来对变换系数组或个体系数进行扫描。
在一个实施例中，当通过使用DST变换进行水平变换并且使用DCT变换进行垂直变换来执行变换时，可根据水平扫描顺序来对变换系数组或个体系数进行扫描。
当前块可包括以下区域中的至少一个：跳过了变换的区域、执行了初次变换的区域以及执行了初次变换和二次变换的区域。这里，可根据针对每个区域的预定扫描顺序对当前块进行扫描。当针对通过针对当前块执行初次变换而产生的结果的部分区域额外地执行二次变换时，可通过按照根据是否应用了每个变换的区域进行划分来对变换系数进行扫描。
图15示出针对8×8的当前块执行了初次变换，然后在执行初次变换之后针对左上4×4的区域(灰色区域)执行了二次变换的情况。这里，可通过将执行了初次变换的区域和执行了初次变换和二次变换的区域划分为区域A和区域B来对变换系数进行扫描。可针对区域A和区域B使用相同尺寸或不同尺寸的系数组单元，并且可在区域之间使用相同或不同的扫描顺序。
在一个实施例中，4×4的系数组单元中的扫描可被相同地用于区域A和区域B，并且对角线扫描顺序可被用于所有区域。
在另一实施例中，如图16所示，4×4的系数组单元可被相同地用于对区域A和区域B进行扫描，对角线扫描顺序可被用于区域A内的系数组单元，垂直扫描顺序可被用于区域B内的系数组单元。
图17示出针对16×16的当前块执行了初次变换，并且在执行初次变换之后针对左上8×8的区域(灰色区域)执行了二次变换的情况。这里，可通过将执行了初次变换的区域和执行了初次变换和二次变换的区域划分为区域A和区域B来对变换系数进行扫描。可针对区域A和区域B使用相同尺寸或不同尺寸的系数组单元，并且可在区域之间使用相同或不同的扫描顺序。
在一个实施例中，4×4的系数组单元中的扫描可被相同地用于区域A和区域B，并且对角线扫描顺序可被相同地用于所有区域。
在另一实施例中，如图18所示，4×4的系数组单元中的扫描可被相同地用于区域A和区域B，垂直扫描顺序可被用于区域A内的系数组单元，并且对角线扫描顺序可被用于区域B内的系数组单元。
此外，在另一实施例中，4×4的系数单元和8×8的系数单元中的扫描可被分别用于区域A和区域B，垂直扫描顺序可被用于区域A内的系数单元，并且对角线扫描顺序可被用于区域B内的系数单元。
同时，可基于当前块的尺寸和当前块的帧内预测模式来确定执行了初次变换的区域的扫描顺序。
此外，可基于当前块的形状来确定执行了初次变换和二次变换的区域的扫描顺序，或者可应用预定义的扫描顺序。这里，所述预定义的扫描顺序可以是在编码器/解码器中共同设置的扫描顺序。同时，可从编码器向解码器用信号发送执行了初次变换和二次变换的区域的预定义的扫描顺序的信息。
图19是示出根据本发明的实施例的用于对图像进行解码的方法的流程图。
参照图19，在步骤S1910中，解码器可通过对比特流进行熵解码来获得当前块的变换系数。
此外，在步骤S1920中，解码器可确定当前块的变换系数的扫描单元和扫描顺序。
这里，可以以系数组单元、个体系数单元和组合单元中的任意一个来确定扫描单元，并且可以以对角线扫描顺序、垂直扫描顺序、水平扫描顺序和组合对角线扫描顺序中的任意一个确定扫描顺序。
同时，可基于当前块的尺寸和预设阈值来确定扫描单元，或可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定扫描单元。
同时，可基于当前块的尺寸和预设阈值来确定扫描顺序，或可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定扫描顺序。
这里，当以系数组单元执行扫描时，可将彼此不同的扫描顺序应用于系数组内的扫描和系数组之间的扫描。
同时，可基于逆变换类型、逆变换位置和应用逆变换的区域中的至少一个来确定扫描顺序。
这里，当以二次逆变换和初次逆变换的顺序执行逆变换时，可以不同地确定执行二次逆变换的区域的扫描顺序以及执行二次逆变换和初次逆变换的区域的扫描顺序。
详细地，可基于当前块的尺寸和当前块的帧内预测模式中的至少一个来确定执行二次逆变换的区域的扫描顺序，可基于当前块的形状来确定执行二次逆变换和初次逆变换的区域的扫描顺序。
此外，在步骤S1930中，解码器可基于确定的扫描单元和扫描顺序来对当前块的变换系数进行扫描和对齐。
此外，在步骤S1940中，解码器可对对齐的变换系数执行逆变换。
图20是示出根据本发明的实施例的用于对图像进行编码的方法的流程图。
参照图20，在步骤S2010中，编码器可通过对当前块的残差块进行变换来获得当前块的变换系数。
此外，在步骤S2020中，编码器可确定当前块的变换系数的扫描单元和扫描顺序。
这里，扫描单元可被确定为系数组单元、个体系数单元和组合单元中的任意一个，并且扫描顺序可被确定为对角线扫描顺序、垂直扫描顺序、水平扫描顺序和组合对角线扫描顺序中的任意一个。
同时，可基于当前块的尺寸和预设阈值来确定扫描单元，或可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定扫描单元。
同时，可基于当前块的尺寸和预设阈值来确定扫描顺序，或可基于当前块的形状和当前块的帧内预测模式中的任意一个来确定扫描顺序。
这里，当以系数组单元执行扫描时，可以将彼此不同的扫描顺序应用于系数组内的扫描和系数组之间的扫描。
同时，可基于变换类型、变换位置和应用了变换的区域中的至少一个来确定扫描顺序。
这里，当以初次变换和二次变换的顺序执行变换时，可以不同地确定执行了初次变换的区域的扫描顺序以及执行了初次变换和二次变换的区域的扫描顺序。
详细地，可基于当前块的尺寸和当前块的帧内预测模式中的至少一个来确定执行了初次变换的区域的扫描顺序，并且可基于当前块的形状来确定执行了初次变换和二次变换的区域的扫描顺序。
此外，在步骤S2030中，编码器可基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和熵编码。
可以在编码器和解码器中以相同的方法执行以上实施例。
应用于上述实施例的顺序在编码器和解码器之间可以是不同的，或者应用于上述实施例的顺序在编码器和解码器中可以是相同的。
可对每个亮度信号和色度信号执行上述实施例，或者可对亮度信号和色度信号相同地执行上述实施例。
应用了本发明的上述实施例的块形状可具有正方形形状或非正方形形状。
可根据编码块、预测块、变换块、块、当前块、编码单元、预测单元、变换单元、单元和当前单元中的至少一个的尺寸来应用本发明的上述实施例。这里，所述尺寸可被定义为最小尺寸或最大尺寸或它们二者以便应用上述实施例，或者可被定义为应用上述实施例的固定尺寸。此外，在上述实施例中，第一实施例可被应用于第一尺寸，并且第二实施例可被应用于第二尺寸。换句话说，可根据尺寸来组合应用上述实施例。此外，当尺寸等于或大于最小尺寸并且等于或小于最大尺寸时，可应用上述实施例。换句话说，当块尺寸被包括在特定范围内时，可应用上述实施例。
例如，在当前块的尺寸是8×8或更大时，可应用上述实施例。例如，在当前块的尺寸是4×4或更大时，可应用上述实施例。例如，在当前块的尺寸是16×16或更大时，可应用上述实施例。例如，在当前块的尺寸等于或大于16×16并且等于或小于64×64时，可应用上述实施例。
可根据时间层来应用本发明的上述实施例。为了识别可被应用上述实施例的时间层，相应标识符可被用信号发送，并且上述实施例可被应用于由相应标识符标识的指定时间层。这里，所述标识符可被定义为指示可应用上述实施例的最低层或最高层或它们二者，或者可被定义为指示应用所述实施例的特定层。此外，可对应用所述实施例的固定时间层进行定义。
例如，在当前图像的时间层是最低层时，可应用上述实施例。例如，在当前图像的时间层标识符是1时，可应用上述实施例。例如，在当前图像的时间层是最高层时，可应用上述实施例。
可对应用了本发明的上述实施例的条带类型进行定义，并且可根据相应的条带类型来应用上述实施例。
在上述实施例中，基于具有一系列步骤或单元的流程图描述了所述方法，但本发明不限于所述步骤的顺序，而是，一些步骤可与其它步骤同时被执行，或者可与其它步骤按照不同顺序被执行。此外，本领域普通技术人员应该理解，流程图中的步骤不彼此相斥，并且在不影响本发明的范围的情况下，其它步骤可被添加到流程图中，或者一些步骤可从流程图被删除。
实施例包括示例的各种方面。关于各个方面的所有可能组合可不被描述，但本领域技术人员将能够认识到不同组合。因此，本发明可包括权利要求范围内的所有替换形式、修改形式和改变。
本发明的实施例可按照程序指令的形式被实施，其中，所述程序指令可由各种计算机组件来执行，并被记录在计算机可读记录介质上。计算机可读记录介质可包括单独的程序指令、数据文件、数据结构等，或者是程序指令、数据文件、数据结构等的组合。记录在计算机可读记录介质中的程序指令可被特别设计和构造用于本发明，或者对于计算机软件技术领域的普通技术人员而言是已知的。计算机可读记录介质的示例包括：磁记录介质(诸如硬盘、软盘和磁带)；光学数据存储介质(诸如CD-ROM或DVD-ROM)；磁光介质(诸如软光盘)；以及被特别构造用于存储和实施程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器等)。程序指令的示例不仅包括由编译器形成的机器语言代码，还包括可由计算机使用解释器实施的高级语言代码。硬件装置可被配置为由一个或更多个软件模块操作以进行根据本发明的处理，反之亦可。
虽然已根据特定术语(诸如详细元件)以及有限实施例和附图描述了本发明，但它们仅被提供用于帮助更通俗地理解本发明，并且本发明不限于上述实施例。本发明所属领域的技术人员将理解，可从上述描述做出各种修改和改变。
因此，本发明的精神不应受限于上述实施例，并且所附权利要求及其等同物的全部范围将落入本发明的范围和精神之内。
工业可用性
本发明可被用于图像编码/解码设备。

Claims (20)

1.一种用于对图像进行解码的方法，所述方法包括：
通过对比特流进行熵解码来获得当前块的变换系数；
确定当前块的变换系数的扫描单元和扫描顺序；
基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和对齐；以及
对对齐的变换系数执行逆变换。
2.如权利要求1所述的方法，其中，扫描单元是基于当前块的尺寸和预设阈值确定的。
3.如权利要求1所述的方法，其中，扫描单元是基于当前块的形状和当前块的帧内预测模式中的任意一个确定的。
4.如权利要求1所述的方法，其中，扫描单元是以系数组单元、个体系数单元和组合单元中的任意一个确定的。
5.如权利要求1所述的方法，其中，扫描顺序是基于当前块的尺寸和预设阈值确定的。
6.如权利要求1所述的方法，其中，扫描顺序是基于当前块的形状和当前块的帧内预测模式中的任意一个确定的。
7.如权利要求1所述的方法，其中，当以系数组单元执行扫描时，彼此不同的扫描顺序被应用于系数组内的扫描和系数组之间的扫描。
8.如权利要求1所述的方法，其中，扫描顺序是基于逆变换的类型、逆变换的位置和应用逆变换的区域中的至少一个确定的。
9.如权利要求1所述的方法，其中，当以二次逆变换和初次逆变换的顺序执行逆变换时，针对执行了二次逆变换的区域以及执行了二次逆变换和初次逆变换二者的区域不同地确定扫描顺序。
10.如权利要求9所述的方法，其中，所述执行了二次逆变换的区域的扫描顺序是基于当前块的尺寸和当前块的帧内预测模式中的至少一个确定的，并且
所述执行了二次逆变换和初次逆变换二者的区域的扫描顺序是基于当前块的形状确定的。
11.一种用于对图像进行编码的方法，所述方法包括：
通过对当前块的残差块进行变换来获得当前块的变换系数；
确定当前块的变换系数的扫描单元和扫描顺序；以及
基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和熵编码。
12.如权利要求11所述的方法，其中，扫描单元是基于当前块的尺寸和预设阈值确定的。
13.如权利要求11所述的方法，其中，扫描单元是基于当前块的形状和当前块的帧内预测模式中的任意一个确定的。
14.如权利要求11所述的方法，其中，扫描顺序是基于当前块的尺寸和预设阈值确定的。
15.如权利要求11所述的方法，其中，扫描顺序是基于当前块的形状和当前块的帧内预测模式中的任意一个确定的。
16.如权利要求11所述的方法，其中，当以系数组单元执行扫描时，彼此不同的扫描顺序被应用于系数组内的扫描和系数组之间的扫描。
17.如权利要求11所述的方法，其中，扫描顺序是基于变换类型、变换位置和应用了变换的区域中的至少一个确定的。
18.如权利要求11所述的方法，其中，当以初次变换和二次变换的顺序执行变换时，针对执行了初次变换的区域以及执行了初次变换和二次变换二者的区域不同地确定扫描顺序。
19.如权利要求18所述的方法，其中，所述执行了初次变换的区域的扫描顺序是基于当前块的尺寸和当前块的帧内预测模式中的至少一个确定的，并且
所述执行了初次变换和二次变换二者的区域的扫描顺序是基于当前块的形状确定的。
20.一种用于存储通过使用编码方法产生的比特流的记录介质，所述方法包括：
通过对当前块的残差块进行变换来获得当前块的变换系数；
确定当前块的变换系数的扫描单元和扫描顺序；以及
基于确定的扫描单元和扫描顺序对当前块的变换系数进行扫描和熵编码。
CN201780073630.3A 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质 Active CN110024399B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202410527725.XA CN118214876A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527724.5A CN118200575A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527728.3A CN118214877A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20160159506 2016-11-28
KR10-2016-0159506 2016-11-28
PCT/KR2017/013670 WO2018097691A2 (ko) 2016-11-28 2017-11-28 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202410527725.XA Division CN118214876A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527728.3A Division CN118214877A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527724.5A Division CN118200575A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质

Publications (2)

Publication Number Publication Date
CN110024399A true CN110024399A (zh) 2019-07-16
CN110024399B CN110024399B (zh) 2024-05-17

Family

ID=62195214

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202410527728.3A Pending CN118214877A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527725.XA Pending CN118214876A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527724.5A Pending CN118200575A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN201780073630.3A Active CN110024399B (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202410527728.3A Pending CN118214877A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527725.XA Pending CN118214876A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质
CN202410527724.5A Pending CN118200575A (zh) 2016-11-28 2017-11-28 对图像编码/解码的方法和设备及存储比特流的记录介质

Country Status (4)

Country Link
US (1) US20190313102A1 (zh)
KR (3) KR102397475B1 (zh)
CN (4) CN118214877A (zh)
WO (1) WO2018097691A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636313A (zh) * 2019-09-18 2019-12-31 浙江大华技术股份有限公司 变换、二次变换矩阵训练方法、编码器及相关装置
CN115336276A (zh) * 2020-03-31 2022-11-11 Kddi 株式会社 图像解码装置、图像解码方法以及程序

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019074291A1 (ko) * 2017-10-11 2019-04-18 엘지전자 주식회사 분리 변환 기반 영상 코딩 방법 및 그 장치
US11470316B2 (en) * 2018-05-31 2022-10-11 Lg Electronics Inc. Method and device for performing transformation by using layered-givens transform
GB2587982B (en) 2018-06-08 2023-01-04 Kt Corp Method and apparatus for processing video signal
CN112602324B (zh) * 2018-06-22 2024-07-23 Op方案有限责任公司 块水平几何划分
CN110650343B (zh) * 2018-06-27 2024-06-07 中兴通讯股份有限公司 图像的编码、解码方法及装置、电子设备及系统
CN117097893A (zh) 2018-07-06 2023-11-21 Lg电子株式会社 图像编码/解码设备和图像数据发送设备
WO2020046091A1 (ko) * 2018-09-02 2020-03-05 엘지전자 주식회사 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
KR20230112741A (ko) 2018-09-05 2023-07-27 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
US10819979B2 (en) * 2018-09-06 2020-10-27 Tencent America LLC Coupled primary and secondary transform
US11039139B2 (en) * 2018-09-14 2021-06-15 Tencent America LLC Method and apparatus for identity transform in multiple transform selection
CA3123193C (en) 2018-12-19 2024-02-13 Lg Electronics Inc. Video coding method on basis of secondary transform, and device for same
WO2020139016A2 (ko) * 2018-12-27 2020-07-02 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 재배열을 사용하는 영상 디코딩 방법 및 그 장치
US11032574B2 (en) 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
WO2020141892A1 (ko) * 2019-01-01 2020-07-09 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
CN112514384A (zh) * 2019-01-28 2021-03-16 株式会社 Xris 视频信号编码/解码方法及其装置
WO2020162737A1 (ko) * 2019-02-08 2020-08-13 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
CN113491116B (zh) 2019-02-28 2024-07-26 数码士有限公司 基于帧内预测的视频信号处理方法和装置
KR102213901B1 (ko) * 2019-03-21 2021-02-08 삼성전자주식회사 블록 형태별로 블록 크기가 설정되는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US20220210403A1 (en) * 2019-04-15 2022-06-30 Lg Electronics Inc. Scaling list parameter-based video or image coding
KR20200145761A (ko) * 2019-06-21 2020-12-30 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
EP4109898A4 (en) * 2019-12-30 2023-01-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. TRANSFORMATION METHOD, ENCODER, DECODER AND STORAGE MEDIUM
CN113643342B (zh) * 2020-04-27 2023-11-14 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN116074499A (zh) * 2021-11-11 2023-05-05 杭州海康威视数字技术股份有限公司 一种视频编解码方法及装置
WO2024049024A1 (ko) * 2022-08-29 2024-03-07 현대자동차주식회사 1차 변환 커널에 적응적인 분리 불가능한 2차 변환 기반 비디오 코딩을 위한 방법 및 장치

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170649A1 (en) * 2010-12-29 2012-07-05 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US20130058407A1 (en) * 2011-03-08 2013-03-07 Qualcomm Incorporated Coding of transform coefficients for video coding
CN102986215A (zh) * 2010-07-09 2013-03-20 高通股份有限公司 使用帧内预测模式的子集及对应定向变换的视频译码
CN103096068A (zh) * 2011-11-04 2013-05-08 吴秀美 产生量化块的方法
KR20140033499A (ko) * 2011-07-01 2014-03-18 퀄컴 인코포레이티드 비디오 데이터에 비-정방형 변환들을 적용
CN103959790A (zh) * 2011-11-18 2014-07-30 华为技术有限公司 高效视频编码中的预测残余的扫描
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
CN104094597A (zh) * 2011-10-17 2014-10-08 株式会社Kt 基于帧内预测的自适应变换方法及使用该方法的装置
CN104335582A (zh) * 2012-06-12 2015-02-04 松下电器（美国）知识产权公司 动态图像编码方法、动态图像解码方法、动态图像编码装置以及动态图像解码装置
CN104469378A (zh) * 2013-09-19 2015-03-25 黑莓有限公司 用于对系数组中的最后一个非零变换系数的位置数据进行编码
US20160014414A1 (en) * 2014-07-11 2016-01-14 Mstar Semiconductor, Inc. Encoding Method and Apparatus, and Decoding Method and Apparatus for Video System
US20160088310A1 (en) * 2014-09-24 2016-03-24 Mstar Semiconductor, Inc. Video encoding apparatus and video decoding apparatus and encoding method and decoding method thereof
KR20160106025A (ko) * 2010-12-14 2016-09-09 엠앤케이홀딩스 주식회사 동영상 부호화 장치
US20160330450A1 (en) * 2011-01-13 2016-11-10 Samsung Electronics Co., Ltd. Video-encoding method and apparatus for same and video-decoding method and apparatus for same using a selective scan mode

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371024B (zh) * 2011-11-08 2020-09-04 株式会社Kt 利用解码装置对视频信号进行解码的方法
KR20140129417A (ko) * 2013-04-29 2014-11-07 인텔렉추얼디스커버리 주식회사 복수의 트랜스폼들을 이용한 영상 부호화/복호화 방법 및 장치

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102986215A (zh) * 2010-07-09 2013-03-20 高通股份有限公司 使用帧内预测模式的子集及对应定向变换的视频译码
KR20160106025A (ko) * 2010-12-14 2016-09-09 엠앤케이홀딩스 주식회사 동영상 부호화 장치
US20120170649A1 (en) * 2010-12-29 2012-07-05 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US20160330450A1 (en) * 2011-01-13 2016-11-10 Samsung Electronics Co., Ltd. Video-encoding method and apparatus for same and video-decoding method and apparatus for same using a selective scan mode
US20130058407A1 (en) * 2011-03-08 2013-03-07 Qualcomm Incorporated Coding of transform coefficients for video coding
KR20140033499A (ko) * 2011-07-01 2014-03-18 퀄컴 인코포레이티드 비디오 데이터에 비-정방형 변환들을 적용
CN104094597A (zh) * 2011-10-17 2014-10-08 株式会社Kt 基于帧内预测的自适应变换方法及使用该方法的装置
CN103096068A (zh) * 2011-11-04 2013-05-08 吴秀美 产生量化块的方法
CN106067972A (zh) * 2011-11-04 2016-11-02 英孚布瑞智有限私人贸易公司 产生量化块的方法
CN103959790A (zh) * 2011-11-18 2014-07-30 华为技术有限公司 高效视频编码中的预测残余的扫描
CN104335582A (zh) * 2012-06-12 2015-02-04 松下电器（美国）知识产权公司 动态图像编码方法、动态图像解码方法、动态图像编码装置以及动态图像解码装置
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
CN104469378A (zh) * 2013-09-19 2015-03-25 黑莓有限公司 用于对系数组中的最后一个非零变换系数的位置数据进行编码
US20160014414A1 (en) * 2014-07-11 2016-01-14 Mstar Semiconductor, Inc. Encoding Method and Apparatus, and Decoding Method and Apparatus for Video System
US20160088310A1 (en) * 2014-09-24 2016-03-24 Mstar Semiconductor, Inc. Video encoding apparatus and video decoding apparatus and encoding method and decoding method thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "Algorithm Description of Joint Exploration Test Model 4", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 4TH MEETING: CHENGDU》 *
JIANLE CHEN: "Algorithm Description of Joint Exploration Test Model 4", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 4TH MEETING: CHENGDU》, 19 November 2016 (2016-11-19), pages 2 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636313A (zh) * 2019-09-18 2019-12-31 浙江大华技术股份有限公司 变换、二次变换矩阵训练方法、编码器及相关装置
CN115336276A (zh) * 2020-03-31 2022-11-11 Kddi 株式会社 图像解码装置、图像解码方法以及程序
CN115336276B (zh) * 2020-03-31 2024-06-04 Kddi株式会社 图像解码装置、图像解码方法以及程序

Also Published As

Publication number Publication date
CN118200575A (zh) 2024-06-14
WO2018097691A3 (ko) 2018-07-19
US20190313102A1 (en) 2019-10-10
KR102397475B1 (ko) 2022-05-13
KR20220065739A (ko) 2022-05-20
CN118214877A (zh) 2024-06-18
CN110024399B (zh) 2024-05-17
KR20180061046A (ko) 2018-06-07
KR20240065222A (ko) 2024-05-14
CN118214876A (zh) 2024-06-18
WO2018097691A2 (ko) 2018-05-31

Similar Documents

Publication Publication Date Title
CN110024399A (zh) 对图像编码/解码的方法和设备及存储比特流的记录介质
CN110999293B (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN109417617A (zh) 帧内预测方法和装置
CN109479138A (zh) 图像编码/解码方法和装置
CN109804625A (zh) 对图像编码/解码的方法和装置及存储比特流的记录介质
CN109417636A (zh) 用于基于变换的图像编码/解码的方法和设备
CN109792515A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN109479129A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN104094597B (zh) 基于帧内预测的自适应变换方法及使用该方法的装置
CN110089113A (zh) 图像编码/解码方法、设备以及用于存储比特流的记录介质
CN109644276A (zh) 图像编码/解码方法
CN109891883A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
CN109196864A (zh) 图像编码/解码方法和用于所述方法的记录介质
CN110024394A (zh) 对图像编码/解码的方法和设备及存储比特流的记录介质
CN109691099A (zh) 视频编码/解码方法和装置以及在其中存储比特流的记录介质
CN109479141A (zh) 图像编码/解码方法和用于所述方法的记录介质
CN110121884A (zh) 用于滤波的方法和装置
CN110463201A (zh) 使用参考块的预测方法和装置
CN109952762A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
US12081754B2 (en) Image encoding/decoding method and apparatus, and recording medium storing bitstream
CN109565593A (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
CN109792521A (zh) 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质
CN112385215A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN110476425A (zh) 基于块形式的预测方法和装置
WO2012074344A2 (ko) 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant