CN108933941A - 图像编码方法和装置以及图像解码方法和装置 - Google Patents

图像编码方法和装置以及图像解码方法和装置 Download PDF

Info

Publication number
CN108933941A
CN108933941A CN201710384536.1A CN201710384536A CN108933941A CN 108933941 A CN108933941 A CN 108933941A CN 201710384536 A CN201710384536 A CN 201710384536A CN 108933941 A CN108933941 A CN 108933941A
Authority
CN
China
Prior art keywords
scheme
unit
converter unit
size
intraframe coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710384536.1A
Other languages
English (en)
Inventor
朱建清
姚杰
冷杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201710384536.1A priority Critical patent/CN108933941A/zh
Priority to JP2018042673A priority patent/JP2018201188A/ja
Priority to EP18162008.9A priority patent/EP3407603A1/en
Priority to US15/933,822 priority patent/US20180343450A1/en
Publication of CN108933941A publication Critical patent/CN108933941A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]

Abstract

公开了一种图像编码方法和装置以及图像解码方法和装置，其中该图像编码方法包括：对于图像的每个帧内编码单元进行以下处理：确定用于标识模式的标识信息，其中，模式定义至少一个划分方案，在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；根据标识信息所标识的模式，将该帧内编码单元划分成变换单元；以及基于变换单元进行图像编码。根据本公开的实施例，需要较少的帧内编码单元的划分标记比特成本、可以获得更精确的图像预测以及实现更高的编码效率。

Description

图像编码方法和装置以及图像解码方法和装置
技术领域
本公开涉及视频编码和图像压缩领域。更具体地，本公开涉及一种需要较少的帧内编码单元的划分标记比特成本、可以获得更精确的图像预测以及实现更高的编码效率的图像编码方法和装置以及相应的图像解码方法和装置。
背景技术
在视频编码标准HEVC中，以编码树单元(CTU)为单位对样本进行处理。通过使用四叉树结构来将CTU分割成编码单元(CU)。在CU级进行使用帧内图像(时间)预测或帧间图像(空间)预测来对图像进行编码的判决。使用帧内预测的CU被称为帧内CU。除了具有8×8大小的、能够根据预测单元(PU)分割类型而进一步被分割成一个或四个PU的CU之外，每个帧内CU通常是一个PU。在一个PU内施加相同的预测处理，并且基于PU来将相关信息传送到解码器。在通过基于PU分割类型施加预测处理而获得残差块之后，根据与用于CU的编码树类似的另一四叉树结构，CU可以被划分为变换单元(TU)。
在HEVC中，当TU树深度比较大时，需要许多比特来标记划分结构。图1是示出HEVC中帧内编码单元的划分的示例的图。图1中左侧的图是以块表示的HEVC中帧内编码单元的划分结构，而图1中右侧的图是以树表示的HEVC中帧内编码单元的划分结构。例如，如图1所示，对于被分割成16个TU(TU0、…、TU15)的CU，将需要(1+4+16)＝21比特来标记划分结构。即，在HEVC中，对于TU划分存在较大的比特成本。
在MPEG和ITU的未来视频编码技术的联合开发期间，引入了被称为四叉树加二叉树块结构(QTBT)的新结构。在QTBT中，首先通过四叉树结构划分CTU，再通过二叉树结构进一步划分四叉树叶子节点。二叉树叶子节点被称为CU，该CU用于预测和变换而无需进一步划分。这意味着，在QTBT编码块结构中，CU、PU以及TU具有相同的块尺寸。图2是示出QTBT结构的一个示例的图。图2中左侧的图是以块表示的QTBT结构，而图2中右侧的图是以树表示的QTBT结构。作为示例，在图2中，用实线表示四叉树分割，而用虚线表示二叉树分割。并且，在二叉树分割中，用标记1表示进行左右分割，而用标记0表示上下分割。
对于帧内CU的所有计算包括基于TU的预测和残差编码及解码。在QTBT中，由于TU等同于CU，因此对于TU划分不存在划分标记比特成本。但是如果CU尺寸较大，与将CU分割成较小的TU相比，其预测不太准确。如果CU尺寸变得较小，则QTBT的划分标记成本变得较大。
因此，对于HEVC和QTBT而言，针对帧内CU到TU的划分，存在折中的需求。
此外，在HEVC中，编码块(CB)可以被划分成变换块(TB)。逐TB来对残差系数进行编码。在TB内，在被编码之前，以特定扫描顺序将二维残差系数阵列映射到一维阵列。映射之后，一维阵列被编码成比特流。通常存在三种扫描顺序，即右上45度扫描顺序、水平扫描顺序以及垂直扫描顺序。图3是示出了针对具有4×4尺寸的块的3种扫描顺序的图示。在图3中，左侧的图以扫描顺序序号0、1、2、…、14、15示出了右上45度扫描顺序、中间的图以扫描顺序序号0、1、2、…、14、15示出了水平扫描顺序、以及右侧的图以扫描顺序序号0、1、2、…、14、15示出了垂直扫描顺序。另外，可以使用用于标识扫描顺序类别的标识信息scanIdx来指定使用哪种扫描顺序。其中，可以用scanIdx＝0指定右上45度扫描顺序，可以用scanIdx＝1指定水平扫描顺序，以及可以用scanIdx＝2指定垂直扫描顺序。在HEVC中存在对于scanIdx的特定推导过程。假设元素在一维阵列中的位置为sPos(即，如上所述的图3中的扫描顺序序号)，该元素所对应的二维阵列的位置的x轴和y轴坐标可以表示如下：
x＝ScanOrder[blocksize][sanIdx][sPos][0]
y＝ScanOrder[blocksize][sanIdx][sPos][1]
这里，ScanOrder表示扫描顺序，blocksize是TB的块尺寸，其可以为4×4、8×8、16×16以及32×32等。
扫描的目的是集中信号的能量。然而，因为在帧内CB中是逐TB对残差系数进行编码，因此对帧内CB而言，能量分散在每个TB中。因此，存在对于TB的新的扫描顺序的需要。
发明内容
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
鉴于以上问题，本公开的目的是提供一种需要较少的帧内编码单元的划分标记比特成本、可以获得更精确的图像预测以及实现更高的编码效率的图像编码方法和装置以及相应的图像解码方法和装置。
根据本公开的一方面，提供了一种图像编码方法，包括：可以对于图像的每个帧内编码单元进行以下处理：确定用于标识模式的标识信息，其中，模式定义至少一个划分方案，在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；根据标识信息所标识的模式，可以将该帧内编码单元划分成变换单元；以及可以基于变换单元进行图像编码。
根据本公开的另一方面，还提供了一种图像编码装置，其对于图像的每个帧内编码单元进行处理，该图像编码装置包括：确定单元，被配置成确定用于标识模式的标识信息，其中，模式定义至少一个划分方案，在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；划分单元，被配置成可以根据标识信息所标识的模式，将该帧内编码单元划分成变换单元；以及编码单元，被配置成可以基于变换单元进行图像编码。
根据本公开的另一方面，还提供了一种图像解码方法，包括：可以对于图像的每个帧内编码单元进行以下处理：从图像的编码比特数据流中提取用于标识模式的标识信息，其中，模式定义至少一个划分方案，在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；可以根据标识信息所标识的模式从编码比特数据流中恢复出变换单元；以及可以基于变换单元进行图像解码。
根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。
在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。
附图说明
本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：
图1是示出HEVC中帧内编码单元的划分的示例的图；
图2是示出QTBT结构的一个示例的图；
图3是示出了针对具有4×4尺寸的块的3种扫描顺序的图示；
图4是示出根据本公开的实施例的图像编码方法的流程示例的流程图；
图5是示出在根据本公开的实施例的CU级协议数据中，用于标识与划分方案对应的模式的标识信息的示例的图；
图6是示出根据本公开的实施例的尺寸为2N×2N(N为8的整数倍)的帧内编码单元的划分方案的示例的图；
图7是示出根据本公开的实施例的宽度为2m且长度为2n(m>n)的长方形的帧内编码单元的划分方案的示例的图；
图8是示出根据本公开的实施例的宽度为2n且长度为2m(m>n)的长方形的帧内编码单元的划分方案的示例的图；
图9是示出根据本公开实施例的对具有UTU结构的帧内编码单元进行编码处理的流程图；
图10是示出根据本公开实施例的编码块中从变换块到频域块的映射的图；
图11是示出根据本公开的实施例的图像编码装置的功能配置示例的框图；
图12是示出根据本公开的实施例的图像解码方法的流程示例的流程图；
图13是示出根据本公开实施例的对具有UTU结构的帧内编码单元进行解码处理的流程图；
图14是示出根据本公开的实施例的图像解码装置的功能配置示例的框图；以及
图15是示出作为本公开的实施例中可采用的信息处理设备的个人计算机的示例结构的框图。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。
本发明提出了一种均匀TU结构(UTU)。在UTU结构中，帧内CU可以被划分成方形的若干均匀TU。这意味着CU中的所有TU具有相同的尺寸。可以在帧内编码和解码系统中使用部分或全部UTU结构。可以在CU级语法中使用语法元素来指示使用UTU结构中哪些结构。
下面结合附图详细说明根据本公开的实施例。
首先，将参照图4描述根据本公开的实施例的图像编码方法400的流程示例。图4是示出根据本公开的实施例的图像编码方法的流程示例的流程图。如图4所示，根据本公开的实施例的图像编码方法400包括要对于图像的每个帧内编码单元执行的确定步骤S402、划分步骤S404以及编码步骤S406。
在确定步骤S402中，可以确定用于标识模式的标识信息，其中，该模式定义至少一个划分方案，在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。
作为一个具体示例，在UTU结构中，可以预先定义帧内编码单元的对应于不同模式的至少一个划分方案。在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。
在CU级协议数据中，可以使用作为语法元素的标识信息utu_mode来标识模式。图5是示出在根据本公开的实施例的CU级协议数据中，用于标识与划分方案对应的模式的标识信息utu_mode的示例的图。如图5所示，对于UTU结构，可以利用标识信息utu_mode标识与不同划分方案对应的模式。作为具体示例，假设intra_mode是用于标识帧内预测模式的标识信息，则标识信息utu_mode可以在CU级协议数据中位于intra_mode之后，并且标识信息utu_mode位于该CU的编码数据之前。在帧内编码和解码系统中，可以使用部分或全部UTU结构。对于待划分的CU，可以预先计算该CU在每个划分方案下的编码比特数，并且可以选择最小编码比特数所对应的划分方案作为该CU的划分方案，由此可以确定用于标识模式的标识信息utu_mode。假设一共采用p种划分方案，则在CU级的协议数据中，需要log2(p)个比特来表示标识信息utu_mode。可以使用任何熵编码方法来对utu_mode进行编码。下面针对不同尺寸的帧内编码单元来描述划分方案和utu_mode。
优选地，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。图6是示出根据本公开的实施例的尺寸为2N×2N(N为8的整数倍)的帧内编码单元的划分方案的示例的图。图6中的左侧的块图是尺寸为2N×2N的CU，图6中的右侧的从上到下的块图表示将尺寸为2N×2N的CU分别均匀分割成不同数量的变换单元。对于尺寸为2N×2N(N为8的整数倍)的帧内编码单元，如图6中右侧的第一行的块图所示，TU尺寸可以是2N×2N(即，未对CU进行分割)；如图6中右侧的第二行的块图所示，TU尺寸可以是N×N(将CU分割成4个TU)；如图6中右侧的第三行的块图所示，TU尺寸可以是1/2N×1/2N(将CU分割成16个TU)；如图6中右侧的第四行的块图所示，TU尺寸可以是1/4N×1/4N(将CU分割成64个TU)；直到将CU分割成所允许的最小TU尺寸(在HEVC中，所允许的最小TU尺寸为4×4)为止。
如上所述，在帧内编码和解码系统中可以使用部分或全部UTU结构。可以在CU级语法中使用语法元素utu_mode来指示使用哪种划分模式。作为一个具体示例，对于尺寸为2N×2N的帧内编码单元，假设预先定义如下4种划分方案：模式0表示未对CU进行分割、模式1表示将CU分割成4个N×N尺寸的TU、模式2表示将CU分割成16个1/2N×1/2N尺寸的TU、以及模式3表示将CU分割成64个1/4N×1/4N尺寸的TU。对于上述四种划分方案，可以用utu_mode＝“00”表示模式0，用utu_mode＝“01”表示模式1，用utu_mode＝“10”表示模式2，用utu_mode＝“11”表示模式3。即，只需要2个比特的utu_mode就能表示如上所述的4种划分方案。而如图1所示，在HEVC中，需要21个比特来表示将CU分割成16个TU的划分方案。
优选地，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元的尺寸等于4×4。
作为一个具体示例，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，划分方案可以包括以下两个划分方案中的至少一个：将帧内编码单元直接作为变换单元；以及每个变换单元的尺寸等于4×4。
优选地，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：方案1为每个变换单元的尺寸等于4×4。
作为一个具体示例，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，划分方案可以是每个变换单元的尺寸等于4×4。
优选地，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
图7是示出根据本公开的实施例的宽度为2m且长度为2n(m>n)的长方形的帧内编码单元的划分方案的示例的图。图7中的左侧的块图是宽度为2m且长度为2n的CU，图7中的右侧的从上到下的块图表示将宽度为2m且长度为2n的CU分别均匀分割成不同数量的变换单元。对于宽度为2m且长度为2n的帧内编码单元，如图7中右侧的第一行的块图所示，TU尺寸可以是2m×2n(即，未对CU进行分割)；如图7中右侧的第二行的块图所示，TU尺寸可以是2n×2n(将CU分割成2m-n个尺寸为2n×2n的TU)；如图7中右侧的第三行的块图所示，TU尺寸可以是2n-1×2n-1(将CU分割成2m-n+2个尺寸为2n-1×2n-1的TU)；如图7中右侧的第四行的块图所示，TU尺寸可以是2n-2×2n-2(将CU分割成2m-n+4个尺寸为2n-2×2n-2的TU)；如图7中右侧的第五行的块图所示，TU尺寸可以是2n-3×2n-3(将CU分割成2m-n+6个尺寸为2n-3×2n-3的TU)；直到将CU分割成所允许的最小TU尺寸(在HEVC中，所允许的最小TU尺寸为4×4)为止。
作为一个具体示例，对于宽度为2m且长度为2n(m>n)的长方形的帧内编码单元，假设一共采用p种划分方案，则在CU级的协议数据中，需要log2(p)个比特来表示用于标识模式的标识信息utu_mode。
优选地，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
图8是示出根据本公开的实施例的宽度为2n且长度为2m(m>n)的长方形的帧内编码单元的划分方案的示例的图。图8中的最上部的块图是宽度为2n且长度为2m的CU，图8中的下部的从左到右的块图表示将宽度为2n且长度为2m的CU分别均匀分割成不同数量的变换单元。对于宽度为2n且长度为2m的帧内编码单元，如图8中下部的第一列的块图所示，TU尺寸可以是2n×2m(即，未对CU进行分割)；如图8中下部的第二列的块图所示，TU尺寸可以是2n×2n(将CU分割成2m-n个尺寸为2n×2n的TU)；如图8中下部的第三列的块图所示，TU尺寸可以是2n-1×2n-1(将CU分割成2m-n+2个尺寸为2n-1×2n-1的TU)；如图8中下部的第四列的块图所示，TU尺寸可以是2n-2×2n-2(将CU分割成2m-n+4个尺寸为2n-2×2n-2的TU)；如图8中下部的第五列的块图所示，TU尺寸可以是2n-3×2n-3(将CU分割成2m-n+6个尺寸为2n-3×2n-3的TU)；直到将CU分割成所允许的最小TU尺寸(在HEVC中，所允许的最小TU尺寸为4×4)为止。
作为一个具体示例，对于宽度为2n且长度为2m(m>n)的长方形的帧内编码单元，假设一共采用p种划分方案，则在CU级的协议数据中，需要log2(p)个比特来表示用于标识模式的标识信息utu_mode。
优选地，图像的亮度分量和色度分量共享所述至少一个划分方案，或者图像的亮度分量和色度分量分别使用不同的所述至少一个划分方案。
作为一个具体示例，假设对于CU的亮度分量已经确定了用于标识与划分方案对应的模式的标识信息utu_mode(即，确定了UTU结构)，则该CU的色度分量可以与亮度分量共享该UTU结构或使用独立的UTU结构。
在划分步骤S404中，可以根据标识信息所标识的模式，将帧内编码单元划分成变换单元。
作为一个具体示例，在确定了用于标识模式的标识信息utu_mode之后，可以根据与标识信息utu_mode所标识的模式对应的划分方案，将帧内编码单元划分成均匀的变换单元。
在编码步骤S406中，可以基于变换单元进行图像编码。
图9是示出根据本公开实施例的对具有UTU结构的帧内编码单元进行编码处理的流程图。
在步骤S901中，进行帧内预测模式判定以及遍历utu_mode的所有情况，从而获得最优帧内预测模式best_intra_mode和最优UTU模式best_utu_mode。通常的帧内预测模式包括DC(直流)模式、水平预测模式、垂直预测模式、以及其他方向预测模式等。在步骤S901中，可以对上述帧内预测模式进行遍历，从而根据预定规则获得最优帧内预测模式best_intra_mode。另外，对于待编码的CU遍历utu_mode的所有情况，将码率最低的utu_mode作为best_utu_mode。
在步骤S902中，令utu_mode＝best_utu_mode并且令intra_mode＝best_intra_mode，其中intra_mode是用于标识帧内预测模式的标识信息。
在步骤S903中，判断utu_mode是否等于0？如果utu_mode等于0，即确定未对待编码的CU进行分割，则流程进行到步骤S904。
在步骤S904中，计算预测图像。即，利用在步骤S902中确定的intra_mode计算待编码的CU的预测图像。
在步骤S905中，计算残差图像。即，通过用待编码的CU的原始图像减去在步骤S904中计算得到的预测图像来计算待编码的CU的残差图像。
在步骤S906中，对残差图像进行编码。即，通过对在步骤S905中计算得到的残差图像进行变换、量化等，对该残差图像进行编码，从而得到编码残差系数块。
在步骤S907中，对编码残差系数块进行解码。即，通过对在步骤S906中得到的编码残差系数块进行逆量化、逆变换等，对该编码残差图像进行解码，从而得到所解码的残差图像。
在步骤S908中，计算重构图像。即，基于在步骤S904中所计算的预测图像和在步骤S907中所解码的残差图像来计算CU的重构图像。
在步骤S909中，存储重构图像，并输出残差信息。即，存储在步骤S908中所计算的CU的重构图像以用于下一CU的编码，并且输出该CU的残差图像的残差信息。
在步骤S910中，将intra_mode、utu_mode以及残差信息编码成比特流。即，将在步骤S902中得到的intra_mode和utu_mode以及步骤S909中的残差信息编码成比特流。
如果在步骤S903中确定utu_mode不等于0，即确定待编码的CU被分割成了TU，则流程进行到步骤S911。
在步骤S911中，将CU中的每个TU作为待编码的TU，分别进行步骤S912至步骤S917中的处理。
在步骤S912中，计算预测图像。即，利用在步骤S902中确定的intra_mode计算待编码的TU的预测图像。
在步骤S913中，计算残差图像。即，通过用待编码的TU的原始图像减去在步骤S912中计算得到的预测图像来计算待编码的TU的残差图像。
在步骤S914中，对残差图像进行编码。即，通过对在步骤S913中计算得到的残差图像进行变换、量化等，对该残差图像进行编码，从而得到编码残差系数块。
在步骤S915中，对编码残差系数块进行解码。即，通过对在步骤S914中得到的编码残差系数块进行逆量化、逆变换等，对该编码残差图像进行解码，从而得到所解码的残差图像。
在步骤S916中，计算重构图像。即，基于在步骤S912中所计算的预测图像和在步骤S915中所解码的残差图像来计算TU的重构图像。
在步骤S917中，存储重构图像，并输出残差信息。即，存储在步骤S916中所计算的TU的重构图像，并且输出该TU的残差图像的残差信息。
当对CU内的所有TU分别进行了步骤S912至步骤S917中的处理之后，流程进行到步骤S918。在步骤S918中，将残差块从TU映射为频域块(FB)。步骤S918不是必需步骤，对某些特性的图像，比如编码残差系数块全部为0的TB较多的图像，则不需要步骤S918。是否需要步骤S918，在CU级或更高级语法元素中加入开关标志进行控制。然后在步骤S910中，将intra_mode、utu_mode以及残差信息编码成比特流。即，将在步骤S902中得到的intra_mode和utu_mode以及步骤S918中的残差信息编码成比特流。在对所有CU编码完成之后，流程结束。
对于彩色图像而言，一个CU包括3个CB，即包括1个亮度分量的CB和2个色度分量的CB。以下为了方便，假设一个CU等同于一个CB来进行描述。类似地，假设一个TU等同于一个TB来进行描述。
在步骤S918中，在对图像进行编码时，在CB中是逐TB来对残差系数进行编码。因此对CB而言，能量分散在每个TB中。如之前所述，为了集中信号的能量，本申请提出了将UTU结构中的TB映射为频域块从而改变TB的扫描顺序的方法。
具体地，提出了一种对第一编码块进行编码的方法，第一编码块包括多个大小相同的变换块，每个变换块包括分别对应于多个频率分量的多个元素，该方法包括：利用各个变换块中对应于特定频率分量的元素来生成对应于特定频率分量的频域块；针对多个频率分量，生成分别对应于多个频率分量的多个频域块；以及利用多个频域块生成第二编码块，其中，在第二编码块中，多个频域块被布置成使得对应于较低频率分量的频域块在扫描顺序上优先于对应于较高频率分量的频域块。
图10是示出根据本公开实施例的编码块中从变换块到频域块的映射的图。作为一个具体示例，第一编码块可以是图10中左侧示出的具有UTU结构的CB。图10中左侧的CB由M列×N行的TB构成，即该CB由TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]构成。每个TB的尺寸为S×S。令TB[m][n][x][y]表示第m列第n行的TB中的第x列第y行的系数，其中，m＝0，…，M-1；n＝0，…，N-1；x＝0，…，S-1以及y＝0，…，S-1。在图10的左侧的CB中，每个TB中相同位置处的元素对应于相同的频率分量，例如，TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中的x＝0以及y＝0位置处的元素都对应于相同的最低频率分量，TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中的x＝S-1以及y＝S-1位置处的元素都对应于相同的最高频率分量；同一TB中不同位置处的元素对应于不同的频率分量，以TB[0][0]为例，TB[0][0]中不同位置处的元素对应于不同的频率分量。即，每个TB包括分别对应于多个频率分量的多个元素。
作为一个具体示例，第二编码块可以是图10中右侧示出的由多个FB构成的CB。可以利用各个变换块中对应于特定频率分量的元素来生成对应于该特定频率分量的频域块。作为示例，如图10中所示，可以利用TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中的x＝0以及y＝0位置处的元素(对应于最低频率分量的元素)生成对应于最低频率分量的频域块FB[0][0]，可以利用TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中的x＝S-1以及y＝S-1位置处的元素(对应于最高频率分量的元素)生成对应于最高频率分量的频域块FB[S-1][S-1]。这样，可以针对多个频率分量，生成分别对应于不同频率分量的频域块FB[0][0]、FB[1][0]、…、FB[S-1][0]、…、FB[0][S-1]、…、FB[S-1][S-1]。令FB[x][y][m][n]表示第x列第y行的FB中的第m列第n行的系数，则TB到FB的映射可以表示为：FB[x][y][m][n]＝TB[m][n][x][y]。由此，可以生成如图10中右侧示出的由多个FB构成的CB。在由多个FB构成的CB中，由于频域块FB[0][0]对应于最低频率分量，因此在对所述多个FB扫描时，最先扫描频域块FB[0][0]，而由于频域块FB[S-1][S-1]对应于最高频率分量，因此其最后被扫描，即多个频域块可以被布置成使得对应于较低频率分量的频域块在扫描顺序上优先于对应于较高频率分量的频域块。
优选地，每个元素在频域块中的位置对应于包含该元素的变换块在第一编码块中的位置。作为一个具体示例，如图10所示，以频域块FB[0][0]为例，如上所述，利用TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中的x＝0以及y＝0位置处的元素生成频域块FB[0][0]。更具体地，由于TB[0][0]位于第一编码块中m＝0以及n＝0的位置处，因此TB[0][0]中的x＝0以及y＝0位置处的元素位于FB[0][0]中的m＝0以及n＝0位置处；由于TB[1][0]位于第一编码块中m＝1以及n＝0的位置处，因此TB[1][0]中的x＝0以及y＝0位置处的元素位于FB[0][0]中的m＝1以及n＝0位置处；由于TB[M-1][0]位于第一编码块中m＝M-1以及n＝0的位置处，因此TB[M-1][0]中的x＝0以及y＝0位置处的元素位于FB[0][0]中的m＝M-1以及n＝0位置处；由于TB[0][N-1]位于第一编码块中m＝0以及n＝N-1的位置处，因此TB[0][N-1]中的x＝0以及y＝0位置处的元素位于FB[0][0]中的m＝0以及n＝N-1位置处；由于TB[M-1][N-1]位于第一编码块中m＝M-1以及n＝N-1的位置处，因此TB[M-1][N-1]中的x＝0以及y＝0位置处的元素位于FB[0][0]中的m＝M-1以及n＝N-1位置处。
优选地，对应于特定频率分量的频域块在第二编码块中的位置与对应于特定频率分量的元素在相应变换块中的位置相对应。作为一个具体示例，如图10所示，FB[0][0]与每个变换块中x＝0以及y＝0位置处的元素对应，因此FB[0][0]在图10的右侧所示的CU中位于x＝0以及y＝0位置处；FB[1][0]与每个变换块中x＝1以及y＝0位置处的元素对应，因此FB[1][0]在图10的右侧所示的CU中位于x＝1以及y＝0位置处；FB[S-1][0]与每个变换块中x＝S-1以及y＝0位置处的元素对应，因此FB[S-1][0]在图10的右侧所示的CU中位于x＝S-1以及y＝0位置处；FB[0][S-1]与每个变换块中x＝0以及y＝S-1位置处的元素对应，因此FB[0][S-1]在图10的右侧所示的CU中位于x＝0以及y＝S-1位置处；以及FB[S-1][S-1]与每个变换块中x＝S-1以及y＝S-1位置处的元素对应，因此FB[S-1][S-1]在图10的右侧所示的CU中位于x＝S-1以及y＝S-1位置处。
优选地，按照预定扫描顺序提取第二编码块中的多个频域块中的元素以构成数据流，以及从数据流中移除尾部的连续零值元素。作为一个具体示例，对于图10中右侧示出的由多个FB构成的CB，逐FB执行扫描来进行编码。使用用于标识扫描顺序的标识信息scanIdx来指定FB的扫描顺序。有两种用于确定scanIdx的方法。第一种方法是如HEVC标准那样，根据帧内预测模式推导scanIdx。第二种方法是在CU级的协议数据中添加语法元素scanIdx来明确地指示扫描顺序。在第二种方法中，遍历各扫描顺序并得到码率最低的扫描顺序，以及将用于标识该码率最低的扫描顺序的标识信息scanIdx添加到CU级的协议数据中从而编入数据码流。由于对应于较高频率分量的FB中零值元素较多，并且如之前所述，对应于较低频率分量的FB在扫描顺序上优先于对应于较高频率分量的FB，因此，按上述扫描顺序扫描后得到的数据码流中的尾部会存在较多的连续零值元素，为了降低码率，可以从数据码流中移除尾部的连续零值元素。
优选地，在第一编码块中的每个变换块中的多个元素的扫描具有特定顺序的情况下，按照特定顺序在第二编码块中扫描多个频域块。作为一个具体示例，在图10中左侧示出的由多个TB构成的CB中，如果每个TB中的元素的扫描具有特定顺序，则按照该特定顺序在图10中右侧示出的由多个FB构成的CB中扫描多个FB。
优选地，特定顺序包括水平扫描顺序、垂直扫描顺序以及右上45度扫描顺序中的至少一个。如上所述，可以使用scanIdx来指定描顺序。例如，scanIdx＝0指定右上45度扫描顺序，scanIdx＝1指定水平扫描顺序，以及scanIdx＝2指定垂直扫描顺序。以scanIdx＝0即扫描顺序为右上45度扫描顺序为例，假设CU具有4列×4行的FB，则FB的扫描顺序是FB[0][0]、FB[0][1]、FB[1][0]、FB[0][2]、FB[1][1]、FB[2][0]…、FB[3][3]。一个FB内的残差系数的扫描顺序可以是任意顺序。通过扫描，可以将如图10中右侧示出的由多个FB构成的CB的二维阵列转换成一维阵列。
最后，可以采用HEVC中现有的编码方法或其他编码方法将预测模式intra_mode、utu_mode、scanIdx(如果存在的话)以及一维系数阵列编码成编码比特流。
综上所述，根据本公开的实施例的图像编码方法400与HEVC中的变换单元划分方法相比，需要较少的划分标记比特成本。与QTBT中的没有变换单元划分相比，可以实现更准确的图像预测。通过使用从变换块到频域块的映射，对于整个CU而言，能量更加集中，从而能够获得更高的编码效率。
与上述图像编码方法实施例相对应地，本公开还提供了以下图像编码装置的实施例。
图11是示出根据本公开的实施例的图像编码装置1100的功能配置示例的框图。
如图11所示，根据本公开的实施例的图像编码装置1100对于图像的每个帧内编码单元进行处理，图像编码装置1100可以包括确定单元1102、划分单元1104以及编码单元1106。接下来将描述各个单元的功能配置示例。
在确定单元1102中，可以确定用于标识模式的标识信息，其中，该模式定义至少一个划分方案，在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。
如在以上相应方法实施例中描述的，在UTU结构中，可以预先定义帧内编码单元的对应于不同模式的至少一个划分方案。在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。
在CU级协议数据中，可以使用作为语法元素的标识信息utu_mode来标识模式。关于标识信息utu_mode的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
优选地，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于尺寸为2N×2N的帧内编码单元的划分方案的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
优选地，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元的尺寸等于4×4。关于尺寸为8×8并且不再被分割为预测单元的帧内编码单元的划分方案的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
优选地，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：方案1为每个变换单元的尺寸等于4×4。关于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元的划分方案的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
优选地，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于宽度为2m且长度为2n的长方形的帧内编码单元的划分方案的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
优选地，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于宽度为2n且长度为2m的长方形的帧内编码单元的划分方案的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
优选地，图像的亮度分量和色度分量共享所述至少一个划分方案，或者图像的亮度分量和色度分量分别使用不同的所述至少一个划分方案。作为一个具体示例，假设对于CU的亮度分量已经确定了用于标识与划分方案对应的模式的标识信息utu_mode(即，确定了UTU结构)，则该CU的色度分量可以与亮度分量共享该UTU结构或使用独立的UTU结构。
在划分单元1104中，可以根据标识信息所标识的模式，将帧内编码单元划分成变换单元。
作为一个具体示例，在确定了用于标识模式的标识信息utu_mode之后，可以根据与标识信息utu_mode所标识的模式对应的划分方案，将帧内编码单元划分成均匀的变换单元。
在编码单元1106中，可以基于变换单元进行图像编码。
对具有UTU结构的帧内编码单元进行编码处理的具体流程示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
在对图像进行编码时，在CB中是逐TB来对残差系数进行编码。因此对CB而言，能量分散在每个TB中。为了集中信号的能量，本申请提出了一种将UTU结构中的TB映射为频域块从而改变TB的扫描顺序的装置。
具体地，提出了一种用于对第一编码块进行编码的装置，第一编码块包括多个大小相同的变换块，每个变换块包括分别对应于多个频率分量的多个元素，所述装置包括：频域块生成单元，其被配置成利用各个变换块中对应于特定频率分量的元素来生成对应于特定频率分量的频域块，以及针对多个频率分量，生成分别对应于多个频率分量的多个频域块；以及第二编码块生成单元，其被配置成利用多个频域块生成第二编码块，其中，第二编码块生成单元在第二编码块中将多个频域块布置成使得对应于较低频率分量的频域块在扫描顺序上优先于对应于较高频率分量的频域块。
优选地，每个元素在频域块中的位置对应于包含该元素的变换块在第一编码块中的位置。
优选地，对应于特定频率分量的频域块在第二编码块中的位置与对应于特定频率分量的元素在相应变换块中的位置相对应。
优选地，按照预定扫描顺序提取第二编码块中的多个频域块中的元素以构成数据流，以及从数据流中移除尾部的连续零值元素。
优选地，在第一编码块中的每个变换块中的多个元素的扫描具有特定顺序的情况下，按照特定顺序在第二编码块中扫描多个频域块。
优选地，特定顺序包括水平扫描顺序、垂直扫描顺序以及右上45度扫描顺序中的至少一个。
对编码块中从变换块到频域块的映射的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
综上所述，根据本公开的实施例的图像编码装置1100与HEVC中的变换单元划分相比，需要较少的划分标记比特成本。与QTBT中的没有变换单元划分相比，可以实现更准确的图像预测。通过使用从变换块到频域块的映射，对于整个CU而言，能量更加集中，从而能够获得更高的编码效率。
另外，本公开还提供了一种图像解码方法。将参照图12描述根据本公开的实施例的图像解码方法1200的流程示例。图12是示出根据本公开的实施例的图像解码方法的流程示例的流程图。如图12所示，根据本公开的实施例的图像解码方法1200包括要对于图像的每个帧内编码单元执行的提取步骤S1202、恢复步骤S1204以及解码步骤S1206。
在提取步骤S1202中，可以从图像的编码比特数据流中提取用于标识模式的标识信息，其中，该模式定义至少一个划分方案，在每个划分方案中，帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。
如在根据本公开实施例的图像编码方法中所描述的，在UTU结构中，定义了帧内编码单元的对应于不同模式的至少一个划分方案。在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。在CU级协议数据中，使用作为语法元素的标识信息utu_mode来标识模式。关于标识信息utu_mode的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
在提取步骤S1202中，可以根据预定的CU级协议数据，从图像的编码比特数据流中提取标识信息utu_mode。例如，在CU级协议数据中标识信息utu_mode位于intra_mode之后的情况下，可以在intra_mode之后提取出utu_mode。
优选地，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于尺寸为2N×2N的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元的尺寸等于4×4。关于尺寸为8×8并且不再被分割为预测单元的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：方案1为每个变换单元的尺寸等于4×4。关于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元的划分方案的具体示例可以参见以上相图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于宽度为2m且长度为2n的长方形的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于宽度为2n且长度为2m的长方形的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，图像的亮度分量和色度分量共享所述至少一个划分方案，或者图像的亮度分量和色度分量分别使用不同的所述至少一个划分方案。作为一个具体示例，假设对于CU的亮度分量已经确定了用于标识与划分方案对应的模式的标识信息utu_mode(即，确定了UTU结构)，则该CU的色度分量可以与亮度分量共享该UTU结构或使用独立的UTU结构。
在恢复步骤S1204中，可以根据标识信息所标识的模式从编码比特数据流中恢复出变换单元。
作为一个具体示例，在提取了用于标识模式的标识信息utu_mode之后，可以根据标识信息utu_mode所标识的模式，从编码比特数据流中恢复出变换单元。以尺寸为2N×2N的帧内CU为例，假设定义了如下4种划分方案：模式0表示未对CU进行分割、模式1表示将CU分割成4个N×N尺寸的TU、模式2表示将CU分割成16个1/2N×1/2N尺寸的TU、以及模式3表示将CU分割成64个1/4N×1/4N尺寸的TU。在该图像解码方法中，对于该尺寸为2N×2N的帧内CU，如果所提取的utu_mode＝“00”，则可以恢复出1个2N×2N尺寸的CU；如果所提取的utu_mode＝“01”，则可以恢复出4个N×N尺寸的TU；如果所提取的utu_mode＝“10”，则可以恢复出16个1/2N×1/2N尺寸的TU；如果所提取的utu_mode＝“11”，则可以恢复出64个1/4N×1/4N尺寸的TU。
在解码步骤S1206中，可以基于变换单元进行图像解码。
图13是示出根据本公开实施例的对具有UTU结构的帧内编码单元进行解码处理的流程图。
在步骤S1301中，从图像的编码比特数据流中提取出编码CU的intra_mode、utu_mode以及残差信息。
在步骤S1302中，判断utu_mode是否等于0？如果utu_mode等于0，即确定未对CU进行分割，则流程进行到步骤S1303。
在步骤S1303中，计算预测图像。即，利用在步骤S1301中提取的intra_mode计算CU的预测图像。
在步骤S1304中，对编码残差系数块进行解码。即，通过对在步骤S1301中提取的编码残差信息进行逆量化、逆变换等，对编码残差系数块进行解码，从而得到所解码的残差图像。
在步骤S1305中，计算重构图像。即，基于在步骤S1303中所计算的预测图像和在步骤S1304中所解码的残差图像来计算编码CU的重构图像。
在步骤S1306中，存储重构图像。即，存储在步骤S1305中所计算的CU的重构图像以用于下一CU的解码。
如果在步骤S1302中确定utu_mode不等于0，即确定CU被分割成了TU，则流程进行到步骤S1307。
在步骤S1307中，将残差块从FB映射为TB，将在以下内容中介绍将FB映射为TB。步骤S1307不是必需步骤，是否需要步骤S1307，由CU级或更高级语法元素中的开关标志进行控制。
在步骤S1308中，对于编码CU中的每个编码TU进行步骤S1309至S1312中的处理。
在步骤S1309中，计算预测图像。即，计算TU的预测图像。
在步骤S1310中，对编码残差系数块进行解码。即，通过对在步骤S1301中提取的编码残差信息进行逆量化、逆变换等，对编码残差系数块进行解码，从而得到TU的所解码的残差图像。
在步骤S1311中，计算重构图像。即，基于在步骤S1309中所计算的预测图像和在步骤S1310中所解码的残差图像来计算TU的重构图像。
在步骤S1312中，存储重构图像。即，存储在步骤S1311中所计算的TU的重构图像以用于后续解码。
在对所有TU解码完成之后，流程结束。
与根据本公开实施例的图像编码方法相对应，在步骤S1307中，利用了将CU中的FB映射为TB的方法。
一种用于解码的方法，该方法包括：根据所接收的数据流来恢复第二编码块，其中，第二编码块包括分别对应于多个频率分量的多个频域块，并且多个频域块被布置成使得对应于较低频率分量的频域块在扫描顺序上优先于对应于较高频率分量的频域块；根据第二编码块来恢复第一编码块，其中第一编码块包括多个变换块，每个变换块包括分别对应于多个频率分量的多个元素，其中，基于第二编码块中对应于特定频率分量的频域块，分别恢复第一编码块的各个变换块中对应于特定频率分量的元素。
作为一个具体示例，第二编码块可以是图10中右侧示出的由多个FB构成的CB，第一编码块可以是图10中左侧示出的由多个TB构成的CB。关于第一编码块和第二编码块的具体描述可以参考根据本公开实施例的图像编码方法中的描述，这里不再重复。在该解码方法中，首先从接收的数据流中恢复第二编码块。然后，基于第二编码块中对应于特定频率分量的频域块，分别恢复第一编码块的各个变换块中对应于特定频率分量的元素。例如，参照图10，基于对应于最低频率分量的频域块FB[0][0]，分别恢复TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中对应于最低频率分量的x＝0以及y＝0位置处的元素；基于对应于最高频率分量的频域块FB[S-1][S-1]，分别恢复TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中对应于最高频率分量的x＝S-1以及y＝S-1位置处的元素。
优选地，恢复第二编码块的步骤包括：在数据流的末尾填充连续零值元素，根据填充后所得到的数据流恢复第二编码块。
如在根据本公开实施例的图像编码方法中所述，在对CB进行编码时，按一定的扫描顺序扫描FB后得到的数据码流中的尾部会存在较多的连续零值元素，为了降低码率，可以从数据码流中移除尾部的连续零值元素。而在图像解码方法中，为了恢复第二编码块，可以在所接收的数据流的末尾填充连续零值元素，从而根据填充后所得到的数据流恢复第二编码块。
与上述图像解码方法实施例相对应地，本公开还提供了以下图像解码装置的实施例。
图14是示出根据本公开的实施例的图像解码装置1400的功能配置示例的框图。
如图14所示，根据本公开的实施例的图像解码装置1400对于图像的每个帧内编码单元进行处理，图像解码装置1400可以包括提取单元1402、恢复单元1404以及解码单元1406。接下来将描述各个单元的功能配置示例。
在提取单元1402中，可以从图像的编码比特数据流中提取用于标识模式的标识信息，其中，该模式定义至少一个划分方案，在每个划分方案中，帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。
如在根据本公开实施例的图像解码方法中所描述的，在UTU结构中，预先定义了帧内编码单元的对应于不同模式的至少一个划分方案。在每个划分方案中，帧内编码单元可以被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同。在CU级协议数据中，使用作为语法元素的标识信息utu_mode来标识模式。
在提取单元1402中，可以根据预定的CU级协议数据，从图像的编码比特数据流中提取标识信息utu_mode。
优选地，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于尺寸为2N×2N的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案可以包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元的尺寸等于4×4。关于尺寸为8×8并且不再被分割为预测单元的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：方案1为每个变换单元的尺寸等于4×4。关于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元的划分方案的具体示例可以参见以上相图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于宽度为2m且长度为2n的长方形的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：方案1为将帧内编码单元直接作为变换单元；以及方案2为每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。关于宽度为2n且长度为2m的长方形的帧内编码单元的划分方案的具体示例可以参见以上图像编码方法实施例中相应位置的描述，在此不再重复。
优选地，图像的亮度分量和色度分量共享所述至少一个划分方案，或者图像的亮度分量和色度分量分别使用不同的所述至少一个划分方案。作为一个具体示例，假设对于CU的亮度分量已经确定了用于标识与划分方案对应的模式的标识信息utu_mode(即，确定了UTU结构)，则该CU的色度分量可以与亮度分量共享该UTU结构或使用独立的UTU结构。
在恢复单元1404中，可以根据标识信息所标识的模式从编码比特数据流中恢复出变换单元。
作为一个具体示例，在提取了用于标识模式的标识信息utu_mode之后，可以根据标识信息utu_mode所标识的模式，从编码比特数据流中恢复出变换单元。从编码比特数据流中恢复出变换单元的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
在解码单元1406中，可以基于变换单元进行图像解码。
此外，还提出了一种用于解码的装置，该装置包括：第二编码块恢复单元，其被配置成根据所接收的数据流来恢复第二编码块，其中，第二编码块包括分别对应于多个频率分量的多个频域块，并且多个频域块被布置成使得对应于较低频率分量的频域块在扫描顺序上优先于对应于较高频率分量的频域块；第一编码块恢复单元，其被配置成根据第二编码块来恢复第一编码块，其中第一编码块包括多个变换块，每个变换块包括分别对应于多个频率分量的多个元素，其中，基于第二编码块中对应于特定频率分量的频域块，分别恢复第一编码块的各个变换块中对应于特定频率分量的元素。
优选地，在第二编码块恢复单元中，在数据流的末尾填充连续零值元素，根据填充后所得到的数据流恢复第二编码块。
恢复第二编码块和第一编码块的具体示例可以参见以上相应方法实施例中相应位置的描述，在此不再重复。
应指出，尽管以上描述了根据本公开的实施例的图像编码装置1100和图像解码装置1400的功能配置，但是这仅是示例而非限制，并且本领域技术人员可根据本公开的原理对以上实施例进行修改，例如可对各个实施例中的功能模块进行添加、删除或者组合等，并且这样的修改均落入本公开的范围内。
此外，还应指出，这里的装置实施例是与上述方法实施例相对应的，因此在装置实施例中未详细描述的内容可参见方法实施例中相应位置的描述，在此不再重复描述。
应理解，根据本公开的实施例的存储介质和程序产品中的机器可执行的指令还可以被配置成执行上述图像编码方法和图像解码方法，因此在此未详细描述的内容可参考先前相应位置的描述，在此不再重复进行描述。
相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图15所示的通用个人计算机1500安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图15中，中央处理单元(CPU)1501根据只读存储器(ROM)1502中存储的程序或从存储部分1508加载到随机存取存储器(RAM)1503的程序执行各种处理。在RAM 1503中，也根据需要存储当CPU 1501执行各种处理等时所需的数据。
CPU 1501、ROM 1502和RAM 1503经由总线1504彼此连接。输入/输出接口1505也连接到总线1504。
下述部件连接到输入/输出接口1505：输入部分1506，包括键盘、鼠标等；输出部分1507，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分1508，包括硬盘等；和通信部分1509，包括网络接口卡比如LAN卡、调制解调器等。通信部分1509经由网络比如因特网执行通信处理。
根据需要，驱动器1510也连接到输入/输出接口1505。可拆卸介质1511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1510上，使得从中读出的计算机程序根据需要被安装到存储部分1508中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1511安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图15所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1511。可拆卸介质1511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1502、存储部分1508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。
例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。
在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。
另外，根据本公开的技术还可以如下进行配置。
附记1.一种图像编码方法，包括：
对于图像的每个帧内编码单元进行以下处理：
确定用于标识模式的标识信息，其中，所述模式定义至少一个划分方案，在每个所述划分方案中，所述帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；
根据所述标识信息所标识的模式，将该帧内编码单元划分成所述变换单元；以及
基于所述变换单元进行图像编码。
附记2.根据附记1所述的图像编码方法，其中，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记3.根据附记1所述的图像编码方法，其中，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元的尺寸等于4×4。
附记4.根据附记1所述的图像编码方法，其中，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：
所述方案1：每个变换单元的尺寸等于4×4。
附记5.根据附记1所述的图像编码方法，其中，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记6.根据附记1所述的图像编码方法，其中，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记7.根据附记1所述的图像编码方法，其中，所述图像的亮度分量和色度分量共享所述至少一个划分方案，或者所述图像的亮度分量和色度分量分别使用不同的所述至少一个划分方案。
附记8.一种图像编码装置，其对于图像的每个帧内编码单元进行处理，所述图像编码装置包括：
确定单元，被配置成确定用于标识模式的标识信息，其中，所述模式定义至少一个划分方案，在每个所述划分方案中，所述帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；
划分单元，被配置成根据所述标识信息所标识的模式，将该帧内编码单元划分成所述变换单元；以及
编码单元，被配置成基于所述变换单元进行图像编码。
附记9.根据附记8所述的图像编码装置，其中，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记10.根据附记8所述的图像编码装置，其中，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元的尺寸等于4×4。
附记11.根据附记8所述的图像编码装置，其中，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：
所述方案1：每个变换单元的尺寸等于4×4。
附记12.根据附记8所述的图像编码装置，其中，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记13.根据附记8所述的图像编码装置，其中，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记14.一种图像解码方法，包括：
对于图像的每个帧内编码单元进行以下处理：
从所述图像的编码比特数据流中提取用于标识模式的标识信息，其中，所述模式定义至少一个划分方案，在每个所述划分方案中，所述帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；
根据所述标识信息所标识的模式从所述编码比特数据流中恢复出所述变换单元；以及
基于所述变换单元进行图像解码。
附记15.根据附记14所述的图像解码方法，其中，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记16.根据附记14所述的图像解码方法，其中，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元的尺寸等于4×4。
附记17.根据附记14所述的图像解码方法，其中，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：
所述方案1：每个变换单元的尺寸等于4×4。
附记18.根据附记14所述的图像解码方法，其中，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记19.根据附记14所述的图像解码方法，其中，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
附记20.根据附记14所述的图像解码方法，所述图像的亮度分量和色度分量共享所述至少一个划分方案，或者所述图像的亮度分量和色度分量分别使用不同的所述至少一个划分方案。

Claims (10)

1.一种图像编码方法，包括：
对于图像的每个帧内编码单元进行以下处理：
确定用于标识模式的标识信息，其中，所述模式定义至少一个划分方案，在每个所述划分方案中，所述帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；
根据所述标识信息所标识的模式，将该帧内编码单元划分成所述变换单元；以及
基于所述变换单元进行图像编码。
2.根据权利要求1所述的图像编码方法，其中，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
3.根据权利要求1所述的图像编码方法，其中，对于尺寸为8×8并且不再被分割为预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元的尺寸等于4×4。
4.根据权利要求1所述的图像编码方法，其中，对于尺寸为8×8并且被分割为4个尺寸为4×4的预测单元的帧内编码单元，所述至少一个划分方案包括以下方案1：
所述方案1：每个变换单元的尺寸等于4×4。
5.根据权利要求1所述的图像编码方法，其中，对于宽度为2m且长度为2n的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
6.根据权利要求1所述的图像编码方法，其中，对于宽度为2n且长度为2m的长方形的帧内编码单元，m>n，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
7.根据权利要求1所述的图像编码方法，其中，所述图像的亮度分量和色度分量共享所述至少一个划分方案，或者所述图像的亮度分量和色度分量分别使用不同的所述至少一个划分方案。
8.一种图像编码装置，其对于图像的每个帧内编码单元进行处理，所述图像编码装置包括：
确定单元，被配置成确定用于标识模式的标识信息，其中，所述模式定义至少一个划分方案，在每个所述划分方案中，所述帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；
划分单元，被配置成根据所述标识信息所标识的模式，将该帧内编码单元划分成所述变换单元；以及
编码单元，被配置成基于所述变换单元进行图像编码。
9.一种图像解码方法，包括：
对于图像的每个帧内编码单元进行以下处理：
从所述图像的编码比特数据流中提取用于标识模式的标识信息，其中，所述模式定义至少一个划分方案，在每个所述划分方案中，所述帧内编码单元被均匀分割成相同尺寸的变换单元，不同划分方案下分割的变换单元的尺寸相互不同；
根据所述标识信息所标识的模式从所述编码比特数据流中恢复出所述变换单元；以及
基于所述变换单元进行图像解码。
10.根据权利要求9所述的图像解码方法，其中，对于尺寸为2N×2N的帧内编码单元，N为8的整数倍，所述至少一个划分方案包括以下方案1和/或方案2：
所述方案1：将所述帧内编码单元直接作为变换单元；以及
所述方案2：每个变换单元为正方形并且每个变换单元的尺寸大于或等于4×4。
CN201710384536.1A 2017-05-26 2017-05-26 图像编码方法和装置以及图像解码方法和装置 Pending CN108933941A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710384536.1A CN108933941A (zh) 2017-05-26 2017-05-26 图像编码方法和装置以及图像解码方法和装置
JP2018042673A JP2018201188A (ja) 2017-05-26 2018-03-09 画像符号化方法と装置及び画像復号化方法と装置
EP18162008.9A EP3407603A1 (en) 2017-05-26 2018-03-15 Imaging coding method and apparatus, and imaging decoding method for partitioning an intra-coding unit
US15/933,822 US20180343450A1 (en) 2017-05-26 2018-03-23 Image coding method and apparatus, and image decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710384536.1A CN108933941A (zh) 2017-05-26 2017-05-26 图像编码方法和装置以及图像解码方法和装置

Publications (1)

Publication Number Publication Date
CN108933941A true CN108933941A (zh) 2018-12-04

Family

ID=61683664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710384536.1A Pending CN108933941A (zh) 2017-05-26 2017-05-26 图像编码方法和装置以及图像解码方法和装置

Country Status (4)

Country Link
US (1) US20180343450A1 (zh)
EP (1) EP3407603A1 (zh)
JP (1) JP2018201188A (zh)
CN (1) CN108933941A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182298A (zh) * 2020-03-18 2020-05-19 广州市百果园信息技术有限公司 一种编码模式的确定方法、装置、设备和存储介质
CN111327904A (zh) * 2018-12-15 2020-06-23 华为技术有限公司 图像重建方法和装置
CN112019841A (zh) * 2019-05-31 2020-12-01 富士通株式会社 视频编码方法及装置、电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3694210A4 (en) * 2018-05-03 2020-12-16 LG Electronics Inc. -1- METHOD AND DEVICE FOR DECODING AN IMAGE BY TRANSFORMATION ACCORDING TO THE BLOCK SIZE IN AN IMAGE ENCODING SYSTEM
WO2020261313A1 (ja) * 2019-06-24 2020-12-30 日本電信電話株式会社 画像符号化方法、及び画像復号方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243609A1 (en) * 2011-03-21 2012-09-27 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US20130003828A1 (en) * 2011-07-01 2013-01-03 Cohen Robert A Method for Selecting Transform Types From Mapping Table for Prediction Modes
US20130044812A1 (en) * 2007-06-15 2013-02-21 Qualcomm Incorporated Adaptive coding of video block prediction mode
CN103004197A (zh) * 2010-04-23 2013-03-27 吴秀美 用于对图像编码的设备和方法
US20140114712A1 (en) * 2010-04-14 2014-04-24 Restaurant Technology, Inc. Restaurant Management System for Performance Reporting
US20170150186A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Flexible transform tree structure in video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681811B (zh) * 2010-07-15 2018-11-30 夏普株式会社 解码装置、编码装置和解码方法
WO2017192011A2 (ko) * 2016-05-02 2017-11-09 한양대학교 산학협력단 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치
CN116634143A (zh) * 2016-11-25 2023-08-22 株式会社Kt 用于对视频进行编码和解码的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130044812A1 (en) * 2007-06-15 2013-02-21 Qualcomm Incorporated Adaptive coding of video block prediction mode
US20140114712A1 (en) * 2010-04-14 2014-04-24 Restaurant Technology, Inc. Restaurant Management System for Performance Reporting
CN103004197A (zh) * 2010-04-23 2013-03-27 吴秀美 用于对图像编码的设备和方法
US20120243609A1 (en) * 2011-03-21 2012-09-27 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US20130003828A1 (en) * 2011-07-01 2013-01-03 Cohen Robert A Method for Selecting Transform Types From Mapping Table for Prediction Modes
US20170150186A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Flexible transform tree structure in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN XU 等: "Improvements for SDIP", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH MEETING》 *
THOMAS DAVIES: "BBC’s Response to the Call for Proposals on Video Compression Technology", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327904A (zh) * 2018-12-15 2020-06-23 华为技术有限公司 图像重建方法和装置
US11924438B2 (en) 2018-12-15 2024-03-05 Huawei Technologies Co., Ltd. Picture reconstruction method and apparatus
CN112019841A (zh) * 2019-05-31 2020-12-01 富士通株式会社 视频编码方法及装置、电子设备
CN111182298A (zh) * 2020-03-18 2020-05-19 广州市百果园信息技术有限公司 一种编码模式的确定方法、装置、设备和存储介质
CN111182298B (zh) * 2020-03-18 2022-04-12 广州市百果园信息技术有限公司 一种编码模式的确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP3407603A1 (en) 2018-11-28
JP2018201188A (ja) 2018-12-20
US20180343450A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
CN108933941A (zh) 图像编码方法和装置以及图像解码方法和装置
JP4612782B2 (ja) 画像処理装置、及びその方法、並びにプログラム、記憶媒体
JP5642859B2 (ja) モーション情報を符号化するための方法及び装置
EP3354030B1 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
CN104620580A (zh) 通过运动区对多维信号中的运动信息以及通过辅助区对辅助信息的估计、编码和解码
CN101282410B (zh) 多维数据编码装置和解码装置及其控制方法
WO1993017519A1 (en) Fractal coding of data
CN103858427A (zh) 用于空间可伸缩视频编码的自适应插值
CN108810536A (zh) 图像编码设备
WO1998005159A1 (en) Picture encoder, picture decoder, picture encoding method, picture decoding method, and medium
CN104412596B (zh) 用于产生二进制序列的方法、装置及相应的记录介质
CN101689297A (zh) 采用边缘和低分辨率信号的高效图像表示
CN115428459A (zh) 基于视频的网格压缩
WO2017046750A1 (en) Methods and apparatuses for encoding and decoding digital images or video streams
CN103931181A (zh) 用于空间可扩展视频编码的自适应上采样
CN103413287B (zh) 一种jpeg图片合成方法及装置
MX2014000706A (es) Herencia en una jerarquia de calidad de señal graduada.
CN102497545B (zh) 内容自适应和艺术可引导可缩放视频编码
CN109936742A (zh) 对视频序列进行编码的方法、编码装置和存储介质
CN110024397A (zh) 用于编码视频的方法和装置
WO2013029232A1 (en) Multi-resolution 3d textured mesh coding
JP2004362541A (ja) 画像処理装置、プログラム及び記憶媒体
JP3872217B2 (ja) ディザ画像の２値表現処理方法、ディザ画像の圧縮２値表現圧縮解除方法、及びディザ画像の圧縮及び圧縮解除システム
CN102036068B (zh) 图像编码方法及装置、图像解码方法及装置、程序
CN107770553A (zh) 采用多类匹配参数及参数存储地址的数据压缩方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181204