CN103782600A

CN103782600A - 速率失真优化的图像编码/解码方法和执行该方法的设备

Info

Publication number: CN103782600A
Application number: CN201280042773.5A
Authority: CN
Inventors: 李忠九; 金珉成; 朴浚盛
Original assignee: Humax Co Ltd
Current assignee: Humax Co Ltd
Priority date: 2011-09-02
Filing date: 2012-09-03
Publication date: 2014-05-07
Also published as: US20140198848A1; US20150043632A1; KR20120086232A; KR101298598B1; US20150043643A1; US20150043640A1; US20150043631A1; EP2753081A4; EP2753081A2; WO2013032312A2; KR20130025853A; WO2013032312A3

Abstract

公开了一种用于速率失真优化的图像编码/解码方法和用于执行该方法的设备。提供要编码的宏块，通过执行帧间预测或帧内预测来生成预测宏块，基于生成的预测宏块和提供的宏块来生成残余预测块，并通过对生成的残余预测块应用多个预定变换矩阵中的一个来对残余预测块进行变换。相应地，能够将速率失真优化，并且能够增强图像质量。

Description

速率失真优化的图像编码/解码方法和执行该方法的设备

技术领域

本发明涉及一种编码和解码图像，并且更具体地涉及一种用于速率失真优化的图像编码/解码方法和执行该方法的设备。

背景技术

一般地，图像压缩方法通过将一个图片分成每个具有预定大小的多个块来执行编码。此外，使用帧间预测和帧内预测技术来去除多个图片的冗余，从而提升压缩效率。

使用帧间预测的编码图像的方法通过消除图片之间的时间冗余来压缩图像，并且其典型示例是运动补偿预测编码方法。

该运动补偿预测编码通过搜索类似于在当前被编码的图片前面和/或后面的至少一个参考图片中当前编码的块的区域来生成运动矢量（MV），对当前块与通过使用生成的运动矢量来执行运动补偿而获得的预测块之间的残余值执行DCT，以及对已DCT值进行量化和熵编码并发送结果值。

一般地，具有诸如16×16、8×16以及8×8像素的各种大小的块被用于运动补偿预测，并且具有8×8或4×4像素的大小的块被用于变换和量化。

帧内预测是通过使用图片中的块之间的像素相关来消除空间冗余而压缩图像的方法。在帧内预测方法中，从邻近于当前块的已编码像素生成要编码的当前块的预测值，并使生成的预测值和当前块中的像素的残余值经受压缩。在H.264/AVC标准中，被用于帧内预测的块的大小是4×4、8×8或16×16像素。具有4×4或8×8像素大小的块经受使用九个帧内预测模式的帧内预测，并且具有16×16像素大小的块经受使用四个帧内预测模式的帧内预测。

如上所述，通过帧内预测生成的残余值经历变换和量化。

然而，常规变换方法并未将每个块的特性考虑在内，因此未能使速率失真方面的变换性能最大化。

发明内容

技术问题

本发明的目的是提供一种可使变换性能最大化的用于速率失真优化的图像编码和解码方法。

此外，本发明的另一目的是提供一种执行上述变换方法的图像编码设备和解码设备。

技术解决方案

为了实现本发明的上述目的，根据本发明的方面，图像编码方法包括接收要编码的编译单元，通过对编译单元执行帧间预测和帧内预测中的一个来生成预测块，基于生成的预测块和编译单元来生成残余预测块，并通过对残余预测块应用多个预定变换矩阵来变换生成的残余预测块。

为了实现本发明的上述目的，根据本发明的方面，通过对残余预测块应用具有多个预定变换矩阵的最佳编码效率的变换矩阵来对已编码比特流进行解码的图像解码方法包括，通过对比特流进行熵解码来提取运动矢量、量化残余预测块、运动矢量、帧内预测模式以及变换矩阵中的至少一个信息，对已量化残余预测块进行逆量化，通过经由对逆量化残余预测块应用变换矩阵来对逆量化残余预测块进行逆变换而恢复残余预测块，通过执行运动补偿和帧内预测中的一个来生成预测块，并通过将恢复的残余预测块与生成的预测块相加来恢复原始编译单元。该变换矩阵可对关于亮度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）和DCT（离散余弦变换）中的至少一个变换矩阵。变换矩阵可对关于亮度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）变换。变换矩阵可对关于色度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）和DCT（离散余弦变换）的至少变换矩阵。变化矩阵可对关于色度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）变换。

有益效果

根据该图像编码/解码方法和执行该方法的设备，根据在变换时要变换的块大小而确定的全部多个预定变换矩阵被应用于通过帧间预测或帧内预测而生成的残余预测块，并且采用具有最佳编码效率的变换矩阵来对残余预测块进行变换，因此导致速率失真被优化，并且增强了图像质量。

此外，仅对关于亮度信号的、其预测模式是帧内预测模式的4×4块执行DST（离散正弦变换）和DCT（离散余弦变换）中的一个，并且因此与当对4×4块和8×8块执行变换时相比可降低复杂性，因为对于4×4块大小而言需要用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器。

此外，仅对关于色度信号的、其预测模式是帧内预测模式的4×4块执行DST（离散正弦变换）和DCT（离散余弦变换）中的一个，并且因此与当对4×4块和8×8块执行变换时相比可降低复杂性，因为对于4×4块大小而言需要用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器。

附图说明

图1是示出根据本发明的示例性实施例的使用加权预测的图像编码设备的配置的框图。

图2是示出根据本发明的示例性实施例的使用加权预测的图像编码方法的流程图。

图3是示出根据本发明的示例性实施例的使用加权预测的图像解码设备的配置的框图。

图4是示出根据本发明的示例性实施例的使用加权预测的图像解码方法的流程图。

具体实施方式

可对本发明进行各种修改，并且本发明可具有许多实施例。参考附图来详细地描述特定实施例。

然而，本发明不限于特定实施例，并且应理解的是本发明包括被包括在本发明的精神和技术范围内的所有修改、等同物或替换。

可使用术语“第一”和“第二”来描述各种部件，但部件不限于此。这些术语仅用来将一个部件与另一个区别开。例如，第一部件也可称为第二部件，并且类似地第二部件也可称为第一部件。术语“和/或”包括如本文所述的多个相关项目的组合或所述多个相关项目中的任何一个。

当部件被“连接”或“耦合”到另一部件时，可将该部件直接连接或耦合到该另一部件。相反，当部件被直接连接或耦合到另一部件时，没有部件插入。

本文所使用的术语是为了描述实施例而给出的，而并不意图限制本发明。单数术语包括复数术语，除非另有说明。本文所使用的术语“包括”或“具有”用来指示存在如本文所述的特征、数值、步骤、操作、部件、零件或其组合，但是不排除添加一个或多个特征、数值、步骤、操作、部件、零件或其组合的存在或可能性。

除非另外定义，本文所使用的包括技术或科学术语的所有术语具有与本领域的技术人员一般理解的相同的意义。应将如在词典中一般地定义的此类术语解释为具有与在相关技术的背景下理解的那些一致的的意义，并且不应将其理解为具有过度形式化或理想的意义，除非在本申请中清楚地定义。

在下文中，将参考附图来详细地描述本发明的优选实施例。为了更好地理解整个发明，遍及各图使用相同的附图标记来表示相同的要素，并且不重复其描述。

通过帧内预测生成的残余值经历变换和量化处理。在变换处理中，可对所有块相同地应用一个变换矩阵，或者可将根据所选帧内预测模式预定的变换矩阵应用于块。

例如，MDDT（模式相关定向变换）使用根据关于在执行帧内预测之后生成的残余值（即，预测误差块）的帧内预测方法的方向性而基于KLT（卡南-洛维变换）设计的基础向量来在频域中压缩预测误差块的能量以便减少通过帧内预测生成的残余值。MDDT技术根据帧内检测模式而应用变换，并且因此在量化之后生成的已量化变换系数的特性也根据方向性而具有不同形式，并且采用自适应扫描，从而更高效地将此类系数编码。

在根据本发明的示例性实施例的模式相关变换方法中，沿着取决于帧内预测模式的水平方向或垂直方向，能够通过对关于亮度信号的、具有预定大小的块（例如4×4块和/或8×8块）执行帧内预测而生成的残余值（即，预测误差块）执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

换言之，根据本发明的示例性实施例的模式相关变换方法可对关于亮度信号的、其预测模式是帧内预测模式、具有预定大小的块（例如4×4块和/或8×8块）执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

在预测单元的大小是4×4像素的情况下，将总共18个方向中的一个确定为预测方向，并且在预测单元的大小是8×8像素的情况下，可使用总共35个方向中的一个作为预测方向。取决于预测单元大小的预测方向的数目不限于此，并且考虑到图像的空间冗余特性，预测方向的数目可改变，使得可增加预测单元的大小。

相应地，根据本发明的实施例的模式相关变换方法可对关于亮度信号的4×4块执行帧内预测之后生成的残余值（即预测误差块）根据18个帧内预测模式沿着水平或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，根据本发明的实施例的模式相关变换方法可沿着垂直方向在关于亮度信号帧内检测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）执行DCT（离散余弦变换）。替换地，根据本发明的另一示例性实施例的模式相关变换方法可沿着水平方向在关于亮度信号帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）执行DCT。

替换地，根据本发明的另一示例性实施例的模式相关变换方法可沿着垂直方向在关于亮度信号帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）执行DCT。或者，根据本发明的另一示例性实施例的模式相关变换方法可沿着水平方向在关于亮度信号帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即预测误差块）执行DST。

替换地，根据本发明的另一实施例的模式相关变换方法可在关于亮度信号对8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，根据本发明的实施例的模式相关变换方法可在关于亮度信号帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于亮度信号帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于亮度信号帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即预测误差块）沿着垂直方向执行DCT。替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于亮度信号帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即预测误差块）沿着水平方向执行DST。

替换地，根据本发明的实施例的模式相关变换方法可对关于亮度信号的、仅其预测模式是帧内预测的4×4块执行DST（离散正弦变换）和/或DCT（离散余弦变换）中的一个。

在根据本发明的示例性实施例的上述模式相关变换方法中，仅关于亮度信号对4×4块执行变换。相应地，与对4×4块和8×8块两者执行帧内预测时相比，可降低复杂性，因为关于4×4块大小而言需要用于仅存储一个附加DST矩阵（或DCT矩阵）的存储器。

已关于亮度信号描述了本发明的示例性实施例的模式相关变换方法。然而，可以相同的方式将模式相关变换方法应用于色度信号。这在下文更详细地描述。

根据本发明的实施例的模式变换方法可对关于色度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，根据本发明的示例性实施例的模式相关变换方法可对关于亮度信号的、其预测模式是帧内预测模式的、具有预定大小的块（例如4×4块和/或8×8块）执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

根据本发明的实施例的模式变换方法可对关于色度信号的、4×4块执行帧内预测之后生成的残余值（即预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，根据本发明的实施例的模式相关变换方法可在关于色度信号帧内预测模式是垂直模式（或0）的情况下对4×4执行帧内预测之后生成的残余值（即预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于色度信号帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即预测误差块）沿着水平方向执行DCT。

替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于色度信号帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即预测误差块）沿着垂直方向执行DCT。或者，根据本发明的另一示例性实施例的模式相关变换方法可在关于色度信号帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即预测误差块）沿着水平方向执行DST。

替换地，根据本发明的另一实施例的模式相关变换方法可对关于色度信号的8×8块执行帧内预测之后生成的残余值（即预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，根据本发明的实施例的模式相关变换方法可在关于色度信号帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于色度信号帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即预测误差块）沿着水平方向执行DCT。

替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于色度信号帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于色度信号帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，根据本发明的实施例的模式相关变换方法可仅对关于色度信号的、预测模式是帧内预测的4×4块执行DST（离散正弦变换）和/或DCT（离散余弦变换）中的一个。

在根据本发明的实施例的模式相关变换方法中，仅对关于色度信号的4×4块执行帧内预测。相应地，与对4×4块和8×8块两者执行帧内预测时相比，可降低复杂性，因为关于4×4块大小而言需要用于仅存储一个附加DST矩阵（或DCT矩阵）的存储器。

在下文中，根据本发明的实施例，扩展宏块意指具有32×32像素或更多的大小或64×64像素或更多的大小的块。

图1是示出根据本发明的实施例的图像编码设备的配置的框图。

参考图1，根据本发明的实施例的编码设备100包括编码控制器101、运动预测单元103、运动补偿单元105、帧内预测单元107、第一加法器109、变换单元111、逆量化单元115、逆变换单元117、第二加法器119、缓冲器121以及熵编码单元125。

编码控制器101将输入的编译单元的编码模式确定为帧间预测模式和帧内预测模式中的一个，并且基于所确定的编码模式，将运动补偿单元105和帧内预测单元107中的一个连接到第一加法器109和第二加法器119。此外，编码控制器101向熵编码单元125提供包括被用于变换的变换矩阵的编码相关开销信息，并控制包括在编码设备中的组成元件的操作。虽然在图1中编码控制器101被包括在编码设备100中，但还可将编码控制器101实现成未被包括在编码设备100中。

在这里，输入的编译单元具有正方形形状，并且每个编译单元（CU）可具有2N×2N（单位：像素）的可变大小。可以每个编译单元（CU）为基础来执行帧间预测（或帧间-预测）、帧内预测（或帧内-预测）、变换、量化以及熵编码。编译单元（CU）可包括最大编译单元（LCU）和最小编译单元（SCU）。可将最大编译单元（LCU）或最小编译单元的大小表示为2的幂，其为8或更多。例如，输入的编译单元可具有16×16像素或更少的大小，或者可以是扩展宏块，其具有32×32或64×64像素或更多的大小。扩展宏块可具有32×32像素或更多，即，64×64像素、128×128像素或更多的大小，以便拟合到诸如HD（超高清晰度）之类的的高分辨率或更高分辨率。考虑到编码器和解码器的复杂性，扩展宏块在其具有诸如超HD（高清晰度）之类的高分辨率或更高分辨率的情况下可在大小方面被限制为至多64×64像素。

编译单元（CU）可具有递归树结构。可通过一系列标志来表示递归树结构。例如，在具有k的水平或深度的编译单元（CUk）具有0的标志值的情况下，关于当前水平或深度来履行对编译单元（CUk）的编码，并且在标志值是1的情况下，将具有k的当前水平或深度的编译单元（CUk）分割成四个独立编译单元（CUk+1），并且被分割的编译单元（CUk+1）具有k+1的水平或深度，以及具有Nk+1×Nk+1的大小。在这种情况下，可将编译单元（CUk+1）表示为编译单元（CUk）的子编译单元。可递归地处理编译单元（CUk+1）直至编译单元（CUk+1）的水平或深度达到最大可容许水平或深度。在编译单元（CUk+1）的水平或深度与最大可容许水平或深度相同的情况下，不允许进一步分割。

可将最大编译单元（LCU）的大小和最小编译单元（SCU）的大小包括在序列参数集（SPS）中。该序列参数集（SPS）可包括最大编译单元（LCU）的最大可容许水平或深度。例如，在最大可容许水平或深度是5且最大编译单元（LCU）的边缘的大小是128（单位：像素）的情况下，五个类型的编译单元大小，诸如128×128（LCU）、64×64、32×32、16×16以及8×8（SCU）可以是可能的。也就是说，如果给定最大编译单元（LCU）的大小和最大可容许水平或深度，则可确定可容许编译单元大小。

考虑到编码器和解码器的复杂性，编译单元的大小在其达到诸如超HD（高清晰度）之类的高分辨率或更高分辨率时可限制于最大64×64像素或更少。

上述递归编译单元结构的使用提供以下优点。

首先，可提供比现有16×16宏块的大小更大的大小。如果感兴趣图像区域是齐次的，则最大编译单元（LCU）与当使用多个小块时相比可显示具有较小数目的符号的感兴趣图像区域。

其次，与当使用固定大小的宏块时相比，可对最大编译单元（LCU）应用各种大小。相应地，可针对各种类型的内容、应用和设备容易地对编解码器进行优化。也就是说，可适当地选择最大编译单元（LCU）大小和最大水平或最大深度，使得可针对目标应用更好地优化分级块结构。

第三，在不分割成宏块、子宏块以及扩展宏块的情况下，使用单个单元，即，编译单元（LCU），使得可使用最大编译单元（LCU）大小、最大水平（或最大深度）和一系列标志以非常简单的方式来表示多层分级结构。当与大小无关语法表示一起使用时，指定具有用于剩余编译工具的归一化大小的语法项可能是足够的，并且此类一致性可简化例如实际解析过程。该水平（或最大深度）可具有任何最大值，并且可具有比在现有H.264/AVC编码方案中允许的值更大的值。可使用大小相关语法表示来独立于编码大小（CU）的大小而以一致的方式指定所有语法元素。可递归地指定用于编译单元（CU）的分割处理，并且可将用于叶编码（该水平的最后编译单元）的其他语法元素定义成具有相同的大小，而与编译单元的大小无关。如上所述地进行表示在降低解析复杂性方面可能是非常高效的，并且在允许大的水平或深度的情况下，可增强表示的清晰性。

如果上述分级分割处理被完成，则可在没有进一步分割且最大的情况下对叶编译单元层树的叶单元执行帧间预测或帧内预测，并且此类叶编译单元用作预测单元（PU），其为帧间预测或帧内预测的基础。

为了执行帧间预测或帧内预测，对叶编译单元执行划分。也就是说，对预测单元（PU）履行划分。在这里，预测单元（PU）意指用于帧间预测或帧内预测的基础，并且可以是现有宏块或子宏块，或者可以是具有32×32像素的大小的编译单元或扩展宏块。

可用非对称划分方案或在提供除正方形形状之外的形状的几何划分方案来执行用于帧间预测或帧内预测的划分，或者可通过沿边缘方向划分方案来完成。

返回参考图1，运动预测单元103基于已被完全恢复并存储在缓冲器121中的多个参考图片和输入的编译单元来执行帧间预测，从而生成运动矢量。在这里，将生成的运动矢量提供给运动补偿单元105和熵编码单元125。

运动补偿单元105将提供给运动预测单元103的运动矢量应用于存储在缓冲器121中的相应参考图片，从而生成已经历运动补偿的预测块。

帧内预测单元107从邻近于输入的编译单元的已编码像素生成当前块的预测值。在这里，帧内预测单元107可将输入的编译单元分成每个具有4×4、8×8或16×16像素的大小的块，并且可从邻近于每个分割块的像素生成预测块。当对每个具有4×4或8×8像素的大小的块执行帧内预测时，帧内预测单元107可使用九个H.264/AVC帧内预测模式中的一个对4×4或8×8像素块执行帧内预测。帧内预测单元107可使用四个帧内预测模式中的一个对每个具有16×16像素的大小的块执行帧内预测。

替换地，帧内预测单元107当使用具有4×4像素大小的预测单元执行帧内预测时可确定18个预测方向中的一个，当使用具有8×8像素大小的预测单元来执行帧内预测时可确定35个预测方向中的一个，当对具有16×16像素大小的预测单元执行帧内预测时可确定35个预测方向中的一个，当对具有32×32像素大小的预测单元（PU）执行帧内预测时可确定35个预测方向中的一个，并且当对具有64×64像素大小的预测单元（PU）执行帧内预测时可确定四个预测方向中的一个。取决于预测单元的大小的预测方向的数目不限于此，并且作为预测单元的大小，考虑到图像的空间冗余性，预测方向的数目可改变。

在根据本发明的实施例的编码设备100中，可在编码控制器101的控制下执行通过运动预测单元103和运动补偿单元105的帧间预测模式和通过帧内预测单元107的帧内预测模式中的仅一个，并且在选择了帧间预测模式和帧内预测模式中的一个的情况下，编码控制器101切换连接路径，使得可将对应于所选预测模式的来自运动补偿单元105的输出和来自帧内预测单元107的输出中的一个提供给第一加法器109和第二加法器119。

第一加法器109在执行帧间预测编码的情况下计算输入的编译单元和从运动补偿单元105提供的预测块以生成残余值（或残余预测块），并且在执行帧内预测编码的情况下，计算输入的编译单元和从帧内预测单元107提供的预测块以生成残余值。

考虑到编码效率和将被变换的从第一加法器109提供的每个残余预测块（即，残余值）的大小，变换单元111使用多个预定变换矩阵中的一个来执行变换。

具体地，当执行帧内预测编码且要变换的块的大小是4×4像素或8×8像素时，变换单元111将预定数目（例如，9个）的变换矩阵全部应用于每个变换块，并且然后可使用具有最佳编码效率的变换矩阵来执行编码。当执行帧间预测编码且要变换的块的大小是16×16像素时，变换单元111将预定数目（例如，4个）的变换矩阵全部应用于每个变换块，并且然后可通过使用具有最佳编码效率的变换据来执行编码。在这里，所述预定数目的编码矩阵可以是在MDDT（模式相关定向变换）中定义的变换矩阵。

MDDT沿着帧内编码特定方向—例如被用于编码的帧内模式（或帧内编码方向）—执行变换。例如，在在九个帧内模式之中使用水平方向模式来对4×4块执行帧内编码的情况下可沿着水平方向执行变换。

要变换的块的大小可以是4×4块、8×8块、16×16块或32×32块。

可将被用于变换的块实现为变换单元（TU），并且变换单元可具有递归树结构（分级结构变换）。例如，该变换单元可具有两级树结构。例如，在具有k的水平或深度的变换单元带有0的标志值的情况下，针对当前水平或深度完成对变换单元的变换，并且在标志值是1的情况下，将具有k的当前水平或深度的编译单元（CUk）被分割成四个独立编译单元（CUk+1），并且被分割的编译单元（CUk）每个可具有k+1的水平或深度且可具有Nk+1×Nk+1的大小。

替换地，即使在执行帧间预测编码且要变换的块的大小是32×32像素或更多的情况下，变换单元111可应用对应于帧间预测编码的全部的预定数目的变换矩阵，并且然后可使用具有最佳编码效率的变换矩阵来执行编码。

依照根据本发明的实施例的模式相关变换方法，变换单元111可对关于亮度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，在根据本发明的实施例的模式相关变换方法中，变换单元111可对关于亮度信号的、其预测模式是帧内预测模式且其具有预定大小的块—4×4块和/或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

在预测单元（PU）的大小是4×4像素的情况下，确定总共18个预测方向中的一个，并且在预测单元（PU）的大小是8×8像素的情况下，可使用总共35个预测方向中的一个。取决于预测单元的大小的预测方向的数目不限于此，并且考虑到图像的空间冗余性，随着预测单元（PU）的大小增加，预测方向的数目可改变。

相应地，变换单元111可对关于亮度信号的4×4块执行帧内预测之后生成的残余值（即，预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，变换单元111可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，变换单元111可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，变换单元111可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，变换单元111可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，变换单元111可对关于亮度信号的8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，变换单元111可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，变换单元111可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，变换单元111可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，变换单元111可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，在根据本发明的实施例的模式相关变换方法中，变换单元111可仅对关于亮度信号的、其预测模式是帧内预测模式的4×4块执行DST（离散正弦变换）和/或DCT（离散余弦变换）中的一个。

在变换单元111仅对关于亮度信号的4×4块执行变换的情况下，由于对于4×4块大小而言需要用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器，所以与在对4×4块和8×8块两者执行变换时相比可降低复杂性。

关于亮度信号已描述了根据本发明的实施例的模式相关变换方法，但可同样地对色度信号执行相同的方法。这在下文更详细地描述。变换单元111可对关于色度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，在根据本发明的实施例的模式相关变换方法中，变换单元111可对关于色度信号的、其预测模式是帧内预测模式且其具有预定大小的块—4×4块和/或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

相应地，变换单元111可对关于色度信号的4×4块执行帧内预测之后生成的残余值（即，，预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，变换单元111可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，变换单元111可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，变换单元111可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，根据本发明的另一示例性实施例的模式相关变换方法可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，变换单元111可对关于色度信号的8×8块执行帧内预测之后生成的残余值（即，，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，变换单元111可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，变换单元111可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，变换单元111可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，变换单元111可对关于色度信号的8×8块行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，根据本发明的实施例的模式相关变换方法可仅对关于色度信号的、其预测模式是帧内预测的4×4块执行DST（离散正弦变换）和/或DCT（离散余弦变换）中的一个。

在根据本发明的实施例的模式相关变换方法中，仅对关于色度信号的4×4块执行变换。相应地，与当对4×4块和8×8块两者执行变换时相比，需要用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器，从而降低复杂性。

如上所述，多个变换矩阵之中的被用于变换的变换矩阵的信息被提供给熵编译单元125，并且然后被熵编码，并且然后被提供给解码设备且被用于解码。

量化单元113将从变换单元111提供的已变换数据量化，并且将其提供给逆量化单元115和熵编码单元125。

逆量化单元115将从量化单元113提供的已量化数据逆量化，并且然后将其提供给逆变换单元117。逆变换单元117使用在变换单元111中被用于变换的变换矩阵信息对逆量化数据进行逆变换，从而恢复残余预测块且然后将其提供给第二加法器119。

第二加法器119通过将从逆变换单元117提供的预测块与从运动补偿单元105或帧内预测单元107提供的预测块相加来恢复编译单元并将其存储在缓冲器121中。

缓冲器121可存储图片、一组已恢复编译单元，并且存储在缓冲器121中的所述多个图片被用作用于运动预测和补偿的参考图片。

熵编码单元125对已量化残余预测块、被用于帧间预测的运动矢量信息、被用于帧内预测的预测模式信息以及被用于变换的变换矩阵信息进行熵编码，从而生成比特流。

图2是示出根据本发明的实施例的图像编码方法的流程图。

参考图2，如果编译单元被输入到编码设备（步骤201），则编码设备选择帧内预测模式或帧间预测模式（步骤203）。输入编译单元可具有16×16像素或更少的大小，或者可以是具有32×32或64×64像素或更多的大小的扩展宏块。输入编译单元可具有上述递归编译单元结构。

在执行帧间预测的情况下，基于输入编译单元和已被完全恢复的多个参考图片来执行运动预测并被存储在缓冲器中，从而生成运动矢量（步骤205）。使用生成的运动矢量来执行运动补偿以生成对应于当前块的预测块（步骤207）。

替换地，在执行帧内预测的情况下，从邻近于输入编译单元的已编码像素生成当前块的预测值（步骤209）。在这里，帧内预测可将输入编译单元分成具有4×4、8×8、16×16、32×32或64×64像素的大小的块，并且可通过对邻近于每个分开块的像素应用帧内预测模式来生成预测块。在对具有4×4或8×8像素大小的块执行帧内预测的情况下，可应用九个H.264/AVC帧内预测模式中的一个来执行帧内预测，并且在对具有16×16像素大小的块执行帧内预测的情况下，可应用四个帧内预测模式中的一个来执行帧内预测。替换地，在使用具有4×4像素大小的预测单元来执行帧内预测的情况下，可确定18个预测方向中的一个，在使用具有8×8像素大小的预测单元来执行帧内预测的情况下，可确定总共35个预测方向中的一个，在使用具有16×16像素大小的预测单元来执行帧内预测的情况下，可确定35个预测方向中的一个，在使用具有32×32像素大小的预测单元来执行帧内预测的情况下，可确定35个预测方向中的一个恶，并且在使用具有64×64像素大小的预测单元来执行帧内预测的情况下，可确定四个预测方向中的一个。取决于预测单元的大小的预测方向的数目不限于此，并且考虑到图像的空间冗余性，随着预测单元的大小增加，预测方向的数目可改变。

然后，编码设备通过计算通过帧内预测或帧间预测和输入编译单元而生成的预测块来生成残余预测块（步骤211），并且然后编码设备在考虑残余预测块的大小和编码效率的情况下使用预定数目的变换矩阵中的一个来对生成的残余预测块执行变换（步骤213）。也就是说，在执行帧内预测且已变换块的大小是4×4像素或8×8像素的情况下，将预定数目（例如9个）的变换矩阵全部应用于每个变换块，并且然后应用具有最佳编码效率的变换矩阵来执行编码。在执行帧内预测编码且已变换矩阵的大小是16×16像素的情况下，将预定数目（例如4个）的变换矩阵全部一个用于每个变换块，并且然后一个用具有最佳编码效率的变换矩阵来执行编码。在这里，所述预定数目的变换矩阵可使用在MDDT中定义的变换矩阵。

替换地，在执行帧间预测编码且要变换的块的大小是32×32像素或更多的情况下，编码设备应用对应于帧间预测编码的全部的预定数目的变换矩阵，并且然后应用具有最佳编码效率的变换矩阵来执行编码。

编码设备可对关于亮度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，编码设备可对关于亮度信号的、预测模式是帧内预测模式、具有预定大小的块—例如4×4块和/或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

在预测单元的大小具有4×4像素大小的情况下，可确定总共18个预测方向中的一个，并且在预测单元具有8×8像素大小的情况下，可使用总共35个预测方向中的一个。取决于预测单元的大小的预测方向的数目不限于此，并且考虑到图像的空间冗余性，随着预测单元的大小增加，预测方向的数目可改变。

相应地，编码设备可对关于亮度信号的4×4块执行帧内预测之后生成的残余值（即，预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，编码设备可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，编码设备可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，编码设备可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，编码设备可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，编码设备可对关于亮度信号的8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，编码设备可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，编码设备可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。替换地，编码设备可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，编码设备可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，编码设备可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，编码设备可仅对关于亮度信号的、其预测模式是帧内预测的4×4块执行DST（离散正弦变换）和/或DCT（离散余弦变换）中的一个。

在仅对关于亮度信号的4×4块执行根据本发明的实施例的模式相关变换方法的情况下，与对4×4块和8×8块两者执行模式相关变换方法时相比，关于4×4块而言需要用于存储一个附加DST矩阵（或DCT矩阵）的存储器，从而降低复杂性。

本描述已集中于例如亮度信号。然而，其也可应用于色度信号。这在下文更详细地描述。编码设备可根据对关于色度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，编码设备可对关于色度信号的、其预测模式是帧内预测模式、具有预定大小的块—例如4×4块和/或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

编码设备可对关于色度信号的4×4块执行帧内预测之后生成的残余值（即，预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，编码设备可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，编码设备可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，编码设备可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，编码设备可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，编码设备可对关于色度信号的8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

举例来说，编码设备可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，编码设备可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，编码设备可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，编码设备可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，编码设备可仅对关于色度信号的、其预测模式是帧内预测的4×4块执行DST（离散正弦变换）和/或DCT（离散余弦变换）中的一个。

根据本发明的实施例的模式相关变换方法仅对关于色度信号的4×4块执行变换。相应地，与对4×4块和8×8块两者执行变换时相比可降低复杂性，因为需要用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器。

然后，编码设备对已变换数据执行量化（步骤215），并且通过对已量化数据进行熵编码来生成比特流（步骤217）。在这里，熵编码信息可包括已量化残余预测块、被用于帧间预测的运动矢量信息、被用于帧内预测的预测模式信息以及被用于变换的变换矩阵信息。

如图1和2中所述，在根据本发明的实施例的编码方法中，根据在变换时要变换的块的大小，将全部的多个预定数目的变换矩阵应用于通过帧间预测或帧内预测生成的残余预测块，并且然后应用具有最佳编码效率的变换矩阵来变换残余预测块，因此增强编码效率。

图3是示出根据本发明的实施例的解码设备的配置的框图。图3示出将由图1中所示的编码设备编码的图像进行解码的解码设备。

参考图3，根据本发明的实施例的解码设备300包括熵解码单元301、逆量化单元303、逆变换单元305、运动补偿单元307、帧内预测单元309、缓冲器311以及第三加法器313。

熵解码单元301对从编码设备提供的比特流进行熵解码并提取已量化残余预测块、被用于帧间预测的运动矢量、被用于帧内预测的预测模式信息以及被用于变换的变换矩阵。

逆量化单元303对从熵解码单元301提供的已量化残余预测块进行逆量化，并且逆变换单元305对从逆量化单元303提供的数据进行逆变换。在这里，逆变换单元305通过基于从熵解码单元301提供的变换矩阵信息来执行逆变换而恢复残余预测块。

在根据本发明的实施例的模式相关变换方法中，逆变换单元305可对关于亮度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，在根据本发明的实施例的模式相关变换方法中，逆变换单元305可对关于亮度信号的、其预测模式是帧内预测模式、具有预定大小的块—例如4×4块或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

相应地，逆变换单元305可对关于亮度信号的4×4块执行帧内预测之后生成的残余值（即，预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元305可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元305可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元305可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，逆变换单元305可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，逆变换单元305可对关于亮度信号的8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元305可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元305可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元305可在关于亮度信号在8×8块上帧内预测模式是水平模式（或1）的情况下对残余值（即，预测误差块）沿着垂直方执行DCT。替换地，逆变换单元305可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，逆变换单元305可仅对关于亮度信号的、其预测模式是帧内预测的4×4块执行DST（离散正弦变换）和DCT（离散余弦变换）中的一个。

如上所述，在逆变换单元305仅对关于亮度信号的4×4块执行变换的情况下，与对4×4块和8×8块两者执行逆变换时相比，关于4×4块而言需要用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器，因此降低复杂性。

虽然本描述已集中于亮度信号，但其也可应用于色度信号，并且下面将描述其示例。逆变换单元305可对关于色度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，逆变换单元305可对关于色度信号的、其预测模式是帧内预测模式、具有预定大小的块—例如4×4块和/或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

相应地，逆变换单元305可对关于色度信号的4×4块执行帧内预测之后生成的残余值（即，预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元305可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元305可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元305可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，逆变换单元305可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，逆变换单元305可对关于色度信号的8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元305可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元305可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元305可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，逆变换单元305可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，逆变换单元305可仅对关于色度信号的、其预测模式是帧内预测的4×4块执行DST（离散正弦变换）和DCT（离散余弦变换）中的一个。

在逆变换单元305仅对关于色度信号的4×4块执行变换的情况下，与对4×4块和8×8块两者执行逆变换时相比，关于4×4块大小而言，需要用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器，因此降低复杂性。

运动补偿单元307通过将从熵解码单元301提供的运动矢量应用于存储在缓冲器311中的参考图片来生成预测块。

帧内预测单元309基于从熵解码单元301提供的帧内预测模式从邻近于当前将经受解码的块的像素生成当前块的预测值。在这里，帧内预测单元309可将当前经受解码的块分成具有4×4、8×8、16×16、32×32或64×64像素大小的块，并且可使用帧内预测模式信息从邻近于每个单独块的像素生成预测块。

在根据本发明的实施例的解码设备300中，可基于由熵解码单元301提取的选择信息来生成通过运动补偿单元307生成的预测块和通过帧内预测单元309生成的预测块中的仅一个，并且可通过路径切换将运动补偿单元307和帧内预测单元309中的仅一个与第三加法器313相连。也就是说，解码设备300可执行对应于已在编码设备中履行的编码模式的帧间预测和帧内预测中的仅一个。

缓冲器311存储已恢复图像，使得可将该已恢复图像用作参考图片。

第三加法器313将从运动补偿单元307或帧内预测单元309提供的预测块和从逆变换单元305提供的残余预测块相加，从而恢复原始块。

图4是根据本发明的实施例的图像解码方法的流程图。

参考图4，当从编码设备接收到已编码比特流时（步骤401），解码设备通过对比特流执行熵解码来提取已量化残余预测块、运动矢量、变换矩阵以及帧内预测模式信息（步骤403）。在这里，只有当编码设备已执行帧内预测时，才可提取帧内预测模式，并且熵解码数据可包括编码模式信息（帧间预测或帧内预测）。

然后，解码设备对熵解码残余值进行逆量化（步骤405）并使用提取的变换矩阵信息对逆量化数据进行逆变换，从而恢复残余预测块（步骤407）。

逆变换单元305可对关于亮度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）根据帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，逆变换单元可对关于亮度信号的、其预测模式是帧内预测模式、具有预定大小的块—例如4×4块和/或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

相应地，逆变换单元可对关于亮度信号的4×4块上对残余值根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，逆变换单元可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

此外，逆变换单元可对关于亮度信号的8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元可在关于亮度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，逆变换单元可在关于亮度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

逆变换可仅对关于亮度信号的、其预测模式是帧内预测模式的4×4块上使用DST（离散正弦变换）变换矩阵。同样地，在仅对关于亮度信号的、其预测模式是帧内预测模式的4×4块执行逆变换的情况下，与当对4×4块和8×8块两者执行逆变换时相比，需要关于4×4块大小的用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器，从而降低复杂性。

虽然本描述已集中于亮度信号，但其也可应用于色度信号，如下面特定描述所遵循的。逆变换单元可对关于色度信号的、具有预定大小的块—例如4×4块和/或8×8块—执行帧内预测之后生成的残余值（即，预测误差块）根据帧内预测模式而沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

也就是说，逆变换单元可对关于色度信号的、其预测模式是帧内预测模式、具有预定大小的块—例如4×4块和/或8×8块—执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

逆变换可对关于色度信号的4×4块执行帧内预测之后生成的残余值（即，预测误差块）根据18个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。或者，逆变换可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对4×4块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

替换地，逆变换单元可对关于色度信号的8×8块执行帧内预测之后生成的残余值（即，预测误差块）根据35个帧内预测模式沿着水平方向或垂直方向执行DST（离散正弦变换）和/或DCT（离散余弦变换）。

例如，逆变换单元可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DST（离散正弦变换）。替换地，逆变换单元可在关于色度信号在帧内预测模式是垂直模式（或0）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DCT。

替换地，逆变换单元可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着垂直方向执行DCT。替换地，逆变换单元可在关于色度信号在帧内预测模式是水平模式（或1）的情况下对8×8块执行帧内预测之后生成的残余值（即，预测误差块）沿着水平方向执行DST。

逆变换可仅在关于色度信号的、其预测模式是帧内预测模式的4×4块上使用DST（离散正弦变换）和/或DCT变换矩阵。

同样地，仅在关于色度信号的、其预测模式是帧内预测模式的4×4块执行逆变换的情况下，与当对4×4块和8×8块两者执行逆变换时相比，需要关于4×4块大小的用于存储仅一个附加DST矩阵（或DCT矩阵）的存储器，从而降低复杂性。

此外，所述解码设备基于包括在熵解码信息中的编码模式来确定解码模式（步骤409），并且在解码模式被确定为运动补偿的情况下，使用提取的运动矢量来执行运动补偿，从而生成预测块（步骤411）。

替换地，在将解码模式确定为帧内预测的情况下，解码设备通过对邻近于要解码的当前块的像素应用提取的帧内预测模式来生成预测块（步骤413）。

然后，解码设备通过将恢复的残余预测块与在步骤411或413中生成的预测块相加来恢复原始块—即，解码单元（步骤415）。

虽然已描述了本发明的实施例，但本领域的技术人员可理解的是在不脱离在权利要求中定义的本发明的精神和范围的情况下可对其进行各种修改和改变。

元件描述

100：编码设备101：编码控制器

103：运动预测单元105：运动补偿单元

107：帧内预测单元109：第一加法器

111：变换单元113：量化单元

115：逆量化单元117：逆变换单元

119：第二加法器121：缓冲器

125：熵编译单元300：解码设备

301：熵解码单元303：逆量化单元

305：逆变换单元307：运动补偿单元

309：帧内预测单元311：缓冲器

313：第三加法器

Claims

1.一种图像编码方法，包括：

接收要编码的编译单元；

通过对所述编译单元执行帧间预测和帧内预测中的一个来生成预测块；

基于生成的预测块和所述编译单元来生成残余预测块；以及

通过对所述残余预测块应用多个预定变换矩阵来变换生成的残余预测块。

2.根据权利要求1所述的图像编码方法，其中，通过对所述残余预测块应用多个预定变换矩阵来变换所述生成的残余预测块包括：在经受帧内预测和变换的所述残余预测块具有4×4或8×8像素的大小的情况下，通过对每个残余预测块应用全部的九个变换矩阵且然后使用具有最佳编码效率的变换矩阵来变换所述残余预测块。

3.根据权利要求1所述的图像编码方法，其中，通过对所述残余预测块应用多个预定变换矩阵来变换所述生成的残余预测块包括：在经受帧内预测和变换的所述残余预测块具有16×16像素的大小的情况下，通过对每个残余预测块应用全部的四个变换矩阵且然后使用具有最佳编码效率的变换矩阵来变换所述残余预测块。

4.根据权利要求1所述的图像编码方法，其中，通过对所述残余预测块应用多个预定变换矩阵来变换所述生成的残余预测块包括：沿着帧内预测的特定方向使用所述多个预定变换矩阵来执行变换。

5.根据权利要求1所述的图像编码方法，其中，通过对所述残余预测块应用多个预定变换矩阵来变换所述生成的残余预测块包括：在所述残余预测块具有4×4像素的大小的情况下，当基于九个帧内预测模式之中的水平方向模式来执行帧内预测时，在变换时沿着水平方向使用所述多个预定变换矩阵来执行变换。

6.根据权利要求1所述的图像编码方法，其中，被用于变换的所述残余预测块被实现为变换单元（TU），并且其中，所述变换单元具有递归树结构。

7.根据权利要求1所述的图像编码方法，其中，所述预测单元是具有32×32像素或更多的大小的扩展宏块。

8.一种通过对在执行帧内预测之后生成的残余值应用多个预定变换矩阵中的一个来对已编码比特流进行解码的图像解码方法，所述方法包括：

通过对所述比特流进行熵解码来提取运动矢量、量化残余预测块、运动矢量、帧内预测模式以及变换矩阵中的至少一个信息；

对所述量化残余预测块进行逆量化；

通过经由对所述逆量化残余预测块应用所述变换矩阵来对所述逆量化残余预测块进行逆变换而恢复所述残余预测块；

通过执行运动补偿和帧内预测中的一个来生成预测块；以及

通过将已恢复的残余预测块与生成的预测块相加来恢复原始编译单元。

9.根据权利要求8所述的图像解码方法，其中，在经受所述帧内预测和变换的所述残余预测块具有4×4或8×8像素的大小的情况下，所述变换矩阵对每个残余预测块应用全部的九个变换矩阵，并使用具有最佳编码效率的变换矩阵。

10.根据权利要求8所述的图像解码方法，其中，在经受所述帧内预测和变换的所述残余预测块具有16×16像素的大小的情况下，所述变换矩阵对每个残余预测块应用全部的四个变换矩阵，并使用具有最佳编码效率的变换矩阵。

11.根据权利要求8所述的图像解码方法，其中，通过经由对所述逆量化残余预测块应用所述变换矩阵来对所述逆量化残余预测块进行逆变换而恢复所述残余预测块包括：基于所述帧内预测模式使用所述变换矩阵来执行逆变换。

12.根据权利要求8所述的图像解码方法，其中，通过经由对所述逆量化残余预测块应用所述变换矩阵来对所述逆量化残余预测块进行逆变换而恢复所述残余预测块包括：在所述残余预测块具有4×4像素的大小的情况下，当基于九个帧内预测模式之中的水平方向模式而执行帧内预测时，在变换时沿着水平方向使用所述变换矩阵来执行逆变换。

13.根据权利要求8所述的图像解码方法，其中，被用于变换的所述残余预测块被实现为变换单元（TU），并且所述变换单元具有递归树结构。

14.根据权利要求8所述的图像解码方法，其中，所述编译单元是具有32×32像素或更多的大小的扩展宏块。

15.根据权利要求8所述的图像解码方法，其中，所述变换矩阵对关于亮度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）和DCT（离散余弦变换）的至少一个变换矩阵。

16.根据权利要求8所述的图像解码方法，其中，所述变换矩阵对关于亮度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）变换矩阵。

17.根据权利要求8所述的图像解码方法，其中，所述变换矩阵对关于色度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）和DCT（离散余弦变换）中的至少一个变换矩阵。

18.根据权利要求8所述的图像解码方法，其中，所述变换矩阵对关于色度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）变换矩阵。

19.根据权利要求8所述的图像解码方法，其中，所述变换矩阵仅对关于亮度信号的、其预测模式是帧内预测模式的4×4块使用DST（离散正弦变换）变换矩阵。