CN104506875A - 用于高分辨率运动图像的编码/解码方法 - Google Patents

Abstract

用于高分辨率运动图像的编码/解码方法。一种视频编码方法包括以下步骤：将输入的视频划分成具有各种形状或尺寸的多个宏块；对宏块进行编码；以及生成指示所述宏块中的每一个宏块的形状或尺寸的宏块信息。根据所述视频编码/解码方法和设备，不仅编码效率能够因为本发明使得能够利用出现在视频中的时间/空间相邻的像素之间的高相关性来进行编码而被提高，而且压缩效率还能够通过减少块失真而被提高。

Description

用于高分辨率运动图像的编码/解码方法

申请是原案申请号为201080051482.3的发明专利申请(国际申请号：PCT/KR2010/006017，申请日：2010年9月3日，发明名称：用于高分辨率运动图像的编码/解码方法和装置)的分案申请。

技术领域

本发明涉及高分辨率视频编码/解码方法和设备。更具体地说，本发明涉及用于通过以各种类型的块为单位执行编码和解码并根据适合于对应的编码和解码的块类型执行变换、量化、扫描和滤波，来改进编码效率的方法和设备。

背景技术

运动图像专家组(MPEG)和视频编码专家组(VCEG)已经在现有的MPEG-4第2部分和H.263标准上开发出了经改进的且优良的视频压缩技术。新标准被称作H.264/AVC(高级视频编码)并同时发行作为MPEG-4第10部分AVC和ITU-T建议H.264。H.264/AVC(下文称为“H.264”)可以通过执行以下步骤来减少经编码的数据的比特数：以各自具有各种类型的子块(subblock)的宏块(macroblock)为单位执行帧内(intra)预测/帧间(inter)预测以生成残留信号，对所生成的残留信号进行变换和量化，以及接着对所变换和量化的残留信号进行编码。

采用以宏块为单位的典型编码方法的视频编码设备将输入的视频划分成宏块，针对各个宏块，根据帧间模式或帧内模式以该宏块可能具有的子块尺寸执行预测以生成残留块，向所生成的残留块应用基于4×4或8×8离散余弦变换(DCT)的整数变换以生成变换系数，以及根据指定的量化参数(QP)对该变换系数进行量化。通过环路滤波来减少因变换和量化处理而造成的块(blocking)效应。

因为诸如H.264的典型视频压缩技术以要被编码的视频被划分成的16×16宏块为单位执行编码，并且还以4×4或8×8的块尺寸来固定变换的单位，所以存在以下问题：当视频在像素之间具有高相关性时，编码效率降低。也就是说，当视频的像素之间存在高相关性时，可以以大于尺寸为16×16的宏块的宏块为单位或者以各种类型的宏块为单位来有效地执行预测，进而还可以有效地使用除4×4块尺寸或8×8块尺寸以外的各种变换块尺寸作为变换的单位，但是典型的视频压缩技术因为宏块尺寸和变换块尺寸固定而不能根据视频的特征执行自适应编码，这造成了编码效率降低的问题。

发明内容

技术问题

因此，本发明致力于上述问题，并且本发明提出通过以适合于高分辨率视频的各种类型的宏块为单位执行编码，并且对应地执行各种类型的预测、变换和量化、扫描、滤波等来改进压缩效率。

技术解决方案

本发明的一方面提供了一种视频编码方法，该视频编码方法包括以下步骤：将输入的视频划分成具有各种形状或尺寸的多个宏块；对所述多个宏块中的每一个宏块进行编码；以及生成指示所述多个宏块中的每一个宏块的形状或尺寸的宏块信息。

对所述多个宏块中的每一个宏块进行编码的步骤可以包括以下步骤：将所述多个宏块中的每一个宏块划分成多个子块；针对所述多个子块中的每一个子块执行预测编码；以及生成指示针对所述多个子块中的每一个子块的预测模式的预测模式信息和指示所述多个子块中的每一个子块的尺寸的宏块划分信息。

对所述多个宏块中的每一个宏块进行编码的步骤可以包括以下步骤：预测所述多个子块中的每一个子块以获取预测子块；获取表示所述多个子块中的每一个子块与所述多个子块中的每一个子块的预测子块之间的差的残留块；基于所述多个宏块中的每一个宏块的尺寸、所述预测模式以及所述多个子块中的每一个子块的尺寸中的至少一个来确定变换类型；根据所确定的变换类型来对所述残留块进行变换；以及对所变换的残留块进行量化。

对所述多个宏块中的每一个宏块进行编码的步骤还可以包括以下步骤：对指示所确定的变换类型的信息进行编码。

指示所述变换类型的所述信息可以包括所述变换尺寸或种类。

所述多个宏块中的每一个宏块可以具有水平边的长度与垂直边的长度不同的矩形形状。

确定所述变换类型的步骤可以包括以下步骤：当所述预测模式是帧内预测模式时，将所述变换尺寸确定为与所述预测子块的尺寸相同。

对所述残留块进行变换的步骤可以包括以下步骤：当所述残留块的尺寸小于所确定的变换尺寸时，将多个残留块相互组合以生成具有等于所述变换尺寸的尺寸的组合残留块，并接着对所述组合残留块进行变换。

对所述多个宏块中的每一个宏块进行编码的步骤可以包括以下步骤：利用根据所述预测模式选择的扫描图案来对所变换和量化的残留块的系数进行扫描。

对所述系数进行扫描的步骤可以包括以下步骤：当所述预测模式是帧内预测模式时，利用与多个帧内预测模式当中的、用于预测所述多个子块中的每一个子块的帧内预测模式对应的扫描图案来对所变换和量化的残留块的所述系数进行扫描。

对所述系数进行扫描的步骤可以包括以下步骤：当所述预测模式是帧间预测模式时，利用根据针对所变换和量化的残留块的所述变换类型选择的扫描图案来对所变换和量化的残留块的所述系数进行扫描。

本发明的另一方面提供了一种视频编码设备，该视频编码设备包括：宏块类型确定器，该宏块类型确定器用于将输入的视频划分成具有不同的形状或尺寸的多个宏块；以及宏块编码器，该宏块编码器用于对所述多个宏块中的每一个宏块进行编码，并对指示所述多个宏块中的每一个宏块的形状或尺寸的宏块信息进行编码。

本发明的又一方面提供了一种视频解码方法，该视频解码方法包括以下步骤：接收通过将输入的视频划分成具有不同的形状或尺寸的多个宏块并对所述多个宏块中的每一个宏块进行编码而获取的视频数据；对指示所述多个宏块中的每一个宏块的形状或尺寸的宏块信息进行解码；以及基于所述宏块信息对所述多个宏块中的每一个宏块进行解码。

对所述多个宏块中的每一个宏块进行解码的步骤可以包括以下步骤：当所述多个宏块中的每一个宏块被划分成多个子块时，对指示所述多个子块中的每一个子块的尺寸的宏块划分信息和指示针对所述多个子块中的每一个子块的预测模式的预测模式信息进行解码；以及基于所述宏块划分信息和所述预测模式信息来获取所述多个子块中的每一个子块的预测子块。

对所述多个宏块中的每一个宏块进行解码的步骤可以包括以下步骤：基于所述多个宏块中的每一个宏块的尺寸、所述预测模式以及所述多个子块中的每一个子块的尺寸中的至少一个来确定逆变换类型；根据所确定的逆变换类型来对残留块进行逆量化和逆变换，以获取经逆量化和逆变换的残留块；以及将所逆量化和逆变换的残留块与所述预测子块相加，以获取重建块。

确定所述逆变换类型的步骤可以包括以下步骤：基于指示所述逆变换类型的信息来确定所述逆变换类型。

指示所述逆变换类型的所述信息可以包括所述逆变换尺寸或种类。

所述多个宏块中的每一个宏块可以具有水平边的长度与垂直边的长度不同的矩形形状。

确定所述逆变换类型的步骤可以包括以下步骤：当所述预测模式是帧内预测模式时，将所述逆变换尺寸确定为与所述多个子块中的每一个子块的尺寸相同。

对所述多个宏块中的每一个宏块进行解码的步骤还可以包括以下步骤：当所述预测子块的尺寸小于所确定的逆变换尺寸时，将所逆量化和逆变换的残留块划分成多个残留子块，该多个残留子块各自具有等于所述预测子块的尺寸的尺寸；以及将所述多个残留子块中的每一个残留子块与所述预测子块相加，以获取重建块。

对所述多个宏块中的每一个宏块进行解码的步骤还可以包括以下步骤：对经变换和量化的残留块的系数串进行扫描，以获取经二维变换和量化的残留块，其中，对所述系数串的扫描根据所述预测模式来选择。

对所述系数串进行扫描的步骤可以包括以下步骤：当所述预测模式是帧内预测模式时，利用与多个帧内预测模式当中的、用于预测所述多个子块中的每一个子块的帧内预测模式对应的扫描图案来对所变换和量化的残留块的所述系数串进行扫描。

对所述系数串进行扫描的步骤可以包括以下步骤：当所述预测模式是帧间预测模式时，利用根据所述逆变换类型选择的扫描图案来对所变换和量化的残留块的所述系数串进行扫描。

本发明的又一方面提供了一种视频解码设备，该视频解码设备包括：解码器，该解码器用于接收通过将输入的视频划分成具有不同的形状或尺寸的多个宏块并对所述多个宏块中的每一个宏块进行编码而获取的视频数据，并且该解码器对指示所述多个宏块中的每一个宏块的形状或尺寸的宏块信息进行解码；以及逆量化器和逆变换器，该逆量化器和逆变换器用于基于所述宏块信息来对所述多个宏块中的每一个宏块进行逆量化和逆变换。

有利效果

根据上述的本发明，不仅编码效率能够因为本发明使得能够利用出现在视频中的时间/空间相邻的像素之间的高相关性来进行编码而被提高，而且压缩效率还能够通过减少块失真而被提高。而且，可以减少执行滤波的次数，这使得可以降低视频编码和解码设备的实现复杂性。

附图说明

图1是例示根据本发明的一方面的视频编码设备的结构的示意性框图；

图2至图4是例示根据用于典型视频编码的宏块类型的帧内预测模式的视图；

图5是例示根据用于典型视频编码的宏块类型的帧间预测模式的视图；

图6是例示根据本发明的一方面的尺寸为M×N的宏块的视图；

图7是例示根据本发明的一方面的尺寸为M×N的宏块可以具有的各种类型的子宏块的视图；

图8是例示根据本发明的一方面的用于8×4变换的MF的视图；

图9是用于说明根据本发明的一方面的在应用各种变换和量化类型的情况下进行滤波的视图；

图10是用于说明根据本发明的一方面的横跨块边界执行去块(deblocking)滤波的处理的视图；

图11是用于说明根据本发明的一方面的执行去振铃(deringing)滤波的处理的视图；

图12是例示根据本发明的一方面的依照变换和量化类型的扫描序列的视图；

图13至图18是用于说明根据本发明的一方面的依照变换和量化类型来应用CAVLC的方法的视图；

图19是用于说明根据本发明的一方面的视频编码方法的流程图；

图20是根据本发明的一方面的视频解码设备的示意性框图；

图21是用于说明根据本发明的一方面的视频解码方法的流程图；

图22是例示根据本发明的一方面的64×64宏块被划分成的各种子块的视图；以及

图23是例示根据本发明的一方面的依照帧内预测模式的针对帧内4×4块的系数的扫描图案的视图。

具体实施方式

下文将参照附图详细描述本发明的方面。在以下描述中，尽管在不同的附图中示出，但是用相同的附图标记来表示相同的元件。此外，在本发明的以下描述中，当对并入本文的公知功能和构造的详细描述使得本发明的主题不清晰时，将省略这些详细描述。

另外，在描述本发明的组件时，可以存在诸如第一、第二、A、B、(a)和(b)的术语。这些术语仅出于将一个组件与其它组件相区分的目的而不暗示或意指这些组件的实质、顺序或次序。如果将组件描述为“连接”、“耦接”或“链接”到其它组件，则这些组件不仅可以直接“连接”、“耦接”或“链接”到其它组件而且可以经由第三组件间接地“连接”、“耦接”或“链接”到其它组件。

图1示意性地例示了根据本发明的一方面的视频编码设备的结构。

根据本发明的一方面的视频编码设备100是用于对视频进行编码的设备，并且可以包括：预测器110、减法器120、变换器和量化器130、扫描器140、编码器150、逆量化器和逆变换器160、加法器170、滤波器180以及宏块类型确定器190。该视频编码设备100可以是个人计算机或PC、笔记本计算机或膝上型计算机、个人数字助理或PDA、便携式多媒体播放器或PMP、便携式游戏机或PSP或移动通信终端、智能电话等装置，并且表示配备有例如用于在各种装置或有线/无线通信网络之间执行通信的诸如调制解调器的通信装置、用于存储用于对视频和相关数据进行编码的各种程序的存储器以及用于执行这些程序以实现操作和控制的微处理器的各种设备。

可以将诸如帧或切片(slice)的要被编码的输入视频划分成用于编码的单位块。在本发明中，用于编码或解码的各个单位块被称为宏块。根据本发明的一方面，该宏块可以具有M×N的可变尺寸。这里，M和N中的每一个可以是值为2ⁿ的整数(其中，n是等于或大于1的整数)，并且具体地说，可以是大于或等于16的整数。根据本发明的宏块与常规宏块的不同之处在于，根据本发明的宏块可以具有可变的形状或尺寸。

另外，根据本发明，具有不同的形状或尺寸的宏块可以用于要被编码的每一个输入视频，诸如帧或切片。而且，可以将要被编码或解码的一个输入视频(诸如帧或切片)划分成具有不同的形状或尺寸的多个宏块，这些宏块依次被编码或解码。对指示各个宏块的形状或尺寸的宏块信息进行编码，并且将所编码的宏块信息包括在图片头、切片头或宏块头中。当视频解码设备对经编码的数据进行解码时，该视频解码设备可以利用该宏块信息来确定要解码的宏块的类型。使用什么类型的块可以通过选择在利用各种类型的块来执行视频编码时产生最优效率的块类型，或者根据通过分析帧的特性而获取的特征选择块类型来确定。例如，如果帧视频具有高空间冗余，则可以将大于常规的固定16×16宏块的方形宏块(诸如32×32宏块或64×64宏块)选择为编码的单位。另选的是，如果帧视频具有高水平相关性或垂直相关性，则可以选择具有水平长形状或垂直长形状的宏块。为此，视频编码设备100可以包括宏块类型确定器190，该宏块类型确定器190用于确定宏块类型，将诸如帧或切片的要编码的输入视频划分成各自具有所确定的形状或尺寸的多个宏块，对针对宏块类型的宏块信息进行编码，以及将所编码的宏块信息包括在经编码的数据中。

如图1所示，作为本发明的组件的宏块编码器100a可以包括预测器110、减法器120、变换器和量化器130、扫描器140、编码器150、逆量化器和逆变换器160、加法器170以及滤波器180。宏块编码器100a对各个宏块进行编码，并且对指示各个宏块的形状或尺寸的宏块信息进行编码。

预测器110利用其它先前经解码的像素值来预测要被编码的当前块，以生成当前块的预测块。也就是说，预测器110利用帧内预测、帧间预测等来预测当前块，以生成以预测像素值作为各个像素的像素值的预测块。

要预测的当前块可以是宏块，并且如果需要，还可以是通过划分宏块所获取的子块，以便优化预测像素值。也就是说，还可以将作为编码的单位的宏块划分成各自具有比该宏块小的尺寸的多个预测单位。结果，可以以从宏块划分的子块为单位来生成预测块。这里，宏块可以是具有方形或矩形形状的M×N块，子块可以是分别具有在不超出宏块尺寸的范围内的2ⁿ的水平尺寸和垂直尺寸的P×Q块。

预测器110生成指示子块的类型(即，子块类型)的信息，并将所生成的信息提供给编码器150。编码器150对指示子块类型的信息进行编码，并将所编码的信息提供给视频解码设备。子块类型包括子块预测模式和子块尺寸。子块可以根据子块预测模式而被分类成帧内子块和帧间子块。帧内子块还可以根据子块尺寸而被分类成帧内4×4块、帧内8×8块、帧内16×16块等。另外，帧内子块可以被分类成各种帧内子块，诸如帧内32×32块和帧内16×32块。帧间子块可以被分类成帧间4×4块、帧间8×4块、帧间4×8块、帧间8×8块、帧间8×16块、帧间16×8块、帧间16×16块等。另外，帧间子块可以被分类成各种帧间子块，诸如帧间32×16块、帧间16×32块以及帧间32×32块。

根据本发明的一方面，视频编码设备可以生成指示针对各个子块的预测模式的预测模式信息并且将所生成的预测模式信息包括在比特流中。该预测模式可以包括帧内预测模式、帧间预测模式、跳跃模式以及直接模式。

而且，当为了预测而将作为编码单位的宏块划分成多个子块时，根据本发明的视频编码设备可以生成指示宏块被划分成的子块的形状或尺寸的宏块划分信息，并将所生成的宏块划分信息发送至视频解码设备。宏块划分信息可以根据怎样划分宏块来按照各种方式实现。根据本发明的一方面，宏块划分信息可以包括宏块内的各个子块的起始位置和尺寸。在这种情况下，可以进行灵活的块划分，但是增加了要发送的数据量。根据本发明的另一方面，宏块划分信息可以通过指示划分类型的、具有一个或更多个比特的标记来实现。该标记所具有的相应值限定不同的块划分方案。例如，如果该标记的值为“0”，则该标记指示块未被划分。而且，如果该标记的值为“1”，则该标记指示块被划分成四个尺寸相等的子块。当存在三个或更多个划分类型时，各个划分类型可以通过具有两个或更多个比特的标记来指示。

如上所述，预测模式信息和宏块划分信息可以由独立的语法元素来实现，并且还可以同时由一个语法元素来表达。因为常规的H.264标准将宏块的尺寸固定为按照16×16进行编码和解码的单位，所以针对对应宏块的预测模式和用于预测该宏块的划分模式可以仅由针对各个宏块生成的一个语法元素“mb_type”来指示。然而，在本发明中，因为宏块的尺寸或形状是可变的，所以视频编码设备可以生成预测模式信息和宏块划分信息以及指示宏块的尺寸或形状的宏块信息，并将它们提供给视频解码设备。

减法器120通过从当前块中减去预测块来生成残留块。也就是说，减法器120计算当前块的各个像素的原始像素值与预测块的各个像素的预测像素值之间的差，以生成具有残留信号的残留块。

变换器和量化器130根据要被编码的当前宏块的形状和尺寸、当前宏块或子块的块类型等来确定变换和量化类型，并且根据所确定的变换和量化类型来对残留块进行变换和量化。更具体地说，变换器和量化器130将残留块的残留信号变换到频域中，以生成具有变换系数的经变换的残留块，并且对所变换的残留块进行量化，以生成具有经量化的变换系数的经变换和量化的残留块。

当变换器和量化器130对残留块进行变换和量化时，因为变换处理被包括在量化处理中，所以在量化完成之前，变换没有完成。这里，用于将空间域中的视频信号变换到频域中的技术(诸如，基于哈达玛(Hadamard)变换和离散余弦变换(DCT)的整数变换(下文简称为“整数变换”))可以被用作该变换方法，而诸如死区一致性阈值量化(下文称为“DZUTQ”)和量化加权矩阵的各种量化技术可以被用作该量化方法。

而且，像块尺寸为P×Q的变换和量化的各种变换和量化类型可以在不超出当前宏块的尺寸的范围内。这里，块尺寸为P×Q的变换和量化可以与具有当前尺寸为M×N的宏块可能具有的(除了块尺寸为4×4的典型变换和量化以及块尺寸为8×8的变换和量化以外的)子块尺寸的变换和量化对应。

而且，变换器和量化器130可以基于根据针对当前宏块或子块的预测模式和/或子块的尺寸(即，作为预测单位的子块)确定的变换和量化类型，来对残留块进行变换和量化。对此，当当前块是帧内块类型时，变换和量化类型可以被确定成与帧内块类型的块尺寸相同。而且，当当前块是帧间块类型时，可以利用编码成本从多个变换和量化类型当中确定一个变换和量化类型。这里，所述多个变换和量化类型不仅可以是具有与子块的块尺寸相同的尺寸的变换和量化类型，而且可以是具有各种块尺寸的变换和量化类型。以下对由变换器和量化器130对残留块进行变换和量化的处理进行详细描述。

扫描器140对从变换器和量化器130输出的所变换和量化的残留块的经量化的变换系数进行扫描，以生成经量化的变换系数串。对此，考虑变换技术、量化技术以及块(宏块或子块)的特性来确定扫描方法，并且确定扫描序列，以使得所扫描的量化变换系数串具有最小长度。而且，该扫描方法可以根据帧内块和帧间块来改变。以下对帧内块和帧间块的细节进行描述。虽然如图1中独立实现的，示出和描述了扫描器140，但是扫描器140可以省略并且其功能可以并入编码器150中。

编码器150对所变换和量化的残留块进行编码，以生成经编码的数据。也就是说，编码器150对由对从变换器和量化器130输出的所变换和量化的残留块的所量化的变换系数进行扫描而得到的所量化的变换系数串进行编码，以生成经编码的数据，或者对由在扫描器140中进行扫描而得到的所量化的变换系数串进行编码，以生成经编码的数据。

熵编码可以被用作该编码技术，但是各种其它无限制的编码技术也是可用的。而且，从编码器150输出的经编码的数据不仅可以包括由对所量化的变换系数串进行编码而得到的比特流，而且可以包括对所编码的比特流进行解码所需的各种信息。这里，对所编码的比特流进行解码所需的各种信息可以是上述信息，即，指示作为编码单位的宏块的尺寸或形状的宏块信息、预测模式信息、在为了预测而将宏块划分成多个子块的情况下的指示子块(即，作为预测单位的块)的划分方案或尺寸的宏块划分信息、针对预测模式是帧间预测模式的情况下的运动向量的信息、针对变换和量化类型的信息等，但是还可以是各种其它信息。

逆量化器和逆变换器160对从变换器和量化器130输出的所变换和量化的残留块进行逆量化和逆变换，以重建残留块。逆量化和逆变换可以通过逆向执行由变换器和量化器130执行的变换和量化处理来实现。也就是说，逆量化器和逆变换器160可以利用从变换器和量化器130传送的变换和量化信息(例如，针对变换和量化类型的信息)来执行逆量化和逆变换，以逆向执行由变换器和量化器130对残留块进行变换和量化的处理。

加法器170将从逆量化器和逆变换器160输出的所逆量化和逆变换的残留块与从预测器110输出的预测块相加，以重建当前块。

滤波器180对由加法器170重建的当前块进行滤波。对此，滤波器180减少因以块为单位对视频进行变换和量化而在视频的块边界处出现的块效应以及因高频损失而造成的环绕视频的边缘出现的振铃(ringing)噪声。这里，去块滤波器和去振铃滤波器可以分别用于减少块效应和振铃噪声，而且可以选择性地采用以下方式之一：利用去块滤波器和去振铃滤波器这两者来进行滤波、利用去块滤波器或者利用去振铃滤波器来进行滤波以及不利用去块滤波器和去振铃滤波器中的任一个来进行滤波。而且，可以选择性地采用以下方式之一：在子块之间的边界处和宏块之间的边界处应用去块滤波以及仅在宏块之间的边界处应用去块滤波。

在典型的视频编码中，用于视频编码的宏块类型是具有16×16个像素的方形宏块，并且可以通过针对各个宏块执行帧内预测和帧间预测中的至少一种来生成预测块。广泛使用以宏块为单位的视频编码的原因在于：其使得能够考虑视频的区域特征来进行有效编码。而且，因为各种帧内预测或帧间预测方法被用于生成预测块，所以视频的编码效率很高。

图2至图4例示了根据用于典型视频编码的宏块类型的帧内预测模式。

图2例示了在宏块类型是帧内4×4宏块的情况下的九种帧内预测模式，图3例示了在宏块类型是帧内8×8宏块的情况下的九种帧内预测模式，并且图4例示了在宏块类型是帧内16×16宏块的情况下的四种帧内预测模式。

当宏块类型是帧内块类型时，利用帧内预测来预测要编码的宏块。该帧内块类型被再划分成帧内4×4宏块、帧内8×8宏块、帧内16×16宏块等。针对各个帧内块类型，根据图2至图4所示的预测模式，利用先前编码、解码和重建的相邻块的相邻像素来预测宏块。

图5例示了根据用于典型视频编码的宏块类型的帧间预测模式。

当宏块类型是帧间块类型时，利用帧间预测来预测要编码的宏块。在这种情况下，如图5所示，通过利用先前编码、解码和重建的帧，针对宏块以块尺寸16×16、16×8、8×16或8×8执行预测来生成预测块。当针对宏块以块尺寸8×8执行预测时，通过针对各个8×8块以块尺寸8×8、8×4、4×8或4×4执行预测来生成预测块。

然而，当如典型视频编码中的，以各自具有块尺寸16×16的宏块为单位对高分辨率视频进行编码时，不能利用像素之间的高相关性(这是高分辨率视频的特性)来有效地执行编码。这是因为尽管以各自具有M×N的扩展块尺寸的宏块为单位所生成的预测块的预测准确度与以各自具有16×16的典型块尺寸的宏块为单位所生成的预测块的预测准确度相似，但是增加了在以16×16宏块为单位对视频进行编码的情况下的要编码的宏块的数量，进而降低了编码效率。

而且，在典型的视频编码中使用按照块尺寸4×4或8×8的基于DCT的整数变换。该整数变换在编码效率和复杂性方面具有优点，因为其不针对实数执行运算(这是DCT中涉及的缺点)，而是在尽可能多地保持DCT的特性的同时仅针对整数执行运算。因以块为单位的变换而造成的块效应和振铃噪声可以利用滤波来最小化。

然而，针对视频编码设备100而言更有效的是，利用按照块尺寸P×Q的各种类型的变换和量化而不是仅利用按照典型的4×4或8×8块尺寸的变换和量化，来对高分辨率视频进行编码。这是因为在对具有高相关性的像素聚类在一起的宽区域进行编码的情况下，仅利用按照4×4或8×8块尺寸的变换和量化导致高频分量的显著块效应和损失。

相反，如果按照块尺寸P×Q的各种类型的变换和量化可用于执行变换和量化，则因为与在仅使用按照典型块尺寸的变换和量化时相比减少了高频分量的损失，所以可以减少块效应，并且还可以减少振铃噪声。由此，还减少了滤波操作的次数，这使得可以降低滤波操作的复杂性，该滤波操作的复杂性主要贡献于视频编码设备100和下面要描述的视频解码设备的实现复杂性。而且，因为使用按照块尺寸P×Q的各种类型的变换和量化，所以作为编码效率提高的结果，扫描器140可以按照适合于变换和量化块尺寸的方式对由变换器和量化器130得到的经量化的变换系数进行扫描。

因此，在本发明的一方面中，与以各自具有块尺寸16×16的宏块为单位对视频进行编码的典型视频编码相比，通过以各自具有扩展块尺寸M×N的宏块为单位执行预测来生成残留块。另外，不是仅4×4或8×8的块尺寸被用作变换和量化块尺寸，而是按照块尺寸P×Q的各种变换和量化被用于执行变换和量化，并且执行适合于变换和量化块尺寸的滤波和扫描。

图6例示了根据本发明的一方面的尺寸为M×N的宏块。

根据本发明的一方面，可以按照各种类型的宏块(包括尺寸为64×64、128×128和64×128的宏块以及如图6所示的尺寸为32×32和32×16的宏块)为单位对视频进行编码。如图6所示，尺寸为M×N的宏块不仅可以具有方形形状，而且可以具有矩形形状。

图7例示了根据本发明的一方面的尺寸为M×N的宏块可能具有的各种类型的子宏块。

图7示出了块尺寸为32×16的宏块可以具有的子宏块的块尺寸的示例。当利用这些子宏块预测宏块时，可以生成更类似于原始宏块的预测块，进而可以进一步提高编码效率。对此，确定尺寸为M×N的宏块的尺寸的M和N可以分别按照2ⁿ来确定，并且确定尺寸为J×K的子宏块的尺寸的J和K分别具有在不超出M和N的范围内的值2ⁿ。

变换器和量化器130根据变换和量化类型来对残留块进行变换和量化，以将残留块的残留信号变换成变换系数，并通过对这些变换系数进行量化来生成经量化的变换系数。对此，变换器和量化器130可以考虑要被编码的当前宏块的形状或尺寸来确定用于变换和量化的变换和量化块尺寸。也就是说，作为变换和量化的单位的块的尺寸或变换和量化块尺寸等于或大于当前宏块的尺寸。而且，当当前宏块具有矩形形状时，可以选择矩形变换。而且，根据当前宏块的尺寸可用的块尺寸可以被选择为变换和量化块尺寸。例如，当当前宏块是尺寸为64×64的大块时，可以使用尺寸比4×4变换、4×8变换、8×4变换等更大的变换。如果当前宏块是常规的尺寸为16×16的宏块，则可以使用典型的4×4变换和8×8变换。根据本发明的另一方面，变换器和量化器130可以考虑针对子宏块的预测模式或作为预测的单位的块的尺寸来确定用于变换和量化的变换和量化块尺寸。

例如，当块是帧内块类型时，可以将经受帧内预测的块的尺寸确定为变换和量化块尺寸。也就是说，在帧内4×4预测的情况下可以使用块尺寸为4×4的变换和量化，在帧内8×8预测的情况下可以使用块尺寸为8×8的变换和量化，在帧内16×16预测的情况下可以使用块尺寸为16×16的变换和量化，并且在帧内16×8预测的情况下可以使用块尺寸为16×8的变换和量化。因此，当帧内预测的单位是尺寸为P×Q的块时，可以将块尺寸为P×Q的变换和量化确定为变换和量化类型。

作为另一示例，当块是帧间块类型时，可以从多个变换和量化块尺寸中确定使编码成本最小的变换和量化块尺寸。也就是说，可以从变换和量化块尺寸4×4、8×8、16×16、32×16、8×16、16×8等中选择一个变换和量化块尺寸，并且可以利用按照所选择的块尺寸的变换和量化来对残留块进行变换和量化。

下文中，将基于将块尺寸为8×4的变换和量化确定为变换和量化类型的假定来对根据本发明的一方面的变换和量化处理进行描述。

块尺寸为8×4的变换可以通过组合4×4整数变换与8×8整数变换来设计，并且可以由下式来表达：

Y＝AXB^T    式1

在式1中，X表示由块尺寸为8×4的预测块生成的、块尺寸为8×4的残留块，A表示用于4×4整数变换的矩阵，B表示用于8×8整数变换的矩阵，T表示作为通过将对应矩阵的行与列互换所获取的矩阵的转置矩阵，并且Y表示作为针对块尺寸为8×4的残留块执行8×4变换的结果的经变换的残留块。

在上式中，A和B^T的元素可以表示为如下式所给出的：

$A=\left[\begin{array}{cccc}x& x& x& x\\ y& z& -z& -y\\ x& -x& -x& x\\ z& -y& y& -z\end{array}\right],B=\left[\begin{array}{cccccccc}a& b& c& d& a& e& f& g\\ a& d& f& -g& -a& -b& -c& -e\\ a& e& -f& -b& -a& g& c& d\\ a& g& -c& -e& a& d& -f& -b\\ a& -g& -c& e& a& -d& -f& b\\ a& -e& -f& b& -a& -g& c& -d\\ a& -d& f& g& -a& b& -c& -g\\ a& -b& c& -d& a& -e& f& -g\end{array}\right]$

                                 式2

在式2中，矩阵A的x是1/2，矩阵A的y是矩阵A的z是矩阵B的a是矩阵B的b是矩阵B的c是矩阵B的d是矩阵B的e是矩阵B的f是并且矩阵B的g是这里，为了在保持作为DCT的特性的正交性的同时执行整数运算，将4×4整数变换和8×8整数变换中的每一个解压缩并且近似如下：

$A=\left[\begin{array}{cccc}x& 0& 0& 0\\ 0& y& 0& 0\\ 0& 0& x& 0\\ 0& 0& 0& y\end{array}\right]\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& w& -w& -1\\ 1& -1& -1& 1\\ w& 1& -1& -w\end{array}\right]$

$B=\left[\begin{array}{cccccccc}1& 1& 1& K& 1& L& N& M\\ 1& K& N& -M& -1& -1& -1& -L\\ 1& L& -N& -1& -1& M& 1& K\\ 1& M& -1& -L& 1& K& -N& -1\\ 1& -M& -1& L& 1& -K& -N& 1\\ 1& -L& -N& 1& -1& -M& 1& -K\\ 1& -K& N& M& -1& 1& -1& L\\ 1& -1& 1& -K& 1& -L& N& -M\end{array}\right]\left[\begin{array}{cccccccc}a& 0& 0& 0& 0& 0& 0& 0\\ 0& b& 0& 0& 0& 0& 0& 0\\ 0& 0& c& 0& 0& 0& 0& 0\\ 0& 0& 0& d& 0& 0& 0& 0\\ 0& 0& 0& 0& a& 0& 0& 0\\ 0& 0& 0& 0& 0& b& 0& 0\\ 0& 0& 0& 0& 0& 0& c& 0\\ 0& 0& 0& 0& 0& 0& 0& b\end{array}\right]$

                               式3

式3中，矩阵A的z如式2中为1/2，矩阵A的y近似为矩阵A的w(＝z/y)近似为1/2，矩阵B的a如式2中为矩阵B的b近似为矩阵B的c近似为矩阵B的K(＝d/b)近似为5/6，矩阵B的L(＝e/b)近似为1/2，并且矩阵B的M(＝g/b)近似为1/4。通过该处理，式1可以重写如下：

$Y=\left({\mathrm{CXD}}^T\right)\⊗E$     式4

在式4中，X和Y与式1中相同，C表示式3的矩阵A中的右侧4×4矩阵，而D^T表示式3的矩阵B中的左侧8×8矩阵。运算子表示以逐个元素为基础的(CXD^T)的结果矩阵的系数与矩阵E的系数的乘法。矩阵E表示在将式1解压缩并近似为式4的处理中导出的8×8矩阵，而矩阵E中的元素由下式给出：

$E=\left[\begin{array}{cccccccc}\mathrm{ax}& \mathrm{bx}& \mathrm{cx}& \mathrm{bx}& \mathrm{ax}& \mathrm{bx}& \mathrm{cx}& \mathrm{bx}\\ \mathrm{ay}& \mathrm{by}& \mathrm{cy}& \mathrm{by}& \mathrm{ay}& \mathrm{by}& \mathrm{cy}& \mathrm{by}\\ \mathrm{ax}& \mathrm{bx}& \mathrm{cx}& \mathrm{bx}& \mathrm{ax}& \mathrm{bx}& \mathrm{cx}& \mathrm{bx}\\ \mathrm{ay}& \mathrm{by}& \mathrm{cy}& \mathrm{by}& \mathrm{ay}& \mathrm{by}& \mathrm{cy}& \mathrm{by}\end{array}\right]$     式5

式5中，矩阵E的x、y、a、b和c与式3中的相同。从式5可以注意到，矩阵C、D^T和E具有非整数系数。因此，针对整数运算，对相应的矩阵进行缩放(scale)，如下式给出：

$C=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]$

$D=\left[\begin{array}{cccccccc}1& 12/8& 1& 10/8& 1& 6/8& 1/2& 3/8\\ 1& 10/8& 1/2& -3/8& -1& -1& -1& -6/8\\ 1& 6/8& -1/2& 1-& -1& 3/8& 1& 10/8\\ 1& 3/8& -1& -6/8& 1& 10/8& -1/2& -1\\ 1& -3/8& -1& 6/8& 1& -10/8& -1/2& 1\\ 1& -6/8& -1/2& 1& -1& -3/8& 1& -10/8\\ 1& -10/8& 1/2& 3/8& -1& 1& -1& 6/8\\ 1& -12/8& 1& -10/8& 1& -6/8& 1/2& -3/8\end{array}\right]$

$E=\left[\begin{array}{cccccccc}\mathrm{ax}& 2/3\mathrm{bx}& \mathrm{cx}& 2/3\mathrm{bx}& \mathrm{ax}& 2/3\mathrm{bx}& \mathrm{cx}& 2/3\mathrm{bx}\\ 1/2\mathrm{ay}& 1/3\mathrm{by}& 1/2\mathrm{cy}& 1/3\mathrm{by}& 1/2\mathrm{ay}& 1/3\mathrm{by}& 1/2\mathrm{cy}& 1/3\mathrm{by}\\ \mathrm{ax}& 2/3\mathrm{bx}& \mathrm{cx}& 2/3\mathrm{bx}& \mathrm{ax}& 2/3\mathrm{bx}& \mathrm{cx}& 2/3\mathrm{bx}\\ 1/2\mathrm{ay}& 1/3\mathrm{by}& 1/2\mathrm{cy}& 1/3\mathrm{by}& 1/2\mathrm{ay}& 1/3\mathrm{by}& 1/2\mathrm{cy}& 1/3\mathrm{by}\end{array}\right]$

                                式6

一旦完成式6的缩放处理，就设计8×4整数变换。也就是说，针对整数变换，通过在量化处理中包括矩阵E，来设计块尺寸为8×4的最终整数变换。

基本量化处理可以由下式来表示：

Z_ij＝round(Y_ij/Qstep)    式7

式7中，Y_ij表示由在对残留块进行了变换之后的矩阵表达的元素，而Qstep表示量化阶的尺寸。

当将如式7所示执行的基本量化运算应用至用于块尺寸为8×4的变换和量化的实际量化处理时，可以表示如下：

|Z_ij|＝(|W_ij|·MF+f|)>>qbits    式8

sign(Z_ij)＝sign(W_ij)    式9

式8中，W_ij表示由在对残留块的各个残留信号进行了变换之后的矩阵表达的元素，MF表示根据量化参数确定的乘法因子，并且作为确定舍入误差和死区尺寸的因子的f在通过帧内预测来预测当前块时为2^qbits/3，而在通过帧间预测来预测当前块时被固定在2^qbits/6。这里，qbits为16+floor(QP/6)(其中，floor是指下舍入运算)，并且可以根据变换之后的变换系数的最大值和最小值来改变。

对此，式6的矩阵E被包括在MF中，并且MF如下给出：

$\frac{\mathrm{MF}}{a^{\mathrm{qbits}}}=\frac{\mathrm{PF}}{\mathrm{Qstep}}$     式10

在式10中，PF是指矩阵E，并且因为PF根据变换类型和近似而改变，所以必须获取并使用适合于各个变换的MF。

图8例示了根据本发明的一方面的用于8×4变换的MF。

因为MF值根据式6的矩阵E的系数的位置改变，所以图8的第一行表示根据式6的矩阵E的系数位置，并且图8的第一列表示Qstep。这里，所使用的MF值以数学方式导出，但其可能因为整数变换不是针对视频编码的最优变换而被修正。

通过自适应地应用块尺寸为8×4的上述变换和量化，可以根据包括块尺寸为P×Q的变换和量化(诸如块尺寸为4×8的变换和量化以及块尺寸为16×8的变换和量化)的各种变换和量化类型来执行变换和量化。

而且，根据本发明的一方面，考虑到当前宏块的尺寸或形状、用于预测的当前宏块或子块的预测模式和尺寸等，变换器和量化器130可以选择尺寸为2ⁿ×2ⁿ的子块，以使当前宏块的变换和量化效率最大化。以下，对本发明的将尺寸为64×64的宏块划分成具有不同尺寸的子块并且接着执行变换和量化的一方面进行描述。

64×64宏块可以划分成4个32×32子块、16个16×16子块、64个8×8子块、256个4×子块或者1024个2×2子块。图22例示了将64×64宏块分别划分成32×32子块、16×16子块以及8×8子块的示例。变换器和量化器130可以将64×64宏块划分成这些子块，利用与相应子块对应的尺寸来执行变换和量化，并且接着确定实现最佳编码效率的变换和量化块尺寸。根据本发明的一方面，可以利用两个标记transform_size_flag和transform_division_flag来向视频解码设备报告指示所确定的变换和量化块尺寸的变换类型。

transform_size_flag指示是否使用具有原始宏块尺寸的变换。例如，当transform_size_flag的值为0时，transform_size_flag指示使用原始宏块尺寸为64×64的变换和量化。相反，当transform_size_flag的值为1时，transform_size_flag指示执行具有比64×64的原始宏块尺寸小的子块尺寸的变换和量化。当transform_size_flag的值为1时，对指示具体的变换和量化块尺寸的transform_division_flag进行编码。例如，transform_division_flag在transform_division_flag的值为0时指示32×32变换和量化，在transform_division_flag的值为1时指示16×16变换和量化，并且在transform_division_flag的值为2时指示8×8变换和量化。根据本发明的一方面的视频解码设备的逆变换器和逆量化器2030可以基于该两个标记(即，transform_size_flag和transform_division_flag)中的任一个来选择逆变换和逆量化块尺寸。

当通过从要被编码的当前宏块或子块中减去该当前宏块或子块的预测块而获取的残留块的尺寸大于如上确定的变换和量化块尺寸时，变换器和量化器130将残留块划分成具有与该变换和量化块尺寸相同的尺寸的子块，并接着对各个子块进行变换和量化。相反，当残留块的尺寸小于该变换和量化块尺寸时，变换器和量化器130将多个相邻残留块相互组合，以生成具有与该变换和量化块尺寸相同的尺寸的组合残留块，并接着对该组合残留块进行变换和量化。

图9是用于说明根据本发明的一方面的在应用各种变换和量化类型的情况下进行滤波的视图。

图9例示了在当前块是尺寸为32×32的宏块时，根据各种变换和量化类型来对残留块进行变换和量化，再次对所变换和量化的残留块进行逆变换和逆量化，并接着通过将所逆变换和逆量化的残留块与预测块相加来重建当前块。

图9中，实线表示当前宏块或当前宏块的子宏块的边界。在横跨存在于由实线圆指示的区域内的边界执行滤波的情况下，仅横跨由虚线指示的块边界来执行滤波。对此，可以利用用于减少块效应的去块滤波来执行滤波，并且在这种情况下，将一维低通滤波器用作用于去块滤波的去块滤波器。横跨垂直边界并且接着横跨水平边界执行滤波。

在典型的视频编码中，因为仅利用4×4或8×8整数变换来执行变换和量化，所以增加了要进行去块滤波和/或去振铃滤波的块边界，这导致执行滤波的次数增加。然而，当根据本发明的一方面执行块尺寸为P×Q的变换和量化时，因为与典型的视频编码相比减少了执行滤波的次数，所以可以减小视频编码设备100和视频解码设备的实现复杂性，并且因为造成很小的块效应，所以可以改进编码效率。

而且，当根据本发明的一方面执行块尺寸为P×Q的变换和量化时，滤波所参照的像素数可以因为变换和量化块尺寸的增加而增加，这导致所执行的滤波的更准确的结果，并由此可以进一步减少去块效应和去振铃噪声。

图10是用于说明根据本发明的一方面的横跨块边界执行去块滤波的处理的视图。

图10中，a、b、c、d、e和f表示在横跨块边界执行去块滤波之前的像素，b'、c'、d'和e'表示在横跨块边界执行去块滤波之后的像素，并且各个像素的垂直位置表示对应像素的亮度。像素c与d之间的实线表示块边界。从图10可看出，在横跨块边界执行去块滤波之前，在块边界处出现像素之间的大的亮度差(像素c与d之间的亮度差突然增加)，结果造成块效应。

为了减少这些块效应，横跨块边界执行去块滤波。也就是说，滤波之前的像素b、c、d和e的亮度利用相邻像素的亮度来校正，并由此可以生成像素b'、c'、d'和e'。

用于去块滤波的一维低通滤波器可以包括强滤波器和弱滤波器。强滤波器可以如式11所示实现，并且弱滤波器可以如式12所示实现。

$d^{\′}=\frac{b+c+d+e+f+\mathrm{\α}}{5}$     式11

$d^{\′}=\frac{b+3c+8d+3e+\mathrm{\α}}{16}$     式12

在式11和式12中，b、c、d、e、f和d'指示图10所示的像素，并且α指示舍入常数。

通过式11和式12可看出，要滤波的像素在利用强滤波器执行滤波时受到相邻像素的极大影响，从而为要滤波的像素设置权重，进而在利用弱滤波器执行滤波时，该像素不太受到相邻像素的影响。利用这种概念，可以在改变应用于强滤波器和弱滤波器的权重的同时执行滤波，并且还可以在选择性地应用多个相邻像素和多个要滤波的像素的同时执行滤波。因此，根据本发明的一方面，该滤波结果还可以因在执行块尺寸为P×Q的变换和量化并横跨块边界执行去块滤波时所参照的相邻像素的数量的增加而进一步改进。

图11是用于说明根据本发明的一方面的执行去振铃滤波的处理的视图。

为了执行去振铃滤波，必须检测要重建的视频中的边缘。为此，执行诸如Sobel运算的边缘检测处理。图11示出了具有所检测的边缘的块。图11中，填充为黑色的像素表示在对应的视频中检测出的边缘，A表示要滤波的像素，并且B和C表示在沿水平方向执行滤波时的相邻像素。为了减少去振铃噪声，对已经检测到边缘的块的像素进行去振铃滤波。用于去振铃滤波的滤波器可以如下式所示实现，并且沿垂直方向并接着沿水平方向对已经检测到边缘的块的相应像素进行滤波。

$A^{\′}=\frac{\mathrm{\βB}+\mathrm{\γA}+\mathrm{\δC}+\mathrm{\α}}{\mathrm{\λ}}$     式13

在式13中，A表示要滤波的像素，B和C表示在沿水平方向或垂直方向执行滤波时的相邻像素，并且A'表示从滤波得到的像素。而且，β、γ和δ各自表示根据像素B、A或C是否为边缘而不同地应用的权重，α表示舍入常数，并且λ表示β、γ以及δ的和。

去振铃滤波针对不是边缘的像素来执行，并且在像素B或C是边缘时赋予各个像素的权重、在像素B和C是边缘时赋予各个像素的权重以及在像素B和C不是边缘时赋予各个像素的权重可以不同。例如，当像素B或C是边缘时，如果像素B是边缘，则赋予像素C的权重最大，并且如果像素C是边缘，则赋予像素B的权重最大。而且，当像素B和C这两者是边缘时，赋予像素B和C的权重为0。而且，当像素B和C都不是边缘时，赋予像素A的权重最大。

利用该概念，可以在改变应用于各个像素的权重的同时执行去振铃滤波，并且还可以选择性地使用所参照的多个相邻像素。因此，根据本发明的一方面，该滤波结果还可以因在执行块尺寸为P×Q的变换和量化并且针对包括边缘的块执行去振铃滤波时所参照的相邻像素的数量的增加而进一步改进。

以下对根据本发明的一方面的用于将包括在经变换和量化的残留块中的经量化的变换系数转换成一维变换系数串的扫描进行描述。

根据本发明的一方面，该扫描方法可以根据当前块是帧内块还是帧间块来选择。

当根据本发明的一方面对帧内块的量化变换系数进行扫描时，可以根据该帧内块的预测方向(即，帧内预测模式)来选择扫描图案。更具体地说，根据完成预测的模式来获取2ⁿ×2ⁿ的经量化的变换系数块的各个位置中的系数的出现概率，并且改变扫描序列，以使得首先扫描具有高概率的频域系数。这样，连续更新扫描序列的方法被应用于视频编码设备和视频解码设备。通过该方法，设置该扫描序列，以使得按照从具有最高出现频率或最大系数值的系数位置至具有最低出现频率或最高出现概率为0的系数位置的顺序来执行扫描，结果，进一步改进了在完成扫描处理之后要用于编码器150的熵编码的效率。这里，因为使用完成预测和变换以及量化的各个模式，所以视频解码设备还可以获知各个预测模式，进而，编码与解码处理彼此相符合。通过这样，编码和解码系数位置可以具有相同的出现频率，并且在编码和解码处理中，扫描序列可以相同。

图23例示了针对帧内4×4块的扫描根据基于概率计算的九种模式可以具有各种扫描序列。图23所示的九种模式中的每一种表示1至16的扫描序列。按照从数字1至数字16的顺序执行扫描。该扫描序列不是特定图案，而是基于针对完成变换和量化的各个模式的系数的尺寸或系数分布的概率而确定的序列。该扫描序列可以根据随着执行编码而改变的概率来更新。

这里，块的尺寸可以是覆盖所有帧内模式的2ⁿ×2ⁿ，并且该扫描序列不限于图23所示的针对帧内4×4块的九种模式。如果尺寸为2ⁿ×2ⁿ的帧内块具有M种模式，则该扫描方法覆盖针对所有M种模式可以具有不同的序列的所有扫描方法。而且，该扫描序列可以通过连续获取针对完成预测的模式的概率并且根据所获取的概率改变该扫描序列来更新。因为针对完成预测的模式经过了编码和解码处理，所以即使对有关该扫描序列的附加信息进行了编码，解码处理也可以获知导出该扫描序列的所确定的模式和概率，进而可以进行根据该同一扫描序列的解码。

在帧间块的情况下，因为根据各种变换和量化类型来执行变换和量化，所以扫描器140或编码器150根据该变换和量化类型来对经变换和量化的残留块的经量化的变换系数进行扫描，以生成经量化的变换系数串。图12例示了根据本发明的一方面的依照帧间块的变换和量化类型的扫描序列。

图12中，在经变换和量化的残留块具有块尺寸8×4时对经量化的变换系数进行扫描的序列和在经变换和量化的残留块具有块尺寸4×8时对经量化的变换系数进行扫描的序列通过示例的方式示出。图12所示的扫描序列可以自适应地应用于根据本发明的一方面使用的各种变换和量化类型，并且还可以通过根据合适的扫描序列对经量化的变换系数进行扫描来改进编码效率。在DCT的情况下，变换系数因为变换之后的变换系数通常按具有低能量的频率部分聚集在一起而趋于拥挤，并且整数变换也因为基于DCT而表现出相同的趋势。因此，有效的是，将DC系数的位置设置为扫描的起始点，并且按照变换系数的能量的、从位置最靠近DC系数的系数开始的降序来对变换系数进行扫描。

编码器150可以对经量化的变换系数串进行编码，所量化的变换系数串通过按照各种方式根据图12所示的扫描序列或类似的扫描序列对经量化的变换系数进行扫描来生成，以生成比特流。然而，编码器150可以通过应用基于现有内容的自适应可变长度编码(下文称为“CAVLC”)来对经变换和量化的残留块进行扫描和编码。

图13至图18是用于说明根据本发明的一方面的依照变换和量化类型来应用CAVLC的方法的视图。

在典型的视频编码中，CAVLC仅针对尺寸为4×4的块来执行。然而，在本发明的一方面中，AVLC还可以针对块尺寸大于4×4的块来执行。

图13至图18例示了尺寸分别为8×4、4×8、8×8、16×8、8×16以及16×16的经变换和量化的残留块中的每一个依次分解成尺寸为4×4的块，以应用CAVLC。图13至图18中，给出相应的像素中输入的数字1、2、3和4，以指示各个像素的位置，并且各个尺寸为4×4的块通过仅收集具有相同数字的像素来形成。

作为示例，在图13所示的具有尺寸8×4的经变换和量化的残留块中，每隔一列给出数字1和2，并且各自具有尺寸4×4的两个经变换和量化的残留块可以通过独立地收集被给予数字1的四个列和被给予数字2的四个列来获取，如图所示。编码器150通过利用CAVLC对如图所示获取的各自具有尺寸4×4的两个经变换和量化的残留块进行编码，来生成比特流。

作为另一示例，在图15所示的具有尺寸8×8的经变换和量化的残留块中，各自具有尺寸4×4的四个经变换和量化的残留块可以通过独立地收集被给予数字1的像素、被给予数字2的像素、被给予数字3的像素以及被给予数字4的像素来获取。编码器150通过利用CAVLC对如图所示获取的各自具有尺寸4×4的四个经变换和量化的残留块进行编码，来生成比特流。

图19是用于说明根据本发明的一方面的视频编码方法的流程图。

在根据本发明的一方面的视频编码方法中，视频编码设备100预测当前块以生成预测块(S1910)，通过从当前块中减去预测块来生成残留块(S1910)，根据当前块的块类型来确定变换和量化类型(S1930)，以及根据所确定的变换和量化类型对残留块进行变换和量化，并且对所变换和量化的残留块进行编码(S1940)。这里，该当前块是具有尺寸M×M的宏块，并且M和N可以大于16。在确定变换和量化类型的步骤(S1930)中使用的当前块的块类型包括当前块的形状或尺寸。而且，在生成预测块的步骤(S1910)中使用的、作为预测的单位的块的预测模式和尺寸还可以用来确定变换和量化类型。

而且，在步骤S1910中，视频编码设备100可以通过以下步骤来生成预测块：将当前块划分成多个子块，预测所述多个子块以生成预测子块，以及将这些预测子块相互组合。为此，视频编码设备100可以确定针对视频的各个帧的块类型，并且在这种情况下，当前块根据所确定的块类型可以是宏块。在确定块类型时，视频编码设备100可以根据多个块类型来利用对帧进行编码所需的编码开销确定块类型，但是还可以根据帧的特征来确定块类型。帧的这种特征可以包括帧的水平相关性和垂直相关性中的一个或更多个。而且，视频编码设备100可以对有关块类型的信息进行编码，并将该信息附加地包括在经编码的数据中。

而且，在步骤S1930中，视频编码设备100可以在块类型是帧内块类型时，将块尺寸等于块类型的尺寸的变换和量化确定为变换和量化类型，并且可以在块类型是帧间块类型时，利用编码开销来将具有各种块尺寸的多个变换和量化中的一个确定为变换和量化类型。这里，具有各种块尺寸的所述多个变换和量化可以包括具有与子块的块尺寸相同的块尺寸的变换和量化。

而且，在步骤S1940中，视频编码设备100可以通过按照所变换和量化的残留块的经量化的变换系数的能量的、从位置最靠近DC系数的经量化的变换系数开始的降序，对所变换和量化的残留块的经量化的变换系数进行扫描，来生成经量化的变换系数串，接着对所扫描的经量化的变换系数串进行编码。

另外，视频编码设备100可以通过对所变换和量化的残留块进行逆变换和逆量化来重建残留块，通过将所重建的残留块与预测块相加来重建当前块，以及根据变换和量化类型对所重建的当前块进行滤波。在对所重建的当前块进行滤波时，视频编码设备100可以根据变换和量化类型来横跨所重建的当前块的边界执行去块滤波，并且根据变换和量化类型来执行去振铃滤波。然而，并非必须执行去块滤波和去振铃滤波这两者，而是可以仅执行去块滤波和去振铃滤波中的一个或者这两者都不执行。

而且，视频编码设备100可以对有关在步骤S1930中确定的变换和量化类型的信息进行编码，并将该信息包括在经编码的数据中。这里，除了变换和量化类型以外，包括在经编码的数据中的信息可以包括上述信息，即，指示作为编码的单位的宏块的尺寸或形状的宏块信息、有关针对宏块或子块(在为了预测而将宏块划分成多个子块的情况下)的预测模式的信息、在为了预测而将宏块划分成多个子块的情况下的指示子块(即，作为预测的单位的块)的划分方案或尺寸的宏块划分信息、在预测模式是帧内预测模式的情况下的有关运动向量的信息等。

如上所述，当使用根据本发明的一方面的视频编码设备100和视频编码方法时，因为可以执行以可变尺寸的宏块或子块为单位的预测、具有各种块尺寸的变换和量化、适合于变换和量化类型的扫描和滤波，所以可以更高效地对高分辨率视频进行编码。由视频编码设备100编码成经编码的数据的视频可以实时或非实时地发送至下面要描述的视频解码设备，其中，经由无线/有线通信网络(包括互联网、短距离无线通信网络、无线LAN网络、还称为WiMax网络的WiBro(无线宽带)以及移动通信网络或诸如线缆或USB(通用串行总线)的通信接口)将所编码的数据解码、重建以及再现成视频。

图20示意性地例示了根据本发明的一方面的视频解码设备。

根据本发明的一方面的视频解码设备2000可以包括：解码器2010、逆扫描器2020、逆量化器和逆变换器2030、预测器2040、加法器2050以及滤波器2060。这里，逆扫描器202和滤波器2060并非必须包括在视频解码设备2000中，并且可以根据视频解码设备2000的实现设计而省略。当省略逆扫描器2020时，其功能可以并入到解码器2010中。

解码器2010接收通过将输入的视频划分成具有不同的形状或尺寸的多个宏块并且对各个宏块进行编码而获取的视频数据，并且对指示各个宏块的形状或尺寸的宏块信息进行解码。

解码器2010对经编码的数据(即，通过在视频编码设备中对宏块进行编码所获取的并且从该视频编码设备发送的视频数据)进行解码，以重建经变换和量化的残留块。也就是说，解码器2010对经编码的数据进行解码，以重建经量化的变换系数串。当扫描器140的功能被并入到视频编码设备100的编码器150中时，逆扫描器2020也从视频解码设备2000中省略，并且其功能被并入到解码器2010中。因此，解码器2010可以通过对所重建的经量化的变换系数串进行逆扫描来重建所变换和量化的残留块。

而且，解码器2010可以通过对所编码的数据进行解码，来进行解码或者提取进行解码所需的信息以及所变换和量化的残留块。进行解码所需的信息是指对被编码在所编码的数据中的比特流进行解码所需的信息，该信息可以是例如指示作为编码的单位的宏块的尺寸或形状的宏块信息、有关针对宏块或子块(在为了预测而将宏块划分成多个子块的情况下)的预测模式的信息、在为了预测而将宏块划分成多个子块的情况下的指示子块(即，作为预测的单位的块)的划分方案或尺寸的宏块划分信息、在预测模式是帧间预测模式的情况下的有关运动向量的信息、有关变换和量化类型的信息等，但是还可以是各种其它信息。

解码器2010对输入的比特流进行解析，以识别所编码的视频的层次结构以及要用于解码的具体算法。更具体地说，解码器2010通过宏块信息来识别作为编码的单位的各个宏块的形状或尺寸。通过有关变换和量化类型的信息来确定要执行什么类型和/或尺寸的变换和量化。作为预测的单位的预测单位块的尺寸或形状通过宏块划分信息来确定。通过预测模式信息来确定使用什么预测模式来生成当前宏块或子块(在为了预测而将宏块划分成多个子块的情况下)的预测块。

可以将由解码器2010解析的宏块信息传送至逆量化器和逆变换器2030以及预测器2040。可以将有关变换和量化类型的信息传送至逆量化器和逆变换器2030，并且可以将进行预测所需的信息(诸如预测模式信息、宏块划分信息以及运动向量信息)传送至预测器2040。

逆扫描器2020对由解码器2010重建并从该解码器2010传送的所量化的变换系数串进行逆扫描，以重建所变换和量化的残留块。如上所述，当扫描器140的功能被并入到视频编码设备100的编码器150中时，逆扫描器2020也可以从视频解码设备2000中省略，并且可以将其功能并入到解码器2010中。而且，解码器2010或逆扫描器2020根据通过有关变换和量化类型的信息(该信息通过在解码器2010中对所编码的数据进行解码而重建)标识的变换和量化类型来对所变换和量化的残留块进行逆扫描。这里，在帧间块的情况下，由逆扫描器2020根据变换和量化类型来对所变换和量化的残留块进行逆扫描的方法与逆向地执行由扫描器140对所变换和量化的残留块的经量化的变换系数进行扫描的处理的方法相同或相似，如参照图1和图12所述。在帧内块的情况下，按照如上所述的相同方式，根据针对各个帧内预测模式的扫描图案来对系数进行扫描。按照与扫描器140中的扫描序列相同的序列来执行逆扫描方法，由此省略其详细描述。

逆量化器和逆变换器2030对所重建的经变换和量化的残留块进行逆量化和逆变换，以重建残留块。对此，逆量化器和逆变换器2030根据由从解码器2010传送来的有关变换和量化类型的信息标识的变换和量化类型，来对所变换和量化的残留块进行逆量化和逆变换。这里，由逆量化器和逆变换器2030根据变换和量化类型对所变换和量化的残留块进行逆量化和逆变换的方法与逆向地执行由视频编码设备100的变换器和量化器130根据变换和量化类型执行变换和量化的处理的方法相同或相似。由此省略其详细描述。

当通过逆变换和逆量化处理生成的残留块的尺寸大于预测块的尺寸时，逆量化器和逆变换器2030将残留块划分成各自具有与预测块相同的尺寸的子块，并且接着将所划分的子块输出至加法器2050。相反，当通过逆变换和逆量化处理生成的残留块的尺寸小于预测块的尺寸时，逆变换器和逆量化器2030组合多个相邻的残留块，以生成具有与预测块相同的尺寸的组合残留块，并且接着将所生成的组合残留块输出至加法器2050。预测器2040预测当前块以生成预测块。这里，预测器2040利用从解码器2010传送来的宏块信息和进行预测所需的信息来预测当前块。也就是说，预测器2040根据宏块信息来确定当前宏块的尺寸和形状，并且利用由进行预测所需的信息标识的帧内预测模式或运动向量来预测当前宏块，以生成预测块。当宏块信息指示已经将当前宏块划分成多个子块时，预测器2040可以按照与视频编码设备100的预测器110相同或相似的方式来将当前宏块划分成子块并预测各个划分的子块，以生成预测子块。

加法器2050将由逆量化器和逆变换器2030重建的残留块与由预测器2040生成的预测块相加，以重建当前块。

滤波器2060对由加法器2050重建的当前块进行滤波。所重建和滤波的当前块按图片累积并且作为基准图片存储在存储器(未示出)中，以供预测器2040预测下一个块或下一个图片时使用。这里，当滤波器2060对所重建的当前块进行滤波时，滤波器2060根据由从解码器2010传送来的有关变换和量化类型的信息标识的变换和量化类型来执行滤波。对此，滤波器2060可以根据变换和量化类型按照不同的方式横跨当前块的边界执行去块滤波，或者当在当前块中检测到边缘时根据变换和量化类型按照不同的方式执行对当前块的去振铃滤波，由此减小出现在所重建的视频的块边界处的块效应，或者减小出现在该块中的边缘周围的振铃噪声。由滤波器2060执行去块滤波和去振铃滤波的方法与由视频编码设备100的滤波器180执行去块滤波和去振铃滤波的方法相同或相似，由此省略其详细描述。

图21是用于说明根据本发明的一方面的视频解码方法的流程图。

在根据本发明的一方面的视频解码方法中，视频解码设备2000对经编码的数据进行解码，以重建经变换和量化的残留块(S2110)，对所变换和量化的残留块进行逆变换和逆量化，以重建残留块(S2120)，预测当前块以生成预测块(S2130)，以及将所重建的残留块与预测块相加，以重建当前块(S2140)。

视频解码设备2000可以通过对所编码的数据进行解码来附加地重建有关变换和量化类型的信息。因而，在步骤S2120中，视频解码设备2000根据由有关变换和量化类型的信息标识的变换和量化类型来对所变换和量化的残留块进行逆变换和逆量化。

而且，在步骤S2140中，视频解码设备2000可以根据变换和量化类型来对所重建的当前块进行滤波。也就是说，视频解码设备2000根据变换和量化类型来横跨所重建的当前块的边界执行去块滤波，并且根据变换和量化类型来执行对所重建的当前块的去振铃滤波。这里，可以执行去块滤波和去振铃滤波这两者，但是还可以选择性地执行它们中的仅一个，或者这两者都不执行。视频解码设备2000可以根据变换和量化类型来按照不同的方式执行去块滤波，并且可以根据变换和量化类型来按照不同的方式执行去振铃滤波。此外，当前块是尺寸为M×N的宏块，并且M和N可以大于16。

而且，在步骤S2130的生成预测块中，视频解码设备2000可以将当前块划分成多个子块，预测所述多个子块以获取预测子块，以及组合预测子块以生成预测块。

而且，视频解码设备2000可以附加地重建针对视频的各个帧的宏块信息，并且在这种情况下，当前块可以是具有由所重建的宏块信息标识的尺寸或形状的宏块。

如上所述，根据本发明的一方面，因为通过经由块尺寸为P×Q的可变尺寸的宏块和对应的变换和量化来适当地利用出现在高分辨率视频中的时间/空间相邻的像素之间的高相关性、以块尺寸P×Q进行扫描以及进行滤波，来实现对高分辨率视频的编码，所以可以改进编码效率。而且，由于减小了因为使用具有可扩展块尺寸的宏块以及变换和量化而造成的块失真，所以不仅可以改进编码效率，而且还可以减少横跨块边界执行变换和去块滤波(可以在编码和解码中执行变换和去块滤波)的次数，这样使得可以降低视频编码设备100和视频解码装置2000的实现复杂性。

在上面的描述中，尽管本发明的多个实施方式的全部组件已经被解释为装配为或可操作地连接为一个单元，但是本发明并非旨在将其本身限制于这些实施方式。相反，在本发明的目标范围内，相应组件可以选择性地且可操作地按任何数量组合。每个组件本身还可以按硬件来实现，同时可以将相应组件部分地或者作为整体选择性地组合并且采用具有用于执行硬件等同物的功能的程序模块的计算机程序来实现。本领域技术人员可以容易地推断用于构成这种程序的代码或代码段。该计算机程序可以存储在计算机可读介质中，其在操作时可以实现本发明的方面。作为计算机可读介质，候选物包括磁记录介质、光记录介质，以及载波介质。

另外，例如“包括”以及“具有”的术语应当默认地解释为包含的或者开放的，而非排它的或封闭的，除非另有指明。所有技术的、科学的等术语都与本领域技术人员所理解的含义一致，除非另有说明。在词典中找到的普通术语应当在相关技术内容背景下被解释为不是太理想化或者非实用，除非本发明直接将它们限定为如此。

尽管出于例示性目的已经描述了本发明的示例性方面，但是本领域技术人员应当清楚，在不脱离本发明的基本特征的情况下，可以进行各种修改、添加以及替换。因此，本发明的示例性方面并非出于限制性目的而进行了描述。因此，本发明的范围并非通过上述方面而是通过权利要求书及其等同物来限制。

工业应用

如上所述，本发明对于对高分辨率视频进行编码和解码的视频压缩处理领域中的应用非常有用。具体地说，不仅编码效率能够因为本发明使得能够利用出现在视频中的时间/空间相邻的像素之间的高相关性来进行编码而被提高，而且压缩效率还能够通过减少块失真而被提高。而且，可以减少执行滤波的次数，这使得可以降低视频编码和解码设备的实现复杂性。

相关申请的交叉引用

如果可应用，则本申请要求保护2009年9月14日在韩国提交的专利申请No.10-2009-0086305在35U.S.C§119(a)下的优先权，将其全部内容通过引用并入本文。另外，该非临时申请基于该韩国专利申请，以相同理由要求保护在除美国以外的其它国家的优先权，将其全部内容通过引用并入本文。

Claims (22)

1.一种视频编码方法，该视频编码方法包括以下步骤：

将输入的视频划分成具有各种形状或尺寸的多个宏块；

对宏块进行编码；以及

生成指示所述宏块中的每一个宏块的形状或尺寸的宏块信息。

2.根据权利要求1所述的视频编码方法，其中，对所述宏块进行编码的步骤包括以下步骤：

将所述宏块划分成一个或更多个子块；以及

生成指示所述宏块被帧内预测还是帧间预测的预测模式信息以及指示所述子块中的每一个子块的尺寸的宏块划分信息。

3.根据权利要求2所述的视频编码方法，其中，当所述宏块被帧内预测时，对所述宏块进行编码的步骤包括以下步骤：

获得表示所述子块中的每一个子块与所述子块中的每一个子块的预测子块之间的差的残留块；

对所述残留块进行变换并且对变换的残留块进行量化；以及

对所变换和量化的残留块的变换系数进行扫描。

4.根据权利要求3所述的视频编码方法，其中，对所述宏块进行编码的步骤包括以下步骤：

预测所述子块中的每一个子块以获取所述预测子块；

获取表示所述子块中的每一个子块与所述子块中的每一个子块的所述预测子块之间的差的所述残留块；

基于所述宏块中的每一个宏块的尺寸、所述预测模式以及所述子块中的每一个子块的尺寸中的至少一个来确定变换类型；

根据所确定的变换类型对所述残留块进行变换；以及

对所变换的残留块进行量化。

5.根据权利要求4所述的视频编码方法，其中，对所述宏块中的每一个进行编码的步骤还包括以下步骤：

对指示所确定的变换类型的信息进行编码。

6.根据权利要求5所述的视频编码方法，其中，

指示所述变换类型的所述信息包括所述变换的尺寸或种类。

7.根据权利要求1所述的视频编码方法，其中，所述多个宏块中的每一个宏块具有水平边的长度与垂直边的长度不同的矩形形状。

8.根据权利要求4所述的视频编码方法，其中，确定所述变换类型的步骤包括以下步骤：

当所述预测模式是帧内预测模式时，将所述变换的尺寸确定为与所述预测子块的尺寸相同。

9.根据权利要求4所述的视频编码方法，其中，对所述残留块进行变换的步骤包括以下步骤：

当所述残留块的尺寸小于所确定的变换的尺寸时，将多个残留块相互组合以生成尺寸等于所述变换的尺寸的组合残留块，并接着对所述组合残留块进行变换。

10.根据权利要求3所述的视频编码方法，其中，利用与多个帧内预测模式当中的、用于预测所述子块中的每一个子块的帧内预测模式对应的扫描图案对所变换和量化的残留块的所述变换系数进行扫描。

11.根据权利要求10所述的视频编码方法，其中，当所变换和量化的残留块具有4×4的块尺寸时，利用与所述帧内预测模式相对应的所述扫描图案对所变换和量化的残留块的所述变换系数进行扫描。

12.一种视频解码方法，该视频解码方法包括以下步骤：

接收通过将输入的视频划分成具有各种形状或尺寸的多个宏块并对所述宏块中的每一个宏块进行编码而获取的视频数据；

对指示所述宏块中的每一个宏块的形状或尺寸的宏块信息进行解码；以及

基于所述宏块信息对所述宏块进行解码。

13.根据权利要求12所述的视频解码方法，其中，对所述宏块进行解码的步骤包括以下步骤：

对指示所述宏块的子块中的每一个子块的尺寸的宏块划分信息和指示所述宏块被帧内预测还是帧间预测的预测模式信息进行解码；以及

基于所述宏块划分信息和所述预测模式信息来获取所述子块中的每一个子块的预测子块。

14.根据权利要求13所述的视频解码方法，其中，当所述宏块被帧内预测时，对所述宏块进行解码的步骤包括以下步骤：

当将所述宏块划分成多个子块时，将所述宏块划分成多个子块；

对变换系数进行扫描以获得变换和量化的残留块；

对所变换和量化的残留块进行逆量化和逆变换；以及

将所逆量化和逆变换的残留块与所述预测子块相加，以获取重建块。

15.根据权利要求14所述的视频解码方法，其中，对所述宏块进行解码的步骤包括以下步骤：

基于所述宏块中的每一个宏块的尺寸、所述预测模式以及所述子块中的每一个子块的尺寸中的至少一个来确定逆变换类型；

根据所确定的逆变换类型对残留块进行逆量化和逆变换，以获取经逆量化和逆变换的残留块；以及

将所逆量化和逆变换的残留块与所述预测子块相加，以获取所述重建块。

16.根据权利要求15所述的视频解码方法，其中，确定所述逆变换类型的步骤包括以下步骤：

基于指示所述逆变换类型的信息来确定所述逆变换类型。

17.根据权利要求16所述的视频解码方法，其中，指示所述逆变换类型的所述信息包括所述逆变换的尺寸或种类。

18.根据权利要求12所述的视频解码方法，其中，所述宏块中的每一个宏块具有水平边的长度与垂直边的长度不同的矩形形状。

19.根据权利要求15所述的视频解码方法，其中，确定所述逆变换类型的步骤包括以下步骤：

当所述预测模式是帧内预测模式时，将所述逆变换的尺寸确定为与所述子块中的每一个子块的尺寸相同。

20.根据权利要求15所述的视频解码方法，其中，对所述宏块中的每一个进行解码的步骤还包括以下步骤：

当所述预测子块的尺寸小于所确定的逆变换的尺寸时，将所逆量化和逆变换的残留块划分成多个残留子块，每一个所述残留子块都具有等于所述预测子块的尺寸的尺寸；以及

将所述残留子块中的每一个残留子块与所述预测子块相加，以获取重建块。

21.根据权利要求14所述的视频解码方法，其中，利用与多个帧内预测模式当中的、用于预测所述子块中的每一个子块的帧内预测模式对应的扫描图案，对所变换和量化的残留块的所述变换系数进行扫描。

22.根据权利要求21所述的视频解码方法，其中，当所变换和量化的残留块具有4×4的块尺寸时，利用与所述帧内预测模式相对应的所述扫描图案对所变换和量化的残留块的所述变换系数进行扫描。