CN102972022A - 滤波器的定位和选择 - Google Patents

Abstract

本发明涉及一种对图像信号编码和解码的方法及其对应的设备。具体而言，在图像信号的编码和/或解码期间，利用至少两个滤波器进行滤波。选择滤波器应用的序列，可能还选择滤波器，在选定的滤波顺序中利用选定的滤波器进行滤波。可以在编码器和解码器处以相同方式独立执行应用滤波器序列的确定，或者，可以在编码器处确定并发送给解码器。

Description

滤波器的定位和选择

技术领域

本发明涉及一种利用对视频信号进行滤波的滤波器对视频编码和解码的方法和设备。

背景技术

当前，大多数标准化的视频编码算法基于混合式视频编码。混合式视频编码方法通常组合几种不同的无损和有损压缩方案，以便实现期望的压缩增益。混合式视频编码也是ITU-T标准（H.26x标准，例如H.261、H.263）以及ISO/IEC标准（MPEG-x标准，例如MPEG-1、MPEG-2和MPEG-4）的依据。当前最新最先进的视频编码标准是称为H.264/MPEG-4高级视频编码（AVC）的标准，这是由联合视频团队（JVT）、ITU-T和ISO/IEC MPEG联合专家组进行标准化工作的成果。

输入到编码器的视频信号是称为帧的图像序列，每个帧都是像素的二维矩阵。所有上述基于混合式视频编码的标准都包括将每个个体视频帧细分成多个像素构成的更小块。典型地，宏块（通常表示16×16像素的块）是基本图像要素，对其执行编码。不过，可以为更小的图像要素执行各种特定编码步骤，它们被称为子宏块或简单的块，大小例如是8×8、4×4、16×8等。

典型地，混合式视频编码的编码步骤包括空间和/或时间预测。因此，首先利用空间相邻的块或时间相邻的块，即从先前编码的视频帧，预测要编码的每个块。然后计算要编码的块和其预测，也称为预测残余块之间的差异块。另一个编码步骤是将残余块从空间（像素）域变换到频率域中。该变换旨在减弱输入块的相关性。进一步的编码步骤是变换系数的量化。在这个步骤中，进行实际的有损（不可逆）压缩。通常，利用熵编码进一步压缩（无损压缩）已压缩的变换系数值。此外，对重构编码视频信号所需的辅助信息进行编码并与编码的视频信号一起提供。这是关于空间和/或时间预测、量化的量等的信息范例。

图1是符合典型的H.264/MPEG-4AVC标准的视频编码器100的范例。H.264/MPEG-4AVC标准组合了上述全部编码步骤。减法器105首先确定输入视频图像（输入信号）中要编码的当前块和用于预测要编码的当前块的对应预测块之间的差异。在H.264/MPEG-4AVC中，通过时间或空间预测获得预测信号。可以逐个帧或逐个宏块改变预测的类型。利用时间预测来预测的宏块称为被互编码，利用空间预测来预测的宏块被称为被内编码。可以由用户设置或由视频编码器选择用于视频帧的预测类型，以实现可能高的压缩增益。根据所选的预测类型，内/互开关175向减法器105提供对应的预测信号。从存储器140中存储的先前编码图像导出利用时间预测的预测信号。从先前编码、解码并存储在存储器140中的相邻块中边界像素的值导出利用空间预测的预测信号。存储单元140就这样充当着延迟单元，能够比较要编码的当前信号值和从先前信号值产生的预测信号值。存储器140能够存储多个先前编码的视频帧。变换输入信号和预测信号之间的差异（表示为预测误差或残余），获得系数，系数被量化110。然后向量化的系数应用熵编码器190以便进一步以无损方式减少数据量。这主要是通过应用具有可变长度代码字的代码实现的，其中基于其发生概率选择代码字的长度。

内编码图像（也称为I型图像或I帧）仅由被内编码的宏块构成，即可以不参考任何先前解码图像对内编码图像解码。内编码图像为编码的视频序列提供了误差恢复力，因为它们刷新了视频序列，消除了可能因为时间预测而在帧之间传播的误差。此外，I帧使得能够在编码视频图像序列之内进行随机访问。帧内预测使用一组预定义的内预测模式，基本利用已经编码的相邻块的边界像素来预测当前块。不同模式的空间内预测涉及所应用二维预测的不同方向。对于各种边缘方向而言，这样能够进行有效率的空间内预测。然后如上所述由减法器105从输入信号减去通过这样的内预测获得的预测信号。此外，对空间内预测模式信号进行熵编码并与编码视频信号一起提供。

在视频编码器100之内，并入解码单元以获得解码视频信号。与编码步骤相适应，解码步骤包括逆量化和逆变换120。由于量化误差，也称为量化噪声的原因，解码预测误差信号与原始预测误差信号不同。然后通过向预测信号增加125解码预测误差信号，获得重构信号。为了维持编码器侧和解码器侧之间的兼容性，基于在编码器和解码器两侧都已知的编码并随后解码的视频信号获得预测信号。由于量化的原因，量化噪声叠加到重构的视频信号上。由于是逐块编码的，叠加的噪声常常具有分块特征，特别对于强量化而言，这导致解码图像中可见的块边界。这种分块人为噪声对人的视觉感具有不利效应。为了减少这些人为噪声，向每个重构图像块应用解块滤波器130。向重构信号应用解块滤波器，重构信号是预测信号和量化的预测误差信号之和。解块之后的视频信号即解码信号，一般在解码器一侧（如果未应用后置滤波）显示。H.264/MPEG-4AVC的解块滤波器具有局部调整的能力。在分块噪声程度高的情况下，应用强（窄带）低通滤波器，而对于分块噪声程度低的情况，应用更弱（宽带）低通滤波器。低通滤波器的强度由预测信号和量化的预测误差信号决定。解块滤波器一般使块边缘平滑，实现解码图像主观质量的改善。此外，由于将图像的滤波部分用于对其他图像进行运动补偿预测，所以滤波还减少了预测误差，从而能够改善编码效率。

在显示之前对内编码宏块进行滤波，但是可以利用未过滤的重构宏块进行内部预测。

为了解码，互编码图像也需要先前编码并接下来解码的图像。可以单向地进行时间预测，即，仅使用要编码当前帧之前按时间排序的视频帧，或者双向进行时间预测，即，还使用当前帧之后的视频帧。单向时间预测获得称为P帧的互编码图像；双向时间预测获得称为B帧的互编码图像。通常，互编码图像可以包括P、B、甚至I型宏块的任一种。采用运动补偿预测160预测互编码宏块（P或B宏块）。首先，由运动估算器165在先前编码和解码的视频帧之内为当前块找到匹配最好的块。最佳匹配块然后变为预测信号，然后在与编码视频数据一起提供的辅助信息之内以三维运动矢量的形式将当前块及其最佳匹配之间的相对位移（运动）信号化为运动数据。三维由两个空间维度和一个时间维度构成。为了优化预测精确度，可以用空间子像素分辨率，例如半个像素或四分之一像素分辨率来确定运动矢量。具有空间子像素分辨率的运动矢量可以指向已经解码的帧之内的空间位置，其中没有任何真实的像素值，即子像素位置。因此，需要对这样的像素值进行空间内插，以便进行运动补偿预测。这是通过内插滤波器150实现的。根据H.264/MPEG-4AVC标准，应用具有固定滤波器系数的六抽头维纳内插滤波器和双线性滤波器，以便独立针对垂直与水平方向上的子像素位置获得像素值。

对于内编码模式和互编码模式而言，都由单元110对当前输入信号和预测信号之间的差异进行变换和量化，获得量化的系数。通常，采用正交变换，例如二维离散余弦变换（DCT）或其整数版本，因为它有效地减弱了自然视频图像的相关性。在变换之后，较低频率分量通常对于图像质量比高频分量更重要，因此可以比高频分量花费更多比特来对低频分量编码。在熵编码器中，将量化的系数的二维矩阵变换成一维阵列。典型地，由所谓的zig-zag扫描进行这种转换，从二维阵列左上角的DC系数开始，按照预定序列扫描二维阵列，结束于右下角的AC系数。由于通常将精力集中于二维系数矩阵对应于较低频率的左上角，所以zig-zag扫描获得的阵列，通常最后的值为零。这样能够利用游程长度代码作为实际熵编码的一部分/之前的部分进行有效率的编码。

H.264/MPEG-4AVC采用了标量量化110，可以由量化参数（QP）和可定制量化矩阵（QM）控制。由量化参数为每个宏块选择52种量化器之一。此外，专门设计量化矩阵以在源中保持特定频率，避免损失图像质量。可以针对视频序列调整H.264/MPEG-4AVC中的量化矩阵，并与视频数据一起信号化。

H.264/MPEG-4AVC包括两个功能层，视频编码层（VCL）和网络抽象层（NAL）。VCL如上文简述那样提供编码功能。NAL根据信息元素的进一步应用，例如在信道上传输或在存储器中存储，将它们封装成称为NAL单元的标准化单元。例如，信息元素是对视频信号编码所需的编码预测误差信号或其他信息，例如预测类型、量化参数、运动矢量等。存在VCL NAL单元，其包含压缩视频数据和相关信息，以及非VCL单元，其封装额外的数据，例如与整个视频序列相关的参数集，或提供可用于改善编码性能的补充增强信息（SEI）。

为了改善图像质量，可以在解码器侧200应用所谓的后置滤波器280。H.264/MPEG-4AVC标准允许通过SEI消息发送用于这种后置滤波器的后置滤波器信息。利用后置滤波器设计单元180在编码器侧确定后置滤波器信息，后置滤波器设计单元180比较本地解码的信号和原始输入信号。通常，后置滤波器信息是允许解码器设置适当滤波器的信息。它可以直接包括滤波器系数或能够设置滤波器的另一种信息，例如与未压缩信号相关的互相关信息，例如原始输入图像和解码图像之间或解码图像和量化噪声之间的互相关信息。可以使用这种互相关信息计算滤波器系数。后置滤波器设计单元180输出的滤波器信息也馈送给熵编码单元190，以便编码并插入编码信号中。在解码器那里，可以由后置滤波器使用滤波器信息，在显示之前将其用于解码信号。

图2示出了符合H.264/MPEG-4AVC视频编码标准的范例解码器200。编码的视频信号（解码器的输入信号）首先传递到熵解码器290，对量化的系数、解码必需的信息元素，例如运动数据、预测模式等以及后置滤波器信息，进行解码。对量化的系数进行逆向扫描，以便获得二维矩阵，然后将其馈送给逆量化和逆变换220。在逆量化和逆变换之后，获得解码（量化）的预测误差信号，其对应于在引入量化噪声的情况下从输入到编码器的信号减去预测信号获得的差异。

分别从时间或空间预测260和270获得预测信号，根据对编码器处应用的预测信号化的所接收信息元素对其进行切换（275）。解码信息元素还包括预测必需的信息，例如内预测情况下的预测类型和运动补偿预测情况下的运动数据。根据运动矢量的当前值，可能需要像素值的内插，以便执行运动补偿预测。这种内插是由内插滤波器250执行的。然后利用加法器225向从运动补偿预测260或帧内预测270获得的预测信号增加空间域中的量化预测误差信号。可以通过解块滤波器230传递重构图像，在存储器240中存储所得的解码信号，以应用于后续块的时间或空间预测。

将后置滤波器信息馈送给后置滤波器280，其相应地设置后置滤波器。然后向解码信号应用后置滤波器，以便进一步改善图像质量。于是，后置滤波器能够根据进入编码器的视频信号性质加以调整。

总之，为了减少噪声，在当前的图像和视频编码标准之内，有几种环内和后置滤波器方案是可能的。在这些滤波器方案中，可以将滤波器部署为后置滤波器，用于在输出它之前对解码信号进行滤波，或部署为环内滤波器，用于在编码和解码期间对视频信号的任何部分进行滤波，经过滤波的信号通常存储到帧存储器中，以便供预测使用。例如，在当前的H.264/MPEG-4AVC标准中，采用内插滤波器和解块滤波器作为环内滤波器。也可以应用后置滤波器。通常，滤波器的适用性取决于要滤波的图像。可以将后置滤波器的系数设计为维纳滤波器系数。维纳滤波器被设计成使输入信号，即期望信号，和已应用滤波器的有噪声信号之间的均方误差最小化。维纳滤波器的方案需要计算被破坏信号的自相关以及输入信号和被破坏信号之间的互相关。在视频编码中，在量化步骤中将量化噪声叠加到原始（输入）视频信号中。视频编码上下文中的维纳滤波旨在减少叠加的量化噪声，以便使均方重构误差最小化。

例如，可以在下文中找到自适应滤波器设计的更多细节：S.Haykin，“Adaptive Filter Theory”，第四版，Prentice Hall Information and SystemSciences Series，Prentice Hall，2002。可以在EP1841230中找到用于视频编码的维纳滤波器配置的范例。此外，欧洲专利申请08020651.9示出了可以在图像/视频编码和解码期间使用的频域中滤波器各种可能位置和设计。例如在EP2141927中提供了具有超过一个输入的噪声减少滤波器的变化。可以使用频域中的滤波器，以便减少频域中的噪声，可以使用空间域中的滤波器以便减少空间域中的噪声。

不过，图像和/或视频信号可以包含具有不同统计分布的各种噪声分量。例如，图像或视频可以包含已经提到的量化噪声，由于对图片块独立编码导致的分块噪声和/或拍摄装置导致的原始图像/视频序列中存在的噪声。这些噪声分量可以全都具有不同特性，它们可以随着时间，还随着空间位置变化。例如，电影摄像机采集的视频信号通常包含相加摄像机噪声，而超声波传感器或合成孔径雷达（SAR）传感器采集的视频信号包含相乘噪声。另一方面，分块噪声仅存在于编码块边界。量化噪声代表另一种相加噪声源，根据应用的预测误差编码类型，可以插入空域或频域中。预测误差编码的类型同样可以逐块在图像之内变化。因此，利用在编码和解码不同阶段应用的多个滤波器滤波可能对于改善输出信号质量是必要的。

发明内容

本发明的基本问题基于如下发现：静态滤波方案不能完全抑制很宽范围的随时间和位置变化噪声分量。

本发明的目的是改善图像和/或视频编码和解码期间应用的滤波的效率，以便实现更好质量的解码图像。

这是由独立权利要求的主题实现的。

本发明的有利实施例由从属权利要求规定。

本发明的特定方法是利用自适应地选择应用不同滤波器的顺序来提高图像编码和/或解码流程期间应用的滤波的灵活性。这种选择是基于由编码方案和/或原始输入图像给出的噪声分量执行的。

选择滤波顺序使得能够首先用滤波器滤波以减少主要噪声分量。之后，可以应用用于过滤剩余噪声分量的另一滤波器。由于主要噪声分量取决于原始输入图像和编码机制，所以自适应地选择滤波顺序实现了解码图像质量的改善，从而提高了编码效率。

根据本发明的一方面，提供了一种用于对比特流中编码的图像数据解码的方法，在所述编码的图像信号的解码过程的不同环内或后置滤波级处采用至少两个不同的滤波器，即第一滤波器和第二滤波器。因此，根据从比特流提取的编码参数选择应用所述第一滤波器和所述第二滤波器的序列，并且在对编码图像数据解码时根据所选序列应用所述第一和所述第二滤波器。

根据本发明的另一方面，提供了一种用于将图像数据编码到比特流中的方法，在所述图像数据的编码过程的不同级处采用至少两个不同的滤波器，即第一滤波器和第二滤波器。该方法包括如下步骤：根据编码参数和/或所述图像数据的性质选择应用所述第一滤波器和所述第二滤波器的序列；以及根据对所述图像数据编码时选择的滤波序列应用所述第一滤波器和所述第二滤波器。

根据本发明的又一方面，提供了一种用于对比特流中编码的图像数据解码的设备，包括要在所述编码的图像信号的解码过程的不同级处应用的至少两个不同的滤波器，即第一滤波器和第二滤波器。该设备还包括滤波顺序选择单元，用于选择应用所述第一滤波器和所述第二滤波器的顺序，根据从所述比特流提取的编码参数进行选择。所述设备被配置成根据对所述编码图像数据解码时所选的滤波顺序应用所述第一和所述第二滤波器。

根据本发明的又一方面，提供了一种用于将图像数据编码到比特流中的设备，包括要在所述图像数据的编码过程的不同级处应用的至少两个不同的滤波器，即第一滤波器和第二滤波器。该设备还包括滤波顺序选择单元，用于根据编码参数和/或图像数据的性质选择应用所述第一滤波器和所述第二滤波器的序列。此外，所述设备被配置成在对所述编码图像数据编码时根据所选的序列应用所述第一和所述第二滤波器。

这里，（在解码器处）从比特流提取的根据其进行滤波顺序的选择的参数可以是专用于发送滤波顺序的数据。这样的数据可以是用户在编码前设置的编码器设置。或者，可以是在例如编码之前或期间由编码器自动设置的数据并在比特流之内发送。本发明也不限于比特流之内这种参数的特定位置。通常，可以在帧或切片报头之内，或用于整个序列的编码器设置之内，甚至基于每个块，发送这样的专用参数。

不过，本发明不限于基于专用数据选择滤波器顺序。从比特流提取的参数可以是出于除确定顺序之外的另一目的而一般发送的编码器设置。这样的参数例如是量化参数和/或指定在频域还是空域中执行量化的参数。在本发明中，也可以认为将块的所有预测误差样本量化为零是空域中的量化和/或去量化，因为解码器在这种情况下不需要执行逆变换。也可以基于多个这种参数的组合确定滤波顺序和/或滤波器选择。通常，可以使用对所得图像噪声有影响的任何参数选择滤波器及其应用序列。这种参数的其他范例是：块的大小、预测类型、所应用的频域变换类型等。

在编码器处，基于编码参数或图像信号的性质做出编码器处和/或解码器处关于滤波器排序的决定。编码参数可以是在对要编码的特定图像（块）编码之前设置的任何编码器设置，例如，量化步长、预测类型、执行量化所在的域等。不过，它也可以是编码之前用户提供的专用于滤波顺序的设置。例如，用户可以明确定义将应用哪些滤波器和/或哪种滤波序列。另一方面，编码器也可以考虑解码器侧没有的原始信号并相应地选择滤波顺序。

根据本发明的实施例，在编码器侧和解码器侧以相同方式确定第一和第二滤波器滤波的序列，这意味着根据相同规则确定，因此不需要明确地发信号。

优选地，根据用于对图像数据编码的量化步长和/或根据为编码而输入的图像数据噪声的统计性质进行应用所述第一滤波器和所述第二滤波器的序列的选择。具体而言，可以将量化噪声与输入图像噪声比较。根据比较的结果，如果量化噪声高于输入图像噪声，可以选择滤波顺序，首先减少量化噪声，然后减少输入图像噪声。如果输入图像噪声高于量化噪声，选择滤波顺序，首先减少输入图像噪声，然后减少量化噪声。例如，第一滤波器可以是用于抑制量化噪声的滤波器，例如维纳滤波器（自适应滤波器），或者是固定滤波器。第二滤波器可以是，例如用于抑制相乘噪声的滤波器或非线性噪声减少滤波器，或任何去噪滤波器，可以根据输入图像噪声的特性选择。

或者，也可以根据在空域还是频域中应用量化来确定滤波顺序的选择。对于在频域中量化的信号，可以首先应用频域中的滤波器，然后向经滤波的信号应用空域中的滤波器。另一方面，对于在空域中量化的信号，可以首先应用空域中的滤波，然后向经滤波的信号应用频域中的滤波。不过，本发明不限于这些范例，第一和第二滤波器也都可以在频域中应用。例如，可以基于量化步长进行顺序的选择，或基于优化标准，例如相似性、不相似性或比特率和失真的拉格朗日成本，确定顺序选择。

根据本发明的替代实施例，在编码器侧确定第一和第二滤波器滤波的序列，并向解码器侧发送选择。这是有利的，尤其在还基于解码器处没有的输入图像信号确定滤波顺序的情况下。

优选地，对于以上替代实施例而言，在编码器处，用于表示所选的应用所述第一滤波器和所述第二滤波器的顺序的滤波器序列指示符嵌入包括编码图像数据的比特流中。具体而言，所述滤波器序列指示符指示在应用所述第二滤波器之前应用所述第一滤波器还是在应用所述第一滤波器之前应用所述第二滤波器。优选进一步对滤波器序列指示符编码，以便提高其信号发送效率。可以应用任何公知的技术，例如预测（差分）编码和/或熵编码。滤波器序列指示符可以每个序列发送一次，每若干帧发送一次，每组画面发送一次，或每帧、每个切片或宏块/块发送一次。也可以不规则地，例如在认为应当改变滤波器顺序时，发送信号。例如，编码器可以定期确定最优滤波器序列，并仅在其显著改善图像质量时才发送它。速率-失真优化可以方便这样的决策。

相应地，在解码器处，根据从包括所述编码图像数据的比特流提取的滤波器序列指示符执行选择应用所述第一滤波器和所述第二滤波器的序列。不过，如上所述，也可以基于来自比特流的其他数据，例如量化步长、表示在频域还是空域中对块/切片/帧滤波的信息、预测类型等，选择滤波器序列。

这里，术语“编码器侧”或“编码器”是指输入原始（未压缩）图像数据并将编码图像数据作为比特流输出的编码器。编码器侧的编码器也可以包括解码器的部分。相反，术语“解码器侧”或“解码器”这里是指没有原始（未压缩）图像数据的解码器。解码器可以位于与编码器不同的另一部位或位于同一设备中，不过，假设仅在编码器侧有原始输入图像信号。解码器侧接收到作为比特流的编码图像数据并对其解码。解码器侧的解码器也可以包括编码器的一些部分。

对于本发明的以上两个实施例，优选从多个预定义的滤波器或从多个滤波器类型中选择至少两个滤波器，具体而言，第一和第二滤波器。滤波器类型可以是，例如具有不同目的的滤波器类型，例如解块滤波器、相加噪声抑制滤波器、相乘噪声抑制滤波器、内插滤波器等。此外，滤波器类型可以是滤波器实施的类型，例如线性滤波器、非线性滤波器，或更具体地，FIR滤波器、IIR滤波器、中值滤波器；可以是自适应滤波器，例如维纳滤波器。滤波器的类型还可以包括滤波器的顺序。预定义的滤波器可以是具有预定义顺序和/或系数的滤波器。

可以在编码器和解码器处以相同方式，基于在编码器和解码器处都有的信息，例如编码器设置，例如预测类型、与量化相关的参数、输入图像的类型等，进行滤波器的选择。

或者，从编码器侧向解码器侧发送滤波器的选择。例如，通过向还包括编码图像数据的比特流中嵌入表示所选的第一和所选的第二滤波器的滤波器选择指示符来执行这一操作。类似于滤波器序列指示符，优选还通过差分、预测和/或熵编码对滤波器选择指示符进一步编码。还可以如上文针对滤波器序列指示符所述，发送滤波器选择指示符。具体而言，滤波器的选择包括选择滤波器类型和/或滤波器顺序和/或滤波器系数。

可以通过使输入编码的原始图像数据和编码图像数据之间的相似性最大化，或对应地使不相似性最小化来进行第一和第二滤波器和/或其应用序列的选择。具体而言，可以针对每个选定的滤波器，或每个选定的滤波器组合（滤波器及其顺序），在原始输入信号和经滤波或最终解码的信号之间计算相似性度量，例如相关性或协方差。然后选择滤波器，还可以选择其顺序，以使相关性最大化。或者，可以使用比特率和失真的拉格朗日成本达到最优解。然后在对所述图像数据编码时根据选定的其应用序列应用所选的滤波器。

可以在解码的不同级，例如环内滤波器或后置滤波器，应用第一和第二滤波器的每个。每个滤波器可以具有固定顺序或可变顺序；固定或可变系数或可以实现为诸如维纳滤波器的自适应滤波器。任何滤波器，例如二维或一维滤波器都是适用的。滤波器可以是线性的或非线性的。

可以将所述第一或第二滤波器的每个应用于空域或频域中的预测误差信号、基准信号、重构信号和预测信号中的至少一种。有利地，第一或第二滤波器具有超过一个以上信号作为输入信号。可以针对这些信号中的多个独立进行滤波，然后可以将滤波的结果组合成所得滤波信号。这提供了如下优点：逐个考虑对重构图像信号有贡献的信号的可能不同特性，这可以实现更高的滤波/编码效率。

根据本发明的另一实施例，在多个滤波级，从多个不同滤波器选择滤波器，导致也通过这种方式选择其应用序列。滤波级可以彼此紧邻，例如，前一滤波器的每个输出都直接输入到下一滤波器中。不过，通常，其他处理块也可以在第一和第二滤波器之间。

根据本发明的又一方面，一种存储指令的计算机可读介质，其在被处理器执行时执行上述方法中的任一种。

附图说明

从结合附图给出的以下优选实施例描述，本发明的以上和其他目的和特征将变得更显而易见，附图中：

图1是示出了常规H.264/MPEG-4AVC视频编码器范例的方框图；

图2是示出了常规H.264/MPEG-4AVC视频解码器范例的方框图；

图3A是示出了按第一顺序应用两个滤波器的系统的示意图；

图3B是示出了按第二顺序应用两个滤波器的系统的示意图；

图4A表示输入信号和噪声信号的第一范例的曲线图；

图4B表示两个曲线图，示出了输入信号和噪声信号的第二范例；

图5是方框图，示出了根据本发明支持选择应用两个不同滤波器的序列的范例编码器；

图6是方框图，示出了在利用精细量化编码期间选择滤波器序列的范例；

图7是方框图，示出了在利用非常粗的量化编码期间选择应用滤波器序列的范例；

图8是方框图，示出了根据本发明实施例实现环路滤波器选择的范例解码器；

图9是方框图，示出了根据本发明另一实施例支持选择后置滤波器顺序的解码器范例；

图10是示意图，示出了滤波器级联，其中将具有超过一个输入的滤波器用作第一滤波器；

图11是示意图，示出了另一范例，其中将具有超过一个输入的滤波器用作第二滤波器并仅对其输入之一滤波；

图12是示意图，示出了范例，其中将具有超过一个输入的滤波器用作第二滤波器并对其输入的每个独立滤波；

图13是示意图，示出了滤波的范例，其中将具有超过一个输入的滤波器用作第二滤波器，对其输入的每个独立滤波，并可以选择向特定输入应用第一和第二滤波器的顺序；

图14是方框图，示出了根据本发明的滤波器选择和滤波器顺序选择的范例；

图15是方框图，示出了根据本发明的滤波器选择和滤波器顺序选择的另一范例；

图16是方框图，示出了根据本发明的滤波器选择和滤波器顺序选择的另一范例；

图17是根据本发明的方法的一般化范例的流程图；

图18是方框图，示出了用于发送和接收根据本发明编码的信号的系统；

图19是示意图，示出了用于实施内容分布服务的内容提供系统的总体配置；

图20是示意图，示出了数字广播系统的总体配置；

图21是方框图，示出了电视配置的范例；

图22是方框图，示出了从记录介质，即光盘，或在其上读写信息的信息再现/记录单元的配置范例；

图23是示意图，示出了记录介质，即光盘的配置范例；

图24A是示出了蜂窝电话范例的示意图；

图24B是示出了蜂窝电话配置范例的方框图；

图25是示出了复用数据的结构的示意图；

图26是示意性示出如何在复用数据中复用每个流的图示；

图27是示意图，更详细地示出了如何在PES分组流中存储视频流；

图28是示意图，示出了复用数据中TS分组和源分组的结构；

图29是示出了PMT数据结构的示意图；

图30是示出了复用数据信息内部结构的示意图；

图31是示出了流属性信息内部结构的示意图；

图32是示出了识别视频数据的步骤的示意图；

图33是示意方框图，示出了用于实施根据每个实施例的视频编码方法和视频解码方法的集成电路的配置范例；

图34是示意图，示出了用于在驱动频率之间切换的配置；

图35是示意图，示出了用于识别视频数据并在驱动频率之间切换的步骤；

图36是示意图，示出了查找表的范例，其中视频数据的标准与驱动频率相关联；

图37A是示意图，示出了用于共享信号处理单元的模块的配置范例；以及

图37B是示意图，示出了用于共享信号处理单元的模块的另一配置范例。

具体实施方式

图像和视频信号通常包括噪声。例如，根据图像或视频信号源，这样的噪声可以具有各种统计分布。噪声的统计分布可能会改变。它通常随着时间变化，也可以随着空间位置变化。例如，电影摄像机采集的视频信号通常包含相加摄像机噪声，而超声波传感器或合成孔径雷达（SAR）传感器采集的视频信号可能包含相乘噪声。于是，要编码的信号中噪声的统计分布可能变化。

此外，图像和视频编码通常包括量化。量化还通过额外噪声，即量化噪声干扰视频信号。量化噪声的统计分布随着所应用编码的种类改变，例如预测误差编码，例如没有误差，空间或时间上的误差，其中应用的编码种类可以通常在块之间变化。

通常，输入图像或视频信号可以已经包含一些噪声（输入噪声），图像/视频压缩可能导致向图像中包括更多噪声，例如量化噪声。

对于不同的应用，滤波的目的也可以不同。例如，在一些应用中，希望抑制或减少两种噪声：输入噪声以及图像/视频压缩导致的噪声。另一方面，还有一些噪声，对于它们，相当希望保留输入噪声。例如，硝酸纤维薄膜上拍摄的图像或视频包括特征胶片颗粒噪声。对于一些应用（例如影片资料库的数字化），希望在图像/视频中维持这种噪声。

通常，已知的滤波技术旨在在噪声具有特定统计分布的假设下减少噪声。在图像或视频噪声与假设的具有不同统计分布时，然后在所述假设下设计的滤波不能有效消除噪声。

根据本发明，选择应用不同滤波器对图像信号滤波的顺序。根据编码参数和/或输入图像信号选择滤波顺序可能如下所示提高编码的效率。选择滤波序列的这种灵活性还使得能够首先过滤希望抑制/减少的主要噪声。

在编码器处，基于编码参数或图像信号的性质进行滤波器顺序的选择。编码参数是对要滤波的特定图像（块）编码之前设置的任何编码器参数。这样的编码器参数例如可以是量化步骤、预测类型、执行量化的域等。或者，可以是编码之前用户专门为滤波顺序提供的设置。

此外，可以选择要应用的滤波器以及滤波器数量。有利地，有多种可用的滤波器类型（可以包括已知且应用的滤波器以及新滤波器和/或自适应滤波器）。然后自适应地选择这些滤波器中的一个或几个以及应用它们的次序（顺序）。根据本发明的实施例，对滤波器的选择及其应用顺序进行编码并发送到解码器侧。对于混合式视频编码而言，例如可以在环内和/或后置滤波器级中执行这个操作。根据本发明的另一实施例，在编码器和解码器处以相同方式隐含地执行滤波器选择和/或其应用顺序，从而在编码器和解码器之间必须要额外发信号。

图3A示出了系统300a，其中向噪声q增加输入信号s，获得有噪声信号s′。然后由两个不同的滤波器310和320对有噪声信号s′滤波，以便获得经滤波的信号s″A。首先由第一滤波器310对有噪声信号s′进行滤波，从第一滤波器310输出信号s″A。然后将第一滤波器310的输出信号s′A输入到第二滤波器320，其输出经滤波信号s″′A。图3A中第一滤波器的示意图示出了具有单个系数a的一阶有限脉冲响应滤波器，其中将有噪声信号s′的滤波执行为有噪声信号s′与单个滤波器系数a相乘。在同一范例中，第二滤波器320被示为高通滤波器，具有滤波器函数，根据该滤波器函数，如果输入有噪声信号s′具有0和s₁之间的值，输出零，如果输入有噪声信号具有大于s₁的值，输出输入有噪声信号值的线性函数。不过，滤波器310和320仅仅是范例，可以替代地使用任何其他滤波器类型。

图3B示出了类似于系统300a的系统300b，不过，具有不同的滤波器310和320的顺序。具体而言，为输入信号s增加噪声q，获得有噪声信号s′，将其输入到滤波器320。在利用滤波器320对有噪输入信号s′滤波之后，获得信号s″_B。然后将滤波器320滤波的信号s″B输入到滤波器310并滤波，获得经滤波的信号s″′_B。

根据本发明，可以选择诸如310和320的滤波器顺序，这意味着可以采用系统300a或系统300b对输入有噪声信号s′进行滤波。这样选择应用滤波器的序列可以提高编码效率。效率提高是因为如下事实：对于不同的输入有噪声信号s′，应用滤波器的不同序列可以获得如下文所示的更好质量。

图4A示出了输入信号s的概率函数P（s）410和噪声信号q的概率函数P（q）420。进一步假设，图3A和3B中滤波器310的滤波器系数为a=0.5，s₁=0.75。如果将分别具有概率分布410和420的输入信号s和噪声信号q相加获得的有噪声信号s′输入到系统300a，所得的经滤波信号s″′将是s″′_A=0。由下式给出对应的均方误差：

MSE＝E[(s-s”’)²]=E[(1-0)²]=1.0。

另一方面，如果将具有概率分布410的输入信号和具有概率分布420的噪声信号q相加获得的有噪声信号s′输入到系统300b，经滤波的信号s″′_B将是s″′_B=0.5。由下式给出对应的均方误差：

MSE=E[(s-s”’)²]=E[(1-0.5)²]=0.25。

从上文可以看出，对于给定的输入信号s和噪声信号q，系统300b获得更高质量的经滤波信号s″′。

图4B示出了具有另一概率分布430的输入信号s和具有另一概率分布440的噪声信号视图。类似于前面的范例，假设第一滤波器310和第二滤波器320具有相应的参数a=0.5和s₁=0.75。通过将具有概率分布430的输入信号和具有概率分布440的噪声信号q相加再次获得输入有噪声信号s′。如果将这样的有噪输入信号s′输入到系统300a中，经滤波的信号s″′_A将是s″′_A=0。由下式给出对应的均方误差：

MSE＝E[(s-s”’)²]=E[(0-0)²]=0。

另一方面，如果将输入信号s′输入到系统300b中，经滤波的信号s″′_B将是s″′_B=0.5。然后由下式给出对应的均方误差：

MSE=E[(s-s”’)²]=E[(0-0.5)²]=0.25。

从上文可以看出，对于将分别具有概率分布430和440的输入信号s和噪声q相加获得的输入有噪声信号s′，系统300a提供更好质量的经滤波的s″′。因此，经滤波信号的质量取决于滤波器310和320的顺序。此外，对于不同种类的输入信号和噪声信号，应用滤波器的不同序列可能导致较少失真，这意味着更好质量的经滤波信号。

图5是示出根据本发明实施例的编码器的方框图。如上所述在空间或时间上预测590输入信号502，从输入信号502减去所得的预测信号591，获得误差预测信号，利用自适应预测误差编码501在空域或频域中进一步对其编码。具体而言，可以根据开关507在空域或频域中应用自适应预测误差编码。空域编码直接向预测误差信号应用量化520。频域编码向预测误差信号首先应用变换510，然后向从变换510输出的变换系数应用量化530。进一步将所得的量化预测误差输入到熵编码器550。可以将预测误差信号的量化520看做在空域中向预测误差信号叠加量化噪声。可以将已变换预测误差信号的量化530看做在频域中（空间频率域）向变换系数叠加量化噪声。在这一实施例中，也可以认为将块的所有预测误差样本量化为零是空域中的量化和/或去量化，因为解码器在这种情况下不需要执行逆变换。

在预测误差信号编码之后，通过向预测信号591增加量化的预测误差信号来重构图像信号。在图5中，开关547与开关507连接，并选择空域中编码的输出或频域中编码的输出。在重构之前，必须要对在频域中编码的预测误差信号进行逆变换540。对重构图像信号进行滤波。根据本发明，选择应用多个滤波器的序列。在本范例中，向重构图像信号应用两个不同的滤波器：空域中的滤波器和频域中的滤波器。

有利的是首先在已经执行量化的域中滤波，这意味着在已经叠加了量化噪声的域中进行滤波。如果预测误差信号是在空域中编码的，有利的是也在空域中对重构图像信号滤波。为了便于这个操作，可以在空域中应用第一滤波器570。如果在频域中执行预测误差编码，有利的是在频域中利用第二滤波器575对重构视频信号滤波。

第一滤波级571的目的是减少与已执行量化的域中相同域中的主要噪声。应用第二滤波级581是为了进一步减少剩余噪声。具体而言，如果在空域中执行预测误差编码，则在频域中向已在空域中滤波570的信号应用第二滤波器580。

类似地，如果在频域中对预测误差信号编码，则向已经在频域中滤波575的信号在空域中应用第一滤波器585。在应用滤波的两个顺序之间切换，即空间域中，然后在频域中应用滤波器或在频域中然后在空域中应用滤波器，是利用受滤波器顺序确定单元560控制的开关563、564、565和566执行的。滤波器顺序确定单元560可以基于开关507和547的位置控制开关563、564、565和566，指示在空域还是频域中执行预测误差编码。由于通常将预测误差编码的类型发送给解码器，所以解码器不需要额外的信令来确定滤波顺序。频域滤波器可以是具有固定或自适应滤波器系数的任何线性或非线性滤波器。

不过，本发明不限于此，通常，可以独立于在空域还是频域中执行预测误差信号编码来执行滤波顺序的决定。在这种情况下，根据本发明的另一实施例，将选定的滤波顺序561有利地嵌入550比特流中并提供到解码器侧。在滤波器顺序确定单元560根据开关507和547确定滤波顺序的情况下，解码器侧也可以基于图像数据的解码发生于空域还是频域来暗中推导顺序。滤波序列指示符561可以在嵌入比特流中之前进行熵编码。

根据本发明的另一实施例，基于为量化预测误差信号而应用的量化步骤选择滤波顺序。

图6示出了具有输入到编码器的相乘噪声的图像。预测650图像，并从输入图像信号s减去605预测信号651。然后利用精细量化变换610并量化620所得的预测误差信号，精细量化意味着具有较小量化步长的量化器。然后对量化的变换系数进行熵编码，并嵌入所得比特流中。此外，对量化的变换系数进行进一步逆变换630并用于通过向逆变换信号增加预测信号651来重构635重构图像信号。

根据量化步长，滤波器顺序确定单元660选择第一和第二滤波器的顺序，用于对重构图像信号滤波。具体而言，图6示出了开关663、664、665和666的位置，实现了应用第一滤波器670消除相乘噪声，之后向利用第一滤波器滤波的信号应用第二滤波器680，消除相加量化噪声。开关的这种定位源于编码参数，例如量化参数，其表示精细量化620，即利用较小量化步长量化。类似于先前描述的范例，可以由滤波器顺序确定单元660参数滤波器序列指示符661并输入到熵编码器640。在熵编码器640中，进一步向包括编码图像信号的比特流中嵌入滤波器序列指示符。也可以对嵌入的指示符编码，以便提高图像信号的编码效率。

图7是示出了类似于参考图6所述的编码器的方框图。不过，图7的编码器向已变换610的预测误差信号应用量化720，这是非常粗略的，意味着量化步长非常大。在这种情况下，滤波器顺序确定单元660选择应用滤波器的不同顺序。具体而言，设置开关663、664、665和666，以便对重构图像信号滤波，首先利用第二滤波器675消除相加量化噪声，然后利用第一滤波器消除相乘噪声。

图6和7中示出的输入到编码器的图像是包含相乘噪声的图像。例如，这可以是合成孔径雷达信号或超声波信号。根据由量化620和720导致的相加量化噪声的量选择滤波器顺序。具体而言，如果相加噪声比相乘噪声具有更高能量，那么在第一滤波级执行相加噪声的减少，继之以第二滤波级，用于减少相乘噪声，如图7所示。另一方面，如果相加噪声比相乘噪声具有更低能量，那么在第一滤波级执行相乘噪声的减少，在第二滤波级，减少相加量化噪声，如图6所示。

在前面的范例中，已经定义了要应用的滤波器，滤波器顺序确定单元560和660仅选择要应用这些滤波器的序列。不过，基于输入信号并基于编码设置，可能有益的是还自适应地选择要应用的滤波器数量和/或类型和/或系数。

根据本发明的另一实施例，除了选择滤波顺序之外，也可以选择滤波器。图8示出了具有N个环内滤波器级的一般化范例解码器。比特流801进入熵解码器810。熵解码器从比特流801提取控制信息811，用于指示滤波器和/或其应用序列的选择。此外，熵解码器810从比特流提取变换的预测误差信号，将其进行逆变换并用于重构重构图像信号s′。通过将预测误差信号e′和预测信号

相加来执行重构。预测信号

是预测840，例如时间或空间预测的结果。然后将所得的重构图像信号s′输入到多个环内滤波器的级联。具体而言，图8示出了具有N个滤波级的一般方案，其中在每个滤波级中，可以选择N个预定义滤波器之一和/或不选择滤波器880。这种选择等价于选择应用N个滤波器之一的序列或不选择滤波器。换言之，在N个后续滤波级的每个选择N+1（N个滤波器+无滤波器）之一对应于选择N个滤波器至少子集的顺序（因为也可以选择“无滤波器”选项）。本范例中的选择受到控制开关851、852和85N的控制，利用它在每个滤波级821、822...82N，选择N个滤波器之一或不选择滤波器。除了控制信息811之外，控制信息911可以类似地控制用于后置滤波900的滤波器级联的选择/排序。

如上所述，可以基于量化步骤120中已经使用的量化步长进行滤波器及其排序的滤波器选择。常常由所谓的量化参数QP对量化步长编码。在H.264/MPEG-4AVC中，量化步长Δ(QP)和QP之间的相关性例如是：

其中 ${\mathrm{\Δ}}_0\left(k\right)=\frac{1}{16}\·\left\{\begin{array}{cc}10;& k=0\\ 11;& k=1\\ 13;& k=2\\ 14;& k=3\\ 16;& k=4\\ 18;& k=5\end{array}\right.,$

其中QP∈{0,1,...,51}。可以将此视为选择52个可用标量量化器之一。

基于量化步长选择滤波器排序（应用它们的序列）的一种可能是在编码器侧确定用于量化步长的阈值τ，对所确定的阈值编码并向解码器侧发送，并基于阈值选择在第二滤波器之前应用第一滤波器还是反之，例如：

以及

在本范例中，滤波器1是用于减少输入信号中相乘噪声的滤波器，滤波器2是减少相加量化噪声的滤波器。

用于减少相加量化噪声的滤波器可以是维纳滤波器。用于减少相乘噪声的滤波器例如可以是中值滤波器。对于低于阈值的小量化步长，其中相加量化噪声比相乘噪声具有更小的能量，可以选择在减少相加噪声的滤波器之前应用减少相乘噪声的滤波器。对于高于阈值的大量化步长，其中相加量化噪声比相乘噪声具有更大的能量，可以选择在减少相乘噪声的滤波器之前应用减少相加噪声的滤波器。通过这种顺序，首先减少能量更高的噪声，从而不会阻碍减少其他能量更低的噪声，也如参考图6和7所述那样。

阈值τ也可以是固定的预定义值。由于顺序是基于QP暗中确定的，所以不需要额外的比特率来向解码器明确地发送顺序。由于比特率不增加，有效率地减少了噪声，所以提高了总的编码效率。

不过，量化噪声通常不仅取决于量化参数，而且还可能取决于输入到量化的信号，尤其是如果量化参数高时，这意味着粗略的量化。此外，可以应用几个个体阈值τ_i，其可以针对真实（有效）相加量化噪声调整。在粗量化的情况下，如果预测误差很高，量化误差一般很高。在极端情况下，量化误差等于预测误差。另一方面，如果预测误差低，量化误差相当低。在极端情况下，量化误差为零。

通常，例如如果：

·当前块的运动矢量

绝对值大，或至少一个分量的绝对值大。这表示快速运动，例如快速移动的对象，从而表示大的量化误差能量。

·当前块的运动矢量

与其周围块的运动矢量

显著不同。例如，这可能是对象边界的指标，从而是大的量化误差能量的指标。

·使用小的块大小进行运动补偿预测。典型地，使用大块进行背景或活动对象之内大区域的运动补偿预测。预测误差能量，从而还有量化误差能量对于大块而言通常是小的。使用对象边界，一般是较小块来针对对象运动与背景运动不同的对象边界调整运动补偿预测。通常，直接在对象边界处，预测误差能量，从而还有量化误差能量，是最大的。在这里，一般使用小块。于是，使用小块是对象边界的指示符，从而使大量化误差能量的指示符。

·内预测模式不是DC模式。这可能表示信号有大的变化，不能精确预测。于是表示大的量化误差能量。

·运动矢量指向需要内插的子像素位置。这可能是由于伪信号产生分量而使预测误差大的指标。于是表示大的量化误差能量。于是，基于以上标准，可以使用几个阈值τ_i与量化参数比较，例如阈值τ₁、τ₂和τ₃：

如果

使用阈值τ₁，

如果

且

使用阈值τ₂，并且

如果

且使用阈值τ₃，

其中，可以将每个阈值τ₁,τ₂,τ₃,

编码并发送到编码器。在这种情况下，可能有益的是选择τ₁≥τ₂≥τ₃，由于在相同的QP，预测误差，从而还有量化误差会从与τ₁关联的条件增加到与τ₃关联的条件：

·与τ₁关联的条件:

含义：小运动矢量=>预测误差的能量小=>相加量化误差的能量小。

·与τ₂关联的条件:

and

含义：大运动矢量和运动矢量与相邻多个块的小差异=>预测误差的能量中等=>相加量化误差的能量中等。

·与τ₃相关联的条件:

and

含义：大运动矢量和运动矢量与相邻多个块的大差异=>预测误差的能量大=>相加量化误差的能量大。

对于具有不同条件的相同QP值，相加量化误差的能量不同。因为希望在相同的量化误差能量下切换，阈值τ₁，τ₂，τ₃需要不同，例如如上所述τ₁≥τ₂≥τ₃。

或者，或此外，可以使用允许对其他信号特征分类的其他阈值来基于滤波器选择和/或滤波顺序选择决定量化参数的阈值大小，其他信号特征例如是用于运动补偿预测的块大小、应用的内预测模式、子像素位置等。也可以从编码器和解码器都有的信息接收或导出这样的阈值。

此外，可以基于执行量化的域进行滤波器及其顺序的选择。量化步长和域都被一般化编码并发送，从而为编码器和解码器所知。量化步长和量化的域都可以在块间变化。

如果两个域，即例如空域和频域，都用于量化，对量化参数使用两个个体阈值可能是有利的。可以对两个阈值，第一个用于频域，第二个用于空域，进行编码并发送。如果预测误差样本彼此之间没有统计相关性，并且如果预测误差样本的分布不是高斯型的，空域中的预测误差编码比频域中效率更高。这常常关联到非常小的预测误差，于是关联到非常小的量化误差，尤其是在粗量化的情况下。于是，为了在大致相同的量化误差切换，与空域相关联的阈值一般应当比与频域相关联的阈值更高。

为了限制所需的比特率从而提高编码效率，可以彼此独立地进行阈值的编码。例如，可以首先对例如针对空域的第一阈值编码。之后，可以对例如针对频域的第一阈值和第二阈值之间的差异编码，或者反之。这同样适用于上述阈值τ₁,τ₂和τ₃以及

或者从编码类型或块值导出的任何其他阈值。

还可以通过发送额外阈值来定义超过两个区间。基于区间和块的实际量化步长（QP值），可以选择滤波器及其顺序。也可以在编码器处确定关联的选择和顺序，进行编码和发送。这可以包括以下编码步骤：

·选择区间以对量化步长分类。例如，可以利用相同大小的区间这样做。例如，在可能有51个不同量化步长的情况下，区间可以是[0，9]、[10，19]、[20，29]、[30，39]、[40，50]。

·区间的编码和发送。可以采用相关性，例如应用差分编码和/或熵编码，进行编码。

·选择滤波器和它们针对每个区间的顺序。还可以选择环中或环后滤波器的位置。例如，可以通过使比特率的拉格朗日成本和均方重构误差的最小化，或通过比较原始信号和利用排序不同并可能相对于环处于不同位置的不同滤波器滤波的信号之间的相似性度量，来这样做。

·所选滤波器、它们的顺序，以及（如果应用的话）环内或环后的位置的编码和发送。

另一种可能是基于执行量化的域暗中选择顺序。在当前块的预测误差量化是在空域中执行的情况下，有益的是应用第一滤波器，减少空域中的噪声。之后，例如，可以应用第二滤波器减少频域中的噪声。这种噪声可以是，例如已经用于预测的参考图像中的一些噪声。在当前块的预测误差量化是在频域中执行的情况下，有益的是应用第一滤波器，减少频域中的噪声。之后，例如，可以应用第二滤波器减少空域中的噪声。这种噪声可以是，例如已经用于预测的参考图像中的一些噪声。通过具有这种顺序，首先减少主要噪声，从而不会阻碍减少其他噪声，亦如参考图5所述那样。于是，提高了编码效率。

在使用自适应量化域的情况下，也可以使用两种信息，即量化的域和量化步长来选择是否首先减少空域中的噪声，之后减少频域中的噪声，或者反之。可以如下这样做：

·如果与参考帧相关联的量化步长大于当前量化步骤的量化步长且参考帧的量化域是空域，当前帧的量化域是频域，那么当前重构的帧在空域中比在频域中包含更多相加噪声。在这种情况下，可以选择在减少频域中噪声的滤波器之前应用减少空域中噪声的滤波器。

·如果与参考帧相关联的量化步长小于当前量化步骤的量化步长且参考帧的量化域是空域，当前帧的量化域是频域，那么当前重构的帧在频域中比在空域中包含更多相加噪声。在这种情况下，可以选择在减少空域中噪声的滤波器之前应用减少频域中噪声的滤波器。

·如果与参考帧相关联的量化步长大于当前量化步骤的量化步长且参考帧的量化域是频域，当前帧的量化域是空域，那么当前重构的帧在空域中比在频域中包含更多相加噪声。在这种情况下，可以选择在减少空域中噪声的滤波器之前应用减少频域中噪声的滤波器。

·如果与参考帧相关联的量化步长小于当前量化步骤的量化步长且参考帧的量化域是频域，当前帧的量化域是空域，那么当前重构的帧在空域中比在频域中包含更多相加噪声。在这种情况下，可以选择在减少频域中噪声的滤波器之前应用减少空域中噪声的滤波器。

·如果参考帧的量化域与当前帧的量化域相同，可以仅选择一个滤波器，在与执行量化的域相同的域中减少噪声。

在图9中更详细示出了滤波器的选择、滤波顺序和滤波器位置。图8和9中所示的解码器从比特流获得控制信息811和/或911。这种控制信息可以有利地直接指出开关的位置。例如，可以通过向每个开关发送指示符851、852等来实现这个目的，每个指示符表示0和N之间的数字，对应于特定开关的位置。通过这种方式，同时发送了应用滤波器和滤波器选择的序列。不过，本发明不限于此，通常，也可以在解码器处与在编码器处以相同方式暗中选择应用滤波器的序列。如上所述，例如，这可以基于与控制信息811和/或911不同的一个或多个编码参数，例如量化步长和/或选择的滤波器和/或对图像信号编码的域等。滤波顺序选择可以或者或此外基于要编码的输入信号的统计性质，尤其是基于其噪声的特性。例如，可以通过向解码器发送其，来明确获得统计性质或输入图像噪声。例如，可以发送信号表示原始图像中包括相加还是相乘噪声。或者，可以提供图像源指示符以发送例如输入图像的类型（例如，硝酸纤维薄膜图像、SAR图像、摄像机图像之一等）。

图9示出了包括多个滤波级921、922......92N的后置滤波900的细节。在多个滤波级的每个，可以选择N个滤波器之一或不选滤波器。这种方案的效果类似于对于环内滤波器如上所述选择应用滤波器1到滤波器N或不应用滤波器的顺序。

为了使编码效率最大化，优选通过测试每个可能的滤波器顺序，并通过选择使均方重构误差和比特率的拉格朗日成本最小化的滤波器顺序来选择应用滤波器的序列选择。在这种情况下，了解原始图像是必要的。在应当保留输入噪声的情况下，可以相对于有噪声原始信号执行拉格朗日成本优化。

为了改善编码效率而可以应用的替代优化基于预定义的相似性/不相似性度量。具体而言，可以针对应用滤波器的不同序列计算原始图像（包括输入噪声）和重构图像之间的相似性或不相似性。然后，可以选择实现最高相似性或等价地实现最低不相似性的滤波顺序。例如，作为相似性度量，可以使用相关性或协方差。作为不相似性度量，例如，可以应用绝对差异和、均方误差或基于像素差异的任何其他度量/量度。

应当指出，即使在重构图像信号中希望原始噪声，出于运动估计的目的，可能有益的是存储原始噪声减少的图像。于是，为了存储参考帧，可以取滤波的图像，其中为了输出重构信号，可以优选跳过滤波，以抑制输入噪声。通常，为了存储参考图像，有利的是通过滤波减少在时间上不相关的噪声，因为如果不消除/减少，它可能降低运动矢量搜索的效率。具体而言，帧数m中的块中的噪声可能包含与其先前帧数m-j中对应块不同的输入图像噪声，这使得难以发现最佳匹配块。时间上不相关的噪声范例可以是摄像机噪声，例如PCM噪声。另一方面，如果输入图像噪声是时间相关的，可能有益的是不抑制它，以便改善运动补偿预测。

可以在图像编码期间或视频编码期间自适应地执行编码和/或解码过程期间应用不同滤波器的序列的选择。优选针对图像的每个块进行滤波器和/或滤波顺序的选择。这提供了高度灵活性，能够针对也可以应用不同编码设置的块自适应地提高编码效率。不过，在逐个块进行滤波顺序和/或滤波器选择时，明确发送滤波器序列指示符，这可能增大信令负载。为了使信令开销保持很低，可以进一步对滤波器序列指示符编码。例如，可以采用预测编码，在空域和/或时域中对相邻块的滤波器序列指示符之间的差异编码。或者，或此外，可以通过熵代码对滤波器序列指示符编码，例如Golomb代码、指数Golomb代码、一元代码、Elias代码、霍夫曼代码等。

保持信令开销低的另一种可能是针对多个诸如视频序列中的切片的宏块或整个图像选择滤波顺序。也可以每次针对视频序列中的几个图像（帧）执行一次滤波器和滤波顺序的选择，例如，针对每组图片执行一次。

本发明还适用于具有超过一个输入的滤波器。图10、11、12和13中示出了针对应用包括这种滤波器的滤波器的不同序列的各种范例。因此，针对滤波器设计独立考虑多个预测信号、量化的预测误差信号和/或解码信号。这样允许逐个考虑这三个信号的每个的噪声。例如，可以基于输入信号、应用解块滤波器之后的解码信号、预测信号和量化的预测误差信号在编码器处计算后置滤波器系数。类似地，可以考虑以上独立信号设计环内滤波器。可以通过计算维纳滤波器进行系数的计算。进一步向包括编码视频信号的比特流中包括滤波器系数或信息，允许在解码器侧计算滤波器系数，例如原始和重构视频信号之间的互相关。

图10示出了选择具有超过一个输入信号的滤波器应用于滤波级中的范例。在本范例中，第一滤波器1010具有三个输入：量化的预测误差信号e′、预测信号

和重构信号s′。滤波器独立对以上信号滤波并输出通过组合独立滤波的信号，例如组合为其线性组合获得的单个信号1011。然后将在第一滤波级1010（可以将其视为相应的编码或解码级）滤波的信号1011输入第二滤波级1020，由选定要作为第二滤波器应用的滤波器滤波。然后将滤波1021的输出输入到第三滤波级1030，在此由选定为第三滤波器的滤波器进一步滤波。可以将得到的滤波信号1031输出或存储或进一步处理。

图11示出了选择具有超过一个输入的滤波器1120用作第二滤波器的情况。可以通过如下方式实现这个目的：首先在第一滤波级1110对重构视频信号s′滤波，并向第二级1120输入滤波的信号1111，利用具有超过一个输入的滤波器滤波，额外的输入是量化的预测误差信号e′和预测信号

然后向滤波第二级1130输入所得的滤波重构视频信号1121，在第二级由选定为要应用的第三滤波器的滤波器对其滤波。然后可以将在全部三个级滤波得到的信号1131输出或存储或进一步处理。在本范例中，在第一级1110仅对重构信号s′滤波，将剩余信号e′和

直接输入到第二级。

图12示出了在选择具有超过一个输入的滤波器1220用作第二滤波器的情况下另一替代滤波。输入信号e′、s′和的每个都是在第一滤波级由独立的滤波器1212（用于对e′滤波）、1214（用于对s′滤波）和1216（用于对

滤波）滤波的。然后将在第一级独立滤波得到的信号1213、1215和1217输入到具有更多输入的第二级滤波器1220，并加以滤波，以获得所得的重构视频信号1221，然后在第三级1230由选定要用作第三滤波器的滤波器进一步滤波。然后可以将在全部三个级滤波得到的信号1231输出或存储或进一步处理。在本范例中，于是，对于第一级，选择三个不同的滤波器1212、1214和1216。这些滤波器可以不同或（部分）彼此相等。因此，可以独立选择第一滤波的三个滤波器，于是，可以针对不同输入信号的特性逐个调整它们。这可能导致滤波结果的进一步改善。

图13示出了针对在第二滤波级采用具有超过一个输入的滤波器1320的情况的又一替代方案。根据本范例，开关1340、1350、1360和1370能够逐一控制1380是否应当在第一级应用独立滤波器1312和/或1316。开关1340和1360是耦合的，可以一起开关（同时关闭或同时打开）。类似地，耦合开关1350和1370。还可以提供类似开关，以在第一级实现/禁用重构视频信号s′的滤波。在输入信号e′、s′和/或

的选定一个的第一级滤波之后，向第三级滤波器1330输入滤波的信号。优选地，由控制单元1380在编码器侧执行开关1340、1360、1350和1370的控制，其中可以由用户设置和/或从编码器处可用的任何数据导出开关的位置。如果也基于在解码器处没有的信号在编码器处确定开关位置，可以在比特流之内发送确定其所需的这种开关位置或信息。或者可以将开关1340、1360、1350和1370设置到固定位置，作为针对整个序列的编码器设置的一部分。

图14是示出了本发明另一实施例的方框图。在这一实施例中，可以选择三种滤波器的顺序：在空域中减少噪声的滤波器、在频域中减少噪声的滤波器、解块滤波器。利用从熵解码器获得的控制信息1490选择滤波器及其应用顺序，控制信息是在熵解码器处从比特流提取的。具体而言，控制信息1490表示三级的任一级中滤波器的选择1491、1492和1493以及环中或环后这三级的每级的位置选择1494。控制信息1491、1492和1493的每个都有利地在三个滤波级的每个处实现空域中噪声减少滤波器、频域中噪声减少滤波器、解块滤波器的选择或不选择滤波器。于是，例如，控制信息1491、1492和1493的每个都可以是两比特指示符，在每个相应的滤波级发送开关的位置。按照固定预定义顺序嵌入比特流之内的这样三个指示符同时发送滤波器的选择和它们的应用顺序。

不过，本发明不限于这样的信号发送。图14中控制滤波器应用顺序以及滤波器选择的另一有利范例是使得仅能够发送预定数量的配置。例如，图14示出了仅可能有四种开关设置不同组合的情况，在每个滤波器选择开关附近用数字1、2、3和4表示可能的组合。具体而言，在图14中可以看出，组合1对应于在第一级应用频域中的噪声减少，在第二级应用空域中的噪声减少，在第三级应用解块滤波器。组合2对应于在第一级应用解块滤波器，在第二级应用频域中的噪声减少滤波器，在第三级应用空域中的噪声减少滤波器。组合3对应于在第一级应用频域中的噪声减少滤波器，在第二级应用解块滤波器，在第三级应用空域中的噪声减少滤波器。最后，第四种组合对应于在第一级应用频域中的噪声减少滤波器，在第二级根本不应用滤波器，在第三级应用空域中的噪声减少滤波器。这四种组合显然仅仅是范例。可以实现并发送更多的组合。可以由分配给每个组合的单一公共代码字实现信号发送。可以根据组合的发生概率进行码字长度的分配，这意味着可以利用可变长度码（熵代码）对组合编码（二进制化）。

本范例中的控制信息1490还包括位置指示符1494，用于指出在环中执行三个滤波级的哪个，在环后执行它们中的哪个。具体而言，位置指示符1494控制开关1450，其可以采取四个位置1451、1452、1453和1454之一。当开关1450处于位置1451中时，那么在环后执行全部三个滤波级。换言之，三个级代表后置滤波，它们的结果不存储在存储器中并用于预测。当开关1450处于位置1452中时，那么第一滤波级处于环中，其结果存储在存储器中供预测使用。不过，将第二和第三滤波级作为后置滤波执行，仅影响解码器输出信号。此外，在开关1450处于位置1453时，在环中执行前两个级，在环后仅执行第三级。最后，开关1450的位置1454表示全部三个滤波级都在环中执行，它们的结果存储在存储器中，用于预测。

可以独立于用于滤波器选择的开关位置（可以将其编码为如上所述的组合或逐个编码）对位置指示符1494编码。不过，位置指示符1494也可以是滤波器选择开关和位置指示符的组合的一部分。可以仅启用有限数量的组合。例如，在图14中可以看出，在本范例中，仅允许开关1450的两个位置，即位置1453和1454。具体而言，位置1453属于上述用于选择滤波器的组合3或4，位置1454属于组合1或2。不过，这些仅仅是范例，可以启用其他有利的组合。

总之，图14示出了范例，其中：

-控制信息1491、1492和1493控制在解码期间图像信号表达的三个可能滤波级处三个可能滤波器的选择和应用顺序，以及

-控制信息1494控制滤波器相对于解码环的位置，具体而言，在环中执行三个滤波级的哪个，在环后执行它们中的哪个。

通常，可能由超过三个级；也可以仅有两个滤波级。这种情况的实施直接简明，即减少或增加滤波器选择开关的数量（参考图8和9）和/或选择开关1450位置的可能位置数量。

在本范例中，可能选择四种不同的滤波器类型：解块滤波器、空域中的噪声减少滤波器、频域中的噪声减少滤波器或无滤波器。不过，本发明不限于此，可以采用频域和/或空域中噪声减少滤波器以及解块滤波器的各种选择。还可以采用时域中的滤波器（在多个帧上滤波）。此外，可以将这些范例滤波器类型的任一种实现为具有固定系数的滤波器或实现为自适应滤波器。例如，可以将空域中的噪声减少滤波器实现为具有一个或多个输入的维纳滤波器。不过，噪声减少滤波器也可以是具有固定系数的滤波器，例如中值滤波器或任何其他滤波器。也可以将频域中的噪声减少滤波器实现为具有一个或多个输入的维纳滤波器。不过，它也可以具有固定系数，或者它可以允许从多组预定义的滤波器系数中进行选择。类似地，解块滤波器可以是自适应滤波器，例如维纳滤波器或固定滤波器。所有这些滤波器类型都可以是一维可分离的，包括两级：垂直滤波级和水平滤波级，也可以根据本发明选择应用顺序。任何滤波器也可以是二维不可分离的。

在这一实施例中，输出信号1401始终是所有三级之后的信号（即使在某些级可能不切换任何滤波器）。例如，不可能输出未在环中滤波的信号。不过，可能有益的是利用额外滤波器对环中的信号滤波，同时输出信号，无需应用那些滤波器或它们的一部分。为了允许这样的配置，根据本发明的另一实施例，向图14的滤波方案增加另一开关。

图15示出了由控制信息1591控制的这种开关1550。输出选择开关1550，输出选择控制信息1591是控制信息1590的一部分，还可以包括滤波器选择控制信息1490，还可能包括位置选择信息1494。可以将输出选择控制信息1591编码为独立的代码字或作为滤波器选择指示符1491、1492和1493和/或位置指示符1494组合的一部分。开关1550允许在四个可能位置之间切换。具体而言，开关1550的位置指定在滤波的哪个级1451、1452、1453或1454从解码器输出信号1501。于是，例如，即使在滤波的第一级1451之前，也能够输出信号1501，同时在一个或多个级中应用环中滤波。环中级滤波器之一也可以是内插滤波器。

通常，也可以针对单个滤波器实现不同解码级中滤波器位置的选择。对于从不同解码级选择输出信号也是同样情况。图16示出了针对单个滤波器的情况使用两个可配置开关。两个开关是“后置滤波器/环内滤波器”，以及“使用已滤波/未滤波图像输出”。具体而言，可以根据来自比特流的指示符选择滤波器1610的位置。可以利用由控制信息1690之内包括的位置选择指示符1694控制的开关1650进行选择，控制信息1690还可以包括输出选择指示符1695，用于控制开关1660。开关1650的位置决定将滤波器1610用作环内滤波器（参考位置1652）还是后置滤波器（参考位置1651）。开关1660的位置决定了输出信号1601是利用滤波器1610（参考位置1661）滤波之后的滤波信号还是未滤波信号（参考位置1662）。此外，可以在控制信息1690之内发送用于设置滤波器1610的滤波器系数或其他信息。这种控制信息可以表示开关的位置。在这一简化范例中，一个比特的滤波器位置信息1694可以是被信号化和/或一个比特的输出选择信息。例如，可以利用取决于控制信息的条件在硬件或软件中实现开关1650和1660。

图17示出了采用本发明要执行的方法步骤范例。编码方法1700A包括选择应用至少两个滤波器的序列的步骤1710。在这里，可以由用户利用设置编码参数来进行选择，编码参数例如是用于控制图5到9或13到16的任一幅所示的开关的控制信息。不过，也可以基于其他编码参数和/或基于输入图像信号或其表达（其量化和/或变换版本，其预测误差或预测信号等），进行选择。可以据其进行选择的编码参数可以是，例如，预测类型、量化的域、量化参数、运动矢量、块大小等。可以例如针对每个块或每个切片或每帧或每预定数量的帧或每个序列进行滤波器顺序的选择。至少两个滤波器可以是要用作两个解码级的滤波器。至少两个滤波器可以都在环中，都在环后，或它们中的至少一个在环中，至少一个在环后。也可以选择环之内/外部的位置作为选择滤波顺序的一部分。此外，滤波器顺序选择也可以包括选择特定类型的滤波器。

在滤波顺序选择之后，对已经选择了滤波顺序的图像信号编码1720，包括在编码之前和/或期间和/或之后滤波。具体而言，可以在编码的不同级之前/之后采用滤波：在频域中量化之后，在空域中量化之后，或在图像信号重构之后。在这里，在单个编码步骤之前/之后，可以将多个滤波级作为独立的编码级彼此紧邻地使用，这些滤波器的顺序是根据本发明选择的。或者，或此外，可以执行不同编码级之前/之后的滤波器排序，例如，可以选择在环内和/或环后应用解块滤波器和/或噪声减少滤波器，以及将它们中哪个用作第一滤波器，它们中哪个用作第二滤波器。

将经过编码和滤波的图像信号嵌入1730比特流中，还可以向其中嵌入控制信息，例如滤波器序列指示符，用于指示滤波顺序和/或滤波器选择指示符，表示滤波顺序和要应用的滤波器。控制信息还可以包括位置指示符，用于指示要在哪个解码级和/或滤波级应用滤波器，或表示要在哪个解码级和/或滤波级输出图像的指示符。然后从编码器输出比特流。可以存储或发送1790比特流。

可以对通过上文所述的编码方法产生的这种比特流1790编码。根据本发明的解码1700B方法可以包括对比特流进行语法分析1750的步骤。在语法分析期间，提取表示编码图像数据的信息元素，可能的话，还提取用于支持选择滤波顺序的控制信息和/或相对于要输出解码信号的解码环和/或解码级的至少一个滤波器和/或滤波器位置。

根据经过语法分析的信息元素，选择1760至少两个滤波器的滤波顺序和/或滤波器的位置和/或输出信号的滤波器和/或级。具体而言，可以根据专用于选择滤波顺序的控制信息选择滤波顺序，例如，图5到9或13到16所示的开关位置。不过，也可以基于包括其他编码器参数的信息元素选择滤波顺序，其他编码器参数例如是量化参数、量化的域、块的尺寸、预测类型、运动矢量或包含编码图像信号的信息元素或从比特流提取的任何其他信息。

在选择了滤波顺序之后，对比特流解码，在解码期间，按照选定的顺序和/或选定的位置应用1770可能选择的滤波器。然后输出1780经过解码和滤波的图像信号。

图18示出了根据本发明用于从编码器侧向解码器侧传输编码视频数据的系统的一般化范例。输入视频信号被编码器1801编码并提供给信道1802。编码器1801是根据如上所述本发明的任何实施例的编码器。信道1802是存储器或任何传输信道。存储器可以是，例如任何易失性或非易失性存储器、任何磁或光学介质、海量存储器等。传输信道可以由任何传输系统的物理资源形成，传输系统是无线或有线的、固定或移动的，例如xDSL、ISDN、WLAN、GPRS、UMTS、因特网或任何标准化或专有系统。除了编码器之外，编码器侧还可以包括输入视频信号的预处理，例如格式转换，和/或用于通过信道1802发送编码视频信号的发射器或用于向存储器中传输编码视频信号的应用。然后由解码器1803从信道1802获得编码的视频信号。解码器1803是根据如上所述本发明的任何实施例的解码器。解码器对编码视频信号解码。除解码器之外，解码器侧还可以包括用于从传输信道接收编码视频信号的接收器或用于从存储器提取编码视频数据的应用，和/或用于对解码视频信号进行后期处理，例如格式转换的后期处理模块。

可以在独立的计算机系统中简单地实施每个实施例中描述的处理，即在记录介质中记录用于实现每个实施例所述的视频编码方法和视频解码方法配置的程序。记录介质可以是任何记录介质，只要可以记录程序即可，例如磁盘、光盘、磁光盘、IC卡和半导体存储器。

在下文中将描述每个实施例中描述的视频编码方法和视频解码方法的应用及使用其的系统。

图19是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图19那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的视频摄影的设备。照相机ex116是能够进行数字照相机等的静止图像摄影、视频摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、WCDMA（Wideband－CodeDivision Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed PacketAccess）的便携电话机。或者，便携电话ex114可以是PHS（Personal Handyphone System）。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在这种分发中，对用户使用照相机ex113摄影的内容（例如音乐会现场的视频等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或视频数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。也可以将视频编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的视频数据发送。此时的视频数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图20所示，在数字广播用系统ex200中也能够装入上述实施方式的至少视频编码装置（图像编码装置）或视频解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对视频数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该视频数据是通过上述各实施方式中说明的视频编码方法编码后的数据。在接收到复用数据后，广播卫星ex202发送无线电广播以进行广播。并且，具有卫星广播接收功能的家用天线ex204接收无线电广播。

接下来，诸如电视（接收机）ex300和机顶盒（STB）ex217的设备解码所接收的复用数据，再现解码数据。

此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将视频数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的视频解码装置或视频编码装置。读取器/记录器ex218可以包括视频解码装置或者视频编码装置，如每个实施例中所示。在此情况下，可以将再现的视频信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现视频信号。也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装视频解码装置，将其用电视机的监视器ex219显示。也可以不是在机顶盒、而在电视机ex300内装入视频解码装置。

图21是表示使用在上述各实施方式中说明的视频解码方法及视频编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对视频数据复用了音频数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调单元ex302、和将解调后的复用数据分离为视频数据、音频数据或将在信号处理不ex306中编码的视频数据、音频数据复用的复用/解复用单元ex303。

此外，电视机ex300还包括：具有将音频数据、视频数据分别解码、或将各自的信息编码的音频信号处理单元ex304和视频信号处理单元ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理单元ex306；具有将解码后的音频信号输出的扬声器ex307及显示解码后的视频信号的显示器等的显示单元ex308的输出单元ex309。进而，电视机ex300包括具有受理用户操作的输入的操作输入单元ex312等的接口单元ex317。进而，电视机ex300具有合并控制各单元的控制单元ex310、对各单元供给电力的电源电路单元ex311。接口单元ex317也可以除了操作输入单元ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接单元ex313、用来能够安装SD卡等的记录介质ex216的插槽单元ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。这里，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制单元ex310的控制，将由调制/解调单元ex302解调的复用数据用复用/解复用单元ex303分离。进而，电视机ex300将分离的音频数据用音频信号处理单元ex304解码，将分离的视频数据用视频信号处理单元ex305使用在上述各实施方式中说明的解码方法解码。将解码后的音频信号、视频信号分别从输出单元ex309朝向外部输出。在输出单元ex309提供视频信号和音频信号时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使音频信号和视频信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将音频信号或视频信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制单元ex310的控制，由音频信号处理单元ex304将音频信号编码，由视频信号处理单元ex305将视频信号使用在上述各实施方式中说明的编码方法编码。将编码后的音频信号、视频信号用复用/解复用单元ex303复用，向外部输出。在复用/解复用单元ex303复用视频信号和音频信号时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使音频信号和视频信号同步再现。这里，缓冲器ex318、ex319、ex320、ex321既可以如图示那样包括多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调单元ex302或复用/解复用单元ex303之间等也作为避免系统的上溢、下溢的缓冲单元而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得音频数据、视频数据以外，也可以包括受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录单元ex400的结构表示在图22中。信息再现/记录单元ex400包括以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录单元ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调单元ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制单元ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制单元ex407进行信息再现/记录单元ex400整体的控制。上述的读出及写入的处理由系统控制单元ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录单元ex402、再现解调单元ex403、伺服控制单元ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制单元ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图23中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息。通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233。配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录单元ex400对这样的记录介质ex215的数据记录区域ex233进行编码的音频数据、视频数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现视频。另外，导航仪ex211的结构可以考虑例如在图21所示的结构中添加GPS接收单元的结构。在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图24A是表示使用在上述实施方式中说明的视频解码方法和视频编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄视频、静止图像的照相机单元ex365、显示将由照相机单元ex365摄影的视频、由天线ex350接收到的视频等解码后的数据的液晶显示器等的显示单元ex358。便携电话ex114还具有包含操作键单元ex366的主体单元、用来进行音频输出的扬声器等的音频输出单元ex357、用来进行音频输入的麦克风等的音频输入单元ex356、保存拍摄到的视频、静止图像、录音的音频、或者接收到的视频、静止图像、邮件等的编码后的数据或者解码后的数据的存储器单元ex367、或者作为与同样保存数据的记录介质之间的接口单元的插槽单元ex364。

接着，使用图24B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制包括显示单元ex358及操作键单元ex366的主体单元的各单元的主控制单元ex360，将电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、照相机接口单元ex363、LCD（Liquid CrystalDisplay：液晶显示器）控制单元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、插槽单元ex364、存储器单元ex367经由总线ex370相互连接。

当通过用户的操作使通话结束及电源键成为开启状态，电源电路单元ex361通过从电池组对各单元供给电力，使得激活便携电话ex114。

便携电话ex114基于具有CPU、ROM及RAM等的主控制单元ex360的控制，在语音通话模式时，将由音频输入单元ex356集音的音频信号通过音频信号处理单元ex354变换为数字音频信号。将其用调制/解调单元ex352进行波谱扩散处理，由发送/接收单元ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。

此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理。用调制/解调单元ex352进行波谱逆扩散处理，通过音频信号处理单元ex354变换为模拟音频数据后，将其经由音频输出单元ex356输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体单元的操作键单元ex366等的操作输入的电子邮件的文本数据经由操作输入控制单元ex362向主控制单元ex360送出。主控制单元ex360将文本数据用调制/解调单元ex352进行波谱扩散处理，由发送/接收单元ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示单元ex358。

在数据通信模式时，在发送视频、静止图像、或者视频和音频的情况下，视频信号处理单元ex355将从照相机单元ex365供给的视频信号通过上述各实施方式所示的视频编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的视频数据送出至复用/解复用单元ex353。另外，音频信号处理单元ex354对通过照相机单元ex365拍摄视频、静止图像等的过程中用音频输入单元ex356集音的音频信号进行编码，将编码后的音频数据送出至复用/解复用单元ex353。

复用/解复用单元ex353通过规定的方式，对从视频信号处理单元ex355供给的编码后的视频数据和从音频信号处理单元ex354供给的编码后的音频数据进行复用。

然后，将其结果得到的复用数据用调制/解调单元（调制/解调电路单元）ex352进行波谱扩散处理，由发送/接收单元ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的视频文件的数据的情况下，或者接收到附加了视频或者音频的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/解复用单元ex353通过将复用数据分离，分为视频数据的比特流和音频数据的比特流，经由同步总线ex370将编码后的视频数据向视频信号处理单元ex355供给，并将编码后的音频数据向音频信号处理单元ex354供给。视频信号处理单元ex355通过与上述各实施方式所示的视频编码方法相对应的视频解码方法进行解码，由此对视频信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制单元ex359从显示单元ex358显示例如链接到主页的视频文件中包含的视频、静止图像。另外，音频信号处理单元ex354对音频信号进行解码，从音频输出单元ex357输出音频。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了（i）具有编码器、解码器两者的收发型终端以外，还可以考虑（ii）只有编码器的发送终端、（iii）只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在视频数据中复用了音乐数据等得到的复用数据而进行了说明，但除音频数据之外复用了与视频关联的字符数据等的数据也可以，不是复用数据而是视频数据本身也可以。

这样，将在上述各实施方式中表示的视频编码方法或视频解码方法用在上述哪种设备、系统中都可以。通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

也可以通过将在上述各实施方式中示出的视频编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的规格的视频编码方法或装置根据需要而适当切换，来生成视频数据。

这里，在生成分别依据不同的规格的多个视频数据的情况下，在解码时，需要选择对应于各个规格的解码方法。但是，由于不能识别要解码的视频数据依据哪个规格，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在视频数据中复用了音频数据等的复用数据采用包含表示视频数据依据哪个规格的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图25是表示复用数据的结构的图。如图25所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主视频及副视频，音频流（IG）表示电影的主音频部分和与该主音频混合的副音频，演示图形流表示电影的字幕。这里，所谓主视频，表示显示在画面上的通常的视频，所谓副视频，是在主视频中用较小的画面显示的视频。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的视频编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的视频编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的视频中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副视频中使用的视频流分配0x1B00到0x1B1F，对与主音频混合的副音频中使用的音频流分配0x1A00到0x1A1F。

图26是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图27更详细地表示在PES包序列中怎样保存视频流。图27的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图27的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图28表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图28下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了视频、音频、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的视频、音频、字幕等的各流的PID、以及与各PID对应的流的属性信息。PMT还具有关于复用数据的各种描述符。描述符有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（ArrivalTime Clock）与作为PTS及DTS的时间轴的STC（System Time Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图29是详细地说明PMT的数据构造的图。PMT报头布置在PMT的开头。PMT报头记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。每条流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

每个复用数据信息文件如图30所示，是复用数据的管理信息。与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图30所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS。再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图31所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。上述这些信息用于在播放器再现之前的解码器的初始化等中。

使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的视频编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据、和依据其他规格的视频数据。

此外，在图32中表示本实施方式的视频解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的视频编码方法或装置生成的复用数据。在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的视频编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的视频解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的复用数据的情况下，在步骤exS103中，通过依据以往的规格的视频解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的视频解码方法或装置解码。因而，在被输入了依据不同的规格的复用数据的情况下，也能够选择适当的解码方法或装置。所以能够不发生错误地进行解码。此外，将在本实施方式中示出的视频编码方法或装置、或者视频解码方法或装置用在上述任何设备、系统中。

在上述各实施方式中示出的视频编码方法及装置、视频解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图33中表示1芯片化的LSIex500的结构。LSIex500包括以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路单元ex505通过在电源是开启状态的情况下对各单元供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512等的控制单元ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制单元ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理单元ex507发送。在信号处理单元ex507中进行音频信号的编码及/或视频信号的编码。这里，视频信号的编码处理是在上述各实施方式中说明的编码处理。此外，在信号处理单元ex507中，还根据情况而进行将编码的音频数据和编码的视频数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

在上述中，对存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以包括多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制单元ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512等，但控制单元ex510的结构并不限定于该结构。例如，也可以是信号处理单元ex507还包括CPU的结构。通过在信号处理单元ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502包括信号处理单元ex507、或作为信号处理单元ex507的一部分的例如音频信号处理单元的结构。在这样的情况下，控制单元ex501为包括具有信号处理单元ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

在未来，因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术。可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

在将通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的视频数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的规格的视频数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的视频解码装置采用识别视频数据依据哪个规格、并根据规格切换驱动频率的结构。图34表示本实施方式的结构ex800。驱动频率切换单元ex803在视频数据是通过在上述各实施方式中示出的视频编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的视频解码方法的解码处理单元ex801指示将视频数据解码。在视频数据是依据以往的规格的视频数据的情况下，与视频数据是通过在上述各实施方式中示出的视频编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的规格的解码处理单元ex802指示将视频数据解码。

更具体地讲，驱动频率切换单元ex803由图33的CPUex502和驱动频率控制单元ex512构成。这里，执行在上述各实施方式中示出的视频解码方法的解码处理单元ex801、以及依据以往的规格的解码处理单元ex802对应于图33的信号处理单元ex507。CPUex502识别视频数据依据哪个规格。并且，基于来自CPUex502的信号，驱动频率控制单元ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理单元ex507进行视频数据的解码。例如，可以考虑在视频数据的识别中使用例如在所述实施方式中记载的识别信息。识别信息并不限定于在所述实施方式中记载的信息，只要是能够识别视频数据依据哪个规格的信息就可以。例如，在基于识别视频数据利用于电视机还是利用于盘等的外部信号，来能够识别视频数据依据哪个规格的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图36所示的将视频数据的规格与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图35表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理单元ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别视频数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在视频数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制单元ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制单元ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的视频数据的情况下，在步骤exS203中，CPUex502向驱动频率控制单元ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制单元ex512中，设定为与视频数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC规格的视频数据解码的处理量大于将通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高。在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的视频数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据的情况下，不使CPUex502的驱动停止。在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的视频数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的视频编码方法或装置生成的视频数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的视频数据的情况相比，将停止时间设定得短。

这样，根据视频数据所依据的规格来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的规格的多个视频数据。这样，为了使得在被输入了依据不同的规格的多个视频数据的情况下也能够解码，LSIex500的信号处理单元ex507需要对应于多个规格。但是，如果单独使用对应于各个规格的信号处理单元ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的视频解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的解码处理部一部分共用的结构。图37A的ex900表示该结构例。例如，在上述各实施方式中示出的视频解码方法和依据MPEG4－AVC规格的视频解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC规格的解码处理单元ex902。关于不对应于MPEG4－AVC规格的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理单元ex901。特别是，本发明的一个方式在逆量化方面具有特征，因此可以考虑例如对于逆量化使用专用的解码处理单元ex901，对于除此之外的熵解码、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理单元。关于解码处理单元的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的视频解码方法的解码处理单元，关于MPEG4－AVC规格所特有的处理内容，使用专用的解码处理单元。

此外，用图37B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理单元ex1001、和与其他的以往规格所特有的处理内容对应的专用的解码处理单元ex1002、和与在本发明的一个方式的视频解码方法和其他的以往规格的视频解码方法中共通的处理内容对应的共用的解码处理单元ex1003的结构。这里，专用的解码处理单元ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往规格所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的视频解码方法和以往的规格的视频解码方法中共通的处理内容，共用解码处理单元，由此能够减小LSI的电路规模并且降低成本。

已经相对于基于H.264/AVC的视频编码系统简述了大多数范例，术语主要涉及H.264/AVC术语。不过，这种术语以及相对于基于H.264/AVC的编码的各种实施例描述并非意在将本发明的原理和创意限于这种系统。而且，对符合H.264/AVC标准的编码和解码的详细解释意在更好地理解这里描述的示范性实施例，不应被理解为将本发明限于视频编码中过程和功能的特定实施。虽然如此，可以在所述视频编码中容易地应用这里提出的改进。此外，也可以在JVT当前论述的H.264/AVC编码增强中容易地使用本发明的概念。

总而言之，本发明涉及一种用于对图像信号编码和解码的方法和对应的设备。具体而言，在图像信号的编码和/或解码期间，利用至少两个滤波器进行滤波。选择滤波器应用的序列，可能还选择滤波器，在选定的滤波次序中利用选定的滤波器进行滤波。可以在编码器和解码器处以相同方式独立执行应用滤波器序列的确定，或者，可以在编码器处确定并发送给解码器。

Claims (17)

1.一种用于对比特流中编码的图像数据解码的方法，在编码的图像信号的解码过程的不同环内或后置滤波级处采用至少两个不同的滤波器，即第一滤波器和第二滤波器，

其特征在于

根据从所述比特流提取的编码参数选择应用所述第一滤波器和所述第二滤波器的顺序；以及

根据对所述编码的图像数据解码时所选的顺序应用所述第一滤波器和所述第二滤波器。

2.根据权利要求1所述的方法，其中

根据从包括所述编码的图像数据的比特流提取的滤波器序列指示符执行选择应用所述第一滤波器和所述第二滤波器的顺序的步骤；

所述滤波器序列指示符至少指示在应用所述第二滤波器之前应用所述第一滤波器还是在应用所述第一滤波器之前应用所述第二滤波器；以及

应用所述第一滤波器和所述第二滤波器的步骤按照所述滤波器序列指示符指示的顺序应用所述第一滤波器和所述第二滤波器。

3.一种用于将图像数据编码到比特流中的方法，在所述图像数据的编码过程的不同环内或后置滤波级处采用至少两个不同的滤波器，即第一滤波器和第二滤波器，

其特征在于

根据编码参数和/或所述图像数据的性质选择应用所述第一滤波器和所述第二滤波器的顺序；以及

根据对所述图像数据编码时所选的顺序应用所述第一滤波器和所述第二滤波器。

4.根据权利要求3所述的方法，还包括如下步骤：

向包括所述编码的图像数据的比特流中嵌入滤波器序列指示符，所述滤波器序列指示符用于指示应用所述第一滤波器和所述第二滤波器的选定顺序，

其中所述滤波器序列指示符至少指示在应用所述第二滤波器之前应用所述第一滤波器还是在应用所述第一滤波器之前应用所述第二滤波器。

5.根据权利要求3或4所述的方法，还包括如下步骤：

从多个预定义滤波器或滤波器类型选择所述第一滤波器和所述第二滤波器；

嵌入滤波器选择指示符，所述滤波器选择指示符用于指示所选的第一滤波器和所选的第二滤波器，

其中选择所述第一滤波器和所述第二滤波器和/或应用所述第一滤波器和所述第二滤波器的序列，以便使比特率和失真的拉格朗日成本最小化；并且

根据对所述图像数据编码时所选的顺序应用所选的滤波器。

6.根据权利要求1到5的任一项所述的方法，其中：

应用所述第一滤波器和所述第二滤波器的每个作为环内滤波器或后置滤波器的任一个的一部分，

所述第一滤波器和所述第二滤波器中的至少一个是维纳滤波器；并且

在空域或频域中将所述第一滤波器或所述第二滤波器的每个应用于预测误差信号、基准信号、重构信号和预测信号中的至少一个。

7.根据权利要求1到6的任一项所述的方法，其中根据指示如下内容的编码参数中的至少一个，和/或根据为编码而输入的图像数据的噪声的统计，执行选择应用所述第一滤波器和所述第二滤波器的顺序的步骤：

用于指定要用于图像数据编码的量化步长的量化参数；

对所述编码的图像数据量化的域；

用于预测图像信号的运动矢量；

用于预测所述图像信号的图像块的大小；或

预测的类型。

8.根据权利要求7所述的方法，其中

所述第一滤波器是频域中的滤波器，所述第二滤波器是空域中的滤波器，在所述编码的图像数据是在频域中量化的时，选择首先应用所述第一滤波器，其次应用所述第二滤波器，在所述编码的图像数据是在空域中量化的时，选择首先应用所述第二滤波器，其次应用所述第一滤波器；或

所述第一滤波器是用于减少编码期间由量化图像数据导致的相加量化噪声的滤波器，在所述量化步长高于预定义阈值时，选择首先应用所述第一滤波器，其次应用所述第二滤波器，在所述量化步长低于预定义阈值时，选择首先应用所述第二滤波器，其次应用所述第一滤波器。

9.一种计算机程序产品，包括其上包含计算机可读程序代码的计算机可读介质，所述程序代码适于执行根据权利要求1到8的任一项所述的方法。

10.一种用于对比特流中编码的图像数据解码的设备，包括要在所述编码的图像信号的解码过程的不同环内或后置滤波级处应用的至少两个不同的滤波器，即第一滤波器和第二滤波器，

其特征在于

滤波顺序选择单元，用于根据从所述比特流提取的编码参数选择应用所述第一滤波器和所述第二滤波器的顺序；其中

所述设备被配置成根据对所述编码的图像数据解码时所选的顺序应用所述第一滤波器和所述第二滤波器。

11.根据权利要求10所述的设备，其中

所述滤波顺序选择单元被配置成根据从包括所述编码的图像数据的比特流提取的滤波器序列指示符选择应用所述第一滤波器和所述第二滤波器的顺序；

所述滤波器序列指示符至少指示在应用所述第二滤波器之前应用所述第一滤波器还是在应用所述第一滤波器之前应用所述第二滤波器；以及

所述设备被配置成按照所述滤波器序列指示符指示的顺序应用所述第一滤波器和所述第二滤波器。

12.一种用于将图像数据编码到比特流中的设备，包括在所述图像数据的编码过程的不同环内或后置滤波级处应用的至少两个不同的滤波器，即第一滤波器和第二滤波器，

其特征在于

滤波顺序选择单元，用于根据编码参数和/或图像数据的性质选择应用所述第一滤波器和所述第二滤波器的顺序，其中

所述设备被配置成根据对所述图像数据编码时所选的顺序应用所述第一滤波器和所述第二滤波器。

13.根据权利要求12所述的设备，还包括：

比特流产生单元，用于向包括所述编码的图像数据的比特流中嵌入滤波器序列指示符，所述滤波器序列指示符用于指示应用所述第一滤波器和所述第二滤波器的选定顺序，

其中所述滤波器序列指示符至少能够取指示在应用所述第二滤波器之前应用所述第一滤波器的值以及指示在应用所述第一滤波器之前应用所述第二滤波器的值。

14.根据权利要求12或13所述的设备，还包括：

滤波器选择单元，用于从多个预定义滤波器或滤波器类型选择所述第一滤波器和所述第二滤波器；

比特流产生单元，用于嵌入滤波器选择指示符，所述滤波器选择指示符用于指示所选的所述第一滤波器和所选的所述第二滤波器，

其中所述滤波器选择单元被配置成选择所述第一滤波器和所述第二滤波器和/或滤波顺序，以便使比特率和失真的拉格朗日成本最小化；并且

所述设备被配置成根据对所述图像数据编码时所选的顺序应用所选的滤波器。

15.根据权利要求10到14的任一项所述的设备，其中所述设备被配置成：

应用所述第一滤波器和所述第二滤波器的每个作为环内滤波器或后置滤波器的任一个的一部分，

在空域或频域中向预测误差信号、基准信号、重构信号和预测信号中的至少一个应用所述第一滤波器和所述第二滤波器的每个，并且

其中所述第一滤波器或所述第二滤波器中的至少一个是维纳滤波器。

16.根据权利要求10到15的任一项所述的设备，其中所述滤波顺序选择单元被配置成根据如下编码参数中的至少一个，和/或根据为编码而输入的图像数据的噪声的统计，选择应用所述第一滤波器和所述第二滤波器的顺序：

用于指定要用于图像数据编码的量化步长的量化参数；

对所述编码的图像信号量化的域；

用于预测所述图像信号的运动矢量；

用于预测所述图像信号的图像块的大小；或

预测的类型。

17.根据权利要求16所述的设备，其中

所述第一滤波器是频域中的滤波器，所述第二滤波器是空域中的滤波器，所述滤波顺序选择单元被配置成，在所述编码的图像数据是在频域中量化的时，选择首先应用所述第一滤波器，其次应用所述第二滤波器，在所述编码的图像数据是在空域中量化的时，选择首先应用所述第二滤波器，其次应用所述第一滤波器；或

所述第一滤波器是用于减少编码期间由量化图像数据导致的相加量化噪声的滤波器，所述滤波顺序选择单元被配置成，在所述量化步长高于预定义阈值时，选择首先应用所述第一滤波器，其次应用所述第二滤波器，在所述量化步长低于预定义阈值时，选择首先应用所述第二滤波器，其次应用所述第一滤波器。

Images