CN107197254B - 解码方法及解码装置 - Google Patents

Abstract

本发明提供一种解码方法及解码装置。解码方法包括：根据已编码图像对重构图像进行解码的步骤；以及针对重构图像所包含的重构块执行解块滤波处理的步骤；在解块滤波处理中，判断是否对相邻的第一块的第一段及第二块的第一段各自所包含的相邻像素应用解块滤波器，从多个类型中选择解块滤波器的类型。其中，判断中利用的样本像素，仅被包含在第一块的第一段和第二块的第一段内分别包含的样本像素中。在选择中，按垂直于第一边界的样本像素的每行选择解块滤波器的类型。在按每行进行的选择中，不利用除了对象行以外的行的样本像素，而利用对象行所包含的样本像素，由此选择解块滤波器的类型。

Description

解码方法及解码装置

本申请是2012年9月6日提交的，中国专利申请号为201280042730.7(国际申请号PCT/EP2012/067433)，发明名称为“低复杂度解块滤波器判定”的专利申请的分案申请。

技术领域

本发明涉及图像的滤波。具体而言，本发明涉及解块滤波，并涉及关于是否为一图像区域启用或禁用解块滤波的判定。

背景技术

目前，大多数标准化的视频编码算法都基于混合视频编码。混合视频编码方法通常组合几种不同的无损及有损的压缩方案，以实现所需的压缩增益。混合视频编码也是ITU-T标准(H.26x标准，例如H.261,H.263)以及ISO/IEC标准(MPEG-X标准，例如MPEG-1、MPEG-2和MPEG-4)的基础。最近及最先进的视频编码标准是目前表示为H.264/MPEG-4高级视频编码(AVC)的标准，AVC是ITU-T及ISO/IEC MPEG组的联合组——联合视频组(JVT)标准化努力的结果。视频编码联合协作小组(JCT-VC)正在以高效视频编码(HEVC)的名义进一步开发此编解码器，具体而言，目的是提高涉及高分辨率视频编码的效率。

输入到编码器的视频信号是被称为帧的图像序列，每个帧是像素的二维矩阵。所有基于混合视频编码的上述标准包括把每个视频帧细分成由多个像素组成的更小的块。例如，根据图像的内容，块的大小可以变化。编码的方法通常可以基于每块而改变。这种块最大可能的尺寸，例如在HEVC中，是64x 64像素。因此称其为最大编码单元(LCU)。在H.264/MPEG-4AVC中，宏块(通常表示16x 16像素的块)是进行编码的基本图像元素，可以进一步把它分成更小的应用一些编码/解码步骤的子块。

通常，混合视频编码的编码步骤包括空间的和/或时间的预测。因此，通过使用在其空间邻域的块或来自其时间邻域的块，即来自之前编码的视频帧，首先预测要被编码的每个块。然后计算出要被编码的块和它的预测之间的差异块，也被称为预测残差块。另一个编码步骤是把残差块从空(像素)域转换到频域。转换目的在于降低输入块的相关性。另一编码步骤是变换系数的量化。在此步骤中，进行实际有损(不可逆)压缩。通常，通过熵编码进一步压实(无损压缩)压缩的转换系数值。此外，对用于编码的视频信号重构所需的侧信息进行编码，并与编码的视频信号一起提供。这是例如关于空间和/或时间预测、量化的数量等信息。

图1是典型的H.264/MPEG-4AVC和/或HEVC视频编码器100的范例。减法器105首先判断输入视频图像(输入信号s)的要编码的当前块和对应预测块

之间的差异e，使用对应预测块

作为要编码的当前块的预测。可以通过时间或空间预测180获得预测信号。可以基于每个帧或基于每个块改变预测的类型。使用时间预测而预测的块和/或帧被称为“互”编码，而使用空间预测而预测的块和/或帧被称为“内”编码。从存储器中存储的先前编码图像中导出使用时间预测的预测信号。从先前编码、解码并存储在存储器中的相邻块中的边界像素值导出使用空间预测的预测信号。输入信号及预测信号之间表示为预测错误或残差的差异e被转换110，获得被量化120的系数。然后向量化的系数应用熵编码器190以便进一步减少用无损方式存储和/或发射的数据量。这主要是通过应用具有可变长度码字的代码实现的，在可变长度的码字中基于码字发生的概率选择码字的长度。

在视频编码器100之内，并入解码单元用于获得解码的(重构的)视频信号s’。按照编码步骤，解码步骤包括反量化及逆变换130。由于量化错误，也称为量化噪声的原因，这样获得的预测误差信号e’不同于原始预测误差信号。然后通过向预测信号

增加140解码预测误差信号e’以获得重构的图像信号s’。为了维持编码器侧和解码器侧之间的兼容性，基于在编码器侧和解码器侧都已知的编码并随后解码的视频信号获得预测信号

由于量化的原因，量化噪声被叠加到重构的视频信号。由于逐块编码，叠加的噪声经常具有分块特性，具体而言对于强量化，分块特性导致解码图像中可见的块边界。这种分块伪影对人类视觉感知具有负面影响。为了减少这种伪影，把解块滤波器150应用于每个重构的图像块。把解块滤波器应用于重构信号s’。例如，H.264/MPEG-4AVC的解块滤波器具有局部自适应的能力。对于高度的块噪声，应用强(窄带)低通滤波器，而对于低度的块噪声，应用较弱(宽带)低通滤波器。通过预测信号

并通过量化预测误差信号e’确定低通滤波器的强度。解块滤波器通常平滑块边缘，导致解码图像的主观质量改进。此外，由于图像的被滤波部分用于其他图像的运动补偿预测，滤波还减小预测误差，并因此能够提高编码效率。

解块滤波器之后，可以把样本自适应偏移155和/或自适应环路滤波器160应用于包括已经解块的信号s”的图像。而解块滤波器改进主观质量，样本自适应偏移(SAO)及ALF目的在于改进逐个像素的保真度(“客观”质量)。具体而言，SAO根据像素的直接邻域增加偏移。使用自适应环路滤波器(ALF)补偿由于压缩引起的图像失真。通常，自适应环路滤波器是具有某一滤波器系数的维纳滤波器，确定滤波器系数以便使重构的s’和源图像s之间的均方误差(MSE)最小化。可以逐个帧地计算并发射ALF的系数。可以将ALF应用于整个帧(视频序列的图像)或局部区域(块)。可以发射表示要对哪些区域滤波的额外侧信息(基于块、基于帧或基于四叉树)。

为了进行解码，互编码块还需要在参考帧缓存170中存储图像中之前编码并随后解码的部分。通过采用运动补偿预测，预测180互编码块。首先，由运动估计器针对之前编码并解码的视频帧之内的当前块发现最优匹配块。然后最优匹配块成为预测信号，然后在与编码视频数据一起提供的侧信息中，以三维运动矢量的形式将当前块和其最优匹配之间的相对位移(运动)表达为运动数据信号。这三个维度由两个空间维度和一个时间维度构成。为了优化预测精确度，可以确定运动矢量，使其具有空间子像素分辨率，例如半像素或四分之一像素分辨率。具有空间子像素分辨率的运动矢量可以指向已解码帧中没有实际的像素值可用的空间位置，即子像素位置。因此，需要对此像素值进行空间插值以便进行运动补偿预测。这可通过插值滤波器实现(在图1中，集成于预测块180中)。

对于内和互编码模式两者，当前输入信号和预测信号之间的差异e被转换110及量化120，获得量化系数。通常，采用正交变换，例如二维离散余弦变换(DCT)或其整数版本，因为其有效地降低了自然视频图像的相关性。转换后，对于图像质量而言，较低频率成分通常比高频率成分更重要，因此对低频率成分进行编码可以使用比对高频率成分进行编码更多的比特。在熵编码器中，把量化系数的二维矩阵转换成一维数组。通常，由所谓的之字形扫描执行这种转换，之字形扫描由在二维数组左上角的DC系数开始，并以预定序列扫描二维数组，在右下角的AC系数处结束。由于能量通常集中于系数二维矩阵对应于较低频率的左上部分，之字形扫描获得最后值通常为零的数组。这样允许使用游程长度代码进行高效率的编码，作为实际熵编码的/之前的一部分。

H.264/MPEG-4H.264/MPEG-4 AVC以及HEVC包括两个功能层，即视频编码层(VCL)和网络抽象层(NAL)。VCL提供了上文简述的编码功能。NAL将信息元素根据其进一步的应用，例如通过信道传输或在存储器中存储，封装成被称为NAL单元的标准化单元中。信息元素例如是用于对视频信号解码所需的编码预测误差信号或其他信息，例如预测类型、量化参数、运动矢量等。存在着包含压缩视频数据和相关信息的VCL NAL单元以及封装额外数据的非VCL单元，额外数据例如是与整个视频序列相关的参数集，或提供可用于改进解码性能的额外信息的补充增强信息(SEI)。

图2示出了根据H.264/MPEG-4 AVC或HEVC视频编码标准的范例解码器200。编码的视频信号(解码器的输入信号)首先传递到熵解码器290，熵解码器290对量化系数、解码所需信息元素，例如运动数据、预测模式等进行解码。对量化系数进行逆向扫描，以便获得二维矩阵，然后将其馈送给逆量化和逆变换230。在逆量化和逆变换230之后，获得解码(量化)的预测误差信号e'，其对应于在不引入量化噪声且不发生误差的情况下从编码器的信号输入减去预测信号获得的差异。

从时间或空间预测280获得预测信号。解码的信息元素通常还包括预测所需的信息，例如内预测情况下的预测类型以及运动补偿预测情况下的运动数据。然后利用加法器240将空域中的量化预测误差信号加到从运动补偿预测或帧内预测280获得的预测信号。可以将重构图像s'通过解块滤波器250、样本自适应偏移处理255和自适应循环滤波器260，并在存储器270中存储所得的解码信号，以应用于后续块/图像的时间或空间预测。

图3中示出了示范性混合视频编码器的另一例示。图3的编码器与图1的编码器不同之处在于，已经将图1的解块滤波器150细分成用于垂直边缘的水平解块的滤波器350a和用于水平边缘垂直解块的滤波器350b。将滤波器350a应用于重构信号S'，即加法器140的输出。滤波器350b的输出，即具有解块的垂直边缘的图像被表示为S”并输入到滤波器350b中。滤波器350b的输出信号，即经过垂直和水平解块的图像被表示为S”'。此外，图3明确示出了要输入到熵编码器190、水平解块滤波器350a和垂直解块滤波器350b中的量化参数QP。

图3的剩余块对应于图1的相应块，在图3和图1中通过相同附图标记表示类似特征。在图3中，已经将自适应环路滤波器160明确描述为维纳滤波器，块155(SAO)和160(ALF)已经被互换。不过，这些步骤的顺序对于本发明而言不是实质性的。此外，图3中未明确示出参考帧缓存170。

考虑到图1的编码器和图2的解码器的相应特征密切相似，本领域的技术人员知道如何修改图2，以便例示解码器，其中使得两个相继步骤中的水平和垂直解块清楚明白。因此这里省去了相应的图。

在对图像进行压缩和解压时，分块伪影一般是对用户而言最干扰的伪影。解块滤波有助于通过使重构图像中块间的边缘平滑化而改善用户的知觉体验。解块滤波中的困难之一是在由于应用量化器导致的分块造成的边缘之间，以及在作为编码信号部分的边缘之间进行正确的判定。仅在块边界上的边缘是由于压缩伪影导致时才希望应用解块滤波器。在其他情况下，通过应用解块滤波器，重构的信号可能是令人失望的、扭曲的。另一个困难是选择适当的滤波器进行解块滤波。典型地，在几个具有不同频率响应(导致强或弱低通滤波)的低通滤波器之间做出判定。为了判定是否应用解块滤波并选择适当的滤波器，考虑两个块的边界附近的图像数据。

例如，可以考虑相邻块的量化参数。或者或此外，可以考虑诸如内或互预测的预测模式。另一种可能是评估量化的预测误差系数，例如，它们中的多少被量化成零。用于运动补偿预测的参考帧也可以表示滤波器的选择，例如，是否使用同一参考帧预测当前块和相邻块。判定也可以基于用于运动补偿预测的运动矢量以及用于当前块和用于相邻块的运动矢量是否相同或更好它们不同。判定可能涉及样本的空间位置，例如与块碎片的距离。

例如，H.264/MPEG-4AVC评估两个相邻块的每个中第一推导(导数)的绝对值，两个相邻块的边界要被解块。此外，评估两个块之间边缘上第一导数的绝对值，例如，如H.264/MPEG-4AVC标准8.7.2.2.部分中所述。在US 2007/854204A中还描述了类似方法。基于相同的标准对所有要滤波的像素做出判定，针对整个块进行选择。HEVC采用类似的机制，不过，也使用二阶导数。

根据这些方法，对于实际解块而言，针对可能要解块的块的所有边缘判定是否解块。此外，如果启用解块，对于每个单独的排，对于要应用的滤波器种类做出判定。基于未解块的像素样本做出这些判定。因此，必须要在实际应用解块滤波器对垂直边缘进行水平滤波并对水平边缘进行垂直滤波之前对两个解块方向都做出判定。结果是要应用的第一解块滤波器(例如，水平滤波)的延迟。此外，需要存储滤波器开/滤波器关判定的结果。或者，为了延迟对在第二方向(例如，垂直)解块所做的判定，会需要额外的排存储器(linememory)。由于排存储器非常昂贵，这样会导致成本升高。

发明内容

考虑到现有技术存在这些问题，提供一种存储器使用效率得到提高的高效率解块滤波方法会是有利的。

本发明的具体方法是基于将每个块沿垂直于块边界的线分割成至少两个段，而非基于完整的块，为两个块之间的边界应用或跳过解块滤波器做出判定。定义所述段，使得段包括以任何方式存储的所有那些像素，因为针对与相应段相邻的垂直方向的另一块边界，判定是否应用或跳过解块滤波和/或选择适当的滤波器需要它们。

根据本发明的一方面，提供了一种按每个块对已编码图像进行解码的解码方法，包括：根据所述已编码图像对重构图像进行解码的步骤；以及针对所述重构图像所包含的重构块执行解块滤波处理的步骤；在所述解块滤波处理中，在由第一边界划分的第一块和第二块中，所述第一块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，所述第二块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，判断是否对相邻的所述第一块的第一段及所述第二块的第一段各自所包含的相邻像素应用解块滤波器，从多个类型中选择所述解块滤波器的类型，所述判断中利用的样本像素，仅被包含在所述第一块的第一段和所述第二块的第一段内分别包含的样本像素中，在所述选择中，按垂直于所述第一边界的样本像素的每行选择所述解块滤波器的类型，在按每行进行的所述选择中，不利用除了对象行以外的行的样本像素，而利用所述对象行所包含的样本像素，由此选择所述解块滤波器的类型。

根据本发明的另一方面，提供了一种按每个块对已编码图像进行解码的解码装置，具备：解码部，根据所述已编码图像对重构图像进行解码；以及滤波部，针对所述重构图像所包含的重构块执行解块滤波处理；在所述解块滤波处理中，在由第一边界划分的第一块和第二块中，所述第一块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，所述第二块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，判断是否对相邻的所述第一块的第一段及所述第二块的第一段各自所包含的相邻像素应用解块滤波器，从多个类型中选择所述解块滤波器的类型，所述判断中利用的样本像素，仅被包含在所述第一块的第一段和所述第二块的第一段内分别包含的样本像素中，在所述选择中，按垂直于所述第一边界的样本像素的每行选择所述解块滤波器的类型，在按每行进行的所述选择中，不利用除了对象行以外的行的样本像素，而利用所述对象行所包含的样本像素，由此选择所述解块滤波器的类型。

根据本发明的另一方面，提供了一种按每个块对已编码图像进行解码的解码装置，具备：处理电路；以及与所述处理电路连接的存储器；所述处理电路利用所述存储器进行：根据所述已编码图像对重构图像进行解码的步骤；以及针对所述重构图像所包含的重构块执行解块滤波处理的步骤；在所述解块滤波处理中，在由第一边界划分的第一块和第二块中，所述第一块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，所述第二块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，判断是否对相邻的所述第一块的第一段及所述第二块的第一段各自所包含的相邻像素应用解块滤波器，从多个类型中选择所述解块滤波器的类型，所述判断中利用的样本像素，仅被包含在所述第一块的第一段和所述第二块的第一段内分别包含的样本像素中，在所述选择中，按垂直于所述第一边界的样本像素的每行选择所述解块滤波器的类型，在按每行进行的所述选择中，不利用除了对象行以外的行的样本像素，而利用所述对象行所包含的样本像素，由此选择所述解块滤波器的类型。

根据本发明的另一方面，提供了一种用于对图像像素块进行解块滤波的方法。该方法包括如下步骤：将被第一边界分开的第一和第二块的每个沿着垂直于所述第一边界的线分成至少两段，以及判断是否对与所述第一和第二块的第一边界相邻的像素应用解块滤波器。利用所述第一边界两侧的一对相邻段中的样本像素，针对所述一对相邻段单独进行所述判断，使得在所述判断中不使用属于其他段的像素。将所述块分成段，使得一块的段包括判断是否应用解块滤波器和/或为与所述块与第三块之间的第二边界相邻的像素解块选择解块滤波器所需的块的全部像素，其中所述第二边界垂直于所述第一边界。

根据本发明的另一方面，提供了一种用于对图像像素块进行解块滤波的装置。该装置包括分割单元，用于将被第一边界分开的第一和第二块的每个沿着垂直于所述第一边界的线分成至少两段。该装置还包括判断单元，用于判断是否对与所述第一和第二块的第一边界相邻的像素应用解块滤波器。所述判断单元利用所述第一边界两侧的一对相邻段中的样本像素针对所述一对相邻段单独进行判断，使得在所述判断中不使用属于其他段的像素。所述分割单元将所述块分成段，使得一块的段包括判断是否应用解块滤波器和/或为与所述块与第三块之间的第二边界相邻的像素解块选择解块滤波器所需的块的全部像素，其中所述第二边界垂直于所述第一边界。

附图说明

附图被纳入说明书并形成说明书的一部分以例示本发明的几个实施例。这些附图与描述一起用于解释本发明的原理。附图仅仅用于例示可以如何做出并使用本发明的优选和替代范例，不应被解释为将本发明限制到所示和所述的实施例。如附图中所示，从本发明各实施例的以下更具体描述，其他特征和优点将变得显而易见，在附图中，相似的附图标记指代相似元件，且其中：

图1是例示视频编码器的范例的方框图；

图2是例示视频解码器的范例的方框图；

图3是例示视频编码器的范例的另一方框图；

图4A是例示水平解块滤波器的应用的示意图；

图4B是例示垂直解块滤波器的应用的示意图；

图5是例示判定是否要应用解块以及选择解块滤波器的示意图；

图6A是例示强滤波器执行的解块操作的示意图；

图6B是例示弱滤波器执行的解块操作的示意图；

图7是例示接下来要从八排/列的示范性块做出的解块判定序列的流程图；

图8是例示用于执行图7的流程图中的第一种判定的像素的样本的示意图；

图9是例示执行图7的流程图中的第二种判定所采用的像素样本的示意图；

图10是例示在对垂直边缘水平滤波的情况下用于执行图7的流程图中的第三种判定的像素样本的示意图；

图11是例示用于对垂直边缘执行水平解块的像素样本的示意图；

图12是例示在对水平边缘垂直滤波的情况下用于执行图7的流程图中的第三种判定的样本像素的示意图；

图13是例示用于对水平边缘执行垂直解块滤波的样本像素的示意图；

图14是可以通过垂直边缘的水平解块修改的样本的图示；

图15是通过垂直边缘的水平解块修改的样本的图示；

图16是通过受到水平或者垂直解块修改的样本的图示；

图17A-17D是例示在用于实现水平和垂直滤波的图7的流程图中的第一和第二种判定的并行执行当中出现的问题以及根据本发明的克服所述问题的基本思路的示意图；

图18是例示将根据本发明的解块中的相关性限于8×8样本的图解；

图19A、19B是例示根据本发明的实施例判定是否应用解块滤波器的具体范例的示意图；

图20A、20B是例示根据本发明的实施例用于选择适当解块滤波器的判定的示范性方案的示意图；

图21A、21B是例示根据本发明的实施例用于选择适当解块滤波器的判定的替代示范性方案的示意图；

图22A、22B是例示在判定是否应用解块滤波器时发生的存储器访问问题的示意方框图；

图23A、23B是例示图22A和B中例示的存储器访问问题解决方案的示意图；

图24示出了用于实施内容分发服务的内容提供系统的总体配置；

图25示出了数字广播系统的总体配置；

图26示出了方框图，例示了电视配置的范例；

图27示出了方框图，例示了信息再现/记录单元的配置范例，该信息再现/记录单元从记录介质，即光盘读取信息并向其上写入信息；

图28示出了记录介质，即光盘的配置范例；

图29A示出了蜂窝电话的范例；

图29B是示出了蜂窝电话配置范例的方框图；

图30例示了复用数据的结构；

图31示意性示出了如何在复用数据中复用每个流；

图32更详细地示出了如何在PES分组流中存储视频流；

图33示出了复用数据中TS分组和源分组的结构；

图34示出了PMT的数据结构；

图35示出了复用数据信息的内部结构；

图36示出了流属性信息的内部结构；

图37示出了用于识别视频数据的步骤；

图38示出了根据每个实施例用于实施活动画面编码方法和活动画面解码方法的集成电路配置范例；

图39示出了用于在驱动频率之间切换的配置；

图40示出了用于识别视频数据并在驱动频率之间切换的步骤；

图41示出了查找表的范例，在查找表中将视频数据标准与驱动频率相关联；

图42A是示出了用于共享信号处理单元的模块的配置范例的图示；以及

图42B是示出了用于共享信号处理单元的模块的另一配置范例的图示。

具体实施方式

本发明所解决的问题是观察到常规判定技术需要太多的存储容量来执行所有的判定以及按照预期的顺序执行实际的滤波处理，如下文所述。为了降低存储成本，根据本发明，对执行判定处理的块执行分割，从而使MIC存储需求降至最低。根据另一特定方面，还实现了降低的总计算复杂性。

图4示出了分别在对图1、图2和图3的描述当中提到的解块滤波器(例如，150、250、350a和350b)的应用的范例。这样的解块滤波器可以针对块边界处的每一样本判定是否要对其滤波。在要对其滤波时，应用低通滤波器。这一判定的目的在于仅对一些样本滤波，对于这些样本而言，上述背景技术部分描述的逐块处理中所应用的量化将导致块边界处产生大的信号变化。这一滤波的结果是边界处的平滑化信号。所述平滑化的信号对观察者带来的困扰要比分块伪影少。对于一些样本而言，边界处的大的信号变化属于要编码的原始信号，那么就不应对这些样本滤波，这样才能保持高频率，继而保持视觉清晰度。假设发生了错误的判定，那么图像要么会受到不必要的平滑化，要么还是会呈块状。

图4A示出了针对垂直边界所做的(是否要采用水平解块滤波器进行滤波的)判定，图4B示出了针对水平边界所做的(是否要采用垂直解块滤波器进行滤波的)判定。具体而言，图4A示出了要解码的当前块340以及该块的已经被解码的相邻块310、320和330。针对处于一排内的像素360执行判定。类似地，图4B示出了同一当前块340以及针对处于一列内的像素370执行的判定。

可以如下执行有关是否应用解块滤波器的判断，其与H.264/MPEG-4AVC类似。让我们来看一排的六个像素360，它们当中的前三个像素p2、p1、p0属于左边的相邻块A330，接下来的三个像素q0、q1和q2处于当前块B 340，仍然如图5所示。排410示出了块A和B之间的边界。像素p0和q0分别是左侧邻块A和当前块B的处于彼此直接相邻的位置上的像素。例如，在满足下述条件时通过解块滤波器对像素p0和q0进行解块滤波：

|p₀-q₀|＜α_H264(QP_New)

|p₁-p₀|＜β_H264(QP_New),以及

|q₁-q₀|＜β_H264(QP_New)，

其中，一般而言，β_H264(QP_New)＜α_H264(QP_New)。这些条件旨在检查p0和q0之间的差异是否源自于分块伪影。它们对应于对块A和块B的每者内的以及它们之间的一阶导数的评估。

如果除了上面的三个条件之外如果还满足下述条件就对像素p1滤波。

|p₂-p₀|＜β_H264(QP_New).

例如，如果除了上面的前三种条件之外还满足下述条件，那么对像素q1滤波：

|q₂-q₀|＜β_H264(QP_New).

这些条件分别对应于第一块内的一阶导数以及第二块内的一阶导数。在上述条件当中，QP表示指示所应用的量化的量的量化参数，β,α是标量常数。具体而言，QP_New是如下以应用于相应的第一和第二块A和B的量化参数QP_A和QP_B为基础导出的量化参数：

QP_New＝(QP_A+QP_B+1)＞＞1,

其中，“>>n”表示右移n位(在上面的公式中：一位)。

上面的条件对应于块内的一阶导数的评估。可以只对块的一个或多个选定的排执行判定，同时对所有的排360执行相应的像素滤波。图5中示出了在遵照HEVC的判定中涉及的排430的范例420。在排430的基础上执行有关是否要对整个块滤波的判定。

可以在ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的JTC-VC的JCTVC-E603文件8.6.1部分中找到解块滤波的另一个范例，可以在http:∥wftp⒊ITU.int/av-arch/jctvc-site免费获得该文件。

相应地，在HEVC中采用两排430判定是否要应用解块滤波以及如何应用解块滤波。在本说明书中通篇采用第一判定步骤D1标示这一判定步骤。范例420采取了对第三(具有标引2)和第六(具有标引5)排的估算，以实现水平块化滤波的目的。具体而言，如下估算每一块内的二阶导数，由此获得度量d_p和d_q：

d_p2＝|p2₂-2·p1₂+p0₂| d_q2＝|q2₂-2·q1₂+q0₂|

d_p5＝|p2₅-2·p1₅+p0₅| d_q5＝|q2₅-2·q1₅+q0₅|

d_p＝d_p2+d_p5 d_q＝d_q2+d_q5,

像素p属于块A，像素q属于块B。P或q后面的第一个数字表示列标引，接下来的处于下标中的数字表示在块内的行编号。在满足下述条件时启用对范例420中所示的所有八排的解块：

d＝d_p+d_q＜β(QP)。

如果不满足上面的条件，那么不应用解块。在启用了解块的情况下，在接下来的在本说明书中通篇表示为第二判定步骤D2的判定步骤中确定用于解块的滤波器。这一确定是以块A和B之间的一阶导数的估算为基础的。具体而言，对于每一排i而言(其中，i是处于0和7之间的整数)判定应用强低通滤波器还是弱低通滤波器。如果满足下述条件则选择强滤波器。

|p3_i-p0_i|+|q3_i-q0_i|＜(β(QP)＞＞3)∧

d＜(β(QP)＞＞2)∧

|p0_i-q0_i|＜((t_c(QP)·5+1)＞＞1)。

依照所述HEVC模型，“强滤波器”采用p3_i,p2_i,p1_i,p0_i,q0_i,q1_i,q2_i,q3_i对样本p2_i,p1_i,p0_i,q0_i,q1_i,q2_i滤波，而“弱滤波器”则采用p2_i,p1_i,p0_i,q0_i,q1_i,q2_i对样本p1_i,p0_i,q0_i,q1_i滤波。在上述条件下，参数β和t_c两者都是可以针对图像的片层等设置的量化参数QP_e的函数。β和t_c的值通常是采用查找表在QP的基础上导出的。

图6更详细地解释了依照H264/MPEG-4 AVC(在HEVC软件模型HM4.0中实现的)的强滤波器操作和弱滤波器操作的示范性解决方案。

在图6A中，左手边的图示出了用于在强滤波器中对垂直边缘水平滤波的样本。图6A的右手边的图示出了受到滤波器修改的样本。从该图可以看出，在所给定的范例中，将由附图标记610表示的对应于与所述边界的两侧最为相邻的4个像素的样本用于滤波。实际受到修改的只是图6A的左手侧的图中通过620表示的从两侧与所述边界最为接近的那三个像素。实际上根据下述公式执行滤波。

p0′_i＝Clip((p2_i+2·p1_i+2·p0_i+2·q0_i+q2_i+4)＞＞3)

p1′_i＝Clip((p2_i+p1_i+p0_i+q0_i+2)＞＞2)

p2′_i＝Clip((2·p3_i+3·p2_i+p1_i+p0_i+q0_i+4)＞＞3)

q0′_i＝Clip((q2_i+2·q1_i+2·q0_i+2·p0_i+p2_i+4)＞＞3)

q1′_i＝Clip((q2_i+q1_i+q0_i+p0_i+2)＞＞2)

q2′_i＝Clip((2·q3_i+3·q2_i+q1_i+q0_i+p0_i+4)＞＞3)

函数Clip(x)的定义如下：

这里，max_allowed_value是x可能具有的最大值。在采用k位样本进行PCM编码的情况下，所述最大值将为max_allowed_value＝2^k-1。例如，在采用8位样本进行PCM编码的情况下，所述最大值将为max_allowed_value＝255。在采用10位样本进行PCM编码的情况下，所述最大值将为max_allowed_value＝1023。

从上述方程可以看出，在每一公式中针对每一排单独执行滤波(仅采用单个排标引i＝0、1、2、3、5、6或7)，其中，通过滤波器对像素进行了修改(通过滤波器编号后面的撇号'指示)。尽管分别对于p3i和q3i而言没有计算任何经修改的像素，但是分别从针对p2'i和q2'i的方程可以看出，p3i和q3i出现在相应的计算方程的右手侧。

从图6B可以看出，弱滤波器将从两侧与所述边界最为接近的三个像素用于滤波(左手侧图解中的样本630)。实际受到修改的只是图6B的右手侧的与边界最为相邻的两个像素(样本640)。弱滤波的计算处理与强滤波情况下的计算存在显著区别，其还包括其他判定。首先根据所述判定所基于的下述方程计算判别值Δ

Δ＝(9·(q0_i-p0_i)-3·(q1_i-p1_i)+8)＞＞4。

接下来，在第三判定步骤D3中判定到底要不要执行滤波。根据所述第三判定，如果满足条件|Δ|＜10·t_c，那么仅对像素样本640施加滤波。

如果满足所述条件，那么根据下述方程对所述从两侧与所述边界最为接近的像素进行滤波

p0′_i＝Clip(p0_i+Δ₁) q0′_i＝Clip(q0_i-Δ₁)，其中

Δ₁＝Clip3(-t_c,t_c,Δ)

函数Clip(x)的定义如上。函数Clip3(x)的定义如下：

在对样本p0和q0滤波之后，执行第四判定D4，以判定是否还要对从所述边界的角度来看次最近的像素样本，即p1_i和q1_i进行滤波。单独针对所述边界的两侧，单独即针对属于图6B的块A的像素p1_i和属于图6B的块B的像素q1_i执行所述第四判定D4。

针对像素p1_i的第四判定是以上文介绍的参数d_p为基础的。如果满足条件d_p＜(β/6)，那么根据p1′_i＝Clip(p1_i+Δ_2p)执行滤波，其中Δ_2p＝Clip3(-t_c2,t_c2,(((p2_i+p0_i+1)＞＞1)-p1_i+Δ₁)＞＞1)。

如果满足条件d_q＜(β/6)，那么执行针对块B的像素q_i的第四判定。根据q1′_i＝Clip(q1_i+Δ_2q)执行滤波，其中

Δ_2q＝Clip3(-t_c2,t_c2,(((q2_i+q0_i+1)＞＞1)-q1_i-Δ₁)＞＞1).

上面的参数t_c2是依照t_c2＝t_c＞＞1定义的。

注意，上面的滤波过程尽管是以垂直边缘的水平滤波为例进行说明的，但是其同样适用于水平边缘的垂直滤波，只需分别对水平和垂直方向以及行和列进行交换。此外，在本说明书中通篇采用这样的规定，即，“排”一词可以指行也可以指列。

图7是针对8×8块，即，具有八个要滤波的排的块的具体情况说明由判定步骤D1、D2、D3和D4构成的序列的总体流程图。

从图7可以看出，在步骤S10中，可以通过单次判定判定出所有的八个排是否要实施解块滤波。如果判定不实施解块(滤波器OFF)，那么处理终止。如果实施解块(滤波器ON)，那么接下来的步骤S20j到S45j中的每者将针对所述排(通过下标j指示，j＝1,2,...,8)中的每者单独执行滤波处理。为简单起见，在下述说明中省略了相应的下标j。首先，在步骤S20中，针对每一单独的排j判定是应用强滤波器还是弱滤波器(判定D2)。如果判定应用强滤波器，那么在接下来的步骤S35中，应用强滤波器，如上文参考图6A所述。在相反情况下，在判定应用弱滤波器时，处理进行至另一判定步骤S30，其中，针对各排j执行判定D3。如果在判定D3中判定不实施滤波，那么处理终止。在相反情况下，在步骤S38中执行对最接近边界的排p0和q0的像素的滤波，如上文参考图6B所述。接下来，在步骤S40中，进一步判定是否还要对p1和q1(与边界次最近)滤波。如果否，那么处理终止。如果判定是肯定的，那么除了进行至步骤S45，其中，计算经修改的像素p1'和q1'。将根据本范例联系图6B描述步骤S30、S38、S40和S45的处理的细节。

图8以举例的方式示出了用于执行判定D1(即，对于两块之间的具体边界到底要不要实施解块的判定)的像素样本。该图示出了两行块。在每一行中示出了前一已经解码的块810、当前要解码的块820和下一个要解码的块830。由于判定D1是针对未被解块的图像块执行的，因而所示出的样本对应于图3的信号S'。

如上文所述，将处于垂直于所要滤波的边缘的滤波方向内的第三排和第六排(标有2和5)用于判定D1。具体而言，样本860a包括两个用于执行判定D1的列，以判定是否要对当前块820和处于垂直上方的块820之间的边界滤波。样本860b示出了用于执行判定D1的两个行，所述判定将判断是否要对当前块820和下一块830之间的垂直边缘水平滤波。类似地，样本860c也示出了两个用于执行判定D1的行，所述判定是针对前一块810和当前块820之间的边界做出的。如上文所述，为了在每一采样排内执行判定，需要从所述边界的每一侧数出的三个像素。

图9提供了用于执行判定D2的未解块信号S'的所有样本像素的概览。由于这些判定是针对排单独执行的，因而垂直于相应边界的所有要进行所述判定的排的像素都将被包含在图9所示的样本960内。如上所述，判定D2需要对在两侧与所述边界相邻的头四个像素进行估算。样本960示出了用于对相同的边界执行判定D2的样本，对于所述边界而言，图8示出了用于执行判定D1的样本。

在图10中，示出了用于执行判定D3的样本1060，所述判定是针对垂直边缘的，即当前块820分别与前一块810和下一块830之间的边界的水平滤波做出的。如上所述，单独针对每一排执行判定，但是仅将从每一侧与所述边界相邻的两个像素用于所述判定。

图11示出了用于针对垂直边缘执行水平解块滤波的样本1160。由其可以看出，与图10相反，所述滤波本身需要所述边界两侧的四个像素的“深度”。

图12示出了用于执行判定D3的样本1260，所述判定是针对水平边界的垂直滤波做出的。由于所述判定只在执行对垂直边缘的水平解块之后执行，因而这些样本是从图3的经水平解块的信号S'中选择的。为了凸显图12的块与上面的附图中所示的块之间的差异，在每一块的附图标记上添加了撇号。因而，分别将图12中的前一块、当前块和下一块标示为810'、820'和830'。

图13示出了用于执行对水平边缘的实际垂直解块滤波的样本1360。因而，图13与图12的区别方式与图11和图10的区别方式相同。具体而言，在所述边界的两侧对从所述块边界开始数出的四个像素采样。

在下图中，图14到16示出了可以修改的像素样本(与用于判定和用于执行滤波的像素相比相对照)。在上述范例中示出了由8×8个样本构成的块(即，8个行和8个列，或者沿每一方向都有八排)。但是所述块尺寸只是范例。

具体而言，图14提供了可以通过对垂直边缘的水平解块而修改的样本的图示。对于一块(在附图中被标为“8个样本”)而言，在与要解块的边界平行的八排的像素当中，所述边界的两侧最多有三排变得受到修改。因此，有接近边界的六个样本构成的序列将变得受到修改。在图14中对这些样本打上了阴影。因此，在整个8×8块内，处于要修改的块的中间的两个样本将在每一块内保持不变。

图15示出了通过对垂直边缘的水平解块修改的样本。因此，图15基本上对应于图14，但是，其中的阴影部分旋转了90°。

图16提供了通过水平或者垂直解块修改的样本的总体图示。因而，图16对应于图14和图15的叠加。

在上述说明的基础上，现在将基于图17A和17B以举例的方式详细说明本发明所本着的问题。将在图17C中说明解决所述问题的总思路。

注意，在下文的详细说明中仅通过举例的方式给出了块尺寸，并由此给出了所存储的排的数量和用于执行判定的排的数量。本发明不限于8×8块，因此样本图片的数量不限于下文具体指出的数量。在所附权利要求定义的本发明的框架内，其他块尺寸也是可能的，因而不同的所要存储和选择的样本的数量也是可能的。而且，本发明不限于本说明书中所述的并且如图3所示的首先执行水平解块的范例。对于在水平解块之前执行垂直解块的相反情况，本发明具有相似的应用，这一点是浅白易懂的。

图17A基本上对应于图9。此外，附图标记1770指示了执行当前块820的上面的块与当前块820之间的垂直边界的判定D2(强或弱滤波器)所需的四排的样本。

如上所述，将对未解块样本执行判定D1和D2。因此，只要图3的未解块信号S'仍然可用，即，在滤波器350a中的水平边缘垂直滤波实际开始之前就必须执行这些判定。换言之，具体而言针对水平边缘的垂直滤波所做的判定D1和D2使滤波(具体而言：根据图3的流程图将首先执行的对垂直边缘的水平滤波)发生了延迟。因此，在垂直边界处开始进行所述受到延迟的水平滤波的时刻可得到在图17A中通过附图标记1770表示的四排样本，每排的长度对应于执行针对垂直滤波的判定D2所需的未解块信号的画面宽度。

可以如下实施硬件实现：将未解块样本存储到排存储器内，接下来采用所存储的未解块样本针对当块的垂直边缘的水平滤波和水平边缘的垂直滤波执行判定D1和D2。接下来，针对包括四个所存储的排的区域执行对垂直边缘延迟的水平滤波。

然而，对于这一延迟的水平滤波而言，先前执行的开启/关闭判定D1的结果是必需的。因此，必须将所述判定的结果存储起来，或者对其重新计算。在不存储所述结果的情况下，根据上文描述的常规方案的重新计算需要来自不属于所存储的排1770的排的样本像素。也就是说，对于判定D1的判定结果的重新计算而言，需要图17B所示的样本像素1760(对应于图5中的样本430，即第三和第六排的像素(在图5中具有下标2和5))。而第六排(在图5中具有下标5)属于总之已经存储了的排，而第三排(在图5中具有下标2)则不是这种情况。

因而，要么必须存储先前针对所述延迟水平滤波所做的判定D1的判定结果，要么必须额外存储来自额外排(图17B中的排1760的上排)的数据。然而，由于排存储器价格非常昂贵，因而后一种备选方案将带来更高的成本。

或者，可以利用额外的排存储器避免所述垂直滤波的延迟。也就是说，如果具有两个排存储器，其中一个保存未解块信号，另一个保存水平解块信号，那么可以推迟针对垂直滤波所做的判定D1和D2。但是，由于排存储器价格非常昂贵，因而所述备选方案甚至更为不利。

因此，在上述常规方案中，所出现的问题是，必须为了延迟的滤波器操作而将判定D1的结果或者未包含在所存储的排(这里为四个排1770)中的额外排存储起来。

本发明旨在克服由上文所述的存储问题导致的常规方法的缺陷。

根据本发明，将每一块(在本范例中：由八排(行/列)构成的块)划分为至少两段。通过某种方式执行所述分割，从而有可能仅基于所存储的排1770(执行水平边缘的垂直滤波的相应判定所需的)并且独立地由其他排执行针对垂直边缘的水平滤波的所有判定(D1：开启/关闭，D2：强/弱)因此，对于垂直边缘的延迟的水平滤波而言不再需要任何判定缓存或者额外的排存储器。

在图17C中示出了所述思路。也就是说，通过所述分割，将通过某种方式修改垂直边缘的延迟水平滤波的判定D1，从而使所述判定是仅以图17C的虚线框1760中包含的未解块信号S'的那些样本为基础做出的。可以容易地看出，所有的这些像素都属于所存储的排1770。

更具体而言，参考图17D描述本发明的解决方案。也就是说，对水平滤波中所涉及的块全部执行分割，所述分割方式是沿水平分割线(即垂直于所要解块的边界的线)对块进行划分。为了简单起见，在图17D中仅示出了对上面一行块的分割。虚线分割线1700将每一块沿垂直方向划分成两段(两侧)。此外，通过某种方式对实施判定D1的方案进行修改，从而使针对所述段之一的区域内的垂直边缘的水平解块做出的判定D1不需要来自相应的另一侧的任何样本。

换言之，不再需要对所述块作为一个整体做出判定D1，而是单独这对每一段(侧)做出判定D1。为了对侧1做出所述判定，仅采用来自侧1的样本(具体而言：通过编号1760₁表示的样本)。为了对侧2的段的区域做出所述判定，仅采用侧2上的样本(具体而言：通过编号1760₂表示的样本)。

反之亦然，位于侧1的样本不用于执行侧2上的垂直边缘的水平滤波所需的判定，侧2上的样本不用于执行侧1上的垂直边缘的水平滤波所需的判定。

因此，具体而言，可以在不参考任何未存储排的情况下基于所存储排1770实施针对侧2的判定。因而，既不需要在昂贵的排存储器内存储先前确定的结果，也不需要在其内存储额外的排。

就侧1而言，可以在由相对于图17中的另一行块和上面的紧挨着的块(图17中未示出)之间的边界所做的垂直解块判定而仍然存储着的相应的排的时候做出单独的判定。

根据本发明的判定方案的一个重要的优点是限制了解块对具有块的尺寸的区域的依赖性。因此，如果适当地选择用于判定的样本区域(块)，那么能够相互并行地对它们进行解块。必须注意，用于判定的样本区域(块)一般不同于相对于应用了解块的边界而言的块。

在图18中示出了所述有利的技术效果(对于8×8块的范例而言)。

图18总体上以图17D为基础，其示出了六个8×8块，将对所述块的块边界进行解块。此外，在图18中，已经通过虚线方框强调了8×8区域1800。在所述区域1800内，(按照与(例如)图17D中的样本1760₂类似的方式通过小的虚线矩形)示出了针对垂直边缘1810的水平解块所做的判定所需的样本。此外，还强调了区域1800内的用于水平边缘的垂直解块滤波的相应样本(具有垂直取向的小的虚线矩形)。

从图18可以看出，可以在不必参考所述区域外的任何样本的情况下针对所述8×8块1800做出所有的判定。因而，8×8区域(块)1800(以及沿水平和/或垂直方向移动了8像素的倍数的相应块)是适当的判定块，可以通过解块滤波对其进行并行处理。

在常规的判定和滤波方案中无法获得这样的优点。例如，从图8可以看出，在以前的方案中，不存在这样的8×8区域(块)，即，能够将用于解块判定的样本限定在所述区域内，从而能够在所述区域内独立地做出解块滤波判定。因而，常规方案妨碍了并行操作。

下面将参考图19描述由被分割成两个四排段的八排块执行判定D1(解块滤波器开启/关闭)的示范性解决方案的更加具体的说明。图19A示出了针对侧1的四排段所做的开启/关闭判定。从图19A可以看出，仅基于第一排(具有下标0)和第四排(具有下标3)做出所述判定。更具体而言，计算下述参数：

d_p0＝|p2₀-2·p1₀+p0₀|

d_p3＝|p2₃-2·p1₃+p0₃|

d_p,side1＝d_p0+d_p3

以及

d_q0＝|q2₀-2·q1₀+q0₀|

d_q3＝|q2₃-2·q1₃+q0₃|

d_q,side1＝d_q0+d_q3。

如果满足下述条件，那么启用所述滤波器：

d_q,side1+d_p,side1＜β。

图19B基于样本1760₂示出了针对侧2做出的相应判定。相应的计算为：

d_p4＝|p2₄-2·p1₄+p0₄|

d_p7＝|p2₇-2·p1₇+p0₇|

d_p,side2＝d_p4+d_p7

以及

d_q4＝|q2₄-2·q1₄+q0₄|

d_q7＝|q2₇-2·q1₇+q0₇|

d_q,side2＝d_q4+d_q7

如果满足下述条件，那么启用所述滤波器：

d_q,side2+d_p,side2＜β。

从上述细节可以看出，以块分割为基础对判定D1所做的修改使得总的计算开销略微增加。也就是说，不是对八排块做单次需要20个操作的开启/关闭判定，而是必须两次对4排进行开启/关闭判定，从而需要40个操作。因而，单单做判定D1所需的操作的数量就加倍了。

因此，在本发明当中还优选对判定D2的实施进行修改，以补偿增加的计算开销，其中判定D2是有关适于应用强滤波器还是弱滤波器的判定。

图20示出了基于根据本发明的分割的经修改的判定D2的第一个具体的解决方案。如上文所述，在常规范例中，针对每排单独实施判定D2。相反，根据本发明，仅对每一段的排的子集实施各个判定。在针对所述段的子集的各个判定的基础上，对所述段的所有排做出滤波器的单次判定。

更具体而言，图20A针对侧1示出了根据所述第一具体范例的经修改的判定D2。所述判定是以第一排(具有下标0)和第四排(具有下标3)为基础的，在图20A中采用编号1960₁对其加以表示。对于具有下标0和3的两排中的每者而言，执行强滤波器和弱滤波器之间的判定(优选按照上文描述的常规方式)。如果对这两排都选择强滤波器，那么对所有的四排(0、1、2、3)都进行强滤波。否则，选择弱滤波器。

在图20B中示出了侧2上的相应的操作方案。对侧2所做的判定D2是以具有下标4和7的采用附图标记1960₂标示的两排为基础的。针对两排4和7中的每者执行强滤波器和弱滤波器之间的判定。如果对这两排都选择了强滤波器，那么对所有的四排4、5、6、7都进行强滤波。否则，选择弱滤波器。

模拟表明，根据所描述的本发明的实施例的编码效率相对于上文所述的常规HM4.0方案略微提高。

已经在ISO和ITU的标准化活动中通常采用的编码条件的基础上评估了上文参考图19和图20描述的本发明的实施例的编码效率，参考文献JCTVC-E 700

(http://phenix.int-evry.fr/jct/doc_end_user/current_document.php？id＝ 2454)。在相同的均方量化误差下本发明将使得平局比特率降低大约0.15％。

此外，还可以在对两判定D1和D2做出的修改的基础上实现总计算开销的降低。也就是说，根据上文描述的常规方案，需要下述总操作数量：

·对8排的开启/关闭判定：20次操作

·8次强/弱判定：96次操作

·计算总和：116次操作

根据所示出的本发明的实施例，总操作数量如下：

·2次针对4排的开启/关闭判定：40次操作

·4次强/弱判定：48次操作

·计算总和：96次操作

因此，本发明使得总计算次数减少了大约20％。

经修改的判定D2的第二示范性解决方案与上文描述的第一个范例类似。按照与第一个范例中相同的方式，在所述第一侧上，针对两排0和3中的每者执行强滤波器和弱滤波器之间的判定。如果这两排都选择弱滤波器，那么对所有的四排0、1、2、3进行弱滤波。否则，选择强滤波器。

按照相同的方式，对侧2上的两排4和7中的每者执行强滤波器和弱滤波器之间的判定。如果这两排都选择弱滤波器，那么对所有的四排4、5、6、7进行弱滤波。否则，选择强滤波器。

因而，所示出的第二个范例与所述第一个范例的区别在于，根据所述第二个范例，假设针对两个选定排的单独判定之间存在差异，那么选择强滤波器，而根据所述第一个范例假设有差异，那么总是选择弱滤波器。由于弱滤波器的计算复杂性一般低于强滤波器，因而所述第一个范例能够进一步降低计算开销。

根据第三个范例，还在图20A和20B所示的选定排的基础上执行经修改的判定D2。但是，根据所述第三个范例，使判定D2与判定D3结合。也就是说，对于选定排的每者而言，执行强滤波器、弱滤波器和无滤波器之间的组合判定。相应的判定是在查找表格的基础上做出的。

更具体而言，在侧1上，对于两排0和3中的每者而言，执行强滤波器和弱滤波器和无滤波器之间的判定。采用所述两个判定结果通过下述查找表对所有的四排0、1、2、3做出判定。

对排0的判定	对排3的判定	所得到的对排0-3的判定(范例)
			强	强	强
强	弱	弱
			强	关闭	关闭
弱	强	弱
			弱	弱	弱
弱	关闭	关闭
			关闭	强	关闭
关闭	弱	关闭
			关闭	关闭	关闭

对侧2上的两排4和7中的每者执行强滤波器、弱滤波器和无滤波器之间的判定。采用所述两个判定结果通过下述查找表对所有的四排4、5、6、7做出判定。

对排4的判定	对排7的判定	所得到的对排4-7的判定(范例)
			强	强	强
强	弱	弱
			强	关闭	关闭
弱	强	弱
			弱	弱	弱
弱	关闭	关闭
			关闭	强	关闭
关闭	弱	关闭
			关闭	关闭	关闭

从上面的表格可以看出，假设两排的判定存在差异，那么总是选择具有较低复杂性的判定。由此进一步节省了计算开销。

参考图21示出的第四个范例大体上与第三个范例类似。从图21可以看出，选择侧1上的(图21A)具有₁和₂的第二和第三排进行单独判定。在侧2上选择第六和第七排(具有₅和₆)。下文示出了对应的查找表格：

对排1的判定	对排2的判定	所得到的对排0-3的判定(范例)
			强	强	强
强	弱	弱
			强	关闭	关闭
弱	强	弱
			弱	弱	弱
弱	关闭	关闭
			关闭	强	关闭
关闭	弱	关闭
			关闭	关闭	关闭

以及

对排5的判定	对排6的判定	所得到的对排4-7的判定(范例)
			强	强	强
强	弱	弱
			强	关闭	关闭
弱	强	弱
			弱	弱	弱
弱	关闭	关闭
			关闭	强	关闭
关闭	弱	关闭
			关闭	关闭	关闭

必须理解，在段的基础上而不是在单独的排的基础上执行的经修改的判定D2的具体解决方案不限于上面给出的四个范例。对这些范例的各个元素的进一步修改以及组合在所附权利要求定义的本发明的范围内也是可能的。在上文的范例中，判定D2是以两排的样本为基础的。但是，本发明不限于所述用于选择的排数。滤波器选择可以仅以单排为基础或者以任何其他小于相应的一对要解块的段内的总排数的数量的排为基础。

在下文中，将参考图22和23描述并解决在进行开启/关闭判定的过程中出现的第一存储器存取问题。图22示出了针对垂直边缘的水平解块实施判定D1的常规HEVC方案。

如图22A的上面的方案所示，在第一步骤中，读出排2并计算相关判定值d_p2和d_q2。在第二步骤中，读出排5并计算出相关判定值d_p5和d_q5。

在第三步骤中，计算判定值d₅＝d_q2+d_p2+d_q5+d_p5，并针对所有的八排执行开启/关闭判定D1。之后针对排5执行强/弱滤波器判定，针对排5执行解块和解块结果的写回。

在接下来的第四步骤中，针对其余排0、1、2、3、4、6和7中的每者读出相应的排，判定强/弱滤波，执行解块并写回结果。因此，将发生下述问题：为了对八排解块，必须两次读出排2或者排5：一次用于判定D1，一次用于解块。总共必须执行9次排读出操作，尽管每一块只有8个排。

采用参考图23所示的经修改的解块方案能够有利地解决所述问题。在第一步骤中，读出排2(2262)并计算相关的判定值d_p2和d_q2。计算经修改的判定值d₂＝2x(d_p2+d_q2)，并对这一排有效的开启/关闭判定D1是以标准d₂<β为基础的。接下来，执行强/弱滤波器判定D2，对其解块并写回结果。在第二步骤中，按照相同的方式读出排5(2265)，并计算出相关的判定值d_p5和d_q5。计算出经修改的判定值d₅＝2x(d_p5+d_q5)，并在对这一排有效的标准d₅<β上执行开启/关闭判定D1。执行强/弱滤波器判定D2，并针对排5(2265)单独执行解块和结果写回。

接下来，计算出判定值d＝(d₂+d₅)/2，并针对在图23B中通过附图标记2360表示的其余排0、1、3、4、6、7执行启用/禁用判定d<β。在接下来的第四步骤中，针对其余排0、1、3、4、6和7中读出像素样本，执行强/弱滤波器判定，之后执行解块并写回结果。

根据解决所述存储器存储问题的改进的解块的经修改的范例，如前所述执行步骤1、2和4。对上文描述的步骤3进行修改，所述修改在于计算出并不计算其余排的公共判定值d。相反，基于判定(d₂＜β)&(d₅＜β)执行步骤3中的针对其余排0、1、3、4、6、7的开启/关闭判定。

更具体而言，通过某种方式执行判定D1的经修改的判定方案，从而使判定D1不是针对整个块做出的。接下来，针对其余排做所述判定。

此外，还必须通过某种方式对要单独做判定D1的排中的每者的判定方案进行修改，从而分离出所采用的像素样本，即仅在来自具体排的样本像素的基础上实施对所述排的单独判定D1。对所述块的其余排的判定方案可以是上文参考图4和图5所述的常规方案，也可以受到修改。针对其余排的判定可以是以所有这些要进行单独判定的排的像素样本为基础的。

通过经修改的判定D1的两种版本实现了下述优点：首先，对每排只需读取一次，因此只需执行等于每块的排数(在当前情况下：8)的数量的排读取操作。此外，针对这些单独执行判定的排(在当前情况下：排2和排5)获得了更加准确的判定。

可以通过将用于实现每一实施例中描述的活动画面编码方法(图像编码方法)和活动画面解码方法(图像解码方法)的配置的程序记录在记录介质内而简单地通过独立计算机系统实现每一实施例中描述的处理。所述记录介质可以是任何记录介质，只要能够记录所述程序即可，例如，磁盘、光盘、磁光盘、IC卡和半导体存储器。

在下文中，将描述面向每一实施例中描述的活动画面编码方法(图像编码方法)和活动画面解码方法(图像解码方法)的应用，以及采用其的系统。所述系统的特征在于具有图像编码和解码设备，所述设备包括采用所述图像编码方法的图像编码设备和采用所述图像解码方法的图像解码设备。可以根据情况下适当改变所述系统中的其他配置。

(实施例A)

图24示出了用于实施内容分发服务的内容提供系统ex100的总体配置。将提供通信服务的区域划分成具有预期尺寸的小区，以及作为放置到每一小区内的固定无线站的基站ex106、ex107、ex108、ex109和ex110。

分别通过Internet ex101、Internet服务供应商ex102、电话网ex104、以及基站ex106到110将所述内容提供系统ex100连接至各项服务，例如，计算机ex111、个人数字助理(PDA)ex112、摄像机ex113、蜂窝电话ex114和游戏机ex115。

但是，内容提供系统ex100的配置不限于图24所示的配置，连接了所述元件中的任何元件的组合也是可接受的。此外，可以将每一装置直接连接至电话网ex104，而不是通过作为固定无线站的基站ex106到ex110。此外，可以通过短距离无线通信以及其他措施使所述装置相互互连。

诸如数字视频摄像机的摄像机ex113能够俘获视频。诸如数字摄像机的摄像机ex116能够既能够俘获静止图像，又能够俘获视频。此外，蜂窝电话ex114可以是满足任何标准的电话，例如，所述标准为全球移动通信系统(GSM)(注册商标)、码分多址(CDMA)、宽带码分多址(W-CDMA)、长期演进(LTE)和高速包接入(HSPA)。或者，所述蜂窝电话ex114可以是个人手提电话系统(PHS)。

在内容提供系统ex100中，将流媒体服务器ex103通过电话网ex104和基站ex109连接至摄像机ex113及其他，其能够实现对实况演出及其他的图像的发布。在这样的发布当中，如上文每一实施例所述对用户采用摄像机ex113俘获的内容(例如，音乐实况演出)进行编码(即，所述摄像机起着根据本发明的一个方面的图像编码设备的作用)，并将经编码的内容传输至流媒体服务器ex103。另一方面，所述流媒体服务器ex103应客户端请求对所传输的内容数据执行向客户端的流发布。所述客户端包括能够对上文提及的编码数据解码的计算机ex111、PDA ex112、摄像机ex113、蜂窝电话ex114和游戏机ex115。接收到了所述分发数据的每一装置对所述编码数据解码并复制(其中根据本发明的一个方面的图像解码设备的作用)。

可以通过摄像机ex113和发送所俘获的数据的流媒体服务器ex103对所俘获的数据编码，或者可以在摄像机113和流媒体服务器ex103之间共享所述编码过程。类似地，可以通过客户端或者流媒体服务器ex103对所发布的数据解码，或者可以在客户端和流媒体服务器ex103之间共享所述解码过程。此外，可以将不仅由摄像机ex113俘获的而且由摄像机ex116俘获的静止图像和视频的数据通过计算机ex111发送至流媒体服务器ex103。可以通过摄像机ex116、计算机ex111或者流媒体服务器ex103执行编码过程，或者在它们之间共享。此外，可以由一般包含在计算机ex111以及所述装置中的每者当中的LSI ex500执行所述编码和解码过程。可以将所述LSI ex500配置为具有单个芯片或者多个芯片。可以将用于对视频编码和解码的软件集成到可由计算机ex111及其他装置读取的某种类型的记录介质内(例如，CD-ROM、软盘和硬盘)，并且可以采用所述软件执行所述编码和解码过程。此外，在蜂窝电话ex114配备有摄像机时，可以发送通过所述摄像机获得的视频数据。所述视频数据是通过蜂窝电话ex114中包含的LSI ex500编码的数据。

此外，流媒体服务器ex103可以由服务器和计算机构成，其可以分散数据，并对经分散的数据、记录和发布数据进行处理。

如上所述，客户端可以在内容提供系统ex100中接收并复制编码数据。换言之，客户端可以接收用户发送的信息并对其解码，并将解码的数据实时地存储到内容提供系统ex100内，从而使不具有任何特定的权利和设备的用户能够实施个人广播。

除了内容提供系统ex100的范例之外，可以在图25所示的数字广播系统ex200中实现每一实施例中描述的活动画面编码设备(图像编码设备)和活动画面解码设备(图像解码设备)的至少其中之一。更具体而言，广播站ex201通过无线电波将复用数据传输或者发送至广播卫星ex202，所述复用数据是通过将音频数据等复用到视频数据上而获得的。所述视频数据是通过每一实施例中描述的活动画面编码方法编码的数据(即，通过根据本发明的一个方面的图像编码设备编码的数据)。在接收到所述复用数据的同时，广播卫星ex202发射用于广播的无线电波。之后，具有卫星广播接收功能的家用天线ex204接收无线电波。接下来，诸如电视(接收器)ex300和机顶盒(STB)ex217的装置对接收到的复用数据解码，并复制所述解码数据(即，起着根据本发明的一个方面的图像解码设备的功能)。

此外，读取器/记录器ex218(i)读出记录在诸如DVD和BD的记录介质ex215上的复用数据并对其解码，或者(i)对记录介质ex215内的视频信号编码，以及(在有些情况下)写入通过将音频信号复用到所述编码数据上而获得的数据。所述读取器/记录器ex218可以包括每一实施例所示的活动画面解码设备或者活动画面编码设备。在这种情况下，在监视器ex219上显示复制的视频信号，所述信号可以是另一装置或系统采用记录了所述复用数据的记录介质ex215复制的。也可能在机顶盒ex217中实现所述活动画面解码设备，所述机顶盒连接至电缆ex203，从而用于有线电视，或者连接至天线ex204，从而用于卫星和/或地面广播，由此在电视ex300的监视器ex219上显示视频信号。可以不在机顶盒内而是在电视ex300内实现所述活动画面解码设备。图26示出了采用每一实施例中描述的活动画面编码方法和活动画面解码方法的电视(接收器)ex300。电视ex300包括：通过接收广播的天线ex204或者电缆ex203等获得或提供通过将音频数据复用到视频数据上而获得的复用数据的调谐器ex301；对所接收到的复用数据解调或者将数据调制成要提供给外部的复用数据的调制/解调单元ex302；以及将调制的复用数据解复用成视频数据和音频数据或者将信号处理单元306编码的视频数据和音频数据复用成数据的复用/解复用单元ex303。

电视ex300还包括：信号处理单元ex306，其包括分别对音频数据和视频数据解码以及对音频数据和视频数据编码的音频信号处理单元ex304和视频信号处理单元ex305(起着根据本发明的方面的图像编码设备和图像解码设备的作用)；输出单元ex309，其包括提供解码音频信号的扬声器ex307和诸如显示器的显示解码视频信号的显示单元ex308。此外，电视ex300包括接口单元ex317，其包括接收用户操作的输入的操作输入单元ex312。此外，电视ex300包括控制电视ex300总体每个构成元件的控制单元ex310，以及向每个元件供电的电源电路单元ex311。除了操作输入单元ex312之外，接口单元ex317还可以包括：连接到诸如读取器/记录器ex218的外部装置的网桥ex313；用于连接记录介质ex216，例如SD卡的插槽单元ex314；要连接到外部记录介质，例如硬盘的驱动器ex315；以及要连接到电话网络的调制调解器ex316。在这里，记录介质ex216能够利用用于存储的非易失性/易失性半导体存储器元件以电方式记录信息。电视ex300的构成元件通过同步总线彼此连接。

首先将描述这样的配置：电视ex300对通过天线ex204从外部获得的复用数据等解码并复制解码数据。在电视ex300中，在用户通过遥控器ex220等操作时，复用/解复用单元ex303在包括CPU的控制单元ex310的控制下，对调制/解调单元ex302解调的复用数据进行解复用。此外，利用在每个实施例中描述的解码方法，在电视ex300中，音频信号处理单元ex304对解复用的音频数据解码，视频信号处理单元ex305对解复用的视频数据解码。输出单元ex309分别向外部提供解码视频信号和音频信号。在输出单元ex309提供视频信号和音频信号时，可以在缓存ex318和ex319等中暂时存储信号，从而彼此同步地再现信号。此外，电视ex300可以不通过广播等，而是从记录介质ex215和ex216，例如磁盘、光盘和SD卡，读取复用数据。接下来将描述这样的配置：电视ex300对音频信号和视频信号编码，并向外发射数据或在记录介质上写进数据。在电视ex300中，在用户通过遥控器ex220等操作时，在控制单元ex310的控制下，利用在每个实施例中描述的编码方法，音频信号处理单元ex304对音频信号编码，视频信号处理单元ex305对视频信号编码。复用/解复用单元ex303复用编码的视频信号和音频信号并向外提供所得信号。在复用/解复用单元ex303复用视频信号和音频信号时，可以在缓存ex320和ex321等中暂时存储信号，从而彼此同步地再现信号。在这里，缓存ex318、ex319、ex320和ex321可以如图所示为多个，或者可以在电视ex300中共享至少一个缓存。此外，可以在缓存中存储数据，从而可以避免例如调制/解调单元ex302和复用/解复用单元ex303之间的系统溢出和下溢。

此外，除了用于从广播或记录介质获得音频和视频数据的配置之外，电视ex300可以包括用于从微音器或摄像机接收AV输入的配置，并可以对获得的数据编码。尽管在描述中电视ex300能够对数据进行编码、复用并向外提供，它可能仅能够对数据进行接收、解码和向外提供，而不是对数据进行编码、复用和向外提供。

此外，在读取器/记录器ex218从或向记录介质上读取或写入复用数据时，电视ex300和读取器/记录器ex218之一可以对复用数据解码或编码，电视ex300和读取器/记录器ex218可以共享解码或编码。

作为范例，图27示出了在从或向光盘读取或写入数据时信息再现/记录单元ex400的配置。信息再现/记录单元ex400包括下文要描述的构成元件ex401、ex402、ex403、ex404、ex405、ex406和ex407。光学头ex401在记录介质ex215，即光盘的记录面中照射激光光点以写入信息，并从记录介质ex215的记录面检测反射光以读取信息。调制记录单元ex402对光学头ex401中包括的半导体激光器进行电驱动，并根据记录的数据调制激光。再现解调单元ex403放大利用光学头ex401中包括的光探测器从记录面电探测反射光获得的再现信号，并通过分离记录介质ex215上记录的信号成分对再现信号进行解调，以再现必要的信息。缓存ex404暂时保存要记录在记录介质ex215上的信息以及从记录介质ex215上再现的信息。磁盘电动机ex405转动记录介质ex215。伺服控制单元ex406将光学头ex401移动到预定信息道，同时控制磁盘电动机ex405的旋转驱动，以跟随激光光点。系统控制单元ex407总体上控制信息再现/记录单元ex400。可以由系统控制单元ex407使用缓存ex404中存储的信息并根据需要产生和增加新信息，在以协调的方式工作的同时，通过调制记录单元ex402、再现解调单元ex403和伺服控制单元ex406通过光学头ex401记录和再现信息，从而实施读取和写入过程。系统控制单元ex407例如包括微处理器，通过让计算机执行用于读写的程序来进行处理。

尽管在描述中光学头ex401照射激光光点，但它可以利用近场光进行高密度的记录。图28示出了记录介质ex215，即光盘。在记录介质ex215的记录面上形成了导槽，信息道ex230事先记录地址信息，根据导槽形状的变化指示磁盘上的绝对位置。地址信息包括用于确定记录块ex231位置的信息，记录块即用于记录数据的单元。在记录和再现数据的设备中再现信息道ex230并读取地址信息能够实现记录块位置的确定。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232和外周区域ex234。数据记录区域ex233是记录用户数据时使用的区域。分别在数据记录区域ex233内部和外部的内周区域ex232和外周区域ex234用于除记录用户数据之外的特定用途。信息再现/记录单元400从和向记录介质ex215的数据记录区域ex233读取和写入编码的音频、编码的视频数据或通过复用音频和视频数据获得的复用数据。

尽管在说明书中描述了具有层的光盘，例如DVD和BD作为范例，但光盘不限于这种情况，可以是具有多层结构并能够在除表面之外的部分上记录的光盘。此外，光盘可以具有用于多维记录/再现的结构，例如在光盘的相同部分中利用不同波长颜色的光记录信息并从各种角度记录具有不同层的信息。

此外，具有天线ex205的汽车ex210能够从卫星ex202等接收数据，并在数字广播系统ex200中，在设置于汽车ex210中的诸如汽车导航系统ex211的显示装置上再现视频。在这里，汽车导航系统ex211的配置将是这样的配置：例如，包括来自图26所示配置的GPS接收单元。对于计算机ex111、蜂窝电话ex114等的配置，将是同样的情况。

图29A示出了蜂窝电话ex114，其使用了实施例中所述的活动画面编码方法和活动画面解码方法。蜂窝电话ex114包括：用于通过基站ex110发射和接收无线电波的天线ex350；能够拍摄活动和静止图像的摄像机单元ex365；以及用于显示由摄像机单元ex365拍摄或由天线ex350接收的诸如解码视频的数据的显示单元ex358，例如液晶显示器。蜂窝电话ex114还包括：包括操作键单元ex366的主体单元；用于输出音频的音频输出单元ex357，例如扬声器；用于输入音频的音频输入单元ex356，例如微音器；用于存储拍摄的视频或静止图像、记录的音频、所接收视频的编码或解码数据、静止图像、电子邮件等的存储单元ex367；以及插槽单元ex364，即用于与存储单元ex367以相同方式存储数据的记录介质的接口单元。

接下来，将参考图29B描述蜂窝电话ex114的配置范例。在蜂窝电话ex114中，被设计成控制包括显示单元ex358以及操作键单元ex366的主体的总体每个单元的主控制单元ex360经由同步总线ex370相互连接到电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、摄像机接口单元ex363、液晶显示器(LCD)控制单元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、插槽单元ex364和存储单元ex367。

在通过用户操作打开呼叫结束键或电源键时，电源电路单元ex361从电池组为相应单元供电，从而激活手机ex114。

在蜂窝电话ex114中，音频信号处理单元ex354在包括CPU、ROM和RAM的主控制单元ex360的控制下，将音频输入单元ex356在语音对话中收集的音频信号转换成数字音频信号。然后，调制/解调单元ex352对数字音频信号进行扩展频谱处理，发射和接收单元ex351对数据执行数字到模拟转换和频率转换，从而经由天线ex350发射所得数据。而且，在蜂窝电话ex114中，发射和接收单元ex351放大天线ex350在语音谈话模式中接收的数据，并对数据执行频率转换和模拟到数字转换。然后，调制/解调单元ex352对数据进行逆扩展频谱处理，音频信号处理单元ex354将其变换成模拟音频信号，从而经由音频输出单元ex357输出它们。

此外，在发射数据通信模式中的电子邮件时，经由操作输入控制单元ex362向主控制单元ex360发出通过操作操作键单元ex366等输入的电子邮件的文本数据。主控制单元ex360令调制/解调单元ex352对文本信号进行扩展频谱处理，发射和接收单元ex351对所得数据执行数字到模拟转换和频率转换，从而经由天线ex350向基站ex110发射数据。在接收到电子邮件时，对所接收数据执行与发送电子邮件处理大致相反的处理，并向显示单元ex358提供所得数据。

在发送处于数据通信模式中的视频、静止图像或视频和音频时，视频信号处理单元ex355利用每个实施例中所示的活动画面编码方法对从摄像机单元ex365供应的视频信号进行压缩和编码(即，充当根据本发明该方面的图像编码设备)，并向复用/解复用单元ex353发送编码的视频数据。相反，在摄像机单元ex365拍摄视频、静止图像等时，音频信号处理单元ex354对音频输入单元ex356收集的音频信号编码，并向复用/解复用单元ex353发送编码的音频数据。

复用/解复用单元ex353利用预定方法复用从视频信号处理单元ex355供应的编码视频数据和从音频信号处理单元ex354供应的编码音频数据。然后，调制/解调单元(调制/解调电路单元)ex352对复用数据进行扩展频谱处理，发射和接收单元ex351对数据执行数字到模拟转换和频率转换，从而经由天线ex350发射所得数据。

在数据通信模式中接收链接到网页等的视频文件的数据时，或在接收附有视频和/或音频的电子邮件时，为了对经由天线ex350接收的复用数据解码，复用/解复用单元ex353将复用数据解复用成视频数据比特流和音频数据比特流，并通过同步总线ex370为视频信号处理单元ex355供应编码的视频数据，为音频信号处理单元ex354供应编码的音频数据。视频信号处理单元ex355利用对应于每个实施例中所示的活动画面编码方法的活动画面解码方法对视频信号解码(即，充当根据本发明该方面的图像解码设备)，然后显示单元ex358显示例如经由LCD控制单元ex359链接到网页的视频文件中包括的视频和静止图像。此外，音频信号处理单元ex354对音频信号解码，音频输出单元ex357提供音频。

此外，类似于电视ex300，诸如蜂窝电话ex114的终端大概有三种实施配置，不仅包括(i)包括编码设备和解码设备的发射和接收终端，而且包括(ii)仅包括编码设备的发射终端，以及(iii)仅包括解码设备的接收终端。尽管数字广播系统ex200在描述中接收和发射通过向视频数据上复用音频数据获得的复用数据，但复用数据可以是通过向视频数据上不复用音频数据而复用涉及视频的字符数据获得的数据，并可以不是复用数据而是视频数据自身。

这样一来，可以在所述任何装置和系统中使用每个实施例中的活动画面编码方法和活动画面解码方法。于是，可以获得每个实施例中描述的优点。

此外，本发明不限于实施例，在不脱离本发明范围的情况下各种修改和变化是可能的。

(实施例B)

根据需要，可以通过在(i)每个实施例中所示的活动画面编码方法或活动画面编码设备和(ii)符合不同标准，例如MPEG-2、MPEG-4AVC和VC-1的活动画面编码方法或活动画面编码设备之间切换来产生视频数据。

在这里，在产生符合不同标准的多个视频数据并随后对其解码时，需要选择符合不同标准的解码方法。不过，由于不能检测到要解码的多个视频数据的每个符合哪种标准，所以存在的问题是不能选择适当的解码方法。

为了解决该问题，通过向视频数据上复用音频数据等而获得的复用数据具有这样的结构：其包括表示视频数据符合哪种标准的识别信息。在下文中将描述，包括在每个实施例中所示活动画面编码方法中并由活动画面编码设备产生的视频数据的复用数据的具体结构。复用数据是MPEG-2传输流格式的数字流。

图30示出了复用数据的结构。如图30中所示，可以通过复用视频流、音频流、表达图形流(PG)和交互图形流中的至少一个来获得复用数据。视频流代表电影的基本视频和辅助视频，音频流(IG)代表基本音频部分和要与基本音频部分混合的辅助音频部分，表达图形流代表电影的字幕。在这里，基本视频是要在屏幕上显示的标称视频，辅助视频是要在基本视频中的更小窗口上显示的视频。此外，交互图形流代表要通过在屏幕上布置GUI成分而产生的交互屏。在每个实施例中所示的活动画面编码方法或活动画面编码设备或在符合常规标准，例如MPEG-2、MPEG-4AVC和VC-1的活动画面编码方法或活动画面编码设备中对视频流编码。根据诸如Dolby-AC-3、Dolby Digital Plus，MLP，DTS，DTS-HD和线性PCM的标准对音频流编码。

复用数据中包括的每个流都由PID标识。例如，将0x1011分配到要用于电影视频的视频流，将0x1100到x111F分配到音频流，将0x1200到0x121F分配到表达图形流，将0x1400到0x141F分配到交互图形流，将0x1B00到0x1B1F分配到要用于电影辅助视频的视频信息流，并将0x1a00到0x1A1F分配到要用于与基本音频混合的辅助音频的音频流。

图31示意性示出了如何复用数据。首先，将由视频帧构成的视频流ex235和由音频帧构成的音频流ex238变换成PEF分组流ex236和PES分组流ex239，并进一步变换成TS分组ex237和TS分组ex240。类似地，将表达图形流ex241的数据和交互图形流ex244的数据变换成PES分组流ex242和PES分组流ex245，并进一步变换成TS分组ex243和TS分组ex246。将这些TS分组复用成流以获得复用数据ex247。

图32更详细示出了如何在PES分组流中存储视频流。图32中的第一条示出了视频流中的视频帧流。第二条示出了PES分组流。如图32中的yy1、yy2、yy3和yy4表示的箭头所示，视频流被分成画面，例如I画面、B画面和P画面，均为视频表达单元，并在每个PES分组的有效载荷中存储画面。PES分组的每个都具有PES报头，PES报头存储表示画面显示时间的表达时间戳(PTS)以及表示画面解码时间的解码时间戳(DTS)。

图33示出了要在复用数据上最后写入的TS分组格式。TS分组的每个都是188字节固定长度的分组，包括4字节的TS报头，具有诸如用于标识流的PID的信息以及用于存储数据的184字节TS有效载荷。划分PES分组并分别存储在TS有效负载中。在使用BD ROM时，为每个TS分组赋予4字节的TP_Extra_Header，从而获得192字节的源分组。在复用数据上写入源分组。TP_Extra_Header存储诸如Arrival_Time_Stamp(ATS)的信息。ATS示出了传输开始时间，在此时间将每个TS分组传输到PID滤波器。如图33的底部所示，在复用数据中布置源分组。从复用数据的头部开始递增的数字被称为源分组编号(SPN)。

复用数据中包括的每个TS分组都不仅包括音频、视频、字幕流等，而且包括程序关联表(PAT)、程序图表(PMT)和程序时钟参考(PCR)。PAT示出了复用数据中使用的PMT中的PID表示什么，PAT自身的PID被登记为零。PMT存储复用数据中包括的视频、音频、字幕等流的PID，以及对应于PID的流的属性信息。PMT还具有与复用数据相关的各种描述符。描述符具有诸如拷贝控制信息的信息，显示是否许可拷贝复用数据。PCR存储与ATS对应的STC时间信息，示出何时将PCR分组传输到解码器，以便实现到达时间时钟(ATC)和系统时钟(STC)之间的同步，到达时间时钟为ATS的时间轴，系统时钟为PTS和DTS的时间轴。

图34详细示出了PMT的数据结构。PMT报头设置于PMT的顶部。PMT报头描述PMT等中包括的数据的长度。在PMT报头之后设置与复用数据相关的多个描述符。在描述符中描述了诸如拷贝控制信息的信息。在描述符之后，设置与复用数据中包括的流相关的多条流信息。每条流信息包括流描述符，流描述符均描述诸如用于标识流的压缩编解码器的流类型、流PID和流属性信息(例如帧速率或纵横比)的信息。流描述符的数量与复用数据中流数量相等。

在记录介质等上记录复用数据时，同时记录复用数据信息文件。

复用数据信息文件的每个都是如图35中所示的复用数据的管理信息。复用数据信息文件与复用数据一一对应，每个文件都包括复用数据信息、流属性信息和条目图。

如图35中所示，复用数据信息包括系统速率、再现开始时间和再现结束时间。系统速率表示下文描述的系统目标解码器向PID滤波器传输复用数据的最大传输速率。将复用数据中包括的ATS的间隔设置成不高于系统速率。再现开始时间表示复用数据头部视频帧中的PTS。向复用数据末尾处视频帧中的PTS增加一帧的间隔，将PTS设置为再现结束时间。

如图36中所示，在流属性信息中针对复用数据中包括的每个流的每个PID，登记一条属性信息。根据对应流是视频流、音频流、表达图形流或交互图形流，每条属性信息都具有不同的信息。每条视频流属性信息都携带着包括压缩视频流使用哪种压缩编解码器的信息，以及视频流中包括的各条画面数据的分辨率、纵横比和帧速率。每条音频流属性信息都携带着包括压缩音频流使用哪种压缩编解码器、音频流中包括多少通道、音频流支持哪种语言以及采样频率有多高的信息。视频流属性信息和音频流属性信息用于在播放器播放信息之前对解码器进行初始化。

在本实施例中，要使用的复用数据是PMT中包括的流类型的。此外，在记录介质上记录复用数据时，使用复用数据信息中包括的视频流属性信息。更具体而言，每个实施例中描述的活动画面编码方法或活动画面编码设备都包括向PMT或视频流属性信息中包括的流类型分配表示由每个实施例中的活动画面编码方法或活动画面编码设备产生的视频数据的唯一信息的步骤或单元。利用该配置，可以将每个实施例中所述的活动画面编码方法或活动画面编码设备产生的视频数据与符合另一种标准的视频数据区分开。

此外，图37示出了根据本实施例的活动画面解码方法的步骤。在步骤exS100中，从复用数据获得复用数据中包括的PMT或视频流属性信息中包括的流类型。接下来，在步骤exS101中，判断流类型或视频流属性信息是否表示复用数据是由每个实施例中的活动画面编码方法或活动画面编码设备产生的。在判定流类型或视频流属性信息表示复用数据是由每个实施例中的活动画面编码方法或活动画面编码设备产生的时，在步骤exS102中，由每个实施例中的活动画面解码方法进行解码。此外，在流类型或视频流属性信息表示符合常规标准，例如PEG-2、MPEG-4AVC和VC-1时，在步骤exS103中，由符合常规标准的活动画面解码方法进行解码。

这样一来，向流类型或视频流属性信息分配新的唯一值就能够判断每个实施例中描述的活动画面解码方法或活动画面解码设备是否能够进行解码。即使在输入符合不同标准的复用数据时，也可以选择适当的解码方法或设备。于是，变得能够对信息解码而没有任何错误。此外，可以将本实施例中的活动画面编码方法或设备，或活动画面解码方法或设备用于上述装置和系统中。

(实施例C)

每个实施例中的活动画面编码方法、活动画面编码设备、活动画面解码方法和活动画面解码设备中的每种通常都是以集成电路或大规模集成(LSI)电路的形式实现的。作为LSI的范例，图38示出了被做成一个芯片的LSI ex500的配置。LSI ex500包括如下所述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508和ex509，通过总线ex510将这些元件彼此连接。在打开电源电路单元ex505时，通过为每个元件供电激活电源电路单元ex505。

例如，在进行编码时，LSI ex500在包括CPU ex502、存储控制器ex503、流控制器ex504和驱动频率控制单元ex512的控制单元ex501的控制下，通过AV IO ex509，从微音器ex117、摄像机ex113等接收AV信号。将接收到的AV信号暂时存储在外部储存器ex511，例如SDRAM中。在控制单元ex501的控制下，根据要被发送到信号处理单元ex507的处理量和速度，将存储的数据分割成数据部分。然后，信号处理单元ex507对音频信号和/或视频信号编码。在这里，视频信号的编码是每个实施例中描述的编码。此外，信号处理单元ex507有时复用编码的音频数据和编码的视频数据，流IO ex506向外提供复用数据。将提供的复用数据发送到基站ex107或写入记录介质ex215上。在对数据集进行复用时，应当在缓存ex508中暂时存储数据，使得数据集彼此同步。

尽管存储器ex511是LSI ex500外部的元件，但其可以包括在LSI ex500中。缓存ex508不限于一个缓存，而可以由多个缓存构成。此外，可以将LSI ex500做成一个芯片或多个芯片。

此外，尽管控制单元ex501包括CPU ex502、存储控制器ex503、流控制器ex504、驱动频率控制单元ex512，但控制单元ex501的配置不限于此。例如，信号处理单元ex507可以进一步包括CPU。在信号处理单元ex507中包括另一个CPU能够改进处理速度。此外，作为另一范例，CPU ex502可以充当信号处理单元ex507或是其一部分，例如，可以包括音频信号处理单元。在这种情况下，控制单元ex501包括信号处理单元ex507或CPU ex502，CPU ex502包括信号处理单元ex507的一部分。

这里使用的名称是LSI，但根据集成度，也可以将其称为IC、系统LSI、超级LSI或超大LIS。

此外，实现集成的方式不限于LSI，特殊电路或通用处理器等也能够实现集成。可以将现场可编程门阵列(FPGA)和可重配置处理器用于同一目的，FPGA可以在制造LSI之后编程，可重配置处理器允许重新配置LSI的连接或配置。

将来，随着半导体技术的发展，新型技术可能会替代LSI。可以利用这样的技术集成功能块。可能将本发明应用于生物技术。

(实施例D)

与对符合常规标准，例如MPEG-2、MPEG-4AVC和VC-1的视频数据解码时相比，在对每个实施例中描述的活动画面编码方法中或由活动画面编码设备产生的视频数据解码时，可能会提高处理量。于是，在对符合常规标准的视频数据解码时，需要将LSI ex500设置到比要使用的CPU ex更高的驱动频率。不过，在将驱动频率设置得更高时，存在着功耗增大的问题。

为了解决该问题，配置活动画面解码设备，例如电视ex300和LSI ex500以判断视频数据符合哪种标准，并根据所确定的标准在驱动频率之间切换。图39示出了本实施例中的配置ex800。驱动频率切换单元ex803在视频数据是由每个实施例中描述的活动画面编码方法或活动画面编码设备产生时将驱动频率设置到更高驱动频率。然后，驱动频率切换单元ex803指示解码处理单元ex801，解码处理单元ex801执行每个实施例中描述的活动画面解码方法以对视频数据解码。在视频数据符合常规标准时，驱动频率切换单元ex803将驱动频率设置到比视频数据是由每个实施例中描述的活动画面编码方法或活动画面编码设备产生时更低的驱动频率。然后，驱动频率切换单元ex803指示解码处理单元ex802，解码处理单元ex802符合常规标准，以对视频数据解码。

更具体而言，驱动频率切换单元ex803包括图38中的CPU ex502和驱动频率控制单元ex512。在这里，执行每个实施例中所述活动画面解码方法的解码处理单元ex801以及符合常规标准的解码处理单元ex802的每个都对应于图38中的信号处理单元ex507。CPUex502判断视频数据符合哪种标准。然后，驱动频率控制单元ex512基于来自CPU ex502的信号确定驱动频率。此外，信号处理单元ex507基于来自CPU ex502的信号对视频数据解码。例如，可以使用实施例B中描述的识别信息来识别视频数据。识别信息不限于实施例B中描述的那种，而是可以是任何信息，只要该信息指出视频数据符合哪种标准即可。例如，在可以基于外部信号判断视频数据符合哪种标准以确定为电视或磁盘等使用视频数据时，可以基于这样的外部信号做出判断。此外，CPU ex502基于例如查找表选择驱动频率，在查找表中将视频数据的标准与驱动频率相关联，如图41中所示。可以通过在缓存ex508中以及LSI的内部存储器中存储查找表并由CPU ex502参考查找表，来选择驱动频率。

图40示出了用于执行本实施例中的方法的步骤。首先，在步骤exS200中，信号处理单元ex507从复用数据获得识别信息。接下来，在步骤exS201中，CPU ex502基于识别信息判断视频数据是否是由每个实施例中描述的编码方法和编码设备产生的。在视频数据是由每个实施例中描述的活动画面编码方法和活动画面编码设备产生时，在步骤exS202中，CPUex502向驱动频率控制单元ex512发射信号，用于将驱动频率设置到更高驱动频率。然后，驱动频率控制单元ex512将驱动频率设置到更高驱动频率。另一方面，在识别信息表示视频数据符合常规标准，例如MPEG-2、MPEG-4 AVC和VC-1时，在步骤exS203中，CPU ex502向驱动频率控制单元ex512发射信号，用于将驱动频率设置到更低驱动频率。然后，驱动频率控制单元ex512将驱动频率设置到比视频数据由每个实施例中所述活动画面编码方法和活动画面编码设备产生的情况下更低的驱动频率。

此外，与切换驱动频率同时，通过改变施加到LSI ex500或包括LSI ex500的设备的电压，可以改善功率守恒效应。例如，在将驱动频率设置得更低时，可能将施加于LSIex500或包括LSI ex500的设备的电压设置到比将驱动频率设置得更高的情况更低的电压。

此外，在用于解码的处理量更大时，可以将驱动频率设置得更高，在用于解码的处理量更小时，可以将驱动频率设置地更低，以此作为设置驱动频率的方法。于是，设置方法不限于上述那些。例如，在用于对符合MPEG-4 AVC的视频数据解码的处理量大于用于对每个实施例中描述的活动画面编码方法和活动画面编码设备产生的视频数据解码的处理量时，可以将驱动频率设置成与上述设置相反的次序。

此外，用于设置驱动频率的方法不限于用于将驱动频率设置得更低的方法。例如，在识别信息表示视频数据是由每个实施例中描述的活动画面编码方法和活动画面编码设备产生时，可以将要施加于LSI ex500或包括LSI ex500的设备的电压设置得更高。在识别信息表明视频数据符合常规标准，例如MPEG-2、MPEG-4 AVC和VC-1时，可以将要施加到LSIex500或包括LSI ex500的设备的电压设置得更低。作为另一范例，在识别信息表明视频数据是由每个实施例中描述的活动画面编码方法和活动画面编码设备产生时，可以不必中止CPU ex502的驱动。在识别信息表明视频数据符合常规标准，例如MPEG-2、MPEG-4 AVC和VC-1时，可以在给定时间，中止CPU ex502的驱动，因为CPU ex502具有额外的处理能力。即使在识别信息表明视频数据是由每个实施例中描述的活动画面编码方法和活动画面编码设备产生时，在CPU ex502具有额外处理能力的情况下，可以在给定时间中止CPU ex502的驱动。在这种情况下，可以将中止时间设置得比在识别信息表示视频数据符合常规标准的情况下更短，常规标准例如是MPEG-2、MPEG-4 AVC和VC-1。

因此，可以通过根据视频数据符合的标准在驱动频率之间切换来改善功率守恒效应。此外，在使用电池驱动LSI ex500或包括LSI ex500的设备时，可以利用功率守恒效应延长电池寿命。

(实施例E)

存在这样的情况：将多个符合不同标准的视频数据提供到诸如电视和蜂窝电话的装置和系统。为了能够对符合不同标准的多个视频数据进行解码，LSI ex500的信号处理单元ex507需要符合不同的标准。不过，单独使用符合相应标准的信号处理单元ex507时会出现LSI ex500的电路尺度增大以及成本增大的问题。

为了解决这个问题，构思的是这样的配置：其中，部分共享用于实施每个实施例中所述活动画面解码方法的解码处理单元和符合常规标准，例如MPEG-2、MPEG-4 AVC和VC-1的解码处理单元。图42A中的EX900示出了配置的范例。例如，每个实施例中描述的活动画面解码方法以及符合MPEG-4 AVC的活动画面解码方法部分共有处理的细节，处理例如是熵编码、逆量化、解块滤波和运动补偿预测。要被共享的处理细节可能包括符合MPEG-4 AVC的解码处理单元ex902。相反，可以使用专用解码处理单元ex901进行本发明一方面特有的其他处理。由于本发明的该方面特征尤其在于逆量化，所以，例如，将专用解码处理单元ex901用于逆量化。否则，可以为熵解码、解块滤波和运动补偿之一或所有处理共享解码处理单元。可以针对要共享的处理共享用于实施每个实施例中描述的活动画面解码方法的解码处理单元，可以将专用解码处理单元用于MPEG-4 AVC特有的处理。

此外，图42B中的ex1000示出了部分共享处理的另一范例。这一范例使用的配置包括专用解码处理单元ex1001、专用解码处理单元ex1002和解码处理单元ex1003，专用解码处理单元ex1001支持本发明一方面特有的处理，专用解码处理单元ex1002支持另一常规标准特有的处理，解码处理单元ex1003支持要在根据本发明该方面的活动画面解码方法和常规活动画面解码方法之间共享的处理。在这里，专用解码处理单元ex1001和ex1002未必分别专用于根据本发明该方面的处理和常规标准的处理，可以是能够实施一般处理的单元。此外，可以由LSI ex500实施本实施例的配置。

这样一来，可以通过在根据本发明该方面的活动画面解码方法和符合常规标准的活动画面解码方法之间共享用于处理的解码处理单元，能够减小LSI的电路尺度并降低成本。

本发明涉及解块滤波，可以将其有利地应用于对图像和视频信号的逐块编码和解码。具体而言，本发明涉及对块施加还是跳过解块滤波的自动判定当中的改进的存储器管理，还涉及解块滤波器的选择。通过某种方式基于块的分割执行所述判定，从而优化存储器使用。优选改进对适当解块滤波器的选择，从而降低计算开销。

Claims (3)

1.一种按每个块对已编码图像进行解码的解码方法，包括：

根据所述已编码图像对重构图像进行解码的步骤；以及

针对所述重构图像所包含的重构块执行解块滤波处理的步骤；

在所述解块滤波处理中，

在由第一边界划分的第一块和第二块中，所述第一块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，所述第二块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，

判断是否对相邻的所述第一块的第一段及所述第二块的第一段各自所包含的相邻像素应用解块滤波器，

从多个不同强度的滤波器中选择所述解块滤波器的类型，

所述判断中利用的样本像素，仅被包含在所述第一块的第一段和所述第二块的第一段内分别包含的样本像素中，

在所述选择中，按垂直于所述第一边界的样本像素的每行选择所述解块滤波器的类型，

在按每行进行的所述选择中，不利用除了对象行以外的行的样本像素，而利用所述对象行所包含的样本像素，由此选择所述解块滤波器的类型。

2.一种按每个块对已编码图像进行解码的解码装置，具备：

解码部，根据所述已编码图像对重构图像进行解码；以及

滤波部，针对所述重构图像所包含的重构块执行解块滤波处理；

在所述解块滤波处理中，

在由第一边界划分的第一块和第二块中，所述第一块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，所述第二块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，

判断是否对相邻的所述第一块的第一段及所述第二块的第一段各自所包含的相邻像素应用解块滤波器，

从多个不同强度的滤波器中选择所述解块滤波器的类型，

所述判断中利用的样本像素，仅被包含在所述第一块的第一段和所述第二块的第一段内分别包含的样本像素中，

在所述选择中，按垂直于所述第一边界的样本像素的每行选择所述解块滤波器的类型，

在按每行进行的所述选择中，不利用除了对象行以外的行的样本像素，而利用所述对象行所包含的样本像素，由此选择所述解块滤波器的类型。

3.一种按每个块对已编码图像进行解码的解码装置，具备：

处理电路；以及

与所述处理电路连接的存储器；

所述处理电路利用所述存储器进行：

根据所述已编码图像对重构图像进行解码的步骤；以及

针对所述重构图像所包含的重构块执行解块滤波处理的步骤；

在所述解块滤波处理中，

在由第一边界划分的第一块和第二块中，所述第一块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，所述第二块被沿着垂直于该第一边界的线分割为至少包括第一段、第二段的多个段，

判断是否对相邻的所述第一块的第一段及所述第二块的第一段各自所包含的相邻像素应用解块滤波器，

从多个不同强度的滤波器中选择所述解块滤波器的类型，

所述判断中利用的样本像素，仅被包含在所述第一块的第一段和所述第二块的第一段内分别包含的样本像素中，

在所述选择中，按垂直于所述第一边界的样本像素的每行选择所述解块滤波器的类型，

在按每行进行的所述选择中，不利用除了对象行以外的行的样本像素，而利用所述对象行所包含的样本像素，由此选择所述解块滤波器的类型。

Images