CN102823252A - 动态图像预测编码装置、动态图像预测解码装置、动态图像预测编码方法、动态图像预测解码方法、动态图像预测编码程序及动态图像预测解码程序 - Google Patents

Abstract

目的在于，实现再现图像的品质提高、和将该再现图像作为参照图像来利用的图像的预测效率的提高。为此目的，动态图像预测编码装置1具有：输入端子101，其输入构成动态图像的多个图像；编码单元，其通过利用画面内预测或画面间预测对所输入的图像进行编码而生成压缩数据，并且对与该图像内的块间的亮度补偿预测有关的参数进行编码；复原单元，其通过对压缩数据进行解码而复原再现图像；滤波处理器（113），其使用与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及滤波处理对象区域，对再现图像执行滤波处理；以及帧存储器（104），其将执行了滤波处理的再现图像作为参照图像来进行存储。

Description

动态图像预测编码装置、动态图像预测解码装置、动态图像预测编码方法、动态图像预测解码方法、动态图像预测编码程序及动态图像预测解码程序

技术领域

本发明涉及动态图像预测编码装置、动态图像预测解码装置、动态图像预测编码方法、动态图像预测解码方法、动态图像预测编码程序及动态图像预测解码程序。

背景技术

为了高效地进行动态图像数据的传送和蓄积，使用压缩编码技术。在动态图像的情况下，广泛使用MPEG1～4或H.261～H.264方式。在这些编码方式中，将成为编码对象的图像分割成多个块后，进行编码及解码的处理。为了提高编码效率，使用如下所述的预测编码方法。

在画面内预测的编码中，使用与要进行编码处理的对象块位于相同画面内且与该对象块相邻的已再现的图像信号(对过去已压缩的图像数据复原后的信号)来生成预测信号后，对从对象块的信号减去该预测信号而得到的差分信号进行编码。在画面间预测的编码中，参照位于与对象块不同的画面内的已再现的图像信号，检索信号的位移(运动)，对该位移量进行补偿而生成预测信号，对从对象块的信号减去该预测信号而得到的差分信号进行编码。将为了进行运动的检索及补偿而参照的已再现的图像称为参照图像。

在双方向画面间预测中，不仅参照在对象图像之前显示的过去的图像(在按照显示时间顺序排列时位于对象图像之前的图像)，有时还一并参照显示在对象图像之后的未来的图像。此处，该未来图像需要比对象图像先进行编码，预先进行再现。通过对从过去的图像及未来的图像获取的预测信号进行平均化，具有在对隐藏而新出现的物体的信号进行预测的同时，减少包含在双方的预测信号中的噪音的效果。

而且，在H.264的画面间预测编码中，通过参照过去编码而再现的多个参照图像来进行运动检索，从而将误差最少的图像信号选择为对象块的最佳的预测信号。并且，求出对象块的像素信号与最佳的预测信号的差分，对该差分值执行离散余弦变换(DCT)而量化后进行熵编码。在进行该熵编码的同时，对与从哪个参照图像的哪个区域获取针对对象块的最佳预测信号有关的信息(这些信息分别称为参照索引及运动矢量)也一并进行编码。在H.264中，再现图像作为4至5张的参照图像来存储在帧存储器或再现图像缓冲器中。

此处，由于对差分信号进行量化，因此在解码了差分信号时会产生量化失真。由于该量化失真，再现图像自身的品质下降。并且，在使用画面间预测的编码方式中，该量化失真会导致将该再现图像作为参照图像来利用的编码对象图像的品质下降。

在将图像分割成块的编码方式中，这些量化失真容易在块的边界部分产生。这样的失真被称为块失真。因此，在H.264中，利用根据要进行处理的块边界的条件来调整滤波强度的解块滤波器。该解块滤波器是通过如下所述的方式来确定：判定在作为边界的像素所属的块类型(画面间预测或画面内预测)和在预测信号的生成中利用的信息(运动矢量及参照索引)中是否存在不同、以及该边界是不是宏块的边界来确定块边界的强度，通过根据该强度来确定作为滤波对象的像素的数量及滤波器的种类。

在对块失真或振铃失真等特定的量化失真有效的众多滤波器中，在下述专利文献1中公开有利用更通常地去除量化失真的非线性滤波器的编码方法。在该专利文献1中记载的滤波器还利用在编码方式中利用的信息、即预测模式的不同和运动矢量的大小，根据从再现图像得到的期待值来抑制量化失真。

另外，在下述专利文献2中公开有如下所述的方式：在以淡入(暗的图像渐渐变亮的影像)和淡出(明亮的影像渐渐变暗而消失的影像)等为代表的影像的亮度随时间变化的情况下，以块为单位来利用亮度补偿预测(也称为Intensity Compensation)，该亮度补偿预测利用对亮度的权重来进行预测。根据本方式，以块为单位设定与亮度补偿预测有关的两种参数，使用下式(1)生成预测信号。此处，P_IC(i，j)是块位置(i，j)的亮度补偿预测信号，P(i，j)是该块位置处的通常的预测信号。另外，weight_(i，j)、offset_(i，j)是为了变更块(i，j)中的预测信号的亮度而利用的权重及偏移(校正值)，这两种参数也称为IC参数。

P_IC(i，j)=weight_(i，j)×P(i，j)+offset_(i，j)…(1)

现有技术文献

专利文献

专利文献1：美国专利申请公开第2006/0153301号说明书

专利文献2：国际公开第2006/128072号小册子

发明内容

发明所要解决的问题

在按照每个块进行亮度补偿预测的编码方式中，存在由于明度改变而强调了失真的情况。在现有技术中，不考虑在各块的亮度补偿预测中使用的参数的大小来设定与去除块失真的滤波强度和去除量化失真有关的参数来进行滤波处理。因此，有时由于过度地进行了滤波处理而导致画质模糊等画质的下降，或者由于滤波强度不足而没有充分地进行块失真和量化失真的去除，容易导致画质的下降。

因此，要求实现再现图像的品质提高、和将该再现图像作为参照图像来利用的图像的预测效率的提高。

用于解决问题的手段

本发明的一方式的动态图像预测编码装置，具有：输入单元，其输入构成动态图像的多个图像；编码单元，其通过利用画面内预测及画面间预测中的至少一个方法对由输入单元输入的图像进行编码而生成压缩数据，并且对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码；复原单元，其通过对由编码单元生成的压缩数据进行解码而将图像复原为再现图像；滤波处理单元，其至少使用与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对通过复原单元复原的再现图像执行滤波处理；以及存储单元，其将由滤波处理单元执行了滤波处理的再现图像作为为了对后续的图像进行编码而使用的参照图像来进行存储。

本发明的一方式的动态图像预测编码方法由动态图像预测编码装置来执行，该动态图像预测编码方法的特征在于，包括如下步骤：输入构成动态图像的多个图像的输入步骤；通过利用画面内预测及画面间预测中的至少一个方法对在输入步骤中输入的图像进行编码来生成压缩数据，并且对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码的编码步骤；通过对在编码步骤中生成的压缩数据进行解码而将图像复原为再现图像的复原步骤；至少使用与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对在复原步骤中复原的再现图像执行滤波处理的滤波处理步骤；以及将在滤波处理步骤中执行了滤波处理的再现图像作为为了对后续的图像进行编码而使用的参照图像存储到动态图像预测编码装置的存储单元中的存储步骤。

本发明的一方式的动态图像预测编码程序使计算机作为如下所述的单元来发挥功能：输入单元，其输入构成动态图像的多个图像；编码单元，其通过利用画面内预测及画面间预测中的至少一个方法对由输入单元输入的图像进行编码而生成压缩数据，并且对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码；复原单元，其通过对由编码单元生成的压缩数据进行解码而将图像复原为再现图像；滤波处理单元，其至少使用与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对通过复原单元复原的再现图像执行滤波处理；以及存储单元，其将由滤波处理单元执行了滤波处理的再现图像作为为了对后续的图像进行编码而使用的参照图像来进行存储。

根据如上所述的动态图像预测编码装置、动态图像预测编码方法以及动态图像预测编码程序，在根据与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域后，执行对于再现图像的滤波处理。并且，将实施了该处理的再现图像作为对后续的图像进行编码时使用的参照图像来保存。如上所述，通过在进行滤波处理时考虑与亮度补偿预测有关的参数，从而即使在块间产生亮度补偿预测的不同，也能够进行与该不同对应的滤波处理。其结果，能够实现再现图像的品质提高、和将该再现图像作为参照图像来利用的图像的预测效率的提高。

在本发明的一方式的动态图像预测编码方法中，也可以在滤波处理步骤中，判定在彼此相邻的块间参数是否不同，根据该判定的结果来决定滤波强度及滤波处理对象区域。

在如上所述的情况下，由于根据彼此相邻的块间的参数的差异来决定滤波强度及滤波处理对象区域，因此能够抑制容易在块的边界部分产生的块失真。其结果，能够提高再现画质的品质和图像的预测效率。

在本发明的一方式的动态图像预测编码方法中，与亮度补偿预测有关的参数也可以至少包含第1参数及第2参数，在滤波处理步骤中，在彼此相邻的块间比较第1参数及第2参数，将滤波强度设定得在该第1参数及第2参数双方在该块间不同时比其它情况下大。

在本发明的一方式的动态图像预测编码方法中，也可以在滤波处理步骤中，在彼此相邻的块间比较第1参数及第2参数，并且在该块间比较运动矢量之差，在该第1参数及第2参数双方在该块间不同且该运动矢量之差大于等于预定值时设定为第1滤波强度，在该第1参数及第2参数双方在该块间不同且该运动矢量之差小于该预定值时设定为第2滤波强度，在只有该第1参数及第2参数中的一方在该块间不同时设定为第3滤波强度，第1滤波强度比第2滤波强度大，第2滤波强度比第3滤波强度大。

在本发明的一方式的动态图像预测编码方法中，第1、第2及第3滤波强度也可以都比在彼此相邻的块的至少一方通过画面内预测而被编码时所设定的滤波强度小。

在本发明的一方式的动态图像预测编码方法中，第1参数及第2参数也可以是用于变更块的预测信号的像素值的权重及偏移。

在这些情况下，由于考虑与亮度补偿预测有关的两种参数的不同方式来决定滤波强度及滤波处理对象区域，因此能够进行更合适的滤波处理。

本发明的一方式的动态图像预测解码装置具有：输入单元，其输入通过利用画面内预测及画面间预测中的至少一个方法来对构成动态图像的多个图像进行编码而生成的第1压缩数据、和通过对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码而生成的第2压缩数据；复原单元，其通过对由输入单元输入的第1压缩数据及第2压缩数据进行解码，从而将图像复原为再现图像，并且对与块间的亮度补偿预测有关的参数进行复原；滤波处理单元，其至少使用由复原单元复原的与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对由复原单元复原的再现图像执行滤波处理；以及存储单元，其将由滤波处理单元执行了滤波处理的再现图像作为为了对后续的图像进行复原而使用的参照图像来进行存储。

本发明的一方式的动态图像预测解码方法由动态图像预测解码装置来执行，该动态图像预测解码方法的特征在于，包括如下步骤：输入通过利用画面内预测及画面间预测中的至少一个方法对构成动态图像的多个图像进行编码而生成的第1压缩数据、和通过对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码而生成的第2压缩数据的输入步骤；通过对在输入步骤中输入的第1压缩数据及第2压缩数据进行解码，从而将图像复原为再现图像，并且复原与块间的亮度补偿预测有关的参数的复原步骤；至少使用在复原步骤中复原的与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对在复原步骤中复原的再现图像执行滤波处理的滤波处理步骤；以及将在滤波处理步骤中执行了滤波处理的再现图像作为为了复原后续的图像而使用的参照图像存储在动态图像预测解码装置的存储单元中的存储步骤。

本发明的一方式的动态图像预测解码程序使计算机作为如下的单元来发挥功能：输入单元，其输入通过利用画面内预测及画面间预测中的至少一个方法来对构成动态图像的多个图像进行编码而生成的第1压缩数据、和通过对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码而生成的第2压缩数据；复原单元，其通过对由输入单元输入的第1压缩数据及第2压缩数据进行解码，从而将图像复原为再现图像，并且对与块间的亮度补偿预测有关的参数进行复原；滤波处理单元，其至少使用由复原单元复原的与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对由复原单元复原的再现图像执行滤波处理；以及存储单元，其将由滤波处理单元执行了滤波处理的再现图像作为为了对后续的图像进行复原而使用的参照图像来进行存储。

根据如上所述的动态图像预测解码装置、动态图像预测解码方法以及动态图像预测解码程序，在根据与块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域后，执行对于再现图像的滤波处理。并且，将实施了该处理的再现图像作为在对后续的图像进行编码时使用的参照图像来保存。如上所述，通过在进行滤波处理时考虑与亮度补偿预测有关的参数，从而即使在块间产生亮度补偿预测的不同，也能够进行与该不同对应的滤波处理。其结果，能够实现再现图像的品质提高、和将该再现图像作为参照图像来利用的图像的预测效率的提高。

在本发明的一方式的动态图像预测解码方法中，也可以在滤波处理步骤中，判定在彼此相邻的块间参数是否不同，根据该判定的结果来决定滤波强度及滤波处理对象区域。

在如上所述的情况下，由于根据彼此相邻的块间的参数的差异来决定滤波强度及滤波处理对象区域，因此能够抑制容易在块的边界部分产生的块失真。其结果，能够提高再现画质的品质和图像的预测效率。

在本发明的一方式的动态图像预测解码方法中，也可以是与亮度补偿预测有关的参数至少包含第1参数及第2参数，在滤波处理步骤中，在彼此相邻的块间比较第1参数及第2参数，将滤波强度设定得在该第1参数及第2参数双方在该块间不同时比其它情况下大。

在本发明的一方式的动态图像预测解码方法中，也可以在滤波处理步骤中，在彼此相邻的块间比较第1参数及第2参数并且在该块间比较运动矢量之差，在该第1参数及第2参数双方在该块间不同且该运动矢量之差大于等于预定值时设定为第1滤波强度，在该第1参数及第2参数双方在该块间不同且该运动矢量之差小于该预定值时设定为第2滤波强度，在只有该第1参数及第2参数中的一方在该块间不同时设定为第3滤波强度，第1滤波强度比第2滤波强度大，第2滤波强度比第3滤波强度大。

在本发明的一方式的动态图像预测解码方法中，第1、第2及第3滤波强度也可以都比在彼此相邻的块的至少一方通过画面内预测而被编码时所设定的滤波强度小。

在本发明的一方式的动态图像预测解码方法中，第1参数及第2参数也可以用于变更块的预测信号的像素值的权重及偏移。

在这些情况下，由于考虑与亮度补偿预测有关的两种参数的不同方式来决定滤波强度及滤波处理对象区域，因此能够进行更合适的滤波处理。

发明效果

根据如上所述的动态图像预测编码装置、动态图像预测解码装置、动态图像预测编码方法、动态图像预测解码方法、动态图像预测编码程序及动态图像预测解码程序，由于考虑与亮度补偿预测有关的参数来进行滤波处理，因此能够实现再现图像的品质提高、和将该再现图像作为参照图像来利用的图像的预测效率的提高。

附图说明

图1是示出实施方式的动态图像预测编码装置的框图。

图2是示出图1所示的滤波处理器的功能结构的框图。

图3是用于说明图2的强度决定器的处理的图。

图4是示出图2中的强度决定器的处理的流程图。

图5是示出图2所示的失真去除处理器的功能结构的框图。

图6是用于说明图5所示的失真去除器的处理的图。

图7是用于说明图5所示的失真去除器的处理的图。

图8是用于说明图2所示的遮蔽处理器的处理(遮蔽函数)的图。

图9是示出图1所示的滤波处理器113的动作的流程图。

图10是示出实施方式的动态图像预测解码装置的框图。

图11是示出实施方式的动态图像预测编码程序的图。

图12是示出图11所示的滤波处理模块的详细情况的图。

图13是示出实施方式的动态图像预测解码程序的框图。

图14是示出执行程序的计算机的硬件结构的图。

图15是示出程序的分发方法的图。

具体实施方式

下面，参照附图详细说明本发明的实施方式。另外，在附图的说明中，对相同或相等的要素标注相同的标号并省略重复的说明。

首先，使用图1～8来说明实施方式的动态图像预测编码装置的功能及结构。图1是示出实施方式的动态图像预测编码装置1(以下也简单地称为编码装置1)的功能结构的框图。图2是示出滤波处理器113的功能结构的框图。图3是用于说明强度决定器301的处理的图。图4是示出强度决定器301的处理的流程图。图5是示出失真去除处理器302的功能结构的框图。图6、7是用于说明失真去除器302b的处理的图。图8是用于说明遮蔽处理器303的处理(遮蔽函数)的图。

编码装置1作为功能性结构要素，具有输入端子(输入单元)101、块分割器102、预测信号生成器103、帧存储器(存储单元)104、相减器105、变换器106、量化器107、逆量化器108、逆变换器109、相加器110、熵编码器111、输出端子112以及滤波处理器(滤波处理单元)113。预测信号生成器103、相减器105、变换器106、量化器107以及熵编码器111与执行编码步骤的编码单元对应。逆量化器108、逆变换器109以及相加器110与执行复原步骤的复原单元对应。

输入端子101是接受构成动态图像的分别为多个图像的信号的输入而输出到块分割器102的单元。即，输入端子101执行输入步骤。

块分割器102是将从输入端子101输入的图像分割成多个区域(块)的单元。块分割器102对分别为多个的图像的每个执行该分割处理。对通过该分割处理生成的各块执行编码处理。以下，将通过块分割器102生成的块也称为对象块。在本实施方式中，虽然块分割器102将各图像分割成由8×8像素构成的块，但是也可以分割成除此以外的大小或形状的块(例如由4×4或16×16像素构成的块)。块分割器102将对象块的信号输出到预测信号生成器103及相减器105。

预测信号生成器103是生成对于对象块的预测信号的单元。在本实施方式中，预测信号生成器103使用画面间预测和画面内预测这两种预测方法中的至少一个来生成预测信号。

首先对画面间预测的情况进行说明。预测信号生成器103将在过去编码之后被复原的再现图像作为参照图像来使用，根据该参照图像求出给出相对于对象块的误差最小的预测信号的运动信息。该处理被称为运动检测。此处，该参照图像是后述的失真去除完成图像。此时，预测信号生成器103也可以根据情况对对象块进行再分割，对再分割后的各小区域决定画面间预测方法。例如，预测信号生成器103也可以将8×8的对象块再分割为4×4的小区域。此时，预测信号生成器103从各种分割方法之中选择对对象块全体效率最高的分割方法，使用所选择的方法来决定各小区域的运动信息。

预测信号生成器103使用从块分割器102输入的对象块的信号、和从帧存储器输入的参照图像来生成预测信号。此处，参照图像是过去编码并复原的多个图像，其详细情况与作为现有技术的MPEG-2、4或H.264中的任意一个方法相同。

预测信号生成器103将如上所述决定的运动信息及小区域的分割方法输出到熵编码器111及滤波处理器113。另外，预测信号生成器103还将表示从多个参照图像中的哪个参照图像获取预测信号的信息(参考/索引)输出到熵编码器111。在本实施方式中，将4至5张再现图像存储在帧存储器104中，预测信号生成器103将这些再现图像作为参照图像来使用。

预测信号生成器103根据小区域的分割方法及与各个小区域对应的参照图像及运动信息，从帧存储器104获取参照图像的信号，按照每个块生成进行了亮度补偿预测的预测信号。预测信号生成器103将如上所述生成的画面间预测的预测信号(画面间预测信号)输出到相减器105及相加器110。作为预测信号生成器103中的画面间预测信号的生成方法，除了作为现有技术的H.264的方法，还有按照每个对象块使用亮度补偿预测来生成预测信号的方法。

接着对画面内预测的情况进行说明。预测信号生成器103使用空间上与对象块相邻的已再现的像素值来生成预测信号(画面内预测信号)，将该预测信号输出到相减器105及相加器110。

在使用了画面间预测及画面内预测双方的情况下，预测信号生成器103从所求出的画面间预测信号及画面内预测信号选择误差最小的信号，将所选择的预测信号输出到相减器105及相加器110。

除了如上所述的预测信号的输出，预测信号生成器103还将包含与亮度补偿预测有关的参数的、在预测信号生成中所需的信息输出到熵编码器111及滤波处理器113。

相减器105是从由块分割器102输入的对象块的信号中减去从预测信号生成器103输入的预测信号来生成残差信号的单元。变换器106是通过对该残差信号进行离散余弦变换来生成变换系数的单元。量化器107是对该变换系数进行量化而输出到熵编码器111、逆量化器108以及滤波处理器113的单元。熵编码器111对量化后的变换系数和与预测方法有关的信息进行编码，作为压缩数据(第1及第2压缩数据)输出到输出端子112的单元。输出端子112是将从熵编码器111输入的压缩数据向动态图像预测解码装置2输出(发送)的单元。

为了进行对后续的对象块的画面内预测或者画面间预测，通过相减器105、变换器106及量化器107而被压缩的对象块的信号被逆量化器108、逆变换器109及相加器110进行逆处理而被复原。逆量化器108是通过对被量化后的变换系数进行逆量化而复原变换系数的单元。逆变换器109是通过对复原后的变换系数执行逆离散余弦变换来复原残差信号的单元。相加器110是将复原后的残差信号和从预测信号生成器103输入的预测信号相加来复原(再现)对象块的信号的单元。相加器110将复原后的对象块的信号输出到滤波处理器113。在本实施方式中，虽然使用变换器106及逆变换器109，但是也可以使用代替这些变换器的其他的变换处理。另外，也可以没有变换器106及逆变换器109。

滤波处理器113是对由所复原的对象块的信号构成的再现图像执行滤波处理，将实施了该处理后的再现图像存储在帧存储器104中的单元。在本实施方式中，滤波处理器113是作为非线性滤波器来动作的。如图2所示，该滤波处理器113具有强度决定器301、失真去除处理器302以及遮蔽处理器303。

强度决定器301是决定用于确定在相邻的两个对象块的边界处的失真去除中使用的滤波强度的模式的单元。在本实施方式中，滤波强度是后述的阈值T的大小。该模式是按照每个块边界确定的，也可以简单地称为“失真去除模式”。

以下，如图3所示将左右或者上下彼此相邻的两个对象块定义为块A及块B。强度决定器301预先存储有根据块A、B的编码方法(基于画面内预测的编码、或基于画面间预测的编码)和编码状况(非零的变换系数的有无、运动矢量差的大小、IC参数(权重及偏移)差的大小)定义的下述的模式。此处，与编码方法和编码状况有关的信息从预测信号生成器103或量化器107输入到强度决定器301。以下，将非零的变换系数简单地称为非零系数。

INTRA_QUANT(块A或B通过画面内预测而被编码的块的情况)

PRED_SIGINF(块A、B双方通过画面间预测而被编码，两块的非零系数的数量的合计为第1预定值C以上的情况)

PRED_MOT(块A、B双方通过画面间预测而被编码，两块的非零系数的数量的合计小于第1预定值C且两块的水平方向或者垂直方向的运动信息的差大于等于第2预定值D的情况)

PRED_QUANT(块A、B双方通过画面间预测而被编码，两块的非零系数的数量的合计小于第1预定值C且两块的水平方向或者垂直方向的运动矢量的绝对值的差小于第2预定值D的情况)

IC_STRONG(块A、B双方通过画面间预测而被编码，两块都不包含非零系数，两种IC参数在两块之间都不同且两块的水平方向或者垂直方向的运动矢量的绝对值的差大于等于第2预定值D的情况)

IC_INTERMED(块A、B双方通过画面间预测而被编码，两块都不包含非零系数，两种IC参数在两块之间都不同且两块的水平方向或者垂直方向的运动矢量的绝对值的差小于第2预定值D的情况)

IC_WEAK(块A、B双方通过画面间预测而被编码，两块都不包含非零系数，两种IC参数中只有一个在两块之间不同且两块的水平方向或者垂直方向的运动矢量的绝对值的差大于等于第2预定值D的情况)

MOT_DISC(块A、B双方通过画面间预测而被编码，两块都不包含非零系数，两种IC参数在两块之间相同且水平方向或者垂直方向的运动矢量的绝对值的差大于等于第2预定值D的情况)

SKIP(块A、B双方通过画面间预测而被编码，两块都不包含非零系数，两种IC参数在两块之间相同且水平方向或者垂直方向的运动矢量的绝对值的差小于第2预定值D的情况，或者，块A、B双方通过画面间预测而被编码，两块都不包含非零系数，两种IC参数中只有一个在两块之间不同且两块的水平方向或者垂直方向的运动矢量的绝对值的差小于第2预定值D的情况)

此处，在本实施方式中，第1预定值C为64，第2预定值D为4。

使用图4的流程图详细说明强度决定器301中的模式决定处理。首先，强度决定器301将对于块A、B的模式初始设定为SKIP(步骤S01)。接着，强度决定器301判定块A及块B中是否有任意一个是通过画面内预测生成的块(内部块)(步骤S02)。此处如果有任意一个块为内部块，则强度决定器301将模式设定为INTRA_QUANT(步骤S03)。

另一方面，如果块A、B都是通过画面间预测生成的块(画面间块)，则强度决定器301进行在块A或B中是否包含有非零系数的判定(步骤S04)，在存在非零系数时判定非零系数的个数(步骤S05)。在步骤S05中，如果包含在块A及B中的非零系数的个数的合计大于等于第1预定值C，则强度决定器301将模式设定为PRED_SIGINF(步骤S06)。另一方面，在该合计小于第1预定值C时，强度决定器301进一步判定块A及B的水平方向或者垂直方向的运动矢量的绝对值的差是否大于等于第2预定值D(步骤S07)。

在步骤S07中，如果水平方向或者垂直方向的运动矢量的绝对值的差大于等于第2预定值D，则强度决定器301将模式设定为PRED_MOT(步骤S08)，如果不是，将模式设定为PRED_QUANT(步骤S09)。

对于以上，在步骤S04中，如果块A、B都不包含非零系数，则强度决定器301判定块A、B间在IC参数上是否存在差(步骤S10)。在本实施方式中，作为IC参数，有利用上述式(1)示出的权重及偏移。

在步骤S10中当在IC参数上存在差时，强度决定器301进一步判定块A、B间权重及偏移双方是否不同(步骤S11)，并且判定块A及块B的水平方向或者垂直方向的运动矢量的绝对值的差是否大于等于第2预定值D(步骤S12、S15)。

在块A、B间权重及偏移双方不同，且运动矢量的绝对值的差大于等于第2预定值D时，强度决定器301将模式设定为IC_STRONG(步骤S13)。在块A、B间权重及偏移双方不同，且运动矢量的绝对值的差小于第2预定值D时，强度决定器301将模式设定为IC_INTERMED(步骤S14)。

另一方面，在块A、B间只有权重及偏移中的一个不同，且块A及B的水平方向或者垂直方向的运动矢量的绝对值的差大于等于第2预定值D时，强度决定器301将模式设定为IC_WEAK(步骤S16)。

对于以上，如果在步骤S10中两种IC参数相同，则强度决定器301判定块A及B的水平方向或者垂直方向的运动矢量的绝对值的差是否大于等于第2预定值D(步骤S17)。此时，如果该差大于等于第2预定值D，则强度决定器301将模式设定为MOT_DISC(步骤S18)。

另外，在本实施方式中，在块A、B间只有权重及偏移中的一个不同，且块A及B的水平方向或者垂直方向的运动矢量的绝对值的差大于等于第2预定值D时，虽然强度决定器301将模式设定为IC_WEAK，但是IC_WEAK的设定方法不限于此。具体地讲，强度决定器301在块A、B间只有权重及偏移中的一个不同时，也可以不检查块A及B的水平方向或者垂直方向的运动矢量的绝对值的差而将模式设定为IC_WEAK。

强度决定器301将如上所述决定的模式的信息输出到失真去除处理器302及遮蔽处理器303。

此处，示出几个与强度决定器301有关的变形例。首先，虽然在本实施方式中将第1预定值C设为64，将第2预定值D设为4，但是值C、D的决定方法并不限定于此。

关于第1预定值C而言，例如，也可以使用包含在之前预测的图像中的非零系数的个数的平均值或最频值。另外，也可以使用从编码装置1的外部输入的任意的值。在使用来自外部的值时，编码装置1只要对该值进行编码而发送到解码装置2即可。

关于第2预定值D而言，例如，也可以使用之前预测的图像中的运动矢量的平均值或最频值。另外，也可以利用搜索运动矢量的精度(1/2像素精度、1/4像素精度、1/8像素精度、1/16像素精度等)来变更第2预定值D。另外，也可以使用从编码装置1的外部输入的任意的值。在使用来自外部的值时，编码装置1只要对该值进行编码而发送到解码装置2即可。另外，在本实施方式中，虽然第2预定值D在上述步骤S07、S12、S15、S17的处理中相同，但是也可以在各步骤的处理中改变该值D。

虽然在本实施方式中是根据块A及B的水平方向或者垂直方向的运动矢量的绝对值的差来进行了判定，但是根据运动矢量进行判定的方法并不限定于此。例如，也可以根据由垂直方向及水平方向双方的运动矢量算出的对象块的运动矢量的绝对值的差来进行判定。另外，在块A及B的某一方是通过双方向预测来生成的情况下，也可以将在通过单方向预测而生成的另一个块中不存在的运动矢量设为0来执行判定处理。

强度决定器301中的处理步骤不限定于图4所示。例如，也可以改变各判断处理的执行顺序。

在本实施方式中，虽然强度决定器301对对象块的边界决定了模式，但是在对象块被进一步分割而在该块内产生了不同尺寸的小区域时，强度决定器301也可以对该小区域的边界决定模式。另外，此时的模式并不限定于上述的模式，也可以准备新的模式。

回到图2，失真去除处理器302是去除再现图像内的失真的单元。如图5所示，该失真去除处理器302具有线性变换器302a、失真去除器302b、逆线性变换器302c以及失真去除图像生成器302d。

线性变换器302a是对从相加器110输入的再现图像y执行线性变换(正交变换)的单元。此处，将再现图像y的大小设为N×L。但是，N、L是任意的正数，也可以是N=L。为了执行线性变换处理，线性变换器302a将n×n矩阵的某特定的正交变换H_j(j为对象块数)预先存储在内部。线性变换器302a通过对再现图像y执行如下所述的变换来获取M个正交变换系数d_1:M=H_jy：即使成为基点的左上端的像素位置每移动1像素的同时执行M次对于再现图像y的正交变换。此处，M是构成再现图像y的像素的个数。此处，线性变换器302a利用n×n的DCT(n为2以上的整数)作为正交变换H_j。线性变换器302a将正交变换系数d_1:M输出到失真去除器302b。在本实施方式中，值n与对象块的一边的尺寸相同。

以下，示出几个与线性变换器302a有关的变形例。首先，虽然在本实施方式中使用了与对象块相同大小的正交变换矩阵，但是也可以使用尺寸比该块大或小的正交变换矩阵。另外，虽然在本实施方式中作为正交变换示出了n×n的DCT，但是变换的种类并不限定于此，例如也可以使用阿达马（Hadamard）变换或整数变换等。另外，也可以使用一维的变换矩阵来进行正交变换，而不是使用二维的变换矩阵。另外，也可以使用m×n的矩阵(m、n为1以上的整数，m≠n)来进行正交变换。

虽然在本实施方式中利用了正交变换，但是线性变换的种类并不限定于此，也可以使用非正交变换、或不确定块边界而进行变换的非块变换。

在本实施方式中虽然重复进行多次正交变换处理，但是也可以将线性变换器302a构成为只进行一次该处理。

失真去除器302b是通过决定是直接保存图像信号的正交变换系数d_1:M还是替换为预定值来生成预测变换系数，通过对该预测变换系数进行逆正交变换来去除图像信号内的量化失真的单元。在本实施方式中，设进行替换时的预定值为0。

失真去除器302b是根据从强度决定器301输入的每个块边界的模式信息，决定在失真去除中使用的阈值(滤波强度)的单元。在本实施方式中，失真去除器302b根据量化步进尺寸来设定主阈值T_master，根据所输入的模式和作为失真去除对象的像素信号(亮度或色差)来决定最终的阈值T。此时，失真去除器302b通过对主阈值T_master乘以预先设定的比率表的值来决定阈值T。失真去除器302b预先存储了比率表的内容。在本实施方式中利用下述的比率表。

【表1】

例如，在选择了PRED_SIGINF时，对于亮度信号的阈值成为T=0.32×T_master，对于色差信号的阈值成为T=0.16×T_master。

优选通过实验来设定在上述比率表中规定的比率，以使影像的品质客观上或者主观上变好。另外，对于SKIP模式的比率优选为对于亮度及色差双方为0。另外，在SKIP以外的模式中，优选对于亮度的比率和对于色差的比率彼此不同。

对于基于IC参数的三个模式IC_STRONG、IC_INTERMED、IC_WEAK的比率的具体值虽然不限定于在上述比率表中示出的值，但是优选对于这些模式的比率的大小关系为IC_STRONG>IC_INTERMED>IC_WEAK。即，优选与IC_STRONG对应的阈值(第1滤波强度)比与IC_INTERMED对应的阈值(第2滤波强度)大，与IC_INTERMED对应的阈值优选比与IC_WEAK对应的阈值(第3滤波强度)大。

另外，优选IC_STRONG、IC_INTERMED、IC_WEAK的比率至少比INTRA_QUANT小。即，优选与IC_STRONG、IC_INTERMED、IC_WEAK对应的各阈值全都比在相互相邻的对象块的至少一方通过画面内预测而被编码的情况下所设定的阈值小。

失真去除器302b根据由正交变换矩阵示出的块(正交变换系数块)与对象块之间的大小的大小关系、和正交变换系数块是否跨越多个对象块来选择失真去除模式。此处，正交变换系数块可以说是应用一个失真去除处理的范围、即失真去除的处理单位。关于选择失真去除模式的处理，使用图6、7来进行说明。

首先，使用图6，对正交变换系数块的大小在对象块的大小以下时的处理进行说明。如图6(a)所示，在正交变换系数块Ly跨越多个对象块La、Lb时，失真去除器302b优选选择针对垂直方向的块边界Ba及水平方向的边界Bb、Bc分别选择的失真去除模式中的失真去除程度最弱的模式(对应的阈值小的模式)，即上述比率表中的比率最低的模式。此处，边界Bb是与对象块Lb接触的边界，边界Bc是与对象块La接触的边界。

另一方面，如图6(b)所示，在正交变换系数块Ly处于与对象块Lb完全相同的位置、不存在正交变换系数块Ly跨越的块边界时，失真去除器302b选择与对象块Lb的左边Ba及上边Bb这两个边界对应的失真去除模式中的对应的阈值大的模式、即上述比率表中的比率高的模式。不过，如图6(b)所示情况的模式选择方法并不限定于此。例如，失真去除器302b也可以选择图6(b)中的与边界Ba、Bb对应的失真去除模式中的对应的阈值小的模式。另外，失真去除器302b也可以从与对象块的右边或下边对应的失真去除模式中选择一个模式。

接着，使用图7对正交变换系数块比对象块大时(例如相对于对象块的大小为B×B，正交变换系数块的大小为2B×2B时)的处理进行说明。此时，失真去除器302b选择与在正交变换系数块Lz内存在的多个边界(在图7的例子中，水平方向的边界Ha～Hf及垂直方向的边界Va～Vf)对应的模式中设定了最低的阈值的模式。不过，如图7所示的情况下的模式选择方法并不限定于此。例如，失真去除器302b也可以从多个模式中选择过去选择得最多的模式或具有平均阈值的模式。

失真去除器302b根据如上所述选择的模式，使用以如上所述方式决定的阈值T，对各个正交变换系数d_1:M判定该系数是否比阈值T大。并且，如果第i个正交变换系数d_1:M(i)比阈值T小，则失真去除器302b将该系数d_1:M(i)设定为预定值0，如果不是则将该系数d_1:M(i)维持不变。失真去除器302b通过对所有的正交变换系数d_1:M进行如上所述的处理从而获取失真去除后的M个正交变换系数c_1:M，将该系数c_1:M输出到逆线性变换器302c。

以下，示出几个与失真去除器302b有关的变形例。在本实施方式中，失真去除器302b虽然对主阈值T_master乘以比率表内的值来设定了最终的阈值T，但是失真去除器302b也可以从一开始就准备好与量化步进尺寸相应的阈值T。

在本实施方式中，虽然根据量化步进尺寸来决定了主阈值T_master，但是主阈值的决定方法并不限定于此。例如，也可以还使用其他的编码参数、或在正交变换及在失真处理时得到的信息等来决定主阈值T_master。另外，也可以使用从编码装置1的外部输入的主阈值T_master。在使用来自外部的值时，编码装置1对该值进行编码而发送到解码装置2，解码装置2对该主阈值T_master进行再现而利用。

在本实施方式中虽然在一定条件下将正交变换系数d_1:M替换为预定值0，但是替换处理的方法并不限定于此。例如，失真去除器302b也可以通过使正交变换系数d_1:M成为一半来得到失真去除正交变换系数c_1:M，也可以替换为0以外的预定值。另外，失真去除器302b也可以根据正交变换系数d_1:M的位置来变更替换方法。

逆线性变换器302c是对失真去除正交变换系数c_1:M进行使用了线性变换H_j的逆正交变换，将通过该逆变换得到的失真去除块（式1所示）输出到失真去除图像生成器302d的单元。

【式1】

${\hat{x}}_{1:M}=H_j^{-1}{c}_{1:M}$

(以下将其表示为^x_1:M)。

失真去除图像生成器302d是通过组合所输入的失真去除块^x_1:M，从而生成去除了失真的图像(失真去除图像，式2所示)的单元

【式2】

$\hat{X}$

(以下将其表示为^X)。具体地讲，失真去除图像生成器302d通过求出失真去除块^x_1:M的平均值(相加平均)来生成失真去除图像^X。失真去除图像生成器302d将所生成的失真去除图像^X输出到遮蔽处理器303。

以下，示出几个与失真去除图像生成器302d有关的变形例。在本实施方式中虽然使用了相加平均，但是失真去除图像的生成方法并不限定于此。例如，失真去除图像生成器302d也可以通过求出加权平均值来生成失真去除图像。此时，也可以使用根据在各线性变换处理的途中得到的信息而决定的加权系数，例如根据使用阈值T替换为预定值的正交变换系数的个数来决定的加权系数。

在本实施方式中，失真去除图像生成器302d虽然对按照再现图像信号的每个像素得到的正交变换系数进行了处理，但是对正交变换系数进行处理的方法并不限定于此。例如，失真去除图像生成器302d也可以对按照再现图像的每一列或者每一行得到的正交变换系数进行处理，也可以对按照以方格花纹状提取的再现信号的每个像素得到的该系数进行处理。另外，失真去除图像生成器302d也可以对输入到滤波处理器113的每个再现图像，改变得到正交变换系数时的像素的位置。

在本实施方式中，虽然失真去除图像生成器302d只进行了一次如上所述的失真去除处理，但是也可以通过多次重复进行该处理来去除失真。此时，也可以预先设定重复次数，也可以每次根据与编码有关的信息(例如量化参数)来改变。另外，也可以使用从编码装置1的外部输入的重复次数。在使用来自外部的值时，编码装置1只要对该值进行编码而发送到解码装置2即可。

此处，示出与失真去除处理器302有关的变形例。失真去除处理器302也可以通过上述以外的手法来进行失真去除。例如，失真去除处理器302也可以使用在H.264中利用的解块滤波器，此时，也可以根据模式来决定块边界强度。另外，失真去除处理器302也可以根据模式来直接决定滤波器的种类及在滤波处理中使用的像素数。

回到图2，遮蔽处理器303根据从强度决定器301输入的模式信息来决定遮蔽函数，使用该遮蔽函数来进行遮蔽处理。具体地讲，遮蔽处理器303对根据遮蔽函数而设定的像素，决定使用从相加器110直接输入的再现图像y的像素、和从失真去除处理器302输入的失真去除图像^X的像素中的哪个像素。

首先，遮蔽处理器303根据所输入的模式，对各对象块决定遮蔽函数。此处，遮蔽函数是以对象块的边界为中心的预定范围的像素区域，在该区域内将再现图像y的像素替换为失真去除图像^X的像素。即，遮蔽函数是滤波处理对象区域。在本实施方式中遮蔽处理器303预先存储有下述的遮蔽表，根据该表来决定遮蔽函数。

【表2】

上述遮蔽表中的值0意味着没有进行与失真去除图像的替换。另外，值1意味着在图8(a)中示出的覆盖对象块Lp、Lq的边界B的周围1个像素的遮蔽函数Ma，值2意味着在图8(b)中示出的覆盖对象块Lp、L1的边界B的周围2个像素的遮蔽函数Mb。

以下，示出几个与遮蔽处理器303有关的变形例。遮蔽处理器303也可以通过与上述遮蔽表不同的方法来决定遮蔽函数。另外，遮蔽处理器303也可以使用与图8所示函数不同的遮蔽函数，另外，也可以使用一种或3种以上的遮蔽函数。例如，遮蔽处理器303也可以使用将再现图像y的全体替换为失真去除图像^X那样的遮蔽函数。

在本实施方式中，虽然在各模式中对亮度及色差定义了相同的遮蔽函数，但是也可以在一个模式内对亮度和色差定义不同的遮蔽函数。

遮蔽处理器303使用根据模式选择的遮蔽函数，将与该函数对应的再现图像y的区域内的像素替换为失真去除图像^X的像素。并且，遮蔽处理器303将如上所述进行了遮蔽处理的再现图像作为失真去除完成图像（式3所示）存储到帧存储器104中。

【数3】

${\hat{X}}_{\mathrm{final}}$

(以下将此表示为^X_final)来

接着，使用图9对滤波处理器113的动作进行说明并且对本实施方式的动态图像预测编码方法，特别是对滤波处理步骤进行说明。图9是示出滤波处理器113的动作的流程图。

首先，滤波处理器113在从相加器110获取了再现图像y时，从预测信号生成器103及量化器107获取可利用的编码参数(步骤S101)。作为可利用的编码参数，可以例举量化参数、运动信息(运动矢量及参照索引)、模式信息、表示块的分割方法的信息、与亮度补偿预测有关的IC参数等。

接着，强度决定器301根据编码参数决定对象块的边界处的失真去除的模式(步骤S102)。

接着，执行基于失真去除处理器302的处理。首先，线性变换器302a通过对再现图像y执行线性变换H_j，从而获取正交变换系数d_1:M(步骤S103)。此处，线性变换器302a使用n×n的DCT(n为2以上的整数)作为正交变换H_j。接着，失真去除器302b根据从强度决定器301输入的模式来决定阈值T，通过对各正交变换系数d_1:M进行基于该阈值T的失真去除处理，从而求出失真去除正交变换系数c_1:M(步骤S104)。接着，逆线性变换器302c通过对失真去除正交变换系数c_1:M进行逆线性变换来生成失真去除块^x_1:M(步骤S105)。并且，失真去除图像生成器302d通过组合失真去除块^x_1:M来生成失真去除图像^X(步骤S106)。

接着，遮蔽处理器303根据从强度决定器301输入的模式来决定遮蔽函数，使用该遮蔽函数来执行对于再现图像y及失真去除图像^X的遮蔽处理(步骤S107)。并且，遮蔽处理器303将失真去除完成图像^X_final存储在帧存储器104中(步骤S108，存储步骤)。

接着，使用图10对实施方式的动态图像预测解码装置的功能及结构进行说明。图10是示出实施方式的动态图像预测解码装置2(在本说明书还简单地称为解码装置2)的功能结构的框图。解码装置2作为功能性的结构要素具有输入端子(输入单元)201、数据分析器202、逆量化器203、逆变换器204、相加器205、输出端子206、帧存储器(存储单元)207、预测信号生成器208以及滤波处理器(滤波处理单元)209。逆量化器203、逆变换器204以及相加器205与执行复原步骤的复原单元对应。另外，也可以使用代替逆变换器204的其他的变换处理，也可以省略逆变换器204。

输入端子201是接收从编码装置1发送来的压缩数据而输出到数据分析器202的单元。即，输入端子201执行输入步骤。在该压缩数据中包含有与残差信号有关的被量化的变换系数、与预测信号的生成有关的信息等。作为与预测信号的生成有关的信息，对于画面间预测而言，存在与块分割有关的信息(块的尺寸)、运动信息、参考/索引、与亮度补偿预测有关的IC参数。对于画面内预测而言，存在与由周边的已再现的像素生成对象块的像素的外插方法有关的信息。

数据分析器202是通过对压缩数据进行分析来进行熵解码处理，从而提取出被量化的变换系数和与预测信号的生成有关的信息的单元。数据分析器202将所提取出的这些信息输出到逆量化器203、预测信号生成器208以及滤波处理器209。

逆量化器203是通过对被量化的变换系数进行逆量化来生成变换系数，将所生成的变换系数输出到逆变换器204的单元。逆变换器204是通过对所输入的变换系数进行逆离散余弦变换来再现残差信号，将该残差信号输出到相加器205的单元。

预测信号生成器208是生成对于对象块的预测信号的单元。当从数据分析器202输入了与预测信号的生成有关的信息时，预测信号生成器208访问帧存储器207而读出多个参照图像，根据构成该参照图像的参照信号和输入信息来生成预测信号。由于此处的预测信号的生成方法与在编码装置1的预测信号生成器103中执行的方法相同，因此省略详细的说明。预测信号生成器208将所生成的预测信号输出到相加器205。

相加器205是将从逆变换器204输入的残差信号和从预测信号生成器208输入的预测信号相加而再现对象块的信号的单元。相加器205将所生成的信号输出到滤波处理器209。

滤波处理器209是对再现图像执行滤波处理，将实施了该处理后的再现图像输出到输出端子206及帧存储器207的单元。滤波处理器209根据从相加器205输入的再现图像的信号和从数据分析器202输入的、与编码方法和编码状况有关的信息(与亮度补偿预测有关的IC参数等)来执行滤波处理。由于滤波处理器209的结构、功能以及在滤波处理器209中进行的处理与编码装置1的滤波处理器113相同，因此省略详细的说明。滤波处理器209将所生成的失真去除完成图像^X_final输出到输出端子206，并且将该图像^X_final存储在帧存储器207中。即，滤波处理器209执行滤波处理步骤及存储步骤。

输出端子206是将失真去除完成图像^X_final输出到外部的单元。例如，输出端子206将该图像^X_final输出到显示装置(未图示)。

接着，使用图11、12，对用于使计算机作为上述编码装置1来发挥功能的动态图像预测编码程序进行说明。图11是示出动态图像预测编码程序P1(以下还简单地称为编码程序P1)的结构的图。图12是示出滤波变换模块P113的详细结构的图。

如图11所示，编码程序P1包含主模块P10、输入模块P101、块分割模块P102、预测信号生成模块P103、图像存储模块P104、相减模块P105、变换模块P106、量化模块P107、逆量化模块P108、逆变换模块P109、相加模块P110、熵编码模块P111、输出模块P112以及滤波处理模块P113。

其中，如图12所示，滤波处理模块P113包含强度决定模块P301、失真去除处理模块P302以及遮蔽处理模块P303。失真去除处理模块包含线性变换模块P302a、失真去除模块P302b、逆线性变换模块P302c以及失真去除图像生成模块P302d。

主模块P10具有总括动态图像预测编码处理全体的功能。输入模块P101、块分割模块P102、预测信号生成模块P103、图像存储模块P104、相减模块P105、变换模块P106、量化模块P107、逆量化模块P108、逆变换模块P109、相加模块P110、熵编码模块P111、输出模块P112以及滤波处理模块P113使计算机执行的功能与上述的输入端子101、块分割器102、预测信号生成器103、帧存储器104、相减器105、变换器106、量化器107、逆量化器108、逆变换器109、相加器110、熵编码器111、输出端子112以及滤波处理器113的功能相同。

构成滤波处理模块P113的各模块的功能分别与上述的强度决定器301、失真去除处理器302(线性变换器302a、失真去除器302b、逆线性变换器302c以及失真去除图像生成器302d)以及遮蔽处理器303的功能相同。

接着，使用图13，对用于使计算机作为上述解码装置2来发挥功能的动态图像预测解码程序进行说明。图13是示出动态图像预测解码程序P2(在以下还简单地称为解码程序P2)的结构的图。

如图13所示，解码程序P2包含主模块P20、输入模块P201、数据分析模块P202、逆量化模块P203、逆变换模块P204、相加模块P205、输出模块P206、图像存储模块P207、预测信号生成模块P208以及滤波处理模块P209。由于滤波处理模块P209的结构与图12所示的滤波处理模块P113相同，因此省略详细的说明。

主模块P20具有总括动态图像预测解码处理全体的功能。输入模块P201、数据分析模块P202、逆量化模块P203、逆变换模块P204、相加模块P205、输出模块P206、图像存储模块P207、预测信号生成模块P208以及滤波处理模块P209使计算机执行的功能与上述的输入端子201、数据分析器202、逆量化器203、逆变换器204、相加器205、输出端子206、帧存储器207、预测信号生成器208以及滤波处理器209的功能相同。

如上所述构成的编码程序P1及解码程序P2可以记录在如图14、15所示的记录介质M中，由图14所示的计算机30来执行。不过，执行这些程序的设备也可以是DVD播放器、机顶盒、便携电话等。

如图14所示，计算机30具有：软盘驱动器装置或CD-ROM驱动器装置、DVD驱动器装置等读取装置31；使操作系统常驻的工作用存储器(RAM)32；将存储在记录介质M中的程序进行存储的存储器33；显示器34；作为输入装置的鼠标35及键盘36；用于进行数据等的收发的通信装置37；以及控制程序的执行的CPU38。

当记录介质M插入到读取装置31中时，计算机30能够访问存储在记录介质M中的编码程序P1，能够由该程序P1作为本发明的编码装置1来动作。同样，当记录介质M插入到读取装置31中时，计算机30能够访问存储在记录介质M中的解码程序P2，能够由该程序P2作为本发明的解码装置2来动作。

如图15所示，编码程序P1或解码程序P2也可以是作为重叠在载波上的数据信号40通过网络提供的程序。此时计算机30能够将通过通信装置37接收的编码程序P1或解码程序P2存储在存储器33中来执行。

如以上说明，根据本实施方式，根据与对象块间的亮度补偿预测有关的参数(权重及偏移(IC参数))，决定作为滤波强度的一种的阈值T、和表示滤波处理对象区域的遮蔽函数后，执行对于再现图像的滤波处理。并且，实施了该处理的再现图像在编码装置1中作为在对后续的图像进行编码时使用的参照图像、在解码装置2中作为在对后续的图像进行复原时使用的参照图像来分别保存。如上所述，通过在进行滤波处理时考虑与亮度补偿预测有关的参数，从而即使在块之间产生了亮度补偿预测的不同也能够进行与该不同相应的滤波处理。其结果，例如，抑制了进行过度的滤波处理、或滤波强度不足的现象，从而能够实现再现图像的品质提高、和将该再现图像作为参照图像来利用的图像的预测效率的提高。

另外，根据本实施方式，由于根据彼此相邻的块间的参数的差异来决定滤波强度(阈值T)及滤波处理对象区域(遮蔽函数)，因此能够抑制容易在块的边界部分产生的块失真。其结果，能够提高再现画质的品质和图像的预测效率。

在本实施方式的动态图像预测编码装置中，滤波处理单元也可以判定在彼此相邻的块间参数是否不同，根据该判定的结果来决定滤波强度及滤波处理对象区域。

在本实施方式的动态图像预测编码装置中，与亮度补偿预测有关的参数至少包含第1参数及第2参数，滤波处理单元也可以在彼此相邻的块间比较第1及第2参数，使得在该第1及第2参数双方在该块间不同的情况下，与相同的情况时相比滤波强度变大。

在本实施方式的动态图像预测编码装置中，滤波处理单元在彼此相邻的块间比较第1及第2参数并且在该块间比较运动矢量之差，在该第1及第2参数双方在该块间不同且该运动矢量之差大于等于预定值时采用第1滤波强度，在该第1及第2参数双方在该块间不同且该运动矢量之差小于该预定值时采用第2滤波强度，在只有该第1及第2参数的一方在该块间不同时采用第3滤波强度，也可以使第1滤波强度比第2滤波强度大，第2滤波强度比第3滤波强度大。

在本实施方式的动态图像预测编码装置中，也可以使第1、第2及第3滤波强度都比在彼此相邻的块的至少一方通过画面内预测而被编码时所设定的滤波强度小。

在本实施方式的动态图像预测编码装置中，第1及第2参数也可以是用于变更块的预测信号的像素值的权重及偏移。

在本实施方式的动态图像预测解码装置中，滤波处理单元也可以判定在彼此相邻的块间参数是否不同，根据该判定的结果决定滤波强度及滤波处理对象区域。

在本实施方式的动态图像预测解码装置中，与亮度补偿预测有关的参数至少包含第1参数及第2参数，滤波处理单元在彼此相邻的块间比较第1及第2参数，使滤波强度在该第1及第2参数双方在该块间不同时比在该块间相同时大。

在本实施方式的动态图像预测解码装置中，滤波处理单元在彼此相邻的块间比较第1及第2参数并且在该块间比较运动矢量之差，在该第1及第2参数双方在该块间不同且该运动矢量之差大于等于预定值时采用第1滤波强度，在该第1及第2参数双方在该块间不同且该运动矢量之差小于该预定值时采用第2滤波强度，在只有该第1及第2参数中的一方在该块间不同时采用第3滤波强度，也可以使第1滤波强度比第2滤波强度大，第2滤波强度比第3滤波强度大。

在本实施方式的动态图像预测解码装置中，也可以使第1、第2及第3滤波强度都比在彼此相邻的块的至少一方通过画面内预测而被编码时所设定的滤波强度小。

在本实施方式的动态图像预测解码装置中，第1及第2参数也可以包含用于变更块的预测信号的像素值的权重及偏移。

以上，根据该实施方式详细说明了本发明。但是，本发明并不限定于上述实施方式。可以在不脱离该要旨的范围内对本发明进行各种变形。

在上述实施方式中，虽然作为在亮度补偿预测中使用的参数使用了权重及偏移这两个IC参数，但是为了决定滤波强度及滤波处理对象区域而使用的参数的种类并不限定于此。例如，也可以仅是偏移或仅是权重，或者使用三个以上的与亮度补偿预测有关的参数，或者根据其他种类的参数来决定滤波强度及滤波处理对象区域。

在上述实施方式中虽然按照每个块进行了亮度补偿预测，但是即使在画面全体上进行了相同的亮度补偿预测时也能够适用本发明。此时，只要对每个画面考虑不同的亮度补偿预测即可。

在上述实施方式中，虽然示出了亮度补偿预测，但是即使在对色差使用相同的加权补偿预测时也同样能够适用本发明。

在上述实施方式中虽然作为滤波强度示出了阈值T，但是通过滤波处理单元决定的滤波强度的种类并不限定于此。滤波处理单元也可以将阈值T以外的其他基准值使用为滤波强度来执行如上所述的滤波处理。

在上述实施方式中虽然将滤波处理器113、209作为环内滤波器来利用，但是也可以将滤波处理器作为后置滤波器来使用。

标号说明

1…动态图像预测编码装置，2…动态图像预测解码装置，101…输入端子，102…块分割器，103…预测信号生成器，104…帧存储器，105…相减器，106…变换器，107…量化器，108…逆量化器，109…逆变换器，110…相加器，111…熵编码器，112…输出端子，113…滤波处理器，201…输入端子，202…数据分析器，203…逆量化器，204…逆变换器，205…相加器，206…输出端子，207…帧存储器，208…预测信号生成器，209…滤波处理器，301…强度决定器，302…失真去除处理器，302a…线性变换器，302b…失真去除器，302c…逆线性变换器，302d…失真去除图像生成器，303…遮蔽处理器，P1…动态图像预测编码程序，P10…主模块，P101…输入模块，P102…块分割模块，P103…预测信号生成模块，P104…图像存储模块，P105…相减模块，P106…变换模块，P107…量化模块，P108…逆量化模块，P109…逆变换模块，P110…相加模块，P111…熵编码模块，P112…输出模块，P113…滤波处理模块，P2…动态图像预测解码程序，P20…主模块，P201…输入模块，P202…数据分析模块，P203…逆量化模块，P204…逆变换模块，P205…相加模块，P206…输出模块，P207…图像存储模块，P208…预测信号生成模块，P209…滤波处理模块，P301…强度决定模块，P302…失真去除处理模块，P302a…线性变换模块，P302b…失真去除模块，P302c…逆线性变换模块，P302d…失真去除图像生成模块，P303…遮蔽处理模块。

Claims (16)

1.一种动态图像预测编码方法，由动态图像预测编码装置来执行，该动态图像预测编码方法的特征在于，包括如下步骤：

输入步骤，输入构成动态图像的多个图像；

编码步骤，通过利用画面内预测及画面间预测中的至少一个方法对在所述输入步骤中输入的图像进行编码来生成压缩数据，并且对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码；

复原步骤，通过对在所述编码步骤中生成的压缩数据进行解码而将所述图像复原为再现图像；

滤波处理步骤，至少使用与所述块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对在所述复原步骤中复原的再现图像执行滤波处理；以及

存储步骤，将在所述滤波处理步骤中执行了滤波处理的再现图像作为为了对后续的所述图像进行编码而使用的参照图像存储到所述动态图像预测编码装置的存储单元中。

2.根据权利要求1所述的动态图像预测编码方法，其特征在于，

在所述滤波处理步骤中，判定在彼此相邻的所述块间所述参数是否不同，根据该判定的结果来决定所述滤波强度及所述滤波处理对象区域。

3.根据权利要求2所述的动态图像预测编码方法，其特征在于，

与所述亮度补偿预测有关的参数至少包含第1参数及第2参数，

在所述滤波处理步骤中，在彼此相邻的所述块间比较所述第1参数及第2参数，将所述滤波强度设定得在该第1参数及第2参数双方在该块间不同时比其它情况下大。

4.根据权利要求3所述的动态图像预测编码方法，其特征在于，

在所述滤波处理步骤中，在彼此相邻的所述块间比较所述第1参数及第2参数，并且在该块间比较运动矢量之差，在该第1参数及第2参数双方在该块间不同且该运动矢量之差大于等于预定值时设定为第1滤波强度，在该第1参数及第2参数双方在该块间不同且该运动矢量之差小于该预定值时设定为第2滤波强度，在只有该第1参数及第2参数中的一方在该块间不同时设定为第3滤波强度，

所述第1滤波强度比所述第2滤波强度大，所述第2滤波强度比所述第3滤波强度大。

5.根据权利要求4所述的动态图像预测编码方法，其特征在于，

所述第1滤波强度、第2滤波强度及第3滤波强度都比在所述彼此相邻的块的至少一方通过所述画面内预测而被编码时所设定的滤波强度小。

6.根据权利要求3～5中的任意一项所述的动态图像预测编码方法，其特征在于，

所述第1参数及第2参数是用于变更所述块的预测信号的像素值的权重及偏移。

7.一种动态图像预测解码方法，由动态图像预测解码装置来执行，该动态图像预测解码方法的特征在于，包括如下步骤：

输入步骤，输入通过利用画面内预测及画面间预测中的至少一个方法对构成动态图像的多个图像进行编码而生成的第1压缩数据、和通过对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码而生成的第2压缩数据；

复原步骤，通过对在所述输入步骤中输入的第1压缩数据及第2压缩数据进行解码，从而将所述图像复原为再现图像，并且复原与所述块间的亮度补偿预测有关的参数；

滤波处理步骤，至少使用在所述复原步骤中复原的与所述块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对在所述复原步骤中复原的再现图像执行滤波处理；以及

存储步骤，将在所述滤波处理步骤中执行了滤波处理的再现图像作为为了复原后续的所述图像而使用的参照图像存储在所述动态图像预测解码装置的存储单元中。

8.根据权利要求7所述的动态图像预测解码方法，其特征在于，

在所述滤波处理步骤中，判定在彼此相邻的所述块间所述参数是否不同，根据该判定的结果来决定所述滤波强度及所述滤波处理对象区域。

9.根据权利要求8所述的动态图像预测解码方法，其特征在于，

与所述亮度补偿预测有关的参数至少包含第1参数及第2参数，

在所述滤波处理步骤中，在彼此相邻的所述块间比较所述第1参数及第2参数，将所述滤波强度设定得在该第1参数及第2参数双方在该块间不同时比其它情况下大。

10.根据权利要求9所述的动态图像预测解码方法，其特征在于，

在所述滤波处理步骤中，在彼此相邻的所述块间比较所述第1参数及第2参数并且在该块间比较运动矢量之差，在该第1参数及第2参数双方在该块间不同且该运动矢量之差大于等于预定值时设定为第1滤波强度，在该第1参数及第2参数双方在该块间不同且该运动矢量之差小于该预定值时设定为第2滤波强度，在只有该第1参数及第2参数中的一方在该块间不同时设定为第3滤波强度，

所述第1滤波强度比所述第2滤波强度大，所述第2滤波强度比所述第3滤波强度大。

11.根据权利要求10所述的动态图像预测解码方法，其特征在于，

所述第1滤波强度、第2滤波强度及第3滤波强度都比在所述彼此相邻的块的至少一方通过所述画面内预测而被编码时所设定的滤波强度小。

12.根据权利要求9～11中的任意一项所述的动态图像预测解码方法，其特征在于，

所述第1参数及第2参数是用于变更所述块的预测信号的像素值的权重及偏移。

13.一种动态图像预测编码装置，其特征在于，具有：

输入单元，其输入构成动态图像的多个图像；

编码单元，其通过利用画面内预测及画面间预测中的至少一个方法对由所述输入单元输入的图像进行编码而生成压缩数据，并且对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码；

复原单元，其通过对由所述编码单元生成的压缩数据进行解码而将所述图像复原为再现图像；

滤波处理单元，其至少使用与所述块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对通过所述复原单元复原的再现图像执行滤波处理；以及

存储单元，其将由所述滤波处理单元执行了滤波处理的再现图像作为为了对后续的所述图像进行编码而使用的参照图像来进行存储。

14.一种动态图像预测解码装置，其特征在于，具有：

输入单元，其输入通过利用画面内预测及画面间预测中的至少一个方法来对构成动态图像的多个图像进行编码而生成的第1压缩数据、和通过对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码而生成的第2压缩数据；

复原单元，其通过对由所述输入单元输入的第1压缩数据及第2压缩数据进行解码，从而将所述图像复原为再现图像，并且对与所述块间的亮度补偿预测有关的参数进行复原；

滤波处理单元，其至少使用由所述复原单元复原的与所述块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对由所述复原单元复原的再现图像执行滤波处理；以及

存储单元，其将由所述滤波处理单元执行了滤波处理的再现图像作为为了对后续的所述图像进行复原而使用的参照图像来进行存储。

15.一种动态图像预测编码程序，其特征在于，该动态图像预测编码程序使计算机作为如下所述的单元来发挥功能：

输入单元，其输入构成动态图像的多个图像；

编码单元，其通过利用画面内预测及画面间预测中的至少一个方法对由所述输入单元输入的图像进行编码而生成压缩数据，并且对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码；

复原单元，其通过对由所述编码单元生成的压缩数据进行解码而将所述图像复原为再现图像；

滤波处理单元，其至少使用与所述块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对通过所述复原单元复原的再现图像执行滤波处理；以及

存储单元，其将由所述滤波处理单元执行了滤波处理的再现图像作为为了对后续的所述图像进行编码而使用的参照图像来进行存储。

16.一种动态图像预测解码程序，其特征在于，该动态图像预测解码程序使计算机作为如下所述的单元来发挥功能：

输入单元，其输入通过利用画面内预测及画面间预测中的至少一个方法来对构成动态图像的多个图像进行编码而生成的第1压缩数据、和通过对与分割该图像而成的块间的亮度补偿预测有关的参数进行编码而生成的第2压缩数据；

复原单元，其通过对由所述输入单元输入的第1压缩数据及第2压缩数据进行解码，从而将所述图像复原为再现图像，并且对与所述块间的亮度补偿预测有关的参数进行复原；

滤波处理单元，其至少使用由所述复原单元复原的与所述块间的亮度补偿预测有关的参数来决定滤波强度及滤波处理对象区域，根据该滤波强度及该滤波处理对象区域，对由所述复原单元复原的再现图像执行滤波处理；以及

存储单元，其将由所述滤波处理单元执行了滤波处理的再现图像作为为了对后续的所述图像进行复原而使用的参照图像来进行存储。

Images