CN102132566A - 图像加工装置、方法和程序、动态图像编码装置、方法和程序、动态图像解码装置、方法和程序、以及编码解码系统和方法 - Google Patents

Abstract

为了在保持图像本来的边缘的同时，抑制在所再现的图像上产生的残留失真信号，图像加工装置(环路内滤波器(109))具有：第1滤波单元(201)，其对所输入的对象图像应用第1滤波器来生成第1滤波图像；属性信息生成器(202)，其针对所生成的第1滤波图像的各像素，生成表示是否对该像素应用第2滤波器的属性值；以及第2滤波单元(203)，其对根据针对所生成的第1滤波图像的各像素的属性值而选择的第1滤波图像的对象像素应用第2滤波器来生成第2滤波图像。

Description

图像加工装置、方法和程序、动态图像编码装置、方法和程序、动态图像解码装置、方法和程序、以及编码解码系统和方法

技术领域

本发明涉及对动态图像进行加工的图像加工装置、方法和程序、去除在动态图像编码中使用的再现图像内残留的失真信号的动态图像编码装置、方法和程序、去除在动态图像解码中使用的再现图像内残留的失真信号的动态图像解码装置、方法和程序、以及进行编码和解码的编码解码系统和方法。

背景技术

为了效率良好地进行动态图像数据的传送和蓄积，使用压缩编码技术。在动态图像的情况下，广泛使用MPEG1、2、4和H.261～H.264的方式。

为了提高编码效率，将成为编码对象的图像分割为多个对象块，之后进行预测编码解码处理。具体地说，将1帧的图像分割为由16×16个像素构成的对象块。在画面内预测编码方法中，使用与成为编码对象的对象块相同的画面内的相邻的已再现的图像信号(从压缩后的图像数据恢复后的图像信号)来生成预测信号，之后对将该预测信号从对象块的信号中减去获得的差分进行编码。

并且，还有这样的情况：取代画面内预测编码方法，使用画面间预测编码方法(参照在动态图像中的时间轴上相邻的另一帧来生成对象块的预测信号，对该预测信号和对象块的差分进行编码的方法)。在该情况下，针对对象块，将已编码且恢复后的另一帧作为参照图像进行移动检测，决定误差最少的预测信号，之后求出该预测信号和对象块的差分值。

然后，对使用画面内预测编码方法或画面间预测编码方法获得的差分信号进行离散余弦转换或量化处理。然后，对量化后的离散余弦转换的系数、以及用于确定预测信号的移动矢量或模式信息进行熵编码，生成编码数据。

这样编码后的编码数据被恢复一次并再现，用于求出下一对象块的预测信号。所再现的图像通过环路内滤波处理被去除伴随编码的失真，之后作为参照图像被存储在帧存储器内。

作为上述的环路内滤波器，公知有去除发生在块间的块失真的块失真去除滤波器，然而该块失真去除滤波器具有容易生成模糊图像的问题。另一方面，在专利文献1中记载了去除所再现的图像内的本来的边缘周边的噪声的滤波处理。在该专利文献1的方法中，由于以不跨过图像内的物体的边缘的方式执行滤波处理，因而具有在保存边缘的同时使画面整体的印象鲜明的效果。

专利文献1：美国公开公报2006/0153301

然而，专利文献1的滤波处理由于是保存边缘的处理，因而具有残留未消除的失真的别的问题。特别是，容易产生呈阶梯状发生块失真的假轮廓。这样的残留失真信号可通过对画面整体应用低通滤波器来抑制。然而，在对画面整体随意应用低通滤波器的情况下，会弄坏图像本来的边缘。

发明内容

本发明是为了解决上述课题而作成的，本发明的目的是在保持图像本来的边缘的同时，抑制在所再现的图像上产生的残留失真信号。

为了达到上述目的，本发明涉及的图像加工装置，其特征在于，该图像加工装置具有：第1滤波单元，其对所输入的对象图像应用第1滤波器来生成第1滤波图像；属性信息生成单元，其针对由所述第1滤波单元生成的所述第1滤波图像的各像素，生成表示是否对该像素应用第2滤波器的属性值；以及第2滤波单元，其对根据由所述属性信息生成单元生成的针对所述第1滤波图像的各像素的所述属性值而选择的所述第1滤波图像的对象像素应用所述第2滤波器来生成第2滤波图像。

优选的是，上述本发明涉及的图像加工装置还具有滤波图像选择单元，该滤波图像选择单元将所述第1滤波图像和所述第2滤波图像进行比较并求出各像素的差分值，针对所述差分值是预定阈值以上的像素，选择所述第1滤波图像的像素并输出，针对所述差分值小于所述阈值的像素，选择所述第2滤波图像的像素并输出。

并且，优选的是，在本发明涉及的图像加工装置中采用这样的结构：在根据针对所述第1滤波图像的所述对象像素的所述属性值和针对与该对象像素相邻的预定数量的像素的所述属性值而计算出的值大于预定值的情况下，所述第2滤波单元选择所述第1滤波图像的所述对象像素作为所生成的所述第2滤波图像的像素。

并且，优选的是，在本发明涉及的图像加工装置中采用这样的结构：所述第2滤波器是一维滤波器，所述第2滤波单元针对所述第1滤波图像的对象像素，将所述第2滤波器应用到水平方向和垂直方向中的一个方向之后，再将所述第2滤波器应用到另一个方向。

并且，优选的是，在本发明涉及的图像加工装置中采用这样的结构：所述第2滤波器具有由[1，1，1，1，1，1，1，2，1，1，1，1，1，1，1]/16表示的15个抽头，所述第2滤波单元参照所述对象像素和与该对象像素的左右相邻的各7个像素的计15个像素、或者所述对象像素和与该对象像素的上下相邻的各7个像素的计15个像素，对所述对象像素应用所述第2滤波器。

并且，优选的是，在本发明涉及的图像加工装置中，在所述第1滤波器是参照由应用对象的像素的周围M个像素包围的范围内的像素的滤波器的情况下，所述第2滤波器由参照由应用对象的像素的周围中的、比所述M个像素多的L个像素包围的范围内的像素的滤波器构成。

另外，本发明还可以作为图像加工方法涉及的发明、以及图像加工程序涉及的发明来获得，各方可描述如下。

本发明涉及的图像加工方法，该图像加工方法由图像加工装置执行，其特征在于，该图像加工方法具有：第1滤波步骤，对所输入的对象图像应用第1滤波器来生成第1滤波图像；属性信息生成步骤，针对由所述第1滤波步骤生成的所述第1滤波图像的各像素，生成表示是否对该像素应用第2滤波器的属性值；以及第2滤波步骤，对根据由所述属性信息生成步骤生成的针对所述第1滤波图像的各像素的所述属性值而选择的所述第1滤波图像的对象像素应用所述第2滤波器来生成第2滤波图像。

另外，优选的是，本发明涉及的图像加工方法还具有滤波图像选择步骤，在该滤波图像选择步骤中，将所述第1滤波图像和所述第2滤波图像进行比较并求出各像素的差分值，针对所述差分值是预定阈值以上的像素，选择所述第1滤波图像的像素并输出，针对所述差分值小于所述阈值的像素，选择所述第2滤波图像的像素并输出。

本发明涉及的图像加工程序，该图像加工程序使设置在图像加工装置内的计算机作为以下单元进行工作：第1滤波单元，其对所输入的对象图像应用第1滤波器来生成第1滤波图像；属性信息生成单元，其针对由所述第1滤波单元生成的所述第1滤波图像的各像素，生成表示是否对该像素应用第2滤波器的属性值；以及第2滤波单元，其对根据针对由所述属性信息生成单元生成的所述第1滤波图像的各像素的所述属性值而选择的所述第1滤波图像的对象像素应用所述第2滤波器来生成第2滤波图像。

另外，优选的是，本发明涉及的图像加工程序使所述计算机还作为滤波图像选择单元进行工作，该滤波图像选择单元将所述第1滤波图像和所述第2滤波图像进行比较并求出各像素的差分值，针对所述差分值是预定阈值以上的像素，选择所述第1滤波图像的像素并输出，针对所述差分值小于所述阈值的像素，选择所述第2滤波图像的像素并输出。

根据以上的本发明，可在保持图像本来的边缘的同时，抑制在所再现的图像上产生的残留失真信号。

并且，本发明通过应用于动态图像编码装置、方法、程序，可提高编码处理的精度。同样，本发明通过应用于动态图像解码装置、方法、程序，可提高解码处理的精度。

其中，应用了本发明的动态图像编码装置、方法、程序可描述如下。

本发明涉及的动态图像编码装置，其特征在于，该动态图像编码装置具有：块分割器，其将所输入的成为编码对象的图像分割为多个块；预测信号生成器，其针对成为编码对象的对象块，生成预测信号、以及至少包含与预测方法相关的信息的附加信息；差分器，其通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号；转换器，其将所述对象块的所述残差信号转换为频域的转换系数；量化器，其通过量化处理对所述转换系数进行压缩并获得量化转换系数；逆量化器，其通过对所述量化转换系数进行逆量化来恢复解码转换系数；逆转换器，其通过对所述解码转换系数进行逆转换来再现残差信号；加法器，其通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像；环路内滤波器，其构成为包含上述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；帧存储器，其存储滤波处理后的所述再现图像；以及熵编码器，其对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出。

本发明涉及的动态图像编码方法，该动态图像编码方法由动态图像编码装置执行，其特征在于，该动态图像编码方法具有：将所输入的成为编码对象的图像分割为多个块的步骤；针对成为编码对象的对象块，生成预测信号、以及至少包含与预测方法相关的信息的附加信息的步骤；通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号的步骤；将所述对象块的所述残差信号转换为频域的转换系数的步骤；通过量化处理对所述转换系数进行压缩并获得量化转换系数的步骤；通过对所述量化转换系数进行逆量化来恢复解码转换系数的步骤；通过对所述解码转换系数进行逆转换来再现残差信号的步骤；通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像的步骤；进行构成为包含上述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；存储滤波处理后的所述再现图像的步骤；以及对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出的步骤。

本发明涉及的动态图像编码程序，其特征在于，该动态图像编码程序使设置在动态图像编码装置内的计算机作为以下单元进行工作：块分割器，其将所输入的成为编码对象的图像分割为多个块；预测信号生成器，其针对成为编码对象的对象块，生成预测信号、以及至少包含与预测方法相关的信息的附加信息；差分器，其通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号；转换器，其将所述对象块的所述残差信号转换为频域的转换系数；量化器，其通过量化处理对所述转换系数进行压缩并获得量化转换系数；逆量化器，其通过对所述量化转换系数进行逆量化来恢复解码转换系数；逆转换器，其通过对所述解码转换系数进行逆转换来再现残差信号；加法器，其通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像；环路内滤波器，其构成为包含上述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；帧存储器，其存储滤波处理后的所述再现图像；以及熵编码器，其对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出。

并且，应用了本发明的动态图像解码装置、方法、程序可描述如下。

本发明涉及的动态图像解码装置，其特征在于，该动态图像解码装置具有：数据分析器，其被输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息；预测信号生成器，其根据所述附加信息生成预测信号；逆量化器，其对所述量化转换系数进行逆量化，获得解码转换系数；逆转换器，其对所述解码转换系数进行逆转换，恢复残差信号；加法器，其通过将所述预测信号和所述残差信号进行相加来生成再现图像；环路内滤波器，其构成为包含上述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及帧存储器，其存储滤波处理后的所述再现图像。

本发明涉及的动态图像解码方法，该动态图像解码方法由动态图像解码装置执行，其特征在于，该动态图像解码方法具有：输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息的步骤；根据所述附加信息生成预测信号的步骤；对所述量化转换系数进行逆量化，获得解码转换系数的步骤；对所述解码转换系数进行逆转换，恢复残差信号的步骤；通过将所述预测信号和所述残差信号进行相加来生成再现图像的步骤；进行构成为包含上述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及存储滤波处理后的所述再现图像的步骤。

本发明涉及的动态图像解码程序，其特征在于，该动态图像解码程序使设置在动态图像解码装置中的计算机作为以下单元进行工作：数据分析器，其被输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息；预测信号生成器，其根据所述附加信息生成预测信号；逆量化器，其对所述量化转换系数进行逆量化，获得解码转换系数；逆转换器，其对所述解码转换系数进行逆转换，恢复残差信号；加法器，其通过将所述预测信号和所述残差信号进行相加来生成再现图像；环路内滤波器，其构成为包含上述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及帧存储器，其存储滤波处理后的所述再现图像。

而且，本发明作为编码解码系统以及编码解码方法，可描述如下。

本发明涉及的编码解码系统，该编码解码系统构成为包含动态图像编码装置和动态图像解码装置，其特征在于，所述动态图像编码装置具有：块分割器，其将所输入的成为编码对象的图像分割为多个块；预测信号生成器，其针对成为编码对象的对象块，生成预测信号、以及至少包含与预测方法相关的信息的附加信息；差分器，其通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号；转换器，其将所述对象块的所述残差信号转换为频域的转换系数；量化器，其通过量化处理对所述转换系数进行压缩并获得量化转换系数；逆量化器，其通过对所述量化转换系数进行逆量化来恢复解码转换系数；逆转换器，其通过对所述解码转换系数进行逆转换来再现残差信号；加法器，其通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像；环路内滤波器，其构成为包含上述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；帧存储器，其存储滤波处理后的所述再现图像；以及熵编码器，其对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出，所述动态图像解码装置具有：数据分析器，其被输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息；预测信号生成器，其根据所述附加信息生成预测信号；逆量化器，其对所述量化转换系数进行逆量化，获得解码转换系数；逆转换器，其对所述解码转换系数进行逆转换，恢复残差信号；加法器，其通过将所述预测信号和所述残差信号进行相加来生成再现图像；环路内滤波器，其构成为包含上述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及帧存储器，其存储滤波处理后的所述再现图像。

本发明涉及的编码解码方法，该编码解码方法在构成为包含动态图像编码装置和动态图像解码装置的编码解码系统中执行，其特征在于，该编码解码方法具有：由所述动态图像编码装置执行的动态图像编码方法的处理步骤；以及由所述动态图像解码装置执行的动态图像解码方法的处理步骤，所述动态图像编码方法的处理步骤包含：将所输入的成为编码对象的图像分割为多个块的步骤；针对成为编码对象的对象块，生成预测信号、以及至少包含与预测方法相关的信息的附加信息的步骤；通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号的步骤；将所述对象块的所述残差信号转换为频域的转换系数的步骤；通过量化处理对所述转换系数进行压缩并获得量化转换系数的步骤；通过对所述量化转换系数进行逆量化来恢复解码转换系数的步骤；通过对所述解码转换系数进行逆转换来再现残差信号的步骤；通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像的步骤；进行构成为包含上述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；存储滤波处理后的所述再现图像的步骤；以及对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出的步骤，所述动态图像解码方法的处理步骤包含：输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息的步骤；根据所述附加信息生成预测信号的步骤；对所述量化转换系数进行逆量化，获得解码转换系数的步骤；对所述解码转换系数进行逆转换，恢复残差信号的步骤；通过将所述预测信号和所述残差信号进行相加来生成再现图像的步骤；进行构成为包含上述的图像加工装置的环路内滤波器的动作，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及存储滤波处理后的所述再现图像的步骤。

根据本发明，可在保持图像本来的边缘的同时，抑制在所再现的图像上产生的残留失真信号。

附图说明

图1是本实施方式涉及的动态图像编码装置的框图。

图2是说明环路内滤波器的处理的流程图。

图3是说明第2滤波器图像生成处理的流程图。

图4是环路内滤波器的框图。

图5是示出第1滤波器的一例的框图。

图6是说明属性信息生成器202中的处理的流程图。

图7是本实施方式涉及的动态图像解码装置的框图。

图8是示出本实施方式涉及的动态图像编码方法的流程图。

图9是示出本实施方式涉及的动态图像解码方法的流程图。

图10是示出本实施方式涉及的动态图像编码程序的模块的框图。

图11是示出本实施方式涉及的环路内滤波器程序的模块的框图。

图12是示出本实施方式涉及的动态图像解码程序的模块的框图。

图13是用于执行记录在记录介质内的程序的计算机的硬件结构图。

图14是图13的计算机的立体图。

图15是本实施方式涉及的编码解码系统的结构图。

具体实施方式

以下，使用图1～图13来说明本发明涉及的实施方式。

(关于动态图像编码装置)

图1示出本发明的具有残留失真信号去除功能的动态图像编码装置100的框图。动态图像编码装置100具有：输入端子101，块分割器102，差分器103，转换器104，量化器105，逆量化器106，逆转换器107，加法器108，环路内滤波器109，帧存储器110，预测信号生成器111，熵编码器112，以及输出端子113。

针对这样的动态图像编码装置100，以下描述各构成部的动作。构成动态图像的多个图像从输入端子101被输入。

块分割器102将成为编码对象的图像分割为多个小区域(这里例如由8×8个像素构成的块)。针对所分割的各块，执行以下的压缩编码处理。

预测信号生成器111针对成为编码对象的块(以下称为“对象块”)生成预测信号，该预测信号经由线L111被输出到差分器103。并且，预测信号生成器111执行画面内预测方法或画面间预测方法来生成多个预测方法的候选，然后，从上述多个预测方法的候选中选择出这样的预测方法：在对经由线L102输入的对象块的信号进行编码时所需要的编码量小且与对象块之间的残差小。另外，针对预测方法的候选，在本发明中不受限定。表示所选择的预测方法的预测模式信息、伴随画面间预测的移动信息等作为附加信息，经由线L112被输出到熵编码器115和环路内滤波器109。

差分器103通过从经由线L102输入的对象块的信号中减去经由线L111输入的预测信号来生成残差信号。所生成的残差信号经由线L103被输出到转换器104。

转换器104以进一步分割了上述对象块后的差分信号块(这里由4×4个像素构成的块)为单位，将差分信号转换为频域的转换系数。通过转换所获得的转换系数经由线L104被输出到量化器105，通过量化器105的量化处理而被压缩为量化转换系数。另外，动态图像编码装置100可以是省略了转换器104和量化器105中任一方后的结构。

熵编码器112将经由线L105输入的量化转换系数转换为可变长度编码并将其从输出端子113作为位流来输出。此时，可以应用算术编码而取代可变长度编码。并且，熵编码器112同时将经由线L112输入的附加信息与量化转换系数一起进行熵编码。

逆量化器106通过以与量化器105对应的量化精度，对经由线L105输入的量化转换系数进行逆量化来恢复解码转换系数，将其经由线L106输出到逆转换器107。逆转换器107通过对解码转换系数进行逆转换来再现残差信号。另外，表示上述的量化精度的量化参数从量化器105被发送到熵编码器112，在熵编码器112中以帧为单位或者以块为单位进行熵编码，作为位流的一部分从输出端子113输出(即，被通知给对上述位流进行解码的动态图像解码装置)。并且，逆量化器106将与各4×4个块相关的量化转换系数的信息经由线L113输出到环路内滤波器109。

加法器108通过将经由线L107输入的再现后的残差信号与经由线L111输入的预测信号进行相加来恢复再现图像，将其经由线L108输出到环路内滤波器109。

环路内滤波器109使用经由线L112输入的附加信息、以及经由线L113输入的各4×4个块相关的量化转换系数的信息，从再现图像中消除不需要的失真。将此称为“滤波处理”，其详情在后面描述。被实施了滤波处理后的再现图像由于用作在对下一图像进行编码时的参照图像，因而经由线L109从环路内滤波器109输出到帧存储器110，被存储在帧存储器110内。

(关于环路内滤波器109)

下面，使用图2～图6来详细说明环路内滤波器109。在本实施方式中，使用特性不同的2种滤波器。即，环路内滤波器109构成为包含：第1滤波器(专利文献1记载的滤波器)，其在保存本来的边缘的同时消除边缘周边的失真以使图像鲜明；以及第2滤波器，其消除有晕映效果特别是在第1滤波器中容易残留的块状的失真。

以下，描述环路内滤波器109的动作。图2示出环路内滤波器109的处理流程。环路内滤波器109首先对经由线L108输入的再现图像应用第1滤波器，生成第1滤波图像(步骤702)。

然后，环路内滤波器109生成用于判定针对第1滤波图像的各像素是否应用第2滤波器的属性值(步骤703)。以下，针对各像素的属性值用于选择即使实施第1滤波器、信号值也不变化的像素。

然后，环路内滤波器109根据所生成的属性值对第1滤波图像应用第2滤波器，生成第2滤波图像(步骤704)。即，环路内滤波器109根据针对第1滤波图像的各像素的属性值，判定针对各像素是否应用第2滤波器，针对被判定为应用第2滤波器的像素应用第2滤波器，针对被判定为不应用第2滤波器的像素，避免应用第2滤波器，从而生成第2滤波图像。这样通过利用针对第1滤波图像的各像素的属性值，可针对即使实施第1滤波器也残留失真的区域选择性应用第2滤波器，因而不会使本来的边缘晕映，可生成仅抑制了在第1滤波图像中残留的失真信号的第2滤波图像。

之后，环路内滤波器109生成第1滤波图像与第2滤波图像之间的差分图像(步骤705)。然后，针对该差分图像的某像素，将差分图像的像素值(以下称为“差分值”)和预定阈值TH进行比较(步骤706)。这里，在差分值小于阈值TH的情况下，将第2滤波图像的像素值选择为最终的滤波图像的像素值(步骤707)，另一方面，在差分值是阈值TH以上的情况下，将第1滤波图像的像素值选择为最终的滤波图像的像素值(步骤708)。由此，在滤波处理后的第2滤波图像的各像素中，通过与第1滤波图像的比较，在信号值的变化大的情况下，选择第1滤波图像的像素，在信号值的变化小的情况下，选择第2滤波图像的像素，因而不会弄坏本来的边缘，可仅去除多余的残留失真。

以下，针对差分图像的全部像素重复步骤706～708的处理(步骤709)。

另外，阈值TH可以是根据例如量化器或逆量化器中的决定量化精度的量化参数而决定的值。这样决定阈值TH，可应对量化精度越糙、残留失真的级别就越大的状况。

并且，没有必要一定生成步骤705中的差分图像。例如，即使是这样的方法，也能执行步骤706～步骤708的处理，该方法是，不生成差分图像，在从第1滤波图像和第2滤波图像分别取得1个像素的同时，以像素为单位计算差分值。

并且，可以省略步骤705～708所示的选择滤波图像的处理。并且，可以计算第2滤波图像与输入图像之间的误差为最小的最小平方误差滤波器(Wiener Filter，维纳滤波器)，取代步骤705～708的处理，将最小平方误差滤波器应用于第2滤波图像。另外，与所述的量化参数一样，这里计算出的最小平方误差滤波器可以进行编码并传送到外部。

下面，使用图3来详细说明图2的步骤704的第2滤波图像生成处理。

在图3的步骤802中，针对第1滤波图像的像素的属性值依次被输入到环路内滤波器109，环路内滤波器109判定所输入的属性值是否是0(步骤803)，在属性值不是0的情况下(是1的情况下)，进到步骤809，在属性值是0的情况下，进到步骤804。

在步骤804中，环路内滤波器109针对第1滤波图像中的处理对象像素和与该处理对象像素相邻的左右各7个像素的计15个像素，取得像素值和属性值。接下来，将针对所取得的15个像素的属性值进行相加(步骤805)，判定相加值是否是0(步骤806)。这里在相加值不是0的情况下，进到步骤809，在相加值是0的情况下，进到步骤807。

在步骤807中，环路内滤波器109针对处理对象像素，参照与该处理对象像素相邻的左右各7个像素的计14个像素，应用第2滤波器。这里，假定所参照的14个像素是第1滤波图像内的像素，然而在预先决定方法的情况下，可以参照第2滤波器应用后的像素。滤波器抽头数如下述所示，滤波器形式为低通滤波器。即，第2滤波器的输出像素的值是这样计算的：将第1滤波图像中的处理对象像素的值乘以2，将该相乘值加上与处理对象像素相邻的左右7个像素的值，将该相加值除以16。

滤波器抽头＝[1，1，1，1，1，1，1，2，1，1，1，1，1，1，1]/16

在步骤808中，环路内滤波器109将第2滤波器的输出像素的值作为第2滤波图像的像素值来输出。另一方面，在步骤809中，环路内滤波器109将第1滤波图像的像素值作为第2滤波图像的像素值来输出。

在下一步骤810中，确认是否残留下一处理对象像素，在残留的情况下，回到步骤802，针对残留的处理对象像素再次执行步骤802～810的处理。然后，在针对全部处理对象像素执行了步骤802～810的处理的时刻结束图3的处理。

另外，除了上述处理以外，还可以在“垂直方向”实施步骤802～810中的滤波处理(即，参照与处理对象像素相邻的上下各7个像素，使图像从左下向右下在纵方向(从上到下、从左到右)进行扫描)。换句话说，作为第2滤波器，可以针对实施了“水平方向”的一维滤波器的图像再实施“垂直方向”的一维滤波器。而且，可以针对实施了“水平方向”的一维滤波器的图像进行步骤705～708所示的滤波图像选择处理，针对所生成的中间输出图像实施“垂直方向”的一维滤波器。之后，在针对实施了“垂直方向”的一维滤波器的图像进行步骤705～708所示的滤波图像选择处理时，取代步骤705所示的第1滤波图像与第2滤波图像之间的差分值，可以针对上述的中间输出图像和实施了“垂直方向”的一维滤波器的图像(相当于第2滤波图像)的差分值进行步骤706～708的处理。该处理也可以通过在图3的步骤807和808之间进行图2的步骤706～708的处理来实现。也就是说，针对在步骤807的处理中实施滤波器之前和之后的像素值的差分进行阈值处理(步骤706)，在步骤808输出滤波器应用后的像素值(步骤707)或滤波器应用前的像素值(步骤708)。只要将该步骤802～810(包含步骤706～708)的处理变更成依次在水平方向和垂直方向实施即可。这里，“水平方向”和“垂直方向”的一维滤波器可以是不同的滤波器。并且，在“水平方向”和“垂直方向”的一维滤波器应用后的滤波图像选择处理中使用的阈值TH可以是不同的值。可以对这些一维滤波器和阈值进行编码。此时，可以将一维滤波器和阈值作为1组数据，对水平方向和垂直方向的2组数据进行编码。另外，在“水平方向”的一维滤波器和“垂直方向”的一维滤波器中，实施滤波器的顺序可以是“垂直方向”的一维滤波器在先。并且，可以仅实施“垂直方向”的一维滤波器。

并且，第2滤波器的滤波器形状不限定于上述15个抽头的滤波器。并且，可以应用二维滤波器而不是一维滤波器，可以应用别的固定滤波器。抽头数和滤波系数不受限定，可以对第2滤波器的形状信息和抽头数信息进行编码，将编码数据包含在位流内传送到外部。更具体地说，可以设属性值全部为“0”，计算第1滤波图像与输入图像之间的误差为最小的最小平方误差滤波器(Wiener Filter，维纳滤波器)，可以将该最小平方误差滤波器用作第2滤波器。此时，可以对最小平方误差滤波器进行编码，将编码数据包含在位流内传送到外部。而且，可以采用从环路内滤波器109的外部输入属性值的方法(例如，在编码装置和解码装置中决定要应用滤波器的对象像素的方法)。此时，可以对属性值进行压缩编码。

在上述说明中，以图像为单位实施了第1滤波处理和第2滤波处理，然而可以以块为单位(例如，以编码对象块为单位)实施。不过，由于按解码顺序使用未来的块的再现信号，因而在以块为单位进行上述的滤波处理的情况下，有必要根据滤波器的抽头数，使滤波处理从编码解码处理延迟数个块。例如，如上所述，在块尺寸是8×8且滤波器抽头数是7的情况下，使滤波处理的实施从编码解码处理延迟(1块列+1块)，以使在第2滤波器参照的像素为已再现。

在上述中，将编码帧内的全部像素用作第2滤波处理的对象，然而可以仅对容易产生残留失真信号的画面内预测块(块内)应用第2滤波处理。并且，可以仅对画面内编码帧(帧内)应用第2滤波处理，也可以仅对帧内的块内频度大于预定值的帧应用第2滤波处理。这样通过限定应用第2滤波处理的块，可削减运算量。

图4示出实施在图2和图3所说明的环路内滤波处理的环路内滤波器109的框图。环路内滤波器109具有：第1滤波器201，属性信息生成器202，第2滤波器203，以及滤波图像选择器204。

第1滤波器201根据经由线L112所输入的附加信息、和经由线L113所输入的各4×4个块相关的量化转换系数的信息，使用例如专利文献1所示的方法，对经由线L108所输入的再现图像应用第1滤波器，生成第1滤波图像。所生成的第1滤波图像经由线L202被输出到第2滤波器，并经由线L205被输出到滤波图像选择器204。并且，表示第1滤波器201的应用状况的信息经由线L201被输出到属性信息生成器202。

属性信息生成器202使用所输入的表示第1滤波器201的应用状况的信息，生成表示针对第1滤波图像的各像素是否应用第2滤波器203的属性值。所生成的属性值经由线L203被输出到第2滤波器203。另外，由于属性信息生成器202的处理是根据从第1滤波器201获得的数据来实施的，因而属性信息生成器202的功能能包含在第1滤波器201内。

第2滤波器203根据经由线L203所输入的属性值，对经由线L202所输入的第1滤波图像应用第2滤波器，生成第2滤波图像。所生成的第2滤波图像经由线L204被输出到滤波图像选择器204。

如图2的步骤706～708所示，滤波图像选择器204生成经由线L205所输入的第1滤波图像、和经由线L204所输入的第2滤波图像的差分图像，将差分图像的各像素的值(差分值)与预定阈值TH进行比较。这里，在差分值小于阈值TH的情况下，选择第2滤波图像的像素值，另一方面，在差分值是阈值TH以上的情况下，选择第1滤波图像的像素值。最终生成的滤波图像经由线L109被输出到帧存储器110。

另外，可以不生成差分图像，而在从第1滤波图像和第2滤波图像分别取得各1个像素的同时计算差分值，以像素为单位进行滤波图像选择处理。

并且，在环路内滤波器109中，可以省略滤波图像选择器204。在第2滤波器由“水平方向”和“垂直方向”的一维滤波器构成的情况下，可实现这样的方法：通过将滤波图像选择器204包含在第2滤波器203内，在实施了“水平方向”的一维滤波器之后和在实施了“垂直方向”的一维滤波器之后进行步骤706～708所示的滤波图像选择处理。并且，可以计算第2滤波图像与输入图像之间的误差为最小的最小平方误差滤波器(Wiener Filter，维纳滤波器)，并将滤波图像选择器204的处理变更成将该最小平方误差滤波器应用于第2滤波图像。另外，与所述的量化参数一样，这里计算出的最小平方误差滤波器可以进行编码并传送到外部。

图5是示出专利文献1记载的第1滤波器201的一例的框图。第1滤波器201具有：16个转换器(称为“第1～第16转换器”)301-1～301-16，16个阈值处理器302-1～302-16，16个逆转换器(称为“第1～第16逆转换器”)303-1～303-16，合成器304，以及掩模处理器305。

经由线L108被输入到第1滤波器201的再现图像被分割为例如4×4个像素的块，并进行频率转换(不过，块尺寸不被限定于4×4)。此时，转换器(第1转换器301-1～第16转换器301-16)在使块边界在纵4个像素、横4个像素的范围内错开各1个像素的同时，对再现图像实施16次频率转换，生成16组转换图像。在本实施方式中，为了区别起见，将图1的转换器104和逆转换器107中的4×4个块称为“C块”，将图5的第1滤波器201中的4×4个块称为“D块”。

16个转换图像分别被输入到阈值处理器302-1～302-16。各阈值处理器根据经由线L112所输入的附加信息和经由线L113所输入的各C块相关的量化转换系数的信息，对全部D块的转换系数实施阈值处理，将小于阈值的转换系数变更为0值。也就是说，通过将可成为失真要因的转换系数设定为0值来去除图像内的失真。

该阈值按每个D块而不同，是根据C块相关的滤波模式来决定的。具体地说，首先，使用各编码对象块的预测方法和与各C块相关的量化转换系数的信息，在2个C块间的边界设定滤波模式。然后，根据D块跨过的C块边界的滤波模式决定D块的滤波模式。例如，预先决定滤波模式的优先顺序，在D块跨过多个C块边界的情况下，从多个滤波模式中选择优先顺序最高的滤波模式。

进行了阈值处理后的D块被输出到逆转换器303-1～303-16。同时，属于各D块的0系数的数经由线L201被输出到属性信息生成器202。

逆转换器(逆转换器303-1～303-16)对进行了阈值处理后的16组转换图像实施逆转换，生成16组估计图像。所生成的16组估计图像经由线L303被输出到合成器304。

合成器304通过线性加权处理来合成16组估计图像，生成第1滤波图像。所生成的第1滤波图像经由线L304输出到掩模处理器305。另外，线性加权处理中的权系数是根据各D块内的0系数的数等来决定的。具体地说，由于0系数多的D块被估计为属于平坦区域，因而对0系数多的D块附加大的权重。另一方面，由于0系数少的D块被估计为包含边缘，因而对0系数少的D块附加小的权重。在该第1滤波处理中，利用块转换的转换效率越是平坦区域就越高的这一性质来提取边缘，在不弄坏该边缘的同时，抑制平坦区域的噪声。

为了避免过剩的滤波处理，掩模处理器305对第1滤波图像的C块边界实施基于经由线L108所输入的再现图像的掩模处理。更具体地说，掩模处理器305决定针对各C块边界进行掩模的像素的范围，根据所决定的掩模像素的范围，将第1滤波图像的像素置换为经由线L108所输入的再现图像的像素。换句话说，针对在掩模处理中未进行掩模的像素位置的像素，使用经由线L108所输入的再现图像的像素置换第1滤波图像的像素。也就是说，这些像素位置的再现像素不变化而通过第1滤波器。掩模后的像素的信息经由线L201-17被输出到属性信息生成器202。并且，进行了掩模处理后的第1滤波图像经由线L202被输出到第2滤波器203。

另外，尽管未图示，然而转换器301-1～301-16、阈值处理器302-1～302-16、逆转换器303-1～303-16、合成器304以及掩模处理器305的上述处理可以使用不同的阈值来重复实施。

另外，由于第2滤波器将在第1滤波器中饱和而不能处理的像素作为对象，因而通常滤波器的支持范围比第1滤波器长。例如，在第1滤波器是针对滤波器的应用对象的像素参照由该像素的周围3个像素包围的范围内的像素的滤波器的情况下，假定以下情况：第2滤波器是针对滤波器的应用对象的像素参照由该像素的周围7个像素(即，比在第1滤波器的情况下的3个像素多的像素数)包围的范围内的像素的滤波器。

图6示出图4的属性信息生成器202中的处理流程。在属性信息生成器202中，属于跨过决定属性值的对象像素的16个D块的0系数的数、和决定属性值的对象像素在第1滤波器201中的掩模处理结果经由线L201被输入(步骤902)。

然后，属性信息生成器202根据第1滤波器201中的掩模处理结果，判定处理对象像素是否是滤波处理对象以外的像素(即，未应用第1滤波器的像素、以及在掩模处理中未进行掩模的像素)(步骤903)。在处理对象像素是滤波处理对象以外的像素的情况下，进到步骤906，在处理对象像素不是滤波处理对象以外的像素(是滤波处理对象像素)的情况下，进到步骤904。

在步骤904中，属性信息生成器202判定针对16个D块的各方、块内的0系数的数是否是15以上。在全部D块中块内的0系数的数是15以上的情况下，进到步骤905，在1个以上的D块中块内的0系数的数不到15的情况下，进到步骤906。

在步骤905中，将处理对象像素的属性值作为“0”来输出，另一方面，在步骤906中，将处理对象像素的属性值作为“1”来输出。

以上，重复执行步骤902～906的处理，直到决定全部像素的属性值(步骤907)。

另外，属性值的决定方法不限定于上述方法。例如，D块内的0系数的数可以使用其它基准值而不是“15个”以上。并且，在上述方法中，将D块内的0系数的数用作评价尺度，然而可以将DC系数(直流分量)以外的0系数的数用作评价尺度。

并且，在第1滤波器的掩模处理中未进行掩模的像素由于不变化而通过第1滤波器，因而可以用作第2滤波器的滤波处理对象。

作为另一例，可以提取由信号值即使应用第1滤波器也不变化的像素构成的区域来决定属性值。具体地说，列举以下例子：针对输入到第1滤波器的输入图像和来自第1滤波器的输出图像，按每像素取差分，针对差分的绝对值小于规定值的像素(或者，差分是0的像素)，将属性值设定为“0”，除此以外设定为“1”。

这样，在本实施方式的环路内滤波器中，在保持图像本来的边缘的同时，使用第1滤波器抑制边缘周边的失真。然后，根据在第1滤波器中变化小的区域(具有包含在第1滤波器中不能去除的失真的可能性的区域)的信息，对该区域选择性应用第2滤波器，因而可生成边缘鲜明且残留失真成分少的滤波图像。

这里，针对第1滤波处理，以专利文献1记载的方法为例作了说明，然而不限定于专利文献1记载的方法。例如，即使在第1滤波处理的详情不明的情况下，也能应用本实施方式的第2滤波器的残留失真信号去除处理。

作为一例，如上述所示，可以提取由信号值即使应用第1滤波器也不变化的像素构成的区域来决定属性值。并且作为另一例，改变滤波器的强度来实施2次第1滤波处理，通过取其差分来决定属性值。例如，第1滤波器201对再现图像实施考虑了在量化器105或逆量化器107中使用的量化参数QP的如通常那样的第1滤波处理，属性信息生成器202使用改变了滤波器强度的2个参数(例如对应于“QP+α”和“QP-α”)分别对再现图像实施第1滤波处理。然后，属性信息生成器202计算在2次第1滤波处理中获得的2个滤波图像的差分值，将所获得的差分值用作表示第1滤波器应用状况的第2滤波图像。通过该处理，可提取由滤波处理结果即使改变滤波器强度也不改变的像素构成的区域。在该区域中，在QP表示的量化级别，第1滤波处理饱和，使得再现图像的像素照原样通过。也就是说，即使再现图像上发生失真，在第1滤波处理中也不能去除。可提取会在这样的第1滤波处理中不能去除的失真的区域。

(关于图像加工装置)

上述的环路内滤波器109的处理不限于伴随编码的再现图像，也能应用于一般的失真去除。只要能从图2～图6所示的处理中去除经由线L112所输入的附加信息和经由线L113所输入的各4×4个块相关的量化转换系数的信息，则第1和第2滤波处理、属性信息生成处理以及滤波图像选择处理也能应用于去除失真的一般的图像加工处理。此时，可以利用从输入信号获得的信息，而取代附加信息和各4×4个块相关的量化转换系数的信息。

(关于动态图像解码装置)

图7示出本发明的伴随残留失真信号去除功能的动态图像解码装置500的框图。动态图像解码装置500具有：输入端子501，数据分析器502，逆量化器503，逆转换器504，加法器505，预测信号生成器506，环路内滤波器109，帧存储器507，以及图像输出端子508。环路内滤波器109的功能与图1的环路内滤波器109相同。

针对这样的动态图像解码装置500，以下描述各构成部的动作。包含各对象块的预测信号的生成所需要的附加信息和对象块的残差信号的编码数据的位流被输入到输入端子501。在本实施方式中，由图1的动态图像编码装置100处理获得的位流被输入到动态图像解码装置500。

数据分析器502对输入数据(所输入的位流)进行分析，对残差信号的编码数据(量化转换系数)和附加信息进行解码。并且，在决定量化精度的量化参数、使用于环路内滤波器中的第2滤波器的滤波系数和抽头数包含于输入数据内的情况下，数据分析器502也对这些信息进行解码。另外，作为解码方法，可使用可变长度解码或算术解码等。

解码后的残差信号的编码数据(量化转换系数)经由线L502a被输入到逆量化器503，逆量化器503根据量化参数对量化转换系数进行逆量化，恢复解码转换系数并经由线L503输出到逆转换器504。逆转换器504对所输入的解码转换系数进行逆转换并恢复残差信号，经由线L504将该残差信号输出到加法器505。另外，动态图像解码装置500可以是省略了逆转换器504和逆量化器503中的任一方后的结构。

另一方面，由数据分析器502解码后的附加信息经由线L502b被输出到预测信号生成器506。预测信号生成器506根据所输入的附加信息生成预测信号，经由线L506将预测信号输出到加法器505，并经由线L112将附加信息输出到环路内滤波器109。加法器505通过将预测信号和恢复后的残差信号进行相加来生成再现图像，将该再现图像经由线L108输出到环路内滤波器109，并将该再现图像经由线L505从图像输出端子508输出。

环路内滤波器109使用经由线L112所输入的附加信息、和经由线L113所输入的各4×4个块相关的量化转换系数的信息，从再现图像中消除不需要的失真(即，进行滤波处理)。进行了滤波处理后的再现图像由于被用作在对下一图像进行编码时的参照图像，因而经由线L109被输出到帧存储器507，被存储在帧存储器507内。

重复以上处理直到位流的全部数据被处理。由此恢复动态图像数据。另外，环路内滤波器109的处理内容由于已使用图2～图6作了说明，因而这里省略说明。

(关于动态图像编码方法)

图8示出由动态图像编码装置100执行的、伴随残留失真信号去除功能的动态图像编码处理的流程图。首先，编码对象的图像(对象图像)被输入到动态图像编码装置100，块分割器102将所输入的对象图像分割为多个小块(步骤852)。

然后，预测信号生成器111针对各对象块，使用存储在帧存储器110内的参照图像，从多个预测方法中决定1个预测方法并生成预测信号。同时，预测信号生成器111生成该预测信号的生成所需要的附加信息(步骤853)。通过针对各对象块获得预测信号，来获得针对对象图像的预测图像。

差分器103生成对象图像和预测图像的残差图像(步骤854)，转换器104将残差图像的各块转换为频域的转换系数(步骤855)。然后，量化器105根据决定量化精度的量化参数对上述转换系数进行量化，生成量化转换系数(步骤856)。

然后，逆量化器106根据上述量化参数对量化转换系数进行逆量化并恢复解码转换系数(步骤857)，逆转换器107对上述恢复后的转换系数进行逆转换并恢复(再现)残差图像(步骤858)。然后，加法器108将恢复后的残差图像和上述预测图像进行相加来生成再现图像(步骤859)。

然后，环路内滤波器109使用上述附加信息和量化转换系数的信息，实施从再现图像中消除不需要的失真的环路内滤波处理(步骤860)。然后，被实施了环路内滤波处理后的再现图像由于被用作在对下一图像进行编码时的参照图像，因而被输出到帧存储器110进行存储(步骤861)。

然后，熵编码器112对上述附加信息和量化转换系数进行熵编码，作为位流来输出(步骤862)。

另外，关于步骤860中的环路内滤波处理，由于已使用图2、图3和图6作了说明，因而这里省略说明。

(关于图像加工方法)

上述的环路内滤波器109的处理不限于伴随编码的再现图像，也能应用于一般的噪声去除。只要能从图2、图3和图6所示的处理中去除附加信息和各4×4个块相关的量化转换系数的信息，则包含残留失真信号去除功能的第1和第2滤波处理、属性信息生成处理以及滤波图像选择处理也能应用于去除失真的一般的图像加工方法。可以利用从输入信号获得的信息，而取代附加信息和各4×4个块相关的量化转换系数。

(关于动态图像解码方法)

图9示出由动态图像解码装置500执行的、伴随残留失真信号去除功能的动态图像解码处理的流程图。在图9的步骤952中，进行了压缩编码后的数据被输入到动态图像解码装置500，数据分析器902对该输入的数据进行熵解码，提取量化转换系数和附加信息。此时，在所输入的数据包含量化参数、使用在环路内滤波器内的滤波系数和滤波器抽头数的信息的情况下，这些量化参数、滤波系数和滤波器抽头数的信息也被解码。

然后，预测信号生成器506使用存储在帧存储器507内的参照图像，根据上述附加信息生成预测图像(步骤953)。

并且，逆量化器503根据量化参数对提取出的量化转换系数进行逆量化并获得解码转换系数(步骤954)，逆转换器504对解码转换系数进行逆转换并恢复残差图像(步骤955)。

然后，加法器505将上述预测图像和恢复后的残差图像进行相加，生成再现图像(步骤956)。

然后，环路内滤波器109使用上述附加信息和量化转换系数的信息，实施从再现图像中消除不需要的失真的环路内滤波处理(步骤957)。然后，被实施了环路内滤波处理后的再现图像由于被用作在对下一图像进行编码时的参照图像，因而被输出到帧存储器110进行存储(步骤958)。

另外，关于步骤957中的环路内滤波处理，由于已使用图2、图3和图6作了说明，因而这里省略说明。

(关于动态图像编码程序、动态图像解码程序、图像加工程序)

动态图像编码装置涉及的发明可作为用于使计算机作为动态图像编码装置执行功能的动态图像编码程序涉及的发明来获得。或者，也可将本实施方式涉及的动态图像编码方法作为程序存储在记录介质内来提供。并且，动态图像解码装置涉及的发明可作为用于使计算机作为动态图像解码装置执行功能的动态图像解码程序涉及的发明来获得。或者，也可将本实施方式涉及的动态图像解码方法作为程序存储在记录介质内来提供。而且，图像加工装置涉及的发明可作为用于使计算机作为图像加工装置执行功能的图像加工程序涉及的发明来获得。或者，也可将本实施方式涉及的图像加工方法作为程序存储在记录介质内来提供。

动态图像编码程序、图像加工程序以及动态图像解码程序例如被存储在记录介质内来提供。作为记录介质，例示出软盘、CD-ROM、DVD等的记录介质、或者ROM等的记录介质、或者半导体存储器等。

图10示出可执行动态图像编码方法的动态图像编码程序的模块。如图10所示，动态图像编码程序P100具有：块分割模块P101，预测信号生成模块P102，存储模块P103，减法模块P104，转换模块P105，量化模块P106，逆量化模块P107，逆转换模块P108，加法模块P109，环路内滤波模块P110以及熵编码模块P111。

通过由上述各模块执行来实现的功能与上述的图1的动态图像编码装置100的功能相同。即，在功能方面，块分割模块P101相当于图1的块分割器102，预测信号生成模块P102相当于预测信号生成器111，存储模块P103相当于帧存储器110，减法模块P104相当于差分器103，转换模块P105相当于转换器104，量化模块P106相当于量化器105，逆量化模块P107相当于逆量化器106，逆转换模块P108相当于逆转换器107，加法模块P109相当于加法器108，环路内滤波模块P110相当于环路内滤波器109，熵编码模块P111相当于熵编码器112。

图10的环路内滤波模块P110可作为1个程序来获得，可表示为图11所示的环路内滤波程序P110。该环路内滤波程序P110具有：第1滤波模块P131，属性信息生成模块P132，第2滤波模块P133，以及滤波图像选择模块P134。

通过由上述各模块执行来实现的功能与上述的图4的环路内滤波器109的功能相同。即，在功能方面，第1滤波模块P131相当于图4的第1滤波器201，属性信息生成模块P132相当于属性信息生成器202，第2滤波模块P133相当于第2滤波器203，滤波图像选择模块P134相当于滤波图像选择器204。上述的环路内滤波程序P110相当于本发明涉及的图像加工程序。

图12示出可执行动态图像解码方法的动态图像解码程序的模块。如图12所示，动态图像解码程序P500具有：数据分析模块P501，预测信号生成模块P502，存储模块P503，逆量化模块P504，逆转换模块P505，加法模块P506，以及环路内滤波模块P507。

通过由上述各模块执行来实现的功能与上述的图7的动态图像解码装置500的功能相同。即，在功能方面，数据分析模块P501相当于图7的数据分析器502，预测信号生成模块P502相当于预测信号生成器506，存储模块P503相当于帧存储器507，逆量化模块P504相当于逆量化器503，逆转换模块P505相当于逆转换器504，加法模块P506相当于加法器505，环路内滤波模块P507相当于环路内滤波器109。

按上述构成的动态图像编码程序P100、动态图像解码程序P500以及环路内滤波程序(图像加工程序)P110被存储在图13所示的记录介质10内，由后述的计算机30执行。

图13示出用于执行记录在记录介质10内的程序的计算机30的硬件结构，图14示出上述计算机30的立体图。作为这里的计算机30，也包含具有CPU且进行软件的处理和控制的DVD播放机、机顶盒、便携电话等。

如图13所示，计算机30具有：软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等的读取装置12，使操作系统常驻的作业用存储器(RAM)14，对存储在记录介质10内的程序进行存储的非易失性存储器16，显示器18，作为输入装置的鼠标20和键盘22，用于进行数据等的收发的通信装置24，以及控制程序执行的CPU26。当记录介质10被插入在读取装置12内时，计算机30能访问存储在记录介质10内的动态图像编码程序、图像加工程序以及动态图像解码程序。计算机30能通过动态图像编码程序，作为本发明涉及的动态图像编码装置进行动作，能通过图像加工程序，作为本发明涉及的图像加工装置进行动作，能通过动态图像解码程序，作为本发明涉及的动态图像解码装置进行动作。

如图14所示，动态图像编码程序、图像加工程序以及动态图像解码程序可以作为重叠在载波上的计算机数据信号40，经由有线网、无线网被提供。在该情况下，计算机30可将由图13的通信装置24接收到的动态图像编码程序、图像加工程序以及动态图像解码程序存储在存储器16内，可通过CPU26执行该动态图像编码程序、图像加工程序以及动态图像解码程序。

另外，本发明可作为编码解码系统涉及的发明来获得，该编码解码系统构成为包含：上述的伴随残留失真信号功能的动态图像编码装置100(图1)、和上述的伴随残留失真信号功能的动态图像解码装置500(图7)。如图15所示，编码解码系统1构成为包含动态图像编码装置100和动态图像解码装置500。不过，动态图像编码装置100和动态图像解码装置500能通过任意的通信手段来连接，从动态图像编码装置100向动态图像解码装置500传送位流。

并且，本发明可作为在编码解码系统中执行的编码解码方法涉及的发明来获得。即，本发明涉及的编码解码方法具有：由动态图像编码装置100执行的所述的动态图像编码方法的处理步骤(图8)，和由动态图像解码装置500执行的所述的动态图像解码方法的处理步骤(图9)。

根据以上说明的本实施方式，获得这样的效果：可在保持图像本来的边缘的同时，减少滤波图像中残留的失真信号。

标号说明

1：编码解码系统；10：记录介质；12：读取装置；14：作业用存储器；16：存储器；18：显示器；20：鼠标；22：键盘；24：通信装置；30：计算机；40：计算机数据信号；100：动态图像编码装置；500：动态图像解码装置；101、501：输入端子；102：块分割器；103：差分器；104、301：转换器；105：量化器；106、503：逆量化器；107、303、504：逆转换器；108：加法器；109：环路内滤波器；110、507：帧存储器；111、506：预测信号生成器；112：熵编码器；201：第1滤波器；202：属性信息生成器；203：第2滤波器；204：滤波图像选择器；302：阈值处理器；304：合成器；305：掩模处理器；113、508：输出端子；502：数据分析器。

Claims (20)

1.一种图像加工装置，其特征在于，该图像加工装置具有：

第1滤波单元，其对所输入的对象图像应用第1滤波器来生成第1滤波图像；

属性信息生成单元，其针对由所述第1滤波单元生成的所述第1滤波图像的各像素，生成表示是否对该像素应用第2滤波器的属性值；以及

第2滤波单元，其对根据由所述属性信息生成单元生成的针对所述第1滤波图像的各像素的所述属性值而选择的所述第1滤波图像的对象像素应用所述第2滤波器来生成第2滤波图像。

2.根据权利要求1所述的图像加工装置，其特征在于，该图像加工装置还具有滤波图像选择单元，该滤波图像选择单元将所述第1滤波图像和所述第2滤波图像进行比较并求出各像素的差分值，针对所述差分值是预定阈值以上的像素，选择所述第1滤波图像的像素并输出，针对所述差分值小于所述阈值的像素，选择所述第2滤波图像的像素并输出。

3.根据权利要求1所述的图像加工装置，其特征在于，在根据针对所述第1滤波图像的所述对象像素的所述属性值和针对与该对象像素相邻的预定数量的像素的所述属性值而计算出的值大于预定值的情况下，所述第2滤波单元选择所述第1滤波图像的所述对象像素作为所生成的所述第2滤波图像的像素。

4.根据权利要求1所述的图像加工装置，其特征在于，所述第2滤波器是一维滤波器，

所述第2滤波单元针对所述第1滤波图像的对象像素，将所述第2滤波器应用到水平方向和垂直方向中的一个方向之后，再将所述第2滤波器应用到另一个方向。

5.根据权利要求4所述的图像加工装置，其特征在于，所述第2滤波器具有由[1，1，1，1，1，1，1，2，1，1，1，1，1，1，1]/16表示的15个抽头，

所述第2滤波单元参照所述对象像素和与该对象像素的左右相邻的各7个像素的计15个像素、或者所述对象像素和与该对象像素的上下相邻的各7个像素的计15个像素，对所述对象像素应用所述第2滤波器。

6.根据权利要求1所述的图像加工装置，其特征在于，在所述第1滤波器是参照由应用对象的像素的周围M个像素包围的范围内的像素的滤波器的情况下，所述第2滤波器由参照由应用对象的像素的周围的、比所述M个像素多的L个像素包围的范围内的像素的滤波器构成。

7.一种图像加工方法，该图像加工方法由图像加工装置执行，其特征在于，该图像加工方法具有：

第1滤波步骤，对所输入的对象图像应用第1滤波器来生成第1滤波图像；

属性信息生成步骤，针对由所述第1滤波步骤生成的所述第1滤波图像的各像素，生成表示是否对该像素应用第2滤波器的属性值；以及

第2滤波步骤，对根据由所述属性信息生成步骤生成的针对所述第1滤波图像的各像素的所述属性值而选择的所述第1滤波图像的对象像素应用所述第2滤波器来生成第2滤波图像。

8.根据权利要求7所述的图像加工方法，其特征在于，该图像加工方法还具有滤波图像选择步骤，该滤波图像选择步骤将所述第1滤波图像和所述第2滤波图像进行比较并求出各像素的差分值，针对所述差分值是预定阈值以上的像素，选择所述第1滤波图像的像素并输出，针对所述差分值小于所述阈值的像素，选择所述第2滤波图像的像素并输出。

9.一种图像加工程序，该图像加工程序用于使设置在图像加工装置内的计算机作为以下单元进行工作：

第1滤波单元，其对所输入的对象图像应用第1滤波器来生成第1滤波图像；

属性信息生成单元，其针对由所述第1滤波单元生成的所述第1滤波图像的各像素，生成表示是否对该像素应用第2滤波器的属性值；以及

第2滤波单元，其对根据由所述属性信息生成单元生成的针对所述第1滤波图像的各像素的所述属性值而选择的所述第1滤波图像的对象像素应用所述第2滤波器来生成第2滤波图像。

10.根据权利要求9所述的图像加工程序，该图像加工程序用于使所述计算机还作为滤波图像选择单元进行工作，该滤波图像选择单元将所述第1滤波图像和所述第2滤波图像进行比较并求出各像素的差分值，针对所述差分值是预定阈值以上的像素，选择所述第1滤波图像的像素并输出，针对所述差分值小于所述阈值的像素，选择所述第2滤波图像的像素并输出。

11.一种动态图像编码装置，该动态图像编码装置具有：

块分割器，其将所输入的成为编码对象的图像分割为多个块；

预测信号生成器，其针对成为编码对象的对象块，生成预测信号以及至少包含与预测方法相关的信息的附加信息；

差分器，其通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号；

转换器，其将所述对象块的所述残差信号转换为频域的转换系数；

量化器，其通过量化处理对所述转换系数进行压缩并获得量化转换系数；

逆量化器，其通过对所述量化转换系数进行逆量化来恢复解码转换系数；

逆转换器，其通过对所述解码转换系数进行逆转换来再现残差信号；

加法器，其通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像；

环路内滤波器，其构成为包含权利要求1所述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；

帧存储器，其存储滤波处理后的所述再现图像；以及

熵编码器，其对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出。

12.一种动态图像编码方法，该动态图像编码方法由动态图像编码装置执行，该动态图像编码方法具有：

将所输入的成为编码对象的图像分割为多个块的步骤；

针对成为编码对象的对象块，生成预测信号以及至少包含与预测方法相关的信息的附加信息的步骤；

通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号的步骤；

将所述对象块的所述残差信号转换为频域的转换系数的步骤；

通过量化处理对所述转换系数进行压缩并获得量化转换系数的步骤；

通过对所述量化转换系数进行逆量化来恢复解码转换系数的步骤；

通过对所述解码转换系数进行逆转换来再现残差信号的步骤；

通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像的步骤；

进行构成为包含权利要求1所述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；

存储滤波处理后的所述再现图像的步骤；以及

对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出的步骤。

13.一种动态图像编码程序，该动态图像编码程序用于使设置在动态图像编码装置内的计算机作为以下单元进行工作：

块分割器，其将所输入的成为编码对象的图像分割为多个块；

预测信号生成器，其针对成为编码对象的对象块，生成预测信号以及至少包含与预测方法相关的信息的附加信息；

差分器，其通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号；

转换器，其将所述对象块的所述残差信号转换为频域的转换系数；

量化器，其通过量化处理对所述转换系数进行压缩并获得量化转换系数；

逆量化器，其通过对所述量化转换系数进行逆量化来恢复解码转换系数；

逆转换器，其通过对所述解码转换系数进行逆转换来再现残差信号；

加法器，其通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像；

环路内滤波器，其构成为包含权利要求1所述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；

帧存储器，其存储滤波处理后的所述再现图像；以及

熵编码器，其对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出。

14.一种动态图像解码装置，该动态图像解码装置具有：

数据分析器，其被输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息；

预测信号生成器，其根据所述附加信息生成预测信号；

逆量化器，其对所述量化转换系数进行逆量化，获得解码转换系数；

逆转换器，其对所述解码转换系数进行逆转换，恢复残差信号；

加法器，其通过将所述预测信号和所述残差信号进行相加来生成再现图像；

环路内滤波器，其构成为包含权利要求1所述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及

帧存储器，其存储滤波处理后的所述再现图像。

15.一种动态图像解码装置，该动态图像解码装置具有：

数据分析器，其被输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息；

预测信号生成器，其根据所述附加信息生成预测信号；

逆量化器，其对所述量化转换系数进行逆量化，获得解码转换系数；

逆转换器，其对所述解码转换系数进行逆转换，恢复残差信号；

加法器，其通过将所述预测信号和所述残差信号进行相加来生成再现图像；

环路内滤波器，其构成为包含权利要求2所述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及

帧存储器，其存储滤波处理后的所述再现图像。

16.一种动态图像解码方法，该动态图像解码方法由动态图像解码装置执行，该动态图像解码方法具有：

输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息的步骤；

根据所述附加信息生成预测信号的步骤；

对所述量化转换系数进行逆量化，获得解码转换系数的步骤；

对所述解码转换系数进行逆转换，恢复残差信号的步骤；

通过将所述预测信号和所述残差信号进行相加来生成再现图像的步骤；

进行构成为包含权利要求1所述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及

存储滤波处理后的所述再现图像的步骤。

17.一种动态图像解码方法，该动态图像解码方法由动态图像解码装置执行，该动态图像解码方法具有：

输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息的步骤；

根据所述附加信息生成预测信号的步骤；

对所述量化转换系数进行逆量化，获得解码转换系数的步骤；

对所述解码转换系数进行逆转换，恢复残差信号的步骤；

通过将所述预测信号和所述残差信号进行相加来生成再现图像的步骤；

进行构成为包含权利要求2所述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及

存储滤波处理后的所述再现图像的步骤。

18.一种动态图像解码程序，该动态图像解码程序用于使设置在动态图像解码装置中的计算机作为以下单元进行工作：

数据分析器，其被输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息；

预测信号生成器，其根据所述附加信息生成预测信号；

逆量化器，其对所述量化转换系数进行逆量化，获得解码转换系数；

逆转换器，其对所述解码转换系数进行逆转换，恢复残差信号；

加法器，其通过将所述预测信号和所述残差信号进行相加来生成再现图像；

环路内滤波器，其构成为包含权利要求1所述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及

帧存储器，其存储滤波处理后的所述再现图像。

19.一种编码解码系统，该编码解码系统构成为包含动态图像编码装置和动态图像解码装置，其特征在于，

所述动态图像编码装置具有：

块分割器，其将所输入的成为编码对象的图像分割为多个块；

预测信号生成器，其针对成为编码对象的对象块，生成预测信号以及至少包含与预测方法相关的信息的附加信息；

差分器，其通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号；

转换器，其将所述对象块的所述残差信号转换为频域的转换系数；

量化器，其通过量化处理对所述转换系数进行压缩并获得量化转换系数；

逆量化器，其通过对所述量化转换系数进行逆量化来恢复解码转换系数；

逆转换器，其通过对所述解码转换系数进行逆转换来再现残差信号；

加法器，其通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像；

环路内滤波器，其构成为包含权利要求1所述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；

帧存储器，其存储滤波处理后的所述再现图像；以及

熵编码器，其对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出，

所述动态图像解码装置具有：

数据分析器，其被输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息；

预测信号生成器，其根据所述附加信息生成预测信号；

逆量化器，其对所述量化转换系数进行逆量化，获得解码转换系数；

逆转换器，其对所述解码转换系数进行逆转换，恢复残差信号；

加法器，其通过将所述预测信号和所述残差信号进行相加来生成再现图像；

环路内滤波器，其构成为包含权利要求1所述的图像加工装置，使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及

帧存储器，其存储滤波处理后的所述再现图像。

20.一种编码解码方法，该编码解码方法在构成为包含动态图像编码装置和动态图像解码装置的编码解码系统中执行，其特征在于，

该编码解码方法具有：

由所述动态图像编码装置执行的动态图像编码方法的处理步骤；以及

由所述动态图像解码装置执行的动态图像解码方法的处理步骤，

所述动态图像编码方法的处理步骤具有：

将所输入的成为编码对象的图像分割为多个块的步骤；

针对成为编码对象的对象块，生成预测信号以及至少包含与预测方法相关的信息的附加信息的步骤；

通过从所述对象块的信号中减去所述生成的预测信号，生成残差信号的步骤；

将所述对象块的所述残差信号转换为频域的转换系数的步骤；

通过量化处理对所述转换系数进行压缩并获得量化转换系数的步骤；

通过对所述量化转换系数进行逆量化来恢复解码转换系数的步骤；

通过对所述解码转换系数进行逆转换来再现残差信号的步骤；

通过将由所述逆转换器再现的所述残差信号和所述预测信号进行相加来恢复再现图像的步骤；

进行构成为包含权利要求1所述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；

存储滤波处理后的所述再现图像的步骤；以及

对所述量化转换系数的信息和所述附加信息进行熵编码，作为位流进行输出的步骤，

所述动态图像解码方法的处理步骤具有：

输入对残差信号的量化转换系数和至少包含与预测方法相关的信息的附加信息进行熵编码而获得的位流，对所述位流进行熵解码，获得所述量化转换系数和所述附加信息的步骤；

根据所述附加信息生成预测信号的步骤；

对所述量化转换系数进行逆量化，获得解码转换系数的步骤；

对所述解码转换系数进行逆转换，恢复残差信号的步骤；

通过将所述预测信号和所述残差信号进行相加来生成再现图像的步骤；

进行构成为包含权利要求1所述的图像加工装置的环路内滤波器的动作的步骤，该步骤使用所述附加信息和所述量化转换系数的信息，进行从所述再现图像中消除不需要的失真的滤波处理；以及

存储滤波处理后的所述再现图像的步骤。

Images