CN102792693A - 图像处理设备和方法 - Google Patents

Abstract

公开了一种图像处理设备和方法，其能够提高解码图像的图像质量，并且此外还能够提高要在运动补偿期间参考的图像的图像质量。类分类单元（114）使用来自正交变换单元（111）、量化单元（112）和无损编码单元（113）的信息，针对每个宏块根据宏块中是否出现蚊式噪声来对图像进行分类，并且将分类结果提供给自适应环路滤波器（115）。自适应环路滤波器（115）计算滤波器系数，以便使来自屏幕重排缓冲器（12）的原始图像和来自解块滤波器（21）的图像之间的残差最小，并且使用该滤波器系数对来自解块滤波器（21）的解码图像进行滤波。本发明可以应用于例如基于例如H.264/AVC标准进行编码的图像编码设备。

Description

图像处理设备和方法

技术领域

本发明涉及一种图像处理设备和方法，具体地，涉及一种通过去除蚊式噪声来提高编码效率的图像处理设备和方法。

背景技术

近年来，已广泛地使用如下设备：这些设备利用图像信息特有的冗余，通过采用将图像信息处置为数字信号的编码格式来使图像经历压缩编码，并且此时通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像，以便在那时执行高效的信息传送和存储。该编码方法的示例包括MPEG（运动图像专家组）等。

特别地，MPEG2（ISO/IEC 13818-2）被定义为通用图像编码格式，并且是涵盖隔行扫描图像和顺序扫描图像、以及标准分辨率图像和高清图像两者的标准。例如，现在范围广泛的用于专业用途以及用于消费者用途的应用已广泛采用MPEG2。通过采用MPEG2压缩格式，在例如具有720×480个像素的标准分辨率的隔行扫描图像的情况下，分配4至8Mbps的码量（位率）。再者，通过采用MPEG2压缩格式，在例如具有1920×1088个像素的高分辨率的隔行扫描图像的情况下，分配18至22Mbps的码量（位率）。因此，可以实现高压缩率和出色的图像质量。

对于MPEG2，适于广播用途的高图像质量编码被主要视作对象，但是未处置比MPEG1的码量低的码量（位率），即具有较高压缩率的编码格式。随着个人数字助理的普及，已预见到对这种编码格式的需要将从现在开始增加，并且作为响应，已执行MPEG4编码格式的标准化。对于图像编码格式，其规范在1998年12月被确认为国际标准ISO/IEC 14496-2。

此外，近年来，被称为H.26L（ITU-T Q6/16VCEG）的标准的标准化已在进行，其最初旨在用于视频会议用途的图像编码。对于H.26L，已知较之诸如MPEG2或MPEG4的传统的编码格式，尽管需要较大的计算量用于其编码和解码，但是实现了较高的编码效率。再者，当前，作为MPEG4活动的一部分，以该H.26L为基础还利用H.26L不支持的功能以实现更高的编码效率的标准化已被执行，作为增强压缩视频编码的联合模型。作为标准化的进程，H.264和MPEG4Part10（高级视频编码，以下称为H.264/AVC）在2003年3月成为国际标准。

图1是图示以基于H.264/AVC的压缩图像为输出的图像编码设备的配置示例的框图。

对于图1中的示例，图像编码设备1具有A/D转换单元11、屏幕重排缓冲器12、计算单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17、逆量化单元18、逆正交变换单元19、计算单元20、解块滤波器21、帧存储器22、开关23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26、和速率控制单元27。

A/D转换单元11执行输入图像的A/D转换，并且输出到屏幕重排缓冲器12并存储。屏幕重排缓冲器12根据GOP（图片组）将按照用于显示的存储顺序的帧的图像重新排列成用于编码的帧顺序。

计算单元13在从屏幕重排缓冲器12读出的图像中减去由预测图像选择单元26选择的、来自帧内预测单元24的预测图像或者来自运动预测/补偿单元25的预测图像，并且将它们的差信息输出到正交变换单元14。正交变换单元14使来自计算单元13的差信息经历诸如离散余弦变换、Karhunen-Loéve（卡洛南-洛伊）变换等的正交变换，并且输出其变换系数。量化单元15对正交变换单元14输出的变换系数进行量化。

用作量化单元15的输出的量化的变换系数被输入到无损编码单元16，并且经历诸如可变长度编码、算术编码等的无损编码并且因而被压缩。

无损编码单元16从帧内预测单元24获得指示帧内预测的信息，并且从运动预测/补偿单元25获得指示帧间预测模式的信息等。注意，指示帧内预测的信息和指示帧间预测的信息在下文中还将被分别称为帧内预测模式信息和帧间预测模式信息。

无损编码单元16对量化的变换系数编码，并且还对指示帧内预测的信息、指示帧间预测模式的信息等编码，并且将它们取作压缩图像中的报头信息的一部分。无损编码单元16将编码数据提供给存储缓冲器17用于存储。

例如，利用无损编码单元16，执行诸如可变长度编码、算术编码等的无损编码处理。可变长度编码的示例包括H.264/AVC格式规定的CAVLC（上下文自适应可变长度编码）。算术编码的示例包括CABAC（上下文自适应二进制算术编码）。

存储缓冲器17将从无损编码单元16提供的数据作为通过H.264/AVC格式编码的压缩图像输出到解码侧，例如，图中未示出的下游的记录设备或传送路径等。

再者，从量化单元15输出的量化的变换系数还被输入到逆量化单元18，进行逆量化，并且随后进一步在逆正交变换单元19处经历逆正交变换。计算单元20使经历逆正交变换的输出与从预测图像选择单元26提供的预测图像相加，并且使其成为局部解码图像。解块滤波器21去除解码图像的块噪声，并且随后将其提供给帧存储器22用于存储。在经历解块滤波器21的解块滤波处理之前的图像也被提供给帧存储器22用于存储。

开关23将帧存储器22中存储的参考图像输出到运动预测/补偿单元25或者帧内预测单元24。

利用该图像编码设备1，例如，来自屏幕重排缓冲器12的I图片、B图片和P图片作为要经历帧内预测（还被称为帧内处理）的图像被提供给帧内预测单元24。再者，从屏幕重排缓冲器12读出的B图片和P图片作为经历帧间预测（还被称为帧间处理）的图像被提供给运动预测/补偿单元25。

帧内预测单元24基于从屏幕重排缓冲器12读出的要经历帧内预测的图像以及从帧存储器22提供的参考图像，执行所有候选帧内预测模式的帧内预测处理，以生成预测图像。

此时，帧内预测单元24针对所有候选帧内预测模式计算成本函数值，并且选择其中计算的成本函数值提供最小值的帧内预测模式作为最优帧内预测模式。

帧内预测单元24将在最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元26。在最优帧内预测模式中生成的预测图像已被预测图像选择单元26选择的情况下，帧内预测单元24将指示最优帧内预测模式的信息提供给无损编码单元16。无损编码单元16对该信息编码，并且将其取作压缩图像中的报头信息的一部分。

从屏幕重排缓冲器12读出的经历帧间处理的图像以及参考图像从帧存储器22经由开关23提供给运动预测/补偿单元25。运动预测/补偿单元25在所有候选帧间预测模式中执行块的运动预测以生成每个块的运动向量。

运动预测/补偿单元25针对所有候选帧间预测模式使用每个块的预测的运动向量来计算成本函数值。运动预测/补偿单元25将提供计算的成本函数值中的最小值的块的预测模式确定为最优帧间预测模式。

运动预测/补偿单元25将确定的最优帧间预测模式的要处理的块的预测图像及其成本函数值提供给预测图像选择单元26。在最优帧间预测模式的要处理的块的预测图像已被预测图像选择单元26选择的情况下，运动预测/补偿单元25将指示最优帧间预测模式的信息（帧间预测模式信息）输出到无损编码单元16。

此时，运动向量信息、参考帧信息等也被输出到无损编码单元16。无损编码单元16还使来自运动预测/补偿单元25的信息经历诸如可变长度编码、算术编码等的无损编码处理，并且插入到压缩图像的报头部分中。

预测图像选择单元26基于从帧内预测单元24或运动预测/补偿单元25输出的每个成本函数值确定最优帧内预测模式和最优帧间预测模式中的最优预测模式。预测图像选择单元26随后选择所确定的最优预测模式的预测图像，并且提供给计算单元13和20。此时，预测图像选择单元26将预测图像的选择信息提供给帧内预测单元24或运动预测/补偿单元25。

速率控制单元27基于存储缓冲器17中存储的压缩图像控制量化单元15的量化操作的速率以便不致引起上溢或下溢。

图2是图示与图1中的图像编码设备对应的图像解码设备的配置示例的框图。

对于图2中的示例，图像解码设备31由存储缓冲器41、无损解码单元42、逆量化单元43、逆正交变换单元44、计算单元45、解块滤波器46、屏幕重排缓冲器47、D/A转换单元48、帧存储器49、开关50、帧内预测单元51、运动补偿单元52、和开关53构成。

存储缓冲器41存储所传送的压缩图像。无损解码单元42以与图1中的无损编码单元16的编码格式对应的格式对从存储缓冲器41提供的、由无损编码单元16编码的信息解码。逆量化单元43以与图1中的量化单元15的量化格式对应的格式对无损解码单元42解码的图像进行逆量化。逆正交变换单元44以与图1中的正交变换单元14的正交变换格式对应的格式使逆量化单元43的输出经历逆正交变换。

计算单元45使经历逆正交变换的输出与从开关53提供的预测图像相加并且进行解码。解块滤波器46去除解码图像的块噪声，随后提供给帧存储器49用于存储，并且还输出到屏幕重排缓冲器47。

屏幕重排缓冲器47执行图像的重新排列。具体地，由图1中的屏幕重排缓冲器12针对编码顺序重新排列的的帧顺序被重新排列成原始显示顺序。D/A转换单元48使从屏幕重排缓冲器47提供的图像经历D/A转换，输出到未示出的显示器用于显示。

开关50从帧存储器49读出要经历帧间处理的图像以及要参考的图像，输出到运动补偿单元52，并且还从帧存储器49读出要经历帧内预测的图像，并且提供给帧内预测单元51。

通过对报头信息解码获得的指示帧内预测模式的信息从无损解码单元42提供给帧内预测单元51。帧内预测单元51基于该信息生成预测图像，并且将生成的预测图像输出到开关53。

在通过对报头信息解码获得的信息中，帧间预测模式信息、运动向量信息、参考帧信息等从无损解码单元42提供给运动补偿单元52。针对每个宏块传送帧间预测模式信息。针对每个要处理的块传送运动向量信息和参考帧信息。

运动补偿单元52在所提供的关于无损解码单元42的帧间预测模式信息指示的预测模式中，使用从无损解码单元42提供的运动向量信息、参考帧信息等生成与要处理的块对应的预测图像的像素值。所生成的预测图像的像素值经由开关53被提供给计算单元45。

开关53选择运动补偿单元52或帧内预测单元51生成的预测图像，并且提供给计算单元45。

此外，作为该H.264/AVC的扩展，在2005年2月完成了FRExt（保真度范围扩展）的标准化，其包括诸如RGB、4:2:2或4:4:4的商业用途所需的编码工具以及由MPEG-2规定的8×8DCT和量化矩阵。因此，H.264/AVC可以用作甚至能够适当地表达电影中包括的影片噪声的编码格式，并且已被采用用于范围广泛的应用，诸如蓝光盘（注册商标）等。

然而，现今，对进一步的高压缩编码的需要已增加，诸如预期要压缩具有约4000×2000个像素的图像，这是高画质图像的四倍，或者替选地，对进一步的高压缩编码的需要已增加，诸如预期要在如互联网的具有有限的传送容量的环境内分送高画质图像。因此，对于在ITU-T的控制下的上述VCEG（=视频编码专家组），已不断进行涉及提高编码效率的研究。

作为用于提高该编码效率的技术，在非专利文献1中已提出了被称为自适应环路滤波器（ALF（自适应环路滤波器））的技术。

图3是图示已被应用自适应环路滤波器的图像编码设备的配置示例的框图。注意，对于图3中的示例，为了便于描述，省略了图1中的A/D转换单元11、屏幕重排缓冲器12、存储缓冲器17、开关23、帧内预测单元24、预测图像选择单元26和速率控制单元27。再者，箭头等也被省略。因此，在图3中的示例的情况下，来自帧存储器22的参考图像被直接输入到运动预测/补偿单元25，并且来自运动预测/补偿单元25的预测图像被直接输出到计算单元13和20。

具体地，图3中的图像编码设备61与图1中的图像编码设备1的不同之处仅在于在解块滤波器21和帧存储器22之间添加了自适应环路滤波器71。

自适应环路滤波器71执行自适应环路滤波器系数的计算以便使关于来自屏幕重排缓冲器12（省略了图示）的原始图像的残差最小，并且使用该自适应环路滤波器系数对来自解块滤波器21的解码图像执行滤波器处理。对于该滤波器，采用例如Wiener（维纳）滤波器（Wiener滤波器）。

再者，自适应环路滤波器71将计算的自适应环路滤波器系数传送到无损编码单元16。无损编码单元16对该自适应环路滤波器系数执行诸如可变长度编码、算术编码等的无损编码处理，并且插入到压缩图像的报头部分中。

图4是图示与图3中的图像编码设备对应的图像解码设备的配置示例的框图。注意，对于图4中的示例，为了便于描述，省略了图2中的存储缓冲器41、屏幕重排缓冲器47、D/A转换单元48、开关50、帧内预测单元51和开关53。再者，箭头等也被省略。因此，在图4中的示例的情况下，来自帧存储器49的参考图像被直接输入到运动补偿单元52，并且来自运动补偿单元52的预测图像被直接输出到计算单元45。

具体地，图4中的图像解码设备81与图2中的图像解码设备31的不同之处仅在于在解块滤波器46和帧存储器49之间添加了自适应环路滤波器91。

在无损解码单元42处解码并且提取自报头的自适应环路滤波器系数被提供给自适应环路滤波器91。自适应环路滤波器91使用所提供的滤波器系数对来自解块滤波器46的解码图像执行滤波器处理。对于该滤波器，采用例如Wiener滤波器（Wiener滤波器）。

因此，可以提高解码图像的图像质量，并且还可以进一步提高参考图像的图像质量。

现在，对于以上H.264/AVC格式，宏块尺寸是16×16个像素。然而，16×16个像素的宏块尺寸对于将由下一代编码格式处置的诸如UHD（超高清；4000×2000个像素）的大图像帧不是最优的。

因此，非专利文献2等提出了将宏块尺寸放大到例如诸如32×32个像素的尺寸。

注意，尽管在非专利文献2中提出了将扩展宏块应用到切片间，但是在非专利文献3中提出了将扩展宏块应用到切片内。

引用列表

专利文献

非专利文献1：Takeshi.Chujoh等人,″Block-based Adaptive LoopFilter″ITU-T SG16 Q6 VCEG Contribution,AI18,Germany，July，2008

非专利文献2:″Video Coding Using Extended Block Sizes″,VCEG-AD09,ITU-Telecommunications Standardization Sector STUDYGROUP Question 16-Contribution 123,January 2009

非专利文献3:″Intra Coding Using Extended Block Sizes″,VCEG-AL28,July，2009

发明内容

技术问题

顺便提及，对于非专利文献1中提出的方法，可以使整个帧上的图像劣化最小，但是难于去除图像内的局部劣化。

这种图像内的局部劣化的示例包括块噪声和蚊式噪声。对于H.264/AVC格式，可以由解块滤波器去除块噪声，但是难于去除蚊式噪声。

该蚊式噪声特别容易出现在宏块被扩展的情况中，并且甚至在如非专利文献2和3中提出的应用例如诸如16×16的扩展正交变换尺寸时更容易出现。

考虑到这样的情形进行了本发明，并且通过去除蚊式噪声可以提高编码效率。

对问题的解决方案

用作本发明的一个方面的图像处理设备包括：分类装置，被配置成针对每个预定块根据是否出现蚊式噪声来对图像进行分类；滤波器处理装置，被配置成使用通过使用被分类成同一类的预定块计算的滤波器系数，对由分类装置分类的每个预定块执行滤波器处理；以及编码装置，被配置成对图像和滤波器系数编码。

预定块可以是宏块。

分类装置可以使用宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类。

分类装置可以使用宏块的正交变换尺寸的信息作为宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类。

分类装置可以进一步使用涉及关于宏块的生成的码量的信息以及量化位阶作为宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类。

分类装置可以包括：阈值确定装置，被配置成根据宏块的正交变换尺寸来确定阈值；困难水平参数计算装置，被配置成使用涉及关于宏块的生成的码量的信息以及量化位阶来计算宏块的困难水平参数；以及宏块分类装置，被配置成在困难水平参数计算装置计算的困难水平参数大于由阈值确定装置确定的阈值的情况下，将宏块分类成其中出现蚊式噪声的类，并且在困难水平参数计算装置计算的困难水平参数小于由阈值确定装置确定的阈值的情况下，将宏块分类成其中未出现蚊式噪声的类。

阈值可以包括能够由用户设定的偏移值。

分类装置可以使用生成位作为关于宏块的生成的码量的信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类。

分类装置可以在采用CABAC作为无损编码格式的情况下，使用生成位或者生成位段（bin）作为关于宏块的生成的码量的信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类。

分类装置可以进一步使用宏块中的量化参数以及量化之后的非零正交变换系数的数目作为宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类。

分类装置可以包括：阈值确定装置，被配置成根据宏块的正交变换尺寸和量化参数来确定阈值；以及宏块分类装置，被配置成在宏块中的量化之后的非零正交变换系数的数目大于由阈值确定装置确定的阈值的情况下，将宏块分类成其中出现蚊式噪声的类，并且在宏块中的量化之后的非零正交变换系数的数目大于由阈值确定装置确定的阈值的情况下，将宏块分类成其中未出现蚊式噪声的类。

阈值可以包括能够由用户设定的偏移值。

分类装置可以使用关于宏块的运动向量的信息作为宏块的编码信息，针对每个预定块根据是否出现蚊式噪声来对图像进行分类。

用作本发明的第一方面的图像处理方法包括：通过图像处理设备的分类装置，针对每个预定块根据是否出现蚊式噪声来对图像进行分类；通过图像处理设备的滤波器处理装置，使用通过使用被分类成同一类的预定块计算的滤波器系数，对已被分类的每个预定块执行滤波器处理；以及通过图像处理设备的编码装置，对图像和滤波器系数编码。

对于本发明的第一方面，针对每个预定块根据是否出现蚊式噪声来对图像进行分类，使用利用被分类成同一类的预定块计算的滤波器系数对所分类的每个预定块执行滤波器处理，并且对图像和滤波器系数编码。

用作本发明的第二方面的图像处理设备包括：解码装置，被配置成对其中图像已被编码的编码信息解码以获得关于图像的每个预定块的滤波器系数；分类装置，被配置成根据是否出现蚊式噪声来对每个预定块进行分类；以及滤波器处理装置，被配置成使用与分类装置分类的类对应的滤波器系数对每个预定块执行滤波器处理。

用作本发明的第二方面的图像处理方法包括：通过图像处理设备的解码装置，对其中图像已被编码的编码信息解码以获得关于图像的每个预定块的滤波器系数；通过图像处理设备的分类装置，根据是否出现蚊式噪声来对每个预定块进行分类；以及通过图像处理设备的滤波器处理装置，使用与分类装置分类的类对应的滤波器系数对每个预定块执行滤波器处理。

对于本发明的第二方面，对其中图像已被编码的编码信息解码以获得关于图像的每个预定块的滤波器系数，根据是否出现蚊式噪声来对每个预定块进行分类，并且使用与所分类的类对应的滤波器系数对每个预定块执行滤波器处理。

注意，以上图像处理设备可以是单独的设备或者是构成一个图像编码设备或图像解码设备的内部块。本发明的有利效果

根据本发明，可以去除蚊式噪声。再者，根据本发明，可以提高解码图像和参考图像的图像质量。因此，可以提高编码效率。

附图说明

图1是图示采用H.264/AVC格式的图像编码设备的配置示例的框图。

图2是图示采用H.264/AVC格式的图像解码设备的配置示例的框图。

图3是图示已被应用自适应环路滤波器的图像编码设备的配置示例的框图。

图4是图示已被应用自适应环路滤波器的图像解码设备的配置示例的框图。

图5是图示已被应用本发明的图像编码设备的实施例的配置的框图。

图6是用于描述正交变换的增量的示例的示图。

图7是用于描述其中执行4×4正交变换的宏块中的处理的示图。

图8是图示用于通过蝶式计算实现整数变换和逆整数变换的方法的示图。

图9是用于描述解块滤波器的操作原理的示图。

图10是用于描述定义Bs的方法的示图。

图11是用于描述解块滤波器的操作原理的示图。

图12是图示indexA和indexB与α和β的值之间的关联的示例的示图。

图13是图示Bs、indexA和tCO之间的关联的示例的示图。

图14是图示宏块的示例的示图。

图15是图示图5中的类分类单元和自适应环路滤波器的配置示例的框图。

图16是图示图5中的类分类单元和自适应环路滤波器的另一配置示例的框图。

图17是描述图5中的图像编码设备的编码处理的流程图。

图18是描述图17中的步骤S23中的帧内预测处理的流程图。

图19是描述图17中的步骤S24中的运动预测/补偿处理的流程图。

图20是描述图17中的步骤S20中的自适应环路滤波器处理的示例的流程图。

图21是描述图17中的步骤S20中的自适应环路滤波器处理的另一示例的流程图。

图22是描述图20中的步骤S87中的自适应滤波器处理的示例的流程图。

图23是图示已被应用本发明的图像解码设备的实施例的配置的框图。

图24是图示图23中的类分类单元和自适应环路滤波器的配置示例的框图。

图25是图示图23中的类分类单元和自适应环路滤波器的另一配置示例的框图。

图26是描述图23中的图像解码设备的解码处理的流程图。

图27是描述图26中的步骤S139中的预测图像生成处理的流程图。

图28是描述图20中的步骤S187中的自适应滤波器处理的另一示例的流程图。

图29是图示计算机的硬件的配置示例的框图。

图30是图示已被应用本发明的电视接收器的主要配置示例的框图。

图31是图示已被应用本发明的蜂窝电话的主要配置示例的框图。

图32是图示已被应用本发明的硬盘记录器的主要配置示例的框图。

图33是图示已被应用本发明的摄像装置的主要配置示例的框图。

图34是描述具有HEVC编码格式的编码单元的示图。

具体实施方式

在下文中，将参照附图描述本发明的实施例。

[图像编码设备的配置示例]

图5呈现了用作已被应用本发明的图像处理设备的图像编码设备的实施例的配置。

图5中的图像编码设备101与图1中的图像编码设备1的相同之处在于，设置了A/D转换单元11、屏幕重排缓冲器12、计算单元13、存储缓冲器17、逆量化单元18、逆正交变换单元19、计算单元20、解块滤波器21、帧存储器22、开关23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26、和速率控制单元27。

再者，图5中的图像编码设备101与图1中的图像编码设备1的不同之处在于，正交变换单元14、量化单元15、和无损编码单元16被分别替换为正交变换单元111、量化单元112、和无损编码单元113，并且不同之处还在于，添加了类分类单元114和自适应环路滤波器115。

具体地，正交变换单元111按照与图1中的正交变换单元14相同的方式，使来自计算单元13的差信息经历诸如离散余弦变换、Karhunen-Loéve变换等的正交变换，并且将其变换系数提供给量化单元112。与图1中的正交变换单元14相对，正交变换单元111还向类分类单元114提供关于4×4正交变换还是8×8正交变换已被应用到每个宏块的信息（即，正交变换尺寸）。

量化单元112按照与图1中的量化单元15相同的方式，对正交变换单元111输出的变换系数进行量化，并且将量化的变换系数提供给无损编码单元113。再者，与图1中的量化单元15相对，量化单元112向类分类单元114提供关于每个宏块的量化值。

无损编码单元113按照与图1中的无损编码单元16相同的方式，对量化的变换系数编码，并且还对指示帧内预测的信息、指示帧间预测模式的信息等编码以将它们取作压缩图像中的报头信息的一部分，并且将编码数据提供给存储缓冲器17用于存储。注意，此时，诸如图3中的情况，无损编码单元113还对自适应环路滤波器115计算的滤波器系数编码以将其取作压缩图像中的报头信息的一部分。

再者，与图1中的无损编码单元16相对，无损编码单元113向类分类单元114提供关于每个宏块的生成的码量的信息。

类分类单元114和自适应环路滤波器115设置在帧存储器22之前和解块滤波器21之后。具体地，类分类单元114和自适应环路滤波器115设置在由计算单元13、正交变换单元111、量化单元112、逆量化单元18、逆正交变换单元19、计算单元20、解块滤波器21、帧存储器22、开关23、运动预测/补偿单元25、和预测图像选择单元26构成的运动补偿环路中。也就是说，图像在运动补偿环路内被以环路方式使用。

类分类单元114使用来自正交变换单元111、量化单元112、和无损编码单元113的信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类，并且将其分类结果提供给自适应环路滤波器115。

自适应环路滤波器115按照与图3中的自适应环路滤波器71相同的方式，执行滤波器系数的计算以便使来自屏幕重排缓冲器12的原始图像和来自解块滤波器21的图像之间的残差最小，并且使用该滤波器系数对来自解块滤波器21的解码图像执行滤波器处理。作为该滤波器，采用例如Wiener滤波器（Wiener滤波器）。

然而，注意，自适应环路滤波器115对作为类分类单元114已对整个屏幕分类的结果、认为其出现蚊式噪声的宏块类以及不认为其出现蚊式噪声（即，认为未出现很多蚊式噪声）的宏块类中的每个执行最优滤波器系数的计算和滤波器处理。

再者，自适应环路滤波器115将计算的滤波器系数传送到无损编码单元113。无损编码单元113使该滤波器系数经历诸如可变长度编码或算术编码的无损编码处理，并且插入到压缩图像的切片报头部分中。

[正交变换的描述]

接下来，将详细描述上述的每个处理。首先，将参照图6描述正交变换。

对于MPEG2编码格式，已利用8×8个像素作为增量执行了正交变换处理。另一方面，以与AVC编码格式相同的格式执行正交变换的图像编码设备101利用4×4个像素作为增量在基线层次（profile）、主要层次和扩展层次中执行正交变换。再者，在高层次或更高的层次中，图像编码设备101能够以宏块为增量，在图6A中所示的以4×4个像素为增量的正交变换和图6B中所示的以8×8个像素为增量的正交变换之间切换。

[4×4正交变换]

首先，将描述4×4正交变换格式。以4×4个像素为增量的正交变换具有如下特征。

第一特征在于，对于MPEG2编码格式，可以针对特定范围内的每个编码格式自由设定变换的计算精度，因此有必要实现关于逆变换中的失配的措施，但是对于本方法，在标准中规定了变换和逆变换两者，因此不需要实现这样的关于失配的措施。

第二特征在于，能够通过16位寄存器实现，使得能够通过诸如与便携式终端等一起使用的低功耗类型的数字信号处理器（DSP（数字信号处理器））来实现计算。

第三特征在于，尽管通过诸如MPEG2等的、使用以8×8个像素为增量的正交变换的编码方法已观察到由于高频系数处的量化误差引起的蚊式噪声，但是通过本方法不容易观察到这样的蚊式噪声。

图7图示了正交变换和量化处理的概况。就是说，如图7中所示，一个宏块中包括的16×16个像素的亮度信号和8×8个像素的色差信号均被分成4×4个像素的块，并且每个块经历整数变换处理和量化处理。此外，对于色差信号，如图7中所示，生成仅收集DC分量的2×2个矩阵，并且使这些矩阵经历2阶Hadamard（阿达马）变换和量化处理。

再者，如图7中所示，在当前宏块是帧内16×16模式时，生成仅收集DC分量的4×4个矩阵，并且使这些矩阵经历4阶Hadamard变换和量化。

4阶正交变换处理可以如在下式（1）中那样描述。

[式1]

$\left[Y\right]=\left[A\right]\left[X\right]{\left[A\right]}^T=\left[\begin{array}{cccc}a& a& a& a\\ b& c& -c& -b\\ a& -a& -a& a\\ c& -b& b& -c\end{array}\right]\left[X\right]\left[\begin{array}{cccc}a& b& a& c\\ a& c& -a& -b\\ a& -c& -a& b\\ a& -b& a& -c\end{array}\right]$

其中 $a=\frac{1}{2},$ $b=\sqrt{\frac{1}{2}}\cos \left(\frac{\mathrm{\π}}{8}\right),$ $c=\sqrt{\frac{1}{2}}\cos \left(\frac{3\mathrm{\π}}{8}\right)\·\·\·\left(1\right)$

下式（2）是可以由该式（1）得到的变体。

[式2]

$\left[Y\right]=\left(\right[C\left]\right[X\left]{\left[C\right]}^T\right)\⊗\left[E\right]$

$=\left[\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& d& -d& -1\\ 1& -1& -1& 1\\ d& -1& 1& -d\end{array}\right]\right[X\left]\left[\begin{array}{cccc}1& 1& 1& d\\ 1& d& -1& -1\\ 1& -d& -1& 1\\ 1& -1& 1& -d\end{array}\right]\right]\⊗\left[\begin{array}{cccc}{a}^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\\ a^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\end{array}\right]$

其中 $a=\frac{1}{2},$ $b=\sqrt{\frac{2}{5}},$ $d=\frac{1}{2}\·\·\·\left(2\right)$

下式（3）是可以由该式（2）得到的另一变体。

[式3]

$\left[Y\right]=\left(\right[C_f\left]\right[X\left]{\left[C_f\right]}^T\right)\⊗\left[E_f\right]$

$=\left[\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]\right[X\left]\left[\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right]\right]\⊗\left[\begin{array}{cccc}{a}^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}& b^2/4& \mathrm{ab}& b^2/4\\ a^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}/2& b^2/4& \mathrm{ab}/2& b^2/4\end{array}\right]\·\·\·\left(3\right)$

因此，矩阵[C_f]可以被表述为下式（4）。

[式4]

$\left[C_f\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]\·\·\·\left(4\right)$

就是说，图像编码设备101使用式（4）中右手侧所示的矩阵作为整数变换矩阵。

因此，整数变换可以通过加法（加-减）和移位（位移位）实现。

再者，根据式（3），矩阵[E_f]可以被表述为下式（5）。

[式5]

$\left[E_f\right]=\left[\begin{array}{cccc}{a}^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}& b^2/4& \mathrm{ab}& b^2/4\\ a^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}/2& b^2/4& \mathrm{ab}/2& b^2/4\end{array}\right]\·\·\·\left(5\right)$

该式（5）的右手侧的项由图像编码设备101针对每个4×4分量执行不同的量化处理来实现。换言之，图像编码设备101通过整数变换和量化处理的组合来实现正交变换。

再者，逆整数变换可以被表述为下式（6）。

[式6]

$\left[X^{,}\right]={\left[C_i\right]}^T\left(\right[Y]\⊗[E_i\left]\right)\left[C_i\right]$

$=\left[\begin{array}{cccc}1& 1& 1& 1/2\\ 1& 1/2& -1& -1\\ 1& -1/2& -1& 1\\ 1& -1& 1& -1/2\end{array}\right]\left[\right[Y]\⊗\left[\begin{array}{cccc}{a}^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\\ a^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\end{array}\right]]\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1/2& -1/2& -1\\ 1& -1& -1& 1\\ 1/2& -1& 1& -1/2\end{array}\right]\·\·\·\left(6\right)$

因此，式（6）的右手侧可以被表述为下式（7）和式（8）。

[式7]

$\left(\right[Y]\⊗[E_i\left]\right)=\left[\right[Y]\⊗\left[\begin{array}{cccc}{a}^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\\ a^2& \mathrm{ab}& a^2& \mathrm{ab}\\ \mathrm{ab}& b^2& \mathrm{ab}& b^2\end{array}\right]]\·\·\·\left(7\right)$

[式8]

$\left[C_i\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1/2& -1/2& -1\\ 1& -1& -1& 1\\ 1/2& -1& 1& -1/2\end{array}\right]\·\·\·\left(8\right)$

式（7）右手侧所示的矩阵是作为逆量化的结果而获得的4×4矩阵，同时通过应用式（8）中的右手侧所示的逆整数矩阵来计算关于解码图像的4×4矩阵。

逆整数变换也可以通过加法（加-减）和移位（位移位）单独地实现。

图8中的A和图8中的B图示了用于通过蝶式计算实现整数变换和逆整数变换的技术。

[8×8正交变换]

接下来，将进行关于可以与AVC高层次或更高层次一起使用的8×8正交变换的描述。

对于图像编码设备101，如同4×4的情况，8×8正交变换被定义为仅通过加-减和移位计算实现的整数变换。

首先，图像编码设备101针对水平方向上的八个点执行正交变换的计算，并且接着针对竖直方向上的八个点执行变换。

为了简化描述，下文将描述8阶一维整数变换。

对于输入信号{d0,d1,d2,d3,d4,d5,d6,d7}，首先执行下式（9）至（16）的计算。

e0=d0+d7...(9)

e1=d1+d6...(10)

e2=d2+d5...(11)

e3=d3+d6...(12)

e4=d0-d7...(13)

e5=d1-d6...(14)

e6=d2-d5...(15)

e7=d3-d4...(16)

接下来，对于{e0,e1,e2,e3,e4,e5,e6,e7}，执行下式（17）至（24）的计算。

e′0=e0+e3...(17)

e′1=e1+e2...(18)

e′2=e0-e3...(19)

e′3=e1-e2...(20)

e′4=e5+e6+(e4＞＞1+e4)...(21)

e′5=e4-e7-(e6＞＞1+e6)...(22)

e′6=e4+e7-(e5＞＞1+e5)...(23)

e′7=e5-e6+(e7＞＞1+e7)...(24)

此外，对于{e′0,e′1,e′2,e′3,e′4,e′5,e′6,e′7}，执行下式（25）至（32）的计算，从而获得经正交变换的系数{D0,D1,D2,D3,D4,D5,D6,D7}。

D0=e′0+e′1...(25)

D2=e′2+e′3＞＞1...(26)

D4=e′0-e′1...(27)

D6=e′2＞＞1-e′3...(28)

D1=e′4+e′7＞＞2...(29)

D3=e′5+e′6＞＞2...(30)

D5=e′6-e′5＞＞2...(31)

D7=-e′7+e′4＞＞2...(32)

如下执行从{D0,D1,D2,D3,D4,D5,D6,D7}到{d0,d1,d2,d3,d4,d5,d6,d7}的逆正交变换。

就是说，首先，如下式（34）至（40）计算从{D0,D1,D2,D3,D4,D5,D6,D7}到{f0,f1,f2,f3,f4,f5,f6,f7}。

f0=D0+D4...(33)

f1=-D3+D5-(D7+D7＞＞1)...(34)

f2=D0-D4...(35)

f3=D1+D7-(D3+D3＞＞1)...(36)

f4=D2＞＞1-D6...(37)

f5=-D1+D7+(D5+D5＞＞1)...(38)

f6=D2+D6>>1...(39)

f7=D3+D5+(D1+D1＞＞1)...(40)

接下来，如下式（41）至（48）计算从{f0,f1,f2,f3,f4,f5,f6,f7}到{f′0,f′1,f′2,f′3,f′4,f′5,f′6,f′7}。

f′0=f0+f6...(41)

f′1=f1+f7＞＞2...(42)

f′2=f2+f4...(43)

f′3=f3+f5＞＞2...(44)

f′4=f2-f4...(45)

f′5=f3＞＞2-f5...(46)

f′6=f0-f6...(47)

f′7=f7-f1＞＞2...(48)

最后，如下式（49）至（56）计算从{f′0,f′1,f′2,f′3,f′4,f′5,f′6,f′7}到{d0,d1,d2,d3,d4,d5,d6,d7}。

d0=f′0+f′7...(49)

d1=f′2+f′5...(50)

d2=f′4+f′3...(51)

d3=f′6+f′1...(52)

d4=f′6-f′1...(53)

d5=f′4-f′3...(54)

d6=f′2-f′5...(55)

d7=f′0-f′7...(56)

[解块滤波器]

接下来，将描述解块滤波器。解块滤波器21包括在运动补偿环路中，并且去除解码图像中的块噪声。因此，抑制了块噪声传播到运动补偿处理参考的图像。

可以通过编码数据中包括的两个参数，即图片参数集合RBSP（原始字节序列载荷）中包括的deblocking_filter_control_present_flag和切片报头（切片报头）中包括的disable_deblocking_filter_idc，来选择用于解块滤波器处理的如下三种方法（a）至（c）。

（a）应用到块边界和宏块边界

（b）仅应用到宏块边界

（c）未被应用

对于量化参数QP，在针对亮度信号应用如下处理的情况下使用QPY，并且在应用于色差信号的情况下使用QPC。再者，尽管属于不同切片的像素值被处理成在运动向量编码、帧内预测和熵编码（CAVLC/CABAC）中“不可用”，但是通过解块滤波器处理，甚至属于不同切片的像素值也被处理成“可用”，只要它们属于同一图片即可。

如图9中所示，在下文中我们将解块滤波器处理之前的像素值称为p0至p3以及q0至q3，并且将处理之后的像素值称为p0′至p3′以及q0′至q3′。

首先，在解块滤波器处理之前，如图10中所示的表格，针对图9中的p和q定义Bs（边界强度）。

图9中的（p2,p1,p0,q0,q1,q2）仅在下式（57）和式（58）中示出的条件成立的情况下经历解块滤波器处理。

Bs＞0...(57)

|p0-q0|＜α；|p1-p0|＜β；|q1-10|＜β...(58)

在缺省状态下，式（58）中的α和β的值是根据如下所示的QP确定的，但是如图11中的曲线中的箭头所指示的，用户可以通过编码数据的切片报头中包括的、称为slice_alpha_c0_offset_div2 和slice_beta_offset_div2的两个参数来调整它们的强度。

如图12中的表格中所示，根据indexA获得α。以相同方式，根据indexB获得β。如下式（59）至式（61）定义这些indexA和indexB。

qP_av =(qP_p+qP_q+1)＞＞1...(59)

indexA=Clip3(0,51,qP_av+FilterOffsetA)...(60)

indexB=Clip3(0,51,qP_av+FilterOffsetB)...(61)

在式（60）和式（61）中，FilterOffsetA和FilterOffsetB对应于用户的调整量。

对于解块滤波器处理，如下文将描述的，针对Bs＜4的情况和Bs=4的情况定义互不相同的方法。在Bs＜4的情况下，如下式（62）至式（64）获得解块滤波器处理之后的像素值p′0和q′0。

Δ=Clip3(-t_c,t_c((((q0-p0)＜＜2)+(p1-q1)+4)＞＞3))...(62)

p′0=Clip1(p0+Δ)...(63)

q′0=Clip1(q0+Δ)...(64)

现在，如下式（65）或式（66）计算t_c。就是说，在chromaEdgeFlag的值是“0”的情况下，如下式（65）计算t_c。

t_c=t_c0+((a_p＜β)？1:0)+((a_p＜β)？1:0)...(65)

再者，在chromaEdgeFlag的值不是“0”的情况下，如下式（66）计算t_c。

t_c=t_c0+1...(66)

根据Bs和indexA的值，如图13中的A和图13中的B中所示的表格，定义t_c0的值。

再者，如下式（67）和（68）计算式（65）中的a_p和a_q的值。

a_p=|p2-p0|...(67)

a_q=|q2-q0|...(68)

如下获得解块滤波器处理之后的像素值p′1。就是说，在chromaEdgeFlag的值是“0”并且a_p的值等于或小于β的情况下，如下式（69）获得p′1。

p′1=p1+Clip3(-t_c0,t_c0,(p2+((p0+q0+1)＞＞1)-(p1＜＜1))＞＞1)

...(69)

再者，在式（69）不成立的情况下，如下式（70）获得p′1。

p′1=p1...(70)

如下获得解块滤波器处理之后的像素值q′1。具体地，在chromaEdgeFlag的值是“0”并且a_q的值等于或小于β的情况下，如下式（71）获得q′1。

q′1=q1+Clip3(-t_c0,t_c0,(q2+((p0+q0+1)＞＞1)-(q1＜＜1))＞＞1)

...(71)

再者，在式（71）不成立的情况下，如下式（72）获得q′1。

q′1=q1...(72)

p′2和q′2的值相对于滤波之前的p2和q2的值不变。具体地，如下式（73）获得p′2，并且如下式（74）获得q′2。

p′2=p2...(73)

q′2=q2...(74)

在Bs=4的情况下，如下获得解块滤波之后的像素值p′I（i=0..2）。在chromaEdgeFlag的值是“0”并且下式（75）中所示的条件成立的情况下，如下式（76）至式（78）获得p′0、p′1和p′2。

ap＜β&&|p0-q0|＜((α＞＞2)+2)...(75)

p′0=(p2+2×p1+2×p0+2×q0+q1+4)＞＞3...(76)

p′1=(p2+p1+p0+q0+2)＞＞2...(77)

p′2=(2×p3+3×p2+p1+p0+q0+4)＞＞3...(78)

再者，在式（75）中所示的条件不成立的情况下，如下式（79）至式（81）获得p′0、p′1和p′2。

p′0=(2×p1+p0+q1+2)＞＞2...(79)

p′1=p1...(80)

p′2=p2...(81)

如下获得解块滤波器处理之后的像素值q′i（I=0..2）。即，在chromaEdgeFlag的值是“0”并且下式（82）中所示的条件成立的情况下，如下式（82）至式（85）获得q′0、q′1和q′2。

aq<β&&|p0-q0|＜((α＞＞2)+2)...(82)

q′0=(p1+2×p0+2×q0+2×q1+q2+4)＞＞3...(83)

q′1=(p0+q0+q1+q2+2)>>2...(84)

q′2=(2×q3+3×q2+q1+q0+p4+4)＞＞3...(85)

再者，在式（82）中所示的条件不成立的情况下，如下式（86）至式（88）获得q′0、q′1和q′2。

q′0=(2×q1+q0+p1+2)＞＞2...(86)

q′1=q1...(87)

q′2=q2...(88)

[扩展宏块的示例]

再者，使宏块尺寸是16个像素×16个像素对于服务于下一代编码格式的对象的诸如UHD（超高清；4000个像素×2000个像素）的大图像帧而言不是最优的。对于图像编码设备101，如图14中所示，可以使宏块尺寸采用例如诸如32个像素×32个像素或者64个像素×64个像素的尺寸。

图14是图示非专利文献2中提出的块尺寸的示例的示图。对于非专利文献2，宏块尺寸被扩展到32×32个像素。

对于图14中的上排，按左起的顺序指示被分成32×32个像素、32×16个像素、16×32个像素和16×16个像素的块（分区）的、由32×32个像素构成的宏块。对于图14中的中排，按左起的顺序指示被分成16×16个像素、16×8个像素、8×16个像素和8×8个像素的块的、由16×16个像素构成的块。再者，对于图14中的下排，按左起的顺序指示被分成8×8个像素、8×4个像素、4×8个像素和4×4个像素的块的、由8×8个像素构成的块。

就是说，对于32×32个像素的宏块，可以执行图14中的上排中指示的利用32×32个像素、32×16个像素、16×32个像素和16×16个像素的块的处理。

对于上排中的右侧指示的16×16个像素的块，按照与H.264/AVC格式相同的方式，可以执行中排中指示的利用16×16个像素、16×8个像素、8×16个像素和8×8个像素的块的处理。

对于中排中的右侧指示的8×8个像素的块，按照与H.264/AVC格式相同的方式，可以执行下排中指示的利用8×8个像素、8×4个像素、4×8个像素和4×4个像素的块的处理。

这些块可以被分类成如下三个层级。具体地，图14中的上排中指示的32×32个像素、32×16个像素和16×32个像素的块将被称为第一层级。上排中的右侧指示的16×16个像素的块，以及中排中指示的16×16个像素、16×8个像素、8×16个像素的块将被称为第二层级。中排中的右侧指示的8×8个像素的块，以及下排中指示的8×8个像素、8×4个像素、4×8个像素和4×4个像素的块将被称为第三层级。

采用诸如图14的分级结构，并且因此，对于等于或小于16×16个像素的块的块，在维持与当前的AVC中的宏块的兼容性的同时，更大的块被定义为其超集。

[预测模式的选择]

此外，为了实现更高的编码效率，选择适当的预测模式是重要的。例如，对于图像编码设备101，可以设想一种用于选择高复杂度模式和低复杂度模式的两个模式确定方法的方法。在该方法的情况下，对于任一情况，计算与每个预测模式Mode相关的成本函数值，并且选择使成本函数值最小的预测模式作为关于当前块至宏块的最优模式。

可以如下式（89）获得关于高复杂度模式的成本函数值。

Cost(Mode∈Ω)=D+λ×R  ...(89)

在式（89）中，Ω是用于对当前块至宏块进行编码的候选模式的整个集合。再者，D是在通过当前预测模式Mode进行编码的情况下解码图像和输入图像之间的差能量。此外，λ是作为量化参数的函数给出的拉格朗日乘子。再者，R是在通过当前模式Mode进行编码的情况下的总码量，其包括正交变换系数。

就是说，为了通过高复杂度模式执行编码，需要利用所有候选模式Mode执行一次试验编码处理以便计算以上参数D和R，这需要较大的计算量。

另一方面，可以如下式（90）中所示获得低复杂度模式中的成本函数值。

Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit...(90)

就是说，在式（90）中，不同于高复杂度模式，D是预测图像和输入图像之间的差能量。再者，QP2Quant(QP)是作为量化参数QP的函数给出的。此外，HeaderBit是关于诸如运动向量和模式的、属于不包括正交变换系数的报头的信息的码量。

就是说，在低复杂度模式中，需要执行关于每个候选模式Mode的预测处理，但是不需要自始至终对图像解码，因此不需要自始至终执行编码处理。因此，较之高复杂度模式，能够以较小的计算量实现。

对于高层次，还基于上述的高复杂度模式和低复杂度模式之一来执行诸如图6中所示的在4×4正交变换和8×8正交变换之间的选择。

[详细配置示例]

对于以上图像编码设备101，将自适应环路滤波器处理应用于图像编码处理。图像编码设备101包括运动预测/补偿环路内的类分类单元114和自适应环路滤波器115，并且将整个屏幕分类成认为其出现蚊式噪声的宏块类以及不认为其出现蚊式噪声的宏块类，并且对每个宏块类执行最优滤波器系数的计算以及滤波器处理。

在下文中，将进行关于类分类单元114和自适应环路滤波器115的配置的细节的描述。由于高频分量处的正交变换系数的量化误差引起蚊式噪声。因此，在当前宏块中包括的纹理是平坦的情况下，不容易引起蚊式噪声，但是在当前宏块中包括边缘的情况下，容易引起蚊式噪声。

对于H.264/AVC，如上文所述，通过在等于或大于高层次的情况下以宏块为增量进行切换，可以采用图6中的A中所示的以4×4像素为增量的正交变换，以及图6中的B中所示的以8×8像素为增量的正交变换。再者，如上文参照图14所述，在已采用诸如32个像素×32个像素或者64个像素×64个像素的尺寸的情况下，可以进一步设想引入以16×16像素为增量的正交变换。然而，对于被应用较大的正交变换尺寸的宏块，容易引起蚊式噪声。

这样，关于当前宏块是否出现蚊式噪声取决于当前宏块的纹理信息和正交变换尺寸。

对于图5中的类分类单元114和自适应环路滤波器115，通过利用如下事实执行类分类：其中宏块被分类成认为其出现蚊式噪声的宏块类或者不认为其出现很多蚊式噪声的宏块类。对于这种类分类的方法，存在如下两种方法。不论利用哪一种方法，至少采用正交变换尺寸的信息。

首先，将描述第一方法。对于第一方法，首先，诸如使用当前宏块中的量化位阶Q和生成位B的下式（91），计算关于当前宏块的用作复杂度（困难水平参数）之一的活跃度X。

X=Q*B  ...(91)

注意，在无损编码格式是CABAC格式的情况下，可以采用当前宏块的生成位段替代生成位。

当该活跃度值高时，在当前宏块中包括边缘，即，当前宏块被设想为复杂纹理，并且当该活跃度值低时，当前宏块被设想为平坦区域，即简单纹理。

在对以该方式计算的活跃度X和预定阈值Θ(T)进行比较的情况下，当下式（92）成立时，当前宏块被分类成认为其出现蚊式噪声的宏块类。另一方面，当式（92）不成立时，当前宏块被分类成认为其未出现很多蚊式噪声的宏块类。

X＞Θ(T)+Θ_offset    ...(92)

这里，T表示当前宏块尺寸的正交变换尺寸。就是说，根据正交变换尺寸确定阈值Θ。再者，Θ_offset是用户能够设定的偏移值，由此能够设定自适应环路滤波器的强度。注意，可以省略偏移值。

对于阈值Θ，对于较大的正交变换尺寸设定较小的阈值，并且因此，当前宏块可以被容易地分类成出现蚊式噪声的类。针对这样的宏块计算适当的滤波器系数，并且因此可以容易地执行蚊式噪声的去除。这是因为在正交变换尺寸较大的情况下容易出现蚊式噪声。

接下来，将描述第二方法。对于第二方法，首先对当前宏块中包括的量化处理之后的非零正交变换的数目进行计数。当该数目被取为N，并且对于预定阈值Θ(QP，T)该N满足下式（93）时，当前宏块被分类成认为其出现蚊式噪声的宏块类。另一方面，当式（93）不成立时，当前宏块被分类成认为其未出现很多蚊式噪声的宏块类。

N＞Θ(QP，T)+Θ_offset    ...(93)

对于式（93），同样地，Θ_offset是用户能够设定的偏移值，由此能够设定自适应环路滤波器的强度。注意，可以省略偏移值。

再者，对于预定的量化参数QP，诸如下式（94）设定阈值Θ。

Θ(T=4×4,QP)＞Θ(T=8×8,QP)＞Θ(T=16×16,QP)＞...

...(94)

就是说，对于同一量化参数QP，较大的正交变换尺寸被设定到较小的阈值，并且因此当前宏块可以被容易地分类成出现蚊式噪声的类。针对该宏块计算适当的滤波器系数，并且因此可以容易地执行蚊式噪声的去除。这是因为在正交变换尺寸较大的情况下容易出现蚊式噪声。

再者，对于特定的正交变换尺寸T，在设定两个量化参数qp₁和qp₂以便具有qp₁<qp₂的关系的情况下，诸如下式（95）设定阈值Θ。

Θ(T，qp₁)＞Θ(T，qp₂)...(95)

就是说，在已利用较高的量化参数执行编码的情况下，可以认为包括较多的量化噪声，并且容易引起蚊式噪声，并且因此通过将阈值设定为低，当前宏块可以被容易地分类成出现蚊式噪声的类。针对这样的宏块计算适当的滤波器系数，并且因此可以容易地执行蚊式噪声的去除。

就是说，在第二方法的情况下，当正交变换尺寸大，或者量化参数高时，阈值被设定为较小。作为其结果，当前宏块被容易地分类成出现蚊式噪声的类，并且针对这样的宏块计算适当的滤波器系数，并且因此可以容易地执行蚊式噪声的去除。另一方面，当正交变换尺寸小，或者量化参数低时，阈值被设定为较大。作为其结果，当前宏块被容易地分类成未出现蚊式噪声的类，并且针对这样的宏块计算适当的滤波器系数，并且因此阻止了蚊式噪声被容易地去除。

如上文所述，对于图5中的图像编码设备101，使用关于每个宏块的诸如正交变换系数、正交变换尺寸、量化值、生成的码量等的编码信息，因此考虑由运动预测/补偿单元25搜索的运动向量信息，确定将当前宏块分类成出现蚊式噪声的宏块类还是不同于该宏块类的类。

就是说，对于图像编码设备101，采用编码信息作为类分类的参数。

这里提到的编码信息是语法元素的信息，其由无损编码单元113编码并添加到压缩图像的报头并且传送到解码侧。

注意，本发明的应用范围不限于以上两种方法。例如，对于关于分类成出现蚊式噪声的宏块类还是不同于该宏块类的类的类分类，可以使用另一编码信息（语法元素）。例如，对于静止区域，蚊式噪声是易见的，但是对于动态区域，蚊式噪声不是易见的，并且因此由运动预测/补偿单元25考虑关于分类成出现蚊式噪声的宏块类还是不同于该宏块类的类的类分类。

不仅可以在图5的图像编码设备101处提取该编码信息，而且还可以在后面描述的图像解码设备201处提取该编码信息，并且因此不必通过将用于执行类分类的控制参数添加到压缩图像的报头来对其进行传送。

[类分类单元和自适应环路滤波器的配置示例]

图15是图示用于执行第一方法的类分类单元114和自适应环路滤波器115的配置示例的框图。

对于图15中的示例，类分类单元114由阈值确定单元121、复杂度计算单元122和蚊式宏块分类单元123构成。

再者，自适应环路滤波器115由非蚊式滤波器系数计算单元131、蚊式滤波器系数计算单元132、非蚊式滤波单元133和蚊式滤波单元134构成。

从正交变换单元111向阈值确定单元121提供关于当前宏块的正交变换尺寸的信息。阈值确定单元121基于当前宏块的正交变换尺寸，根据是否出现蚊式噪声来确定关于类分类的阈值Θ(T)。确定的阈值Θ(T)的信息被提供给蚊式宏块分类单元123。

从量化单元112向复杂度计算单元122提供关于当前宏块的量化值的信息。从无损编码单元113向复杂度计算单元122提供关于当前宏块的生成的码量（生成位）的信息。注意，在采用CABAC格式作为无损编码格式的情况下，可以提供生成位段替代生成位。

复杂度计算单元122使用上式（91）计算关于当前宏块的复杂度（式（91）的情况下的活跃度），并且将计算的复杂度的值提供给蚊式宏块分类单元123。

蚊式宏块分类单元123使用上式（92）的阈值确定处理，将当前宏块分类成（被认为）包括蚊式噪声的宏块类或者不同于该宏块类的宏块类。蚊式宏块分类单元123将被分类成包括蚊式噪声的宏块类的宏块的地址作为其分类结果提供给蚊式滤波器系数计算单元132，并且将被分类成不同于该宏块类的宏块类的宏块的地址提供给非蚊式滤波器系数计算单元131。

来自屏幕重排缓冲器12的输入像素值被输入到非蚊式滤波器系数计算单元131和蚊式滤波器系数计算单元132。来自解块滤波器21的解块滤波器处理之后的像素值被输入到非蚊式滤波器系数计算单元131、蚊式滤波器系数计算单元132、非蚊式滤波单元133和蚊式滤波单元134。

非蚊式滤波器系数计算单元131和蚊式滤波器系数计算单元132均从来自解块滤波器21的解块滤波器处理之后的像素值获得从蚊式宏块分类单元123提供的地址所指示的宏块。非蚊式滤波器系数计算单元131和蚊式滤波器系数计算单元132随后均计算关于所获得的宏块的像素值（即，由蚊式宏块分类单元123分类的类的像素值）的滤波器系数，以便使来自屏幕重排缓冲器12的原始图像和来自解块滤波器21的图像之间的残差最小。

就是说，根据非蚊式滤波器系数计算单元131，计算关于不包括许多蚊式噪声的宏块的最优滤波器系数，并且根据蚊式滤波器系数计算单元132，计算关于包括蚊式噪声的宏块的最优滤波器系数。

注意，在下文中，由非蚊式滤波器系数计算单元131计算的滤波器系数将被称为非蚊式滤波器系数，并且由蚊式滤波器系数计算单元132计算的滤波器系数将被称为蚊式滤波器系数。

计算的非蚊式滤波器系数和蚊式滤波器系数连同相应的类的宏块地址一起被分别提供给非蚊式滤波单元133和蚊式滤波单元134。再者，计算的非蚊式滤波器系数和蚊式滤波器系数还被提供给无损编码单元113。

非蚊式滤波单元133使用非蚊式滤波器系数，对相应的类（不包括许多蚊式噪声的类）的宏块地址指示的、来自解块滤波器21的解块滤波器处理之后的像素值执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器22。

蚊式滤波单元134使用蚊式滤波器系数，对相应的类（包括蚊式噪声的类）的宏块地址指示的、来自解块滤波器21的解块滤波器处理之后的像素值执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器22。

图16是图示用于执行第二方法的类分类单元114和自适应环路滤波器115的配置示例的框图。

对于图16中的示例，类分类单元114由阈值确定单元141、非零系数数目缓冲器142和蚊式宏块分类单元143构成。

再者，自适应环路滤波器115按照与图15中的示例相同的方式，由非蚊式滤波器系数计算单元131、蚊式滤波器系数计算单元132、非蚊式滤波单元133和蚊式滤波单元134构成。

来自正交变换单元111的关于当前宏块的正交变换尺寸的信息，以及来自量化单元112的关于当前宏块的量化值的信息被提供给阈值确定单元141。阈值确定单元141基于当前宏块的正交变换尺寸和量化值，确定关于用于去除蚊式噪声的滤波器处理的阈值Θ(QP，T)。确定的阈值Θ(QP，T)的信息被提供给蚊式宏块分类单元143。

从量化单元112向非零系数数目缓冲器142提供关于当前宏块的量化之后的正交变换系数（非零系数）的数目的信息用于存储。非零系数数目缓冲器142中存储的非零系数数目的信息被提供给蚊式宏块分类单元143。

蚊式宏块分类单元143基于阈值Θ(QP，T)的信息以及非零系数的数目的信息，使用上式（93）的阈值确定处理，将当前宏块分类成（被认为）包括蚊式噪声的宏块类以及不同于该宏块类的宏块类。蚊式宏块分类单元143将被分类成包括蚊式噪声的宏块类的宏块的地址作为其分类结果提供给蚊式滤波器系数计算单元132，并且将被分类成不同于该宏块类的宏块类的宏块的地址提供给非蚊式滤波器系数计算单元131。

[图像编码设备的编码处理的描述]

接着，将参照图17中的流程图描述图5中的图像编码设备101的编码处理。

在步骤S11中，A/D转换单元11将输入图像从模拟转换成数字。在步骤S12中，屏幕重排缓冲器12存储从A/D转换单元11提供的图像，并且执行从用于显示图片的序列到用于编码的序列的重新排列。

在步骤S13中，计算单元13计算通过步骤S12中的处理重新排列的图像和预测图像之间的差。分别地，经由预测图像选择单元26，在执行帧间预测的情况下从运动预测/补偿单元25向计算单元13提供预测图像，并且在执行帧内预测的情况下从帧内预测单元24向计算单元13提供预测图像。

较之原始图像数据，差数据的数据量较小。因此，较之没有改变地对原始图像编码的情况，可以压缩数据量。

在步骤S14中，正交变换单元111使从计算单元13提供的差信息经历正交变换。具体地，执行诸如离散余弦变换、Karhunen-Loéve变换等的正交变换，并且输出变换系数。此时，正交变换单元111将每个宏块的正交变换尺寸的信息提供给自适应环路滤波器115。

在步骤S15中，量化单元112对变换系数进行量化。此时，量化单元112将关于每个宏块的量化值提供给自适应环路滤波器115。在该量化时，诸如后面描述的步骤S27中的处理，对速率进行控制。

对这样量化的差信息进行如下的局部解码。具体地，在步骤S16中，逆量化单元18使用与量化单元112的性质对应的性质，使量化单元112量化的变换系数经历逆量化。在步骤S17中，逆正交变换单元19使用与正交变换单元111的性质对应的性质，使经历逆量化单元18的逆量化的变换系数经历逆正交变换。

在步骤S18中，计算单元20使经由预测图像选择单元26输入的预测图像与局部解码的差信息相加，并且生成局部解码图像（与针对计算单元13的输入对应的图像）。

在步骤S19中，解块滤波器21使从计算单元20输出的图像经历解块滤波器处理。因此，去除了块噪声。来自解块滤波器21的解码图像被输出到自适应环路滤波器115。

在步骤S20中，类分类单元114和自适应环路滤波器115使解块滤波之后的解码图像经历自适应环路滤波器处理。后面将参照图20和图21描述该自适应环路滤波器处理的细节。来自自适应环路滤波器115的图像被输出到帧存储器22。

此时，自适应环路滤波器115将计算的自适应环路滤波器系数传送到无损编码单元113。自适应环路滤波器系数的信息在后面描述的步骤S25中由无损编码单元113编码，并且被添加到压缩图像的报头。

在步骤S21中，帧存储器22存储经历滤波的图像。注意，还从计算单元20向帧存储器22提供未经历解块滤波器21的滤波器处理的图像用于存储。

在从屏幕重排缓冲器12提供的要处理的图像是要经历帧内处理的块的图像的情况下，从帧存储器22读出要参考的解码图像，并且经由开关23将其提供给帧内预测单元24。

基于这些图像，在步骤S22中，帧内预测单元24使要处理的块的像素经历用作候选的所有帧内预测模式中的帧内预测。注意，对于要参考的解码像素，采用未经历解块滤波器21的解块滤波的像素。

尽管后面将参照图18描述步骤S22中的帧内预测处理的细节，但是根据该处理，在用作候选的所有帧内预测模式中执行帧内预测，并且针对用作候选的所有帧内预测模式计算成本函数值。基于计算的成本函数值，随后选择最优帧内预测模式，最优帧内预测模式的帧内预测生成的预测图像及其成本函数值被提供给预测图像选择单元26。

在从屏幕重排缓冲器12提供的要处理的图像是要经历帧间处理的图像的情况下，从帧存储器22读出要参考的图像，并且经由开关23将其提供给运动预测/补偿单元25。基于这些图像，在步骤S23中，运动预测/补偿单元25执行运动预测/补偿处理。

后面将参照图19描述步骤S23中的运动预测/补偿处理的细节。根据该处理，在用作候选的所有帧间预测模式中执行运动预测处理，针对用作候选的所有帧间预测模式计算成本函数值，并且基于计算的成本函数值，确定最优帧间预测模式。最优帧间预测模式生成的预测图像及其成本函数值随后被提供给预测图像选择单元26。

在步骤S24中，预测图像选择单元26基于从帧内预测单元24和运动预测/补偿单元25输出的成本函数值，将最优帧内预测模式和最优帧间预测模式中的一个确定为最优预测模式。预测图像选择单元26随后选择所确定的最优预测模式的预测图像，并且提供给计算单元13和20。该预测图像用于上文的步骤S13和S18中的计算。

注意，该预测图像的选择信息被提供给帧内预测单元24或运动预测/补偿单元25。在已选择最优帧内预测模式的预测图像的情况下，帧内预测单元24将指示最优帧内预测模式的信息（即，帧内预测模式信息）提供给无损编码单元16。

在已选择最优帧间预测模式的预测图像的情况下，运动预测/补偿单元25向无损编码单元113输出指示最优帧间预测模式的信息，并且进一步根据需要，向无损编码单元113输出根据最优帧间预测模式的信息。根据最优帧间预测模式的信息的示例包括运动向量信息和参考帧信息。

在步骤S25中，无损编码单元113对从量化单元112输出的量化的变换系数编码。具体地，差图像经历诸如可变长度编码、算术编码等的无损编码，并且被压缩。此时，当前宏块的生成位被提供给自适应环路滤波器115。注意，在采用CABAC格式作为无损编码格式的情况下，可以提供生成位段替代生成位。

再者，此时，在上述步骤S20中输入到无损编码单元113的滤波器系数，以及在上述步骤S24中从帧内预测单元24输入到无损编码单元113的帧内预测模式信息或者来自运动预测/补偿单元25的根据最优帧间预测模式的信息等，也被编码并且添加到报头信息。

例如，针对每个宏块对指示帧间预测模式的信息编码。针对每个要处理的块对运动向量信息和参考帧信息编码。针对每个切片对滤波器系数编码。

在步骤S26中，存储缓冲器17将差图像存储为压缩图像。适当地读出存储缓冲器17中存储的压缩图像，并且经由传送路径将其传送到解码侧。

在步骤S27中，速率控制单元27基于存储缓冲器17中存储的压缩图像来控制量化单元15的量化操作速率以便不致引起上溢或下溢。

[帧内预测处理的描述]

接下来，将参照图18中的流程图描述图17中的步骤S22中的帧内预测处理。注意，对于图18中的示例，将进行关于将亮度信号当作示例的情况的描述。

在步骤S41中，帧内预测单元24对4×4个像素、8×8个像素和16×16个像素的帧内预测模式执行帧内预测。

对于亮度信号的帧内预测模式，存在九种4×4像素和8×8像素块增量的预测模式，以及四种16×16像素宏块增量的预测模式，并且对于色差信号的帧内预测模式，存在四种8×8像素块增量的预测模式。色差信号的帧内预测模式的设定可以与亮度信号的帧内预测模式无关。对于亮度信号的4×4个像素和8×8个像素的帧内预测模式，针对4×4像素和8×8像素亮度信号的每个块定义一个帧内预测模式。对于亮度信号的16×16个像素的帧内预测模式以及色差信号的帧内预测模式，针对一个宏块定义一个预测模式。

具体地，帧内预测单元24参考从帧存储器22读出的并且经由开关23提供的解码图像，使要处理的块的像素经历帧内预测。该帧内预测处理在每个帧内预测模式中执行，并且因此生成每个帧内预测模式中的预测图像。注意，对于要参考的解码像素，采用未经历解块滤波器21的解块滤波的像素。

在步骤S42中，帧内预测单元24针对4×4个像素、8×8个像素和16×16个像素的每个帧内预测模式计算成本函数值。这里，对于用于获得成本函数值的成本函数，采用式（89）或式（90）的成本函数。

在步骤S43中，帧内预测单元24针对4×4个像素、8×8个像素和16×16个像素的每个帧内预测模式确定相应的最优模式。就是说，如上文所述，在帧内4×4预测模式和帧内8×8预测模式的情况下，存在九种预测模式，并且在帧内16×16预测模式的情况下，存在四种预测模式。因此，帧内预测单元24基于在步骤S42中计算的成本函数值，在这些预测模式中确定最优帧内4×4预测模式、最优帧内8×8预测模式和最优帧内16×16预测模式。

在步骤S44中，帧内预测单元24基于在步骤S42中计算的成本函数值，在针对4×4个像素、8×8个像素和16×16个像素的帧内预测模式确定的最优模式中选择最优帧内预测模式，即，在针对4×4个像素、8×8个像素和16×16个像素确定的最优模式中，选择成本函数值最小的模式作为最优帧内预测模式。帧内预测单元24随后将在最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元26。

[运动预测/补偿处理的描述]

接下来，将参照图19中的流程图描述图17中的步骤S23中的运动预测/补偿处理。

在步骤S61中，运动预测/补偿单元25针对由16×16个像素至4×4个像素构成的八种帧间预测模式，确定运动向量和参考图像。就是说，确定关于每个帧间预测模式的要处理的块的运动向量和参考图像。

在步骤S62中，运动预测/补偿单元25基于步骤S61中确定的运动向量对关于由16×16个像素至4×4个像素构成的八种帧间预测模式的参考图像执行运动预测和补偿处理。根据该运动预测和补偿处理，生成每个帧间预测模式中的预测图像。

在步骤S63中，运动预测/补偿单元25针对由16×16个像素至4×4个像素构成的八种帧间预测模式，计算上式（89）或式（90）中指示的成本函数值。

在步骤S64中，运动预测/补偿单元25比较在步骤S63中计算的关于帧间预测模式的成本函数值，并且将提供最小值的预测模式确定为最优帧间预测模式。运动预测/补偿单元25随后将在最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元26。

[自适应环路滤波器处理的描述]

接下来，将参照图20中的流程图描述图17中的步骤S20中的自适应环路滤波器处理。注意，图20中的自适应环路滤波器处理是将由图15中的类分类单元114和自适应环路滤波器115执行的处理。

从量化单元112向复杂度计算单元122提供关于当前宏块的量化值的信息。从无损编码单元113向复杂度计算单元122提供关于当前宏块的生成的码量（生成位）的信息。

在步骤S81中，复杂度计算单元122接收量化位阶Q作为关于当前宏块的量化值的信息，并且在步骤S82中接收生成位B作为关于当前宏块的生成的码量的信息。在步骤S83中，复杂度计算单元122使用上式（91）针对当前宏块计算用作复杂度的活跃度。计算的复杂度的值被提供给蚊式宏块分类单元123。

从正交变换单元111向阈值确定单元121提供关于当前宏块的正交变换尺寸的信息。在步骤S84中，阈值确定单元121接收当前宏块的正交变换尺寸，并且在步骤S85中根据当前宏块的正交变换尺寸确定用于去除蚊式噪声的滤波器处理的阈值Θ=Θ(T)+Θ_offset。所确定的阈值Θ的信息被提供给蚊式宏块分类单元123。

在步骤S86中，蚊式宏块分类单元123确定来自复杂度计算单元122的活跃度X是否大于来自阈值确定单元121的阈值Θ。在步骤S86中确定活跃度X大于阈值Θ的情况下，蚊式宏块分类单元123确定当前宏块将被分类成包括蚊式噪声的宏块类，并且将当前宏块的地址提供给蚊式滤波器系数计算单元132，并且处理前往步骤S87。

在步骤S87中，蚊式滤波器系数计算单元132和蚊式滤波单元134执行蚊式自适应滤波器处理。注意，后面将参照图22描述步骤S87中的处理的细节。

根据该处理，针对包括蚊式噪声的宏块计算最优蚊式滤波器系数。使用计算的蚊式滤波器系数，对认为其包括蚊式噪声的宏块执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器22。

另一方面，在步骤S86中确定活跃度X小于阈值Θ的情况下，蚊式宏块分类单元123确定当前宏块将被分类成不包括许多蚊式噪声的宏块类，并且将当前宏块的地址提供给非蚊式滤波器系数计算单元131，并且处理前往步骤S88。

在步骤S88中，非蚊式滤波器系数计算单元131和非蚊式滤波单元133执行蚊式自适应滤波器处理。注意，步骤S88中的处理的细节是与后面将参照图22描述的步骤S87中的处理基本上相同的处理，不同之处在于要处理的宏块不同，并且因此将省略其详细处理。

根据该处理，针对不包括许多蚊式噪声的宏块计算最优蚊式滤波器系数。使用计算的蚊式滤波器系数，对认为其不包括许多蚊式噪声的宏块执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器22。

此外，将参照图21中的流程图描述图17中的步骤S20中的自适应环路滤波器处理的另一示例。注意，图21中的自适应环路滤波器处理是将由图16中的类分类单元114和自适应环路滤波器115执行的处理。

从量化单元112向非零系数数目缓冲器142提供关于当前宏块的量化之后的正交变换系数（非零系数）的数目的信息。在步骤S101中，非零系数数目缓冲器142接收非零正交变换系数的数目N作为关于当前宏块的量化之后的正交变换系数（非零系数）的数目的信息，并且存储该信息。所存储的非零系数的数目的信息被提供给蚊式宏块分类单元143。

来自正交变换单元111的关于当前宏块的正交变换尺寸的信息，以及来自量化单元112的关于当前宏块的量化值的信息被提供给阈值确定单元141。

在步骤S102中，阈值确定单元141接收量化参数作为关于当前宏块的量化值的信息，并且在步骤S103中接收当前宏块的正交变换尺寸作为关于当前宏块的正交变换尺寸的信息。在步骤S104中，阈值确定单元141根据当前宏块的量化参数和正交变换尺寸确定用于去除蚊式噪声的滤波器处理的阈值Θ=Θ(QP，T)+Θ_offset。所确定的阈值Θ的信息被提供给蚊式宏块分类单元143。

在步骤S105中，蚊式宏块分类单元143确定来自非零系数数目缓冲器142的非零正交变换系数的数目N是否大于来自阈值确定单元141的阈值Θ。在步骤S105中确定非零正交变换系数的数目N大于阈值Θ的情况下，蚊式宏块分类单元123确定当前宏块将被分类成包括蚊式噪声的宏块类，并且将当前宏块的地址提供给蚊式滤波器系数计算单元132，并且处理前往步骤S106。

在步骤S106中，蚊式滤波器系数计算单元132和蚊式滤波单元134执行蚊式自适应滤波器处理。注意，步骤S106中的处理的细节与后面将参照图22描述的步骤S106中的处理基本上相同，并且因此将省略其详细处理。

根据该处理，针对包括蚊式噪声的宏块计算最优蚊式滤波器系数。使用计算的蚊式滤波器系数，对认为其包括蚊式噪声的宏块执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器22。

另一方面，在步骤S105中确定非零正交变换系数的数目N小于阈值Θ的情况下，蚊式宏块分类单元123确定当前宏块将被分类成不包括许多蚊式噪声的宏块类，并且将当前宏块的地址提供给非蚊式滤波器系数计算单元131，并且处理前往步骤S107。

在步骤S107中，非蚊式滤波器系数计算单元131和非蚊式滤波单元133执行蚊式自适应滤波器处理。注意，步骤S107中的处理的细节是与后面将参照图22描述的步骤S106中的处理基本上相同的处理，不同之处在于要处理的宏块不同，并且因此将省略其详细处理。

根据该处理，针对不包括许多蚊式噪声的宏块计算最优蚊式滤波器系数。使用计算的蚊式滤波器系数，对认为其不包括许多蚊式噪声的宏块执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器22。

接下来，将参照图22中的流程图描述图20中的步骤S87中的蚊式自适应滤波器处理。

来自屏幕重排缓冲器12的输入像素值被输入到蚊式滤波器系数计算单元132。再者，来自解块滤波器21的解块滤波器处理之后的像素值被输入到蚊式滤波器系数计算单元132和蚊式滤波单元134。

在图20中的步骤S86中确定活跃度X大于阈值Θ的情况下，蚊式宏块分类单元123确定当前宏块将被分类成包括蚊式噪声的宏块类，并且将当前宏块的地址提供给蚊式滤波器系数计算单元132。

在步骤S111中，蚊式滤波器系数计算单元132计算蚊式滤波器系数。具体地，蚊式滤波器系数计算单元132从来自解块滤波器21的解块滤波器处理之后的像素值获得从蚊式宏块分类单元123提供的地址指示的宏块。蚊式滤波器系数计算单元132随后计算关于所获得的宏块的像素值（即，由蚊式宏块分类单元123分类的包括蚊式噪声的类的像素值）的蚊式滤波器系数，以便使来自屏幕重排缓冲器12的原始图像和来自解块滤波器21的图像之间的残差最小。

蚊式滤波器系数计算单元132将计算的蚊式滤波器系数以及从蚊式宏块分类单元123提供的宏块地址提供给蚊式滤波单元134。

在步骤S112中，蚊式滤波单元134使用蚊式滤波器系数执行滤波处理。具体地，蚊式滤波单元134使用蚊式滤波器系数，对来自蚊式滤波器系数计算单元132的宏块地址指示的、来自解块滤波器21的解块滤波器处理之后的像素值执行滤波器处理。

在步骤S113中，蚊式滤波单元134将作为滤波器处理结果的、滤波器处理之后的像素值输出到帧存储器22。

编码的压缩图像通过预定的传送路径传送，并且由图像解码设备解码。

[图像解码设备的配置示例]

图23呈现了用作已被应用本发明的图像处理设备的图像解码设备的实施例的配置。

图23中的图像解码设备201与图2中的图像解码设备31的相同之处在于，存在存储缓冲器41、计算单元45、解块滤波器46、屏幕重排缓冲器47、D/A转换单元48、帧存储器49、开关50、帧内预测单元51、运动补偿单元52、和开关53。

再者，图23中的图像解码设备201与图2中的图像解码设备31的不同之处在于，无损解码单元42、逆量化单元43、和逆正交变换单元44被分别替换为无损解码单元211、逆量化单元212、和逆正交变换单元213，并且不同之处还在于，添加了类分类单元214和自适应环路滤波器9215。

具体地，无损解码单元211按照与图2中的无损解码单元41相同的方式，使用与图5中的无损编码单元113的编码格式对应的格式，对从存储缓冲器41提供的并且由无损编码单元113编码的信息进行解码。此时，尽管运动向量信息、参考帧信息、预测模式信息（指示帧内预测模式或帧间预测模式的信息）、蚊式和非蚊式滤波器系数等也被解码，但是与图2中的无损解码单元42相对，无损解码单元211将关于每个块的生成的码量的信息提供给类分类单元214。

逆量化单元212按照与图2中的逆量化单元43相同的方式，使用与图5中的量化单元112的量化格式对应的格式，使无损解码单元211解码的图像经历逆量化。再者，不同于图2中的逆量化单元43，逆量化单元212将关于每个宏块的量化值提供给类分类单元214。

按照与图2中的逆正交变换单元44相同的方式，逆正交变换单元213使用与图5中的正交变换单元111的正交变换格式对应的格式，使逆量化单元212的输出经历逆正交变换。再者，不同于图2中的逆正交变换单元44，逆正交变换单元213将关于4×4正交变换和8×8正交变换中的哪个已被应用到每个宏块的信息（正交变换尺寸）提供给类分类单元214。

类分类单元214和自适应环路滤波器215设置在解块滤波器46之后和帧存储器49之前。具体地，类分类单元214和自适应环路滤波器215设置在由计算单元45、解块滤波器46、帧存储器49、开关50、运动补偿单元52、和开关53构成的运动补偿环路中。就是说，以环路的方式在运动补偿环路内使用图像。

类分类单元214按照与图5中的类分类单元114相同的方式，使用来自无损解码单元211、逆量化单元212和逆正交变换单元213的信息，针对每个宏块根据是否出现蚊式噪声来对图像进行分类，并且将其分类结果提供给自适应环路滤波器215。

按照与图4中的自适应环路滤波器91相同的方式，从无损解码单元211向自适应环路滤波器215提供所解码的并且提取自报头的滤波器系数。自适应环路滤波器215使用所提供的滤波器系数对来自解块滤波器46的解码图像执行滤波器处理。作为该滤波器，采用例如Wiener滤波器（Wiener滤波器）。

然而，自适应环路滤波器215使用相应的滤波器系数，对作为类分类单元114已对整个屏幕分类的结果、认为其出现蚊式噪声的宏块类以及不认为其出现蚊式噪声的宏块类中的每个执行滤波器处理。[类分类单元和自适应环路滤波器的配置示例]

图24是图示执行第一方法的类分类单元214和自适应环路滤波器215的配置示例的框图。

对于图24中的示例，类分类单元214按照与图15中的类分类单元114相同的方式，由阈值确定单元121、复杂度计算单元122和蚊式宏块分类单元123构成。

自适应环路滤波器215由非蚊式滤波器系数缓冲器231、蚊式滤波器系数缓冲器232、非蚊式滤波单元233和蚊式滤波单元234构成。

从逆正交变换单元213向阈值确定单元121提供关于当前宏块的正交变换尺寸的信息。阈值确定单元121基于当前宏块的正交变换尺寸，根据是否出现蚊式噪声来确定关于类分类的阈值Θ(T)。所确定的阈值Θ(T)的信息被提供给蚊式宏块分类单元123。

从逆量化单元212向复杂度计算单元122提供关于当前宏块的量化值的信息。从无损解码单元211向复杂度计算单元122提供关于当前宏块的生成的码量（生成位）的信息。注意，在采用CABAC格式作为无损编码格式的情况下，可以提供生成位段替代生成位。

复杂度计算单元122使用上式（91）计算关于当前宏块的复杂度（式（91）的情况下的活跃度），并且将计算的复杂度的值提供给蚊式宏块分类单元123。

蚊式宏块分类单元123使用上式（92）的阈值确定处理，将当前宏块分类成（被认为）包括蚊式噪声的宏块类以及不同于该宏块类的宏块类。蚊式宏块分类单元123将被分类成包括蚊式噪声的宏块类的宏块的地址作为其分类结果提供给蚊式滤波器系数缓冲器232，并且将被分类成不同于该宏块类的宏块类的宏块的地址提供给非蚊式滤波器系数缓冲器231。

从无损解码单元211向非蚊式滤波器系数缓冲器231和蚊式滤波器系数缓冲器232输入关于每个切片的滤波器系数。来自解块滤波器46的解块滤波器处理之后的像素值被输入到非蚊式滤波器系数缓冲器231、蚊式滤波器系数缓冲器232、非蚊式滤波单元233和蚊式滤波单元234。

非蚊式滤波器系数缓冲器231和蚊式滤波器系数缓冲器232均从来自解块滤波器46的解块滤波器处理之后的像素值获得从蚊式宏块分类单元123提供的地址所指示的宏块。

非蚊式滤波器系数缓冲器231将关于所获得的宏块的像素值（即，由蚊式宏块分类单元123分类的类的像素值）的非蚊式滤波器系数连同相应的类的宏块地址一起提供给非蚊式滤波单元233。

再者，蚊式滤波器系数缓冲器232将关于所获得的宏块的像素值（即，由蚊式宏块分类单元123分类的类的像素值）的蚊式滤波器系数连同相应的类的宏块地址一起提供给蚊式滤波单元234。

非蚊式滤波单元233使用非蚊式滤波器系数，对相应的类（不包括许多蚊式噪声的类）的宏块地址指示的、来自解块滤波器46的解块滤波器处理之后的像素值执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器49。

蚊式滤波单元234使用蚊式滤波器系数，对相应的类（包括蚊式噪声的类）的宏块地址指示的、来自解块滤波器46的解块滤波器处理之后的像素值执行滤波器处理。滤波器处理之后的像素值被输出到帧存储器49。

图25是图示执行第二方法的类分类单元214和自适应环路滤波器215的配置示例的框图。

对于图25中的示例，类分类单元214按照与图16中的类分类单元114相同的方式，由阈值确定单元141、非零系数数目缓冲器142和蚊式宏块分类单元143构成。

自适应环路滤波器215按照与图24中的示例相同的方式，由非蚊式滤波器系数缓冲器231、蚊式滤波器系数缓冲器232、非蚊式滤波单元233和蚊式滤波单元234构成。

来自逆正交变换单元213的关于当前宏块的正交变换尺寸的信息以及来自逆量化单元212的关于当前宏块的量化值的信息被提供给阈值确定单元141。阈值确定单元141基于当前宏块的正交变换尺寸和量化值，确定关于用于去除蚊式噪声的滤波器处理的阈值Θ(QP，T)。所确定的阈值Θ(QP，T)的信息被提供给蚊式宏块分类单元143。

从逆量化单元212向非零系数数目缓冲器142提供关于当前宏块的量化之后的正交变换系数（非零系数）的数目的信息用于存储。非零系数数目缓冲器142中存储的非零系数数目的信息被提供给蚊式宏块分类单元143。

蚊式宏块分类单元143基于阈值Θ(QP，T)的信息以及非零系数的数目的信息，使用上式（93）的阈值确定处理，将当前宏块分类成（被认为）包括蚊式噪声的宏块类以及不同于该宏块类的宏块类。蚊式宏块分类单元143将被分类成包括蚊式噪声的宏块类的宏块的地址作为其分类结果提供给蚊式滤波器系数缓冲器232，并且将被分类成不同于该宏块类的宏块类的宏块的地址提供给非蚊式滤波器系数缓冲器231。

[图像解码设备的解码处理的描述]

接下来，将参照图26中的流程图描述图像解码设备201执行的解码处理。

在步骤S131中，存储缓冲器41存储传送的图像。在步骤S132中，无损解码单元211对从存储缓冲器41提供的压缩图像解码。就是说，由图5中的无损编码单元113编码的I图片、P图片和B图片被解码。

此时，运动向量信息、参考帧信息、预测模式信息（指示帧内预测模式或帧间预测模式的信息）、蚊式和非蚊式滤波器系数等也被解码。

具体地，在预测模式信息是帧内预测模式信息的情况下，预测模式信息被提供给帧内预测单元51。在预测模式信息是帧间预测模式信息的情况下，与预测模式信息对应的运动向量信息和参考帧信息被提供给运动补偿单元52。针对每个切片对蚊式和非蚊式滤波器系数解码，并且将其提供给自适应环路滤波器215。

再者，此时，无损解码单元211将关于每个宏块的生成的码量的信息提供给类分类单元214。该信息用于后面描述的步骤S137中的自适应环路滤波器处理。

在步骤S133中，逆量化单元212利用对应于图5中的量化单元112的性质的性质使无损解码单元211解码的变换系数经历逆量化。此时，逆量化单元212将关于宏块的量化值的信息提供给类分类单元214。该信息用于后面描述的步骤S137中的自适应环路滤波器处理。

在步骤S134中，逆正交变换单元213利用对应于图5中的正交变换单元111的性质的性质，使经历逆量化单元212的逆量化的变换系数经历逆正交变换。因此，与图5中的正交变换单元111的输入（计算单元13的输出）对应的差信息被解码。注意，此时，逆正交变换单元213将关于当前宏块的正交变换尺寸的信息提供给类分类单元214。该信息用于后面描述的步骤S137中的自适应环路滤波器处理。

在步骤S135中，计算单元45使将在后面描述的步骤S141中的处理处选择的并且将经由开关53输入的预测图像与差信息相加。因此，原始图像被解码。在步骤S136中，解块滤波器46使从计算单元45输出的图像经历解块滤波器处理。因此，去除了块噪声。

在步骤S137中，类分类单元214和自适应环路滤波器215使用在以上步骤S132、步骤S133和步骤S134中提供的信息，使解块滤波器之后的解码图像经历自适应环路滤波器处理。

该自适应环路滤波器处理的细节与上文参照图20和21描述的上述图像编码设备101的自适应环路滤波器处理相同，不同之处在于图20中的步骤S87和S88以及图21中的步骤S106和S107中的处理。因此，将参照图28仅进行关于图20中的步骤S87和S88以及图21中的步骤S106和S107中的不同处理的描述，并且关于它们的其他处理的描述将被省略。来自自适应环路滤波器215的图像被输出到帧存储器49和屏幕重排缓冲器47。

在步骤S138中，帧存储器49存储经历滤波的图像。

在步骤S139中，帧内预测单元51或运动补偿单元52响应于从无损解码单元211提供的预测模式信息执行预测图像生成处理。

具体地，在已从无损解码单元211提供帧内预测模式信息的情况下，帧内预测单元51执行帧内预测模式的帧内预测处理以生成帧内预测图像。在已从无损解码单元211提供帧间预测模式信息的情况下，运动补偿单元52执行帧间预测模式的运动预测/补偿处理以生成帧间预测图像。

尽管后面将参照图27描述步骤S139中的预测处理的细节，但是根据该处理，帧内预测单元51生成的预测图像（帧内预测图像）或者运动补偿单元52生成的预测图像（帧间预测图像）被提供给开关53。

在步骤S140中，开关53选择预测图像。就是说，提供帧内预测单元51生成的预测图像或者运动补偿单元52生成的预测图像。因此，所提供的预测图像被选择并且提供给计算单元45，并且如上文所述，在步骤S135中与逆正交变换单元44的输出相加。

在步骤S141中，屏幕重排缓冲器47执行自适应环路滤波器91之后的图像的重新排列。就是说，图像编码设备101的屏幕重排缓冲器12重新排列的用于编码的帧顺序被重新排列成原始显示顺序。

在步骤S142中，D/A转换单元48将来自屏幕重排缓冲器47的图像从数字转换成模拟。该图像被输出到未示出的显示器，并且在其上显示该图像。

[图像解码设备的预测图像生成处理的描述]

接下来，将参照图27中的流程图描述图26中的步骤S139中的预测图像生成处理。

帧内预测单元51在步骤S171中确定要处理的块是否已经历帧内编码。在从无损解码单元211向帧内预测单元51提供帧内预测模式信息时，帧内预测单元51在步骤S171中确定要处理的块已经历帧内编码，并且处理前往步骤S172。

在步骤S172中，帧内预测单元51获得帧内预测模式信息，并且在步骤S173中执行帧内预测以生成帧内预测图像。

具体地，在要处理的图像是将经历帧内处理的图像的情况下，从帧存储器49读出所需的图像，并且经由开关50将其提供给帧内预测单元51。在步骤S173中，帧内预测单元51根据在步骤S172中获得的帧内预测模式信息来执行帧内预测以生成预测图像。所生成的预测图像被输出到开关53。

另一方面，在步骤S171中确定未执行帧内预测的情况下，处理前往步骤S174。

在要处理的图像是将经历帧间处理的图像的情况下，从无损解码单元211向运动补偿单元52提供帧间预测模式信息、参考帧信息和运动向量信息。

在步骤S174中，运动补偿单元52从无损解码单元211获得预测模式信息等。具体地，获得运动（帧间）预测模式信息、参考帧信息和运动向量信息。

在步骤S175中，运动补偿单元52使用运动向量信息使来自帧存储器49的参考图像经历补偿以生成帧间预测图像。所生成的预测图像经由开关53被提供给计算单元45，并且在图23中的步骤S135中与逆正交变换单元213的输出相加。

[图像解码设备的自适应滤波器处理的描述]

接下来，将参照图28中的流程图，进行关于图20中的自适应环路滤波器处理的步骤S87中的蚊式自适应滤波器处理的描述，其是图26中的步骤S137中的自适应环路滤波器处理的描述。注意，该处理和图21中的步骤S106中的处理是基本上相同的处理，并且图20中的步骤S88和图21中的步骤S107中的处理是基本上相同的处理，不同之处在于要处理的宏块不同，并且因此，将省略它们的详细描述。

在以上步骤S132中针对每个切片从无损解码单元211（即，图像编码设备101）分别向非蚊式滤波器系数缓冲器231和蚊式滤波器系数缓冲器232提供非蚊式和蚊式滤波器系数，并且因此分别存储这些系数。

再者，来自解块滤波器46的解块滤波器处理之后的像素值被输入到蚊式滤波器系数缓冲器232和蚊式滤波单元234。

在图20中的步骤S86中确定活跃度X大于阈值Θ的情况下，蚊式宏块分类单元123确定当前宏块将被分类成包括蚊式噪声的宏块类，并且将当前宏块的地址提供给蚊式滤波器系数缓冲器232。

在步骤S191中，蚊式滤波器系数缓冲器232参考当前宏块的地址以在所存储的滤波器系数中获得相应的滤波器系数，并且将所获得的滤波器系数（蚊式滤波器系数）和当前宏块的地址提供给蚊式滤波单元234。

在步骤S192中，蚊式滤波单元234使用蚊式滤波器系数执行滤波器处理。具体地，蚊式滤波单元234使用蚊式滤波器系数，对来自蚊式滤波器系数缓冲器232的宏块地址指示的、来自解块滤波器46的解块滤波器处理之后的像素值执行滤波器处理。

在步骤S193中，蚊式滤波单元234将作为滤波器处理结果的、滤波器处理之后的像素值输出到帧存储器49。

如上文所述，通过图像编码设备101和图像解码设备201，使用关于每个宏块的诸如正交变换系数、正交变换尺寸、量化值和码量的编码信息，根据是否出现蚊式噪声来对宏块进行分类，并且针对每个类执行自适应环路滤波器处理。

尽管这里提到的蚊式噪声是与块噪声相同的局部噪声，但是不同于块噪声，解块滤波器21处的去除是困难的。

因此，根据是否出现蚊式噪声来对宏块进行分类，并且针对每个类执行自适应环路滤波器处理，并且因此去除了蚊式噪声，并且提高了解码图像的图像质量。此外，在运动补偿环路中的自适应环路滤波器处执行这种蚊式噪声的去除，并且因此还提高了对于运动补偿从现在起要被参考的图像的图像质量。因此，提高了编码效率。

再者，对于关于是否出现蚊式噪声的类分类，采用为了传送到解码侧而最初计算的编码信息，并且因此不需要计算或传送新的信息。

注意，通过以上描述，尽管已描述了关于4×4个像素和8×8个像素的正交变换尺寸的示例，但是正交变换尺寸不限于这些尺寸。本发明还适用于进一步更大的正交变换尺寸。

顺便提及，用作ITU-T和ISO/IEC之间的标准化协作组织的JCTVC（联合协作团队视频编码）当前已推进被称为HEVC（高效视频编码）的编码格式的标准化，其目标在于较之H.264/AVC进一步提高编码效率。在2010年9月已发布了作为草案的“Test Model under Consideration”（JCTVC-B205）。

现将进行关于通过HEVC编码格式定义的编码单位的描述。

尽管编码单位（CU）还被称为编码树块（CTB），并且承担与H.264/AVC中的宏块相同的任务，但是后者被固定到16×16个像素的尺寸，而前者的尺寸不是固定的，而是在相应的序列中的图像压缩信息内指定。

特别地，具有最大尺寸的CU被称为LCU（最大编码单位），并且具有最小尺寸的CU被称为SCU（最小编码单位）。利用图像压缩信息中包括的序列参数集合，指定这些尺寸，但是这些尺寸均限于平方数，并且是由2的幂表示的尺寸。

图34图示了通过HEVC编码格式定义的编码单位的示例。对于图34中的示例，LCU的尺寸是128，并且最大层级深度是5。当split_flag的值是1时，具有2N×2N的尺寸的CU被分成具有N×N的尺寸的CU，该具有N×N的尺寸的CU为降一级的层级水平。

此外，CU被分成用作帧内或帧间预测增量的预测单位（PU），并且还被分成用作正交变换增量的变换单位（TU）。

编码单位被进一步分成用作帧内或帧间预测增量的PU（预测单位），并且还被分成用作正交变换增量的TU（变换单位），其中执行预测处理和正交变换处理。当前，对于HEVC编码格式，除了4×4和8×8之外，可以采用16×16和32×32正交变换。

对于本说明书，块和宏块包括诸如上文所述的编码单位（CU）、预测单位（PU）和变换单位（TU）的概念，并且不限于具有固定尺寸的块。

对于以上描述，尽管H.264/AVC格式用作编码格式的基础，但是本发明不限于此，并且可以应用基于正交变换和运动补偿的其他编码格式/解码格式。

注意，本发明可以应用于在例如利用MPEG、H.26x等，经由诸如卫星广播、有线电视、互联网、蜂窝电话等的网络介质，接收通过诸如离散余弦变换等的正交变换以及运动补偿而压缩的图像信息（位流）时使用的图像编码设备和图像解码设备。再者，本发明可以应用于在处理诸如光盘、磁盘和闪速存储器的存储介质上的图像信息时使用的图像编码设备和图像解码设备。此外，本发明可以应用于在这样的图像编码设备和图像解码设备中包括的运动预测补偿设备等。

上述系列处理可以由硬件执行，或者可以由软件执行。在通过软件执行该系列处理的情况下，构成其软件的程序被安装在计算机中。这里，计算机的示例包括内建于专用硬件中的计算机，以及通用个人计算机，由此各个功能可以由安装到通用个人计算机的各种类型的程序执行。

[个人计算机的配置示例]

图29是图示使用程序执行上述系列处理的计算机的硬件的配置示例的框图。

对于计算机，CPU（中央处理单元）251、ROM（只读存储器）252和RAM（随机存取存储器）253通过总线254相互连接。

此外，输入/输出接口255连接到总线254。输入单元256、输出单元257、存储单元258、通信单元259以及驱动器260连接到输入/输出接口255。

输入单元256由键盘、鼠标、麦克风等构成。输出单元257由显示器、扬声器等构成。存储单元258由硬盘、非易失性存储器等构成。通信单元259由网络接口等构成。驱动器260驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质261。

对于这样配置的计算机，例如，CPU 251经由输入/输出接口255和总线254将存储单元258中存储的程序加载到RAM 253，并且执行该程序，并且因此，执行上述系列处理。

可以通过将计算机（CPU 251）执行的程序记录在例如用作封装介质等的可移除介质261中来提供该程序。再者，可以经由诸如局域网、互联网或数字广播的有线或无线传送介质来提供程序。

对于计算机，可以通过将可移除介质261安装在驱动器260上经由输入/输出接口255将程序安装在存储单元258中。再者，可以经由有线或无线传送介质由通信单元259接收程序并且将该程序安装在存储单元258中。另外，可以将程序预先安装在ROM 252或存储单元258中。

注意，计算机执行的程序可以是其中沿本说明书中描述的次序按时间次序执行处理的程序，或者可以是其中并行地或者在需要的定时（诸如当执行调用时）执行处理的程序。

本发明的实施例不便于上述实施例，并且在不偏离本发明的实质内容的情况下可以进行各种修改。

例如，上述图像编码设备101和图像解码设备201可以应用于可选的电设备。在下文中，将描述电设备的示例。

[电视接收器的配置示例]

图30是图示使用已被应用本发明的图像解码设备的电视接收器的主要配置示例的框图。

图30中所示的电视接收器300包括地面调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320、和显示面板321。

地面调谐器313经由天线接收地面模拟广播的广播波信号，进行解调，获得视频信号，并且将它们提供给视频解码器315。视频解码器315使从地面调谐器313提供的视频信号经历解码处理，并且将获得的数字分量信号提供给视频信号处理电路318。

视频信号处理电路318使从视频解码器315提供的视频数据经历诸如噪声去除等的预定处理，并且将获得的视频数据提供给图形生成电路319。

图形生成电路319生成将显示在显示面板321上的节目的视频数据，或者将经由网络提供的、由基于应用的处理得到的图像数据等，并且将生成的视频数据或图像数据提供给面板驱动电路320。再者，图形生成电路319还执行诸如如下处理：将通过生成关于用户的、显示用于选择项目等的屏幕的视频数据（图形）并且将其叠加在节目的视频数据上而获得的视频数据适当地提供给面板驱动电路320。

面板驱动电路320基于从图形生成电路319提供的数据来驱动显示面板321，以在显示面板321上显示节目的视频或者上述各种屏幕。

显示面板321由LCD（液晶显示器）等构成，并且根据面板驱动电路320的控制来显示节目的视频等。

再者，电视接收器300还包括音频A/D（模拟/数字）转换电路314、音频信号处理电路322、回声消除/音频合成电路323、音频放大器电路324、和扬声器325。

地面调谐器313对接收到的广播波信号解调，从而不仅获得视频信号，还获得音频信号。地面调谐器313将获得的音频信号提供给音频A/D转换电路314。

音频A/D转换电路314使从地面调谐器313提供的音频信号经历A/D转换处理，并且将获得的数字音频信号提供给音频信号处理电路322。

音频信号处理电路322使从音频A/D转换电路314提供的音频数据经历诸如噪声去除等的预定处理，并且将获得的音频数据提供给回声消除/音频合成电路323。

回声消除/音频合成电路323将从音频信号处理电路322提供的音频数据提供给音频放大器电路324。

音频放大器电路324使从回声消除/音频合成电路323提供的音频数据经历D/A转换处理，经历放大器处理以调整到预定音量，并且随后从扬声器325输出音频。

此外，电视接收器300还包括数字调谐器316和MPEG解码器317。

数字调谐器316经由天线接收数字广播（地面数字广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，进行解调以获得MPEG-TS（运动图片专家组-输送流），并且将其提供给MPEG解码器317。

MPEG解码器317对加到从数字调谐器316提供的MPEG-TS的扰动进行解扰，并且提取包括用作播放对象（观看对象）的节目的数据的流。MPEG解码器317对构成所提取的流的音频分组解码，将获得的音频数据提供给音频信号处理电路322，并且还对构成流的视频分组解码，并且将获得的视频数据提供给视频信号处理电路318。再者，MPEG解码器317经由未示出的路径将从MPEG-TS提取的EPG（电子节目指南）数据提供给CPU 332。

电视接收器300使用上述图像解码设备201作为用于以这种方式对视频分组解码的MPEG解码器317。因此，通过去除蚊式噪声，MPEG解码器317可以按照与图像解码设备201的情况相同的方式，提高解码图像的图像质量，并且进一步提高对于运动补偿从现在起要被参考的图像的图像质量。结果，提高了编码效率。

从MPEG解码器317提供的视频数据按照与从视频解码器315提供的视频数据的情况相同的方式，在视频信号处理电路318处经历预定处理。经历预定处理的视频数据随后在图形生成电路319处被适当地叠加在生成的视频数据等上，经由面板驱动电路320被提供给显示面板321，并且在显示面板321上显示其图像。

从MPEG解码器317提供的音频数据按照与从音频A/D转换电路314提供的音频数据的情况相同的方式，在音频信号处理电路322处经历预定处理，经由回声消除/音频合成电路323被提供给音频放大器电路324，并且经历D/A转换处理和放大器处理。作为其结果，从扬声器325输出按预定音量调整的音频。

再者，电视接收器300还包括麦克风326和A/D转换电路327。

A/D转换电路327接收用作音频交谈的、提供给电视接收器300的由麦克风326收集的用户的音频信号，使接收到的音频信号经历A/D转换处理，并且将获得的数字音频数据提供给回声消除/音频合成电路323。

在已从A/D转换电路327提供电视接收器300的用户（用户A）的音频数据的情况下，回声消除/音频合成电路323以用户（用户A）的音频数据为对象执行回声消除，并且经由音频放大器电路324从扬声器325输出通过与其他音频数据等合成而获得的音频数据。

此外，电视接收器300还包括音频编解码器328、内部总线329、SDRAM（同步动态随机存取存储器）330、闪速存储器331、CPU 332、USB（通用串行总线）I/F 333、和网络I/F 334。

A/D转换电路327接收用作音频交谈的、提供给电视接收器300的由麦克风326收集的用户的音频信号，使接收到的音频信号经历A/D转换处理，并且将获得的数字音频数据提供给音频编解码器328。

音频编解码器328将从A/D转换电路327提供的音频数据转换成用于经由网络传送的预定格式的数据，并且经由内部总线329提供给网络I/F 334。

网络I/F 334经由安装在网络端子335上的线缆连接到网络。例如，网络I/F 334将从音频编解码器328提供的音频数据传送到连接到其网络的另一设备。再者，例如，网络I/F 334经由网络端子335接收从经由网络与其连接的另一设备传送的音频数据，并且经由内部总线329将其提供给音频编解码器328。

音频编解码器328将从网络I/F 334提供的音频数据转换成预定格式的数据，并且将其提供给回声消除/音频合成电路323。

回声消除/音频合成电路323以从音频编解码器328提供的音频数据为对象执行回声消除，并且经由音频放大器电路324从扬声器325输出通过合成音频数据和其他音频数据等而获得的音频的数据。

SDRAM 330存储CPU 332执行处理所需的各种类型的数据。

闪速存储器331存储将由CPU 332执行的程序。CPU 332在预定定时，诸如当激活电视接收器300等时，读出闪速存储器331中存储的程序。经由数字广播获得的EPG数据、经由网络从预定服务器获得的数据等也存储在闪速存储器331中。

例如，包括通过CPU 332的控制经由网络从预定服务器获得的内容数据的MPEG-TS被存储在闪速存储器331中。例如，闪速存储器331通过CPU 332的控制经由内部总线329将其MPEG-TS提供给MPEG解码器317。

MPEG解码器317按照与从数字调谐器316提供的MPEG-TS的情况相同的方式处理其MPEG-TS。这样，电视接收器300经由网络接收由视频、音频等构成的内容数据，使用MPEG解码器317进行解码，从而可以显示其视频，并且可以输出其音频。

再者，电视接收器300还包括光接收单元337，用于接收从遥控器351传送的红外信号。

光接收单元337从遥控器351接收红外线，并且向CPU 332输出通过解调获得的表示用户操作的内容的控制码。

CPU 332执行闪速存储器331中存储的程序，以根据从光接收单元337等提供的控制码来控制电视接收器300的整体操作。CPU 332和电视接收器300的各单元经由未示出的路径连接。

USB I/F 333针对经由安装在USB端子336上的USB线缆连接的电视接收器300的外部设备执行数据的传送/接收。网络I/F 334经由安装在网络端子335上的线缆连接到网络，还针对连接到网络的各种设备执行音频数据以外的数据的传送/接收。

电视接收器300可以通过使用图像解码设备201作为MPEG解码器317来提高编码效率。作为其结果，电视接收器300可以从经由天线接收的广播信号或者经由网络获得的内容数据获得并显示较高图像质量的解码图像。

[蜂窝电话的配置示例]

图31是图示使用已被应用本发明的图像编码设备和图像解码设备的蜂窝电话的主要配置示例的框图。

图31中所示的蜂窝电话400包括被配置成整体地控制各单元的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、摄像装置I/F单元454、LCD控制单元455、图像解码器456、复用/分离单元457、记录/播放单元462、调制/解调电路单元458、和音频编解码器459。这些单元经由总线460相互连接。

再者，蜂窝电话400包括操作键419、CCD（电荷耦合器件）摄像装置416、液晶显示器418、存储单元423、传送/接收电路单元463、天线414、麦克风（MIC）421、和扬声器417。

在呼叫结束并且通过用户操作接通电源键时，电源电路单元451通过从电池组向各单元供电在操作状态下激活蜂窝电话400。

蜂窝电话400基于由CPU、ROM、RAM等构成的主控制单元450的控制，在诸如语音呼叫模式、数据通信模式等的各种模式中，执行诸如音频信号的传送/接收、电子邮件和图像数据的传送/接收、图像拍摄、数据记录等的各种操作。

例如，在语音呼叫模式中，蜂窝电话400通过音频编解码器459将麦克风（话筒）421收集的音频信号转换成数字音频数据，在调制/解调电路单元458处使其经历扩频处理，并且在传送/接收电路单元463处使其经历数字/模拟转换处理和频率转换处理。蜂窝电话400经由天线414将通过其转换处理获得的用于传送的信号传送到未示出的基站。传送到基站的用于传送的信号（音频信号）经由公共电话网络被提供给另一方的蜂窝电话。

再者，例如，在语音呼叫模式中，蜂窝电话400对在天线414处、传送/接收电路单元463处接收到的接收信号进行放大，进一步经历频率转换处理和模拟/接字转换处理，在调制/解调电路单元458处经历解扩处理，并且通过音频编解码器459转换成模拟音频信号。蜂窝电话400从扬声器417输出其经转换的和所获得的模拟音频信号。

此外，例如，在数据通信模式中传送电子邮件的情况下，蜂窝电话400接受在操作输入控制单元452处通过操作键419的操作而输入的电子邮件的文本数据。蜂窝电话400在主控制单元450处处理其文本数据，并且经由LCD控制单元455将其作为图像显示在液晶显示器418上。

再者，蜂窝电话400基于操作输入控制单元452接受的文本数据、用户指令等，在主控制单元450处生成电子邮件数据。蜂窝电话400使其电子邮件数据在调制/解调电路单元458处经历扩频处理，并且在传送/接收电路单元463处经历数字/模拟转换处理和频率转换处理。蜂窝电话400经由天线414将通过其转换处理获得的用于传送的信号传送到未示出的基站。传送到基站的用于传送的信号（电子邮件）经由网络、邮件服务器等被提供给预定目标。

再者，例如，在数据通信模式中接收电子邮件的情况下，蜂窝电话400通过传送/接收电路单元463经由天线414接收从基站传送的信号，进行放大，并且进一步经历频率转换处理和模拟/数字转换处理。蜂窝电话400使其接收信号在调制/解调电路单元458处经历解扩处理以恢复原始的电子邮件数据。蜂窝电话400经由LCD控制单元455在液晶显示器418上显示恢复的电子邮件数据。

注意，蜂窝电话400可以经由记录/播放单元462将接收到的电子邮件数据记录（存储）在存储单元423中。

该存储单元423是可选的可重写记录介质。存储单元423可以是诸如RAM、内建闪速存储器等的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器、存储器卡等的可移除介质。毋庸置疑，存储单元423可以是不同于这些设备的设备。

此外，例如，在数据通信模式中传送图像数据的情况下，蜂窝电话400通过在CCD摄像装置416处进行成像来生成图像数据。CCD摄像装置416包括CCD，其用作诸如透镜、光圈等的光学器件，并且用作光电转换器件，该CCD对物体成像，将接收到的光的强度转换成电信号，并且生成物体的图像的图像数据。CCD摄像装置416经由摄像装置I/F单元454在图像编码器453处执行图像数据的压缩编码，并且按例如诸如MPEG2或MPEG4等的预定编码格式转换成编码图像数据。

蜂窝电话400采用上述图像编码设备101作为用于执行该处理的图像编码器453。因此，通过去除蚊式噪声，按照与图像编码设备101相同的方式，图像编码器453可以提高解码图像的图像质量，并且进一步提高对于运动补偿从现在起要被参考的图像的图像质量。作为其结果，提高了编码效率。

注意，与此同时，在通过CCD摄像装置416拍摄的同时，蜂窝电话400在音频编解码器459处将在麦克风（话筒）421处收集的音频从模拟转换成数字，并且进一步对其编码。

蜂窝电话400使用预定方法在复用/分离单元457处复用从图像编码器453提供的编码图像数据以及从音频编解码器459提供的数字音频数据。蜂窝电话400使作为其结果获得的复用数据在调制/解调电路单元458处经历扩频处理，并且在传送/接收电路单元463处经历数字/模拟转换处理和频率转换处理。蜂窝电话400经由天线414将通过其转换处理获得的用于传送的信号传送到未示出的基站。传送到基站的用于传送的信号（图像数据）经由网络等被提供给另一方。

注意，在未传送图像数据的情况下，蜂窝电话400还可以经由LCD控制单元455而非图像编码器453在液晶显示器418上显示在CCD摄像装置416处生成的图像数据。

再者，例如，在数据通信模式中接收链接到简单网站等的运动图像文件的数据的情况下，蜂窝电话400经由天线414在传送/接收电路单元463处接收从基站传送的信号，进行放大，并且进一步经历频率转换处理和模拟/数字转换处理。蜂窝电话400使接收的信号在调制/解调电路单元458处经历解扩处理以恢复原始的复用数据。蜂窝电话400在复用/分离单元457处将其复用数据分离成编码图像数据和音频数据。

蜂窝电话400利用与诸如MPEG2或MPEG4等的预定编码格式对应的解码格式在图像解码器456处对编码图像数据解码，由此生成播放运动图像数据，并且经由LCD控制单元455将其显示在液晶显示器418上。因此，链接到简单网站的运动图像文件中包括的运动图像数据被显示在例如液晶显示器418上。

蜂窝电话400使用上述图像解码设备201作为用于执行该处理的图像解码器456。因此，通过去除蚊式噪声，按照与图像解码设备201相同的方式，图像解码器456可以提高解码图像的图像质量，并且进一步提高对于运动补偿从现在起要被参考的图像的图像质量。作为其结果，提高了编码效率。

与此同时，蜂窝电话400在音频编解码器459处将数字音频数据转换成模拟音频信号，并且从扬声器417将其输出。因此，例如播放链接到简单网站的运动图像文件中包括的音频数据。

注意，按照与电子邮件的情况相同的方式，蜂窝电话400可以经由记录/播放单元462将接收到的链接到简单网站等的数据记录（存储）在存储单元423中。

再者，蜂窝电话400在主控制单元450处分析由CCD摄像装置416获得的成像二维码，由此可以获得二维码中记录的信息。

此外，蜂窝电话400可以使用红外线在红外通信单元481处与外部设备通信。

蜂窝电话400采用图像编码设备101作为图像编码器453，由此可以提高编码效率。结果，蜂窝电话400可以向另一设备提供具有良好的编码效率的编码数据（图像数据）。

再者，蜂窝电话400采用图像解码设备201作为图像解码器456，由此可以提高编码效率。作为其结果，蜂窝电话400可以获得并显示来自例如链接到简单网站等的运动图像文件的较高清晰度的解码图像。

注意，到此为止已进行了其中蜂窝电话400采用CCD摄像装置416的描述，但是蜂窝电话400可以采用使用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）替代该CCD摄像装置416。在该情况下，蜂窝电话400也可以按照与采用CCD摄像装置416的情况相同的方式，对物体成像并且生成物体的图像的图像数据。

再者，到此为止已进行了关于蜂窝电话400的描述，但是图像编码设备101和图像解码设备201可以按照与蜂窝电话400的情况相同的方式应用于任何类型的设备，只要该设备具有与蜂窝电话400相同的成像功能和通信功能即可，例如诸如PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、上网本、笔记本大小的个人计算机等。

[硬盘记录器的配置示例]

图32是图示使用已被应用本发明的图像编码设备和图像解码设备的硬盘记录器的主要配置示例的框图。

图32中所示的硬盘记录器（HDD记录器）500是如下设备，其在内建硬盘中存储由调谐器接收的并且从卫星或地面天线等传送的广播波信号（电视信号）中包括的广播节目的音频数据和视频数据，并且在根据用户指令的定时将存储的数据提供给用户。

例如，硬盘记录器500可以从广播波信号提取音频数据和视频数据，适当地对它们解码，并且存储在内建硬盘中。再者，例如，硬盘记录器500还可以经由网络从另一设备获得音频数据和视频数据，适当地对它们解码，并且存储在内建硬盘中。

此外，例如，硬盘记录器500可以对内建硬盘中记录的音频数据和视频数据解码，将其提供给监视器560，在监视器560的屏幕上显示其图像，并且从监视器560的扬声器输出其音频。

例如，硬盘记录器500可以对从经由调谐器获得的广播波信号提取的音频数据和视频数据，或者经由网络从另一设备获得的音频数据和视频数据进行解码，将其提供给监视器560，在监视器560的屏幕上显示其图像，并且从监视器560的扬声器输出其音频。

当然，可以执行这些操作以外的操作。

如图32中所示，硬盘记录器500包括接收单元521、解调单元522、解复用器523、音频解码器524、视频解码器525、和记录器控制单元526。硬盘记录器500进一步包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD（屏幕上显示）控制单元531、显示控制单元532、记录/播放单元533、D/A转换器534、和通信单元535。

再者，显示转换器530包括视频编码器541。记录/播放单元533包括编码器551和解码器552。

接收单元521从遥控器（未示出）接收红外信号，转换成电信号、并且输出到记录器控制单元526。记录器控制单元526由例如微处理器等构成，并且根据程序存储器528中存储的程序执行各种类型的处理。此时，记录器控制单元526根据需要使用工作存储器529。

连接到网络的通信单元535经由网络执行与另一设备的通信处理。例如，记录器控制单元526控制通信单元535与调谐器（未示出）通信，并且通信单元535主要向调谐器输出频道选择控制信号。

解调单元522对从调谐器提供的信号解调，并且输出到解复用器523。解复用器523将从解调单元522提供的数据分离成音频数据、视频数据和EPG数据，并且分别输出到音频解码器524、视频解码器525和记录器控制单元526。

音频解码器524例如利用MPEG格式对输入的音频数据解码，并且输出到记录/播放单元533。视频解码器525例如利用MPEG格式对输入的视频数据解码，并且输出到显示转换器530。记录器控制单元526将输入的EPG数据提供给EPG数据存储器527用于存储。

显示转换器530使用视频编码器541，将从视频解码器525或记录器控制单元526提供的视频数据编码成例如符合NTSC（美国电视标准委员会）格式的视频数据，并且输出到记录/播放单元533。再者，显示转换器530将从视频解码器525或记录器控制单元526提供的视频数据的屏幕尺寸转换成与监视器560的尺寸对应的尺寸，使用视频编码器541将屏幕尺寸已被转换的视频数据转换成符合NTSC格式的视频数据，转换成模拟信号，并且输出到显示控制单元532。

显示控制单元532在记录器控制单元526的控制下，将从OSD（屏幕上显示）控制单元531输出的OSD信号叠加在从显示转换器530输入的视频信号上，并且输出到监视器560的显示器用于显示。

再者，已使用D/A转换器534将从音频解码器524输出的音频数据转换成模拟信号，并且将其提供给监视器560。监视器560从内建扬声器输出该音频信号。

记录/播放单元533包括作为其中记录视频数据、音频数据等的记录介质的硬盘。

记录/播放单元533通过编码器551利用MPEG格式对从音频解码器524提供的音频数据编码。再者，记录/播放单元533通过编码器551利用MPEG格式对从显示转换器530的视频编码器541提供的视频数据编码。记录/播放单元533使用复用器合成其音频数据的编码数据以及其视频数据的编码数据。记录/播放单元533通过信道编码对其合成数据进行放大，并且经由记录头将其数据写入硬盘。

记录/播放单元533经由播放头播放硬盘中记录的数据，进行放大，并且使用解复用器分离成音频数据和视频数据。记录/播放单元533使用MPEG格式通过解码器552对音频数据和视频数据解码。记录/播放单元533将解码的音频数据从数字转换成模拟，并且输出到监视器560的扬声器。再者，记录/播放单元533将解码的视频数据从数字转换成模拟，并且输出到监视器560的显示器。

记录器控制单元526基于经由接收单元521接收的、来自遥控器的红外信号所指示的用户指令，从EPG数据存储器527读出最新的EPG数据，并且提供给OSD控制单元531。OSD控制单元531生成与输入EPG数据对应的图像数据，并且输出到显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出到监视器560的显示器用于显示。因此EPG（电子节目指南）显示在监视器560的显示器上。

再者，硬盘记录器500可以经由诸如互联网等的网络，获得从另一设备提供的诸如视频数据、音频数据、EPG数据等的各种类型的数据。

由记录器控制单元526控制通信单元535以经由网络获得从另一设备传送的诸如视频数据、音频数据、EPG数据等的编码数据，并且将其提供给记录器控制单元526。记录器控制单元526将获得的视频数据和音频数据的编码数据提供给记录/播放单元533，并且存储在例如硬盘中。此时，记录器控制单元526和记录/播放单元533可以根据需要执行诸如重新编码等的处理。

再者，记录器控制单元526对获得的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据提供给显示转换器530。显示转换器530按照与从视频解码器525提供的视频数据相同的方式，处理从记录器控制单元526提供的视频数据，经由显示控制单元532提供给监视器560用于显示其图像。

替选地，可以进行如下布置：其中根据该图像显示，记录器控制单元526经由D/A转换器534向监视器560提供解码的音频数据，并且从扬声器输出其音频。

此外，记录器控制单元526对获得的EPG数据的编码数据进行解码，并且将解码的EPG数据提供给EPG数据存储器527。

这样配置的硬盘记录器500采用图像解码设备201作为视频解码器525、解码器552以及容纳在记录器控制单元526中的解码器。因此，通过去除蚊式噪声，视频解码器525、解码器552以及容纳在记录器控制单元526中的解码器可以按照与图像解码设备201相同的方式，提高解码图像的图像质量，并且进一步提高对于运动补偿从现在起要被参考的图像的图像质量。作为其结果，提高了编码效率。

因此，硬盘记录器500可以实现处理速度的增加，并且还生成较高清晰度的预测图像。作为其结果，硬盘记录器500可以从经由调谐器接收的视频数据的编码数据、从记录/播放单元533的硬盘读出的视频数据的编码数据、以及经由网络获得的视频数据的编码数据，获得较高清晰度的解码图像，并且显示在例如监视器560上。

再者，硬盘记录器500采用图像编码设备101作为编码器551。因此，通过去除蚊式噪声，编码器551可以按照与图像编码设备101的情况相同的方式，提高解码图像的图像质量，并且进一步提高对于运动补偿从现在起要被参考的图像的图像质量。作为其结果，提高了编码效率。

因此，硬盘记录器500可以实现处理速度的增加，并且还提高了将被记录在例如硬盘中的编码数据的编码效率。作为其结果，硬盘记录器500可以更高效地使用硬盘的存储区域。

注意，到此为止已进行了关于用于将视频数据和音频数据记录在硬盘中的硬盘记录器500的描述，但是毋庸置疑，可以采用任何类型的记录介质。例如，即使对于被应用除了硬盘以外的、诸如闪速存储器、光盘、录像带等的记录介质的记录器，仍可以按照与上述硬盘记录器500的情况相同的方式，对其应用图像编码设备101和图像解码设备201。

[摄像装置的配置示例]

图33是图示使用已被应用本发明的图像编码设备和图像解码设备的摄像装置的主要配置示例的框图。

图33中所示的摄像装置600对物体成像，将物体的图像显示在LCD616上，并且将其作为图像数据记录在记录介质633中。

透镜模块611将光（即，物体的图片）输入到CCD/CMOS 612。CCD/CMOS 612是采用CCD或CMOS的图像传感器，其将接收到的光的强度转换成电信号，并且提供给摄像装置信号处理单元613。

摄像装置信号处理单元613将从CCD/CMOS 612提供的电信号转换成Y、Cr和Cb的色差信号，并且提供给图像信号处理单元614。图像信号处理单元614在控制器621的控制下，使从摄像装置信号处理单元613提供的图像信号经历预定的图像处理，或者使用例如MPEG格式通过编码器641对其图像信号进行编码。图像信号处理单元614将通过对图像信号编码生成的编码数据提供给解码器615。此外，图像信号处理单元614获得在屏幕上显示（OSD）620处生成的关于显示的数据，并且将其提供给解码器615。

对于上述处理，摄像装置信号处理单元613适当地利用经由总线617连接的DRAM（动态随机存取存储器）618，以根据需要将图像数据、根据其图像数据编码的编码数据等保存在其DRAM 618中。

解码器615对从图像信号处理单元614提供的编码数据进行解码，并且将获得的图像数据（解码的图像数据）提供给LCD 616。再者，解码器615将从图像信号处理单元614提供的关于显示的数据提供给LCD 616。LCD 616适当地合成从解码器615提供的解码的图像数据的图像以及关于显示的数据的图像，并且显示其合成图像。

屏幕上显示620在控制器621的控制下，经由总线617向图像信号处理单元614输出关于显示的数据，诸如由符号、字符或图形构成的菜单屏幕或图标等。

基于指示用户使用操作单元622命令的内容的信号，控制器621执行各种类型的处理，并且还经由总线617控制图像信号处理单元614、DRAM618、外部接口619、屏幕上显示620、介质驱动器623等。控制器621执行各种类型的处理所需的程序、数据等存储在闪速ROM 624中。

例如，控制器621可以对DRAM 618中存储的图像数据进行编码，或者对存储在DRAM 618中的编码数据进行解码，而不是由图像信号处理单元614和解码器615进行这些操作。此时，控制器621可以使用与图像信号处理单元614和解码器615的编码/解码格式相同的格式来执行编码/解码处理，或者可以使用图像信号处理单元614和解码器615均不能处置的格式来执行编码/解码处理。

再者，例如，在从操作单元622已指令开始图像打印的情况下，控制器621从DRAM 618读出图像数据，并且经由总线617将其提供给连接到外部接口619的打印机634用于打印。

此外，例如，在从操作单元622已指令图像记录的情况下，控制器621从DRAM 618读出编码数据，并且经由总线617将其提供给安装在介质驱动器623上的记录介质633用于存储。

记录介质633是可选的可读/可写可移除介质，例如诸如磁盘、磁光盘、光盘、半导体存储器等。毋庸置疑，记录介质633对于可移除介质的类型也是可选的，并且因此可以是磁带设备，或者可以是盘片，或者可以是存储器卡。毋庸置疑，记录介质633可以是非接触IC卡等。

替选地，介质驱动器623和记录介质633可以被配置成集成到非便携记录介质中，例如诸如内建的硬盘驱动器、SSD（固态驱动器）等。

外部接口619由例如USB输入/输出端子等构成，并且在执行图像打印的情况下连接到打印机634。再者，驱动器631根据需要连接到外部接口619，诸如磁盘、光盘或磁光盘的可移除介质632适当地安装在该驱动器631上，并且从其中读出的计算机程序根据需要安装在闪速ROM 624中。

此外，外部接口619包括网络接口，以连接到诸如LAN、互联网等的预定网络。例如，根据来自操作单元622的指令，控制器621可以从DRAM 618读出编码数据，并且将其从外部接口619提供给经由网络连接的另一设备。再者，控制器621可以经由外部接口619获得从另一设备经由网络提供的编码数据或图像数据，并且将其保存在DRAM 618中，或者将其提供给图像信号处理单元614。

这样配置的摄像装置600采用图像解码设备201作为解码器615。因此，通过去除蚊式噪声，解码器615可以按照与图像解码设备201相同的方式，提高解码图像的图像质量，并且进一步提高对于运动补偿从现在起要被参考的图像的图像质量。作为其结果，提高了编码效率。

因此，摄像装置600可以生成具有高精度的预测图像。作为其结果，摄像装置600可以以较高速度从例如在CCD/CMOS 612处生成的图像数据、从DRAM 618或记录介质633读出的视频数据的编码数据、以及经由网络获得的视频数据的编码数据，获得较高清晰度的解码图像，并且显示在LCD 616上。

再者，摄像装置600采用图像编码设备101作为编码器641。因此，通过去除蚊式噪声，编码器641可以按照与图像编码设备101的情况相同的方式，提高解码图像的图像质量，并且进一步提高对于运动补偿从现在起要被参考的图像的图像质量。作为其结果，提高了编码效率。

因此，摄像装置600可以提高将被记录在例如硬盘中的编码数据的编码效率。作为其结果，摄像装置600可以更高效地以较高的速度使用DRAM 618或记录介质633的存储区域。

注意，图像解码设备201的解码方法可以应用于控制器621执行的解码处理。同样地，图像编码设备101的编码方法可以应用于控制器621执行的编码处理。

再者，摄像装置600拍摄的图像数据可以是运动图像或者可以是静止图像。

毋庸置疑，图像编码设备101和图像解码设备201可以应用于上述设备以外的设备或系统。

附图标记列表

101图像编码设备

111正交变换单元

112量化单元

113无损编码单元

114类分类单元

115自适应环路滤波器

121阈值确定单元

122复杂度计算单元

123蚊式宏块分类单元

131非蚊式滤波器系数计算单元

132蚊式滤波器系数计算单元

133非蚊式滤波单元

134蚊式滤波单元

141阈值确定单元

142非零系数数目缓冲器

143蚊式宏块分类单元

201图像解码设备

211无损解码单元

212逆量化单元

213逆正交变换单元

214类分类单元

215自适应环路滤波器

231非蚊式滤波器系数缓冲器

232蚊式滤波器系数缓冲器

233非蚊式滤波单元

234蚊式滤波单元

权利要求书(按照条约第19条的修改)

1.（修改）一种图像处理设备，包括：

分类装置，被配置成使用预定块的编码信息，针对每个预定块根据是否出现蚊式噪声来对图像进行分类；

滤波器处理装置，被配置成使用通过使用被分类成同一类的所述预定块计算的滤波器系数，对由所述分类装置分类的每个预定块执行滤波器处理；以及

编码装置，被配置成对所述图像和所述滤波器系数编码。

2.（删除）

3.（删除）

4.（修改）根据权利要求1所述的图像处理设备，其中所述分类装置使用所述预定块的正交变换尺寸的信息作为所述预定块的编码信息，针对每个预定块根据是否出现蚊式噪声来对所述图像进行分类。

5.（修改）根据权利要求4所述的图像处理设备，其中所述分类装置进一步使用涉及关于所述预定块的生成的码量的信息以及量化位阶作为所述预定块的编码信息，针对每个预定块根据是否出现蚊式噪声来对所述图像进行分类。

6.（修改）根据权利要求5所述的图像处理设备，其中所述分类装置包括：

阈值确定装置，被配置成根据所述预定块的正交变换尺寸来确定阈值；

困难水平参数计算装置，被配置成使用涉及关于所述预定块的所述生成的码量的信息以及量化位阶来计算所述预定块的困难水平参数；以及

块分类装置，被配置成在所述困难水平参数计算装置计算的所述困难水平参数大于由所述阈值确定装置确定的所述阈值的情况下，将所述预定块分类成其中出现蚊式噪声的类，并且在所述困难水平参数计算装置计算的所述困难水平参数小于由所述阈值确定装置确定的所述阈值的情况下，将所述预定块分类成其中未出现蚊式噪声的类。

7.根据权利要求6所述的图像处理设备，其中所述阈值包括能够由用户设定的偏移值。

8.（修改）根据权利要求5所述的图像处理设备，其中所述分类装置使用生成位作为关于所述预定块的生成的码量的信息，针对每个预定块根据是否出现蚊式噪声来对所述图像进行分类。

9.（修改）根据权利要求5所述的图像处理设备，其中所述分类装置在采用CABAC作为无损编码格式的情况下，使用生成位或者生成位段作为关于所述预定块的生成的码量的信息，针对每个预定块根据是否出现蚊式噪声来对所述图像进行分类。

10.（修改）根据权利要求4所述的图像处理设备，其中所述分类装置进一步使用所述预定块中的量化参数以及量化之后的非零正交变换系数的数目作为所述预定块的编码信息，针对每个预定块根据是否出现蚊式噪声来对所述图像进行分类。

11.（修改）根据权利要求10所述的图像处理设备，其中所述分类装置包括：

阈值确定装置，被配置成根据所述预定块的正交变换尺寸和量化参数来确定阈值；以及

块分类装置，被配置成在所述预定块中的量化之后的非零正交变换系数的所述数目大于由所述阈值确定装置确定的所述阈值的情况下，将所述预定块分类成其中出现蚊式噪声的类，并且在所述预定块中的量化之后的非零正交变换系数的所述数目大于由所述阈值确定装置确定的所述阈值的情况下，将所述预定块分类成其中未出现蚊式噪声的类。

12.根据权利要求11所述的图像处理设备，其中所述阈值包括能够由用户设定的偏移值。

13.（修改）根据权利要求1所述的图像处理设备，其中所述分类装置使用关于所述预定块的运动向量的信息作为所述预定块的编码信息，针对每个所述预定块根据是否出现蚊式噪声来对所述图像进行分类。

14.（修改）一种图像处理方法，包括：

通过图像处理设备的分类装置，使用预定块的编码信息，针对每个预定块根据是否出现蚊式噪声来对图像进行分类；

通过所述图像处理设备的滤波器处理装置，使用通过使用被分类成同一类的所述预定块计算的滤波器系数，对已被分类的每个预定块执行滤波器处理；以及

通过所述图像处理设备的编码装置，对所述图像和所述滤波器系数编码。

15.（修改）一种图像处理设备，包括：

解码装置，被配置成对其中图像已被编码的编码信息解码以获得关于所述图像的每个预定块的滤波器系数；

分类装置，被配置成使用通过对所述编码信息解码而获得的所述预定块的信息，根据是否出现蚊式噪声来对所述每个预定块进行分类；以及

滤波器处理装置，被配置成使用与所述分类装置分类的类对应的所述滤波器系数对所述每个预定块执行滤波器处理。

16.（修改）一种图像处理方法，包括：

通过图像处理设备的解码装置，对其中图像已被编码的编码信息解码以获得关于所述图像的每个预定块的滤波器系数；

通过所述图像处理设备的分类装置，使用通过对所述编码信息解码而获得的所述预定块的信息，根据是否出现蚊式噪声来对所述每个预定块进行分类；以及

通过所述图像处理设备的滤波器处理装置，使用与所述分类装置分类的类对应的所述滤波器系数对所述每个预定块执行滤波器处理。

Claims (16)

1.一种图像处理设备，包括：

分类装置，被配置成针对每个预定块根据是否出现蚊式噪声来对图像进行分类；

滤波器处理装置，被配置成使用通过使用被分类成同一类的所述预定块计算的滤波器系数，对由所述分类装置分类的每个预定块执行滤波器处理；以及

编码装置，被配置成对所述图像和所述滤波器系数编码。

2.根据权利要求1所述的图像处理设备，其中所述预定块是宏块。

3.根据权利要求2所述的图像处理设备，其中所述分类装置使用所述宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对所述图像进行分类。

4.根据权利要求3所述的图像处理设备，其中所述分类装置使用所述宏块的正交变换尺寸的信息作为所述宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对所述图像进行分类。

5.根据权利要求4所述的图像处理设备，其中所述分类装置进一步使用涉及关于所述宏块的生成的码量的信息以及量化位阶作为所述宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对所述图像进行分类。

6.根据权利要求5所述的图像处理设备，其中所述分类装置包括：

阈值确定装置，被配置成根据所述宏块的正交变换尺寸来确定阈值；

困难水平参数计算装置，被配置成使用涉及关于所述宏块的所述生成的码量的信息以及量化位阶来计算所述宏块的困难水平参数；以及

宏块分类装置，被配置成在所述困难水平参数计算装置计算的所述困难水平参数大于由所述阈值确定装置确定的所述阈值的情况下，将所述宏块分类成其中出现蚊式噪声的类，并且在所述困难水平参数计算装置计算的所述困难水平参数小于由所述阈值确定装置确定的所述阈值的情况下，将所述宏块分类成其中未出现蚊式噪声的类。

7.根据权利要求6所述的图像处理设备，其中所述阈值包括能够由用户设定的偏移值。

8.根据权利要求5所述的图像处理设备，其中所述分类装置使用生成位作为关于所述宏块的生成的码量的信息，针对每个宏块根据是否出现蚊式噪声来对所述图像进行分类。

9.根据权利要求5所述的图像处理设备，其中所述分类装置在采用CABAC作为无损编码格式的情况下，使用生成位或者生成位段作为关于所述宏块的生成的码量的信息，针对每个宏块根据是否出现蚊式噪声来对所述图像进行分类。

10.根据权利要求4所述的图像处理设备，其中所述分类装置进一步使用所述宏块中的量化参数以及量化之后的非零正交变换系数的数目作为所述宏块的编码信息，针对每个宏块根据是否出现蚊式噪声来对所述图像进行分类。

11.根据权利要求10所述的图像处理设备，其中所述分类装置包括：

阈值确定装置，被配置成根据所述宏块的正交变换尺寸和量化参数来确定阈值；以及

宏块分类装置，被配置成在所述宏块中的量化之后的非零正交变换系数的所述数目大于由所述阈值确定装置确定的所述阈值的情况下，将所述宏块分类成其中出现蚊式噪声的类，并且在所述宏块中的量化之后的非零正交变换系数的所述数目大于由所述阈值确定装置确定的所述阈值的情况下，将所述宏块分类成其中未出现蚊式噪声的类。

12.根据权利要求11所述的图像处理设备，其中所述阈值包括能够由用户设定的偏移值。

13.根据权利要求3所述的图像处理设备，其中所述分类装置使用关于所述宏块的运动向量的信息作为所述宏块的编码信息，针对每个预定块根据是否出现蚊式噪声来对所述图像进行分类。

14.一种图像处理方法，包括：

通过图像处理设备的分类装置，针对每个预定块根据是否出现蚊式噪声来对图像进行分类；

通过所述图像处理设备的滤波器处理装置，使用通过使用被分类成同一类的所述预定块计算的滤波器系数，对已被分类的每个预定块执行滤波器处理；以及

通过所述图像处理设备的编码装置，对所述图像和所述滤波器系数编码。

15.一种图像处理设备，包括：

解码装置，被配置成对其中图像已被编码的编码信息解码以获得关于所述图像的每个预定块的滤波器系数；

分类装置，被配置成根据是否出现蚊式噪声来对所述每个预定块进行分类；以及

滤波器处理装置，被配置成使用与所述分类装置分类的类对应的所述滤波器系数对所述每个预定块执行滤波器处理。

16.一种图像处理方法，包括：

通过图像处理设备的解码装置，对其中图像已被编码的编码信息解码以获得关于所述图像的每个预定块的滤波器系数；

通过所述图像处理设备的分类装置，根据是否出现蚊式噪声来对所述每个预定块进行分类；以及

通过所述图像处理设备的滤波器处理装置，使用与所述分类装置分类的类对应的所述滤波器系数对所述每个预定块执行滤波器处理。

Images