CN102884791A - 图像处理设备和方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和方法，其能够最小化作为一个整体的画面中的图像劣化并改进局部图像劣化。自适应环路滤波器(111)被配置成逐宏块地将来自去块滤波器(21)的解码图像分类成与来自预测模式缓冲器(112)的帧内预测模式信息相关联的类别。自适应环路滤波器(111)被配置成逐类别地计算滤波系数，以最小化来自画面排序缓冲器(12)的源图像与来自去块滤波器(21)的图像之间的残差。自适应环路滤波器(111)被配置成利用要计算的滤波系数，执行逐类别的滤波处理，以将经过滤波处理的图像输出到帧存储器(22)。本发明可应用于基于例如H.264/AVC标准执行编码的图像编码设备。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备和方法，更具体来说，涉及用于最小化在作为一个整体的画面中的图像劣化并且改善局部图像劣化的图像处理设备和方法。

背景技术

最近，如下设备正在普及：其被配置成对图像信息进行数字处理，同时为了以更高效率发射和累计信息，通过利用诸如离散余弦变换的正交变换和利用了图像信息所特有的冗余的运动补偿，采用定义压缩的编码标准对图像进行压缩和编码。示例编码标准包括MPEG（运动图像专家组）。

MPEG-2(ISO/IEC 13818-2)被专门定义为涵盖隔行扫描图像和逐行扫描图像以及标准分辨率图像和高清图像的通用图像编码标准。例如，MPEG-2目前广泛用于专业用途和消费用途的各种应用。通过采用MPEG-2压缩标准，对例如720×480像素的标准分辨率隔行扫描图像分配4到8Mbps的编码量（比特率）。此外，通过采用MPEG-2压缩标准，例如，对例如1920×1088像素的高分辨率隔行扫描图像分配18到22Mbps的编码量（比特率）。这使得能够实现更高的压缩率和较好的图像质量。

尽管MPEG-2旨在用于主要适合于广播的较高图像编码，但是该标准与包含低于MPEG-1的编码量（比特率）（即，更高的压缩率）的编码标准不兼容。预期从现在起移动终端的普及将增加对这种编码标准的需求，响应于这种运动，执行了MPEG-4编码标准的标准化。作为图像编码标准，1988年12月ISO/IEC 14496-2已经被同意作为国际标准。

近年来，一种称为H.26L(ITU-T Q6/16VCEG)的标准正在进行标准化，旨在用于图像编码，其最初用于视频会议。尽管与迄今为止已经使用的编码标准（如MPEG-2和MPEG-4）相比，H.26L在编码和解码方面采用较大量的算术运算，但是已知的是能够实现更高的编码效率。作为与MPEG-4有关的当前活动，试图进行作为基于H.26L的增强压缩视频编码的联合模型的标准化，以实现具有H.26L所不支持的附加功能的更高编码效率。在2003年3月，计划将该标准化发展成国际标准H.264和MPEG-4Part 10（高级视频编码；以下称为H.264/AVC）。

图1是描述配置成基于H.264/AVC输出压缩图像的图像编码设备的结构示例的框图。

在图1的示例中，图像编码设备1包括A/D转换器11、画面排序缓冲器12、算术运算器13、正交变换器14、量化器15、无损编码器16、累积缓冲器17、逆量化器18、逆正交变换器19、算术运算器20、去块滤波器21、帧存储器22、开关23、帧内预测器24、运动预测器/补偿器25、预测图像选择器26以及速率控制器27。

A/D转换器11对输入图像执行A/D转换，以输出到画面排序缓冲器12，从而将转换后的图像存储在其中。画面排序缓冲器12将存储的显示顺序的图像帧排序成用于根据GOP（图像组）进行编码的帧顺序。

算术运算器13从读自画面排序缓冲器12的图像减去从帧内预测器24或者运动预测器/补偿器25输出并且由预测图像选择器26选择的预测图像，以将差信息输出到正交变换器14。正交变换器14对来自算术运算器13的差信息执行诸如离散余弦变换或Karhunen-Loeve变换之类的正交变换，并输出变换系数。量化器15对从正交变换器14输出的变换系数进行量化。

将作为量化器15的输出的量化后的变换系数输入到无损编码器16，以在此进行诸如变长编码或二进制算术编码之类的无损编码，以进行压缩。

无损编码器16从帧内预测器24获得表示帧内预测的信息，并从运动预测器/补偿器25获得例如表示帧间预测模式的信息。表示帧内预测的信息和表示帧间预测的信息也分别称为“帧内预测模式信息”和“帧间预测模式信息”。

无损编码器16对量化后的变换系数以及例如表示帧内预测的信息和表示帧间预测模式的信息进行编码，并将编码后的信息包括在压缩图像的头部信息中。无损编码器16将编码后的数据提供给累积缓冲器17以供累积。

例如，在无损编码器16处执行诸如变长编码或二进制算术编码之类的无损编码处理。变长编码的示例包括由H.264/AVC标准定义的CAVLC（内容自适应变长编码）。二进制算术编码的示例包括CABAC（内容自适应二进制算术编码）。

累积缓冲器17将从无损编码器16提供的数据输出到解码方（例如记录设备或后级（未示出）的通道），作为根据H.264/AVC标准编码的编码压缩图像。

还将从量化器15输出的量化后的变换系数输入到逆量化器18以进行逆量化，随后在逆正交变换器19处进行逆正交变换。算术运算器20将逆正交变换后的输出与从预测图像选择器26提供的预测图像相加，以构成局部解码图像。去块滤波器21去除解码后的图像中的块失真，以将图像提供给帧存储器22以累积在其上。帧存储器22还被供以要经过去块滤波器21执行的去块滤波处理的图像以累积在其上。

开关23将累积在帧存储器22上的基准图像输出给运动预测器/补偿器25或帧内预测器24。

在图像编码设备1中，例如，将来自画面排序缓冲器12的I图片、B图片以及P图片提供给帧内预测器24，作为进行帧内预测的图像（也称为“帧内处理”）。此外，将从画面排序缓冲器12读取的B图片和P图片提供给运动预测器/补偿器25，作为进行帧间预测的图像（也称为“帧间处理”）。

帧内预测器24基于从画面排序缓冲器12读取的要经过帧内预测的图像和从帧存储器22提供的基准图像，按所有候选帧内预测模式执行帧内预测处理，以生成预测图像。

此时，帧内预测器24为所有候选帧内预测模式计算成本函数值，并选择通过计算给出最小成本函数值的帧内预测模式，作为最优帧内预测模式。

帧内预测器24将按最优帧内预测模式生成的预测图像及其成本函数值提供给预测图像选择器26。在预测图像选择器26选择了按最优帧内预测模式生成的预测图像的情况下，帧内预测器24将表示最优帧内预测模式的信息提供给无损编码器16。无损编码器16对该信息进行编码以将该信息包括在压缩图像的头部信息中。

向运动预测器/补偿器25提供从画面排序缓冲器12读取的要经过帧间处理的图像以及通过开关23从帧存储器22提供的基准图像。运动预测器/补偿器25按所有候选帧间预测模式对块执行运动预测，并生成所述块的运动矢量。

运动预测器/补偿器25利用块的预测运动向量计算所有候选帧间预测模式的成本函数值。运动预测器/补偿器25将块的给出计算的最小成本函数值的预测模式判定为最优帧间预测模式。

运动预测器/补偿器25将目标块的按判定的最优帧间预测模式的预测图像及其成本函数值提供给预测图像选择器26。在预测图像选择器26选择目标块的最优帧间预测模式的预测图像的情况下，运动预测器/补偿器25将表示最优帧间预测模式的信息（帧间预测模式信息）输出给无损编码器16。

此时，还将包括运动矢量信息和基准帧信息的信息也输出到无损编码器16。无损编码器16还对来自运动预测器/补偿器25的信息执行诸如变长编码或二进制算术编码之类的无损编码处理，以将该信息包括在压缩图像的头部中。

预测图像选择器26基于从帧内预测器24或运动预测器/补偿器25输出的成本函数值，从最优帧内预测模式和最优帧间预测模式判定最优预测模式。然后，预测图像选择器26选择按所判定的最优预测模式的预测图像，并将所述图像提供给算术运算器13和20。此时，预测图像选择器26将与预测图像的选择有关的信息提供给帧内预测器24或运动预测器/补偿器25。

速率控制器27基于累积在累积缓冲器17中的压缩图像，控制量化器15的量化运算的速率，以免上溢或下溢。

图2是描述与图1的图像编码设备对应的图像解码设备的结构示例的框图。

在图2的示例中，图像解码设备31包括累积缓冲器41、无损解码器42、逆量化器43、逆正交变换器44、算术运算器45、去块滤波器46、画面排序缓冲器47、D/A转换器48、帧存储器49、开关50、帧内预测器51、运动补偿器52以及开关53。

累积缓冲器41对发送到其中的压缩图像进行累积。无损解码器42根据与无损编码器16采用的编码标准对应的标准，对从累积缓冲器41提供并且由无损编码器16编码的信息进行解码。逆量化器43根据与图1的量化器15采用的量化方法对应的方法，对由无损解码器42解码的图像执行逆量化。逆正交变换器44根据与图1的正交变换器14采用的正交变换方法对应的方法，对来自逆量化器43的输出执行逆正交变换。

算术运算器45将逆正交变换输出与从开关53提供的预测图像相加，并且逆正交变换输出被解码。去块滤波器46去除解码图像中的块失真，然后将图像提供给帧存储器49以供累积，同时将图像输出给画面排序缓冲器47。

画面排序缓冲器47对图像进行排序。更具体来说，将由图1的画面排序缓冲器12排序成编码顺序的帧顺序排序成原始显示顺序。D/A转换器48对从画面排序缓冲器47提供的图像执行D/A转换，并将图像输出到显示器（未示出），以将图像显示在其上。

开关50从帧存储器49读取要进行帧间处理的图像和基准图像，以输出到运动补偿器52，同时从帧存储器49读取在帧内预测中使用的图像以提供给帧内预测器51。

从无损解码器42向帧内预测器51提供表示通过解码头部信息而获得的帧内预测模式的信息。帧内预测器51基于该信息生成预测图像，并将所生成的预测图像输出给开关53。

在通过解码头部信息而获得的信息中，从无损解码器42向运动补偿器52提供包括帧间预测模式信息、运动矢量信息以及基准帧信息的信息。逐宏块地接收帧间预测模式信息。逐目标块地接收运动矢量信息和基准帧信息。

运动补偿器52按照从无损解码器42提供的帧间预测模式信息表示的预测模式，利用从无损解码器42提供的运动矢量信息和基准帧信息，生成目标块的预测图像的像素值。通过开关53将所生成的预测图像的像素值输出给算术运算器45。

开关53选择由运动补偿器52或帧内预测器51生成的预测图像，并将所述图像提供给算术运算器45。

此外，作为H.264/AVC标准的扩展活动，在2005年2月完成了称为FRExt（保真范围扩展）的标准化，其涵盖商业用途（如RGB和4:2:2以及4:4:4）的编码工具以及由MPEG-2定义的8×8DCT和量化矩阵。这得到了利用H.264/AVC实现电影中包含的均匀胶片噪声的良好表现的编码标准，其将要用于包括蓝光盘（商标）的广泛应用。

同时，对允许更高压缩率的编码技术的需求正在增长，其比如能够压缩为高清晰度图像的4倍的具有约4000×2000像素的图像，或者比如能够在传输容量有限的环境(比如因特网)内分发高清晰度图像。于是，就在作为上面提及的ITU-T的子组的VCEG(=视频编码专家组)来说，不断进行了与编码效率的提高有关的研究。

作为改进编码效率的一种方法，在非专利文献1中提出了一种自适应环路滤波器（ALF）的技术。

图3是描述应用了自适应环路滤波器的图像编码设备的结构示例的框图。在图3的示例中，为了简化描述，未示出图1的A/D转换器11、画面排序缓冲器12、累积缓冲器17、开关23、帧内预测器24、预测图像选择器26以及速率控制器27。为此，一些箭头也未示出。因此，在图3的示例的情况下，将来自帧存储器22的基准图像直接输入到运动预测器/补偿器25，并从算术运算器13和20直接输出来自运动预测器/补偿器25的预测图像。

更具体来说，图3的图像编码设备61与图1的图像编码设备1的不同之处在于在去块滤波器21与帧存储器22之间附加设置了自适应环路滤波器71。

自适应环路滤波器71对自适应环路滤波器的系数执行计算，以最小化来自画面排序缓冲器12（未示出）的源图像的残差，并使用自适应环路滤波系数对来自去块滤波器21的解码图像执行滤波。滤波的示例包括Wiener滤波。

此外，自适应环路滤波器71将计算出的自适应环路滤波系数发送给无损编码器16。在无损编码器16处，利用诸如变长编码或二进制算术编码之类的无损编码对自适应环路滤波系数进行处理，以将结果插入压缩图像的头部。

图4是与图3的图像编码设备对应的图像解码设备的结构示例的框图。在图4的示例中，为了简化说明，未示出图2的累积缓冲器41、画面排序缓冲器47、D/A转换器48、开关50、帧内预测器51以及开关53。为了同样的目的，在一些情况下未示出箭头。因此，在图4的示例的情况下，将来自帧存储器49的基准图像直接输入到运动补偿器52，并将来自运动补偿器52的预测图像直接输出到算术运算器45。

更具体来说，图4的图像解码设备81与图2的图像解码设备31的不同之处在于在去块滤波器46与帧存储器49之间附加设置自适应环路滤波器91。

从无损解码器42向自适应环路滤波器91提供通过从头部进行解码和提取而获得的自适应环路滤波系数。自适应环路滤波器91使用所提供的滤波系数对来自去块滤波器46的解码图像执行滤波处理。滤波的示例包括Wiener滤波。

按此方式，改进了解码图像的图像质量并且还改善了基准图像的图像质量。

根据H.264/AVC标准，宏块尺寸是16×16像素。不过，对于比如具有作为下一代编码标准的对象的UHD(超高清晰度；4000×2000像素)的大图像帧来说，16×16像素的宏块大小不是最佳的。

这样，在诸如非专利文献2的文献中，已经提出将宏块大小扩展到例如32×32像素。

需要指出的是，非专利文献2提出将扩展宏块应用于帧间切片（inter slice），非专利文献3提出将扩展宏块应用于帧内切片。

引证列表

非专利文献

非专利文献1：Takeshi.Chujoh,et al.,“Block-based AdaptiveLoop Filter”ITU-T SG16Q6VCEG Contribution,AI18,Germany,July,2008

非专利文献2：“Video Coding Using Extended Block Sizes”,VCEG-AD09,ITU-Telecommunications  Standardization SectorSTUDY GROUP Question 16-Contribution 123,Jan 2009

非专利文献3：“Intra Coding Using Extended Block Sizes”,VCEG-AL28,July 2009

发明内容

根据非专利文献1中提出的方法，在平坦区域与包含纹理（texture）的区域之间不进行区分，并且将Wiener滤波用于最小化作为一个整体的画面的编码劣化。因此，已经开始考虑改进在平坦区域和包含纹理的区域中导致的局部图像劣化。具体来说，在平坦区域中易于出现块失真，而在包含边缘和/或纹理的区域中易于出现蚊子失真（mosquito distortion）。

在I切片中改进这种图像劣化的困难性很明显。

鉴于上述情况作出了本发明，本发明实现了作为一个整体的画面的图像劣化的最小化，同时实现了局部图像劣化的改进。

根据本发明的一个方面，提供了一种图像处理设备，包括：分类器，被配置成根据帧内预测模式信息逐特定块地对图像进行分类；和滤波处理器，被配置成利用基于分类成同一类别的特定块而计算出的滤波系数，对所述分类器分类的特定块执行滤波处理。

所述分类器可被配置成根据帧内预测模式信息中的块的预测块大小，逐块地对图像进行分类。

所述分类器可被配置成根据块大小逐块地对图像进行分类，所述块大小是块的预测块大小并且是由编码标准限定的。

所述分类器可被配置成把要按帧内16×16预测模式编码的块分类成包括在平坦区域中的块。

所述分类器可被配置成把要按块尺寸比所述帧内16×16预测模式小的帧内预测模式编码的块分类成包括边缘或纹理的块。

所述分类器可被配置成把要按块尺寸比所述帧内16×16预测模式大的帧内预测模式编码的块分类成包括在平坦区域中的块。

所述特定块包括多个子块，并且所述分类器可被配置成根据具有帧内相关预测模式信息中的相同预测块大小的块或子块的预测模式类型，逐块或逐子块地对图像进行分类。

所述分类器可被配置成把要按垂直预测模式和水平预测模式编码的块或子块分类成包括边缘或纹理的块或子块。

所述分类器可被配置成把要按除垂直预测模式和水平预测模式以外的预测模式编码的块或子块分类成包括在平坦区域中的块或子块。

还可以包括滤波系数计算器，其被配置成基于分类成同一类别的特定块来计算滤波系数。

还可以包括发送器，其被配置成发送图像的比特流、表示帧内预测相关模式的信息以及由所述滤波系数计算器计算的滤波系数。

还可包括接收器，其被配置成接收图像的比特流、表示帧内预测相关模式的信息以及所述滤波系数。

根据本发明的一个方面，提供了一种在包括分类器和滤波处理器的图像处理设备中使用的图像处理方法，该方法包括：用所述分类器根据帧内预测模式信息逐特定块地对图像进行分类；和用所述滤波处理器利用基于分类成同一类别的特定块而计算出的滤波系数，对所分类的特定块执行滤波处理。

根据本发明的一个方面，根据帧内预测模式信息逐特定块地对图像进行分类，并利用基于分类成同一类别的特定块而计算出的滤波系数，对所分类的特定块执行滤波处理。

注意，上述图像处理设备可以是离散的设备，也可以是构成图像编码设备或图像解码设备的内部模块。

附图说明

图1是描述根据H.264/AVC标准的图像编码设备的结构示例的框图。

图2是描述根据H.264/AVC标准的图像解码设备的结构示例的框图。

图3是描述应用自适应环路滤波器的图像编码设备的结构示例的框图。

图4是描述应用自适应环路滤波器的图像解码设备的结构示例的框图。

图5是描述应用本发明的图像编码设备的一个实施例的结构的框图。

图6是在针对16×16像素的帧内预测模式的情况下的处理顺序的说明图。

图7示出了对4×4像素的亮度信号的多种帧内预测模式。

图8示出了对4×4像素的亮度信号的多种帧内预测模式。

图9是4×4像素帧内预测的方向的说明图。

图10是4×4像素帧内预测的说明图。

图11是对4×4像素的亮度信号的帧内预测模式的编码的说明图。

图12示出了对8×8像素的亮度信号的多种帧内预测模式。

图13示出了对8×8像素的亮度信号的多种帧内预测模式。

图14示出了对16×16像素的亮度信号的多种帧内预测模式。

图15示出了对16×16像素的亮度信号的多种帧内预测模式。

图16是16×16像素帧内预测的说明图。

图17示出了针对色差信号的多种帧内预测模式。

图18是去块滤波器的工作原理的说明图。

图19是定义Bs的方法的说明图。

图20是去块滤波器的工作原理的说明图。

图21示出了indexA与indexB和α与β之间的数值关联的示例。

图22示出了Bs与indexA和tC0之间的关联的示例。

图23示出了示例宏块。

图24是图5的自适应环路滤波器的结构示例的框图。

图25是描述图5的图像编码设备的编码处理的流程图。

图26是描述图25的步骤S13中的帧内预测处理的流程图。

图27是描述图25的步骤S14中的运动预测/补偿处理的流程图。

图28是描述图25的步骤S24中的示例分类系数计算处理的流程图。

图29是描述应用了本发明的图像解码设备的一个实施例的结构的框图。

图30是描述图29的自适应环路滤波器的结构示例的框图。

图31是描述图29的图像解码设备的解码处理的流程图。

图32是描述图31的步骤S133中的预测图像生成处理的流程图。

图33是描述图31的步骤S140中的分类滤波处理的流程图。

图34是描述计算机的硬件结构示例的框图。

图35是描述应用了本发明的电视接收机的主结构示例的框图。

图36是描述应用了本发明的移动电话的主结构示例的框图。

图37是描述应用了本发明的硬盘记录器的主结构示例的框图。

图38是描述应用了本发明的照相机的主结构示例的框图。

具体实施方式

以下参照附图描述本发明的实施例。

图像编码设备的结构示例

图5描述采用应用了本发明的图像编码设备的形式的图像处理设备的一个实施例的结构。

与图1的图像编码设备1类似，图5的图像编码设备101包括A/D转换器11、画面排序缓冲器12、算术运算器13、正交变换器14、量化器15、无损编码器16、累积缓冲器17、逆量化器18、逆正交变换器19、算术运算器20、去块滤波器21、帧存储器22、开关23、帧内预测器24、运动预测器/补偿器25、预测图像选择器26以及速率控制器27。

与图1的图像编码设备1不同的是，图5的图像编码设备101还包括自适应环路滤波器111和预测模式缓冲器112。

具体来说，自适应环路滤波器111设置在去块滤波器21的后面和帧存储器22的前面。更具体来说，自适应环路滤波器111设置在运动补偿环路中，该运动补偿环路包括算术运算器13、正交变换器14、量化器15、逆量化器18、逆正交变换器19、算术运算器20、去块滤波器21、帧存储器22、开关23、帧内预测器24或运动预测器/补偿器25以及预测图像选择器26。即，要用的图像在运动补偿环路中循环。

在来自去块滤波器21的解码图像是I图片的情况下，自适应环路滤波器111将图像分类成与来自预测模式缓冲器112的帧内预测模式信息对应的类别。自适应环路滤波器111计算滤波系数，使得根据所分配的类别，最小化来自画面排序缓冲器12的源图像和来自去块滤波器21的图像的残差。自适应环路滤波器111使用所计算出的滤波系数根据所分配的类别执行滤波处理，以将滤波图像输出到帧存储器22。滤波的示例包括Wiener滤波。

在来自去块滤波器21的解码图像不是I图片的情况下，自适应环路滤波器111不执行分类，并通过完全利用解码图像来计算滤波系数，以通过利用计算结果对整个解码图像执行滤波处理。

自适应环路滤波器111将计算出的滤波系数发送给无损编码器16。此时，如在图3的情况中那样，无损编码器16对自适应环路滤波器111计算出的滤波系数进行编码，以插入压缩图像或图片参数组的切片头部中。

预测模式缓冲器112存储帧内预测器24所决定的帧内预测模式信息。

帧内预测处理的描述

以下详细描述上述处理。参照图6，描述帧内预测的模式。

首先描述亮度信号的帧内预测模式。对于亮度信号的帧内预测模式，为根据H.264/AVC编码标准定义的预测块大小设定三种标准模式，即，帧内4×4预测模式、帧内8×8预测模式以及帧内16×16预测模式。这些模式限定块的单位并逐宏块地进行设定。对于色差信号，可以与亮度信号的模式无关地按宏块设定帧内预测模式。

为预测块大小设置表示多种预测方法的预测模式。在帧内4×4预测模式的情况下，每4×4像素的目标块设置9种预测模式中的一种预测模式。在帧内8×8预测模式的情况下，每8×8像素的目标块设置9种预测模式中的一种预测模式。在帧内16×16预测模式的情况下，每16×16像素的目标宏块设置4种预测模式中的一种预测模式。

还将帧内4×4预测模式、帧内8×8预测模式以及帧内16×16预测模式分别酌情称为4×4像素帧内预测模式、8×8像素帧内预测模式以及16×16像素帧内预测模式。

在图6的示例中，赋予块的编号1到25表示块的比特流顺序（在解码方的处理顺序）。对于亮度信号，将宏块分成4×4像素，从而对4×4像素执行DCT。在帧内16×16预测模式，如“-1”块表示的，收集块的直流分量以形成4×4矩阵，并对矩阵执行正交变换。

同时，对于色差信号，将宏块分成4×4像素，从而对其执行4×4像素的DCT；然后，如“16”和“17”块表示的，收集块的直流分量以形成2×2矩阵，进而对矩阵执行正交变换。

对于帧内8×8预测模式，以上方案可应用于其中以高配置（profile）或更高配置对目标宏块执行8×8正交变换的情况。

图7和8描述了对亮度信号的9种4×4像素帧内预测模式（Intra_4×4_pred_mode）。除了表示平均（DC）预测的模式2以外的其他8种模式分别对应于由图9的编号0、1以及3到8表示的方向。

参考图10描述9种Intra4×4_pred_mode。在图10的示例中，像素到表示要经过帧内处理的目标块的像素，并且像素值A到M表示属于相邻块的像素值。更具体来说，像素a到p是从画面排序缓冲器62读取的要处理的图像，像素值A到M是从帧存储器72读取的要参考的解码图像的像素值。

在图7和8所示的帧内预测模式的情况下，像素a到p的预测像素值是通过使用属于相邻块的像素的像素值A到M按以下方式生成的。要指出的是，像素值是“可用的”是指像素由于不存在诸如像素位于图片帧的边缘处或者还要编码之类的原因而可用。另一方面，像素值是“不可用的”是指像素由于诸如像素位于图片帧的边缘处或者还要编码之类的原因而不可用。

模式0是垂直预测模式，可应用于像素值A到D是“可用的”的情况。在此情况下，根据以下公式（1）生成像素a到p的预测像素值：

像素a,e,i,m的预测像素值=A

像素b,f，j,n的预测像素值=B

像素c,g,k,o的预测像素值=C

像素d,h,l,p的预测像素值=D    (1)

模式1是水平预测模式，可应用于像素值I到L是“可用的”的情况。在此情况下，根据以下公式（2）生成像素a到p的预测像素值：

像素a,b,c,d的预测像素值=I

像素e,f，g,h的预测像素值=J

像素i,j,k,l的预测像素值=K

像素m,n,o,p的预测像素值=L    (2)

模式2是DC预测模式，根据以下公式（3）生成预测像素值，其中像素值A,B,C,D,I,J,K以及L是全部“可用的”。

(A+B+C+D+I+J+K+L+4)>>3   (3)

根据以下公式（4）生成预测像素值，其中像素值A,B,C以及D是全部“可用的”。

(I+J+K+L+2)>>2     (4)

根据以下公式（5）生成预测像素值，其中像素值I,J,K以及L是全部“可用的”。

(A+B+C+D+2)>>2     (5)

当像素值A,B,C,D,I,J,K以及L全都“不可用”时，使用128作为预测像素值。

模式3是Diagonal_Down_Left预测模式，可应用于像素值A,B,C,D,I,J,K,L以及M是“可用的”的情况。在此情况下，根据以下公式（6）生成像素a到p的预测像素值：

像素a的预测像素值=(A+2B+C+2)>>2

像素b，e的预测像素值=(B+2C+D+2)>>2

像素c,f,i预测像素值=(C+2D+E+2)>>2

像素d,g,j,m预测像素值=(D+2E+F+2)>>2

像素h,k,n预测像素值=(E+2F+G+2)>>2

像素l,o预测像素值=(F+2G+H+2)>>2

像素p预测像素值=(G+3H+2)>>2     (6)

模式4是Diagonal_Down_Right预测模式，可应用于像素值A,B,C,D,I,J,K,L以及M是“可用的”的情况。在此情况下，根据以下公式（7）生成像素a到p的预测像素值：

像素m预测像素值=(J+2K+L+2)>>2

像素i,n预测像素值=(I+2J+K+2)>>2

像素e,j,o预测像素值=(M+2I+J+2)>>2

像素a,f，k,p预测像素值=(A+2M+I+2)>>2

像素b,g,l预测像素值=(M+2A+B+2)>>2

像素c,h预测像素值=(A+2B+C+2)>>2

像素d预测像素值=(B+2C+D+2)>>2     (7)

模式5是Diagonal_Vertical_Right预测模式，可应用于像素值A,B,C,D,I,J,K,L以及M是“可用的”的情况。在此情况下，根据以下公式（8）生成像素a到p的预测像素值：

像素a,j预测像素值=(M+A+1)>>1

像素b,k预测像素值=(A+B+1)>>1

像素c,l预测像素值=(B+C+1)>>1

像素d预测像素值=(C+D+1)>>1

像素e,n预测像素值=(I+2M+A+2)>>2

像素f，o预测像素值=(M+2A+B+2)>>2

像素g,p预测像素值=(A+2B+C+2)>>2

像素h预测像素值=(B+2C+D+2)>>2

像素i预测像素值=(M+2I+J+2)>>2

像素m预测像素值=(I+2J+K+2)>>2     (8)

模式6是Horizontal_Down预测模式，可应用于像素值A,B,C,D,I,J,K,L以及M是“可用的”的情况。在此情况下，根据以下公式（9）生成像素a到p的预测像素值：

像素a,g预测像素值=(M+I+1)>>1

像素b,h预测像素值=(I+2M+A+2)>>2

像素c预测像素值=(M+2A+B+2)>>2

像素d预测像素值=(A+2B+C+2)>>2

像素e,k预测像素值=(I+J+1)>>1

像素f，l预测像素值=(M+2I+J+2)>>2

像素i,o预测像素值=(J+K+1)>>1

像素j,p预测像素值=(I+2J+K+2)>>2

像素m预测像素值=(K+L+1)>>1

像素n预测像素值=(J+2K+L+2)>>2    (9)

模式7是Vertical_Left预测模式，可应用于像素值A,B,C,D,I,J,K,L以及M是“可用的”的情况。在此情况下，根据以下公式（10）生成像素a到p的预测像素值：

像素a预测像素值=(A+B+1)>>1

像素b,i预测像素值=(B+C+1)>>1

像素c,j预测像素值=(C+D+1)>>1

像素d,k预测像素值=(D+E+1)>>1

像素l预测像素值=(E+F+1)>>1

像素e预测像素值=(A+2B+C+2)>>2

像素f，m预测像素值=(B+2C+D+2)>>2

像素g,n预测像素值=(C+2D+E+2)>>2

像素h,o预测像素值=(D+2E+F+2)>>2

像素p预测像素值=(E+2F+G+2)>>2     (10)

模式8是Horizontal_Up预测模式，可应用于像素值A,B,C,D,I,J,K,L以及M是“可用的”的情况。在此情况下，根据以下公式（11）生成像素a到p的预测像素值：

像素a预测像素值=(I+J+1)>>1

像素b预测像素值=(I+2J+K+2)>>2

像素c,e预测像素值=(J+K+1)>>1

像素d,f预测像素值=(J+2K+L+2)>>2

像素g,i预测像素值=(K+L+1)>>1

像素h,j预测像素值=(K+3L+2)>>2

像素k,l,m,n,o,p预测像素值=L         (11)

参照图11，接下来描述针对亮度信号的采用4×4像素帧内预测模式（Intra_4×4_pred_mode）的编码标准。在图11的示例中，示出了：目标块C，其包括4×4像素并且经受编码；以及块A和B，其包括4×4像素并且与目标块C相邻。

在此情况下，认为目标块C的Intra_4×4_pred_mode与块A和B的Intra_4×4_pred_modes高度相关。通过利用这种相关性，按如下方式进行编码处理可实现更高的编码效率。

具体来说，在图11的示例中，块A和B的Intra_4×4_pred_modes分别用Intra_4×4_pred_modeA和Intra_4×4_pred_modeB表示，并且如以下公式（12）定义MostProbableMode。

MostProbableMode=Min(Intra_4×4_pred_modeA,Intra_4×4_pred_modeB)(12)

具体来说，对被赋予较小模式编号（mode_number）的块A或B设定MostProbableMode。

在比特流中，将两个值prev_intra 4×4_pred_mode_flag[luma4×4BlkIdx]和rem_intra4×4_pred_mode[luma4×4BlkIdx]定义为目标块C的参数，并且通过基于由以下公式（13）表示的伪代码的处理来执行解码处理，从而可以获得目标块C的Intra_4×4_pred_mode和Intra4×4PredMode[luma4×4BlkIdx]的值。

if(prev_intra4×4_pred_mode_flag[luma4×4BlkIdx])Intra4×4PredMode[luma4×4BlkIdx]=MostProbableModeelse

if(rem_intra4×4_pred_mode[luma4×4BlkIdx]<MostProbableMode)Intra4×4PredMode[luma4×4BlkIdx]=rem_intra4×4_pred_mode[luma4×4BlkIdx]else

Intra4×4PredMode[luma4×4BlkIdx]=rem_intra4×4_pred_mode[luma4×4BlkIdx]+1(13)

以下描述8×8像素帧内预测模式。图12和13示出了亮度信号的9种8×8像素帧内预测模式(Intra_8×8_pred_mode)。

目标8×8块中的像素值由p[x,y](0≤x≤7;0≤y≤7)表示，并且相邻块的像素值由p[-1,-1]，...,p[-1,15],p[-1,0]，...,[p-1,7]表示。

在8×8像素帧内预测模式下，在生成预测值之前对相邻像素执行低通滤波处理。在此，在低通滤波处理之前的像素值由p[-1,-1]，...,p[-1,15],p[-1,0],…p[-1,7]表示，在处理之后的像素值由p’[-1,-1],…,p’[-1,15],p’[-1,0],…p’[-1,7]表示。

首先，在p[-1,-1]是“可用的”的情况下，根据以下公式（14）计算p’[0,-1]，并且在p[-1,-1]是“不可用的”的情况下，根据以下公式（15）计算p’[0,-1]。

p’[0,-1]=(p[-1,-1]+2*p[0,-1]+p[1,-1]+2)>>2       (14)

p’[0,-1]=(3*p[0,-1]+p[1,-1]+2)>>2                (15)

根据以下公式（16）计算p’[x,-1](x=0，...,7)：

 p’[x,-1]=(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2   (16)

在p[x,-1](x=8，...,15)是“可用的”的情况下，根据以下公式（17）计算p’[x,-1](x=8，...,15)：

p’[x,-1]=(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2

p’[15,-1]=(p[14,-1]+3*p[15,-1]+2)>>2         (17)

在p[-1,-1]是“可用的”的情况下，如下计算p’[-1,-1]：具体来说，在p[0,-1]和p[-1,0]都是“可用的”的情况下，根据以下公式（18）计算p’[-1,-1]，并且在p[-1,0]是“不可用的”的情况下，根据以下公式（19）计算p’[-1,-1]。在p[0,-1]是“不可用的”的情况下，根据以下公式（20）计算p’[-1,-1]。

p’[-1,-1]=(p[0,-1]+2*p[-1,-1]+p[-1,0]+2)>>2  (18)

p’[-1,-1]=(3*p[-1,-1]+p[0,-1]+2)>>2          (19)

p’[-1,-1]=(3*p[-1,-1]+p[-1,0]+2)>>2          (20)

在p[-1,y](y=0，...,7)是“可用的”的情况下，如下计算p’[-1,y](y=0，...,7)。具体来说，在p[-1,-1]是“可用的”的情况下，首先根据以下公式（21）计算p’[-1,0]，在p [-1,-1]是“不可用的”的情况下，根据以下公式（22）计算p’[-1,0]：

p’[-1,0]=(p[-1,-1]+2*p[-1,0]+p[-1,1]+2)>>2    (21)

p’[-1,0]=(3*p[-1,0]+p[-1,1]+2)>>2             (22)

此外，根据以下公式（23）计算p’[-1,y](y=1，...,6)，并且根据以下公式（24）计算p’[-1,7]。

p[-1,y]=(p[-1,y-1]+2*p[-1,y]+p[-1,y+1]+2)>>2  (23)

p’[-1,7]=(p[-1,6]+3*p[-1,7]+2)>>2            (24)

如下通过使用如此计算出的p’来生成图8和9中所示的帧内预测模式的预测值：

模式0是垂直预测模式并且可应用于p[x,-1](x=0，...,7)是“可用的”的情况。根据如下公式（25）生成预测值pred8×8_L[x,y]：pred8×8_L[x,y]=p’[x,-1]x,y=0，...,7             (25)

模式1是水平预测模式并且可应用于p[-1,y](y=0，...,7)是“可用的”的情况。根据如下公式（26）生成预测值pred8×8_L[x,y]：pred8×8_L[x,y]=p’[-1,y]x,y=0，...,7           (26)

模式2是DC预测模式并且如下生成预测值pred8×8_L[x,y]。具体来说，在p[x,-1](x=0，...,7)和p[-1,y](y=0，...,7)都是“可用的”的情况下，根据如下公式（27）生成预测值pred8×8_L[x,y]：

[公式1]

${\mathrm{Pred}8x8}_L[x,y]=\left(\underset{x^{\&prime;}=0}{\overset{7}{\mathrm{\&Sigma;}}}{P}^{\&prime;}\right[x^{\&prime;},-1]+\underset{y^{\&prime;}=0}{\overset{7}{\mathrm{\&Sigma;}}}{P}^{\&prime;}[-1,y]+8)>>4\&CenterDot;\&CenterDot;\&CenterDot;\left(27\right)$

在p[x,-1](x=0，...,7)是“可用的”但是p[-1,y](y=0，...,7)是“不可用的”的情况下，根据如下公式（28）生成预测值pred8×8_L[x,y]：

[公式2]

${\mathrm{Pred}8x8}_L[x,y]=\left(\underset{x^{\&prime;}=0}{\overset{7}{\mathrm{\&Sigma;}}}{P}^{\&prime;}\right[x^{\&prime;},-1]+4)>>3\&CenterDot;\&CenterDot;\&CenterDot;\left(28\right)$

在p[x,-1](x=0，...,7)是“不可用的”但是p[-1,y](y=0，...,7)是“可用的”的情况下，根据如下公式（29）生成预测值pred8×8_L[x,y]：

[公式3]

${\mathrm{Pred}8x8}_L[x,y]=\left(\underset{y^{\&prime;}=0}{\overset{7}{\mathrm{\&Sigma;}}}{P}^{\&prime;}\right[-1,y]+4)>>3\&CenterDot;\&CenterDot;\&CenterDot;\left(29\right)$

在p[x,-1](x=0，...,7)和p [-1,y](y=0，...,7)都是“不可用的”的情况下，根据如下公式（30）生成预测值pred8×8_L[x,y]：pred8×8_L[x,y]=128         (30)

要指出的是，公式（30）可应用于8比特输入的情况。

模式3是Diagonal_Down_Left_预测模式并且如下生成预测值pred8×₈L[x,y]。具体来说，Diagonal_Down_Left_预测模式可应用于p[x,-1],x=0，...,15是“可用的”的情况，并且根据以下公式（31）生成其中x=7并且y=7的预测像素值，并且根据以下公式（32）生成其他预测像素值。

pred8×8_L[x,y]=(p’[14,-1]+3*p[15,-1]+2)>>2(31)

red8×8_L[x,y]=(p’[x+y,-1]+2*p’[x+y+1,-1]+p’[x+y+2,-1]+2)>>2                              (32)

模式4是Diagonal_Down_Right_预测模式并且如下生成预测值pred8×₈L[x,y]。具体来说，Diagonal_Down_Right_预测模式可应用于p[x,-1],x=0,…,7和p[-1,y],y=0,…,7是“可用的”的情况，并且根据以下公式（33）生成其中x>y的预测像素值，并且根据以下公式（34）生成其中x<y的预测像素值。根据以下公式（35）生成其中x=y的预测像素值。

pred8×8_L [x,y]=(p’[x-y-2,-1]+2*p’[x-y-1,-1]+p’[x-y,-1]+2)>>2(33)

pred8×8_L[x,y]=(p’[-1,y-x-2]+2*p’[-1,y-x-1]+p’[-1,y-x]+2)>>2

                                                       (34)

pred8×8_L[x,y]=(p’[0,-1]+2*p’[-1,-1]+p’[-1,0]+2)>>2(35)

模式5是Vertical_Right_预测模式并且如下生成预测值pred8×8_L[x,y]。具体来说，Vertical_Right_预测模式可应用于p[x,-1],x=0，...,7和p[-1,y],y=-1，...,7是“可用的”的情况。现在，如下公式（36）定义zVR：

zVR=2*x-y  (36)

在此，在zVR是0,2,4,6,8,10,12以及14中的任何一个的情况下，根据如下公式（37）生成像素预测值，在zVR是1,3,5,7,9,11以及13中的任何一个的情况下，根据如下公式（38）生成像素预测值。pred8×8_L[x,y]=(p’[x-(y>>1)-1,-1]+p’[x-(y>>1),-1]+1)>>1

(37)

pred8×8_L[x,y]=(p’[x-(y>>1)-2,-1]+2*p’[x-(y>>1)-1,-1]+

p’[x-(y>>1),-1]+2)>>2              (38)

在zVR是-1的情况下，根据如下公式（39）生成像素预测值。在除此以外的其他情况下，具体来说，在zVR是-2,-3,-4,-5,-6以及-7中的任何一个的情况下，根据如下公式（40）生成预测像素值：

pred8×8_L[x,y]=(p’[-1,0]+2*p’[-1,-1]+p’[0,-1]+2)>>2

                                          (39)

pred8×8_L[x,y]=(p’[-1,y-2*x-1]+2*p’[-1,y-2*x-2]+p’[-1,y-2*x-3]+2)>>2                                (40)

模式6是Horizontal_Down预测模式并且如下生成预测值

pred8×8_L[x,y]。具体来说，Horizontal_Down_预测模式可应用于p[x,-1],x=0，...,7和p[-1,y],y=-1，...,7是“可用的”的情况。现在，如下公式（41）定义zHD：

zHD=2*y-x  (41)

在此，在zHD是0,2,4,6,8,10,12以及14中的任何一个的情况下，根据如下公式（42）生成预测像素值，在zHD是1,3,5,7,9,11以及13中的任何一个的情况下，根据如下公式（43）生成预测像素值。

pred8×8_L[x,y]=(p’[-1,y-(x>>1)-1]+p’[-1,y-(x>>1)+1]>>1

                                         (42)

pred8×8_L[x,y]=(p’[-1,y-(x>>1)-2]+2*p’[-1,y-(x>>1)-1]+p’[-1,y-(x>>1)]+2)>>2                       (43)

在zHD是-1的情况下，根据如下公式（44）生成预测像素值。在zHD是除此以外的其他值的情况下，具体来说，在-2,-3,-4,-5,-6以及-7中的任何一个的情况下，根据如下公式（45）生成预测像素值。pred8×8_L[x,y]=(p’[-1,0]+2*p[-1,-1]+p’[0,-1]+2)>>2     (44)pred8×8_L[x,y]=(p’[x-2*y-1,-1]+2*p’[x-2*y-2,-1]+p’[x-2*y-3,-1]+2)>>2    (45)

模式7是Vertical_Left预测模式并且如下生成预测值pred8×8_L[x,y]。具体来说，Vertical_Left_测模式可应用于p[x,-1],x=0，...,15是“可用的”的情况，并且在y=0,2,4,6的情况下根据如下公式（46）生成预测像素值；在除此以外的其他值的情况下，具体来说，在y=1,3,5,7的情况下，根据如下公式（47）生成预测像素值。

pred8×8_L[x,y]=(p’[x+(y>>1),-1]+p’[x+(y>>1)+1,-1]+1)>>1  (46)

pred8×8_L[x,y]=(p’[x+(y>>1),-1]+2*p’[x+(y>>1)+1,-1]+p’[x+(y>>1)+2,-1]+2)>>2             (47)

模式8是Horizontal_Up_预测模式并且如下生成预测值

pred8×8_L[x,y]。具体来说，Horizontal_Up_预测模式可应用于p[-1,y],y=0,…,7是“可用的”的情况。以下，如下公式（48）定义zHU：

zHU=x+2*y      (48)

在zHU的值是0,2,4,6,8,10以及12中的任何一个的情况下，根据如下公式（49）生成预测像素值，在zHU的值是1,3,5,7,9以及11中的任何一个的情况下，根据如下公式（50）生成预测像素值。

pred8×8_L[x,y]=(p’[-1,y+(x>>1)]+p’[-1,y+(x>>1)+1]+1)>>1   (49)

pred8×8_L[x,y]=(p’[-1,y+(x>>1)]          (50)

在zHU的值是13的情况下，根据如下公式（51）生成预测像素值，在除此以外的其他情况下，具体来说，在zHU的值大于13的情况下，根据如下公式（52）生成预测像素值：

pred8×8_L[x,y]=(p’[-1,6]+3*p’[-1,7]+2)>>2   (51)

pred8×8_L[x,y]=p’[-1,7]   (52)

接下来描述16×16像素帧内预测模式。图14和15示出了亮度信号的4种16×16像素帧内预测模式(Intra_16×16_pred_mode)。

参照图16描述这4种帧内预测模式。在图16的示例中，示出了要经过帧内处理的目标宏块A，并且P(x,y);x,y=-1,0,…,15表示与目标宏块A相邻的像素的像素值。

模式0是垂直预测模式并且可应用于P(x,-1);x,y=-1,0,…,15是“可用的”的情况。在此情况下，根据如下公式（53）生成目标宏块A的像素的预测像素值Pred(x,y)：

Pred(x,y)=P(x,-1);x,y=0,…,15    (53)

模式1是水平预测模式并且可应用于P(-1,y);x,y=-1,0，...,15是“可用的”的情况。在此情况下，根据如下公式（54）生成目标宏块A的像素的预测像素值Pred(x,y)：

Pred(x,y)=P(-1,y);x,y=0,…,15    (54)

模式2是DC预测模式，并且在P(x,-1)和P(-1,y);x,y=-1,0，...,15全都是“可用的”的情况下，根据如下公式（55）生成目标宏块A的像素的预测像素值Pred(x,y)。

[公式4]

$\mathrm{Pred}(x,y)=[\underset{x^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(x^{\&prime;},-1)+\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(-1,y^{\&prime;})+16)>>5$

其中x，y＝0，…，15  …(55)

在P(x,-1);x,y=-1,0，...,15是“不可用的”的情况下，根据如下公式（56）生成目标宏块A的像素的预测像素值Pred(x,y)。

[公式5]

$\mathrm{Pred}(x,y)=[\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(-1,y^{\&prime;})+8)>>4$ 其中x，y＝0，…，15      …(56)

在P(-1,y);x,y=-1,0，...,15是“不可用的”的情况下，根据如下公式（57）生成目标宏块A的像素的预测像素值Pred(x,y)。

[公式6]

$\mathrm{Pred}(x,y)=[\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(x^{\&prime;},-1)+8)>>4$ 其中x，y＝0，…，15   …(57)

在P(x,-1)和P(-1,y);x,y=-1,0，...,15全都是“不可用的”的情况下，使用128作为预测像素值。

模式3是平面预测模式，并且可用于P(x,-1)和P(-1,y);x,y=-1,0，...,15全都是“可用的”的情况。在此情况下，根据如下公式（58）生成目标宏块A的像素的预测像素值Pred(x,y)：

[公式7]

Pred(x，y)＝Clip1((a+b·(x-7)+c·(y-7)+16)＞＞5)

a＝16·(P(-1，15)+P(15，-1))

b＝(5·H+32)＞＞6

c＝(5·V+32)＞＞6

$H=\underset{x=1}{\overset{8}{\mathrm{\&Sigma;}}}x\&CenterDot;(P(7+x,-1)-P(7-x,-1))$

$V=\underset{y=1}{\overset{8}{\mathrm{\&Sigma;}}}y\&CenterDot;(P(-1,7+y)-P(-\mathrm{1,7}-y))\&CenterDot;\&CenterDot;\&CenterDot;\left(58\right)$

接下来描述色差信号的帧内预测模式。图17示出了色差信号的4种帧内预测模式(Intra_chroma_pred_modes)。与亮度信号的帧内预测模式无关地设定色差信号的帧内预测模式。与上述亮度信号的16×16像素帧内预测模式基本相同地设定色差信号的帧内预测模式。

需要指出的是，尽管亮度信号的16×16像素帧内预测模式用于16×16像素块，但是色差信号的帧内预测模式用于8×8像素块。此外，如从已经描述的图14以及图17可以看到，在这些模式之间模式编号并不彼此对应。

在此，描述参照图16描述的亮度信号的要经过16×16像素帧内预测模式的目标宏块A的像素值和相邻像素值的定义。例如，将与要经过帧内处理（色差信号的8×8像素）的目标宏块A相邻的像素的像素值设定为P(x,y);x,y=-1,0，...,7。

模式0是DC预测模式，并且在P(x,-1)和P(-1,y);x,y=-1,0，...,7全都是“可用的”的情况下，根据如下公式（59）生成目标宏块A的像素的预测像素值Pred(x,y)：

[公式8]

$\mathrm{Pred}(x,y)=(\left(\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}(P(-1,n)+P(n,-1))\right)+8)>>4$

其中x，y＝0，…，7  …(59)

在P(-1,y);x,y=-1,0,…,7是“不可用的”的情况下，根据如下公式（60）生成目标宏块A的像素的预测像素值Pred(x,y)：

[公式9]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}P(n,-1)\right)+4]>>3$ 其中x，y＝0，…，7    …(60)

在P(x,-1);x,y=-1,0，...,7是“不可用的”的情况下，根据如下公式（61）生成目标宏块A的像素的预测像素值Pred(x,y)：

[公式10]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}P(-1,n)\right)+4]>>3$ 其中x，y＝0，…，7    …(61)

模式1是水平预测模式并且可应用于P(-1,y);x,y=-1,0，...,7是“可用的”的情况。根据如下公式（62）生成目标宏块A的像素的预测像素值Pred(x,y)：

Pred(x,y)=P(-1,y);x,y=0,…,7      (62)

模式2是垂直预测模式并且可应用于P(x,-1);x,y=-1,0，...,7是“可用的”的情况。在此情况下，根据如下公式（63）生成目标宏块A的像素的预测像素值Pred(x,y)：

Pred(x,y)=P(x,-1);x,y=0,…,7(63)

模式3是平面预测模式并且可应用于P(x,-1)和P(-1,y);x,y=-1,0,…,7是“可用的”的情况。在此情况下，根据如下公式（64）生成目标宏块A的像素的预测像素值Pred(x,y)：

[公式11]

Pred(x，y)＝Clip1(a+b·(x-3)+c·(y-3)+16)＞＞5；x，y＝0，...，7

a＝16·(P(-1，7)+P(7，-1))

b＝(17·H+16)＞＞5

c＝(17·V+16)＞＞5

$H=\underset{x=1}{\overset{4}{\mathrm{\&Sigma;}}}x\&CenterDot;[P(3+x,-1)-P(3-x,-1)]$

$V=\underset{y=1}{\overset{4}{\mathrm{\&Sigma;}}}y\&CenterDot;[P(-\mathrm{1,3}+y)-P(-\mathrm{1,3}-y)]\&CenterDot;\&CenterDot;\&CenterDot;\left(64\right)$

去块滤波器

接下来描述去块滤波器。去块滤波器21被包括在运动补偿环路中并且被配置成去除解码图像中的块失真。由此抑制块失真传播到要在运动补偿处理中参考的图像。

对于去块滤波器的处理，可以根据编码数据中包括的两个参数（即，图片参数组RBSP（原始字节序列有效载荷）中包括的deblocking_filter_control_present_flag和切片头部中包括的disable_deblocking_filter_idc）来选择以下三种方法（a）到（c）。

（a）对块边界和宏块边界执行处理；

（b）对宏块边界执行处理；以及

（c）不执行处理。

关于量化参数QP，QPY用于将以下处理应用于亮度信号的情况，并且QPC用于将处理应用于色差信号的情况。在运动矢量编码、帧间预测以及熵编码（CAVLC/CABAC）中，当不同切片的像素值是“不可用的”时，执行处理；同时，在去块滤波处理中，当同一图片的不同切片的像素值是“可用的”时，执行处理。

以下，如图18所示，将去块滤波处理之前的像素值定义为p0-p3和q0-q3，而将处理之后的像素值定义为p0’-p3’和q0’-q3’。

在去块滤波处理之前，对于图18中的p和q，如图19中的表中所示的那样定义Bs（边界强度）。

在等式（65）和（66）成立的条件下，对图18中的（p2,p1,p0,q0,q1,q2）执行去块滤波处理。

Bs>0  (65)

|p0-q0|<α;|p1-p0|<β;|q1-q0|<β  (66)

根据QP如下缺省地设定等式（66）中的α和β的值；然而，如图20所示的曲线图中的箭头所示，允许用户根据编码数据的两个参数（即，切片头部中包括的slice_alpha_c0_offset_div2和slice_beta_offset_div2）调节其强度。

如可从图21所示的表看到的，可以从indexA计算α。同样，可以从indexB计算β。如以下公式(67)到(69)那样定义indexA和indexB：

qP_av=(qP_p+qP_q+1)>>1     (67)

indexA=Clip3(0,51,qP_av+FilterOffsetA)  (68)

indexB=Clip3(0,51,qP_av+FilterOffsetB)  (69)

在公式（68）和（69）中，FilterOffsetA和FilterOffsetB对应于用户进行的调节。

如下所述，在Bs<4和Bs=4的情况之间为去块滤波处理定义的方法是不同的。在Bs<4的情况下，通过以下公式（70）到（72）得到去块滤波处理之后的像素值p'0和q'0：

Δ=Clip3(-t_c,t_c((((q0-p0)<<2)+(p1-q1)+4)>>3))  (70)

p'0=Clip1(p0+Δ)  (71)

q'0=Clip1(q0+Δ)  (72)

在此，可以根据以下公式（73）或（74）计算t_c。具体来说，在chromaEdgeFlag的值是“0”的情况下，可以根据以下公式（73）计算t_c：

t_c=t_c0+((a_p<β)?1:0)+((a_q<β)?1:0)   (73)

在chromaEdgeFlag的值不是“0”的情况下，可以根据以下公式（74）计算t_c：

t_c=t_c0+1   (74)

根据Bs和indexA的值，如图22的A和图22的B中所示的表中所示的那样定义t_C0的值。

可以根据以下公式(75)和(76)计算公式（73）的a_p和a_q值：

a_p=|p2-p0|(75)

a_q=|q2-q0|(76)

如下得到去块滤波处理之后的像素值p'1。具体来说，在chromaEdgeFlag的值是“0”并且a_p的值等于或小于β的情况下，通过以下公式（77）得到p'1：

p'1=p1+Clip3(-t_c0,t_c0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)  (77)

在等式（77）不成立的情况下，通过以下公式（78）得到p'1：

p'1=p1(78)

如下得到去块滤波处理之后的像素值q'1。具体来说，在chromaEdgeFlag的值是“0”并且a_q的值等于或小于β的情况下，通过以下公式（79）得到q'1：

q'1=q1+Clip3(-t_c0,t_c0,(q2+((p0+q0+1)>>1)-(q1<<1))>>1)   (79)

在等式（79）不成立的情况下，通过以下公式（80）得到q'1：

q'1=q1  (80)

与滤波前的值p2和q2相比，值p'2和q'2未改变。具体来说，通过以下公式（81）得到p'2并且通过以下公式（82）得到q'2：

p'2=p2  (81)

q'2=q2  (82)

在Bs=4的情况下，如下得到去块滤波之后的像素值p'i(i=0..2)。在chromaEdgeFlag的值是“0”并且由以下等式（83）表示的条件成立的情况下，通过以下等式(84)到(86)得到p'0,p'1以及p'2：

ap<β&&|p0-q0|<((α>>2)+2)          (83)

p'0=(p2+2×p1+2×p0+2×q0+q1+4)>>3  (84)

p'1=(p2+p1+p0+q0+2)>>2              (85)

p'2=(2×p3+3×p2+p1+p0+q0+4)>>3     (86)

在由等式（83）表示的条件不成立的情况下，通过以下等式(87)到(89)得到p'0,p'1以及p'2：

p'0=(2×p1+p0+q1+2)>>2   (87)

p'1=p1      (88)

p'2=p2      (89)

如下得到去块滤波处理之后的像素值q'i(I=0..2)。具体来说，在chromaEdgeFlag的值是“0”并且由以下等式（90）表示的条件成立的情况下，通过以下等式(91)到(93)得到q'0,q'1以及q'2：

aq<β&&|p0-q0|<((α>>2)+2)          (90)

q'0=(p1+2×p0+2×q0+2×q1+q2+4)>>3  (91)

q'1=(p0+q0+q1+q2+2)>>2              (92)

q'2=(2×q3+3×q2+q1+q0+p4+4)>>3     (93)

在等式（90）表示的条件不成立的情况下，通过以下等式(94)到(96)得到q'0,q'1以及q'2：

q'0=(2×q1+q0+p1+2)>>2     (94)

q'1=q1  (95)

q'2=q2  (96)

扩展宏块的示例

根据H.264/AVC标准，宏块大小是16×16像素。不过，对于比如可以作为下一代编码标准的对象的UHD(超高清晰度；4000×2000像素)的大图像帧来说，将宏块大小设定为16×16像素并不是最佳的。在图像编码设备101，如图23所示，在一些情况下采用例如32像素×32像素或64×64像素的宏块大小。

图23示出了在非专利文献2中提出的示例块大小。在非专利文献2中，将宏块大小扩展到32×32像素。

在图23的最上一行中，从左侧起按顺序示出了包括32×32像素的宏块，每个宏块被分成32×32像素,32×16像素,16×32像素以及16×16像素的块（分区）。在图23的中间一行中，从左侧起按顺序示出了包括16×16像素的块，每个块被分成16×16像素,16×8像素,8×16像素以及8×8像素的块。在图23的最下一行中，从左侧起按顺序示出了包括8×8像素的块，每个块被分成8×8像素,8×4像素,4×8像素以及4×4像素的块。

换句话说，可以按在图23的最上一行中所示的32×32像素,32×16像素,16×32像素以及16×16像素的块来处理32×32像素的宏块。

如在H.264/AVC标准的情况中那样，可以按在中间一行所示的16×16像素,16×8像素,8×16像素以及8×8像素的块来处理在最上一行的右侧示出的16×16像素块。

如在H.264/AVC标准的情况中那样，可以按在最下一行所示的8×8像素,8×4像素,4×8像素以及4×4像素的块来处理在中间一行的右侧示出的8×8像素块。

将这些块分类成以下三个层级：第一层级是指在图23的最上一行中所示的32×32像素,32×16像素以及16×32像素的块；第二层级是指在最上一行中的右侧所示的16×16像素和在中间一行中所示的16×16像素,16×8像素以及8×16像素的块；第三层级是指在中间一行中的右侧所示的8×8像素和在最下一行中所示的8×8像素,8×4像素,4×8像素以及4×4像素的块。

采用如图23所示的分级结构确保了根据16×16像素块或更小的像素块的H.264/AVC标准利用当前宏块大小的可缩放性（scalability），同时将较大的块定义为其超集。

预测模式的选择

为了实现更高的编码效率，选择合适的预测模式很重要。对于图像编码设备101，考虑从两种模式确定方法（即，高复杂度模式和低复杂度模式）进行选择的方法。在该方法中，在任一模式下，计算各预测模式的相应成本函数值，并选择给出最小值的预测模式作为有关块或宏块的最优模式。

可以根据以下公式（97）计算高复杂度模式的成本函数值：

Cost(Mode∈Ω)=D+λ×R    (97)

在公式（97）中，Ω表示用于对有关块或宏块进行编码的全体（universal）候选模式组。此外，D表示在有关预测模式下执行编码的情况下解码图像与输入图像之间的能量差。λ是作为量化参数的函数给出的未定拉格朗日乘子。R是在有关模式下执行编码的情况下包括正交变换系数的编码总量。

具体来说，为了执行高复杂度模式的编码，必须在所有候选模式下执行一次临时编码处理，以计算上述参数D和R，这需要较大量的算术运算。

另一方面，通过以下公式（98）可以计算低复杂度模式的成本函数值：

Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit  (98)

在公式（98）中，与高复杂度模式不同，D表示预测图像与输入图像之间的能量差。作为量化参数QP的函数给出QP2Quant(QP)。HeaderBit表示不包括正交变换系数的、与属于头部的信息有关的编码量，如运动矢量和模式。

具体来说，在低复杂度模式下，尽管需要逐候选模式地执行预测处理，但是不使用解码图像，因此不必执行编码处理。这样，与高复杂度模式相比，较小的算术运算量就足够了。

在高配置下，例如，基于上述高复杂度模式或低复杂度模式执行4×4正交变换与8×8正交变换之间的选择。

详细配置示例

在上述图像编码设备101中，将自适应环路滤波处理应用于图像编码处理。图像编码设备101在运动预测/补偿环路中具有自适应环路滤波器111，根据帧内预测模式信息对I图像进行分类，并对通过分类决定的类别执行最优滤波系数的计算和滤波处理。

如参照图6到17描述的，帧内预测模式信息实际上包括逐宏块地设定的与预测块大小有关的信息，和逐运动预测块设定的表示针对同一预测块大小的多种预测方法的预测模式的信息。

在图像解码设备101中，根据帧内预测模式信息中的与每宏块的预测块大小有关的信息（即，根据要使用帧内4×4,8×8或16×16模式中的哪一个）对I图像执行分类。

以下详细描述自适应环路滤波器111的结构。基于在非专利文献1中提出的方法，在自适应环路滤波器111处在运动补偿环路内执行自适应滤波处理。要指出的是，本实施例与非专利文献1的不同之处在于对I图片执行以下处理。

具体来说，在非专利文献1中，在将画面作为一个整体设定为一种类别的情况下，通过Wiener滤波执行最小化劣化的处理。

同时，在自适应环路滤波器111处，针对I图片，根据与对有关宏块进行编码采用的是帧内4×4,8×8或16×16模式中的哪一个有关的信息，对限定平坦区域的宏块和限定边缘或纹理区域的宏块执行分类。然后，通过Wiener滤波对类别执行最小化劣化的处理。

更具体来说，帧内16×16模式往往用于画面上的平坦区域；同时，帧内4×4模式或帧内8×8模式往往用于包括边缘和/或纹理的区域。

在画面上的平坦区域中易于出现块失真，而在包括边缘和/或纹理的区域中易于出现蚊子失真。然而在非专利文献1中提出的方法难以减小画面内的局部失真。

这样，在自适应环路滤波器111处，根据编码宏块的模式所具有的预测块大小，对I图片执行分类，并对类别执行滤波系数的计算和自适应滤波处理。

换句话说，将画面内部划分成平坦区域和边缘/纹理区域的类别，并对这些类别执行自适应滤波处理。

这允许不仅改善编码效率而且减小画面内的局部失真。减小了平坦区域中的块失真和边缘/纹理区域中的蚊子失真，从而减小了作为整体的画面中的失真并且可以跳过去块滤波器21的处理。

此外，改进了图像质量所依赖于的I图片的图像质量，从而作为一个整体改进了GOP的图像质量。

在自适应环路滤波器111处使用帧内预测模式信息的编码参数信息，从而不必将分类标志信息（即，用于区分类别的信息）发送到解码方。因此，不太可能出现编码效率的降低，而标记信息的开销则会导致编码效率的降低。

以下描述一个示例，其中，例如，将按帧内16×16编码的宏块分类成限定平坦区域类别的第一类别，将按其他帧内预测模式编码的宏块分类成限定包括边缘和/或纹理的区域的类别的第二类别。更具体来说，根据大小是大于还是小于16×16（其为H.264/AVC编码标准定义的常规宏块大小（最大预测块大小）），对图像进行分类。

本发明可应用于分类成例如帧内4×4,帧内8×8以及帧内16×16三个类别，而不限于上述描述。

也可以按照预测块大小中的预测模式种类（例如DC预测、垂直预测…）执行分类，其为逐运动预测块的编码参数，而不限于上述帧内预测模式信息(帧内预测模式信息)中的预测块大小。

具体来说，例如，垂直预测和水平预测是零阶保持预测模式，易于产生蚊子噪声。因此，可以将按垂直预测和水平预测编码的块或宏块分类成边缘/纹理区域类别，而将按其他预测模式编码的块或宏块分类成平坦区域类别，以进行自适应滤波处理。

本发明还可应用于采用参照图23描述的扩展宏块大小的帧内图片。在此情况下，例如，根据大小是大于还是小于16×16（其为H.264/AVC编码标准定义的常规宏块大小（最大预测块大小）），对图像进行分类。具体来说，大于编码标准定义的常规宏块大小或者等于或大于编码标准定义的常规宏块大小的大小（例如32×32）往往用作画面上的平坦区域，因此可被分类成平坦区域类别。

自适应环路滤波器的结构示例

图24是示出在要输入的图片是I图片的情况下自适应环路滤波器111的结构示例的框图。为了简化说明，没有示出针对除了I图片以外的其他图片的情况的自适应环路滤波器111的结构示例。

在图24的示例中，自适应环路滤波器111包括分类器131、滤波系数计算器132-1和132-2以及滤波处理器133-1和133-2。

将来自去块滤波器21的去块滤波后的像素值提供给分类器131。从预测模式缓冲器112将包含与对宏块进行编码所采用的帧内4×4、8×8或16×16预测模式中的哪一个有关的信息的帧内预测模式信息提供给分类器131。

分类器131按照属于第一类别的像素值和属于第二类别的像素值，对宏块的去块滤波像素值进行分类，并将分类结果分别提供给滤波系数计算器132-1和132-2。在图24的示例中，如上所述，将按帧内16×16编码的宏块分类成定义平坦区域类别的第一类别，将按其他帧内预测模式编码的宏块分类成定义包括边缘和/或纹理的区域的类别的第二类别。

将输入图像像素值从画面排序缓冲器12提供给滤波系数计算器132-1和132-2。滤波系数计算器132-1和132-2计算第一类别和第二类别的自适应滤波系数。

将滤波系数计算器132-1为第一类别计算的自适应滤波系数连同第一类别的去块滤波像素值一起提供给滤波处理器133-1。将滤波系数计算器132-2为第二类别计算的自适应滤波系数连同第二类别的去块滤波像素值一起提供给滤波处理器133-2。还将由此为各类别计算的自适应滤波系数提供给无损编码器16。

滤波处理器133-1对第一类别的去块滤波像素值执行使用第一类别的自适应滤波系数的滤波处理。滤波处理器133-2对第二类别的去块滤波像素值执行使用第二类别的自适应滤波系数的滤波处理。将自适应滤波后的像素值输出到帧存储器22。

图像编码设备的编码处理的描述

接下来参照图25的流程图，描述图5的图像编码设备101的编码处理。

在步骤S11中，A/D转换器11对输入图像执行A/D转换。在步骤S12中，画面排序缓冲器12保持从A/D转换器11提供的图像，并将其图片从显示顺序排序成编码顺序。

在要从图像排序缓冲器12提供的处理目标图像是要经过帧内处理的块的图像的情况下，从帧存储器22读取要参考的解码图像，以通过开关23将其提供给帧内预测器24。

基于这些图像，在步骤S13中，帧内预测器24按所有候选帧内预测模式对要处理的块的像素执行帧内预测。使用要经过去块滤波器21和自适应环路滤波器111的滤波的像素作为要参考的解码像素。

稍后将参照图26对步骤S13中的帧内预测处理进行详细描述，通过该处理按所有候选帧内预测模式执行帧内预测，并且计算所有候选帧内预测模式的成本函数值。基于计算出的成本函数值，选择最优帧内预测模式，并将通过最优帧内预测模式的帧内预测生成的预测图像及其成本函数值提供给预测图像选择器26。

在要从画面排序缓冲器12提供的处理目标图像是要经过帧间处理的图像的情况下，从帧存储器22读取要参考的图像，并通过开关23将其提供给运动预测器/补偿器25。基于这些图像，在步骤S14中，运动预测器/补偿器25执行运动预测/补偿处理。

稍后参照图27详细描述步骤S14中的运动预测/补偿处理。通过该处理按所有候选帧间预测模式执行运动预测处理，为所有候选帧间预测模式计算成本函数值，并且基于计算出的成本函数值决定最优帧间预测模式。将按最优帧间预测模式生成的预测图像及其成本函数值提供给预测图像选择器26。

在步骤S15中，预测图像选择器26基于从帧内预测器24和运动预测器/补偿器25输出的成本函数值，将最优帧内预测模式或最优帧间预测模式决定为最优预测模式。然后，预测图像选择器26选择所决定的最优预测模式的预测图像，并将所述图像提供给算术运算器13和20。这些预测图像用于稍后描述的步骤S16和S21中的算术运算。

将关于预测图像的选择信息提供给帧内预测器24或运动预测器/补偿器25。在选择最优帧内预测模式的预测图像的情况下，帧内预测器24将表示最优帧内预测模式的信息（即，帧内预测模式信息）提供给无损编码器16。

在选择最优帧间预测模式的预测图像的情况下，运动预测器/补偿器25将表示最优帧间预测模式的信息以及所需要的与最优帧间预测模式对应的信息输出到无损编码器16。与最优帧间预测模式对应的信息包括运动矢量信息和基准帧信息。

在步骤S16中，算术运算器13计算在步骤S12中排序的图像与步骤S15中选择的预测图像之间的差值。在帧间预测的情况下从运动预测器/补偿器25而在帧内预测的情况下从帧内预测器24，通过预测图像选择器26将预测图像提供给算术运算器13。

与原始图像数据相比，差值数据具有较小的数据量。因此，与对图像本身进行编码的情况相比，可以压缩数据量。

在步骤S17中，正交变换器14对从算术运算器13提供的差值信息执行正交变换。具体来说，执行诸如离散余弦变换或Karhunen-Loeve变换之类的正交变换，从而输出变换系数。

在步骤S18中，量化器15对变换系数进行量化。在量化时，如稍后描述的步骤S30中的处理中描述的那样，对速率进行控制。

如下所述对如此量化的差值信息进行局部解码。在步骤S19中，逆量化器18利用与量化器15的特性对应的特性，对量化器15量化的变换系数执行逆量化。在步骤S20中，逆正交变换器19利用与正交变换器14的特性对应的特性，对逆量化器18逆量化的变换系数执行逆正交变换。

在步骤S21中，算术运算器20将要通过预测图像选择器26输入的预测图像加入局部解码的差值信息，并生成局部解码的图像（与输入到算术运算器13的输入对应的图像）。

在步骤S22中，去块滤波器21对从算术运算器20输出的图像执行去块滤波处理，以去除块失真。将来自去块滤波器21的解码图像输出到自适应环路滤波器111。

在步骤S23中，自适应环路滤波器111确定来自去块滤波器21的解码图像是否为I图片。在步骤S23中确定为I图片的情况下，在步骤S24中自适应环路滤波器111执行分类系数计算处理。稍后参照图28详细描述分类系数计算处理。这种情况下的自适应环路滤波器111被配置成如图24所示的那样。

通过步骤S23中的处理，根据帧内预测模式执行分类，并为各类别计算自适应滤波系数。将由此计算出的自适应滤波系数连同按类别分类的去块滤波像素值一起提供给相关的滤波处理器133-1和133-2。

同时，在步骤S23中没有确定为I图片的情况下，处理进行到步骤S25。在步骤S25中，自适应环路滤波器111对作为一个整体的画面计算一个自适应滤波系数。未示出除I图片以外的其他情况下的自适应环路滤波器111的详细结构示例。

将在步骤S24或S25中计算出的自适应环路滤波系数的信息提供给无损编码器16，并在稍后描述的步骤S28中由无损编码器16对其进行编码，以附加到压缩图像的头部。

在步骤S26中，自适应环路滤波器111使用计算出的自适应滤波系数对去块滤波像素值执行自适应环路滤波处理。将自适应滤波像素值输出到帧存储器22。

具体来说，尤其是在I图片的情况下，滤波处理器133-1使用与第一类别的去块滤波像素值有关的第一类别的自适应滤波系数来执行滤波处理。滤波处理器133-2使用与第二类别的去块滤波像素值有关的第二类别的自适应滤波系数来执行滤波处理。

在步骤S27中，帧存储器22存储滤波后的图像。还从算术运算器20向帧存储器22提供要由去块滤波器21和自适应环路滤波器111滤波的图像，以存储在其上。

同时，还将在上述步骤S18中量化的变换系数提供给无损编码器16。在步骤S28中，无损编码器16对从量化器15输出的量化变换系数进行编码。换句话说，差值图像经过诸如变长编码或二进制算术编码之类的无损编码，以进行压缩。

此时，在上述步骤S24或S25中输入到无损编码器16的自适应滤波系数，以及在上述步骤S15中输入到无损编码器16的来自帧内预测器24的帧内预测模式信息或者来自运动预测器/补偿器25的与最优帧间预测模式有关的信息，被编码以包括在头部信息中。

例如，逐宏块地对表示帧间预测模式的信息进行编码。逐目标块地对运动矢量信息和基准帧信息进行编码。逐切片或图片参数组地对滤波系数进行编码。

在步骤S29中，累积缓冲器17将差值图像累积为压缩图像。由此累积在累积缓冲器17中的压缩图像被适当地从其中读取出来，以通过通道传送到解码方。

在步骤S30中，速率控制器27基于累积在累积缓冲器17中的压缩图像对量化器15的量化运算的速率进行控制，以避免上溢或下溢。

帧内预测处理的描述

接下来参照图26的流程图对图25的步骤S13中的帧内预测处理进行描述。在图26的示例中，示例性地描述亮度信号的情况。

在步骤S41中，帧内预测器24分别按4×4像素、8×8像素以及16×16像素的帧内预测模式执行帧内预测。

亮度信号的帧内预测模式包括基于4×4像素和8×8像素的9种块单位的预测模式以及基于16×16像素的4种宏块单位的预测模式。色差信号的帧内预测模式包括基于8×8像素的4种块单位的预测模式。可以与亮度信号的帧内预测模式无关地设定色差信号的帧内预测模式。对于亮度信号的4×4像素和8×8像素帧内预测模式，每4×4像素和8×8像素的亮度信号的块限定一个帧内预测模式。对于亮度信号的16×16像素帧内预测模式和色差信号的帧内预测模式，对一个宏块限定一个预测模式。

具体来说，帧内预测器24参考要从帧存储器22读取并通过开关23提供的解码图像，对处理目标块的像素执行帧内预测。在各帧内预测模式下分别执行帧内预测处理，从而分别在各帧内预测模式下生成预测图像。使用尚未经过去块滤波器21和自适应环路滤波器111的滤波的像素作为要参考的解码图像。

在步骤S42中，帧内预测器24针对4×4像素、8×8像素以及16×16像素帧内预测模式计算成本函数值。在此，使用公式（97）或的成本函数来得到成本函数值。

在步骤S43中，帧内预测器24分别决定4×4像素、8×8像素以及16×16像素帧内预测模式的最优模式。具体来说，如上所述，帧内4×4预测模式和帧内8×8预测模式分别具有9种预测模式，并且帧内16×16预测模式具有4种预测模式。因此，帧内预测器24根据在步骤S42中计算出的成本函数值，从上述模式中决定最优帧内4×4预测模式、最优帧内8×8预测模式以及最优帧内16×16预测模式。

在步骤S44中，帧内预测器24根据在步骤S42中计算出的成本函数值，从分别对4×4像素、8×8像素以及16×16像素帧内预测模式决定的最优模式中选择最优帧内预测模式。更具体来说，在为4×4像素、8×8像素以及16×16像素决定的最优模式中，选择具有最小成本函数值的模式作为最优帧内预测模式。帧内预测器24将按最优帧内预测模式生成的预测图像及其成本函数值提供给预测图像选择器26。

运动预测/补偿处理的描述

接下来参照图27的流程图描述图25的步骤S14中的运动预测/补偿处理。

在步骤S61中，运动预测器/补偿器25为包括16×16像素到4×4像素的8种帧间预测模式分别决定运动矢量和基准图像。更具体来说，为帧间预测模式的处理目标块分别决定运动矢量和基准图像。

在步骤S62中，运动预测器/补偿器25基于在步骤S61中为包括16×16像素到4×4像素的8种帧间预测模式决定的运动矢量，对基准图像执行运动预测和补偿处理。通过该运动预测和补偿处理在帧间预测模式下生成预测图像。

在步骤S63中，运动预测器/补偿器25为包括16×16像素到4×4像素的8种帧间预测模式计算由上述公式(97)或(98)表示的成本函数值。

在步骤S64中，运动预测器/补偿器25对在步骤S63中针对帧间预测模式计算出的成本函数值进行比较，并将给出最小值的预测模式决定为最优帧间预测模式。然后，运动预测器/补偿器25将按最优帧间预测模式生成的预测图像及其成本函数值提供给预测图像选择器26。

分类系数计算处理的描述

接下来参照图28的流程图描述图25的步骤S24中的分类系数计算处理。图28的分类系数计算处理是在图24中的I图片的情况下由自适应环路滤波器111执行的处理。

将来自去块滤波器21的去块滤波像素值提供给分类器131。将包含与对宏块进行编码所采用的帧内4×4、8×8或16×16预测模式中的哪一个有关的信息的帧内预测模式信息也从预测模式缓冲器112提供给分类器131。

在步骤S81中，分类器131获得宏块的帧内预测模式信息。

在步骤S82中，分类器131参考所获得的帧内预测模式信息，以确定针对一个宏块的帧内预测模式是否是帧内16×16预测模式。在步骤S82中确定了帧内16×16预测模式的情况下，分类器131在步骤S83中将去块滤波像素值分类成第一类别。更具体来说，把被确定为采用帧内16×16预测模式的宏块的像素值分类成定义平坦部分区域类别的第一类别。

在步骤S82中未确定帧内16×16预测模式的情况下，在步骤S84中分类器131将去块滤波像素值分类成第二类别。更具体来说，把被确定为采用帧内8×8或帧内4×4预测模式而不是采用帧内16×16预测模式的宏块的像素值分类成定义边缘/纹理区域类别的第二类别。

在步骤S83或S84之后，处理进行到步骤S85。在步骤S85中，分类器131确定对构成画面的宏块的处理是否已经全部完成，在确定所述处理尚未完成的情况下，处理返回到步骤S82，并重复执行之后的处理。

在步骤S85中确定对宏块已经全部完成了处理的情况下，分类器131将按类别分类的宏块的像素值提供给相关的滤波系数计算器132-1和132-2，并且处理进行到步骤S86。

换句话说，分类器131将分类成第一类别的宏块的像素值提供给滤波系数计算器132-1，并将分类成第二类别的宏块的像素值提供给滤波系数计算器132-2。

在步骤S86中，滤波系数计算器132-1和132-2计算第一和第二类别的自适应滤波系数。

具体来说，滤波系数计算器132-1计算第一类别的自适应滤波系数，以最小化来自画面排序缓冲器12的输入图像像素值与第一类别的去块滤波像素值之间的残差。将为第一类别计算的自适应滤波系数连同第一类别的去块滤波像素值一起提供给滤波处理器133-1。

滤波系数计算器132-2计算第二类别的自适应滤波系数，以最小化来自画面排序缓冲器12的输入图像像素值与第二类别的去块滤波像素值之间的残差。将为第二类别计算的自适应滤波系数连同第二类别的去块滤波像素值一起提供给滤波处理器133-2。还将这些类别的自适应滤波系数提供给无损编码器16。

这样，在要进行滤波处理的像素是I图片的像素的情况下，根据与进行的编码模式具有哪个帧内预测块大小有关的信息，将像素分类成平坦部分区域中的宏块的类别和包括边缘和/或纹理的区域中的宏块的类别，并按类别进行自适应环路滤波处理。

这允许减小画面内的局部失真。此外，由于改进了I图片的图像质量，从而改进了作为一个整体的GOP的图像质量。

此外，帧内预测模式信息是要发送给解码方的编码信息（编码参数），因此不必将用于分类的信息发送给解码方，允许防止降低编码效率，而如果要发送用于分类的信息的话，会导致降低编码效率。

通过特定通道发送编码压缩图像，以由图像解码设备解码。

图像解码设备的结构示例

图29示出了采用应用了本发明的图像解码设备的形式的图像处理设备的一个实施例。

与图2的图像解码设备31相同，图29的图像解码设备201包括累积缓冲器41、无损解码器42、逆量化器43、逆正交变换器44、算术运算器45、去块滤波器46、画面排序缓冲器47、D/A转换器48、帧存储器49、开关50、帧内预测器51、运动补偿器52以及开关53。

与图2的图像解码设备31不同，图23的图像解码设备201还包括自适应环路滤波器211和预测模式缓冲器212。

更具体来说，与图2的无损解码器42相同，无损解码器42根据与无损编码器16采用的编码标准对应的标准，对从累积缓冲器41提供的由图5的无损编码器16编码的信息进行解码。此时，还被解码的有包括运动矢量信息、基准帧信息、预测模式信息（即，表示帧内预测模式或帧间预测模式的信息）以及第一类别和第二类别的自适应滤波系数的信息。

逐块地将运动矢量信息和基准帧信息提供给运动补偿器52。逐宏块地将预测模式信息提供给帧内预测器51和运动补偿器52的相关部分。逐切片或图片参数组地将各类别的自适应滤波系数提供给自适应环路滤波器211。

自适应环路滤波器211设置在去块滤波器46的后面和帧存储器49的前面。具体来说，自适应环路滤波器211设置在运动补偿环路中，该运动补偿环路包括算术运算器45、去块滤波器46、帧存储器49、开关50、运动补偿器52以及开关53。即，要用的图像在运动补偿环路中循环。

自适应环路滤波器211使用从无损解码器42提供的自适应滤波系数，对来自去块滤波器46的解码图像进行滤波处理。滤波的示例包括Wiener滤波。

要指出的是，自适应环路滤波器211将来自去块滤波器46的解码图像分类成与来自预测模式缓冲器212的帧内预测模式信息对应的类别。自适应环路滤波器211按所分配的类别，使用从无损解码器42提供的自适应滤波系数，对其执行滤波处理，从而将滤波图像输出到画面排序缓冲器47和帧存储器49。

预测模式缓冲器212存储帧内预测器51决定的帧内预测模式信息。

在图5的自适应环路滤波器111处，使用各类别的像素值来计算自适应滤波系数，并使用计算出的滤波系数对各类别的像素值执行滤波处理。另一方面，在图29的自适应环路滤波器211处，使用要从压缩图像的头部逐切片或图片参数组地获得的滤波系数对各类别的像素值执行滤波处理。

自适应环路滤波器的结构示例

图30是在I图片的情况下的自适应环路滤波器211的结构示例的框图。如在图24的情况中那样，为了简化说明，未示出在除了I图片以外的其他情况下的自适应环路滤波器211的结构示例。

在图30的示例中，自适应环路滤波器211包括滤波系数缓冲器231-1和231-2、分类器232以及滤波处理器233-1和233-2。

无损解码器42将第一类别和第二类别的自适应滤波系数分别提供给滤波系数缓冲器231-1和231-2，这些自适应滤波系数可以从图片参数组或切片头部获得。

滤波系数缓冲器231-1累积第一类别的自适应滤波系数以提供给滤波处理器233-1。滤波系数缓冲器231-2累积第二类别的自适应滤波系数以提供给滤波处理器233-2。

将来自去块滤波器46的去块滤波像素值提供给分类器232。还向分类器232提供包含与来自预测模式缓冲器212的宏块被编码时所采用的帧内4×4、8×8或16×16预测模式中的哪一个有关的信息的帧内预测模式信息。

分类器232参考帧内预测模式信息，并按照属于第一类别的像素值和属于第二类别的像素值对去块滤波像素值进行分类，以分别提供给滤波处理器233-1和233-2。将按照帧内16×16编码的宏块分类成定义平坦区域类别的第一类别，将按其他帧内预测模式编码的宏块分类成包括边缘和/或纹理的区域的类别的第二类别。

滤波处理器233-1使用来自滤波系数缓冲器231-1的第一类别的自适应滤波系数对分类成第一类别的像素值执行滤波处理。滤波处理器233-2使用来自滤波系数缓冲器231-2的第二类别的自适应滤波系数对分类成第二类别的像素值执行滤波处理。

将自适应滤波像素值输出到画面排序缓冲器47和帧存储器49。

图像解码设备的解码处理的描述

接下来参照图31的流程图描述图像解码设备201执行的解码处理。

在步骤S131中，累积缓冲器41累积输入的图像。在步骤S132中，无损解码器42对从累积缓冲器41提供的压缩图像进行解码。更具体来说，对图5的无损编码器16编码的I图片、P图片以及B图片进行解码。

此时，还被解码的有包括运动矢量信息、基准帧信息、预测模式信息（即，表示帧内预测模式或帧间预测模式的信息）以及各类别的自适应滤波系数的信息。

具体来说，在预测模式信息是帧内预测模式信息的情况下，将预测模式信息提供给帧内预测器51。在预测模式信息是帧间预测模式信息的情况下，将预测模式信息和相关联的运动矢量信息和基准帧信息提供给运动补偿器52。逐切片或图片参数组地解码各类别的自适应滤波系数，以提供给自适应环路滤波器211。

在步骤S133中，帧内预测器51或运动补偿器52根据从无损解码器42提供的预测模式信息执行预测图像生成处理。

具体来说，在从无损解码器42提供了帧内预测模式信息的情况下，帧内预测器51按帧内预测模式执行帧内预测处理以生成帧内预测图像。在从无损解码器42提供了帧间预测模式信息的情况下，运动补偿器52按帧间预测模式执行运动预测/补偿处理以生成帧间预测图像。

稍后参考图32详细说明步骤S133中的预测图像生成处理。通过该处理，向开关53提供帧内预测器51生成的预测图像（帧内预测图像）或运动补偿器52生成的预测图像（帧间预测图像）。

在步骤S134中，开关53选择预测图像。更具体来说，提供帧内预测器51生成的预测图像或运动补偿器52生成的预测图像。因此，选择提供的预测图像以提供给算术运算器45，从而在稍后描述的步骤S137中加入逆正交变换器44的输出。

在上述步骤S132中，还将解码的变换系数提供给逆量化器43。在步骤S135中，逆量化器43利用与图5的量化器15的特性对应的特性，对无损解码器42解码的变换系数执行逆量化。

在步骤S136中，逆正交变换器44利用与图5的正交变换器14的特性对应的特性，对逆量化器43逆量化的变换系数执行逆正交变换。通过该处理解码与图5的正交变换器14的输入对应的差值信息（即，算术运算器13的输出）。

在步骤S137中，算术运算器45将在步骤S134的处理中选择并且通过开关53输入的预测图像与差值信息相加。通过该处理解码出原始图像。在步骤S138中，去块滤波器46对从算术运算器45输出的图像执行去块滤波处理。通过该处理大体上去除了画面中的块失真。

在步骤S139中，自适应环路滤波器211确定来自去块滤波器21的解码图像是否为I图片。在步骤S139中确定为I图片的情况下，自适应环路滤波器111在步骤S140中执行分类滤波处理。稍后参照图33详细描述分类滤波处理。要指出的是，在此情况下的自适应环路滤波器211被配置成如图30所示的那样。

通过步骤S140的处理，根据帧内预测模式执行分类，从而对各类别执行自适应滤波处理。将自适应滤波像素值输出到画面排序缓冲器47和帧存储器49。

同时，在步骤S139中没有确定为I图片的情况下，处理进行到步骤S141。在步骤S141中，自适应环路滤波器211使用针对画面的全部像素值的一个自适应滤波系数来执行自适应滤波处理。无损解码器42从切片头部或图片参数组获得这种情况下的自适应滤波系数，以提供给自适应环路滤波器211。将自适应滤波像素值输出到画面排序缓冲器47和帧存储器49。要指出的是，未示出在除了I图片以外的其他图片的情况下的自适应环路滤波器211的详细结构示例。

在步骤S142中，帧存储器49保持自适应滤波图像。

在步骤S143中，画面排序缓冲器47对经过了自适应环路滤波器211的图像进行排序。具体来说，将由图像编码设备101的画面排序缓冲器12为编码而排序的帧顺序排序成原始显示顺序。

在步骤S144中，D/A转换器48对来自画面排序缓冲器47的图像执行D/A转换。将这些图像输出到显示器（未示出），并在其上显示图像。

图像解码设备的预测图像生成处理的描述

接下来参照图32的流程图描述图31的步骤S133中的预测图像生成处理。

在步骤S171中，帧内预测器51确定目标块是否为帧内编码的。当从无损解码器42向帧内预测器51提供了帧内预测模式信息时，帧内预测器51在步骤S171中确定目标块是帧内编码的，并且处理进行到步骤S172。此时，帧内预测器51将帧内预测模式信息提供给预测模式缓冲器212。

帧内预测器51在步骤S172中获得帧内预测模式信息并在步骤S173中执行帧内预测，以生成帧内预测图像。

在要处理的图像是要进行帧内处理的图像的情况下，从帧存储器49读取要使用的图像并通过开关50将其提供给帧内预测器51。在步骤S173中，帧内预测器51根据在步骤S172中获得的帧内预测模式信息执行帧内预测，以生成预测图像。将所生成的预测图像输出到开关53。

同时，在步骤S171中确定未执行帧内编码的情况下，处理进行到步骤S174。

在要处理的图像是要进行帧间处理的图像的情况下，将帧间预测模式信息、基准帧信息以及运动矢量信息从无损解码器42提供给运动补偿器52。

在步骤S174中，运动补偿器52获得包括从无损解码器42输出的预测模式信息的信息。具体来说，获得运动（帧间）预测模式信息、基准帧信息以及运动矢量信息。

在步骤S175中，运动补偿器52使用运动矢量信息并对来自帧存储器49的基准图像执行补偿，以生成帧间预测图像。将所生成的预测图像通过开关53提供给算术运算器45，并与在图31的步骤S137中来自逆正交变换器44的输出相加。

图像解码设备的分类滤波处理的说明

接下来参照图33的流程图描述图31的步骤S140中的分类滤波处理。

无损解码器42将第一类别和第二类别的自适应滤波系数分别提供给滤波系数缓冲器231-1和231-2，这些自适应滤波系数可以从图片参数组或切片头部获得。

滤波系数缓冲器231-1累积第一类别的自适应滤波系数以提供给滤波处理器233-1。滤波系数缓冲器231-2累积第二类别的自适应滤波系数以提供给滤波处理器233-2。

在步骤S191中，滤波处理器233-1和233-2分别从滤波系数缓冲器231-1和231-2接收相关联的类别的自适应滤波系数。

此外，将来自无损解码器42的与宏块有关的帧内预测模式信息通过帧内预测器51和预测模式缓冲器212提供给分类器232。

在步骤S192中，分类器232接收帧内预测模式信息，该信息包含与宏块被编码时采用了帧内4×4、8×8或16×16预测模式中的哪一个有关的信息。

在步骤S193中，分类器232参考所接收到的帧内预测模式信息，以确定轰开的帧内预测模式是否为帧内16×16预测模式。在步骤S193中确定为帧内16×16预测模式的情况下，分类器232在步骤S194中将去块滤波像素值分类成第一类别。具体来说，将被确定为采用帧内16×16预测模式的宏块的像素值分类成定义平坦部分区域类别的第一类别。分类器232将分类成第一类别的宏块的像素值提供给滤波处理器233-1。

在步骤S195中，滤波处理器233-1执行第一类别的自适应滤波处理。具体来说，滤波处理器233-1使用来自第一类别的滤波系数缓冲器231-1的自适应滤波系数，对由分类器232分类为第一类别的宏块的像素值执行滤波处理。将自适应滤波像素值提供给画面排序缓冲器47和帧存储器49。

在步骤S193中没有确定为帧内16×16预测模式的情况下，分类器232在步骤S196中将去块滤波像素值分类成第二类别。具体来说，将被确定为采用帧内8×8或帧内4×4预测模式而不是采用帧内16×16预测模式的宏块的像素值分类成定义边缘/纹理区域类别的第二类别。分类器232将分类成第二类别的宏块的像素值提供给滤波处理器233-2。

在步骤S197中，滤波处理器233-2执行第二类别的自适应滤波处理。具体来说，滤波处理器233-2使用来自第二类别的滤波系数缓冲器231-2的自适应滤波系数，对由分类器232分类成第二类别的宏块的像素值执行滤波处理。将自适应滤波像素值提供给画面排序缓冲器47和帧存储器49。

如上所述，在图像编码设备101和图像解码设备201中，对于I图片，将I图片的图像分类成与帧内预测模式对应的类别，以按类别进行自适应环路滤波处理。

这允许最小化作为一个整体的画面中的图像劣化，并且还允许改善在平坦部分或包括例如画面中的纹理的区域中出现的局部图像劣化，从而提高编码效率。

在上述描述中，编码标准基于H.264/AVC标准。然而本发明并不限于此，而是可应用于涉及针对多个块大小的帧内预测模式和运动预测/补偿环路中的自适应滤波的其他编码标准/解码标准。

要指出的是，本发明可适用于例如如同MPEG、H.26x等一样，在通过网络介质，比如卫星广播、有线电视、因特网、蜂窝电话等，接收利用诸如离散余弦变换之类的正交变换和运动补偿压缩的图像信息(比特流)的时候，使用的图像编码设备和图像解码设备。另外，本发明可适用于在处理诸如光盘、磁盘和闪速存储器之类存储介质上的图像信息的时候，使用的图像编码设备和图像解码设备。此外，本发明可适用于包括在这样的图像编码设备和图像解码设备等中的运动预测/补偿装置。

上述一系列处理可用硬件执行，或者可用软件执行。在用软件执行所述一系列处理的情况下，构成所述软件的程序安装在计算机中。这里，计算机的例子包括内置于专用硬件中的计算机，和利用安装的各种程序，能够执行各种功能的通用个人计算机。

[个人计算机的结构例子]

图34是图解说明利用程序，执行上述一系列处理的计算机的硬件的结构例子的方框图。

就所述计算机来说，CPU(中央处理器)251、ROM(只读存储器)252和RAM(随机存取存储器)253由总线254互连。

此外，输入/输出接口255连接到总线254。输入单元256、输出单元257、存储单元258、通信单元259和驱动器260连接到输入/输出接口265。

输入单元256由键盘、鼠标、麦克风等构成。输出单元257由显示器、扬声器等构成。存储单元258由硬盘、非易失性存储器等构成。通信单元259由网络接口等构成。驱动器260驱动诸如磁盘、光盘、磁光盘、半导体存储器之类的可拆卸介质261。

就这样构成的计算机来说，例如，CPU 251通过输入/输出接口255和总线254，把保存在存储单元258中的程序载入RAM 253中，然后执行该程序，从而进行上述一系列的处理。

可通过记录在作为套装介质等的可拆卸介质261中，提供计算机(CPU 251)执行的程序。另外，可通过电缆或无线传输介质，比如局域网、因特网或数字广播，提供所述程序。

就所述计算机来说，可通过把可拆卸介质261安装在驱动器260上，通过输入/输出接口255，把程序安装在存储单元258中。另外，程序可由通信单元259通过电缆或无线传输介质接收，然后安装在存储单元258中。另外，程序可被预先安装在ROM 252或存储单元258中。

注意，计算机执行的程序可以是其中按照在本说明书中说明的顺序，时序地执行处理的程序，或者可以是其中并行地或者在必要时(比如当进行调用时)，执行处理的程序。

本发明的实施例并不局限于上述实施例，可以做出各种修改，而不脱离本发明的本质。

例如，上述图像编码设备101和图像解码设备201可应用于任意电子设备。下面说明其例子。

[电视接收机的结构例子]

图35是图解说明使用应用本发明的图像解码设备的电视接收机的主要结构例子的方框图。

图35中所示的电视接收机300包括地面调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320和显示面板321。

地面调谐器313通过天线接收地面模拟广播的广播信号，解调获得视频信号，并把获得的视频信号提供给视频解码器315。视频解码器315对从地面调谐器313供给的视频信号进行解码处理，然后把获得的数字分量信号提供给视频信号处理电路318。

视频信号处理电路318对从视频解码器315供给的视频数据进行诸如噪声消除之类的预定处理，然后把获得的视频数据提供给图形生成电路319。

图形生成电路319生成待显示在显示面板321上的节目的视频数据，或者由基于经网络提供的应用程序的处理而获得的图像数据等，并把生成的视频数据或图像数据提供给面板驱动电路320。另外，图形生成电路319还酌情进行诸如把通过生成视频数据(图形)，供用户显示用于选择项目等的屏幕，并把所述视频数据(图形)重叠在节目的视频数据上而获得的视频数据提供给面板驱动电路320之类的处理。

面板驱动电路320根据从图形生成电路319供给的数据，驱动显示面板321，从而在显示面板321上显示节目的视频或者上述各种屏幕。

显示面板321由LCD(液晶显示器)等构成，按照面板驱动电路320的控制，显示节目的视频等。

另外，电视接收机300还包括音频A/D(模/数)转换电路314、音频信号处理电路322、回声消除/音频合成电路323、音频放大电路324和扬声器325。

地面调谐器313解调接收的广播信号，从而不仅获得视频信号，而且获得音频信号。地面调谐器313把获得的音频信号提供给音频A/D转换电路314。

音频A/D转换电路314对从地面调谐器313供给的音频信号进行A/D转换处理，并把获得的数字音频信号提供给音频信号处理电路322。

音频信号处理电路322对从音频A/D转换电路314供给的音频数据进行诸如噪声消除之类的预定处理，并把获得的音频数据提供给回声消除/音频合成电路323。

回声消除/音频合成电路323把从音频信号处理电路322供给的音频数据提供给音频放大电路324。

音频放大电路324对从回声消除/音频合成电路323供给的音频数据进行D/A转换处理，进行放大处理，以调整为预定音量，随后从扬声器325输出音频。

此外，电视接收机300还包括数字调谐器316和MPEG解码器317。

数字调谐器316通过天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播信号，解调获得MPEG-TS(运动图像专家组-传输流)，并把MPEG-TS提供给MPEG解码器317。

MPEG解码器317消除赋予从数字调谐器316供给的MPEG-TS的扰频，提取包括充当重放对象(观看对象)的节目的数据的流。MPEG解码器317对构成所提取流的音频分组解码，把获得的音频数据提供给音频信号处理电路322，另外还对构成所述流的视频分组解码，并把获得的视频数据提供给视频信号处理电路318。另外，MPEG解码器317通过未示出的路径，把从MPEG-TS提取的EPG(电子节目指南)数据提供给CPU 332。

电视接收机300使用上述图像解码设备201作为按照这种方式，解码视频分组的MPEG解码器317。因而，按照和图像解码设备201的情况相同的方式，MPEG解码器317能够最小化作为一个整体的画面中的图像劣化，并且改进局部图像劣化。

按照和从视频解码器315供给的视频数据的情况相同的方式，从MPEG解码器317供给的视频数据在视频信号处理电路318经历预定处理。经过预定处理的视频数据随后在图形生成电路319被酌情重叠在生成的视频数据等上，通过面板驱动电路320被提供给显示面板321，从而其图像被显示在显示面板321上。

按照和从音频A/D转换电路314供给的音频数据的情况相同的方式，从MPEG解码器317供给的音频数据在音频信号处理电路322经历预定处理。经过预定处理的音频数据通过回声消除/音频合成电路323被提供给音频放大电路324，从而经历D/A转换处理和放大处理。结果，从扬声器325输出按预定音量调整的音频。

另外，电视接收机300还包括麦克风326和A/D转换电路327。

A/D转换电路327接收由对电视接收机300设置的用于语音会话的麦克风326收集的用户音频信号。A/D转换电路327对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给回声消除/音频合成电路323。

在从A/D转换电路327供给了电视接收机300的用户(用户A)的音频数据的情况下，回声消除/音频合成电路323以用户A的音频数据作为对象，进行回声消除。在回声消除之后，回声消除/音频合成电路323经音频放大电路324，从扬声器325输出通过与其它音频数据等合成而获得的音频数据。

此外，电视接收机300还包括音频编解码器328、内部总线329、SDRAM(同步动态随机存取存储器)330、闪速存储器331、CPU 332、USB(通用串行总线)I/F 333、和网络I/F 334。

A/D转换电路327接收由对电视接收机300设置的用于语音会话的麦克风326收集的用户音频信号。A/D转换电路327对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给音频编解码器328。

音频编解码器328把从A/D转换电路327供给的音频数据转换成预定格式的数据，以便通过网络传输，然后通过内部总线329提供给网络I/F 334。

网络I/F 334通过安装在网络端子335上的电缆连接到网络。例如，网络I/F 334把从音频编解码器328供给的音频数据传送给与网络连接的另一个设备。另外，例如，网络I/F 334通过网络端子335，接收从通过网络与之连接的另一个设备传送的音频数据，并通过内部总线329，把接收的音频数据提供给音频编解码器328。

音频编解码器328把从网络I/F 334供给的音频数据转换成预定格式的数据，并把转换后的数据提供给回声消除/音频合成电路323。

回声消除/音频合成电路323以从音频编解码器328供给的音频数据作为对象，进行回声消除，经音频放大电路324，从扬声器325输出通过与其它音频数据等合成而获得的音频数据。

SDRAM 330保存为CPU 332进行处理所必需的各种数据。

闪速存储器331保存将由CPU 332执行的程序。保存在闪速存储器331中的程序由CPU 332在预定时刻，比如当启动电视接收机300时读出。通过数字广播获得的EPG数据，通过网络从预定服务器获得的数据等等也保存在闪速存储器331中。

例如，MPEG-TS被保存闪速存储器331中，MPEG-TS包括在CPU 332的控制下，通过网络从预定服务器获得的内容数据。在CPU332的控制下，闪速存储器331通过内部总线329，把MPEG-TS提供给MPEG解码器317。

MPEG解码器317按照和从数字调谐器316供给的MPEG-TS的情况相同的方式，处理该MPEG-TS。这样，电视接收机300通过网络接收由视频、音频等构成的内容数据，利用MPEG解码器317解码内容数据，从而能够显示内容数据的视频，并且能够输出内容数据的音频。

另外，电视接收机300还包括接收从遥控器351传送的红外信号的受光单元337。

受光单元337从遥控器351接收红外线，把表示通过解调获得的用户操作的内容的控制码输出给CPU 332。

CPU 332执行保存在闪速存储器331中的程序，以按照从受光单元337供给的控制码等，控制电视接收机300的全部操作。CPU 332和电视接收机300的各个单元是通过未示出的路径连接的。

USB I/F 333相对于通过安装在USB端子336上的USB电缆，连接的电视接收机300的外部设备，进行数据的传输/接收。网络I/F334通过安装在网络端子335上的电缆，连接到网络，另外相对于连接到网络的各种设备，进行除音频数据外的数据的传输/接收。

电视接收机300利用图像解码设备201作为MPEG解码器317，从而能够提高编码效率。结果，电视接收机300能够从通过天线接收的广播波信号，或者通过网络获得的内容数据中，获得清晰度更高的解码图像，和显示该解码图像。

[移动电话的结构例子]

图36是图解说明使用应用本发明的图像编码设备和图像解码设备的移动电话的主要结构例子的方框图。

图36中所示的蜂窝电话机400包括配置成一体控制各个单元的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、照相机I/F单元454、LCD控制单元455、图像解码器456、复用/分离单元457、记录/重放单元462、调制/解调电路单元458、和音频编解码器459。这些单元通过总线460互相连接。

另外，蜂窝电话机400包括操作按键419、CCD(电荷耦合器件)照相机416、液晶显示器418、存储单元423、传输/接收电路单元463、天线414、麦克风(MIC)421和扬声器417。

当通过用户的操作，结束呼叫和开启电源按键时，电源电路单元451通过从电池组向各个单元供电，以可操作状态启动蜂窝电话机400。

在由CPU、ROM、RAM等构成的主控制单元450的控制下，蜂窝电话机400按照各种模式，比如话音通话模式，数据通信模式等进行各种操作，比如音频信号的传输/接收，电子邮件和图像数据的传输/接收，摄影，数据记录等等。

例如，在话音通话模式下，蜂窝电话机400用音频编解码器459，把麦克风(话筒)421收集的音频信号转换成数字音频数据，在调制/解调电路单元458对数字音频数据进行频谱扩展处理，在传输/接收电路单元463对处理的数字音频数据进行数/模转换处理和频率转换处理。蜂窝电话机400通过天线414，把通过转换处理获得的传输信号传送给未示出的基站。传送给基站的传输信号(音频信号)经公共交换电话网，被提供给对方的蜂窝电话机。

另外，例如，在话音通话模式下，蜂窝电话机400在传输/接收电路单元463，放大在天线414接收的接收信号，另外对放大的信号进行频率转换处理和模/数转换处理，在调制/解调电路单元458进行频谱反扩展处理，然后用音频编解码器459转换成模拟音频信号。蜂窝电话机400从扬声器417输出转换获得的模拟音频信号。

此外，例如，当按数据通信模式传送电子邮件时，蜂窝电话机400在操作输入控制单元452，接收通过操纵操作按键419而输入的电子邮件的文本数据。蜂窝电话机400在主控制单元450处理文本数据，并借助LCD控制单元455，以图像的形式把文本数据显示在液晶显示器418上。

另外，蜂窝电话机400根据由操作输入控制单元452接收的文本数据，用户指令等，在主控制单元450生成电子邮件数据。蜂窝电话机400在调制/解调电路单元458对电子邮件数据进行频谱扩展处理，在传输/接收电路单元463进行数/模转换处理和频率转换处理。蜂窝电话机400把通过转换处理获得的传输信号经天线414传给未示出的基站。传给基站的传输信号(电子邮件)经网络、邮件服务器等被提供给预定目的地。

另外，例如，当按数据通信模式接收电子邮件时，蜂窝电话机400利用传输/接收电路单元463，通过天线414接收从基站传来的信号，放大接收的信号，并对放大的信号进行频率转换处理和模/数转换处理。蜂窝电话机400在调制/解调电路单元458对接收的信号进行频率反扩展处理，以恢复原始电子邮件数据。蜂窝电话机400通过LCD控制单元455，把恢复的电子邮件数据显示在液晶显示器418上。

注意，蜂窝电话机400可通过记录/重放单元462，把接收的电子邮件数据记录(保存)在存储单元423中。

存储单元423是任意可重写记录介质。存储单元423可以是诸如RAM，内置闪速存储器之类的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器、存储卡之类的可拆卸介质。当然，存储单元423可以是除上述介质外的其它介质。

此外，例如，当按数据通信模式传送图像数据时，蜂窝电话机400通过在CCD照相机416成像，生成图像数据。CCD照相机416包括诸如透镜、光圈之类的光学器件和充当光电变换器件的CCD，对被摄物体成像，把受光强度转换成电信号，并生成被摄物体的图像的图像数据。通过照相机I/F单元454，在图像编码器453利用预定编码格式，比如MPEG2、MPEG4等，对图像数据进行压缩编码，从而把图像数据转换成编码图像数据。

蜂窝电话机400采用上述图像编码设备101作为进行这种处理的图像编码器453。因而，按照和图像编码设备101相同的方式，图像编码器453实现了作为一个整体的画面中的图像劣化以及局部图像劣化的最小化。

蜂窝电话机400同时在音频编解码器459，把在麦克风(话筒)421收集的音频从模拟转换成数字，另外在用CCD照相机416摄影期间对所述音频编码。

蜂窝电话机400利用预定方法，在复用/分离单元457复用从图像编码器453供给的编码图像数据，和从音频编解码器459供给的数字音频数据。蜂窝电话机400在调制/解调电路单元458，对作为结果获得的复用数据进行频谱扩展处理，然后在传输/接收电路单元463进行数/模转换处理和频率转换处理。蜂窝电话机400把通过转换处理获得的传输信号经天线414传给未示出的基站。传给基站的传输信号(图像数据)经网络等被提供给通信对方。

注意在不传送图像数据的情况下，蜂窝电话机400也可经LCD控制单元455，而不是图像编码器453，把在CCD照相机416生成的图像数据显示在液晶显示器418上。

另外，例如，当按数据通信模式，接收链接到简单网站等的运动图像文件的数据时，蜂窝电话机400通过天线414，在传输/接收电路单元463接收从基站传送的信号，放大接收的信号，另外对放大信号进行频率转换处理和模/数转换处理。蜂窝电话机400在调制/解调电路单元458对接收的信号进行频率反扩展处理，以恢复原始的复用数据。蜂窝电话机400在复用/分离单元457把复用数据分离成编码图像数据和音频数据。

蜂窝电话机400利用与诸如MPEG2，MPEG4之类的预定编码格式对应的解码格式，在图像解码器456对编码图像数据解码，从而生成重放运动图像数据，然后通过LCD控制单元455，把重放运动图像数据显示在液晶显示器418上。从而，例如，包括在与链接到简单网站的运动图像文件中的运动图像数据被显示在液晶显示器418上。

蜂窝电话机400采用上述图像解码设备201作为进行这种处理的图像解码器456。因而，按照和图像解码设备201相同的方式，图像解码器456实现了作为一个整体的画面中的图像劣化的最小化以及局部图像劣化的改进。

此时，蜂窝电话机400同时在音频编解码器459，把数字音频数据转换成模拟音频信号，然后从扬声器417输出模拟音频信号。从而，例如，包括在链接到简单网站的运动图像文件中的音频数据被播放。

注意，按照和电子邮件的情况相同的方式，蜂窝电话机400可通过记录/重放单元462，把链接到简单网站等的接收数据记录(保存)在存储单元423中。

另外，蜂窝电话机400在主控制单元450分析用CCD照相机416成像获得的二维代码，从而能够获得记录在二维代码中的信息。

此外，便携式电话机400能够利用红外线，在红外通信单元481与外部设备通信。

蜂窝电话机400采用图像编码设备51作为图像编码器453，从而能够处理帧中的局部性质，因而能够提高编码效率。结果，蜂窝电话机400能够向另一个设备提供编码效率极好的编码数据(图像数据)。

另外，蜂窝电话机400采用图像解码设备201作为图像解码器456，从而能够提高编码效率。结果，蜂窝电话机400能够从链接到简单网站的运动图像文件，获得清晰度更高的解码图像，并显示所述解码图像。

注意，至此说明了蜂窝电话机400采用CCD照相机416的情况。不过，代替CCD照相机416，蜂窝电话机400可以采用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在这种情况下，按照和采用CCD照相机416的情况相同的方式，蜂窝电话机400也能够对被摄物体成像，从而生成被摄物体的图像的图像数据。

另外，至此关于蜂窝电话机400进行了说明，不过，按照和蜂窝电话机400的情况相同的方式，图像编码设备51和图像解码设备101可适用于任何种类的设备，只要所述设备是具有和蜂窝电话机400相同的成像功能和通信功能的设备，比如PDA(个人数字助手)、智能电话机、UMPC(超移动个人计算机)、上网本、笔记本型个人计算机等。

[硬盘记录器的结构例子]

图37是图解说明采用应用本发明的图像编码设备和图像解码设备的硬盘记录器的主要结构例子的方框图。

图37中所示的硬盘记录器(HDD记录器)500是把包括在从卫星或地面天线等传送，并由调谐器接收的广播信号(电视信号)中的广播节目的音频数据和视频数据保存在内置硬盘中，并在与用户的指令相应的时刻，把保存的数据提供给用户的设备。

例如，硬盘记录器500可从广播信号中提取音频数据和视频数据，恰当地解码提取的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。另外，例如，硬盘记录器500还可通过网络，从另一个设备获得音频数据和视频数据，恰当地解码获得的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。

此外，例如，硬盘记录器500解码记录在内置硬盘中的音频数据和视频数据，把解码的音频数据和视频数据提供给监视器560，从而在监视器560的屏幕上显示图像。另外，硬盘记录器500可从监视器560的扬声器输出声音。

例如，硬盘记录器500可解码从通过调谐器获得的广播信号中提取的音频数据和视频数据，或者通过网络从另一个设备获得的音频数据和视频数据，把解码的音频数据和视频数据提供给监视器560，从而把图像显示在监视器560的屏幕上。另外，硬盘记录器500能够从监视器560的扬声器输出声音。

当然，也可进行除这些操作以外的操作。

如图37中所示，硬盘记录器500包括接收单元521、解调单元522、多路分解器523、音频解码器524、视频解码器525，和记录器控制单元526。硬盘记录器500还包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD(屏幕显示)控制单元531、显示控制单元532、记录/重放单元533、D/A转换器534、和通信单元535。

另外，显示转换器530包括视频编码器541。记录/重放单元533包括编码器551和解码器552。

接收单元521从遥控器(未示出)接收红外信号，把接收的红外信号转换成电信号，然后输出给记录器控制单元526。例如，记录器控制单元526由微处理器等构成，并按照保存在程序存储器528中的程序执行各种处理。此时，记录器控制单元526按照需要，使用工作存储器529。

连接到网络的通信单元535通过网络与另一个设备进行通信处理。例如，通信单元535由记录器控制单元526控制，从而与调谐器(未示出)通信，并且主要向调谐器输出信道选择控制信号。

解调单元522解调从调谐器供给的信号，然后输出给多路分解器523。多路分解器523把从解调单元522供给的数据分离成音频数据、视频数据和EPG数据，然后分别输出给音频解码器524、视频解码器525和记录器控制单元526。

音频解码器524例如利用MPEG格式，解码输入的音频数据，然后输出给记录/重放单元533。视频解码器525例如利用MPEG格式，解码输入的视频数据，然后输出给显示转换器530。记录器控制单元526把输入的EPG数据提供给EPG数据存储器527，以便保存。

显示转换器530利用视频编码器541，把从视频解码器525或记录器控制单元526供给的视频数据编码成符合NTSC(国家电视标准委员会)格式的视频数据，然后输出给记录/重放单元533。另外，显示转换器530把从视频解码器525或记录器控制单元526供给的视频数据的屏幕尺寸转换成与监视器560的尺寸对应的尺寸。显示转换器530还利用视频编码器541，把其屏幕尺寸已被转换的视频数据转换成符合NTSC格式的视频数据，把该视频数据转换成模拟信号，然后输出给显示控制单元532。

在记录器控制单元526的控制下，显示控制单元532把从OSD(屏幕显示)控制单元531输出的OSD信号重叠在从显示转换器530输入的视频信号上，然后输出给监视器560的显示器，以便显示。

另外，从音频解码器524输出的音频数据已利用D/A转换器534，被转换成模拟信号，并被提供给监视器560。监视器560从内置扬声器输出该音频信号。

记录/重放单元533包括作为记录视频数据、音频数据等的存储介质的硬盘。

记录/重放单元533利用例如MPEG格式，用编码器551对从音频解码器524供给的音频数据编码。另外，记录/重放单元533利用MPEG格式，用编码器551对从显示转换器530的视频编码器541供给的视频数据编码。记录/重放单元533利用复用器，合成音频数据的编码数据和视频数据的编码数据。记录/重放单元533借助通道编码，放大合成数据，并通过记录头把数据写入硬盘中。

记录/重放单元533通过重放头，播放记录在硬盘中的数据，放大重放的数据，然后利用多路分解器把数据分离成音频数据和视频数据。记录/重放单元533利用MPEG格式，用解码器552解码音频数据和视频数据。记录/重放单元533把解码的音频数据从数字转换成模拟，然后输出给监视器560的扬声器。另外，记录/重放单元533把解码的视频数据从数字转换成模拟，然后输出给监视器560的显示器。

记录器控制单元526根据由通过接收单元521，从遥控器接收的红外信号指示的用户指令，从EPG数据存储器527读出最新的EPG数据，然后提供给OSD控制单元531。OSD控制单元531生成与输入的EPG数据对应的图像数据，然后输出给显示控制单元532。显示控制单元532把从OSD控制单元531输入的视频数据输出给监视器560的显示器，以便显示。从而，EPG(电子节目指南)被显示在监视器560的显示器上。

另外，硬盘记录器500可通过诸如因特网之类的网络，获得从另一个设备供给的各种数据，比如视频数据、音频数据、EPG数据等。

记录器控制单元526控制通信单元535，以通过网络获得从另一个设备传送的编码数据，比如视频数据、音频数据、EPG数据等，并把获得的数据提供给记录器控制单元526。记录器控制单元526把获得的视频数据和音频数据的编码数据提供给记录/重放单元533，并保存在硬盘中。此时，记录器控制单元526和记录/重放单元533可按照需要，进行诸如重新编码之类的处理。

另外，记录器控制单元526对获得的视频数据和音频数据的编码数据解码，然后把获得的视频数据提供给显示转换器530。按照和从视频解码器525供给的视频数据相同的方式，显示转换器530处理从记录器控制单元526供给的视频数据，然后通过显示控制单元532提供给监视器560，以显示该图像。

另一方面，可以作出其中按照该图像显示，记录器控制单元526通过D/A转换器534，把解码的音频数据提供给监视器560，然后从扬声器输出所述音频的安排。

此外，记录器控制单元526对获得的EPG数据的编码数据解码，然后把解码的EPG数据提供给EPG数据存储器527。

这样构成的硬盘记录器500采用图像解码设备201作为视频解码器525、解码器552和置于记录器控制单元526中的解码器。因而，按照和图像解码设备201相同的方式，视频解码器525，解码器552和内置于记录器控制单元526中的解码器能够最小化作为一个整体的画面中的图像劣化并改进局部图像劣化。

因而，硬盘记录器500能够实现高速处理。结果，硬盘记录器500能够高速从通过调谐器接收的视频数据的编码数据，从记录/重放单元533的硬盘读出的视频数据的编码数据，或者通过网络获得的视频数据的编码数据中，获得解码图像，并显示在监视器560上。

另外，硬盘记录器500采用图像编码设备101作为编码器551。因而，按照和编码器101相同的方式，编码器551能够最小化作为一个整体的画面中的图像劣化并改进局部图像劣化。

因而，硬盘记录器500能够实现高速处理，另外提高待记录在硬盘中的编码数据的编码效率。结果，硬盘记录器500能够更高效地利用硬盘的存储区。

注意，至此说明了把视频数据和音频数据记录在硬盘中的硬盘记录器500，不过，显然可以采用任何种类的记录介质。例如，即使就对其应用除硬盘外的记录介质，比如闪速存储器、光盘、录像带等的记录器来说，按照和上述硬盘记录器500的情况相同的方式，图像编码设备101和图像解码设备201也能够应用于该记录器。

[照相机的结构例子]

图38是图解说明采用应用本发明的图像编码设备和图像解码设备的照相机的主要结构例子的方框图。

图38中所示的照相机600对被摄物体成像，把被摄物体的图像显示在LCD 616上，和把所述图像作为图像数据记录在记录介质633中。

透镜块611使光(即，被摄物体的视频)入射到CCD/CMOS 612。CCD/CMOS 612是采用CCD或CMOS的图像传感器，把受光的强度转换成电信号，然后提供给照相机信号处理单元613。

照相机信号处理单元613把从CCD/CMOS 612提供的电信号转换成色差信号Y、Cr和Cb，然后提供给图像信号处理单元614。在控制器621的控制下，图像信号处理单元614对从照相机信号处理单元613供给的图像信号进行预定图像处理，或者利用例如MPEG格式，用编码器641对图像信号编码。图像信号处理单元614把通过编码图像信号而生成的编码数据提供给解码器615。此外，图像信号处理单元614获得在屏幕显示(OSD)620生成的显示用数据，然后提供给解码器615。

就上述处理来说，照相机信号处理单元613根据需要，利用经总线617连接的DRAM(动态随机存取存储器)618，以把图像数据，通过编码图像数据而获得的编码数据等保存在DRAM 618中。

解码器615对从图像信号处理单元614供给的编码数据解码，把获得的图像数据(解码图像数据)提供给LCD 616。另外，解码器615把从图像信号处理单元614供给的显示用数据提供给LCD 616。LCD616恰当合成从解码器615供给的解码图像数据的图像和显示用数据的图像，然后显示合成图像。

在控制器621的控制下，屏幕显示620通过总线617，把显示用数据，比如由符号、字符或图形构成的菜单屏幕或图标等输出给图像信号处理单元614。

根据指示用户利用操作单元622命令的内容的信号，控制器621进行各种处理，还通过总线617，控制图像信号处理单元614、DRAM618、外部接口619、屏幕显示620、介质驱动器623等。为控制器621进行各种处理所必需的程序、数据等被保存在闪速ROM 624中。

例如，代替图像信号处理单元614和解码器615，控制器621可对保存在DRAM 618中的图像数据编码，或者对保存在DRAM 618中的编码数据解码。此时，控制器621可利用和图像信号处理单元614和解码器615的编码和解码格式相同的格式，进行编码和解码处理，或者可利用图像信号处理单元614不能处理，解码器615也不能处理的格式进行编码和解码处理。

另外，例如，在从操作单元622指令图像打印的开始的情况下，控制器621从DRAM 618读出图像数据，然后通过总线617把读出的图像数据提供给与外部接口619连接的打印机634，以便打印。

此外，例如，在从操作单元622指令图像记录的情况下，控制器621从DRAM 618读出编码数据，然后通过总线617把读出的编码数据提供给安装在介质驱动器623上的记录介质633，以便保存。

记录介质633是任意可读/写的可拆卸介质，比如磁盘、磁光盘、光盘、半导体存储器等。显然就可拆卸介质的种类来说，记录介质633也是可选的，因而记录介质633可以是磁带设备，或者可以是光盘，或者可以是存储卡。当然，记录介质633可以是非接触IC卡等。

另一方面，介质驱动器623和记录介质633可被配置成结合成非便携式存储介质，例如内置硬盘驱动器、SSD(固态驱动器)等等。

外部接口619由USB输入/输出端子等构成，在进行图像的打印时，被连接到打印机634。另外按照需要，驱动器631被连接到外部接口619，在驱动器631上酌情安装可拆卸介质632，比如磁盘、光盘或磁光盘，按照需要，从可拆卸介质读取的计算机程序被安装在闪速ROM 624中。

此外，外部接口619包括与诸如LAN、因特网之类预定网络连接的网络接口。例如，按照来自操作单元622的指令，控制器621可从DRAM 618读出编码数据，然后把读出的编码数据从外部接口1319提供给经由网络连接的另一个设备。另外，控制器621可通过外部接口619，获得通过网络从另一个设备供给的编码数据或图像数据，然后把获得的数据保存在DRAM 618中，或者把获得的数据提供给图像信号处理单元614。

这样构成的照相机600采用图像解码设备201作为解码器615。因而，按照和图像解码设备201相同的方式，解码器615能够最小化作为一个整体的画面中的图像劣化并改进局部图像劣化。

因而，照相机600能够生成更高精度的预测图像。结果，照相机600能够从在CCD/CMOS 612生成的图像数据，从DRAM 618或记录介质633读出的视频数据的编码数据，或者通过网络获得的视频数据的编码数据中，获得清晰度更高的解码图像，并显示在LCD 616上。

照相机600采用图像编码设备101作为编码器641。因而，按照和图像编码设备101相同的方式，编码器641能够最小化作为一个整体的画面中的图像劣化并改进局部图像劣化。

因而，照相机600能够提高待记录在硬盘中的编码数据的编码效率。结果，照相机600能够以更高的速度，更高效地利用DRAM 618或记录介质633的存储区。

注意，图像解码设备201的解码方法可应用于控制器621进行的解码处理。类似地，图像编码设备101的编码方法可应用于控制器621进行的编码处理。

另外，照相机600拍摄的图像数据可以是运动图像，或者可以是静止图像。

不用说，图像编码设备101和图像解码设备201可应用于除上述设备之外的设备或系统。

附图标记列表

16  无损编码器

21  去块滤波器

24  帧内预测器

42  无损解码器

46  去块滤波器

51  帧内预测器

101 图像编码设备

111 自适应环路滤波器

112 预测模式缓冲器

131 分类器

132-1,132-2 滤波系数计算器

133-1,133-2 滤波处理器

201 图像解码设备

211 自适应环路滤波器

212 预测模式缓冲器

231-1,231-2 滤波系数缓冲器

232 分类器

233-1，233-2 滤波处理器

Claims (13)

1.一种图像处理设备，包括：

分类器，被配置成根据帧内预测模式信息逐特定块地对图像进行分类；和

滤波处理器，被配置成利用基于分类成同一类别的特定块而计算出的滤波系数，对所述分类器分类的特定块执行滤波处理。

2.根据权利要求1所述的图像处理设备，其中所述分类器被配置成根据帧内预测模式信息中的块的预测块大小，逐块地对图像进行分类。

3.根据权利要求2所述的图像处理设备，其中所述分类器被配置成根据块大小逐块地对图像进行分类，所述块大小是块的预测块大小并且是由编码标准限定的。

4.根据权利要求3所述的图像处理设备，其中所述分类器被配置成把要按帧内16×16预测模式编码的块分类成包括在平坦区域中的块。

5.根据权利要求3所述的图像处理设备，其中所述分类器被配置成把要按块大小比所述帧内16×16预测模式小的帧内预测模式编码的块分类成包括边缘或纹理的块。

6.根据权利要求3所述的图像处理设备，其中所述分类器被配置成把要按块大小比所述帧内16×16预测模式大的帧内预测模式编码的块分类成包括在平坦区域中的块。

7.根据权利要求1所述的图像处理设备，其中

所述特定块包括多个子块，并且

所述分类器被配置成根据具有帧内相关预测模式信息中的相同预测块大小的块或子块的预测模式类型，逐块或逐子块地对图像进行分类。

8.根据权利要求7所述的图像处理设备，其中所述分类器被配置成把要按垂直预测模式和水平预测模式编码的块或子块分类成包括边缘或纹理的块或子块。

9.根据权利要求7所述的图像处理设备，其中所述分类器被配置成把要按除垂直预测模式和水平预测模式以外的预测模式编码的块或子块分类成包括在平坦区域中的块或子块。

10.根据权利要求1所述的图像处理设备，还包括：

滤波系数计算器，被配置成基于分类成同一类别的特定块来计算滤波系数。

11.根据权利要求10所述的图像处理设备，还包括：

发送器，被配置成发送图像的比特流、表示帧内预测相关模式的信息以及由所述滤波系数计算器计算的滤波系数。

12.根据权利要求1所述的图像处理设备，还包括：

接收器，被配置成接收图像的比特流、表示帧内预测相关模式的信息以及所述滤波系数。

13.一种在包括分类器和滤波处理器的图像处理设备中使用的图像处理方法，该方法包括：

用所述分类器根据帧内预测模式信息逐特定块地对图像进行分类；和

用所述滤波处理器利用基于分类成同一类别的特定块而计算出的滤波系数，对所分类的特定块执行滤波处理。

Images