CN102396230A - 图像处理设备和方法 - Google Patents

Abstract

所公开的主题内容涉及一种图像处理设备和方法，其帧内预测编码效率得到提高。当最适当的帧内预测模式是模式0时，在当前块的预测中使用的相邻像素是像素A₀、A₁、A₂和A₃。使用这些像素和6抽头FIR滤波器，生成1/2像素精度的像素a_-0.5、a_+0.5...等，此外，使用线性内插来生成1/4像素精度的像素a_-0.75、a_-0.25、a_+0.25以及a_+0.75。此外，整数像素和所生成的小数像素精度的像素之间的相位差，即值-0.75至+0.75，被用作水平方向移动量的候选，并且确定最适当的移动量。所公开的主题内容可以应用于使用例如H.264/AVC方案进行编码的图像编码设备。

Description

图像处理设备和方法

技术领域

本发明涉及一种图像处理设备和方法，并且具体地，涉及一种能够抑制压缩信息的增加并且还能够提高预测精度的图像处理设备和方法。

背景技术

近年来，如下设备已得到广泛使用：其通过采用将图像信息处理为数字信号的编码系统而使图像经受压缩编码，并且此时利用作为图像信息的特征的冗余度，通过正交变换(诸如，离散余弦变换等)和运动补偿对图像进行压缩，以便执行信息的高效传输和积累。该编码方法的示例包括MPEG(运动图像专家组)等。

具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码系统，并且是包括隔行扫描图像和逐行扫描图像以及标准分辨率图像和高清图像两者的标准。例如，现在，已通过广泛应用于专业用途以及消费用途来采用MPEG2。通过采用MPEG2压缩系统，在具有例如720×480像素的标准分辨率的隔行扫描图像的情况下，分配4Mbps至8Mbps的代码量(比特率)。通过采用MPEG2压缩系统，在具有例如1920×1088像素的高分辨率的隔行扫描图像的情况下，分配18Mbps至22Mbps的代码量(比特率)。因此，可以实现高压缩率和极好的图像质量。

MPEG2主要针对适合于广播用途的高图像质量编码，但是不处理比MPEG1(即，具有较高压缩率的编码系统)的代码量低的代码量(比特率)。期望对这样的编码系统的需求由于个人数字助理的普及而会从现在开始增加，并且响应于此，执行了MPEG4编码系统的标准化。对于图像编码系统，其规范在1998年12月作为国际标准ISO/IEC 14496-2而被承认。

此外，近年来，称为H.26L(ITU-T Q6/16VCEG)的标准的标准化已随着将用于电视会议用途的图像编码作为目的而得以发展。对于H.26L，已知尽管与诸如MPEG2或MPEG4的传统编码系统相比，其编码和解码要求更大的计算量，但是实现了更高的编码效率。另外，同时，作为MEPG4的活动的一部分，已执行标准化作为增强压缩视频编码的联合模型，其中，该标准化用于以H.26L为基础、利用该H.26L不支持的功能来实现更高的编码效率。作为标准化的进程，H.264和MPEG-4第10部分(高级视频编码，下文中称为H.264/AVC)在2003年3月成为国际标准。

此外，作为其扩展，在2005年2月完成了包括业务用途所需的编码工具(诸如RGB、4∶2∶2或4∶4∶4)、MPEG-2规定的8×8DCT和量化矩阵的FRExt(保真度范围扩展)的标准化。因此，H.264/AVC已成为能够甚至适当地表现包括在电影中的影片噪声的编码系统，并且已用于广泛的应用，诸如蓝光盘(注册商标)等。

然而，如今，对更高压缩率编码的需求已增加，诸如期望压缩具有大约4000×2000个像素的图像，该图像是高清晰度(high-vision)图像的四倍。替选地，对更高压缩率编码的需求已增加，诸如期望将高清晰度图像分布在具有有限传输容量的环境(如因特网)内。因此，对于在ITU-T控制下的上述VCEG(＝视频编码专家组)，已不断地进行与提高编码效率有关的研究。

例如，对于MPEG2系统，已通过线性内插处理执行了具有1/2像素精度的运动预测和补偿处理。另一方面，对于H.264/AVC系统，已使用6抽头FIR(有限脉冲响应滤波器)滤波器执行了具有1/4像素精度的预测和补偿处理。

近年来，关于该具有1/4像素精度的预测和补偿处理，已进行了用于进一步提高H.264/AVC系统的效率的研究。作为用于此的编码系统之一，对于NPL 1，提出了具有1/8像素精度的运动预测。

具体地，对于NPL 1，通过滤波器[-3，-12，-39，158，158，-39，12，-3]/256执行具有1/2像素精度的内插处理。另外，通过滤波器[-3，12，-37，229，71，-21，6，-1]/256执行具有1/4像素精度的内插处理，并且通过线性内插执行具有1/8像素精度的内插处理。

以此方式，使用具有更高像素精度的内插处理执行运动预测，从而，尤其是对于在分辨率方面具有高纹理的较慢的运动序列，可以提高预测精度，并且可以实现编码效率的提高。

顺便提及，作为H.264/AVC系统相比于根据现有技术的MPEG2系统等而言实现高编码效率的一个因素，提出了采用接下来描述的帧内预测系统。

对于H.264/AVC系统，对于亮度信号，定义了4×4像素和8×8像素的块单位的九种预测模式以及16×16像素的宏块单位的四种预测模式的帧内预测模式。对于色差信号，定义了8×8像素的块单位的四种预测模式的帧内预测模式。可独立于亮度信号的帧内预测模式来设置色差信号的帧内预测模式。注意，预测模式的种类对应于在图1中以数字0、1、3至8表示的方向。预测模式2是平均值预测。

采用了这样的帧内预测系统，从而实现预测精度的提高。然而，对于H.264/AVC系统，如图1的方向所示，仅执行22.5度的增量的帧内预测。因此，在边缘的倾斜具有除此之外的角度的情况下，限制了编码效率的提高。

因此，对于NPL 2，提出了进一步提高编码效率，其中，以比22.5度更细的角度执行预测。

引用列表

非专利文献

NPL 1：“Motion compensated prediction with 1/8-pel displacementvector resolution”，VCEG-AD09，ITU-TelecommunicationsStandardization Sector STUDY GROUP Question 6 Video coding ExpertsGroup(VCEG)，2006年10月23至27日

NPL 2：Virginie Drugeon，Thomas Wedi，和Torsten Palfner，“HighPrecision Edge Prediction for Intra Coding”，2008

发明内容

技术问题

然而，对于H.264/AVC系统的帧内预测，将要进行编码的块的预定相邻像素用于预测，但是另一方面，对于在NPL 2中描述的提案，还要使用除要进行编码的块的相邻像素之外的像素。

因此，对于在NPL 2中描述的提案，即使当以比22.5度的增量更细的角度执行预测时，存储器访问次数和处理增加。

本发明是考虑到这样的情形而做出的，其进一步提高了帧内预测的编码效率，同时抑制了存储器访问次数和处理的增加。

对问题的解决方案

根据本发明的第一方面的一种图像处理设备包括：模式确定装置，被配置成关于针对图像数据要经受帧内预测的帧内预测块的帧内预测，确定预测模式；相移装置，被配置成根据取决于模式确定装置确定的预测模式的移动方向和用作候选的移动量，移动以预定的位置关系与帧内预测块相邻的相邻像素的相位；移动量确定装置，被配置成使用相邻像素以及相位被相移装置移动的相邻像素，针对相邻像素确定相位的最佳移动量；以及预测图像生成装置，被配置成使用相位根据移动量确定装置确定的最佳移动量而被移动的相邻像素，生成帧内预测块的预测图像。

图像处理设备还可包括：编码装置，被配置成对帧内预测块的图像与预测图像生成装置生成的预测图像之间的差分信息进行编码，以生成编码流；以及传输装置，被配置成将表示移动量确定装置确定的最佳移动量的移动量信息、以及表示模式确定装置确定的预测模式的预测模式信息连同编码装置生成的编码流一起进行传输。

编码装置可将表示关于帧内预测块所确定的最佳移动量与关于提供MostProbableMode的块所确定的最佳移动量之间的差分的差分信息编码为移动量信息，并且传输装置可传输编码装置生成的编码流和差分信息。

相移装置可在模式确定装置确定的预测模式是DC预测模式的情况下，禁止相位的移动。

在模式确定装置确定的预测模式是Vertical(垂直)预测模式、Diag_Down_Left(对角线_下_左)预测模式或者Vertical_Left(垂直_左)预测模式的情况下，相移装置可针对相邻像素中的上部相邻像素，根据用作候选的移动量移动水平方向上的相位，并且针对相邻像素中的左部相邻像素，禁止移动垂直方向上的相位。

在模式确定装置确定的预测模式是Horizontal(水平)预测模式或Horizontal_Up(水平_上)预测模式的情况下，相移装置可针对相邻像素中的左部相邻像素，根据用作候选的移动量移动垂直方向上的相位，并且针对相邻像素中的上部相邻像素，禁止移动水平方向上的相位。

模式确定装置可确定帧内预测的所有预测模式，相移装置可根据取决于模式确定装置确定的所有预测模式的移动方向和用作候选的移动量，移动相邻像素的相位，并且移动量确定装置可使用相邻像素和相位被相移装置移动的相邻像素，针对相邻像素确定相位的最佳移动量和最佳预测模式。

图像处理设备还可包括被配置成关于图像的帧间运动预测块执行帧间运动预测的运动预测补偿装置，并且相移装置可使用在运动预测补偿装置执行小数像素精度预测时所使用的滤波器，移动相邻像素的相位。

根据本发明的第一方面的图像处理方法可包括以下步骤：使得图像处理设备执行如下处理：关于针对图像数据要被处理用于帧内预测的帧内预测块，确定帧内预测的预测模式；根据取决于所确定的预测模式的移动方向和用作候选的移动量，移动以预定位置关系与帧内预测块相邻的相邻像素的相位；使用相邻像素和相位被移动的相邻像素，针对相邻像素确定相位的最佳移动量；以及使用相位根据所确定的最佳移动量而被移动的相邻像素，生成帧内预测块的预测图像。

根据本发明的第二方面的一种图像处理设备包括：接收装置，被配置成接收预测模式信息和移动量信息，其中，该预测模式信息关于要被处理用于帧内预测的帧内预测块来表示帧内预测的预测模式，该移动量信息表示用于根据预测模式信息表示的预测模式而移动以预定的位置关系与帧内预测块相邻的相邻像素的相位的移动量；相移装置，被配置成根据取决于接收装置接收到的预测模式的移动方向和移动量移动相邻像素的相位；以及预测图像生成装置，被配置成使用相位被相移装置移动的相邻像素，生成帧内预测块的预测图像。

接收装置可接收表示关于帧内预测块的移动量与关于提供MostProbableMode的块的移动量之间的差分的差分信息，作为移动量信息。

图像处理设备还可包括解码装置，该解码装置被配置成使用预测图像生成装置生成的预测图像，对帧内预测块进行解码。

解码装置可对接收装置接收到的预测模式信息和移动量信息进行解码。

在经解码装置解码的预测模式是DC预测模式的情况下，相移装置可禁止移动相邻像素的相位。

在经解码装置解码的预测模式是Vertical预测模式、Diag_Down_Left预测模式或Vertical_Left预测模式的情况下，相移装置可针对相邻像素中的上部相邻像素，根据经解码装置解码的移动量移动水平方向上的相位，并且针对相邻像素中的左部相邻像素，禁止移动垂直方向上的相位。

在经解码装置解码的预测模式是Horizontal预测模式或Horizontal_Up预测模式的情况下，相移装置可针对相邻像素中的左部相邻像素，根据经解码装置解码的移动量移动垂直方向上的相位，并且针对相邻像素中的上部相邻像素，禁止移动水平方向上的相位。

图像处理设备还可包括运动预测补偿装置，该运动预测补偿装置被配置成使用要由解码装置解码的运动矢量以及经编码的帧间运动预测块，执行帧间运动预测，并且相移装置可使用要在运动预测补偿装置执行小数像素精度预测时所使用的滤波器来移动相邻像素的相位。

根据本发明的第二方面的图像处理方法包括以下步骤：使得图像处理设备：接收预测模式信息和移动量信息，其中，该预测模式信息关于要被处理用于帧内预测的帧内预测块来表示帧内预测的预测模式，该移动量信息表示用于根据预测模式信息表示的预测模式而移动以预定的位置关系与帧内预测块相邻的相邻像素的相位的移动量；根据取决于所接收到的预测模式的移动方向和移动量移动相邻像素的相位；以及使用相位被移动的相邻像素，生成帧内预测块的预测图像。

对于本发明的第一方面，关于针对图像数据要被处理用于帧内预测的帧内预测块，确定帧内预测的预测模式，并且根据取决于所确定的预测模式的移动方向和用作候选的移动量，移动以预定的位置关系与帧内预测块相邻的相邻像素的相位。随后，使用相邻像素和相位被移动的相邻像素，针对相邻像素确定相位的最佳移动量，并且使用相位根据所确定的最佳移动量而被移动的相邻像素生成帧内预测块的预测图像。

对于本发明的第二方面，接收预测模式信息和移动量信息，并且根据取决于所接收到的预测模式的移动方向和移动量来移动相邻像素的相位，其中，该预测模式信息关于要被处理用于帧内预测的帧内预测块来表示帧内预测的预测模式，该移动量信息表示用于根据预测模式信息表示的预测模式而移动以预定的位置关系与帧内预测块相邻的相邻像素的相位的移动量。随后，使用相位被移动的相邻像素，生成帧内预测块的预测图像。

注意，上述图像处理设备可以是独立设备，或者可以是构成单个图像编码设备或图像解码设备的内部块。

本发明的有益效果

根据本发明的第一方面，可通过帧内预测生成预测图像。另外，根据本发明的第一方面，可提高编码效率而不会增加存储器访问次数和处理。

根据本发明的第二方面，可通过帧内预测生成预测图像。另外，根据本发明的第二方面，可提高编码效率而不会增加存储器访问次数和处理。

附图说明

图1是用于描述4×4像素的帧内预测的方向的图。

图2是示出应用了本发明的图像编码设备的实施例的配置的框图。

图3是用于描述具有1/4像素精度的运动预测和补偿处理的图。

图4是用于描述多参考帧的运动预测和补偿方法的图。

图5是用于描述运动矢量信息生成方法的示例的图。

图6是示出帧内预测单元和相邻像素内插单元的配置示例的框图。

图7是用于描述图2中的图像编码设备的编码处理的流程图。

图8是用于描述图7的步骤S21中的预测处理的流程图。

图9是用于描述16×16像素的帧内预测模式的情况下的处理顺序的图。

图10是示出亮度信号的4×4像素的帧内预测模式的种类的图。

图11是示出亮度信号的4×4像素的帧内预测模式的种类的图。

图12是用于描述4×4像素的帧内预测的方向的图。

图13是用于描述4×4像素的帧内预测的图。

图14是用于描述亮度信号的4×4像素的帧内预测模式的编码的图。

图15是示出亮度信号的16×16像素的帧内预测模式的种类的图。

图16是示出亮度信号的16×16像素的帧内预测模式的种类的图。

图17是用于描述16×16像素的帧内预测的图。

图18是用于描述实现具有小数像素精度的帧内预测的操作的图。

图19是用于描述具有小数像素精度的帧内预测的有益效果示例的图。

图20是用于描述图8的步骤S31中的帧内预测处理的流程图。

图21是用于描述图20的步骤S45中的相邻像素内插处理的流程图。

图22是用于描述图8的步骤S32中的帧间运动预测处理的流程图。

图23是示出帧内预测单元和相邻像素内插单元的另一配置示例的框图。

图24是用于描述图8的步骤S31中的帧内预测处理的另一示例的流程图。

图25是用于描述图24的步骤S101中的相邻像素内插处理的流程图。

图26是示出应用了本发明的图像解码设备的实施例的配置的框图。

图27是示出帧内预测单元和相邻像素内插单元的另一配置示例的框图。

图28是用于描述图26中的图像解码设备的解码处理的流程图。

图29是用于描述图28的步骤S138中的预测处理的流程图。

图30是示出计算机的硬件的配置示例的框图。

具体实施方式

根据本发明的第一方面的一种图像处理设备包括：模式确定装置，被配置成关于针对图像数据要经受帧内预测的帧内预测块的帧内预测，确定预测模式；相移装置，被配置成根据取决于模式确定装置确定的预测模式的移动方向和用作候选的移动量，移动以预定的位置关系与帧内预测块相邻的相邻像素的相位；移动量确定装置，被配置成使用相邻像素以及相位被相移装置移动的相邻像素，针对相邻像素确定相位的最佳移动量；以及预测图像生成装置，被配置成使用相位根据移动量确定装置确定的最佳移动量而被移动的相邻像素，生成帧内预测块的预测图像。

根据本发明的第一方面的图像处理方法包括以下步骤：使得图像处理设备执行如下处理：关于针对图像数据要被处理用于帧内预测的帧内预测块，确定帧内预测的预测模式；根据取决于所确定的预测模式的移动方向和用作候选的移动量，移动以预定位置关系与帧内预测块相邻的相邻像素的相位；使用相邻像素和相位被移动的相邻像素，针对相邻像素确定相位的最佳移动量；以及使用相位根据所确定的最佳移动量而被移动的相邻像素，生成帧内预测块的预测图像。

根据本发明的第二方面的一种图像处理设备包括：接收装置，被配置成接收预测模式信息和移动量信息，其中，该预测模式信息关于要被处理用于帧内预测的帧内预测块来表示帧内预测的预测模式，该移动量信息表示用于根据预测模式信息表示的预测模式而移动以预定的位置关系与帧内预测块相邻的相邻像素的相位的移动量；相移装置，被配置成根据取决于接收装置接收到的预测模式的移动方向和移动量移动相邻像素的相位；以及预测图像生成装置，被配置成使用相位被相移装置移动的相邻像素，生成帧内预测块的预测图像。

根据本发明的第二方面的图像处理方法包括以下步骤：使得图像处理设备：接收预测模式信息和移动量信息，其中，该预测模式信息关于要被处理用于帧内预测的帧内预测块来表示帧内预测的预测模式，该移动量信息表示用于根据预测模式信息表示的预测模式而移动以预定的位置关系与帧内预测块相邻的相邻像素的相位的移动量；根据取决于所接收到的预测模式的移动方向和移动量移动相邻像素的相位；以及使用相位被移动的相邻像素，生成帧内预测块的预测图像。

在下文中，将参照附图描述本发明的实施例。

[图像编码设备的配置示例]

图2表示用作应用了本发明的图像处理设备的图像编码设备的实施例的配置。

该图像编码设备51使用例如H/.264和MPEG-4第10部分(高级视频编码)(下文中被描述为264/AVC)系统来使图像经受压缩编码。

对于图2中的示例，图像编码设备51由以下部分构成：A/D转换单元61、画面排序缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、累积缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块(deblocking)滤波器71、帧存储器72、开关73、帧内预测单元74、相邻像素内插单元75、运动预测/补偿单元76、预测图像选择单元77以及速率控制单元78。

A/D转换单元61将输入图像从模拟转换为数字，并且输出到画面排序缓冲器62以进行存储。画面排序缓冲器62根据GOP(图片组)，将按所存储的用于显示的顺序的帧的图像排序为用于编码的帧的顺序。

计算单元63从自画面排序缓冲器62读出的图像中减去来自帧内预测单元74的、由预测图像选择单元77选择的预测图像或者来自运动预测/补偿单元76的预测图像，并且将其差分信息输出到正交变换单元64。正交变换单元64使来自计算单元63的差分信息经受正交变化(诸如，离散余弦变换、卡亨南-洛维(Karhunen-Loéve)变换等)，并且输出其变换系数。量化单元65对正交变换单元64输出的变换系数进行量化。

作为量化单元65的输出的、量化后的变换系数被输入到无损编码单元66，并且经受诸如可变长编码、算术编码等的无损编码并被压缩。

无损编码单元66从帧内预测单元74获得表示帧内预测的信息等，并且从运动预测/补偿单元76获得表示帧间预测模式的信息等。注意，在下文中，也将表示帧内预测的信息称为帧内预测模式信息。另外，也将表示指示帧间预测的信息模式的信息称为帧间预测模式信息。

无损编码单元66对量化后的变换系数进行编码，并且还对表示帧内预测的信息、表示帧间预测模式的信息等进行编码，并且将这些作为压缩图像中的头信息(header information)的一部分。无损编码单元66将经编码的数据提供给累积缓冲器67以进行累积。

例如，对于无损编码单元66，执行无损编码处理，诸如可变长编码、算术编码等。可变长编码的示例包括H.264/AVC系统确定的CAVLC(上下文自适应的可变长编码)。算术编码的示例包括CABAC(上下文自适应的二进制算术编码)。

累积缓冲器67将从无损编码单元66提供的数据作为经H.264/AVC系统编码的压缩图像输出到例如未在图中示出的下游存储设备或传输路径等。

另外，从量化单元65输出的、量化后的变换系数还被输入到逆量化单元68，经受逆量化，并且接着在逆正交变换单元69处进一步经受逆正交变换。计算单元70将经受了逆正交变换的输出与从预测图像选择单元77提供的预测图像相加，并且将其改变成局部解码后的图像。去块滤波器71从解码后的图像中去除块失真，并且接着将其提供给帧存储器72以进行累积。在去块滤波器71执行去块滤波处理之前的图像还被提供给帧存储器72以进行累积。

开关73将帧存储器72中所累积的参考图像输出到运动预测/补偿单元76或帧内预测单元74。

对于该图像编码设备51，例如，来自画面排序缓冲器62的I图片、B图片以及P图片作为要经受帧内预测(也称为帧内处理)的图像被提供给帧内预测单元74。另外，从画面排序缓冲器62读出的B图片和P图片作为要经受帧间预测(也称为帧间处理)的图像被提供给运动预测/补偿单元76。

帧内预测单元74基于从画面排序缓冲器62读出的、要经受帧内预测的图像以及从帧存储器72提供的参考图像，执行对用作候选的所有帧内预测模式的帧内预测处理，以生成预测图像。

帧内预测单元74针对生成了预测图像的帧内预测模式计算成本函数值，并且选择所算出的成本函数值提供最小值的帧内预测模式作为最佳帧内预测模式。帧内预测单元74将与用于帧内预测的当前块相邻的相邻像素和最佳帧内预测模式信息提供给相邻像素内插单元75。

相邻像素内插单元75将相邻像素的相位在取决于来自帧内预测单元74的最佳帧内预测模式的移动方向上移动用作候选的移动量。实际上，相邻像素内插单元75关于取决于最佳帧内预测模式的移动方向将6抽头FIR滤波器应用于相邻像素，以执行线性内插，从而以小数像素精度移动相邻像素的相位。因此，在下文中，为了便于描述，将相位已通过6抽头FIR滤波器和线性内插移动的相邻像素适当地称为内插的相邻像素或相位已被移动的相邻像素，但是这些具有相同的含义。

相邻像素内插单元75将相位已被移动的相邻像素提供给帧内预测单元74。

帧内预测单元74使用来自相邻图像缓冲器81的相邻像素的像素值以及相位已被相邻像素内插单元75移动的相邻像素的像素值，针对相邻像素确定相位的最佳移动量。另外，帧内预测单元74使用相位已被移动了所确定的最佳移动量的相邻像素的像素值，生成当前块的预测图像，并且将所生成的预测图像和关于相应的最佳帧内预测模式所算出的成本函数值提供给预测图像选择单元77。

在预测图像选择单元77选择了在最佳帧内预测模式下生成的预测图像的情况下，帧内预测单元74将表示最佳帧内预测模式的信息和最佳移动量的信息提供给无损编码单元66。在从帧内预测单元74传输了信息的情况下，无损编码单元66对该信息进行编码，并且将此作为压缩图像中的头信息的一部分。

运动预测/补偿单元76关于用作候选的所有帧间预测模式执行运动预测和补偿处理。具体地，对于运动预测/补偿单元76，提供从画面排序缓冲器62读出的、要经受帧间处理的图像，并且经由开关73从帧存储器72提供参考图像。运动预测/补偿单元76基于要经受帧间处理的图像和参考图像，检测用作候选的所有帧间预测模式的运动矢量，基于运动矢量使参考图像经受补偿处理，并且生成预测图像。

另外，运动预测/补偿单元76针对用作候选的所有帧间预测模式计算成本函数值。运动预测/补偿单元76在所算出的成本函数值中，将提供最小值的预测模式确定为最佳帧间预测模式。

运动预测/补偿单元76将在最佳帧间预测模式下所生成的预测图像及其成本函数值提供给预测图像选择单元77。在预测图像选择单元77选择了在最佳帧间预测模式下所生成的预测图像的情况下，运动预测/补偿单元76将表示最佳帧间预测模式的信息(帧间预测模式信息)提供给无损编码单元66。

注意，根据需要，运动矢量信息、标志信息、参考帧信息等被输出到无损编码单元66。无损编码单元66还使来自运动预测/补偿单元76的信息经受无损编码处理(诸如，可变长编码或算术编码)，并且插入到压缩图像的头部中。

预测图像选择单元77基于从帧内预测单元74或运动预测/补偿单元76输出的成本函数值，从最佳帧内预测模式和最佳帧间预测模式中确定最佳预测模式。然后，预测图像选择单元77选择所确定的最佳预测模式下的预测图像，并且提供给计算单元63和70。此时，预测图像选择单元77将预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元76。

速率控制单元78基于在累积缓冲器67中所累积的压缩图像，控制量化单元65的量化操作的速率，以便不引起上溢或下溢。

[H.264/AVC系统的描述]

图3是示出根据H.264/AVC系统的运动预测和补偿的块大小的示例的图。对于H.264/AVC系统，通过使块大小可变来执行运动预测和补偿。

在图中3的上排，从左开始按顺序示出了由被划分成16×16像素、16×8像素、8×16像素以及8×8像素的分区(partition)的16×16个像素构成的宏块。另外，在图3中的下排，从左开始按顺序示出了被划分成8×8像素、8×4像素、4×8像素以及4×4像素的子分区的8×8像素分区。

具体地，对于H.264/AVC系统，一个宏块可被划分成16×16像素、16×8像素、8×16像素以及8×8像素的分区之一，其中每个分区具有独立的运动矢量信息。另外，8×8像素分区可被划分成8×8像素、8×4像素、4×8像素以及4×4像素的子分区之一，其中每个子分区具有独立的运动矢量信息。

图4是用于描述根据H.264/AVC系统的具有1/4像素精度的预测和补偿处理的图。对于H.264/AVC系统，使用6抽头FIR(有限脉冲响应滤波器)滤波器执行具有1/4像素精度的预测和补偿处理。

对于图4中的示例，位置A表示整数精度像素的位置，位置b、c和d表示具有1/2像素精度的位置，以及位置e1、e2和e3表示具有1/4像素精度的位置。首先，在下文中，如以下表达式(1)一样定义Clip()。

[数学表达式1]

$\mathrm{Clip}1\left(a\right)=\left\{\begin{array}{c}0;\mathrm{if}(a<0)\\ a;\mathrm{otherwise}\\ \max \_\mathrm{pix};\mathrm{if}(a>\max \_\mathrm{pix})\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

注意，在输入图像具有8位精度的情况下，max_pix的值变为255。

使用6抽头FIR滤波器如以下表达式(2)一样生成位置b和d中的像素值。

[数学表达式2]

F＝A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃

b，d＝Clip1((F+16)＞＞5)           ...(2)

通过在水平方向和垂直方向上应用6抽头FIR滤波器，如以下表达式(3)一样生成位置c中的像素值。

[数学表达式3]

F＝b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃

或者

F＝d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃

c＝Clip1((F+512)＞＞10)            ...(3)

注意，在执行了水平方向和垂直方向上的乘积和处理之后，最后仅执行Clip处理一次。

如以下表达式(4)所示，通过线性内插生成位置e1至e3。

[数学表达式4]

e₁＝(A+b+1)＞＞1

e₂＝(b+d+1)＞＞1

e₃＝(b+c+1)＞＞1   ...(4)

对于H.264/AVC系统，通过执行以上参照图3至图4描述的运动预测和补偿处理，生成大量的运动矢量信息，并且如果这些运动矢量信息在没有改变的情况下被编码，则导致编码效率的劣化。响应于此，对于H.264/AVC系统，根据图5中示出的方法，实现了运动矢量编码信息的减少。

图5是用于描述根据H.264/AVC系统的运动矢量信息生成方法的图。

对于图5中的示例，示出了从现在开始要编码的当前块E(例如，16×16像素)以及已被编码的、与当前块E相邻的块A至块D。

具体地，块D与当前块E的左上部相邻，块B与当前块E的上部相邻，块C与当前块E的右上部相邻，并且块A与当前块E的左部相邻。注意，没有分割块A至块D的原因在于，每个块表示具有以上参照图2描述的16×16像素至4×4像素中的一种结构的块。

例如，假设关于X(＝A，B，C，D，E)的运动矢量信息以mv_x表示。首先，通过使用关于块A、B和C的运动矢量信息的中值预测，如以下表达式(5)一样生成关于当前块E的预测运动矢量信息pmv_E。

pmv_E＝med(mv_A，mv_B，mv_C)          ...(5)

关于块C的运动矢量信息可能由于诸如图像帧的边缘、编码之前等原因而无法使用(可能不可用)。在该情况下，使用关于块D的运动矢量信息来取代关于块C的运动矢量信息。

使用pmv_E，如以下表达式(6)一样生成要与压缩图像的头部相加的数据mvd_E，作为关于当前块E的运动矢量信息。

mvd_E＝mv_E-pmv_E      ...(6)

注意，实际上，针对运动矢量信息的水平方向和垂直方向上的分量独立地执行处理。

以此方式，生成预测运动矢量信息，并且作为基于与相邻块的相关性而生成的预测运动矢量信息与运动矢量信息之间的差的数据mvd_E与压缩图像的头部相加作为运动矢量信息，从而可以减少运动矢量信息。

这里，在运动预测/补偿单元处执行以上参照图4描述的、在H.264/AVC系统中具有1/4像素精度的预测和补偿处理，而对于图2中的图像编码设备51，在帧内预测中也执行具有1/4像素精度的预测。通过接下来将描述的帧内预测单元74和相邻像素内插单元75执行具有小数像素精度的这种帧内预测。

[帧内预测单元和相邻像素内插单元的配置示例]

图6是示出帧内预测单元和相邻像素内插单元的详细配置示例的框图。

在图6中的示例的情况下，帧内预测单元74由相邻图像缓冲器81、最佳模式确定单元82、最佳移动量确定单元83以及预测图像生成单元84构成。

相邻像素内插单元75由模式确定单元91、水平方向内插单元92以及垂直方向内插单元93构成。

相邻图像缓冲器81累积来自帧存储器72的、要经受帧内预测的块的相邻像素。在图6的情况下，省略了开关73的图，并且相邻像素被从帧存储器72经由开关73提供给相邻图像缓冲器81。

从画面排序缓冲器62读出的、要经受帧内预测的图像被输入到最佳模式确定单元82。最佳模式确定单元82从相邻图像缓冲器81读出与要经受帧内预测的块对应的相邻像素。

最佳模式确定单元82使用与要经受帧内预测的块的图像对应的相邻像素，执行用作候选的所有帧内预测模式的帧内预测处理，以生成预测图像。最佳模式确定单元82针对已生成预测图像的帧内预测模式计算成本函数值，并且将所算出的成本函数值提供最小值的帧内预测模式确定为最佳帧内预测模式。所确定的预测模式的信息被提供给模式确定单元91、最佳移动量确定单元83以及预测图像生成单元84。另外，与所提供的预测模式对应的成本函数值也被提供给预测图像生成单元84。

从画面排序缓冲器62读出的要经受帧内预测的图像以及被最佳模式确定单元82确定为最佳的预测模式的信息被输入到最佳移动量确定单元83。另外，如下相邻像素被输入到最佳移动量确定单元83：其已经受了由水平方向内插单元92和垂直方向内插单元93执行的线性内插，并且其相位已根据最佳帧内预测模式移动。最佳移动量确定单元83从相邻图像缓冲器81读出与要经受帧内预测的块对应的相邻像素。

最佳移动量确定单元83关于最佳模式确定单元82确定的预测模式，使用要经受帧内预测的块的图像、相应的相邻像素以及相应的内插相邻像素的像素值来确定最佳移动量。最佳移动量确定单元83计算例如预测误差(剩余误差)等，并且将具有所算出的最小预测误差的移动量确定为最佳移动量。最佳移动量确定单元83确定的最佳移动量的信息被提供给预测图像生成单元84。

与最佳模式确定单元82确定的预测模式信息对应的成本函数值以及最佳移动量确定单元83确定的最佳移动量信息被输入到预测图像生成单元84。预测图像生成单元84从相邻图像缓冲器81读出与要经受帧内预测的块对应的相邻像素，并且在取决于预测模式的相位方向上以最佳移动量移动所读取的相邻像素的相位。

预测图像生成单元84使用相位已被移动的相邻像素，在最佳模式确定单元82确定的最佳帧内预测模式下执行帧内预测，以生成要处理的块的预测图像。预测图像生成单元84将所生成的预测图像和相应的成本函数值输出到预测图像选择单元77。

另外，在预测图像选择单元77选择了在最佳帧内预测模式下所生成的预测图像的情况下，预测图像生成单元84将表示最佳帧内预测模式的信息以及移动量的信息提供给无损编码单元66。

模式确定单元91将取决于最佳模式确定单元82确定的预测模式的控制信号输出到水平方向内插单元92和垂直方向内插单元93。例如，根据预测模式输出表示内插处理的ON(开)的控制信号。

水平方向内插单元92和垂直方向内插单元93根据来自模式确定单元91的控制信号，各自从相邻图像缓冲器81读出相邻像素。水平方向内插单元92和垂直方向内插单元93通过6抽头FIR滤波器和线性内插各自在水平方向和垂直方向上移动所读取的相邻像素的相位。经水平方向内插单元92和垂直方向内插单元93内插的相邻像素的信息被提供给最佳移动量确定单元83。

[图像编码设备的编码处理的描述]

接下来，将参照图7中的流程图描述图2中的图像编码设备51的编码处理。

在步骤S11中，A/D转换单元61将输入图像从模拟转换为数字。在步骤S12中，画面排序缓冲器62存储从A/D转换单元61提供的图像，并且执行从用于显示图片的序列到用于编码的序列的排序。

在步骤S13中，计算单元63计算在步骤S12中所排序的图像与预测图像之间的差。预测图像在执行帧间预测的情况下，经由预测图像选择单元77从运动预测/补偿单元76被提供给计算单元63，而在执行帧内预测的情况下，经由预测图像选择单元77从帧内预测单元74被提供给计算单元63。

与原始图像数据相比，差分数据在数据量方面较小。因此，与对原始图像进行编码而没有对其进行改变的情况相比，可以压缩数据量。

在步骤S14中，正交变换单元64使从计算单元63提供的差分信息经受正交变化。具体地，执行诸如离散余弦变化、卡亨南-洛维变换等的正交变换，并且输出变换系数。在步骤S15中，量化单元65对变换系数进行量化。在该量化时，控制速率，以使得将描述稍后描述的步骤S25中的处理。

如下对如此量化的差分信息进行局部解码。具体地，在步骤S16中，逆量化单元68使用与量化单元65的特性对应的特性，使经量化单元65量化的变换系数经受逆量化。在步骤S17中，逆正交变换单元69使用与正交变换单元64的特性对应的特性，使经受了由逆量化单元68执行的逆量化的变换系数经受逆正交变换。

在步骤S18中，计算单元70将经由预测图像选择单元77输入的预测图像与局部解码后的差分信息相加，并且生成局部解码后的图像(与到计算单元63的输入对应的图像)。在步骤S19中，去块滤波器71使从计算单元70输出的图像经受滤波。因此，去除了块失真。在步骤S20中，帧存储器72存储经受了滤波的图像。注意，未经受由去块滤波器71执行的滤波处理的图像还从计算单元70被提供给帧存储器72以进行存储。

在步骤S21中，帧内预测单元74和运动预测/补偿单元76均执行图像预测处理。具体地，在步骤S21中，帧内预测单元74执行帧内预测模式下的帧内预测处理。运动预测/补偿单元76执行帧间预测模式下的运动预测和补偿处理。

稍后将参照图8描述步骤S21中的预测处理的细节，但是根据该处理，执行用作候选的所有帧内预测模式下的预测处理，并且计算用作候选的所有预测模式的成本函数值。基于所算出的成本函数值选择最佳帧内预测模式，并且将通过最佳帧内预测模式下的帧内预测生成的预测图像及其成本函数值提供给预测图像选择单元77。

具体地，此时，帧内预测单元74将通过使用如下相邻像素的帧内预测而生成的预测图像提供给预测图像选择单元77：通过6抽头FIR滤波器和线性内插，在取决于最佳帧内预测模式的移动方向上以最佳移动量移动了该相邻像素的相位。注意，关于最佳帧内预测模式的成本函数值连同预测图像一起也被提供给预测图像选择单元77。

另一方面，基于所算出的成本函数值，在帧间预测模式之中确定最佳帧间预测模式，并且将在最佳帧间预测模式下所生成的预测图像及其成本函数值提供给预测图像选择单元77。

在步骤S22中，预测图像选择单元77基于从帧内预测单元74和运动预测/补偿单元76输出的成本函数值，将最佳帧内预测模式和最佳帧间预测模式之一确定为最佳预测模式。然后，预测图像选择单元77选择所确定的最佳预测模式下的预测图像，并且将其提供给计算单元63和70。如上所述，该预测图像用于步骤S13和S18中的计算。

注意，该预测图像的选择信息被提供给帧内预测单元74或运动预测/补偿单元76。在选择了最佳帧内预测模式下的预测图像的情况下，帧内预测单元74将表示最佳帧内预测模式的信息(即，帧内预测模式信息)和被确定为最佳的移动量的信息提供给无损编码单元66。

在选择了最佳帧间预测模式下的预测图像的情况下，运动预测/补偿单元76将表示最佳帧间预测模式的信息输出到无损编码单元66，并且根据需要，将取决于最佳帧间预测模式的信息输出到无损编码单元66。取决于最佳帧间预测模式的信息的示例包括运动矢量信息、标志信息以及参考帧信息。具体地，在选择了取决于帧间预测模式的预测图像作为最佳帧间预测模式的情况下，运动预测/补偿单元76将帧间预测模式信息、运动矢量信息以及参考帧信息输出到无损编码单元66。

在步骤S23中，无损编码单元66对从量化单元65输出的量化后的变换系数进行编码。具体地，使差分图像经受诸如可变长编码、算术编码等的无损编码并对其进行压缩。此时，在上述步骤S22中输入到无损编码单元66的、来自帧内预测单元74的帧内预测模式信息或者来自运动预测/补偿单元76的取决于最佳帧间预测模式的信息等也被编码，并且被添加到头信息中。

在步骤S24中，累积缓冲器67将差分图像累积为压缩图像。累积在累积缓冲器67中的压缩图像在适当时被读出，并且经由传输路径被传输到解码侧。

在步骤S25中，速率控制单元78基于累积在累积缓冲器67中的压缩图像来控制量化单元65的量化操作的速率，以便不会引起上溢或下溢。

[预测处理的描述]

接下来，将参照图8中的流程图描述图7的步骤S21中的预测处理。

在从画面排序缓冲器62提供的、要处理的图像是要经受帧内处理的块中的图像的情况下，从帧存储器72读出要参考的解码后的图像，并且经由开关73将其提供给帧内预测单元74。

在步骤S31中，帧内预测单元74使用所提供的图像，使要处理的块的像素经受用作候选的所有帧内预测模式下的帧内预测。注意，没有经过由去块滤波器71执行的去块滤波的像素用作要参考的解码后的像素。

稍后将参照图20描述步骤S31中的帧内预测处理的细节，但是根据该处理，使用所有用作候选的帧内预测模式执行帧内预测。针对用作候选的所有帧内预测模式计算成本函数值，并且基于所算出的成本函数值确定最佳帧内预测模式。

随后，根据6抽头FIR滤波器和线性内插，在取决于所确定的最佳帧内预测模式的移动方向上以最佳移动量移动相邻像素的相位。使用相位已被移动的相邻像素，通过最佳帧内预测模式下的帧内预测生成预测图像。所生成的预测图像和最佳帧内预测模式的成本函数值被提供给预测图像选择单元77。

在从画面排序缓冲器62提供的、要处理的图像是要经受帧间处理的图像的情况下，从帧存储器72读出要参考的图像，并且经由开关73将其提供给运动预测/补偿单元76。在步骤S32中，基于这些图像，运动预测/补偿单元76执行帧间运动预测处理。也就是说，运动预测/补偿单元76参考从帧存储器72提供的图像，以执行用作候选的所有帧间预测模式下的运动预测处理。

稍后将参照图22描述步骤S32中的帧间运动预测处理的细节，但是根据该处理，执行用作候选的所有帧间预测模式下的运动预测处理，并且针对用作候选的所有帧间预测模式计算成本函数值。

在步骤S33中，运动预测/补偿单元76比较在步骤S32中针对帧间预测模式所算出的成本函数值，并且将提供最小值的预测模式确定为最佳帧间预测模式。运动预测/补偿单元76将在最佳帧间预测模式下所生成的预测图像及其成本函数值提供给预测图像选择单元77。

[根据H.264/AVC系统的帧内预测处理的描述]

接下来，将描述H.264/AVC系统确定的帧内预测模式。

首先，将描述关于亮度信号的帧内预测模式。对于亮度信号的帧内预测模式，确定帧内4×4预测模式、帧内8×8预测模式以及帧内16×16预测模式的三种系统。这些是用于确定块单位的模式，并且是针对每个宏块而设置的。另外，可将帧内预测模式设置用于色差信号，而与每个宏块的亮度信号无关。

此外，在帧内4×4预测模式的情况下，针对每个4×4像素的当前块，可以从九种预测模式之中设置一种预测模式。在帧内8×8预测模式的情况下，针对每个8×8像素的当前块，可以从九种预测模式之中设置一种预测模式。另外，在帧内16×16预测模式的情况下，对于16×16像素的当前宏块，可以从四种预测模式中设置一种预测模式。

注意，在下文中，还适当地将帧内4×4预测模式、帧内8×8预测模式以及帧内16×16预测模式分别称为4×4像素帧内预测模式、8×8像素帧内预测模式以及16×16像素帧内预测模式。

对于图9中的示例，附于块的数字1至25表示块的位流顺序(解码侧的处理顺序)。注意，对于亮度信号，宏块被划分成4×4像素，并且执行4×4像素的DCT。仅在帧内16×16预测模式的情况下，如块-1所示，收集块的DC分量，生成4×4矩阵，并且这进一步经受正交变换。

另一方面，对于色差信号，在宏块被划分成4×4像素并且执行4×4像素的DCT之后，如块16和17所示，收集块的DC分量，生成2×2矩阵，并且这进一步经受正交变换。

注意，对于帧内8×8预测模式，这可仅应用于如下情况：其中，以高端类(high profile)或在此之上的类使当前宏块经受8×8正交变换。

图10和图11是示出亮度信号的九种4×4像素的帧内预测模式(Intra_4×4_pred_mode)的图。除示出平均值(DC)预测的模式2之外的八种模式分别对应于图1中以数字0、1、3至8表示的方向。

将参照图12描述九种intra_4×4_pred_mode。对于图12中的示例，像素a至p表示要经受帧内处理的块的像素，并且像素值A至M表示属于相邻块的像素的像素值。具体地，像素a至p是从画面排序缓冲器62读出的要处理的图像，并且像素值A至M是要从帧存储器72读出并参考的经解码图像的像素值。

在图10和图11中示出的帧内预测模式的情况下，使用属于相邻像素的像素的像素值A至M，如下生成像素a至p的预测像素值。这里，像素值“可用”表示像素值是可用的，而没有像素位于图像帧的边缘或者尚未被编码的原因。另一方面，像素值“不可用”表示像素值由于像素位于图像帧的边缘或者尚未被编码的原因而不可用。

模式0是Vertical预测模式(垂直预测模式)，并且仅应用于像素值A至D“可用”的情况。在该情况下，如以下表达式(7)一样生成像素a至p的预测像素值。

像素a、e、i和m的预测像素值＝A

像素b、f、j和n的预测像素值＝B

像素c、g、k和o的预测像素值＝C

像素d、h、l和p的预测像素值＝D... (7)

模式1是Horizontal预测模式(水平预测模式)，并且仅应用于像素值I至L“可用”的情况。在该情况下，如以下表达式(8)一样生成像素a至p的预测像素值。

像素a、b、c和d的预测像素值＝I

像素e、f、g和h的预测像素值＝J

像素i、j、k和l的预测像素值＝K

像素m、n、o和p的预测像素值＝L... (8)

模式2是DC预测模式，并且当像素值A、B、C、D、I、J、K和L都“可用”时”，如以下表达式(9)一样生成预测像素值。

(A+B+C+D+I+J+K+L+4)＞＞3...(9)

另外，当像素值A、B、C和D都“不可用”时，如表达式(10)一样生成预测像素值。

(I+J+K+L+2)＞＞2...(10)

另外，当像素值I、J、K和L都“不可用”时，如表达式(11)一样生成预测像素值。

(A+B+C+D+2)＞＞2...(11)

注意，当像素值A、B、C、D、I、J、K和L都“不可用”时，采用128作为预测像素值。

模式3是Diagonal_Down_Left预测模式，并且仅应用于像素值A、B、C、D、I、J、K、L和M“可用”的情况。在该情况下，如以下表达式(12)一样生成像素a至p的预测像素值。

像素a的预测像素值＝(A+2B+C+2)＞＞2

像素b和e的预测像素值＝(B+2C+D+2)＞＞2

像素c、f和i的预测像素值＝(C+2D+E+2)＞＞2

像素d、g、j和m的预测像素值＝(D+2E+F+2)＞＞2

像素h、k和n的预测像素值＝(E+2F+G+2)＞＞2

像素l和o的预测像素值＝(F+2G+H+2)＞＞2

像素p的预测像素值＝(G+3H+2)＞＞2...(12)

模式4是Diagonal_Down_Right预测模式，并且仅应用于像素值A、B、C、D、I、J、K、L和M“可用”的情况。在该情况下，如以下表达式(13)一样生成像素a至p的预测像素值。

像素m的预测像素值＝(J+2K+L+2)＞＞2

像素i和n的预测像素值＝(I+2J+K+2)＞＞2

像素e、j和o的预测像素值＝(M+2I+J+2)＞＞2

像素a、f、k和p的预测像素值＝(A+2M+I+2)＞＞2

像素b、g和l的预测像素值＝(M+2A+B+2)＞＞2

像素c和h的预测像素值＝(A+2B+C+2)＞＞2

像素d的预测像素值＝(B+2C+D+2)＞＞2...(13)

模式5是Diagonal_Vertical_Right预测模式，并且仅应用于像素值A、B、C、D、I、J、K、L和M“可用”的情况。在该情况下，如以下表达式(14)一样生成像素a至p的预测像素值。

像素a和j的预测像素值＝(M+A+1)＞＞1

像素b和k的预测像素值＝(A+B+1)＞＞1

像素c和l的预测像素值＝(B+C+1)＞＞1

像素d的预测像素值＝(C+D+1)＞＞1

像素e和n的预测像素值＝(1+2M+A+2)＞＞2

像素f和o的预测像素值＝(M+2A+B+2)＞＞2

像素g和p的预测像素值＝(A+2B+C+2)＞＞2

像素h的预测像素值＝(B+2C+D+2)＞＞2

像素i的预测像素值＝(M+2I+J+2)＞＞2

像素m的预测像素值＝(I+2J+K+2)＞＞2...(14)

模式6是Horizontal_Down预测模式，并且仅应用于像素值A、B、C、D、I、J、K、L和M“可用”的情况。在该情况下，如以下表达式(15)一样生成像素a至p的预测像素值。

像素a和g的预测像素值＝(M+I+1)＞＞1

像素b和h的预测像素值＝(I+2M+A+2)＞＞2

像素c的预测像素值＝(M+2A+B+2)＞＞2

像素d的预测像素值＝(A+2B+C+2)＞＞2

像素e和k的预测像素值＝(I+J+1)＞＞1

像素f和l的预测像素值＝(M+2I+J+2)＞＞2

像素i和o的预测像素值＝(J+K+1)＞＞1

像素j和p的预测像素值＝(I+2J+K+2)＞＞2

像素m的预测像素值＝(K+L+1)＞＞1

像素n的预测像素值＝(J+2K+L+2)＞＞2...(15)

模式7是Vertical_Left预测模式，并且仅应用于像素值A、B、C、D、I、J、K、L和M“可用”的情况。在该情况下，如以下表达式(16)一样生成像素a至p的预测像素值。

像素a的预测像素值＝(A+B+1)＞＞1

像素b和i的预测像素值＝(B+C+1)＞＞1

像素c和j的预测像素值＝(C+D+1)＞＞1

像素d和k的预测像素值＝(D+E+1)＞＞1

像素l的预测像素值＝(E+F+1)＞＞1

像素e的预测像素值＝(A+2B+C+2)＞＞2

像素f和m的预测像素值＝(B+2C+D+2)＞＞2

像素g和n的预测像素值＝(C+2D+E+2)＞＞2

像素h和o的预测像素值＝(D+2E+F+2)＞＞2

像素p的预测像素值＝(E+2F+G+2)＞＞2...(16)

模式8是Horizontal_Up预测模式，并且仅应用于像素值A、B、C、D、I、J、K、L和M“可用”的情况。在该情况下，如以下表达式(17)一样生成像素a至p的预测像素值。

像素a的预测像素值＝(I+J+1)＞＞1

像素b的预测像素值＝(I+2J+K+2)＞＞2

像素c和e的预测像素值＝(J+K+1)＞＞1

像素d和f的预测像素值＝(J+2K+L+2)＞＞2

像素g和i的预测像素值＝(K+L+1)＞＞1

像素h和j的预测像素值＝(K+3L+2)＞＞2

像素k、l、m、n、o和p的预测像素值＝L...(17)

接下来，将参照图13描述亮度信号的4×4像素的帧内预测模式(Intra_4×4_pred_mode)的编码系统。对于图13中的示例，示出了由4×4个像素构成的要进行编码的当前块C，并且示出了与当前块C相邻并由4×4个像素构成的块A和块B。

在该情况下，可以想到，当前块C中的Intra_4×4_pred_mode以及块A和块B中的Intra_4×4_pred_mode具有高相关性。使用该相关性如下执行编码处理，从而可以实现更高的编码效率。

具体地，对于图13中的示例，将块A和块B中的Intra_4×4_pred_mode分别作为Intra_4×4_pred_modeA和Intra_4×4_pred_modeB，并且MostProbableMode被定义为以下表达式(18)。MostProbableMode＝Min(Intra_4×4_pred_modeA，Intra_4×4_pred_modeB)...(18)

也就是说，在块A和块B之中，分配有较小的mode_number的一个块被作为MostProbableMode。

称为prev_intra4×4_pred_mode_flag[luma4×4Blkldx]的两个值在位流内被定义为关于当前块C的参数，并且通过基于以下表达式(19)中示出的伪代码的处理来执行解码处理，由此可以获得关于当前块C的Intra_4×4_pred_mode和Intra4×4PredMode[luma4×4Blkldx]的值。

接下来，将描述16×16像素的帧内预测模式。图14和图15是示出亮度信号的四种16×16像素帧内预测模式(Intra_16×16_pred_mode)的图。

将参照图16描述四种帧内预测模式。对于图16中的示例，示出了要经受帧内处理的当前宏块A，并且P(x，y)；x，y＝-1，0，...，15表示与当前宏块A相邻的像素的像素值。

模式0是Vertical预测模式，并且仅在P(x，-1)；x，y＝-1，0，...，15“可用”时应用。在该情况下，如以下表达式(20)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(x，-1)；x，y＝0，...，15  ...(20)

模式1是Horizontal预测模式，并且仅在P(-1，y)；x，y＝-1，0，...，15“可用”时应用。在该情况下，如以下表达式(21)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(-1，y)；x，y＝0，...，15...(21)

模式2是DC预测模式，并且在P(x，-1)和P(-1，y)；x，y＝-1，0，...，15都“可用”的情况下，如以下表达式(22)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式5]

$\mathrm{Pred}(x,y)=[\underset{x^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(x^{\&prime;},-1)+\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(-1,y^{\&prime;})+16]>>5$

其中，x，y＝0，...，15    ...(22)

另外，在P(x，-1)；x，y＝-1，0，...，15“不可用”的情况下，如以下表达式(23)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式6]

$\mathrm{Pred}(x,y)=[\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(-1,y^{\&prime;})+8]>>4$

其中，x，y＝0，...，15      ...(23)

在P(-1，y)；x，y＝-1，0，...，15“不可用”的情况下，如以下表达式(24)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式7]

$\mathrm{Pred}(x,y)=[\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(x^{\&prime;},-1)+8]>>4$

其中，x，y＝0，...，15   ...(24)

在P(x，-1)和P(-1，y)；x，y＝-1，0，...，15都“不可用”的情况下，采用128作为预测像素值。

模式3是Plane(平面)预测模式，并且仅在P(x，-1)和P(-1，y)；x，y＝-1，0，...，15都“可用”时应用。在该情况下，如以下表达式(25)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式8]

Pred(x，y)＝Clip1((a+b·(x-7)+c·(y-7)+16)＞＞5)

a＝16·(P(-1，15)+P(15，-1))

b＝(5·H+32)＞＞6

c＝(5·V+32)＞＞6

$H=\underset{x=1}{\overset{8}{\mathrm{\&Sigma;}}}x\&CenterDot;(P(7+x,-1)-P(7-x,-1))$

$V=\underset{y=1}{\overset{8}{\mathrm{\&Sigma;}}}y\&CenterDot;(P(-\mathrm{1,7}+y)-P(-\mathrm{1,7}-y))\&CenterDot;\&CenterDot;\&CenterDot;\left(25\right)$

接下来，将描述关于色差信号的帧内预测模式。图17是示出色差信号的四种帧内预测模式(Intra_chroma_pred_mode)的图。可以独立于亮度信号的帧内预测模式而设置色差信号的帧内预测模式。关于色差信号的帧内预测模式符合亮度信号的上述16×16像素的帧内预测模式。

然而，亮度信号的16×16像素的帧内预测模式以16×16像素块作为对象，但是另一方面，关于色差信号的帧内预测模式以8×8像素块作为对象。此外，如上述图14和图17所示，二者之间的模式编号不对应。

现在，遵照16×16像素的帧内预测模式下的当前块A的像素值和相邻像素值的定义。例如，假设与要经受帧内处理的当前宏块A(在色差的情况下为8×8像素)相邻的像素的像素值被认为是P(x，y)；x，y＝-1，0，...，7。

模式0是DC预测模式，并且在P(x，-1)和P(-1，y)；x，y＝-1，0，...，7都“可用”的情况下，如以下表达式(26)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式9]

$\mathrm{Pred}(x,y)=(\left(\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}(P(-1,n)+P(n,-1))\right)+8)>>4$

其中，x，y＝0，...，7      ...(26)

另外，在P(-1，y)；x，y＝-1，0，...，7“不可用”的情况下，如以下表达式(27)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式10]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}P(n,-1)\right)+4]>>3$

其中，x，y＝0，...，7   ...(27)

另外，在P(x，-1)；x，y＝-1，0，...，7“不可用”的情况下，如以下表达式(28)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式11]

$\mathrm{Pred}(x,y)=[\left(\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}P(-1,n)\right)+4]>>3$

其中，x，y＝0，...，7   ...(28)

模式1是Horizontal预测模式，并且仅在P(-1，y)；x，y＝-1，0，...，7“可用”时应用。在该情况下，如以下表达式(29)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(-1，y)；x，y＝0，...，7   ...(29)

模式2是Vertical预测模式，并且仅在P(x，-1)；x，y＝-1，0，...，7“可用”时应用。在该情况下，如以下表达式(30)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

Pred(x，y)＝P(x，-1)；x，y＝0，...，7   ...(30)

模式3是Plane预测模式，并且仅在P(x，-1)和P(-1，y)；x，y＝-1，0，...，7“可用”时应用。在该情况下，如以下表达式(31)一样生成当前宏块A的每个像素的预测像素值Pred(x，y)。

[数学表达式12]

Pred(x，y)＝Clip1(a+b·(x-3)+c·(y-3)+16)＞＞5；x，y＝0，...，7

a＝16·(P(-1，7)+P(7，-1))

b＝(17·H+16)＞＞5

c＝(17·V+16)＞＞5

$H=\underset{x=1}{\overset{4}{\mathrm{\&Sigma;}}}x\&CenterDot;[P(3+x,-1)-P(3-x,-1)]$

$V=\underset{y=1}{\overset{4}{\mathrm{\&Sigma;}}}y\&CenterDot;[P(-\mathrm{1,3}+y)-P(-\mathrm{1,3}-y)]\&CenterDot;\&CenterDot;\&CenterDot;\left(31\right)$

如上所述，亮度信号的帧内预测模式包括4×4像素和8×8像素的块单位的九种预测模式、以及16×16像素的宏块单位的四种预测模式。针对每个宏块单位设置这些块单位的模式。色差信号的帧内预测模式包括8×8像素的块单位的四种预测模式。可独立于亮度信号的帧内预测模式而设置色差信号的帧内预测模式。

另外，关于亮度信号的4×4像素帧内预测模式(帧内4×4预测模式)和8×8像素帧内预测模式(帧内8×8预测模式)，针对每个4×4像素和8×8像素的亮度信号块设置一种帧内预测模式。关于亮度信号的16×16像素帧内预测模式(帧内16×16预测模式)和色差信号的帧内预测模式，针对一个宏块设置一种预测模式。

注意，预测模式的种类对应于图1中以上述数字0、1、3至8表示的方向。预测模式2是平均值预测。

如上所述，以整数像素精度执行根据H.264/AVC系统的帧内预测。另一方面，对于图像编码设备51，执行具有小数像素精度的帧内预测。

[具有小数像素精度的帧内预测的操作]

接下来，将参照图18描述用于实现具有小数像素精度的帧内预测的操作。注意，图18中的示例示出了在当前块具有4×4个像素的情况下的示例。

在图18中的示例的情况下，实心圆圈表示要经受帧内预测的当前块的像素，而白色圆圈表示与当前块相邻的相邻像素。此外，详细地，在为白色圆圈的相邻像素之中，与当前块的左上部相邻的左上部相邻像素是A_-1以及I_-1，并且该像素相当于图12中像素值是M的像素。在为白色圆圈的相邻像素之中，与当前块的上部相邻的上部相邻像素是A₀、A₁、A₂等，并且这些像素相当于图12中像素值是A至H的像素。在为白色圆圈的相邻像素之中，与当前块的左部相邻的左部相邻像素是I₀、I₁、I₂等，并且这些像素相当于图12中像素值是I至L的像素。

另外，在相邻像素之间示出的a_-0.5、a_+0.5等以及i_-0.5、i_+0.5等表示具有1/2像素精度的像素。此外，在像素a_-0.5、a_+0.5等以及i_-0.5、i_+0.5等之间示出的a_-0.75、a_-0.25、a_+0.25、a_+0.75等以及i_-0.75、i_-0.25、i_+0.25、i_+0.75等表示具有1/4像素精度的像素。

首先，作为第一操作，对于帧内预测单元74，使用图12中所述的像素值A至M来针对帧内预测模式执行帧内预测，并且在帧内预测模式之中确定最佳帧内预测模式。在当前块是4×4的情况下，该最佳帧内预测模式是图10或图11中的九种预测模式之一。

例如，假设已选择模式0(Vertical预测模式)作为最佳帧内预测模式。此时，用于当前块的预测的相邻像素是图18中的像素A₀、A₁、A₂和A₃，其像素值是图12中的像素值A至D。

作为第二操作，对于相邻像素内插单元75，根据依据以上参照图4描述的H.264/AVC系统的6抽头FIR滤波器，生成图18中具有1/2像素精度的像素a_-0.5、a_+0.5等。也就是说，以下列表达式(32)示出像素a_-0.5。a_-0.5＝(A_-2-5*A_-1+20*A₀+20*A₁-5*A₁+A₂+16)＞＞5...(32)这可应用于其它具有1/2像素精度的像素a_+0.5、a_+1.5等。

作为第三操作，对于相邻像素内插单元75，通过线性内插根据像素A₀、A₁、A₂、A₃以及像素a_-0.5、a_+0.5等生成图18中具有1/4像素精度的像素a_-0.75、a_-0.25、a_+0.25和a_+0.75。具体地，像素a_+0.25通过以下表达式(33)来表示。

a_-0.5＝A₀+a_+0.5+1)＞＞2...(33)

这可应用于其它具有1/4像素精度的像素。

作为第四操作，对于帧内预测单元74，在模式0的情况下，作为整数像素与每个小数像素精度之间的相位差的值-0.75、-0.50、-0.25、+0.25、+0.50和+0.75被认为是水平方向移动量的候选，并且确定最佳移动量。

例如，在移动量是+0.25的情况下，使用像素a_+0.25、a_+1.25、a_+2.25和a_+3.25的像素值取代像素A₀、A₁、A₂和A₃的像素值来执行帧内预测。

以此方式，针对在第一操作中所选择的最佳帧内预测模式确定最佳移动量。例如，可存在如下情况：移动量为0被确定为最佳的，并且使用整数像素的像素值。

注意，在图10或图11示出的九种预测模式之中，关于模式2(DC预测模式)，执行平均值处理。因此，即使当执行移动时，这也不会直接涉及编码效率的提高，因此，禁止上述操作并且不执行上述操作。

关于模式0(Vertical预测模式)、模式3(Diagonal_Down_Left预测模式)或模式7(Vertical_Left预测模式)，仅对于图18中的上部相邻像素A₀、A₁、A₂等的移动用作候选。

关于模式1(Horizontal预测模式)或模式8(Horizontal_Up预测模式)，仅对于图18中的左部相邻像素I₀、I₁、I₂等的移动用作候选。

关于其它模式(模式4至6)，需要考虑关于上部相邻像素和左部相邻像素两者的移动。

另外，关于上部相邻像素，仅确定水平方向移动量，而关于左部相邻像素，仅确定垂直方向移动量。

执行上述第一至第四操作以确定最佳移动量，由此可以增加在帧内预测模式中使用的像素值的选择，并且可以执行进一步的最佳帧内预测。因此，可以进一步提高帧内预测的编码效率。

另外，对于H.264/AVC系统，如以上参照图4所述，仅用于帧间运动预测补偿的6抽头FIR滤波器的电路还可以有效地用于帧内预测。因此，可以在不增加电路的情况下提高效率。

此外，可以以比作为在H.264/AVC系统中确定的用于帧内预测的分辨率的22.5度更加细的分辨率执行帧内预测。

[具有小数像素精度的帧内预测的有益效果示例]

对于图19中的示例，虚线表示以上参照图1描述的根据H.264/AVC系统的帧内预测的预测模式的方向。附于虚线的数字分别对应于图10或图11中所示的九种预测模式的编号。注意，模式2是平均值预测，因此，没有示出其编号。

对于H.264/AVC系统，可以仅以用虚线示出的22.5度的分辨率来执行帧内预测。另一方面，对于图像编码设备51，执行具有小数像素精度的帧内预测，该帧内预测具有如粗线表示的、比22.5度更加细的分辨率。因此，特别地，可以提高关于具有倾斜边缘的纹理的编码效率。

[帧内预测处理的描述]

接下来，将参照图20中的流程图描述用作上述操作的帧内预测处理。注意，该帧内预测处理是图8的步骤S31中的帧内预测处理，并且对于图20中的示例，将描述亮度信号的情况作为示例。

在步骤S41中，最佳模式确定单元82针对4×4像素、8×8像素以及16×16像素的帧内预测模式执行帧内预测。

如上所述，对于帧内4×4预测模式和帧内8×8预测模式，提供了九种预测模式，并且可对于每个块分别定义一种预测模式。关于帧内16×16预测模式以及色差信号的帧内预测模式，可对于一个宏块定义一种预测模式。

最佳模式确定单元82参考从相邻图像缓冲器81读出的解码后的相邻像素，以使用所有种类的帧内预测模式来使要处理的块的像素经受帧内预测。因此，生成关于帧内预测模式的所有种类的预测模式的预测图像。注意，对于要参考的解码后的像素，使用未经过由去块滤波器71执行的去块滤波的像素。

在步骤S42中，最佳模式确定单元82计算关于4×4像素、8×8像素以及16×16像素的帧内预测模式的成本函数值。这里，基于高复杂度模式或低复杂度模式的技术之一执行成本函数值的计算。这些模式是在作为H.264/AVC系统中的参考软件的JM(联合模型)中确定的。

具体地，在高复杂度模式下，暂时地，作为步骤S41中的处理，针对用作候选的所有预测模式，直到执行编码处理。针对预测模式，计算以下列表达式(34)表示的成本函数值，并且将提供成本函数值的最小值的预测模式选择作为最佳预测模式。

Cost(Mode)＝D+λ·R  ...(34)

D表示原始图像与解码图像之间的差(失真)，R表示包括正交变换系数的生成代码量，并且λ表示要提供作为量化参数QP的函数的拉格朗日乘数。

另一方面，在低复杂度模式中，作为步骤S41中的处理，针对用作候选的所有预测模式，生成预测图像，并且直到计算出运动矢量信息、预测模式信息、标志信息等的头位(header bit)。针对预测模式，计算以下列表达式(35)表示的成本函数值，并且将提供成本函数值的最小值的预测模式选择作为最佳预测模式。

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit...(35)

D表示原始图像与解码图像之间的差(失真)，Header_Bit表示关于预测模式的头位，并且QPtoQuant是要提供作为量化参数QP的函数的函数。

在低复杂度模式下，针对所有预测模式仅生成预测图像，并且不需要执行编码处理和解码处理，因此，可以减少计算量。

在步骤S43中，最佳模式确定单元82针对4×4像素、8×8像素以及16×16像素的帧内预测模式确定最佳模式。具体地，如上所述，在帧内4×4预测模式和帧内8×8预测模式的情况下，预测模式类型的数量是九，并且在帧内16×16预测模式的情况下，预测模式类型的数量是四。因此，最佳模式确定单元82基于在步骤S42中算出的成本函数值，在其中确定最佳帧内4×4预测模式、最佳帧内8×8预测模式以及最佳帧内16×16预测模式。

在步骤S44中，最佳模式确定单元82在基于在步骤S42中算出的成本函数值，在针对4×4像素、8×8像素以及16×16像素的帧内预测模式所确定的最佳模式之中选择最佳帧内预测模式。具体地，最佳模式确定单元82在针对4×4像素、8×8像素以及16×16像素所确定的最佳模式之中，选择成本函数值为最小值的模式作为最佳帧内预测模式。

所确定的预测模式信息被提供给模式确定单元91、最佳移动量确定单元83以及预测图像生成单元84。另外，对应于预测模式的成本函数值也被提供给预测图像生成单元84。

在步骤S45中，相邻像素内插单元75和最佳移动量确定单元83执行相邻内插处理。稍后将参照图21描述步骤S45中的相邻内插处理的细节，但是根据该处理，在取决于所确定的最佳帧内预测模式的移动方向上确定最佳移动量。与所确定的最佳移动量有关的信息被提供给预测图像生成单元84。

在步骤S46中，预测图像生成单元84使用相位已被移动了最佳移动量的相邻像素生成预测图像。

具体地，预测图像生成单元84从相邻图像缓冲器81读出与要经受帧内预测的当前块对应的相邻像素。然后，预测图像生成单元84通过6抽头FIR滤波器和线性内插，在取决于预测模式的相位方向上以最佳移动量移动所读取的相邻像素的相位。预测图像生成单元84使用相位已被移动的相邻像素执行最佳模式确定单元82确定的预测模式下的帧内预测，以生成当前块的预测图像，并且将所生成的预测图像和相应的成本函数值提供给预测图像选择单元77。

注意，在最佳移动量是0的情况下，使用来自相邻图像缓冲器81的相邻像素的像素值。

在预测图像选择单元77选择了在最佳帧内预测模式下所生成的预测图像的情况下，预测图像生成单元84将表示最佳帧内预测的信息以及移动量的信息提供给无损编码单元66。然后，在无损编码单元66处对这些信息进行编码，并且与压缩图像的头信息相加(上述图7中的步骤S23)。

注意，对于移动量的信息的编码，对所确定的当前块的移动量与以上参照图13描述的提供MostProbableMode的块的移动量之间的差进行编码。

然而，例如，在MostProbableMode是模式2(DC预测)并且当前块的预测模式是模式0(Vertical预测)的情况下，在提供MostProbableMode的块中不存在水平方向移动量。另外，即使对于该块是帧间片段(slice)中的帧内宏块的情形，在提供MostProbableMode的块中也不存在水平方向移动量。

在这样的情况下，将假定提供MostProbableMode的块中的水平方向移动量是0来执行差分编码处理。

[相邻像素内插处理的描述]

接下来，将参照图21中的流程图描述图20的步骤S45中的相邻像素内插处理。对于图21中的示例，将关于当前块是4×4的情况进行描述。

最佳模式确定单元82确定的预测模式的信息被提供给模式确定单元91。在步骤S51中，模式确定单元91确定最佳帧内预测模式是否是DC模式。在步骤S51中确定最佳帧内预测模式不是DC模式的情况下，处理进行到步骤S52。

在步骤S52中，模式确定单元91确定最佳帧内预测模式是否是Vertical预测模式、Diagonal_Down_Left预测模式或Vertical_Left预测模式。

在步骤S52中确定最佳帧内预测模式是Vertical预测模式、Diagonal_Down_Left预测模式或Vertical_Left预测模式的情况下，处理进行到步骤S53。

在步骤S53中，模式确定单元91将控制信号输出到水平方向内插单元92，以执行水平方向上的内插。具体地，响应于来自模式确定单元91的控制信号，水平方向内插单元92从相邻图像缓冲器81读出上部相邻像素，并且通过6抽头FIR滤波器和线性内插对所读取的上部相邻像素移动水平方向上的相位。水平方向内插单元92将所内插的上部相邻像素的信息提供给最佳移动量确定单元83。

在步骤S54中，最佳移动量确定单元83关于最佳模式确定单元82确定的预测模式，在-0.75至+0.75之中确定上部相邻像素的最佳移动量。注意，对于该确定，使用要经受帧内预测的当前块的图像、以及从相邻图像缓冲器81读出的上部相邻像素及所内插的上部相邻像素的信息。另外，此时，关于左部相邻像素的最佳移动量被设置为0。所确定的最佳移动量的信息被提供给预测图像生成单元84。

在步骤S52中确定最佳帧内预测模式不是Vertical预测模式、Diagonal_Down_Left预测模式或Vertical_Left预测模式的情况下，处理进行到步骤S55。

在步骤S55中，模式确定单元91确定最佳帧内预测模式是否是Horizontal预测模式或Horizontal_Up预测模式。在步骤S55中确定最佳帧内预测模式是Horizontal预测模式或Horizontal_Up预测模式的情况下，处理进行到步骤S56。

在步骤S56中，模式确定单元91将控制信号输出到垂直方向内插单元93，以执行垂直方向上的内插。具体地，响应于来自模式确定单元91的控制信号，垂直方向内插单元93从相邻图像缓冲器81读出左部相邻像素，并且通过6抽头FIR滤波器和线性内插对所读取的左部相邻像素移动垂直方向上的相位。垂直方向内插单元93将所内插的左部相邻像素的信息提供给最佳移动量确定单元83。

在步骤S57中，最佳移动量确定单元83关于最佳模式确定单元82确定的预测模式，在-0.75至+0.75之中确定左部相邻像素的最佳移动量。注意，对于该确定，使用要经受帧内预测的当前块的图像、以及从相邻图像缓冲器81读出的左部相邻像素及所内插的左部相邻像素的信息。另外，此时，关于上部相邻像素的最佳移动量被设置为0。所确定的最佳移动量的信息被提供给预测图像生成单元84。

在步骤S55中确定最佳帧内预测模式不是Horizontal预测模式或Horizontal_Up预测模式的情况下，处理进行到步骤S58。

在步骤S58中，模式确定单元91将控制信号输出到水平方向内插单元92，以执行水平方向上的内插，并且将控制信号输出到垂直方向内插单元93，以执行垂直方向上的内插。

具体地，响应于来自模式确定单元91的控制信号，水平方向内插单元92从相邻图像缓冲器81读出上部相邻像素，并且通过6抽头FIR滤波器和线性内插对所读取的上部相邻像素移动水平方向上的相位。水平方向内插单元92将所内插的上部相邻像素的信息提供给最佳移动量确定单元83。

另外，响应于来自模式确定单元91的控制信号，垂直方向内插单元93从相邻图像缓冲器81读出左部相邻像素，并且通过6抽头FIR滤波器和线性内插对所读取的左部相邻像素移动垂直方向上的相位。垂直方向内插单元93将所内插的左部相邻像素的信息提供给最佳移动量确定单元83。

在步骤S59中，最佳移动量确定单元83关于最佳模式确定单元82确定的预测模式，在-0.75至+0.75之中确定上部相邻像素和左部相邻像素的最佳移动量。对于该确定，使用要经受帧内预测的当前块的图像、以及从相邻图像缓冲器81读出的上部相邻像素和左部相邻像素及所内插的上部相邻像素和左部相邻像素的信息。所确定的最佳移动量的信息被提供给预测图像生成单元84。

另一方面，在步骤S51中确定最佳帧内预测模式是DC模式的情况下，相邻像素内插处理结束。具体地，水平方向内插单元82或垂直方向内插单元83均不工作，并且对于最佳移动量确定单元83，将最佳移动量确定为零。

[帧间运动预测处理的描述]

接下来，将参照图22中的流程图描述图8的步骤S32中的帧间运动预测处理。

在步骤S61中，运动预测/补偿单元76针对由16×16像素至4×4像素构成的八种帧间预测模式中的每一种，确定运动矢量和参考图像。也就是说，针对在每种帧间预测模式下要处理的块，确定运动矢量和参考图像。

在步骤S62中，运动预测/补偿单元76基于在步骤S61中关于由16×16像素至4×4像素构成的八种帧间预测模式中的每一种所确定的运动矢量，使参考图像经受运动预测和补偿处理。根据该运动预测和补偿处理，生成每种帧间预测模式下的预测图像。

在步骤S63中，运动预测/补偿单元76关于针对由16×16像素至4×4像素构成的八种帧间预测模式中的每一种而确定的运动矢量，生成要与压缩图像相加的运动矢量信息。此时，采用以上参照图5描述的运动矢量生成方法。

在下一步骤S64中计算成本函数值时，也采用所生成的运动矢量信息，并且在预测图像选择单元77最终选择了相应的预测图像的情况下，该预测图像连同预测模式信息和参考帧信息一起被输出到无损编码单元66。

在步骤S64中，运动预测/补偿单元76针对由16×16像素至4×4像素构成的八种帧间预测模式中的每一种，计算在上述表达式(34)或表达式(35)中示出的成本函数值。在上述图8的步骤S34中确定最佳帧间预测模式时，采用此处算出的成本函数值。

注意，根据本发明的操作原理不限于以上参照图18、图20以及图21描述的操作。例如，可做出如下布置：其中，针对所有帧内预测模式，计算用作候选的所有移动量的预测值，并且确定最佳帧内预测模式和最佳移动量。将在图23中示出在执行该操作的情况下帧内预测单元和相邻像素内插单元的配置示例。

[帧内预测单元和相邻像素内插单元的另一配置示例]

图23是示出帧内预测单元和相邻像素内插单元的另一配置示例的框图。

在图23中的示例的情况下，帧内预测单元74由相邻图像缓冲器101、最佳模式/最佳移动量确定单元102以及预测图像生成单元103构成。

相邻像素内插单元75由水平方向内插单元111和垂直方向内插单元112构成。

相邻图像缓冲器101累积来自帧存储器72的、要经受帧内预测的当前块的相邻像素。同样在图23的情况下，省略了开关73的图，但是实际上，相邻像素经由开关73从帧存储器72被提供给相邻图像缓冲器101。

要经受帧内预测的当前块的像素从画面排序缓冲器62被输入到最佳模式/最佳移动量确定单元102。最佳模式/最佳移动量确定单元102从相邻图像缓冲器101读出与要经受帧内预测的当前块对应的相邻像素。

最佳模式/最佳移动量确定单元102将候选帧内预测模式(下文中称为候选模式)的信息提供给水平方向内插单元111和垂直方向内插单元112。根据候选模式所内插的相邻像素的信息从水平方向内插单元111和垂直方向内插单元112被输入到最佳模式/最佳移动量确定单元102。

最佳模式/最佳移动量确定单元102使用要经受帧内预测的当前块的像素、相应的相邻像素以及所内插的相邻像素的像素值，针对所有候选模式和所有候选移动量执行帧内预测，以生成预测图像。然后，最佳模式/最佳移动量确定单元102计算成本函数值、预测误差等，以在所有候选模式和所有移动量之中确定最佳帧内预测模式和最佳移动量。所确定的预测模式和移动量的信息被提供给预测图像生成单元103。注意，此时，关于预测模式的成本函数值也被提供给预测图像生成单元103。

预测图像生成单元103从相邻图像缓冲器101读出与要经受帧内预测的当前块对应的相邻像素，并且通过6抽头FIR滤波器和线性内插，在取决于预测模式的相位方向上以最佳移动量移动所读取的相邻像素的相位。

预测图像生成单元103使用相位已被移动的相邻像素，以最佳模式/最佳移动量确定单元102确定的最佳帧内预测模式执行帧内预测，以生成当前块的预测图像。预测图像生成单元103将所生成的预测图像和相应的成本函数值输出到预测图像选择单元77。

另外，在预测图像选择单元77选择了在最佳帧内预测模式下所生成的预测图像的情况下，预测图像生成单元103将表示最佳帧内预测模式的信息和移动量的信息提供给无损编码单元66。

水平方向内插单元111和垂直方向内插单元112根据来自最佳模式/最佳移动量确定单元102的候选模式，各自从相邻图像缓冲器101读出相邻像素。水平方向内插单元111和垂直方向内插单元112通过6抽头FIR滤波器和线性内插，分别在水平方向和垂直方向上移动所读取的相邻像素的相位。

[帧内预测处理的另一描述]

接下来，将参照图24中的流程图描述图23中的帧内预测单元74和相邻像素内插单元75执行的帧内预测处理。注意，该帧内预测处理是图8的步骤S31中的帧内预测处理的另一示例。

最佳模式/最佳移动量确定单元102将候选帧内预测模式的信息提供给水平方向内插单元111和垂直方向内插单元112。

在步骤S101中，水平方向内插单元111和垂直方向内插单元112针对所有候选帧内预测模式执行相邻像素内插处理。具体地，在步骤S101中，针对4×4像素、8×8像素以及16×16像素的帧内预测模式中的每一种，执行相邻像素内插处理。

稍后将参照图25描述步骤S101中的相邻内插处理的细节，但是根据该处理，在取决于每种帧内预测模式的移动方向上所内插的相邻像素的信息被提供给最佳模式/最佳移动量确定单元102。

在步骤S102中，最佳模式/最佳移动量确定单元102针对4×4像素、8×8像素和16×16像素的帧内预测模式以及移动量执行帧内预测。

具体地，最佳模式/最佳移动量确定单元102使用要经受帧内预测的当前块的像素、相应的相邻像素、以及所内插的相邻像素的像素值，针对所有帧内预测模式和所有候选移动量，执行帧内预测。结果，针对所有帧内预测模式和所有候选移动量，生成预测图像。

在步骤S103中，最佳模式/最佳移动量确定单元102针对生成了预测图像的4×4像素、8×8像素和16×16像素的每种帧内预测模式以及每个移动量，计算上述表达式(34)或表达式(35)的成本函数值。

在步骤S104中，最佳模式/最佳移动量确定单元102比较所算出的成本函数值，从而针对4×4像素、8×8像素以及16×16像素的帧内预测模式中的每一种来确定最佳模式和最佳移动量。

在步骤S105中，最佳模式/最佳移动量确定单元102基于在步骤S103中算出的成本函数值，在步骤S104中所确定的最佳模式和最佳移动量之中选择最佳帧内预测模式和最佳移动量。具体地，在针对4×4像素、8×8像素以及16×16像素的帧内预测模式而确定的最佳模式和最佳移动量之中，选择最佳帧内预测模式和最佳移动量。所选择的预测模式和移动量的信息连同相应的成本函数值一起被提供给预测图像生成单元103。

在步骤S106中，预测图像生成单元103使用相位已被移动了最佳移动量的相邻像素，生成预测图像。

具体地，预测图像生成单元103从相邻图像缓冲器101读出与要经受帧内预测的当前块对应的相邻像素。然后，预测图像生成单元103通过6抽头FIR滤波器和线性内插，在取决于所确定的预测模式的相位方向上以最佳移动量移动所读取的相邻像素的相位。

预测图像生成单元103使用相位已被移动的相邻像素，以最佳模式/最佳移动量确定单元102确定的预测模式执行帧内预测，以生成当前块的预测图像。所生成的预测图像与相应的成本函数值一起被提供给预测图像选择单元77。

[相邻像素内插处理的描述]

接下来，将参照图25中的流程图描述图24的步骤S101中的相邻像素内插处理。注意，该相邻像素内插处理是要针对每种候选帧内预测模式而执行的处理。另外，图25中的步骤S111至S116执行与图21中的步骤S51至S53、S55、S56和S58相同的处理，因此，将适当地省略对其的详细描述。

来自最佳模式/最佳移动量确定单元102的候选帧内预测模式的信息被提供给水平方向内插单元111和垂直方向内插单元112。在步骤S111中，水平方向内插单元111和垂直方向内插单元112确定候选帧内预测模式是否是DC模式。在步骤S111中确定候选帧内预测模式不是DC模式的情况下，处理进行到步骤S112。

在步骤S112中，水平方向内插单元111和垂直方向内插单元112确定候选帧内预测模式是否是Vertical预测模式、Diagonal_Down_Left预测模式或Vertical_Left预测模式。

在步骤S112中确定候选帧内预测模式是Vertical预测模式、Diagonal_Down_Left预测模式或Vertical_Left预测模式的情况下，处理进行到步骤S113。

在步骤S113中，水平方向内插单元111根据候选帧内预测模式，执行水平方向上的内插。水平方向内插单元111将所内插的上部相邻像素的信息提供给最佳模式/最佳移动量确定单元102。此时，垂直方向内插单元112不执行垂直方向上的内插处理。

在步骤S112中确定候选帧内预测模式不是Vertical预测模式、Diagonal_Down_Left预测模式或Vertical_Left预测模式的情况下，处理进行到步骤S114。

在步骤S114中，水平方向内插单元111和垂直方向内插单元112确定候选帧内预测模式是否是Horizontal预测模式或Horizontal_Up预测模式。在步骤S114中确定候选帧内预测模式是Horizontal预测模式或Horizontal_Up预测模式的情况下，处理进行到步骤S115。

在步骤S115中，垂直方向内插单元112根据候选帧内预测模式执行垂直方向上的内插。垂直方向内插单元112将所内插的左部相邻像素的信息提供给最佳模式/最佳移动量确定单元102。此时，水平方向内插单元111不执行水平方向上的内插处理。

在步骤S114中确定候选帧内预测模式不是Horizontal预测模式或Horizontal_Up预测模式的情况下，处理进行到步骤S116。

在步骤S116中，水平方向内插单元111和垂直方向内插单元112根据候选帧内预测模式，分别执行水平方向上的内插和垂直方向上的内插。水平方向内插单元111和垂直方向内插单元112分别将关于所内插的上部相邻像素和左部相邻像素的信息提供给最佳模式/最佳移动量确定单元102。

编码后的压缩图像经由预定传输路径来传输，并且由图像解码设备来解码。

[图像解码设备的配置示例]

图26表示用作应用了本发明的图像处理设备的图像解码设备的实施例的配置。

图像解码设备151由以下部分构成：累积缓冲器161、无损解码单元162、逆量化单元163、逆正交变换164、计算单元165、去块滤波器166、画面排序缓冲器167、D/A转换单元168、帧存储器169、开关170、帧内预测单元171、相邻像素内插单元172、运动预测/补偿单元173和开关174。

累积缓冲器161累积所传输的压缩图像。无损解码单元162使用与无损编码单元66的编码系统对应的系统，对从累积缓冲器161提供并经图2中的无损编码单元66编码的信息进行解码。逆量化单元163使用与图2中的量化单元65的量化系统对应的系统，使经无损解码单元162解码的图像经受逆量化。逆正交变换单元164使用与图2中的正交变换单元64的正交变换系统对应的系统，使逆量化单元163的输出经受逆正交变换。

经过逆正交变换的输出通过计算单元165将其与从开关174提供的预测图像相加而被解码。去块滤波器166去除解码后的图像的块失真，然后提供给帧存储器169以进行累积，并且还输出到画面排序缓冲器167。

画面排序缓冲器167执行图像的排序。具体地，按原始显示顺序对由图2中的画面排序缓冲器62针对编码顺序而排序的帧序列重新进行排序。D/A转换单元168将从画面排序缓冲器167提供的图像从数字转换为模拟，并且输出到未示出的显示器以进行显示。

开关170从帧存储器169读出要经受帧间处理的图像和要参考的图像，输出到运动预测/补偿单元173，并且还从帧存储器169读出要用于帧内预测的图像并提供给帧内预测单元171。

通过对头信息进行解码而获得的表示帧内预测模式的信息、以及相邻像素的移动量的信息被从无损解码单元162提供给帧内预测单元171。帧内预测单元171还将这样的信息输出到相邻像素内插单元172。

帧内预测单元171基于这样的信息，根据需要使相邻像素内插单元172移动相邻像素的相位，使用相邻像素或相位已被移动的相邻像素生成预测图像，并且将所生成的预测图像输出到开关174。

相邻像素内插单元172使相邻像素的相位在取决于从帧内预测单元171提供的帧内预测模式的移动方向上、以从帧内预测单元171提供的移动量移动。实际上，相邻像素内插单元172通过在取决于帧内预测模式的移动方向上对相邻像素应用6抽头FIR滤波器来执行线性内插，从而以小数像素精度移动相邻像素的相位。相邻像素内插单元172将相位已被移动的相邻像素提供给帧内预测单元171。

通关对头信息(预测模式信息、运动矢量信息以及参考帧信息)进行解码而获得的信息被从无损解码单元162提供给运动预测/补偿单元173。在已提供了表示帧间预测模式的信息的情况下，运动预测/补偿单元173基于运动矢量信息和参考帧信息使图像经受运动预测和补偿处理，以生成预测图像。运动预测/补偿单元173将在帧间预测模式下所生成的预测图像输出到开关174。

开关174选择运动预测/补偿单元173或帧内预测单元171生成的预测图像，并且提供给计算单元165。

[帧内预测单元和相邻像素内插单元的配置示例]

图27是示出帧内预测单元和相邻像素内插单元的详细配置示例的框图。

在图27中的示例的情况下，帧内预测单元171由预测模式接收单元181、移动量接收单元182以及帧内预测图像生成单元183构成。相邻像素内插单元172由水平方向内插单元191和垂直方向内插单元192构成。

预测模式接收单元181接收经无损解码单元162解码的帧内预测模式信息。预测模式接收单元181将所接收到的帧内预测模式信息提供给帧内预测图像生成单元183、水平方向内插单元191以及垂直方向内插单元192。

移动量接收单元182接收经无损解码单元162解码的移动量(水平方向和垂直方向)的信息。移动量接收单元182将所接收到的移动量之中的水平方向移动量提供给水平方向内插单元191，并且将所接收到的移动量之中的垂直方向移动量提供给垂直方向内插单元192。

预测模式接收单元181所接收到的帧内预测模式的信息被输入到帧内预测图像生成单元183。另外，来自水平方向内插单元191的上部相邻像素或所内插的上部相邻像素的信息、以及来自垂直方向内插单元192的左部相邻像素或所内插的左部相邻像素的信息被输入到帧内预测图像生成单元183。

帧内预测图像生成单元183使用相邻像素或所内插的相邻像素的像素值，以所输入的帧内预测模式信息表示的预测模式执行帧内预测，以生成预测图像，并且将所生成的预测图像输出到开关174。

水平方向内插单元191根据来自预测模式接收单元181的预测模式，从帧存储器169读出上部相邻像素。水平方向内插单元191通过6抽头FIR滤波器和线性内插，以来自移动量接收单元182的水平方向移动量移动所读取的上部相邻像素的相位。所内插的上部相邻像素或非内插的上部相邻像素(即，来自帧存储器169的相邻像素)的信息被提供给帧内预测图像生成单元183。在图27的情况下，省略了开关170的图，但是经由开关170从帧存储器169读出相邻像素。

垂直方向内插单元192根据来自预测模式接收单元181的预测模式，从帧存储器169读出左部相邻像素。垂直方向内插单元192通过6抽头FIR滤波器和线性内插，以来自移动量接收单元182的垂直方向移动量移动所读取的左部相邻像素的相位。线性内插的左部相邻像素或非内插的左部相邻像素(即，来自帧存储器169的相邻像素)的信息被提供给帧内预测图像生成单元183。

[图像解码设备的解码处理的描述]

接下来，将参照图28中的流程图描述图像解码设备151执行的解码处理。

在步骤S131中，累积缓冲器161累积所传输的图像。在步骤S132中，无损解码单元162对从累积缓冲器161提供的压缩图像进行解码。具体地，对经图2中的无损编码单元66编码的I图片、P图片以及B图片进行解码。

此时，还对运动矢量信息、参考帧信息、预测模式信息(表示帧内预测模式或帧间预测模式的信息)、标志信息、移动量信息等进行解码。

具体地，在预测模式信息是帧内预测模式信息的情况下，将预测模式信息和移动量信息提供给帧内预测单元171。在预测模式信息是帧间预测模式信息的情况下，将与预测模式信息对应的运动矢量信息和参考帧信息提供给运动预测/补偿单元173。

在步骤S133中，逆量化单元163使用与图2中的量化单元65的特性对应的特性，对经无损解码单元162解码的变换系数进行逆量化。在步骤S134中，逆正交变换单元164使用与图2中的正交变换单元64的特性对应的特性，使经逆量化单元163逆量化的变换系数经受逆正交变换。这意味着，与图2中的正交变换单元64的输入(计算单元63的输出)对应的差分信息已被解码。

在步骤S135中，计算单元165将在稍后描述的步骤S141的处理中选择并经由开关174输入的预测图像与差分信息相加。因此，对原始图像进行解码。在步骤S136中，去块滤波器166使从计算单元165输出的图像经受滤波。因此，去除了块失真。在步骤S137中，帧存储器169存储经过滤波的图像。

在步骤S138中，帧内预测单元171和运动预测/补偿单元173响应于从无损解码单元162提供的预测模式信息，执行相应的图像预测处理。

具体地，在已从无损解码单元162提供了帧内预测模式信息的情况下，帧内预测单元171执行帧内预测模式下的帧内预测处理。此时，帧内预测单元171使用如下相邻像素执行帧内预测处理：已在取决于帧内预测模式的移动方向上，以从无损解码单元162提供的移动量移动了该相邻像素的相位。

稍后将参照图29描述步骤S138中的预测处理的细节，但是根据该处理，帧内预测单元171生成的预测图像或运动预测/补偿单元173生成的预测图像被提供给开关174。

在步骤S139中，开关174选择预测图像。具体地，提供帧内预测单元171生成的预测图像或运动预测/补偿单元173生成的预测图像。因此，选择所提供的预测图像，并将其提供给计算单元165，并且在步骤S134中，如上所述，将其与逆正交变换单元164的输出相加。

在步骤S140中，画面排序缓冲器167执行排序。具体地，按原始显示顺序对图像编码设备51的画面排序缓冲器62针对编码而排序的帧序列进行排序。

在步骤S141中，D/A转换单元168将来自画面排序缓冲器167的图像从数字转换为模拟。该图像被输出到未示出的显示器，并且显示该图像。

[预测处理的描述]

接下来，将参照图29中的流程图描述图28的步骤S138中的预测处理。

在步骤S171中，预测模式接收单元181确定当前块是否经受了帧内编码。在帧内预测模式信息被从无损解码单元162提供给预测模式接收单元181时，在步骤S171中，预测模式接收单元181确定当前块是否经受了帧内编码，并且处理进行到步骤S172。

在步骤S172中，预测模式接收单元181从无损解码单元162接收并获得帧内预测模式信息。预测模式接收单元181将所接收到的帧内预测模式信息提供给帧内预测图像生成单元183、水平方向内插单元191以及垂直方向内插单元192。

在步骤S173中，移动量接收单元182接收并获得经无损解码单元162解码的相邻像素的移动量(水平方向和垂直方向)的信息。移动量接收单元182将所接收到的移动量之中的水平方向移动量提供给水平方向内插单元191，并且将所接收到的移动量之中的垂直方向移动量提供给垂直方向内插单元192。

水平方向内插单元191和垂直方向内插单元192从帧存储器169读出相邻像素，并且在步骤S174中执行相邻像素内插处理。步骤S174中的相邻内插处理的细节是基本上与以上参照图25描述的相邻内插处理相同的处理，因此将省略对其的描述和说明。

根据该处理，在取决于来自预测模式接收单元181的帧内预测模式的移动方向上内插的相邻像素或没有根据帧内预测模式内插的相邻像素被提供给帧内预测图像生成单元183。

具体地，在帧内预测模式是模式2(DC预测)的情况下，水平方向内插单元191和垂直方向内插单元192将从帧存储器169读出的上部相邻像素和左部相邻像素提供给帧内预测图像生成单元183，而不执行相邻像素的内插。

在帧内预测模式是模式0(Vertical预测)、模式3(Diagonal_Down_Left预测)或模式7(Vertical_Left预测)的情况下，将仅执行水平方向上的内插。具体地，水平方向内插单元191以来自移动量接收单元182的水平方向移动量，内插从帧存储器169读出的上部相邻像素，并且将所内插的上部相邻像素提供给帧内预测图像生成单元183。此时，垂直方向内插单元192将从帧存储器169读出的左部相邻像素提供给帧内预测图像生成单元183，而不执行左部相邻像素的内插。

在帧内预测模式是模式1(Horizontal预测)或模式8(Horizontal_Up预测)的情况下，将仅执行垂直方向上的内插。具体地，垂直方向内插单元192以来自移动量接收单元182的垂直方向移动量，内插从帧存储器169读出的左部相邻像素，并且将所内插的左部相邻像素提供给帧内预测图像生成单元183。此时，水平方向内插单元191将从帧存储器169读出的上部相邻像素提供给帧内预测图像生成单元183，而不执行上部相邻像素的内插。

在帧内预测模式是其它预测模式的情况下，将执行水平方向和垂直方向上的内插。具体地，水平方向内插单元191以来自移动量接收单元182的水平方向移动量，内插从帧存储器169读出的上部相邻像素，并且将所内插的上部相邻像素提供给帧内预测图像生成单元183。垂直方向内插单元192以来自移动量接收单元182的垂直方向移动量，内插从帧存储器169读出的左部相邻像素，并且将所内插的左部相邻像素提供给帧内预测图像生成单元183。

在步骤S175中，帧内预测图像生成单元183使用来自水平方向内插单元191和垂直方向内插单元192的相邻像素或内插的相邻像素的像素值，以所输入的帧内预测模式信息表示的预测模式执行帧内预测。根据该帧内预测，生成预测图像，并且将所生成的预测图像输出到开关174。

另一方面，在步骤S171中确定当前块未经受帧内编码的情况下，处理进行到步骤S176。

在要处理的图像是要经受帧间处理的图像的情况下，帧间预测模式信息、参考帧信息以及运动矢量信息被从无损解码单元162提供给运动预测/补偿单元173。在步骤S176中，运动预测/补偿单元173从无损解码单元162获得帧间预测模式信息、参考帧信息、运动矢量信息等。

在步骤S177中，运动预测/补偿单元173执行帧间运动预测。具体地，在要处理的图像是要经受帧间预测处理的图像的情况下，从帧存储器169读出所需的图像，并且经由开关170将其提供给运动预测/补偿单元173。在步骤S177中，运动预测/补偿单元173基于在步骤S176中获得的运动矢量，执行帧间预测模式下的运动预测，以生成预测图像。所生成的预测图像被输出到开关174。

如上所述，对于图像编码设备51，通过6抽头FIR滤波器和线性内插来获得具有小数像素精度的像素，并且确定最佳移动量，从而可以增加要在帧内预测模式下使用像素值的选择。因此，可以执行最佳帧内预测，并且可以进一步提高帧内预测的编码效率。

另外，对于H.264/AVC系统，以上已参照图4描述的仅用于帧间运动预测补偿的6抽头FIR滤波器的电路也可以有效地用于帧内预测。因此，可以在不增加电路的情况下提高效率。

此外，可以以比作为在H.264/AVC系统中确定的用于帧内预测的分辨率的22.5度更加细的分辨率来执行帧内预测。

注意，对于图像编码设备51，与在NPL2中描述的提案不同，仅与要用于H.264/AVC系统的帧内预测的当前块相邻的、具有预定位置的像素用于帧内预测。也就是说，要读出到相邻像素缓冲器81的像素可以仅是相邻像素。

因此，可以防止存储器访问次数和处理由于除在NPL2的提案中使用的、要编码的块的相邻像素之外的像素而增加，即，可以防止处理效率的劣化。

注意，对于以上描述，已描述了亮度信号的帧内4×4预测模式的情况作为相邻像素帧内插处理的示例，但是本发明也可应用于帧内8×8预测模式和帧内16×16预测模式的情况。另外，本发明可应用于色差信号的帧内预测模式的情况。

注意，在帧内8×8预测模式的情况下，以与帧内4×4预测模式的情况相同的方式，关于模式2(DC预测模式)执行平均值处理。因此，即使当执行移动时，这也不会直接涉及编码效率的提高，因此，禁止上述操作并且不执行上述操作。

关于模式0(Vertical预测模式)、模式3(Diagonal_Down_Left预测模式)或模式7(Vertical_Left预测模式)，仅对于图18中的上部相邻像素A₀、A₁、A₂等的移动用作候选。

关于模式1(Horizontal预测模式)或模式8(Horizontal_Up预测模式)，仅对于图18中的左部相邻像素I₀、I₁、I₂等的移动用作候选。

关于其他模式(模式4至6)，需要考虑关于上部相邻像素和左部相邻像素两者的移动。

另外，在帧内16×16预测模式和色差信号的帧内预测模式的情况下，关于Vertcial预测模式，仅执行上部相邻像素在水平方向上的移动。关于Horizontal预测模式，仅执行左部相邻像素在垂直方向上的移动。关于DC预测模式，不执行移动处理。关于Plane预测模式，执行上部相邻像素在水平方向上的移动和左部相邻像素在垂直方向上的移动。

此外，如在NPL1中所述，在运动预测中执行具有1/8像素精度的内插处理的情况下，同样对于本发明，执行具有1/8像素精度的内插处理。

至此已对于用作编码系统的H.264/AVC系统进行了描述，但是本发明不限于此，而是可采用用于使用相邻像素执行帧内预测的另一编码系统/解码系统。

注意，本发明可应用于在经由网络介质(诸如，卫星广播、有线电视、因特网、蜂窝电话等)接收通过正交变换(诸如，离散余弦变换等)和运动补偿而压缩的图像信息(位流)时所使用的图像编码设备和图像解码设备，例如，正如MPEG、H.26x一样。另外，本发明可应用于在处理存储介质(诸如，光盘、磁盘以及闪存)上的图像信息时所使用的图像编码设备和图像解码设备。此外，本发明可应用于包括在这样的图像编码设备和图像解码设备等中的运动预测补偿设备。

上述一系列处理可通过硬件来执行，或者可通过软件来执行。在通过软件执行这一系列处理的情况下，构成其软件的程序安装在计算机中。这里，计算机的示例包括置于专用硬件中的计算机以及通用个人计算机，其中，通过将各种类型的程序安装到该通用个人计算机，其可以执行各种功能。

图30是示出使用程序执行上述一系列处理的计算机的硬件的配置示例的框图。

对于计算机，CPU(中央处理单元)301、ROM(只读存储器)302和RAM(随机存取存储器)303通过总线304相互连接。

此外，输入/输出接口305连接到总线304。输入单元306、输出单元307、存储单元308、通信单元309以及驱动器310连接到输入/输出接口305。

输入单元306由键盘、鼠标、麦克风等构成。输出单元307由显示器、扬声器等构成。存储单元308由硬盘、非易失性存储器等构成。通信单元309由网络接口等构成。驱动器310驱动可移动介质311(诸如，磁盘、光盘、磁光盘、半导体存储器等)。

对于如此配置的计算机，例如，CPU 301将存储在存储单元308中的程序经由输入/输出接口305和总线304加载到RAM 303，并且执行该程序，因此，执行上述一系列处理。

例如，计算机(CPU 301)执行的程序可通过记录在用作封装介质等的可移动介质311中来提供。另外，程序可经由有线或无线传输介质(诸如，局域网、因特网或数字广播)来提供。

对于计算机，可通过将可移动介质311安装在驱动器310上，将程序经由输入/输出接口305安装在存储单元308中。另外，程序可由通信单元309经由有线或无线传输介质来接收并且安装在存储单元308中。另外，程序可预先安装在ROM 302或存储单元308中。

注意，计算机执行的程序可以是沿本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行地或在必要的定时(诸如，当执行调用时)执行处理的程序。

本发明的实施例不限于上述实施例，而是可在不背离本发明的实质的情况下进行各种修改。

附图标记列表

51图像编码设备

66无损编码单元

74帧内预测单元

75相邻像素内插单元

76运动预测/补偿单元

77预测图像选择单元

81相邻像素缓冲器

82最佳模式确定单元

83最佳移动量确定单元

84预测图像生成单元

91模式确定单元

92水平方向内插单元

93垂直方向内插单元

151图像解码设备

162无损解码单元

171帧内预测单元

172相邻像素内插单元

173运动预测/补偿单元

174开关

181预测模式接收单元

182移动量接收单元

183帧内预测图像生成单元

191水平方向内插单元

192垂直方向内插单元

Claims (18)

1.一种图像处理设备，包括：

模式确定装置，被配置成关于针对图像数据要经受帧内预测的帧内预测块，确定帧内预测的预测模式；

相移装置，被配置成根据取决于所述模式确定装置确定的预测模式的移动方向和用作候选的移动量，移动以预定位置关系与所述帧内预测块相邻的相邻像素的相位；

移动量确定装置，被配置成使用所述相邻像素和相位已被所述相移装置移动的所述相邻像素，针对所述相邻像素确定所述相位的最佳移动量；以及

预测图像生成装置，被配置成使用相位已根据所述移动量确定装置确定的最佳移动量而被移动的所述相邻像素，生成所述帧内预测块的预测图像。

2.根据权利要求1所述的图像处理设备，还包括：

编码装置，被配置成对所述帧内预测块的图像与所述预测图像生成装置生成的所述预测图像之间的差分信息进行编码，以生成编码流；以及

传输装置，被配置成将表示所述移动量确定装置确定的所述最佳移动量的移动量信息、以及表示所述模式确定装置确定的所述预测模式的预测模式信息连同所述编码装置生成的编码流一起进行传输。

3.根据权利要求2所述的图像处理设备，其中，所述编码装置将表示关于所述帧内预测块所确定的所述最佳移动量与关于提供MostProbableMode的块所确定的最佳移动量之间的差分的差分信息编码为所述移动量信息；

并且其中，所述传输装置传输所述编码装置生成的编码流和所述差分信息。

4.根据权利要求1所述的图像处理设备，其中，所述相移装置在所述模式确定装置确定的所述预测模式是DC预测模式的情况下，禁止所述相位的移动。

5.根据权利要求1所述的图像处理设备，其中，在所述模式确定装置确定的所述预测模式是Vertical预测模式、Diag_Down_Left预测模式或Vertical_Left预测模式的情况下，所述相移装置针对所述相邻像素中的上部相邻像素，根据用作所述候选的移动量移动水平方向上的相位，并且针对所述相邻像素中的左部相邻像素，禁止移动垂直方向上的相位。

6.根据权利要求1所述的图像处理设备，其中，在所述模式确定装置确定的所述预测模式是Horizontal预测模式或Horizontal_Up预测模式的情况下，所述相移装置根据用作所述候选的移动量，针对所述相邻像素中的左部相邻像素，移动垂直方向上的相位，并且针对所述相邻像素中的上部相邻像素，禁止移动水平方向上的相位。

7.根据权利要求1所述的图像处理设备，其中，所述模式确定装置确定所述帧内预测的所有预测模式；

并且其中，所述相移装置根据取决于所述模式确定装置确定的所述所有预测模式的移动方向和用作候选的移动量，移动所述相邻像素的相位；

并且其中，所述移动量确定装置使用所述相邻像素和相位已被所述相移装置移动的所述相邻像素，针对所述相邻像素确定所述相位的最佳移动量和最佳预测模式。

8.根据权利要求1所述的图像处理设备，还包括：

运动预测补偿装置，被配置成关于所述图像的帧间运动预测块，执行帧间运动预测；

其中，所述相移装置使用在所述运动预测补偿装置执行小数像素精度预测时所使用的滤波器，移动所述相邻像素的相位。

9.一种图像处理方法，包括以下步骤：

使图像处理设备执行以下处理：

关于针对图像数据要被处理用于帧内预测的帧内预测块，确定帧内预测的预测模式；

根据取决于所确定的所述预测模式的移动方向和用作候选的移动量，移动以预定位置关系与所述帧内预测块相邻的相邻像素的相位；

使用所述相邻像素和相位被移动的所述相邻像素，针对所述相邻像素确定所述相位的最佳移动量；以及

使用相位根据所确定的所述最佳移动量而被移动的所述相邻像素，生成所述帧内预测块的预测图像。

10.一种图像处理设备，包括：

接收装置，被配置成接收预测模式信息和移动量信息，其中，所述预测模式信息关于要被处理用于帧内预测的帧内预测块来表示帧内预测的预测模式，所述移动量信息表示用于根据所述预测模式信息表示的预测模式而移动以预定位置关系与所述帧内预测块相邻的相邻像素的相位的移动量；

相移装置，被配置成根据取决于所述接收装置接收到的所述预测模式的移动方向和移动量，移动所述相邻像素的相位；

预测图像生成装置，被配置成使用相位被所述相移装置移动的所述相邻像素，生成所述帧内预测块的预测图像。

11.根据权利要求10所述的图像处理设备，其中，所述接收装置接收表示关于所述帧内预测块的移动量与关于提供MostProbableMode的块的移动量之间的差分的差分信息，作为所述移动量信息。

12.根据权利要求10所述的图像处理设备，还包括：

解码装置，被配置成使用所述预测图像生成装置生成的预测图像，对所述帧内预测块进行解码。

13.根据权利要求12所述的图像处理设备，其中，所述解码装置对所述接收装置接收到的预测模式信息和所述移动量信息进行解码。

14.根据权利要求10所述的图像处理设备，其中，在经所述解码装置解码的所述预测模式是DC预测模式的情况下，所述相移装置禁止移动所述相邻像素的相位。

15.根据权利要求10所述的图像处理设备，其中，在经所述解码装置解码的所述预测模式是Vertical预测模式、Diag_Down_Left预测模式或Vertical_Left预测模式的情况下，所述相移装置针对所述相邻像素中的上部相邻像素，根据经所述解码装置解码的所述移动量移动水平方向上的相位，并且针对所述相邻像素中的左部相邻像素，禁止移动垂直方向上的相位。

16.根据权利要求10所述的图像处理设备，其中，在经所述解码装置解码的所述预测模式是Horizontal预测模式或Horizontal_Up预测模式的情况下，所述相移装置针对所述相邻像素中的左部相邻像素，根据经所述解码装置解码的所述移动量移动垂直方向上的相位，并且针对所述相邻像素中的上部相邻像素，禁止移动水平方向上的相位。

17.根据权利要求10所述的图像处理设备，还包括：

运动预测补偿装置，被配置成使用要由所述解码装置解码的运动矢量以及经编码的帧间运动预测块，执行帧间运动预测；

其中，所述相移装置使用要在所述运动预测补偿装置执行小数像素精度预测时所使用的滤波器，移动所述相邻像素的相位。

18.一种图像处理方法，包括以下步骤：

使图像处理设备执行以下处理：

接收预测模式信息和移动量信息，其中，所述预测模式信息关于要被处理用于帧内预测的帧内预测块来表示帧内预测的预测模式，所述移动量信息表示用于根据所述预测模式信息表示的预测模式而移动以预定位置关系与所述帧内预测块相邻的相邻像素的相位的移动量；

根据取决于所接收到的所述预测模式的移动方向和移动量，移动所述相邻像素的相位；以及

使用相位被移动的所述相邻像素，生成所述帧内预测块的预测图像。

Images