CN103503453A - 编码装置和编码方法、以及解码装置和解码方法 - Google Patents

Abstract

本技术涉及能够提高在执行帧内预测时的编码效率的编码装置、编码方法、解码装置和解码方法。候选预测图像生成单元（41）通过对要编码的图像中的PU执行多种帧内预测模式的帧内预测处理来生成预测图像。预测模式确定单元（43）确定要经历帧内预测处理的PU的最佳帧内预测模式。MostProbableMode生成单元（51）使用邻接的最佳帧内预测模式来生成MostProbableMode。差值模式生成单元（52）生成表示MostProbableMode与要经历帧内预测处理的PU的最佳帧内预测模式的号码的差值的最佳差值帧内预测模式信息。帧内跳过确定单元（45）传送最佳差值帧内预测模式信息。本技术例如可以应用于编码装置。

Description

编码装置和编码方法、以及解码装置和解码方法

技术领域

本技术涉及编码装置和编码方法、以及解码装置和解码方法，更具体地，涉及能够提高在执行帧内预测时的编码效率的编码装置和编码方法、以及解码装置和解码方法。

背景技术

近年来，如下的装置已得到广泛使用：其通过采用将图像信息处理为数字信号的诸如MPEG（运动图像专家组阶段）等的格式来使图像经历压缩编码，并且利用图像信息所特有的冗余性、通过诸如离散余弦变换等的正交变换来对图像进行压缩，以便此时执行高效的信息传输和存储。

具体地，MPEG2（ISO/IEC13818-2）被定义为通用图像编码格式，并且是包括隔行扫描图像和顺序扫描图像以及标准分辨率图像和高分辨率图像这两者的标准，并且现在已被供专业使用和消费者使用的大范围应用广泛采用。通过采用MPEG2压缩格式，在具有720×480像素的标准分辨率的隔行扫描图像的情况下分配4Mbps至8Mbps的代码量（比特率），并且通过采用MPEG2压缩格式，在具有例如1920×1088像素的高分辨率的隔行扫描图像的情况下分配18Mbps至22Mbps的代码量（比特率），由此能够实现高压缩率和良好的图像质量。

采用MPEG2，原则上将适用于广播用途的高图像质量编码当作对象，但不处理比MPEG1的代码量（比特率）小的代码量，即具有较高压缩率的编码格式。根据个人数字助手的普及，已预期到对这样的编码格式的需求将从现在起增加，并且对此作出响应，已执行MPEG4编码格式的标准化。例如，对于MPEG4图像编码格式，其规范于1998年12月被确认为作为ISO/IEC14496-2的国际标准。

另外，近年来，为了用于视频会议用途的图像编码，被称为H.26L（ITU-TQ6/16VCEG（视频编码专家组））的标准的标准化已得到发展。采用H.26L，众所周知，与诸如MPEG2或MPEG4的传统编码格式相比，尽管对其编码和解码要求更大计算量，但是实现了较高编码效率。此外，当前，作为MPEG4的活动的一部分，已执行也利用不被H.26L（其中该H.26L被当作基础）支持的功能以实现较高编码效率的标准化来作为增强压缩视频编码的联合模型。作为标准化的进度，H.264和MPEG-4Part10于2003年3月变为国际标准。

另外，作为其扩展，2005年2月已完成对264/AVC FRExt（保真度范围扩展）的标准化，该264/AVC FRExt包括诸如RGB、4:2:2、4:4:4、以及MPEG-2规定8x8DCT（离散余弦变换）和量化矩阵的操作所需的编码工具。相应地，获得了能够使用H.264/AVC格式来很好地表现电影中所包括的影片噪声的编码格式，并且要在诸如蓝光盘等的大范围的应用中要使用该编码格式。

然而，近来，存在对于更高压缩编码的增加的需求，诸如压缩大约4000×2000像素的图像（其为高画质图像的像素的四倍）或者在传输容量有限的环境（诸如互联网）下分发高画质图像。因此，ITU-T下的VCEG正继续与改进的编码效率相关的研究。

现在，关于H.264/AVC格式，对于亮度信号帧内预测模式，存在九种类型的4×4帧内预测模式和8×8帧内预测模式以及四种类型的16×16帧内预测模式，而对于色差信号帧内预测模式，存在四种类型的8×8帧内预测模式。对于亮度信号4×4帧内预测模式和8×8帧内预测模式，为每个4×4像素和8×8像素亮度信号块定义一种帧内预测模式。对于亮度信号16×16帧内预测模式和色差信号帧内预测模式，为每个宏块定义一种预测模式。

现在，关于H.264/AVC格式，可以通过对扩展到32×32像素、64×64像素等的宏块大小执行编码处理来实现对具有更高分辨率（诸如，4000×2000像素）的图像的编码效率的提高。例如在非专利文献1中说明了将宏块扩展为帧内片的应用的示例。

另一方面，以改进H.264/AVC之外的编码效率作为目标的、作为ITU-T和ISO/IEC之间的协作的标准化团体的JCTVC（视频编码联合协作小组）当前已进行被称为HEVC（高效率视频编码）的编码格式的标准化，并且已于2010年9月作为草案在非对比文献2中发布了。

关于HEVC格式，与H.264/AVC格式相比，增加了帧内预测模式的模式的数量，并且帧内预测模式的最大模式数量为34。此外，关于HEVC格式提出了：在用于帧内预测处理的当前块的帧内预测处理与MostProbableMode匹配的情况下，在图像压缩信息中包括指示匹配的标记；在不匹配的情况下，以与H.264/AVC相同的方式，在图像压缩信息中包括帧内预测模式本身。MostProbableMode是用于帧内预测处理的当前块的周边块的最小帧内预测模式。

引用列表

非专利文献

NPL1：“Intra coding using extended block size”，VCEG-AL28，July，2009

NPL2：“Test Model under Consideration”，JCTVC-B205，21-28

July，2010

发明内容

技术问题

然而，对于具有帧内预测模式的多种模式的格式（诸如，HEVC），用于帧内预测处理的当前块的帧内预测模式将与MostProbableMode匹配的可能性低。因此，在用于帧内预测处理的当前块的帧内预测模式与MostProbableMode不匹配的情况下，将帧内预测模式本身包括在图像压缩信息中导致编码效率的劣化。

本技术是鉴于该状况而作出的，并且能够使得在执行帧内预测的情况下提高编码效率。

针对问题的方案

根据本技术的第一方面的编码装置包括：预测值生成单元，被配置为使用位于作为编码对象的当前块的周边的周边块的最佳帧内预测模式，来生成当前块的最佳帧内预测模式的预测值；差值生成单元，被配置为生成当前块的最佳帧内预测模式与由预测值生成单元生成的当前块的最佳帧内预测模式的预测值之间的差值；以及传送单元，被配置为传送由差值生成单元生成的差值。

根据本技术的第一方面的编码方法对应于根据本技术的第一方面的编码装置。

对于本技术的第一方面，使用位于作为编码对象的当前块的周边的周边块的最佳帧内预测模式，生成对于当前块的最佳帧内预测模式的预测值；生成当前块的最佳帧内预测模式与当前块的最佳帧内预测模式的预测值之间的差；以及传送该差。

根据本技术的第二方面的解码装置包括：接收单元，被配置为接收作为解码对象的当前块的最佳帧内预测模式与当前块的最佳帧内预测模式的预测值之间的差值，其中该预测值是使用位于当前块的周边的周边块的最佳帧内预测模式而生成的；预测值生成单元，被配置为使用周边块的最佳帧内预测模式，生成当前块的最佳模式的预测值；以及帧内预测模式生成单元，被配置为通过计算接收单元接收到的差值以及预测值生成单元生成的当前块的最佳帧内预测模式的预测值，生成当前块的最佳帧内预测模式。

根据本技术的第二方面的解码方法对应于根据本技术的第二方面的解码装置。

对于本技术的第二方面，接收作为解码对象的当前块的最佳帧内预测模式与当前块的最佳帧内预测模式的预测值之间的差值，其中该预测值是使用位于当前块的周边的周边块的最佳帧内预测模式所生成的；使用周边块的最佳帧内预测模式，生成当前块的最佳模式的预测值；以及通过计算差值以及当前块的最佳帧内预测模式的预测值，生成当前块的最佳帧内预测模式。

应注意，可以通过使得计算机执行程序来实现根据第一方面的编码装置和根据第二方面的解码装置。

此外，为了实现根据第一方面的编码装置和根据第二方面的解码装置，可以通过经由传输介质传送或记录在记录介质中来提供要由计算机执行的程序。

发明的有益效果

根据本发明的第一方面，可以提高在执行帧内预测的情况下的编码效率。

根据本技术的第二方面，可以对以提高在执行帧内预测的情况下的编码效率的方式编码的图像进行解码。

附图说明

图1是示出应用了本技术的编码装置的实施例的配置示例的框图。

图2是示出图1中的帧内预测单元和预测模式编码单元的配置示例的框图。

图3是用于说明CU的图。

图4是用于说明帧内预测处理的第一幅图。

图5是用于说明帧内预测处理的第二幅图。

图6是用于说明帧内预测模式的数量的图。

图7是用于说明利用图1中的编码装置进行的编码处理的流程图。

图8是用于说明利用图1中的编码装置进行的编码处理的流程图。

图9是用于说明图7中的预测处理的详情的流程图。

图10是示出应用了本技术的解码装置的配置示例的框图。

图11是示出图10中的帧内预测单元和预测模式解码单元的配置示例的框图。

图12是用于说明利用图10中的解码装置进行的解码处理的流程图。

图13是用于说明图12中的预测处理的详情的流程图。

图14是示出计算机的实施例的配置示例的框图。

图15是示出电视接收器的主要配置示例的框图。

图16是示出移动电话的主要配置示例的框图。

图17是示出硬盘记录器的主要配置示例的框图。

图18是示出摄像装置的主要配置示例的框图。

具体实施方式

<实施例>

[编码装置的实施例的配置示例]

图1是示出应用了本技术的编码装置的实施例的配置示例的框图。

图1中的编码装置10具有A/D转换单元11、画面重排缓冲器12、计算单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17、逆量化单元18、逆正交变换单元19、加法单元20、去块滤波器21、帧存储器22、开关23、帧内预测单元24、预测模式编码单元25、运动预测/补偿单元26、预测图像选择单元27和速率控制单元28。图1中的编码装置10利用HEVC格式执行输入图像的压缩编码。

具体地，编码装置10的A/D转换单元11对作为输入信号输入的以帧为单位的输入图像执行A/D转换，并且输出到画面重排缓冲器12并进行存储。画面重排缓冲器12将按照所存储的显示顺序的以帧为单位的图像重排为用于根据GOP（图片组）结构进行编码的帧顺序，并且输出至计算单元13、帧内预测单元24和运动预测/补偿单元26。

计算单元13用作生成单元，并且计算（生成）从预测图像选择单元27提供的预测图像与从画面重排缓冲器12输出的待编码的图像之间的差值。具体地，计算单元13从自画面重排缓冲器12输出的图像中减去从预测图像选择单元27提供的预测图像。计算单元13将作为减法结果所获得的图像作为其残差信息（残差图像）输出至正交变换单元14。应注意，如果没有从预测图像选择单元27提供预测图像，则计算单元13将从图像画面重排缓冲器12读出的图像按原样输出至正交变换单元14来作为残差信息。

正交变换单元14使来自计算单元13的残差信息经历诸如DCT（离散余弦变换）、KLT（卡洛南洛伊变换）等的正交变换，并且将作为正交变换结果所获得的变换系数提供至量化单元15。

量化单元15对从正交变换单元14提供的系数进行量化。量化后的系数被输入至无损编码单元16。

无损编码单元16从帧内预测单元24获得要经历帧内预测处理的块（单位）的最佳帧内预测模式的编号以及表示通过以下表达式（1）定义的MostProbableMode的差值的信息（下文中，称为最佳差值帧内预测模式信息）。

MostProbableMode=Min(Intra_4x4_pred_modeA,Intra_4x4_pred_modeB)

...(1)

应注意，在表达式（1）中，Intra_4x4_pred_modeA是在左侧与要经历帧内预测处理的块C相邻的块A的最佳帧内预测模式的编号，以及Intra_4x4_pred_modeB是在上方与块C相邻的块B的最佳帧内预测模式的编号。

根据表达式（1），将块A和块B的最佳帧内预测模式的编号中的较小编号作为MostProbableMode。

应注意，块A和块B不必相邻，只要在块C周边即可。

此外，从运动预测/补偿单元26获得表示最佳帧间预测模式的信息（下文中，称为帧间预测模式信息）、运动矢量、用于标识参考图像的信息等。

无损编码单元16对从量化单元15提供的量化后的变换系数进行编码，执行诸如可变长编码（例如，CAVLC（上下文自适应可变长编码））、算术编码（例如，CABAC（上下文自适应二进制算术编码））等的无损编码处理，并且将作为其结果所获得的信息作为压缩图像。无损编码单元16还对最佳差值帧内预测模式信息、帧间预测模式信息、运动矢量、用于标识参考图像的信息等执行无损编码，并且将作为其结果所获得的信息作为要添加到压缩图像中的报头信息。

应注意，对于本实施例，尽管在最佳差值帧内预测模式信息为0的情况下最佳差值帧内预测模式信息不包括在报头信息中，但是可进行包括该最佳差值帧内预测模式信息的设置。此外，对于本实施例，在最佳差值帧内预测模式信息和作为正交变换单元14的正交变换的结果所获得的系数为0的情况下，将操作模式设置为帧内跳过模式，并且不生成压缩图像和报头信息，也可以进行生成压缩图像和报头信息的设置。

无损编码单元16用作传送单元的一部分，并且将添加有作为无损编码结果而获得的报头信息等的压缩图像作为图像压缩信息输出至存储缓冲器17进行存储。

存储缓冲器17临时存储从无损编码单元16提供的图像压缩信息，并且将其传送至例如图中未示出的在下游的记录装置或传输路径。

此外，从量化单元15输出的量化后的变换系数还被输入至逆量化单元18，被逆量化，并接着被提供至逆正交变换单元19。

逆正交变换单元19使从逆量化单元18提供的系数经历诸如IDCT（逆离散余弦变换）、逆KLT等的逆正交变换，并且将作为其结果所获得的残差信息提供至加法单元20。

加法单元20将从逆正交量化单元19提供的用作待解码的图像的残差信息与从预测图像选择单元27提供的预测图像相加，并且获得局部解码的图像。在没有从预测图像选择单元27提供预测图像的情况下，加法单元20将从逆正交变换单元19提供的残差信息当作局部解码的图像。加法单元20将局部解码的图像提供至去块滤波器21，并且还将其提供至帧存储器22进行存储。

去块滤波器21通过对从加法单元20提供的局部解码的图像进行滤波，来去除解码图像的块噪声。去块滤波器21将作为其结果所获得的图像提供至帧存储器22进行存储。存储在帧存储器22中的图像经由开关23被输出至帧内预测单元24或运动预测/补偿单元26作为参考图像。

帧内预测单元24使用经由开关23从帧存储器22读出的参考图像来执行全部候选帧内预测模式的被称为ADI（任意方向帧内预测）的格式的帧内预测处理，并且生成预测图像。

应注意，对于HEVC格式，作为帧内预测单位大小，提供了4×4像素、8×8像素、16×16像素、32×32像素以及64×64像素。因此，候选帧内预测模式是4×4帧内预测模式、8×8帧内预测模式、16×16帧内预测模式、32×32帧内预测模式以及64×64帧内预测模式。应注意，尽管以下将仅说明以帧内预测模式对亮度信号的帧内预测处理的说明，但可以以相同方式执行以帧内预测模式对色差信号的帧内预测处理。

此外，帧内预测单元24使用从画面重排缓冲器12读出的图像以及预测图像等来针对全部候选帧内预测模式计算成本函数值（稍后详细说明）。帧内预测单元24将成本函数值最小的帧内预测模式确定为最佳帧内预测模式。帧内预测单元24将在最佳帧内预测模式下生成的预测图像以及与其对应的成本函数值提供至预测图像选择单元27。在帧内预测单元24从预测图像选择单元27接收到选择在最佳帧内预测模式下所生成的预测图像的通知的情况下，帧内预测单元24将最佳差值帧内预测模式信息提供至无损编码单元16。

应注意，成本函数值也称为RD（速率失真）成本。成本函数值是基于例如在http://iphome.hhi.de/suehring/tml/index.htm公开的、被称为JM（联合模型）的H.264/AVC格式的参考软件中所规定的高复杂度模式或低复杂度模式中的任一技术而算出的。

具体地，在要使用高复杂度模式作为成本函数值计算技术的情况下，对于全部候选预测模式暂时执行接近于无损编码，并且针对每种预测模式计算利用如下表达式（2）表示的成本函数。

Cost(Mode∈Ω)=D+λ·R...(2)

应注意，在表达式（2）中，Ω是候选预测模式的整体集合，D是原始图像与解码后的图像之间的差值能量，R是在以每种预测模式编码的情况下的包括正交变换系数的总代码量，以及λ是作为量化参数QP的函数而给出的拉格朗日乘子。

也就是说，为了以高复杂度模式进行编码，需要执行各预测模式的假定编码处理以计算D和R，从而需要更大计算量。

另一方面，在要使用低复杂度模式作为成本函数值计算技术的情况下，针对全部候选预测模式来执行解码图像的生成和报头位（诸如，表示预测模式的信息）的计算，并且针对每种预测模式计算利用以下表达式（3）表示的成本函数。

Cost(Mode∈Ω)=D+QP2Quant(QP)·Header_Bit...(3)

在表达式（3）中，D是原始图像与预测图像之间的差值能量，Header_Bit是与属于不包括正交变换系数（诸如，运动矢量和预测模式）的报头的信息相关的代码量，以及QP2Quant是作为量化参数QP的函数而给出的。

也就是说，在低复杂度模式下，需要执行与每种候选模式相关的预测处理，但不需要生成解码的图像，因此不需要执行假定编码。

结果，需要较少的计算量。

由于以此方式获得成本函数值，在以成本函数值最小的预测模式执行编码处理的情况下，可以实现更高的编码效率。

此外，帧内预测单元24将在要经历帧内预测处理的块（单位）的周边的编码块的最佳预测模式（下文中，称为周边最佳帧内预测模式）和作为当前帧内预测模式的候选的候选预测模式提供至预测模式编码单元25。

预测模式编码单元25使用从帧内预测单元24提供的周边最佳帧内预测模式和候选帧内预测模式，并且生成表示MostProbableMode与候选帧内预测模式之间的编号差的差值帧间预测模式信息。预测模式编码单元25将所生成的差值帧内预测模式信息提供至帧内预测单元24。

运动预测/补偿单元26执行全部候选模式的运动预测/补偿。具体地，运动预测/补偿单元26基于从画面重排缓冲器62提供的图像和经由开关23从帧存储器22读出的参考图像，检测全部候选帧间预测模式的运动矢量。然后，运动预测/补偿单元26基于这些运动矢量而使参考图像经历补偿处理，并且生成预测图像。

此时，运动预测/补偿单元26针对全部候选帧间预测模式计算成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。然后，运动预测/补偿单元26将最佳帧间预测模式的成本函数值和对应的预测图像提供至预测图像选择单元27。在运动预测/补偿单元26被预测图像选择单元27通知选择了在最佳帧间预测模式下所生成的预测图像的情况下，运动预测/补偿单元26将帧间预测模式信息、对应的运动矢量、用于标识参考图像的信息等输出至无损编码单元16。

预测图像选择单元27基于从帧内预测单元24和运动预测/补偿单元26提供的成本函数值，确定最佳帧内预测模式和最佳帧间预测模式之中具有较小对应的成本函数值的预测模式。因此，具有较小成本函数值的预测模式被确定为最佳预测模式，因此能够实现较高的编码效率。此外，预测图像选择单元27将最佳预测模式的预测图像提供至计算单元13和加法单元20。预测图像选择单元27向帧内预测单元24或运动预测/补偿单元26通知选择了最佳预测模式的预测图像。

速率控制单元28基于存储在存储缓冲器17中的图像压缩信息来控制量化单元15的量化操作的速率，使得不会发生上溢或下溢。

[帧内预测单元和预测模式编码单元的配置示例]

图2是示出图1中的帧内预测单元24和预测模式编码单元25的配置示例的框图。

如图2所示，帧内预测单元24由候选预测图像生成单元41、成本函数值计算单元42、预测模式确定单元43、预测图像生成单元44、帧内跳过确定单元45和模式缓冲器46构成。

帧内预测单元24的候选预测图像生成单元41按顺序将全部候选帧内预测模式作为当前帧内预测处理的帧内预测模式（下文中，称为当前帧内预测模式）。应注意，候选预测图像生成单元41使用经由图1中的开关23读出的参考图像来对要编码的图像中的具有预定大小的每个块执行当前帧内预测模式的帧内预测处理。候选预测图像生成单元41将作为其结果所获得的预测图像提供至成本函数值计算单元42。

成本函数值计算单元42基于从候选预测图像生成单元41提供的预测图像和从画面重排缓冲器12提供的图像，通过上述表达式（2）或表达式（3）获得成本函数值。此外，成本函数值计算单元42将当前帧内预测模式提供至预测模式编码单元25。另外，成本函数值计算单元42将所获得的成本函数值和从预测模式编码单元25提供的差值帧内预测模式信息提供至预测模式确定单元43。

预测模式确定单元43以与当前帧内预测模式相关联的方式存储从成本函数值计算单元42提供的成本函数信息和差值帧内预测模式信息。预测模式确定单元43将对应于与全部候选帧内预测模式相关联存储的成本函数值中的最小值的帧内预测模式确定为最佳帧内预测模式。预测模式确定单元43将最佳帧内预测模式以及作为与最佳帧内预测模式相关联存储的差值帧内预测模式信息的最佳差值帧内预测模式信息和成本函数值提供至预测图像生成单元44。

预测图像生成单元44使用经由开关23提供的参考图像，对要编码的图像的具有预定大小的每个块执行从预测模式确定单元43提供的最佳帧内预测模式的帧内预测处理。然后，预测图像生成单元44将作为帧内预测处理的结果所获得的预测图像以及从预测模式确定单元43提供的成本函数值提供至预测图像选择单元27（图1）。此外，在从预测图像选择单元27通知选择了在最佳帧内预测模式下所生成的预测图像的情况下，预测图像生成单元44将从预测模式确定单元43提供的最佳差值帧内预测模式信息提供至帧内跳过确定单元45。另外，预测图像生成单元44将最佳帧内预测模式提供至模式缓冲器46。

帧内跳过确定单元45用作传送单元的一部分，并且在从预测图像生成单元44提供的最佳差值帧内预测模式信息不为0的情况下，将最佳差值帧内预测模式信息输出至图1中所示的无损编码单元16。另一方面，在最佳差值帧内预测模式信息为0的情况下，帧内跳过确定单元45停止将最佳差值帧内预测模式信息输出至无损编码单元16。结果，在最佳差值帧内预测模式信息为0的情况下，最佳差值帧内预测模式信息不包括在报头信息中，而在最佳差值帧内预测模式信息为0且从正交变换单元14获得的系数为0的情况下，不生成图像压缩信息。

模式缓冲器46保存从预测图像生成单元44提供的最佳帧内预测信息。

预测模式编码单元25由MostProbableMode生成单元51和差值模式生成单元52构成。

预测模式编码单元25的MostProbableMode生成单元51从模式缓冲器46读出周边最佳帧内预测模式。MostProbableMode生成单元51用作预测值生成单元，并且使用已读出的周边最佳帧内预测模式来生成在上述表达式（1）中所定义的MostProbableMode作为对于作为帧内预测处理的对象的块的最佳帧内预测模式的预测值。然后，MostProbableMode生成单元51将MostProbableMode提供至差值模式生成单元52。

差值模式生成单元52用作差值生成单元，并且生成从MostProbableMode生成单元51提供的MostProbableMode与从帧内预测单元24的成本函数值计算单元42提供的当前帧内预测模式之间的差值作为差值帧内预测模式信息。具体地，利用当前帧内预测模式作为CurrMOde，差值模式生成单元52生成CurrMode-MostProbableMode作为差值帧内预测模式信息。然后，差值模式生成单元52将所生成的差值帧内预测模式信息提供至成本函数值计算单元42。

[具有HEVC格式的编码单位的说明]

图3是说明作为具有HEVC格式的编码单位的编码单位（CU）的图。

CU还被称为编码树块（CTB），并起到与H.264/AVC中的宏块相同的作用。具体地，CPU被划分成作为帧内预测或帧间预测的单位的预测单位（Pu），并且被划分成作为正交变换的单位的变换单位（TU）。

然而，应注意，尽管宏块被固定为16×16像素，但是CPU大小是由2的幂表示的正方形，其对于每个序列可变。

对于图3中的示例，作为最大大小CU的LCU（最大编码单位）的大小为128，并且作为最小大小CU的SCU（最小编码单位）的大小为8。因此，对于每个N形成为层级的具有2N×2N大小的层级深度（深度）为0至4，因此层级深度为5。此外，在对于2N×2N大小的CU，split_flag的值为1的情况下，将其划分成低一个层级的N×N大小的CU。

应注意，用于指定CU的大小的信息被包括在图像压缩信息中作为参数集合。

[帧内预测处理的说明]

图4和图5是用于说明由图1中的帧内预测单元24进行的帧内预测处理的图。

在图4和图5的示例中，用于帧内预测的PU的大小为8×8像素。此外，图中的正方形表示像素，并且粗线表示作为帧内预测处理的对象的PU。

对于由帧内预测单元24执行的根据被称为ADI的格式的处理，在PU的大小为8×8像素的情况下，以与如图4所示的基于水平方向或垂直方向的33个角度方向对应的帧内预测模式执行帧内预测处理。在这种情况下，为了使用由图5中的三角形表示的正方形表示的解码后的周边像素来执行可选帧内预测模式下的帧内预测处理，需要1/8像素增量的周边像素。因此，帧内预测单元24执行帧内预测处理中的1/8像素精度的线性插值处理。

如图4和图5所示，对于HEVC格式，帧内预测处理的帧内预测模式的数量大。因此，与传统的H.264/AVC格式相比，MostProbableMode和用于帧内预测处理的PU的可选帧内预测模式将不匹配的概率较大。

例如，在帧内预测模式的数量例如为33的情况下，以水平方向或垂直方向作为基准，对应于帧内预测模式的角度的步长为5.625°。因此，即使在以水平方向或垂直方向作为基准、用于帧内预测处理的PU的周边PU与用于帧内预测处理的PU之间的角度差小（如为5.625°）的情况下，MostProbableMode和最佳帧内预测模式将对于HEVC格式而不同。例如，在以水平方向或垂直方向作为基准、用于帧内预测处理的PU的周边PU与用于帧内预测处理的PU之间的角度差别为11.25°和22.5°的情况下，MostProbableMode和最佳帧内预测模式将不同。

因此，编码装置10将表示MostProbableMode与用于帧内预测处理的PU的最佳帧内预测模式之间的编号差的最佳差值帧内预测模式信息包括在图像压缩信息中。因此，即使在MostProbableMode与用于帧内预测处理的PU的最佳帧内预测模式不匹配的情况下，也能够减少表示最佳帧内预测模式的信息量。结果，提高了编码效率。

[帧内预测模式的编号的说明]

图6是说明帧内预测模式的编号的图。

如图6所示，分配帧内预测模式的编号（代码编号），使得关于要经历帧内预测处理的PU在预测图像的方向上相邻的帧内预测模式的编号连续。

因此，在对应于MostProbableMode的方向和对应于用于帧内预测处理的PU的最佳帧内预测模式的方向接近的情况下，能够减少最佳差值帧内预测模式的信息量。例如，在以水平方向或垂直方向为基准、用于帧内预测处理的PU的周边PU与用于帧内预测处理的PU之间的角度差分别为11.25°和22.5°的情况下，最佳差值帧内预测模式信息将为2。

[编码装置的处理的说明]

图7和图8是用于说明由图1中的编码装置10进行的编码处理的流程图。例如每当将以帧为单位的图像作为输入信号输入至编码装置10时，执行该编码处理。

在图7的步骤S11中，编码装置10的A/D转换单元11对作为输入信号输入的以帧为单位的图像执行A/D转换，并且输出至画面重排缓冲器12以进行存储。

在步骤S12中，画面重排缓冲器12按照GOP结构将以用于显示的帧顺序存储的图像重排成用于编码的顺序。画面重排缓冲器12将重排后的以帧为单位的图像提供至计算单元13、帧内预测单元24和运动预测/补偿单元26。

应注意，以下步骤S13至S19以及S25至S30中的处理例如以CU为单位来执行。然而，应注意，在不存在参考图像的情况下，不执行步骤S13至S15和S25的处理，并且从画面重排缓冲器12输出的图像被当作残差信息和局部解码图像。

在步骤S13中，编码装置10执行包括帧内预测处理和帧间预测处理的预测处理。稍后将参照图9说明预测处理的详情。

在步骤S14中，预测图像选择单元27基于在步骤S13的处理中从帧内预测单元24和运动预测/补偿单元26提供的成本函数值，将最佳帧内预测模式和最佳帧间预测模式中具有较小成本函数值者确定为最佳预测模式。然后，预测图像选择单元27将最佳预测模式的预测图像提供至计算单元13和加法单元20。

在步骤S15中，计算单元13从自画面重排缓冲器12提供的图像中减去从预测图像选择单元27提供的预测图像。计算单元13将作为减法结果所获得的图像作为残差信息输出至正交变换单元14。

在步骤S16中，正交变换单元14使来自计算单元13的残差信息经历诸如DCT、KLT等的正交变换，并且将作为其结果所获得的系数提供至量化单元15。

在步骤S17中，量化单元15对从正交变换单元14提供的系数进行量化。量化后的系数被输入至无损编码单元16和逆量化单元18。

在步骤S18中，预测图像选择单元27确定最佳预测模式是否为最佳帧间预测模式。如果步骤S18中确定最佳预测模式是最佳帧间预测模式，则预测图像选择单元27向运动预测/补偿单元26通知选择了在最佳帧间预测模式下所生成的预测图像。相应地，运动预测/补偿单元26将帧间预测模式信息、对应的运动矢量和用于标识参考图像的信息输出至无损编码单元16。

接下来，在步骤S19中，无损编码单元16对从运动预测/补偿单元26提供的帧间预测模式信息、对应的运动矢量和用于标识参考图像的信息执行无损编码，并且流程进行到步骤S23。

另一方面，如果在步骤S18中确定最佳预测模式不是最佳帧间预测模式（即，最佳预测模式是最佳帧内预测模式），则预测图像选择单元27向帧内预测单元24通知选择了在最佳帧内预测模式下所生成的预测图像。相应地，在步骤S13的处理中，成本函数值计算单元42的预测图像生成单元44（图2）将从预测模式确定单元43提供的最佳差值帧内预测模式信息提供至帧内跳过确定单元45。

然后，在步骤S20中，帧内跳过确定单元45确定以PU为单位从预测图像生成单元44提供的最佳差值帧内预测模式信息是否为0。

如果在步骤S20中确定最佳差值帧内预测模式信息不为0，则帧内跳过确定单元45将最佳差值帧内预测模式信息输出至无损编码单元16，并且流程进行到步骤S21。

在步骤S21中，无损编码单元16对从帧内预测单元24提供的最佳差值帧内预测模式信息执行无损编码，并且流程进行到步骤S23。

另一方面，如果在步骤S20中确定最佳差值帧内预测模式信息为0，在步骤S22中，无损编码单元16以PU为单位确定在步骤S16的处理中所获得的系数是否为0。如果在步骤S22中确定系数不为0，则帧内跳过确定单元45停止以PU为单位向无损编码单元16输出最佳差值帧内预测模式信息，并且流程进行到步骤S23。

在步骤S23中，无损编码单元16对从量化单元15提供的量化系数执行无损编码，并且将作为其结果所获得的信息当作压缩图像。然后，无损编码单元16通过将经历了步骤S19或S21中的无损编码的信息添加到该压缩图像中来生成图像压缩信息，并且将其提供至存储缓冲器17。

在图8的步骤S24中，无损编码单元16以PU为单位将图像压缩信息提供至存储缓冲器17以进行存储。然后，流程进行到步骤S25。

另一方面，如果在步骤S22中确定系数为0，则帧内跳过确定单元45停止以PU为单位向无损编码单元16输出最佳差值帧内预测模式信息。此外，通过停止以PU为单位对从量化单元15提供的量化系数的无损编码，无损编码单元16停止输出压缩的图像。结果，不将图像压缩信息存储在存储缓冲器17中，并且流程进行到步骤S25。

在步骤S25中，存储缓冲器17将所存储的以CU为单位的图像压缩信息输出至图中未示出的在下游的记录装置或传输路径等。

在步骤S26中，逆量化单元18对从量化单元15提供的量化系数执行逆量化。

在步骤S27中，逆正交变换单元19使从逆量化单元18提供的系数经历诸如IDCT、逆KCT等的逆正交变换，并且将作为其结果所获得的残差信息提供至加法单元20。

在步骤S28中，加法单元20将从逆正交变换单元19提供的残差信息与从预测图像选择单元27提供的预测图像相加，并且获得局部解码的图像。加法单元20将所获得的图像提供至去块滤波器21，并且还提供至帧存储器22。

在步骤S29中，去块滤波器21通过对从加法单元20提供的局部解码的图像执行滤波来去除块噪声，并且将其存储在帧存储器22中。

在步骤S30中，帧存储器22存储滤波前的图像和滤波后的图像。具体地，帧存储器22存储从加法单元20提供的图像和从去块滤波器21提供的图像。存储在帧存储器22中的图像经由开关23被输出至帧内预测单元24或运动预测/补偿单元26，作为参考图像。至此，流程结束。

图9是用于说明图7的步骤S13中的预测处理的详情的流程图。

例如，并行地执行图9中的步骤S41至S51以及步骤S52至S61的处理。

在图9的步骤S41中，帧内预测单元24将4×4像素、8×8像素、16×16像素、32×32像素和64×64像素中的尚未确定的一个确定为PU大小。此外，帧内预测单元24将构成用于预测处理的CU的、大小已被确定的PU之中尚未当作帧内预测处理的对象的PU确定为帧内预测处理的对象。

在步骤S42中，MostProbableMode生成单元51从模式缓冲器46读出与用于帧内预测处理的PU相对应的周边最佳帧内预测模式，并且基于该周边最佳帧内预测模式来通过上述表达式（1）生成MostProbableMode。然后，MostProbableMode生成单元51将MostProbableMode提供至差值模式生成单元52。此外，候选预测图像生成单元41按顺序将全部候选帧内预测模式当作当前帧内预测模式，针对每种当前预测模式执行步骤S43至S45的后续处理。应注意，当前帧内预测模式被从成本函数值计算单元42提供至差值模式生成单元52。

在步骤S43中，差值模式生成单元52使用从MostProbableMode生成单元51提供的MostProbableMode和从成本函数值计算单元42提供的当前帧内预测模式来生成差值帧内预测模式信息，并且将其提供至成本函数值计算单元42。

在步骤S44中，候选预测图像生成单元41使用经由开关23从图1中的帧存储器22读出的参考图像，对用于帧内预测处理的PU执行当前帧内预测模式下的帧内预测处理。候选预测图像生成单元41将作为其结果所获得的预测图像提供至成本函数值计算单元42。

在步骤S45中，成本函数值计算单元42基于从候选预测图像生成单元41提供的预测图像和从画面重排缓冲器12提供的图像，通过上述表达式（2）或（3）计算成本函数值。然后，成本函数值计算单元42将所获得的成本函数值和从差值模式生成单元52提供的差值帧内预测模式信息提供至预测模式确定单元43。相应地，预测模式确定单元43以与当前帧内预测模式相关联的方式存储从成本函数值计算单元42提供的成本函数值和差值帧内预测模式信息。

在步骤S46中，预测模式确定单元43针对用于帧内预测处理的PU将如下帧内预测模式确定为最佳帧内预测模式：该帧内预测模式对应于与全部候选帧内预测模式相关联存储的最小成本函数值。预测模式确定单元43将最佳帧内预测模式提供至预测图像生成单元44。然后，预测图像生成单元44将最佳帧内预测模式提供至模式缓冲器46以进行存储。该最佳帧内预测模式用于确定MostProbableMode。

在步骤S47中，帧内预测单元24确定是否已将构成用于预测处理的CU的、在步骤S41中已确定大小的所有PU当作帧内预测处理的对象。

如果在步骤S47中确定没有将构成用于预测处理的CU的、在步骤S41中已确定大小的所有PU当作帧内预测处理的对象，则帧内预测单元24将尚未被当作用于帧内预测处理的对象的PU当作用于帧内预测处理的对象。然后，流程返回到步骤S42，并且重复随后的处理。

另一方面，如果在步骤S47中确定已将构成用于预测处理的CU的、在步骤S41中已确定大小的所有PU当作帧内预测处理的对象，则流程进行到步骤S48。

在步骤S48中，帧内预测单元24确定是否已针对步骤S41中的用于预测处理的PU的大小确定了所有候选PU大小，即4×4像素、8×8像素、16×16像素、32×32像素和64×64像素。

如果在步骤S48中确定尚未针对用于帧内预测处理的PU的大小确定所有候选PU大小，则流程返回到步骤S41，并且重复步骤S41至S48的处理，直到针对用于帧内预测处理的PU的大小确定了所有候选PU大小为止。

另一方面，如果在步骤S48中确定已针对用于帧内预测处理的PU的大小确定了所有候选PU大小，则流程进行到步骤S49。在步骤S49中，预测模式确定单元43基于与在步骤S46中针对所有PU大小所确定的最佳帧内预测模式相对应的成本函数值，确定成本函数值最小处的PU大小的最佳PU大小。预测模式确定单元43将最佳PU大小的最佳帧内预测模式、对应的最佳差值帧内预测模式信息以及成本函数值提供至预测图像生成单元44。应注意，最佳PU大小经历例如无损编码，并且被包括在报头信息中。

在步骤S50中，预测图像生成单元44使用参考图像，对构成用于预测处理的CU的具有最佳PU大小的每个PU执行从预测模式确定单元43提供的最佳PU大小的最佳帧内预测模式下的帧内预测处理。

在步骤S51中，预测图像生成单元44将作为步骤S50中的帧内预测处理的结果而获得的预测图像以及从预测模式确定单元43提供的成本函数值输出至预测图像选择单元27。预测图像生成单元44还将从预测模式确定单元43提供的最佳差值帧内预测模式信息提供至帧内跳过确定单元45。

此外，在步骤S52中，运动预测/补偿单元26将所有候选PU大小中的尚未确定的一个确定为PU大小。此外，运动预测/补偿单元26将构成用于预测处理的CU的、大小已被确定的PU之中尚未被当作帧内预测处理的对象的PU确定为帧间预测处理的对象。

在步骤S53中，运动预测/补偿单元26基于从画面重排缓冲器62提供的图像以及经由开关23从帧存储器22读出的参考图像来检测全部候选帧间预测模式的运动矢量。具体地，运动预测/补偿单元26根据帧间预测模式确定参考图像。然后，运动预测/补偿单元26基于参考图像和来自画面重排缓冲器62的图像来检测运动矢量。

在步骤S54中，运动预测/补偿单元26基于在步骤S53中所检测到的运动矢量针对每种候选帧间预测模式，关于用于帧间预测处理的PU使参考图像经历补偿处理，并且生成预测图像。

在步骤S55中，运动预测/补偿单元26基于在步骤S54中所生成的预测图像和从画面重排缓冲器12提供的图像针对每种候选帧间预测模式，来通过上述表达式（2）或（3）计算成本函数值。

在步骤S56中，运动预测/补偿单元26针对用于帧间预测处理的PU来将与全部候选帧间预测模式的最小成本函数值相对应的帧间预测模式确定为最佳帧间预测模式。

在步骤S57中，运动预测/补偿单元26确定是否已将构成用于预测处理的CU的、在步骤S52中已确定大小的所有PU当作帧间预测处理的对象。

如果在步骤S57中确定没有将构成用于预测处理的CU的、在步骤S52中已确定大小的所有PU当作帧间预测处理的对象，则运动预测/补偿单元26将尚未被当作用于帧间预测处理的对象的PU当作用于帧间预测处理的对象。然后，流程返回到步骤S53，并且重复随后的处理。

另一方面，如果在步骤S57中确定已将构成用于预测处理的CU的、在步骤S52中已确定大小的所有PU当作帧间预测处理的对象，则处理进行到步骤S58。

在步骤S58中，运动预测/补偿单元26确定是否已针对步骤S52中的用于帧间预测处理的PU的大小确定了所有候选PU大小。

如果在步骤S58中确定尚未对用于帧间预测处理的PU的大小确定所有候选PU大小，则流程返回到步骤S52，并且重复步骤S52至S58的处理，直到已针对用于帧间预测处理的PU的大小确定了所有候选PU大小。

另一方面，如果在步骤S58中确定已针对用于帧间预测处理的PU的大小确定了所有候选PU大小，则流程进行到步骤S59。在步骤S59中，运动预测/补偿单元26基于与在步骤S56中针对所有PU大小所确定的最佳帧间预测模式相对应的成本函数值，确定成本函数值最小处的PU大小的最佳PU大小。应注意，最佳PU大小经历例如无损编码，并且被包括在报头信息中。

在步骤S60中，运动预测/补偿单元26执行最佳PU大小的最佳帧间预测模式下的帧间预测处理。

在步骤S61中，运动预测/补偿单元26将作为帧间预测处理的结果所获得的预测图像以及最佳PU大小的最佳帧间预测模式的成本函数值输出至预测图像选择单元27。

如上所述，编码装置10输出最佳差值帧内预测模式信息作为表示最佳帧内预测模式的信息，使得能够减少表示最佳帧内预测模式的信息的信息量。结果，能够提高在执行帧内预测的情况下的编码效率。

此外，如果MostProbableMode和用于帧内预测处理的PU的最佳帧内预测模式匹配，则编码装置10停止输出最佳差值帧内预测模式信息，因此能够进一步提高编码效率。另外，如果MostProbableMode和用于帧内预测处理的PU的最佳帧内预测模式匹配并且对应于该PU的正交变换后的系数为0，则编码装置10停止输出最佳差值帧内预测模式信息和系数，因此能够进一步提高编码效率。

[解码装置的配置示例]

图10是示出应用了本技术的解码装置的配置示例的框图，该解码装置对从图1中的编码装置10输出的图像压缩信息进行解码。

图10中的解码装置100由存储缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、画面安排缓冲器107、D/A转换单元108、帧存储器109、开关110、帧内预测单元111、预测模式解码单元112、运动预测/补偿单元113和开关114。

解码装置100的存储缓冲器101用作接收单元，并且接收（接收）并存储从图1中的编码装置10传送的图像压缩信息。存储缓冲器101将所存储的图像压缩信息提供至无损解码单元102。

无损解码单元102通过使来自存储缓冲器101的图像压缩信息经历诸如可变长解码或算术解码的无损解码来获得量化系数和报头。无损解码单元102将量化系数提供至逆量化单元103。无损解码单元102还将报头中所包括的最佳差值帧内预测模式信息等提供至帧内预测单元111，并且将运动矢量、用于标识参考图像的信息、帧间预测模式信息等提供至运动预测/补偿单元113。

逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、帧存储器109、开关110、帧内预测单元111和运动预测/补偿单元113分别执行与图1中的逆量化单元18、逆正交变换单元19、加法单元20、去块滤波器21、帧存储器22、开关23、帧内预测单元24和运动预测/补偿单元26类似的处理，从而对图像进行解码。

具体地，逆量化单元103对来自无损解码单元102的量化系数执行逆量化，并且将作为其结果的系数提供至逆正交变换单元104。

逆正交变换单元104使来自逆量化单元103的系数经历诸如IDCT、逆KLT等的逆正交变换，并且将作为其结果所获得的残差信息提供至加法单元105。

加法单元105将从逆正交变换单元104提供的、用作要解码的图像的残差信息与从开关114提供的预测图像相加，从而对要解码的图像进行解码。加法单元105将作为其结果所获得的图像提供至去块滤波器106，并且还提供至帧存储器109。应注意，如果没有从开关114提供预测图像，则加法单元105将作为从逆正交变换单元104提供的残差信息的图像提供至去块滤波器106，并且还提供至帧存储器109以进行存储。

去块滤波器106对从加法单元105提供的图像进行滤波，从而去除块噪声。去块滤波器106将作为其结果所获得的图像提供至帧存储器109来存储，并且还提供至画面安排缓冲器107。存储在帧存储器109中的图像经由开关110读出为参考图像，并且被提供至运动预测/补偿单元113或帧内预测单元111。

画面安排缓冲器107存储以帧为单位从去块滤波器106提供的图像。画面安排缓冲器107将按编码顺序所存储的以帧为单位的图像重排为原始显示顺序，并且提供至D/A转换单元108。

D/A转换单元108对从画面安排缓冲器107提供的以帧为单位的图像执行D/A转换，并且输出作为输出信号。

帧内预测单元111将从无损解码单元102提供的最佳差值帧内预测模式信息提供至预测模式解码单元112。此外，帧内预测单元111使用经由开关110从帧存储器109读出的参考图像来执行从预测模式解码单元112提供的最佳帧内预测模式下的帧内预测处理，并且生成预测图像。帧内预测单元111经由开关114将预测图像提供至加法单元105。另外，帧内预测单元111保存从预测模式解码单元112提供的最佳帧内预测模式。

预测模式解码单元112读出帧内预测单元111中所保存的最佳帧内预测模式的周边最佳帧内预测模式。此外，预测模式解码单元112基于从帧内预测单元111提供的最佳差值帧内预测模式信息和已读出的周边最佳帧内预测模式，生成用于帧内预测处理的最佳帧内预测模式。预测模式解码单元112将所生成的最佳帧内预测模式提供至帧内预测单元111。

运动预测/补偿单元113基于从无损解码单元102提供的用于标识参考图像的信息，经由开关110从帧存储器109读出参考图像。运动预测/补偿单元113使用运动矢量和参考图像来执行帧间预测模式信息表示的帧间预测模式的帧间预测处理。运动预测/补偿单元113经由开关114将作为其结果所生成的预测图像提供至加法单元105。

[帧内预测单元和预测模式解码单元的配置示例]

图11是示出图10中的帧内预测单元111和预测模式解码单元112的配置示例的框图。

如图11所示，帧内预测单元111由预测模式信息缓冲器121、邻接信息缓冲器122和预测图像生成单元123构成。

帧内预测单元111的预测模式信息缓冲器121保存从无损解码单元102提供的最佳差值帧内预测模式信息。此外，预测模式信息缓冲器121将保存在其中的最佳差值帧内预测模式信息提供至预测模式解码单元112。

邻接信息缓冲器122保存从预测模式解码单元112提供的用于帧内预测处理的PU的最佳帧内预测模式。

预测图像生成单元123使用经由开关110从帧存储器109提供的参考图像，对要解码的图像的用于帧内预测处理的PU执行从预测模式解码单元112提供的最佳帧内预测模式下的帧内预测处理。预测图像生成单元123将作为帧内预测处理的结果而生成的预测图像经由开关114（图10）提供至加法单元105。

预测模式解码单元112由MostProbableMode输出单元131和预测模式重构单元132构成。

预测模式解码单元112的MostProbableMode生成单元131从帧内预测单元111的邻接信息缓冲器122读出周边最佳帧内预测模式。MostProbableMode生成单元131用作预测值生成单元，并且使用已读出的周边最佳帧内预测模式、使用上述表达式（1）来生成MostProbableMode。MostProbableMode生成单元131将MostProbableMode提供至预测模式重构单元132，作为用于帧内预测处理的PU的最佳帧内预测模式的预测值。

预测模式重构单元132用作帧内预测模式生成单元。具体地，预测模式重构单元132将从MostProbableMode生成单元131提供的MostProbableMode与从预测模式信息缓冲器121提供的最佳差值帧内预测模式信息相加，从而生成用于帧内预测处理的PU的最佳帧内预测模式。预测模式重构单元132将所生成的最佳帧内预测模式提供至帧内预测单元111的邻接信息缓冲器122和预测图像生成单元123。

[解码装置的处理的说明]

图12是用于说明由图10中的解码装置100进行的解码处理的流程图。例如，每当以帧为单位的图像压缩信息被输入至解码装置100时，执行该解码处理。

在图12的步骤S101中，存储缓冲器101接收并且存储从编码装置10传送的以帧为单位的图像压缩信息。存储缓冲器101将所存储的图像压缩信息提供至无损解码单元102。应注意，例如以CU为单位执行以下步骤S101至S108的处理。

在步骤S102中，无损解码单元102对来自存储缓冲器101的图像压缩信息执行无损解码，并且获得量化系数和报头。无损解码单元102将量化系数提供至逆量化单元103。

应注意，在构成要解码的CU的PU之中，对于在帧内跳过模式下编码的PU不存在图像压缩信息，因此无损解码单元102向逆量化单元103提供0作为针对该PU的量化系数。相应地，在稍后说明的步骤S106中所获得的解码结果是预测图像本身。

在步骤S103中，逆量化单元103对来自无损解码单元102的量化系数执行逆量化，并且将作为其结果所获得的系数提供至逆正交变换单元104。

在步骤S104中，逆正交变换单元104使来自逆量化单元103的系数经历诸如IDCT、逆KLT等的逆正交变换，并且将作为其结果所获得的残差信息提供至加法单元105。

在步骤S105中，解码单元100执行预测处理，其中，执行帧内预测处理或帧间预测处理。稍后将参照图13说明该预测处理的详情。

在步骤S106中，加法单元105将残差信息与从开关114提供的预测图像相加，从而执行解码。加法单元105将作为其结果所获得的图像提供至去块滤波器106，并且还将其提供至帧存储器109。应注意，如果不存在参考图像，则不执行步骤S105和S106的处理，作为残差信息的图像被提供至去块滤波器106并且还被提供至帧存储器109。

在步骤S107中，去块滤波器106对从加法单元105提供的图像执行滤波，并且去除块噪声。去块滤波器106将滤波后的图像提供至帧存储器109。

在步骤S108中，帧存储器109存储从加法单元105提供的滤波前的图像以及从去块滤波器106提供的滤波后的图像。存储在帧存储器109中的图像经由开关110作为参考图像被提供至运动预测/补偿单元113或帧内预测单元111。

在步骤S109中，画面安排缓冲器107存储以帧为单位从去块滤波器106提供的图像，将按编码顺序存储的以帧为单位的图像重排为原始显示顺序，并且提供至D/A转换单元108。

在步骤S110中，D/A转换单元108对从画面安排缓冲器107提供的以帧为单位的图像进行D/A转换，并且输出作为输出信号。

图13是用于详细说明图12的步骤S105中的预测处理的流程图。应注意，以PU为单位执行该预测处理。

在图13的步骤S121中，无损解码单元102确定最佳预测模式是否为最佳帧内预测模式。具体地，如果不存在用于预测处理的PU的图像压缩信息或者在图像压缩信息报头中不包括帧内预测模式信息，则无损解码单元102确定最佳预测模式为最佳帧内预测模式。另一方面，如果在用于预测处理的PU的图像压缩信息的报头中包括帧间预测模式信息，则确定最佳预测模式不是最佳帧内预测模式。

在步骤S121中，如果确定最佳预测模式是最佳帧内预测模式，则无损解码单元102将报头中所包括的最佳差值帧内预测模式信息等提供至帧内预测单元111和开关114。

然后，在步骤S122中，帧内预测单元111的预测模式信息缓冲器121（图11）确定是否从无损解码单元102提供了最佳差值帧内预测模式信息。

如果在步骤S122中确定从无损解码单元102提供了最佳差值帧内预测模式信息，在步骤S123中，预测模式信息缓冲器121获得并保存该最佳差值帧内预测模式信息。预测模式信息缓冲器121将所保存的最佳差值帧内预测模式信息提供至预测模式解码单元112的预测模式重构单元132，并且使流程进行到步骤S124。

另一方面，如果在步骤S122中确定未从无损解码单元102提供最佳差值帧内预测模式信息，即，如果在报头中不包括最佳差值帧内预测模式信息或者不存在图像压缩信息，则流程进行到步骤S124。

在步骤S124中，MostProbableMode生成单元131使用从邻接信息缓冲器122读出的周边最佳帧内预测模式来通过上述表达式（1）生成MostProbableMode作为最佳帧内预测模式的预测值。然后，MostProbableMode生成单元131将MostProbableMode提供至预测模式重构单元132。

在步骤S125中，预测模式重构单元132将来自MostProbableMode生成单元131的MostProbableMode与来自预测模式信息缓冲器121的最佳差值帧内预测模式信息相加，从而生成最佳帧内预测模式。应注意，如果不存在从预测模式信息缓冲器121提供的最佳差值帧内预测模式信息，则将MostProbableMode按原样当作最佳帧内预测模式。预测模式重构单元132将所生成的最佳帧内预测模式提供至邻接信息缓冲器122以将其保存，并且还将其提供至预测图像生成单元123。

在步骤S126中，预测图像生成单元123使用经由开关110从帧存储器109提供的参考图像来执行从预测模式解码单元112提供的最佳帧内预测模式下的帧内预测处理。预测图像生成单元123将作为帧内预测处理的结果而生成的预测图像经由开关114提供至加法单元105。然后，处理返回至图12中的步骤S105，并且进行到步骤S106。

另一方面，如果在步骤S121中确定最佳预测模式不是最佳帧内预测模式，即，如果确定最佳预测模式是最佳帧间预测模式，则无损解码单元102将运动矢量、帧间预测模式信息、用于标识参考图像的信息等提供至运动预测/补偿单元113。

然后，在步骤S127中，运动预测/补偿单元113从无损解码单元102获得运动矢量、帧间预测模式信息、用于标识参考图像的信息等。

在步骤S128中，运动预测/补偿单元113基于运动矢量、帧间预测模式信息、用于标识参考图像的信息，使用经由开关110读出的参考图像来执行最佳帧间预测模式的帧间预测模式。运动预测/补偿单元113将作为其结果所生成的预测图像经由开关114提供至加法单元105。然后，流程返回到图12中的步骤S105，并且进行到步骤S106。

如上所述，解码装置100接收来自编码装置10的最佳差值帧内预测模式信息、通过将最佳差值帧内预测模式信息与MostProbableMode相加来生成最佳帧内预测模式，并且执行最佳帧内预测模式下的帧内预测处理。结果，能够检测到由编码装置10生成的、在执行帧内预测的情况下的编码效率已提高的图像压缩信息。

应注意，尽管该实施例被配置为使用HEVC格式作为基础，但是本技术不限于此，并且可以应用于使用编码格式/解码格式来执行多种帧内预测模式的帧内预测处理的编码装置/解码装置。然而，应注意，在帧内预测模式的模式数量如同HEVC格式一样大的情况下，MostProbableMode和用于帧内预测处理的PU的最佳帧内预测模式会不同的可能性大，因此其更加有效。

此外，对于本实施例，已以PU为单位设置了帧内跳过模式，但可以CU为单位或以帧为单位设置帧内跳过模式。

此外，本技术可应用于如下编码装置和解码装置，其用于经由卫星广播、有线电视、因特网、移动电话以及其他类似的网络介质接收通过利用诸如离散余弦变换等的正交变换以及如同例如MPEG、H.26X等的运动补偿的格式压缩所压缩的图像信息（比特流）。此外，本技术可以应用于在对诸如光盘、磁盘、闪存等的存储介质执行处理的情况下所使用的编码装置和解码装置。另外，本技术还可以应用于这些编码装置和解码装置中所包括的帧内预测装置等。

[应用了本技术的计算机的说明]

上述编码处理和解码处理可通过硬件来执行，或者可以通过软件来执行。在通过软件执行编码处理或解码处理的情况下，构成其软件的程序安装在通用计算机等中。

图14示出安装有用于执行上述系列处理的程序的计算机的实施例的配置示例。

该程序可预先记录在用作内置于计算机中的记录介质的记录单元408或ROM（只读存储器）402中。

可替选地，该程序可存储（记录）在可移动介质411中。这样的可移动介质411可以被提供作为所谓的封装软件。可移动介质411的示例包括软盘、CD-ROM（致密盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘、半导体存储器等。

应注意，除了诸如上述经由驱动器410将程序从可移动介质411安装到计算机之外，还可以经由通信网络或广播网络将程序下载到计算机，并且将其安装到内置的存储单元408。也就是说，程序可经由数字广播卫星从下载网站无线传送到计算机，或者经由诸如LAN（局域网）、因特网等网络通过线缆传送至计算机。

计算机内置有CPU（中央处理单元）401，输入/输出接口405经由总线404连接到CPU401。

当通过用户操作输入单元406等而经由输入/输出接口405输入了指令时，相应地执行存储在ROM402中的程序。替选地，CPU401将存储在存储单元408中的程序加载到RAM（随机存取存储器）403来执行。

因此，CPU401执行遵循上述流程图的处理、或者通过上述框图中的配置执行的处理。必要时，CPU401例如经由输入/输出接口405从输出单元407输出其处理结果，或者从通信单元409传送处理结果或将其记录在存储单元408等中。

输入单元406由键盘、鼠标、麦克风等构成。输出单元407由LCD（液晶显示器）、扬声器等构成。

应注意，在本说明书中，不需要沿着流程图中所述的序列、按时序执行计算机根据程序执行的处理。也就是说，计算机执行的处理包括并行或单独地执行的处理（例如，并行处理或面向对象的处理）。

此外，程序可由单个计算机（处理器）执行或者可在多台计算机当中以分布方式处理。另外，程序可被传递至远程计算机来执行。

[电视接收器的配置示例]

图15是示出使用应用了本技术的解码装置的电视接收器的主要配置示例的框图。

图15所示的电视接收器500包括地面调谐器513、视频解码器515、视频信号处理电路518、图形生成电路519、面板驱动电路520和显示面板521。

地面调谐器513经由天线接收地面模拟广播的广播波信号、进行解调、获得视频信号，并且将这些视频信号提供至视频解码器515。视频解码器515使从地面调谐器513提供的视频信号经历解码处理，并且将所获得的数字分量信号提供至视频信号处理电路518。

视频信号处理电路518使从视频解码器515提供的视频数据经历诸如噪声去除等的预定处理，并且将所获得的视频数据提供至图形生成单元519。

图形生成单元519生成要在显示面板521上显示的节目的视频数据、或者由于基于经由网络提供的应用的处理而产生的图像数据等，并且将所生成的视频数据或图像数据提供至面板驱动电路520。此外，图形生成电路519还执行诸如将通过生成用户显示用于选择项目等的画面所使用的视频数据（图形）并将其叠加在节目的视频数据上而获得的视频数据适当地提供至面板驱动电路520的处理。

面板驱动电路520基于从图形生成电路519提供的数据驱动显示面板521，以在显示面板521上显示节目的视频或上述的各种画面。

显示面板521由LCD（液晶显示器）等构成，并且根据面板驱动电路520的控制来显示节目的视频等。

此外，电视接收器500还包括音频A/D（模拟/数字）转换电路514、音频信号处理电路522、回波消除/音频合成电路523、音频放大器电路524和扬声器525。

地面调谐器513对所接收到的广播波信号进行解调，从而不仅获得视频信号而且获得音频信号。地面调谐器513将所获得的音频信号提供至音频A/D转换电路514。

音频A/D转换电路514使从地面调谐器513提供的音频信号经历A/D转换处理，并将所获得的数字音频信号提供至音频信号处理电路522。

音频信号处理电路522使从音频A/D转换电路514提供的音频数据经历诸如噪声去除等的预定处理，并且将所获得的音频数据提供至回波消除/音频合成电路523。

回波消除/音频合成电路523将从音频信号处理电路522提供的音频数据提供至音频放大器电路524。

音频放大器电路524使从回波消除/音频合成电路523提供的音频数据经历D/A转换处理，使其经历放大器处理以调整为预定音量，然后从扬声器525输出音频。

另外，电视接收器500还包括数字调谐器516和MPEG解码器517。

数字调谐器516经由天线接收数字广播（地面数字广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，对其进行解调以获得MPEG-TS（运动图像专家组-传输流），并将其提供至MEPG解码器517。

MPEG解码器517对被添加至从数字调谐器516提供的MEPG-TS的加扰进行解扰，并且提取包括用作播放对象（观看对象）的节目的数据的流。MPEG解码器517对构成所提取的流的音频包进行解码，将所获得的音频数据提供至音频信号处理电路522，并且还对构成流的视频包进行解码并将所获得的视频数据提供至视频信号处理电路518。此外，MPEG解码器517将从MPEG-TS提取的EPG（电子节目指南）经由未示出的路径提供至CPU532。

电视接收器500使用上述解码装置100作为用于以此方式对视频包进行解码的MPEG解码器517。相应地，MPEG解码器517可以以与上述解码装置100的情况相同的方式对所编码的图像进行解码以实现更高编码效率。

在视频信号处理电路518处，以与从视频解码器515提供的视频数据的情况相同的方式，对从MPEG解码器517提供的视频数据进行预定处理。然后，经过预定处理的视频数据在图形生成电路519处被适当地叠加在所生成的视频数据等上、经由面板驱动电路520被提供至显示面板521，并且在该显示面板上显示其图像。

在音频信号处理电路522处，以与从音频A/D转换电路514提供的音频数据的情况相同的方式，对从MPEG解码器517提供的音频数据进行预定处理、经由回波消除/音频合成电路523将其提供至音频放大器电路524，并且进行D/A转换处理和放大器处理。作为其结果，从扬声器525输出以预定音量调节后的音频。

此外，电视接收器500还包括麦克风526和A/D转换电路527。

A/D转换电路527接收由设置于电视接收器500的用于音频对话的麦克风526收集的用户的音频信号，使所接收到的音频信号经历A/D转换处理，并且将所获得的数字音频数据提供至回波消除/音频合成电路523。

在从A/D转换电路527提供了电视接收器500的用户（用户A）的音频数据的情况下，回波消除/音频合成电路523对用户（用户A）的音频数据执行回波消除，并且经由音频放大器电路524输出通过与来自扬声器525的其他音频数据等进行合成而获得的音频数据。

另外，电视接收器500还包括音频编解码器528、内部总线529、SDRAM（同步动态随机存取存储器）530、闪存531、CPU532、USB（通用串行总线）I/F533和网络I/F534。

A/D转换电路527接收由设置于电视接收器500的、用于音频对话的麦克风526收集的用户的音频信号，使所接收到的音频信号经历A/D转换处理，并且将所获得的数字音频数据提供至音频编解码器528。

音频编解码器528将从A/D转换电路527提供的音频数据转换成预定格式的数据以经由网络传送，并且经由内部总线529将其提供至网络I/F534。

网络I/F534经由安装在网络终端535上的线缆连接至网络。网络I/F534将从音频编解码器528提供的音频数据传送至例如连接至其网络的另一装置。此外，网络I/F534经由网络终端535接收从经由网络与其连接的另一装置发送的音频数据，并且将其经由例如内部总线529提供至音频编解码器528。

音频编解码器528将从网络I/F534提供的音频数据转换成预定格式的数据，并且将其提供至回波消除/音频合成电路523。

回波消除/音频合成电路523对当作对象的从音频编解码器508提供的音频数据执行回波消除，并且经由音频放大器电路524从扬声器525输出通过将音频数据和其他音频数据合成而获得的音频等的数据。

SDRAM530存储CPU532执行处理所需的各种类型的数据。

闪存531存储要由CPU532执行的程序。在诸如启动电视接收器500时等的预定时刻，通过CPU532读出存储在闪存531中的程序。经由数字广播获得的EPG数据、经由网络从预定服务器获得的数据等也存储在闪存531中。

例如，包括通过CPU532的控制而经由网络从预定服务器获得的内容数据的MPEG-TS存储在闪存531中。闪存531通过例如CPU532的控制将其MEPG-TS经由内部总线529提供至MPEG解码器517。

MPEG解码器517以与从数字调谐器516提供的MEPG-TS的情况一样的方式处理其MEPG-TS。以此方式，电视接收器500经由网络接收由视频、音频等构成的内容数据，使用MPEG解码器517进行解码，由此能够显示其视频，并且能够输出其音频。

此外，电视接收器500还包括用于接收从远程控制器551发送的红外线信号的光接收单元537。

光接收单元537接收来自远程控制器551的红外射线，并且将表示通过解调所获得的用户的操作内容的控制代码输出到CPU532。

CPU532执行存储在闪存531中的程序以根据从光接收单元537提供的控制代码等控制电视接收器500的整体操作。CPU532以及电视接收器500的单元经由未示出的路径相连接。

USB I/F533对关于经由安装在USB终端536上的USB线缆连接的、电视接收器500的外部装置的数据执行发送/接收。网络I/F534经由安装在网络终端535上的线缆连接到网络，还对除了关于连接到网络的各种装置的音频数据外的数据执行发送/接收。

通过使用解码装置100作为MPEG解码器517，电视接收器500可以对编码的图像进行解码以提高在执行帧内预测时的编码效率。

[移动电话的配置示例]

图16是示出使用应用了本技术的编码装置和解码装置的移动电话的主要配置示例的框图。

图16所示的移动电话600包括被配置成总体上控制各单元的主控制单元650、电源电路单元651、操作输入控制单元652、图像编码器653、摄像装置I/F单元654、LCD控制单元655、图像解码器656、复用/分离单元657、记录/播放单元662、调制/解调电路单元658以及音频编解码器659。这些部件经由总线660相互连接。

此外，移动电话600还包括操作键619、CCD（电荷耦合器件）摄像装置616、液晶显示器618、存储单元623、发送/接收电路单元663、天线614、麦克风（MIC）621和扬声器617。

当呼叫结束并通过用户的操作接通电源键时，电源电路单元651通过从电池组向各单元供电来在操作状态下激活移动电话600。

移动电话600基于由CPU、ROM、RAM等构成的主控制单元650的控制，在诸如语音呼叫模式、数据通信模式等各种模式下执行各种操作，诸如音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像拍摄、数据记录等。

例如，在语音呼叫模式下，移动电话600通过音频编解码器659将由麦克风（麦克）621收集的音频信号转换成数字音频数据，在调制/解调电路单元659处使其经历频谱扩展处理，并且在发送/接收电路单元663处使其经历数字/模拟转换处理和频率转换处理。移动电话600将通过其转换处理所获得的用于发送的信号经由天线614发送至未示出的基站。发送到基站的用于发送的信号（音频信号）经由公共电话网络被提供至其他方的移动电话。

此外，例如，在语音呼叫模式下，移动电话600在发送/接收电路单元663对在天线614处所接收到的接收信号进行放大，进一步使其经历频率转换处理和模拟/数字转换处理，使其在调制/解调电路单元658经历频谱逆扩展处理，并且通过音频编解码器659将其转换成模拟音频信号。移动电话600将所转换和获得的模拟音频信号从扬声器617输出。

另外，例如，在数据通信模式下发送电子邮件的情况下，移动电话600接收通过在操作输入控制单元652处操作操作键619而输入的电子邮件的文本数据。移动电话600在主控制单元650处处理其文本数据，并且经由LCD控制单元655将其作为图像显示在液晶显示器618上。

此外，移动电话600基于由操作输入控制单元652接收的文本数据、用户的指令等，在主控制单元650处生成电子邮件数据。移动电话600在调制/解调电路单元658处使其电子邮件数据经历频谱扩展处理，并且在发送/接收电路单元663处使其经历数字/模拟转换处理和频率转换处理。移动电话600将通过其转换处理所获得的用于发送的信号经由天线614发送到未示出的基站。发送到基站的用于发送的信号（电子邮件）经由网络、邮件服务器等被提供到预定的目的地。

此外，例如，在数据通信模式下接收电子邮件的情况下，移动电话600通过发送/接收电路单元663、经由天线614接收从基站发送的信号，对其进行放大，并且还使其经历频率转换处理和模拟/数字转换处理。移动电话600在调制/解调电路单元658处使其接收信号经历频谱逆扩展处理以恢复原始的电子邮件数据。移动电话600经由LCD控制单元655在液晶显示器618上显示恢复后的电子邮件数据。

应注意，移动电话600可经由记录/播放单元662将所接收到的电子邮件数据记录（存储）在存储单元623中。

该存储单元623是任意的可重写记录介质。存储单元623可以是诸如RAM、内置闪存等的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器、存储卡等的可移动介质。不用说，存储单元623可以是除了这些介质以外的其他介质。

另外，例如，在数据通信模式下发送图像数据的情况下，移动电话600通过在CCD摄像装置616处进行成像来生成图像数据。CCD摄像装置616包括用作光学器件（诸如，镜头、光圈等）以及用作光电转换器件的CCD，其使对象成像、将所接收到的光的强度转换成电信号并且生成对象的图像的图像数据。CCD摄像装置616经由摄像装置I/F单元654在图像编码器653处例如利用预定编码格式（诸如，MPEG2、MPEG4等）来对图像数据执行压缩编码，并将其转换成编码的图像数据。

移动电话600采用上述编码装置10作为用于执行这样的处理的图像编码器653。因此，以与上述编码装置10相同的方式，图像编码器653能够在执行帧内预测时实现更高的编码效率。

应注意，与此同时，移动电话600在音频编解码器659处将在利用CCD摄像装置616进行拍摄时在麦克风（麦克）621处所收集的音频从模拟转换成数字，并且进一步对其进行编码。

移动电话600在复用/分离单元657处使用预定方法来对从图像编码器653提供的编码的图像数据和从音频编解码器659提供的数字音频数据进行复用。移动电话600使作为其结果所获得的复用数据在调制/解调电路单元658处经历频谱扩展处理，并且在发送/接收电路单元663处经历数字/模拟转换处理和频率转换处理。移动电话600将通过其转换处理所获得的用于发送的信号经由天线614发送到未示出的基站。发送到基站的用于发送的信号（图像数据）经由网络等被提供到其他方。

应注意，在不发送图像数据的情况下，移动电话600还可经由LCD控制单元655而不是图像编码器653，在液晶显示器618上显示在CCD摄像装置616处所生成的图像数据。

此外，例如，在数据通信模式下接收链接到简单网站等的运动图像文件的数据的情况下，移动电话600经由天线614在发送/接收电路单元663处接收从基站发送的信号，对其进行放大，并进一步经历频率转换处理和模拟/数字转换处理。移动电话600在调制/解调电路单元658使所接收到的信号经历频谱逆扩展处理以恢复原始的复用数据。移动电话600在复用/分离单元657处将复用数据分离成编码图像数据和音频数据。

移动电话600在图像解码器656处利用对应于预定编码格式（诸如，MPEG2、MPEG4等）的解码格式对编码的图像数据进行解码，由此生成播放运动图像数据，并且经由LCD控制单元655将其显示在液晶显示器618上。因此，链接到简单网站的运动图像文件中所包括的运动图像数据显示在例如液晶显示器618上。

移动电话600采用上述解码装置100作为用于执行这样的处理的图像解码器656。因此，以与解码装置100相同的方式，图像解码器656可以对编码的图像进行解码，以提高在执行帧内预测时的编码效率。

此时，同时，移动电话600在音频编解码器659处将数字音频数据转换成模拟音频信号，并且将其从扬声器617输出。因此，例如播放链接到简单网站的运动图像文件中所包括的音频数据。

应注意，以与电子邮件的情况一样的方式，移动电话600可将所接收到的链接到简单网站的数据等经由记录/播放单元662记录（存储）在存储单元623中。

此外，移动电话600在主控制单元650处分析通过CCD摄像装置616所获得的、成像的二维码，由此可以获得以二维码记录的信息。

另外，移动电话600可以在红外通信单元681处使用红外射线来与外部装置进行通信。

移动电话600采用上述编码装置10作为图像编码器653，由此能够在执行帧内预测时提高编码效率。

此外，移动电话600采用上述解码装置100作为图像解码器656，由此能够对为提高编码效率而编码的图像进行解码。

应注意，迄今为止对移动电话600采用CCD摄像装置616进行了说明，但移动电话还可采用使用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）来替代该CCD摄像装置616。同样在这种情况下，以与采用CCD摄像装置616的情况相同的方式，移动电话600可以使对象成像并生成对象的图像的图像数据。

此外，迄今为止已进行了关于移动电话600的说明，但以与移动电话600的情况相同的方式，编码装置10和解码装置100还可应用于任何类型的装置，只要其是具有与例如移动电话600的成像功能和通信功能相同的成像功能和通信功能的装置即可，诸如，PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、上网本、笔记本型个人计算机等。

[硬盘记录器的配置示例]

图17是示出采用应用了本技术的编码装置和解码装置的硬盘记录器的主要配置示例的框图。

图17所示的硬盘记录器（HDD记录器）700是如下装置：其将由调谐器接收到且从卫星或地面天线等发射的广播波信号（电视信号）中所包括的广播节目的音频数据和视频数据存储在内置硬盘中，并且在根据用户的指令的时刻将所存储的数据提供给用户。

硬盘记录器700可以从广播波信号中提取音频数据和视频数据，并且适当地对其进行解码，并且存储在例如内置硬盘中。此外，硬盘记录器700还可以经由网络从另一装置获得音频数据和视频数据，适当地对这些数据进行解码，并且存储在例如内置硬盘中。

另外，硬盘记录器700可以对记录在内置硬盘中的音频数据和视频数据进行解码，将其提供至监视器760，并且在例如监视器760的屏幕上显示图像。硬盘记录器700还可以将音频从监视器760的扬声器输出。

硬盘记录器700可以对从经由调谐器获得的广播信号中提取的音频数据和视频数据、或者经由网络从另一装置获得的音频数据和视频数据进行解码，将其提供至监视器760，并在例如监视器760的屏幕上显示其图像。硬盘记录器700还可以将音频从监视器760的扬声器输出。

当然，可执行除了这些操作以外的其他操作。

如图17所示，硬盘记录器700包括接收单元721、解调单元722、解复用单元723、音频解码器724、视频解码器725和记录器控制单元726。硬盘记录器700还包括EPG数据存储器727、程序存储器728、工作存储器729、显示转换器730、OSD（屏幕上显示）控制单元731、显示控制单元732、记录/播放单元733、D/A转换器734和通信单元735。

此外，显示转换器730包括视频编码器741。记录/播放单元733包括编码器751和解码器752。

接收单元721从远程控制器（未示出）接收红外信号，将其转换成电信号，并且输出到记录器控制单元726。记录器控制单元726由例如微处理器等构成，并且根据存储在程序存储器728中的程序执行各种类型的处理。此时，记录器控制单元726根据需要使用工作存储器729。

连接到网络的通信单元735经由网络与另一装置进行通信处理。例如，记录器控制单元726控制通信单元735以与调谐器（未示出）进行通信，并主要将频道选择控制信号输出到调谐器。

解调单元722对从调谐器提供的信号进行解调，并且将其输出到解复用器723。解复用器723将从解调单元722提供的数据分离成音频数据、视频数据和EPG数据，并且分别输出到音频解码器724、视频解码器725和记录器控制单元726。

音频解码器724例如以MPEG格式对所输入的音频数据进行解码，并将其输出到记录/播放单元733。视频解码器725例如以MPEG格式对所输入的视频数据进行解码，并输出到显示转换器730。记录器控制单元726将所输入的EPG数据提供至EPG数据存储器727进行存储。

显示转换器730使用视频编码器741将从视频解码器725或记录器控制单元726提供的视频数据编码成例如符合NTSC（国家电视标准委员会）格式的视频数据，并将其输出到记录/播放单元733。此外，显示转换器730将从视频解码器725或记录器控制单元726提供的视频数据的画面的尺寸转换成与监视器760的尺寸对应的尺寸。显示转换器730还使用视频编码器741将画面尺寸已被转换的视频数据转换成符合NTSC格式的视频数据，转换成模拟信号，并输出到显示控制单元732。

显示控制单元732在记录器控制单元726的控制下将从OSD（屏幕上显示）控制单元731输出的OSD信号叠加在从显示转换器730输入的视频信号上，并且输出到监视器760的显示器以进行显示。

此外，使用D/A转换器734将从音频解码器724输出的音频数据转换成模拟信号，并将其提供至监视器760。监视器760将该音频信号从内置扬声器输出。

记录/播放单元733包括作为记录有视频数据、音频数据等的记录介质的硬盘。

记录/播放单元733通过编码器751以MPEG格式对从音频解码器724提供的音频数据进行编码。此外，记录/播放单元733通过编码器751以MPEG格式对从显示转换器730的视频编码器741提供的视频数据进行编码。记录/播放单元733使用复用器来对音频数据的编码数据和视频数据的编码数据进行合成。记录/播放单元733通过信道编码对合成数据进行放大，并且将数据经由记录头写入硬盘中。

记录/播放单元733经由播放头播放记录在硬盘中的数据，将其放大并使用解复用器分离成音频数据和视频数据。记录/播放单元733使用MPEG格式、通过解码器752对音频数据和视频数据进行解码。记录/播放单元733将解码后的音频数据从数字转换为模拟，并且输出到监视器760的扬声器。此外，记录/播放单元733将解码后的视频数据从数字转换为模拟，并且输出到监视器760的显示器。

记录器控制单元726基于由经由接收单元721接收到的来自远程控制器的红外信号表示的用户指令，从EPG数据存储器727读出最新的EPG数据，并提供到OSD控制单元731。OSD控制单元731生成对应于所输入的EPG数据的图像数据，并输出到显示控制单元732。显示控制单元732将从OSD控制单元731输入的视频数据输出到监视器760的显示器以进行显示。因此，EPG（电子节目指南）显示在监视器760的显示器上。

此外，硬盘记录器700可以获得经由诸如因特网等的网络从另一装置提供的诸如视频数据、音频数据、EPG数据等各种类型的数据。

通过记录器控制单元726控制通信单元735以获得经由网络从另一装置发送的诸如视频数据、音频数据、EPG数据等的编码数据，并且将其提供到记录器控制单元726。记录器控制单元726将所获得的视频数据和音频数据的编码数据提供到记录/播放单元733，并将其存储在例如硬盘中。此时，记录器控制单元726和记录/播放单元733可根据需要执行诸如重新编码等处理。

此外，记录器控制单元726对所获得的视频数据和音频数据的编码数据进行解码，并将所获得的视频数据提供至显示转换器730。显示转换器730以与对于从视频解码器725提供的视频数据的方式相同的方式，对从记录器控制单元726提供的视频数据进行处理，经由显示控制单元732提供到监视器769以显示为图像。

替选地，可以进行如下布置：根据该图像显示，记录器控制单元726将解码后的音频数据经由D/A转换器734提供到监视器769，并将音频从扬声器输出。

另外，记录器控制单元726对所获得的EPG数据的编码数据进行解码，并将解码后的EPG数据提供到EPG数据存储器727。

因此，硬盘记录器700采用解码装置100作为视频解码器725、解码器752和容纳于记录器控制单元726中的解码器。相应地，以与解码装置100相同的方式，视频解码器725、解码器752和容纳于记录器控制单元726中的解码器可以对为了提高执行帧内预测时的编码效率而所编码的图像进行解码。

此外，硬盘记录器700采用编码装置10作为编码器751。相应地，以与编码装置10的情况相同的方式，编码器751能够提高在执行帧内预测时的编码效率。

应注意，迄今为止进行了关于用于将视频数据和音频数据记录在硬盘中的硬盘记录器700的说明，但不用说，可采用任何类型的记录介质。例如，即使对于应用了除了硬盘（诸如，闪存、光盘、视频带等）外的记录介质的记录器，也可以以与上述硬盘记录器700的情况相同的方式对其应用编码装置10和解码装置100。

[摄像装置的配置示例]

图18是示出采用应用了本技术的编码装置和解码装置的摄像装置的主要配置示例的框图。

图18所示的摄像装置800使对象成像、在LCD816上显示对象的图像，并且将其作为图像数据记录在记录介质833中。

透镜组811将光（即，对象的图片）输入到CCD/CMOS812。CCD/CMOS812是采用CCD或CMOS的图像传感器，该CCD或CMOS将接收到的光的强度转换成电信号并提供到摄像装置信号处理单元813。

摄像装置信号处理单元813将从CCD/CMOS812提供的电信号转换成色差信号Y、Cr和Cb，并提供到图像信号处理单元814。图像信号处理单元814在控制器821的控制下使从摄像装置信号处理单元813提供的图像信号经历预定图像处理或者使用例如MPEG格式来通过编码器841对图像信号进行编码。图像信号处理单元814将通过对图像信号进行编码而生成的编码的数据提供到解码器815。另外，图像信号处理单元814获得在屏幕上显示器（OSD）820处所生成的用于显示的数据，并将其提供到解码器815。

通过上述处理，摄像装置信号处理单元813适当地利用经由总线817所连接的DRAM（动态随机存取存储器）以根据需要将图像数据、根据图像数据编码的编码数据等保存在DRAM818中。

解码器815对从图像信号处理单元814提供的编码的数据进行解码，并将所获得的图像数据（解码后的图像数据）提供到LCD816。此外，解码器815将从图像信号处理单元814提供的用于显示的数据提供到LCD816。LCD816适当地对从解码器815提供的用于显示的数据的图像和解码后的图像数据的图像进行合成，并且显示其合成图像。

屏幕上显示器820在控制器821的控制下将用于显示的数据（诸如由符号、字符或数字构成的菜单画面或图标等）经由总线817输出到图像信号处理单元814。

基于表示通过用户使用操作单元822给出命令的内容的信号，控制器821执行各种类型的处理，并且还经由总线817控制图像信号处理单元814、DRAM818、外部接口819、屏幕上显示器802、介质驱动器823等。控制器821执行各种类型的处理所需的程序、数据等存储在闪存ROM824中。

例如，替代图像信号处理单元814和解码器815，控制器821可以对存储在DRAM818中的图像数据进行编码，或者对存储在DRAM818中的编码数据进行解码。此时。控制器821可使用与图像信号处理单元814和解码器815的编码/解码格式相同的格式来执行编码/解码处理，或者可使用图像信号处理单元814或解码器815都不能处理的格式来执行编码/解码处理。

此外，例如，在已从操作单元822指示开始图像打印的情况下，控制器821从DRAM818读出图像数据并经由总线817将其提供到连接到外部接口819的打印机834以进行打印。

另外，例如，在已从操作单元822指示进行图像记录的情况下，控制器821从DRAM818读出编码的数据，并经由总线817将其提供到安装在介质驱动器823上的记录介质833以进行存储。

记录介质833是例如任意的可读写可移动介质，诸如磁盘、磁光盘、光盘、半导体存储器等。不用说，记录介质833还关于可移动介质的类型是任选的，并且相应地可以是磁带装置，或者可以是磁盘，或者可以是存储卡。不用说，记录介质833可以是非接触式IC卡等。

替选地，介质驱动器823和记录介质833可以被配置成集成到例如非传输记录介质（诸如，内置硬盘驱动器、SSD（固态驱动器）等）中。

外部接口819由例如USB输入/输出终端等构成，并且在执行图像的打印的情况下连接到打印机834。此外，驱动器831根据需要连接到外部接口819，诸如磁盘、光盘或磁光盘的可移动介质823适当地安装在其上，并且从其读出的计算机程序根据需要安装在闪存ROM824中。

另外，外部接口819包括连接到诸如LAN、因特网等预定网络的网络接口。例如，根据来自操作单元822的指令，控制器821可以从DRAM818读出编码数据，并将其从外部接口819提供到经由网络所连接的另一装置。此外，控制器821可以经由外部接口819获得经由网络从另一装置提供的编码数据或图像数据，并将其保存在DRAM818中，或者将其提供到图像信号处理单元814。

如此配置的摄像装置800采用解码装置100作为解码器815。因此，以与解码装置100相同的方式，解码器815可以对为提高执行帧内预测时的编码效率而编码的图像进行解码。

此外，摄像装置800采用编码装置10作为编码器841。因此，以与编码装置10的情况相同的方式，编码器841可以实现在执行帧内预测时的更高编码效率。

应注意，解码装置100的解码方法可应用于控制器821执行的解码处理。以相同的方式，编码装置10的编码方法可应用于控制器821执行的编码处理。

此外，摄像装置800采用的图像数据可以是运动图像或可以是静止图像。

当然，编码装置10和解码装置100可应用于除了上述装置以外的装置和系统。

应注意，本技术的实施例不限于上述实施例，并且可在不背离本技术的实质的情况下进行各种修改。

附图标记列表

10  编码装置

13  计算单元

14  正交变换单元

16  无损编码单元

41  候选预测图像生成单元

43  预测模式确定单元

45  帧内跳过确定单元

51  MostProbableMode生成单元

52  差值模式生成单元

101 存储缓冲器

102 无损解码单元

105 加法单元

123 预测图像生成单元

131 MostProbableMode生成单元

132 预测模式重构单元

Claims (16)

1.一种编码装置，包括：

预测值生成单元，被配置为使用位于作为编码对象的当前块的周边的周边块的最佳帧内预测模式，来生成所述当前块的最佳帧内预测模式的预测值；

差值生成单元，被配置为生成所述当前块的最佳帧内预测模式与由所述预测值生成单元生成的所述当前块的最佳帧内预测模式的预测值之间的差值；以及

传送单元，被配置为传送由所述差值生成单元生成的所述差值。

2.根据权利要求1所述的编码装置，其中，关于所述当前块的预测图像的方向邻接的帧内预测模式是连续值。

3.根据权利要求1所述的编码装置，其中，所述传送单元在由所述差值生成单元生成的所述差值为零的情况下停止传送所述差值。

4.根据权利要求3所述的编码装置，还包括：

生成单元，被配置为生成所述当前块与通过对所述当前块的最佳帧内预测模式的帧内预测处理而生成的预测图像之间的差值来作为残差图像；以及

正交变换单元，被配置为使由所述生成单元生成的所述残差图像经历正交变换；

其中，所述传送单元传送所述差值以及作为所述正交变换单元进行的正交变换的结果而获得的系数，并且在所述系数和所述差值为零的情况下，停止传送所述系数和所述差值。

5.根据权利要求1所述的编码装置，其中，所述预测值生成单元生成多个周边块的最佳帧内预测模式中的最小最佳帧内预测模式来作为所述当前块的最佳帧内预测模式的预测值。

6.根据权利要求1所述的编码装置，其中，所述传送单元对所述差值进行编码并传送。

7.根据权利要求1所述的编码装置，还包括：

预测图像生成单元，被配置为关于所述当前块执行多种帧内预测模式的帧内预测处理，并且生成预测图像；以及

确定单元，被配置为基于由所述预测图像生成单元生成的所述预测图像和所述当前块，将所述多种帧内预测模式之中的预定帧内预测模式确定为所述当前块的最佳帧内预测模式。

8.一种编码装置的编码方法，包括：

预测值生成步骤，用于使用位于作为编码对象的当前块的周边的周边块的最佳帧内预测模式，生成所述当前块的最佳帧内预测模式的预测值；

差值生成步骤，用于生成所述当前块的最佳帧内预测模式与通过所述预测值生成步骤中的处理所生成的所述当前块的最佳帧内预测模式的所述预测值之间的差值；以及

传送步骤，用于传送通过所述差值生成步骤中的处理所生成的所述差值。

9.一种解码装置，包括：

接收单元，被配置为接收作为解码对象的当前块的最佳帧内预测模式与所述当前块的最佳帧内预测模式的预测值之间的差值，其中所述当前块的最佳帧内预测模式的预测值是使用位于所述当前块的周边的周边块的最佳帧内预测模式而生成的；

预测值生成单元，被配置为使用所述周边块的最佳帧内预测模式，生成所述当前块的最佳模式的预测值；以及

帧内预测模式生成单元，被配置为通过计算由所述接收单元接收到的差值以及所述预测值生成单元生成的所述当前块的最佳帧内预测模式的预测值，来生成所述当前块的最佳帧内预测模式。

10.根据权利要求9所述的解码装置，其中，关于所述当前块的预测图像的方向邻接的帧内预测模式是连续值。

11.根据权利要求9所述的解码装置，其中，在所述差值为零的情况下，所述编码装置停止传送所述差值；并且

其中，在所述编码装置要停止传送所述差值的情况下，所述帧内预测模式生成单元生成由所述预测值生成单元生成的所述当前块的最佳帧内预测模式的预测值来作为所述当前块的最佳帧内预测模式。

12.根据权利要求11所述的解码装置，还包括：

预测图像生成单元，被配置为以由所述帧内预测模式生成单元生成的所述当前块的最佳帧内预测模式，关于所述当前块执行帧内预测处理，并且生成预测图像；以及

加法单元，通过将由所述预测图像生成单元生成的所述预测图像与所述当前块相加来对所述当前块进行解码；

其中，所述编码装置传送所述差值和所述当前块，并且在所述差值和所述当前块为零的情况下，停止传送所述差值和所述当前块；以及

其中，在所述编码装置停止传送所述当前块的情况下，所述加法单元将由所述预测图像生成单元生成的所述预测图像当作所述当前块的解码结果。

13.根据权利要求9所述的解码装置，其中，所述预测值生成单元生成多个周边块的最佳帧内预测模式中的最小最佳帧内预测模式来作为所述当前块的最佳帧内预测模式的预测值。

14.根据权利要求9所述的解码装置，还包括：

解码单元，被配置为对编码后的差值进行解码；

其中，所述接收单元接收编码后的差值。

15.根据权利要求9所述的解码装置，还包括：

预测图像生成单元，被配置为以由所述帧内预测模式生成单元生成的所述当前块的最佳帧间预测模式，对所述当前块执行帧内预测处理，并且生成预测图像。

16.一种解码装置的解码方法，包括：

接收步骤，用于接收作为解码对象的当前块的最佳帧内预测模式与所述当前块的最佳帧内预测模式的预测值之间的差值，其中所述预测值是使用位于所述当前块的周边的周边块的最佳帧内预测模式而生成的；

预测值生成步骤，用于使用所述周边块的最佳帧内预测模式，生成所述当前块的最佳模式的预测值；以及

帧内预测模式生成步骤，用于通过计算通过所述接收步骤中的处理而接收到的差值以及通过所述预测值生成步骤的处理而生成的所述当前块的最佳帧内预测模式的预测值，生成所述当前块的最佳帧内预测模式。

Images