CN103125118A

CN103125118A - 图像处理装置和图像处理方法

Info

Publication number: CN103125118A
Application number: CN2011800461708A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-10-01
Filing date: 2011-09-06
Publication date: 2013-05-29
Also published as: US20130182967A1; WO2012043166A1; JP2012080370A

Abstract

本发明提供了一种图像处理装置和图像处理方法，该图像处理装置包括：排序部，以包括在图像的块中的像素值在排序之后彼此相邻的方式对包括在该块中的相邻子块内的共同像素位置的像素值进行排序；以及预测部，使用经排序部排序后的像素值以及图像中与子块的第一像素位置对应的参考像素值来生成第一像素位置的像素的预测像素值。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及一种图像处理装置和一种图像处理方法。

背景技术

传统上，压缩技术得到普及，该压缩技术具有有效地传送或累积数字图像的目的，并且通过运动补偿和诸如离散余弦变换的正交变换来压缩图像的信息量，例如，通过使用图像所特有的冗余性。例如，符合诸如ITU-T开发的H.26x标准或MEPG（运动图像专家组）开发的MPEG-y标准的标准技术的图像编码装置和图像解码装置广泛用在各种场合中，诸如通过广播方累积和分配图像以及通过一般用户接收和累积图像。

MPEG2（ISO/IEC 13818-2）是被定义为通用图像编码方法的MPEG-y标准之一。MPEG2能够处理隔行扫描图像和非隔行图像这两者，并且除了具有标准分辨率的数字图像外，还以高分辨率图像为目标。MPEG2当前广泛用在包括专业使用和消费者使用的各种应用中。根据MPEG2，例如，通过将4Mbps至8Mbps的位速率分配给具有标准分辨率720×480像素的隔行扫描图像以及将18Mbps至22Mbps的位速率分配给具有高分辨率1920×1088像素的隔行扫描图像，可以实现高压缩率和期望的图像质量。

MEPG2主要针对适合于广播使用的高质量编码，而不处理比MPEG1低的位速率（即，高压缩比）。然而，近年来随着移动终端的普及，对实现高压缩率的编码方法的要求日益增加。相应地，最近发展了MPEG4编码方法的标准化。对于作为MPEG4编码方法的一部分的图像编码方法，其标准在1998年12月被接受作为国际标准（ISO/IEC14496-2）。

H.26x（ITU-T Q6/16VCEG）是最初以执行适合于诸如视频电话和视频会议的通信的编码为目的而发展的标准。已知H.26x标准需要编码和解码的大计算量，但与MPEG-y标准相比，能够实现较高压缩率。此外，利用作为MEPG4的活动的一部分的增强压缩视频编码的联合模型，发展了通过采用新功能来允许更高压缩率的实现同时基于H.26x标准的标准。该标准在2003年3月以H.264和MPEG-4Part10（高级视频编码，AVC）为名称被作为国际标准。

上述图像编码方法中的一种重要技术是画面内预测，即帧内预测。帧内预测是如下技术：使用图像中的相邻块之间的相关性并根据某一块的像素值预测与其相邻的另一块的像素值，从而减少要编码的信息量。利用在MEPG4之前的图像编码方法，仅正交变换系数的DC分量和低频分量是帧内预测的目标，但利用H.264/AVC，可以对所有像素值进行帧内预测。通过使用帧内预测，例如，对于像素值逐渐改变的图像（诸如，蓝天的图像），可以期望压缩率显著增加。

在H.264/AVC中，可以通过例如将4×4像素、8×8像素或16×16像素作为一个处理单位来执行帧内预测。此外，以下提到的非专利文献1提出了基于扩展的块大小的帧内预测，将32×32像素或64×64像素的块作为处理单位。

顺便提及，在可以通过具有不同处理性能、显示分辨率和频带的终端再现数字图像的情况下，优选地使得能够进行部分解码。部分解码通常是指对高分辨率图像的编码数据进行部分解码从而仅获得低分辨率图像。即，如果提供可以部分解码的编码数据，则具有相对高的处理性能的终端可再现整个高分辨率图像，而具有低处理性能（或低分辨率显示）的终端仅再现低分辨率图像。

引用列表

非专利文献

非专利文献1：Sung-Chang Lim,Hahyun Lee,Jinho Lee,JonghoKim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,“Intra coding usingextended block size（利用扩展的块尺寸的帧内编码）”(VCEG-AL28,2009年7月)。

发明内容

技术问题

然而，对于现有的帧内预测方案，使用了基于相同图像中的像素之间的各种相关性的多种预测模型。相应地，如果不对图像中的像素进行解码，则变得难以对与未被解码的像素相关的其他像素进行解码。即，现有的帧内预测方案是从终端本身要求大计算量但不适合于部分解码的方案，因此，该方案没有满足对通过各种终端再现数字图像的需要。

因此，根据本公开的技术旨在提供一种用于实现使得能够进行部分解码的帧内预测方案的图像处理装置和图像处理方法。

针对技术问题的技术方案

根据本公开的实施例，提供了一种图像处理装置，其包括：排序部，以包括在图像的块中的像素值在排序之后彼此相邻的方式对包括在该块中的相邻子块内的共同像素位置的像素值进行排序；以及预测部，使用经排序部排序后的像素值以及图像中与子块的第一像素位置对应的参考像素值来生成第一像素位置的像素的预测像素值。

上述图像处理装置通常可被实现为对图像进行编码的图像编码装置。

另外，预测部可以在不使用与另一像素位置的像素值的相关性的情况下生成第一像素位置的像素的预测像素值。

另外，预测部可根据基于与第一像素位置的像素值的相关性的预测模式来生成第二像素位置的像素的预测像素值。

另外，预测部可根据基于与第一像素位置的像素值的相关性的预测模式，与生成第二像素位置的像素的预测像素值并行地生成第三像素位置的像素的预测像素值。

另外，预测部可根据基于与第一像素位置的像素值的相关性的预测模式，与生成第二像素位置和第三像素位置的像素的预测像素值并行地生成第四像素位置的像素的预测像素值。

另外，预测部可根据基于与第二像素位置和第三像素位置的像素值的相关性的预测模式，生成第四像素位置的像素的预测像素值。

另外，在允许根据在生成已被编码的另一块的第一像素位置的预测像素值时选择的预测模式估计在生成第一像素位置的像素的预测像素值时所选择的预测模式的情况下，预测部可生成表示允许估计对第一像素位置的预测模式的信息。

另外，基于与第一像素位置的像素值的相关性的预测模式可以是通过对第一像素位置的像素值进行相移来生成预测像素值的预测模式。

另外，根据本公开的另一实施例，提供了一种用于处理图像的图像处理方法，包括：以包括在图像的块中的像素值在排序之后彼此相邻的方式对包括在该块中的相邻子块内的共同像素位置的像素值进行排序；以及使用排序后的像素值以及图像中与子块的第一像素位置对应的参考像素值来生成第一像素位置的像素的预测像素值。

另外，根据本公开的另一实施例，提供了一种图像处理装置，其包括：排序部，以与包括在图像的块中的相邻子块内的各个共同像素位置对应的参考像素的像素值在排序之后彼此相邻的方式，对图像中的参考像素的像素值进行排序；以及预测部，使用经排序部排序后的参考像素的像素值来生成子块的第一像素位置的像素的预测像素值。

上述图像处理装置通常可被实现为对图像进行解码的图像解码装置。

另外，预测部可在不使用与对应于另一像素位置的参考像素的像素值的相关性的情况下生成第一像素位置的像素的预测像素值。

另外，预测部可根据基于与第一像素位置的像素值的相关性的预测模式，生成第二像素位置的像素的预测像素值。

另外，在表明允许针对第一像素位置估计预测模式的情况下，预测部可根据在生成已被编码的另一块的第一像素位置的预测像素值时所选择的预测模式，估计用于生成第一像素位置的像素的预测像素值的预测模式。

另外，基于与第一像素位置的像素值的相关性的预测模式可以是通过对第一像素位置的像素值进行相移而生成预测像素值的预测模式。

另外，图像处理装置还可以包括确定是否要对图像进行部分解码的确定部。在确定部确定要对图像进行部分解码的情况下，预测部不一定生成除了第一像素位置外的至少一个像素位置的预测像素值。

另外，根据本公开的另一实施例，提供了一种用于处理图像的图像处理方法，其包括：以与包括在图像的块中的相邻子块内的各个共同像素位置对应的参考像素的像素值在排序之后彼此相邻的方式，对图像中的参考像素的像素值进行排序；以及使用排序后的参考像素的像素值来生成子块的第一像素位置的像素的预测像素值。

本发明的有益效果

如上所述，根据本公开的图像处理装置和图像处理方法，可以实现使得能够进行部分解码的帧内预测方案。

附图说明

图1是示出根据实施例的图像编码装置的配置示例的框图。

图2是示出该实施例的图像编码装置的帧内预测部的详细配置的示例的框图。

图3是用于描述帧内4×4预测模式的第一说明图。

图4是用于描述帧内4×4预测模式的第二说明图。

图5是用于描述帧内4×4预测模式的第三说明图。

图6是用于描述帧内8×8预测模式的说明图。

图7是用于描述帧内16×16预测模式的说明图。

图8是用于描述宏块内的像素和参考像素的说明图。

图9是用于描述对编码目标像素值排序的示例的说明图。

图10是用于描述对参考像素值排序的示例的说明图。

图11是用于描述由帧内预测部进行的并行处理的示例的说明图。

图12是示出根据该实施例的图像编码装置的帧内预测部的详细配置的另一示例的框图。

图13是用于描述由帧内预测部进行的并行处理的另一示例的说明图。

图14是用于描述对编码目标像素值排序的另一示例的说明图。

图15A是用于描述新预测模式的第一说明图。

图15B是用于描述新预测模式的第二说明图。

图15C是用于描述新预测模式的第三说明图。

图15D是用于描述新预测模式的第四说明图。

图16是用于描述像素值的镜像处理和保存处理的说明图。

图17是用于描述预测方向的估计的说明图。

图18是示出根据实施例的在进行编码时的帧内预测处理的流程示例的流程图。

图19是示出根据该实施例的在进行编码时的帧内预测处理的另一示例的流程图。

图20是示出根据实施例的图像解码装置的配置示例的框图。

图21是示出根据实施例的图像解码装置的帧内预测部的详细配置的示例的框图。

图22是示出根据实施例的图像解码装置的帧内预测部的详细配置的另一示例的框图。

图23是示出根据实施例的在进行解码时的帧内预测处理的流程示例的流程图。

图24是示出根据实施例的在进行解码时的帧内预测处理的流程的另一示例的流程图。

图25是示出电视机的示意性配置的示例的框图。

图26是示出移动电话的示意性配置的示例的框图。

图27是示出记录/再现装置的示意性配置的示例的框图。

图28是示出图像捕获装置的示意性配置的示例的框图。

具体实施方式

下文中，将参照附图详细描述本发明的优选实施例。应注意，在该说明书和附图中，具有基本上相同的功能和结构的元件以相同的附图标记表示，并且省略重复说明。

此外，按以下所述的顺序描述“具体实施方式”。

1.根据实施例的图像编码装置的示例配置

2.根据实施例的在进行编码时的处理流程

3.根据实施例的图像解码装置的示例配置

4.根据实施例的在进行解码时的处理流程

5.示例应用

6.总结

<1.根据实施例的图像编码装置的示例配置>

[1-1.总体配置的示例]

图1是示出根据实施例的图像编码装置10的配置示例的框图。参照图1，图像编码装置10包括A/D（模数）转换部11、排序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24、帧存储器25、选择器26和27、运动估计部30和帧内预测部40。

A/D转换部11将以模拟格式输入的图像信号转换成具有数字格式的图像数据，并且将一系列数字图像数据输出至排序缓冲器12。

排序缓冲器12对包括在从A/D转换部11输入的这系列图像数据中的图像进行排序。在根据编码处理、基于GOP（画面组）结构对图像进行排序之后，排序缓冲器12将已被排序的图像数据输出至减法部13、运动估计部30和帧内预测部40。

从排序缓冲器12输入的图像数据和稍后所述的运动估计部30或帧内预测部40输入的预测图像数据被提供至减法部13。减法部13计算作为从排序缓冲器12输入的图像数据与预测图像数据之差的预测误差数据，并且将所算出的预测误差数据输出至正交变换部14。

正交变换部14对从减法部13输入的预测误差数据执行正交变换。正交变换部14执行的正交变换可以例如是离散余弦变换（DCT）或卡洛变换（Karhunen-Loeve transform）。正交变换部14将通过正交变换处理获取的变换系数数据输出至量化部15。

从正交变换部14输入的变换系数数据和稍后所述的来自速率控制部18的速率控制信号被提供至量化部15。量化部15对变换系数数据进行量化，并且将已被量化的变换系数数据（下文中，称为量化数据）输出至无损编码部16和逆量化部21。此外，量化部15基于来自速率控制部18的速率控制信号切换量化参数（量化级），从而改变要输入至无损编码部16的量化数据的位速率。

从量化部15输入的量化数据和稍后所述的从运动估计部30或帧内预测部40输入的关于帧间预测或帧内预测的信息被提供至无损编码部16。关于帧间预测的信息可包括例如预测模式信息、运动矢量信息、参考图像信息等。此外，关于帧内预测的信息可包括表示预测单位（该预测单位是帧内预测的处理单位）的大小和对于每个预测单位的最佳预测方向（预测模式）的预测模式信息。

无损编码部16通过对经量化的数据执行无损编码处理来生成编码流。由无损编码部15进行的无损编码可以是例如可变长编码或者算术编码。此外，无损编码部16将上述的关于帧间预测的信息或关于帧内预测的信息复用为编码流的头部（例如，块头或条带头（slice header）等）。然后，无损编码部16将所生成的编码流输出至累积缓冲器17。

累积缓冲器17使用诸如半导体存储器的存储介质来临时存储从无损编码部16输入的编码流。然后，累积缓冲器17以与传输线（或者图像编码装置10的输出线）的频带相应的速率来输出所累积的编码流。

速率控制部18监视累积缓冲器17的空闲空间。然后，速率控制部18根据累积缓冲器17上的空闲空间来生成速率控制信号，并且将所生成的速率控制信号输出至量化部15。例如，当累积缓冲器17上没有太多空闲空间时，速率控制部18生成用于降低量化数据的位速率的速率控制信号。此外，例如，当累积缓冲器17上的空闲空间足够大时，速率控制部18生成用于提高量化数据的位速率的速率控制信号。

逆量化部21对从量化部15输入的量化数据执行逆量化处理。然后，逆量化部21将通过逆量化处理获取的变换系数数据输出至逆正交变换部22。

逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，从而恢复预测误差数据。然后，逆正交变换部22将所恢复的预测误差数据输出至加法部23。

加法部23将从逆正交变换部22输入的、所恢复的预测误差数据与从运动估计部30或帧内预测部40输入的预测图像数据相加，从而生成解码图像数据。然后，加法部23将所生成的解码图像数据输出至去块滤波器24和帧存储器25。

去块滤波器24执行用于减少在对图像编码时发生的块失真的滤波处理。去块滤波器24对从加法部23输入的解码图像数据进行滤波以去除块失真，并且将滤波之后的解码图像数据输出至帧存储器25。

帧存储器25使用存储介质来存储从加法部23输入的解码图像数据和从去块滤波器24输入的滤波之后的解码图像数据。

选择器26从帧存储器25读取要用于帧间预测的、滤波之后的解码图像数据，并将已读取的解码图像数据作为参考图像数据提供至运动估计部30。此外，选择器26从帧存储器25读取要用于帧内预测的、滤波之前的解码图像数据，并将已读取的解码图像数据作为参考图像数据提供至帧内预测部40。

在帧间预测模式下，选择部27将作为从运动估计部30输出的帧间预测结果的预测图像数据输出至减法部13，并且此外，将关于帧间预测的信息输出至无损编码部16。此外，在帧内预测模式下，选择器27将作为从帧内预测部40输出的帧内预测结果的预测图像数据输出至减法部13，此外，将关于帧内预测的信息输出至无损编码部16。

运动估计部30基于从排序缓冲器12输入的编码目标图像数据和经由选择器26提供的解码图像数据，执行由H.264/AVC定义的帧间预测处理（帧间预测处理）。例如，运动估计部30使用成本函数（cost funtion）来评价每个预测模式的预测结果。然后，运动估计部30选择成本函数值最小的预测模式（即，压缩率最高的预测模式）作为最佳预测模式。此外，运动估计部30根据最佳预测模式生成预测图像数据。然后，运动估计部30将关于帧间预测的信息和预测图像数据输出至选择器27，其中关于帧间预测的信息包括表示所选择的最佳预测模式的预测模式信息。

帧内预测部40基于从排序缓冲器12输入的编码目标图像数据和从帧存储器25提供作为参考图像数据的解码图像数据，对图像中所设置的每个宏块执行帧内预测处理。稍后将详细描述帧内预测部40的帧内预测处理。

如稍后将描述的，可以使用多个处理分支来使帧内预测部40的帧内预测处理并行化。随着帧内预测处理的并行化，还可以使上述减法部13、正交变换部14、量化部15、逆量化部21、逆正交变换部22和加法部23的与帧内预测模式有关的处理并行化。在这种情况下，如图1所示，减法部13、正交变换部14、量化部15、逆量化部21、逆正交变换部22、加法部23和帧内预测部40形成并行处理部分（segment）28。此外，并行处理部分28中的各部包括多个处理分支。并行处理部分28中的各部可在使用多个处理分支执行帧内预测模式下的并行处理的同时，仅使用帧间预测模式下的一个处理分支。

[1-2.帧内预测部的示例配置]

图2是示出图1所示的图像编码装置10的帧内预测部40的详细配置示例的框图。参照图2，帧内预测部40包括排序部41、预测部42和模式缓冲器45。此外，预测部42包括作为并行布置的两个处理分支的第一预测部42a和第二预测部42b。

排序部41例如按行读取包括在图像（原始图像）内的宏块中的像素值，并且根据预定规则对像素值进行排序。然后，排序部41根据像素位置将排序后的像素值输出至第一预测部42a或第二预测部42b。

此外，排序部41根据预定规则对从帧存储器25提供的参考图像数据中所包括的参考像素值进行排序。从帧存储器25提供至帧内预测部40的参考图像数据是与编码目标图像相同的图像的已编码部分。然后，排序部41根据像素位置将排序之后的参考像素值分别输出至第一预测部42a或第二预测部42b。

因此，在本实施例中，排序部41用作用于对原始图像的像素值和参考像素值进行排序的排序装置。稍后将用示例描述排序部41对像素值进行排序的规则。此外，排序部41还用作用于将排序后的像素值分配给各个处理分支的逆复用装置。

第一预测部42a和第二预测部42b使用已被排序部41排序的原始图像的像素值和参考像素值来生成编码目标宏块的预测像素值。

更具体地，第一预测部42a包括第一预测计算部43a和第一模式确定部44a。第一预测计算部43a根据作为候选的多个预测模式，基于经排序部41排序后的参考像素值来计算多个预测像素值。预测模式主要确定从用于预测的参考像素到编码目标像素的方向（称为预测方向）。通过指定一个预测模式，可以针对编码目标像素确定用于计算预测像素值的参考像素和预测像素值的计算公式。应注意，在本实施例中，预测模式的候选根据这系列像素值的哪个部分被排序部41排序来变化。稍后将参照示例描述根据实施例的在帧内预测时可使用的预测模式示例。第一模式确定部44使用基于经排序部41排序后的原始图像的像素值、第一预测计算部43a计算出的预测像素值、期望位速率等的预定成本函数来评价多个预测模式的候选。然后，第一模式确定部44a选择成本函数值最小的预测模式（即，压缩率最高的预测模式）作为最佳预测模式。在这样的处理之后，第一预测部42a将表示第一模式确定部44a选择的最佳预测模式的预测模式信息输出至模式缓冲器45，并且此外，将预测模式信息和包括对应的预测像素值的预测图像数据输出至选择器27。

第二预测部42b包括第二预测计算部43b和第二模式确定部44b。第二预测计算部43b根据作为候选的多个预测模式，基于经排序部41排序后的参考像素值来计算多个预测像素值。第二模式确定部44b使用基于经排序部41排序后的原始图像的像素值、第二预测计算部43b计算出的预测像素值、期望的位速率等的预定成本函数来评价多个预测模式的候选。然后，第二模式确定部44b选择成本函数值最小的预测模式作为最佳预测模式。在这样的处理之后，第二预测部42b将表示第二模式确定部44b选择的最佳预测模式的预测模式信息输出至模式缓冲器45，并且此外，将预测模式信息和包括对应的预测像素值的预测图像数据输出至选择器27。

模式缓冲器45使用存储介质来临时存储从第一预测部42a和第二预测部42b输入的预测模式信息。模式缓冲器45存储的预测模式信息在第一预测部42a和第二预测部42b对预测方向估计时被称为参考预测模式。对预测方向的估计为以下技术，通过关注于最佳预测方向（最佳预测模式）以高可能性对于相邻块而言相同来根据为参考块设置的预测模式来估计对于编码目标块的预测模式。没有对可以通过对预测方向进行预测来决定适当预测方向的块的预测模式号进行编码，因而可以降低编码所需的位速率。稍后将进一步描述本实施例中对预测方向的估计。

[1-3.现有预测模式的示例]

接下来，将使用图3至图7给出利用现有帧内预测方案的预测模式的示例。

（1）帧内4×4预测模式

图3至图5是用于描述在帧内4×4预测模式下的预测模式候选的说明图。

参照图3，使出了在帧内4×4预测模式下可以使用的九种类型的预测模式（模式0至模式8）。此外，在图4中，示意性地示出了与各个模式号对应的预测方向。

在图5中，每个小写字母a至p表示4×4像素的编码目标预测单位的像素值。在编码目标预测单位周围的Rz（z=a,b,…,m）表示已编码参考像素值。以下，将使用这些编码目标像素值a至p和参考像素值Ra至Rm来描述对图3所示的每个预测模式下的预测像素值的计算。

（1-1）现有预测模式的示例模式0（Mode0）：垂直（Vertical）

模式0下的预测方向是垂直方向。在参考像素值Ra、Rb、Rc和Rd可利用的情况下可使用模式0。如下地计算每个预测像素值：

a=e=i=m=Ra

b=f=j=n=Rb

c=g=k=o=Rc

d=h=l=p=Rd

（1-2）模式1（Mode0））：水平（Horizontal）

模式1下的预测方向是水平的。在参考像素值Ri、Rj、Rk和Rl可利用的情况下可使用模式1。如下地计算每个预测像素值：

a=b=c=d=Ri

e=f=g=h=Rj

i=j=k=l=Rk

m=n=o=p=Rl

（1-3）模式2（Mode2）：DC

模式2表示DC预测（平均值预测）。在所有参考像素值Ra至Rd和Ri至Rl可利用的情况下，如下地计算每个预测像素值：

每个预测像素值=(Ra+Rb+Rc+Rd+Ri+Rj+Rk+Rl+4)＞＞3

在参考像素值Ri至Rl都不可利用的情况下，如下地计算每个预测像素值：

每个预测像素值=(Ra+Rb+Rc+Rd+2)＞＞2

在参考像素值Ra至Rd都不可利用的情况下，如下地计算每个预测像素值：

每个预测像素值=(Ri+Rj+Rk+Rl+2)＞＞2

在参考像素值Ra至Rd和Ri至Rl都不可利用的情况下，如下地计算每个预测像素值：

每个预测像素值=128

（1-4）模式3（Mode3）：对角_下_左（Diagonal_Down_Left）

模式3下的预测方向是左下对角。在参考像素值Ra至Rh可利用的情况下可使用模式3。如下地计算每个预测像素值：

a=(Ra+2Rb+Rc+2)＞＞2

b=e=(Rb+2Rc+Rd+2)＞＞2

c=f=i=(Rc+2Rd+Re+2)＞＞2

d=g=j=m=(Rd+2Re+Rf+2)＞＞2

h=k=n=(Re+2Rf+Rg+2)＞＞2

l=o=(Rf+2Rg+Rh+2)＞＞2

p=(Rg+3Rh+2)＞＞2

（1-5）模式4（Mode4）：对角_下_右（Diagonal_Down_Right）

模式4下的预测方向是右下对角。在参考像素值Ra至Rd和Ri至Rm可利用的情况下可使用模式4。如下地计算每个预测像素值：

m=(Rj+2Rk+Rl+2)＞＞2

i=n=(Ri+2Rj+Rk+2)＞＞2

e=j=o=(Rm+2Ri+Rj+2)＞＞2

a=f=k=p=(Ra+2Rm+Ri+2)＞＞2

b=g=l=(Rm+2Ra+Rb+2)＞＞2

c=h=(Ra+2Rb+Rc+2)＞＞2

d=(Rb+2Rc+Rd+2)＞＞2

（1-6）模式5（Mode5）：垂直_右（Vertical_Right）

模式5下的预测方向是右垂直。在参考像素值Ra至Rd和Ri至Rm可利用的情况下可使用模式5。如下地计算每个预测像素值：

a=j=(Rm+Ra+1)>>1

b=k=(Ra+Rb+1)>>1

c=l=(Rb+Rc+1)>>1

d=(Rc+Rd+1)>>1

e=n=(Ri+2Rm+Ra+2)>>2

f=o=(Rm+2Ra+Rb+2)>>2

g=p=(Ra+2Rb+Rc+2)>>2

h=(Rb+2Rc+Rd+2)>>2

i=(Rm+2Ri+Rj+2)>>2

m=(Ri+2Rj+Rk+2)>>2

（1-7）模式6（Mode6）：水平_下（Horizontal_Down）

模式6下的预测方向是下水平。在参考像素值Ra至Rd和Ri至Rm可利用的情况下可使用模式6。如下地计算每个预测像素值：

a=g=(Rm+Ri+1)>>1

b=h=(Ri+2Rm+Ra+2)>>2

c=(Rm+2Ra+Rb+2)>>2

d=(Ra+2Rb+Rc+2)>>2

e=k=(Ri+Rj+1)>>1

f=l=(Rm+2Ri+Rj+2)>>2

i=o=(Rj+Rk+1)>>1

j=p=(Ri+2Rj+Rk+2)>>2

m=(Rk+Rl+1)>>1

n=(Rj+2Rk+Rl+2)>>2

（1-8）模式7（Mode7）：垂直_左（Vertical_Left）

模式7下的预测方向是左垂直。在参考像素值Ra至Rg可利用的情况下可使用模式7。如下计算每个预测像素值：

a=(Ra+Rb+1)>>1

b=i=(Rb+Rc+1)>>1

c=j=(Rc+Rd+1)>>1

d=k=(Rd+Re+1)>>1

l=(Re+Rf+1)>>1

e=(Ra+2Rb+Rc+2)>>2

f=m=(Rb+2Rc+Rd+2)>>2

g=n=(Rc+2Rd+Re+2)>>2

h=o=(Rd+2Re+Rf+2)>>2

p=(Re+2Rf+Rg+2)>>2

（1-9）模式8（Mode8）：水平_上（Horizontal_Up）

模式8下的预测方向是上水平。在参考像素值Ri至Rl可利用的情况下可使用模式8。如下地计算每个预测像素值：

a=(Ri+Rj+1)>>1

b=(Ri+2Rj+Rk+2)>>2

c=e=(Rj+Rk+1)>>1

d=f=(Rj+2Rk+Rl+2)>>2

g=i=(Rk+R1+1)>>1

h=j=(Rk+3Rl+2)>>2

k=l=m=n=o=p=R1

上述九种类型的预测模式下的预测像素值的计算公式与由H.264/AVC定义的帧内4×4预测模式的计算公式相同。在将九种预测模式作为候选的同时，上述帧内预测部40中的第一预测部42a的第一预测计算部43a和第二预测部42b的第二预测计算部43b可以基于经排序部41排序后的参考像素值来计算对应于各个预测模式的预测像素值。

（2）帧内8×8预测模式

图6是用于说明帧内8×8预测模式下的预测模式的候选的说明图。参照图6，示出了在帧内8×8预测模式下可使用的九种类型的预测模式（模式0至模式8）。

模式0下的预测方向是垂直方向。模式1下的预测方向是水平方向。模式2表示DC预测（平均值预测）。模式3下的预测方向是左下对角。模式4下的预测方向是右下对角。模式5下的预测方向是右垂直。模式6下的预测方向是下水平。模式7下的预测方向是左垂直。模式8下的预测方向是上水平。

在帧内8×8预测模式下，在计算预测像素值之前，对参考像素值执行低通滤波。然后，基于低通滤波之后的参考像素值按照每个预测模式，计算预测像素值。帧内8×8预测模式的九种类型的预测模式下的预测像素值的计算公式也可以与由H.264/AVC定义的计算公式相同。在将帧内8×8预测模式的九种预测模式作为候选时，上述帧内预测部40中的第一预测部42a的第一预测计算部43a和第二预测部42b的第二预测计算部43b可基于经排序部41排序后的参考像素值计算对应于各个预测模式的预测像素值。

（3）帧内16×16预测模式

图7是用于描述帧内16×16预测模式下的预测模式的候选的说明图。参照图7，示出了在帧内16×16预测模式下可使用的四种类型的预测模式（模式0至模式3）。

模式0下的预测方向是垂直方向。模式1下的预测方向是水平方向。模式2表示DC预测（平均值预测）。模式3表示平面方向。帧内16×16预测模式的四种类型的预测模式下的预测像素值的计算公式也可以与由H.264/AVC定义的计算公式相同。在将帧内16×16预测模式的四种预测模式作为候选时，上述帧内预测部40中的第一预测部42a的第一预测计算部43a和第二预测部42b的第二预测计算部43b基于经排序部41排序后的参考像素值计算对应于各个预测模式的预测像素值。

（4）色度信号的帧内预测

可与对于亮度信号的预测模式无关地设置对于色度信号的预测模式。如在上述的对于亮度信号的帧内16×16预测模式下一样，对于色度信号的预测模式可包括四种类型的预测模式。在H.264/AVC下，对于色度信号的预测模式的模式0是DC预测，模式1是水平预测，模式2是垂直预测，以及模式4是平面预测。

[1-4.对排序处理的说明]

接下来，将使用图8至图10描述图2所示的帧内预测部40的排序部41进行的排序处理。

图8示出在帧内预测部40的排序部41进行的排序之前的宏块内的编码目标像素和在该宏块周围的参考像素。

参照图8，8×8像素的宏块MB包括每一个均为4×4像素的四个预测单位PU。此外，一个预测单位PC包括每一个均为2×2像素的四个子块SB。在本说明书中，子块是比宏块小的像素集合。基于子块来定义像素位置。一个子块内的像素可以按照特有的像素位置而彼此区分开。另一方面，多个不同的子块包括在相互共同的像素位置处的像素。另外，与图8所示的宏块对应的块还可称为术语“编码单位（CU）”和“最大编码单位（LCU）”。

在图8的示例中，一个子块SB包括分别由小写字母a至d表示的四个像素（四种类型的像素位置）。宏块MB的第一行L1包括总共具有八个像素a和b的四个子块。第一行L1的像素的顺序为a、b、a、b、a、b、a、b。宏块MB的第二行L2包括总共具有八个像素c和d的四个子块。第二行L2的像素的顺序为c、d、c、d、c、d、c、d。宏块MB的第三行中所包括的像素的顺序与第一行L1的像素的顺序相同。宏块MB的第四行中所包括的像素的顺序与第二行L2的像素的顺序相同。

在宏块MB周围示出分别由大写字母A、B和C表示的参考像素。从图8中可以看出，在本实施例中，将宏块MB上方隔一行的像素用作参考像素，而不是将宏块MB上方紧邻的像素用作参考像素。此外，将宏块MB左边隔一列的像素用作参考像素，而不是将宏块MB左边紧邻的像素用作参考像素。

图9是用于描述排序部41对图8所示的编码目标像素排序的示例的说明图。

排序部41对像素值排序的规则例如是如下规则。即，排序部41使得包括在宏块MB中的相邻子块的、在共同像素位置处的像素值在排序之后彼此相邻。例如，在图9的示例中，在第一行L1中包括的子块SB1、SB2、SB3和SB4的像素a的像素值在排序之后按此顺序彼此相邻。在第一行L1中包括的子块SB1、SB2、SB3和SB4的像素b的像素值在排序之后按此顺序彼此相邻。同样，在第二行L2中包括的子块SB1、SB2、SB3和SB4的像素c的像素值在排序之后按此顺序彼此相邻。在第二行L2中包括的子块SB1、SB2、SB3和SB4的像素d的像素值在排序之后按此顺序彼此相邻。

排序部41将子块SB1至SB4的排序后的像素a的像素值输出至第一预测部42a。然后，当这些像素的预测像素值的生成结束时，排序部41将子块SB1至SB4的排序后的像素b的像素值输出至第一预测部42a。随后，排序部41将子块SB1至SB4的排序后的像素c的像素值输出至第二预测部42b。然后，当这些像素b和c的预测像素值的生成结束时，排序部41将子块SB1至SB4的排序后的像素d的像素值输出至第一预测部42a。

图10是用于描述排序部41对图8所示的参考像素排序的示例的说明图。

排序部41使得分别与包括在宏块MB内的相邻子块SB中的共同像素位置对应的参考像素的像素值在排序之后彼此相邻。例如，在图9的示例中，在子块SB1、SB2、SB3和SB4的像素a之上的参考像素A按此顺序彼此相邻。排序部41将这些参考像素A的像素值输出至第一预测部42a。然后，当像素a的预测像素值的生成结束时，排序部41将参考像素B的像素值输出至第一预测部42a。另外，在图9的示例中，像素b的像素值可输出至第二预测部42b，并且像素c的像素值可输出至第一预测部42a。在这种情况下，排序部41将参考像素B的像素值输出至第二预测部42b。

排序部41在不进行排序的情况下将在宏块MB的左边的参考像素A和C的像素值输出至第一预测部42a和第二预测部42b。

[1-5.并行处理的第一示例]

图11是用于描述帧内预测部40的第一预测部42a和第二预测部42b进行的并行处理的示例的说明图。参照图11，图8所示的宏块MB内的像素的预测像素值的生成处理被分成第一组、第二组和第三组。

第一组仅包括第一预测部42a进行的像素a的预测像素值的生成。即，属于第一组的像素a的预测像素值的生成不与其他像素位置的预测像素值的生成并行地执行。第一预测部42a使用像素A作为上述在右上方、在左上方和在左边的参考像素。

第二组包括第一预测部42a进行的像素b的预测像素值的生成以及第二预测部42b进行的像素c的预测像素值的生成。即，并行执行像素b的预测像素值的生成和像素c的预测像素值的生成。第一预测部42a使用像素B作为在上方和在右上方的参考像素，将像素A用作在左上方的参考像素，以及将预测像素值已在第一组中生成的像素a用作在左边的参考像素。第二预测部42b使用预测像素值已在第一组中生成的像素a作为在上方的参考像素，使用像素A作为在右上方和在左上方的参考像素，以及使用像素C作为在左方的参考像素。另外，替代图11的示例，第一预测部42a可生成像素c的预测像素值，并且第二预测部42b可生成像素b的预测像素值。

第三组仅包括第一预测部42a进行的像素d的预测像素值的生成。即，属于第三组的像素d的预测像素值的生成不与其他像素位置的预测像素值的生成并行地执行。第一预测部42a使用预测像素值已在第二组中生成的像素b作为在上方的参考像素，使用像素B作为在右上方的参考像素，使用预测像素值已在第一组中生成的像素a作为在左上方的参考像素，以及使用预测像素值已在第二组中生成的像素c作为在左边的参考像素。

与在串行生成预测像素值时相比，可以以较小时间对每个子块的四种类型的像素位置执行预测像素值的生成。此外，仅使用像素a之间的相关性和与对应于像素a的参考像素A的相关性来生成属于图11所示的第一组的像素a的预测像素值，而不使用与其他像素位置的像素值的相关性。因此，通过利用这样的帧内预测处理对图像进行编码，使得具有低处理性能或低分辨率显示的终端能够仅对例如像素a的位置的像素值进行部分解码。

[1-6.并行处理的第二示例]

另外，帧内预测部40可通过包括第三预测部（第三处理分支）来实现与图11的示例不同的并行处理。图12是示出这样的帧内预测部40的详细配置的示例的框图。参照图12，帧内预测部40包括排序部41、预测部42和模式缓冲器45。此外，预测部42包括并行布置的三个处理分支，即第一预测部42a、第二预测部42b和第三预测部42c。

图13是用于描述图12所示的帧内预测部40进行的并行处理的示例的说明图。参照图13，图8所示的宏块MB内的像素的预测像素值的生成处理被分成第一组和第二组。

第一组仅包括第一预测部42a进行的像素a的预测像素值的生成。即，属于第一组的像素a的预测像素值的生成不与其他像素位置的预测像素值的生成并行地执行。第一预测部42a使用像素A作为在上方、在右上方、在左上方和在左边的参考像素。

第二组包括第一预测部42a进行的像素b的预测像素值的生成、第二预测部42b进行的像素c的预测像素值的生成、以及第三预测部42c进行的像素d的预测像素值的生成。即，并行执行像素b、像素c和像素d的预测像素值的生成。第一预测部42a使用像素B作为在上方和在右上方的参考像素，使用像素A作为在左上方的参考像素，以及使用预测像素值已在第一组中生成的像素a作为在左边的参考像素。第二预测部42b使用预测像素值已在第一组中生成的像素a作为在上方的参考像素，使用像素A作为在右上方和在左上方的参考像素，使用像素C作为在左边的参考像素。第三预测部42d使用像素B作为在上方和在右上方的参考像素，使用预测像素值已在第一组中生成的像素a作为在左上方的参考像素，以及使用像素C作为在左边的参考像素。

与第一示例的并行处理相比，可通过并行处理以更少时间对每个块执行预测像素值的生成。此外，与第一示例一样，仅使用像素a之间的相关性和与对应于像素a的参考像素A的相关性来生成属于图13所示的第一组的像素a的预测像素值，而不使用与其他像素位置的像素值的相关性。因此，通过利用这样的帧内预测处理对图像进行编码，使得具有低处理性能或低分辨率显示的终端能够对例如像素a的位置的像素值进行部分解码。

另外，在图11和图13中，已主要描述了在帧内4×4预测模式下执行帧内预测处理的示例。然而，帧内预测部40还可在上述帧内8×8预测模式或帧内16×16预测模式下执行帧内预测处理。

例如，参照图14，在第一行L1中包括的八个子块SB1至SB8的像素a的像素值在排序之后彼此相邻。在第一行中包括的八个子块SB1至SB8的像素b的像素值在排序之后彼此相邻。这同样可适用于在第二行L2中包括的像素c和像素d的像素值。在这些之中，排序后的像素a的像素值输出至第一预测部42a。从而，第一预测部42a可以在帧内8×8预测模式下生成像素a的预测像素值。以相同的方式，可在帧内8×8预测模式下生成像素b、c和d的预测像素值。

[1-7.对新预测模式的说明]

如关于图3所述的，对于现有的帧内预测方案，可在帧内4×4预测模式下使用九种类型的预测模式（模式0至模式8）。除此之外，在本实施例中，可将基于宏块内的相邻像素之间的相关性的新预测模式用作预测模式的候选。在本说明书中，该新预测模式是模式9。模式9是通过基于相邻像素之间的邻近相关性对预测目标像素周围的像素值进行相移来生成预测目标的像素值的模式。

图15A至图15D是用于描述作为新预测模式的模式9的说明图。参照图15A，示出了对于图8中所示的子块内的像素b的模式9的预测公式。当作为预测目标的像素被给出为b₀，并且在排序之前的像素b₀的左像素和右像素被分别给出为像素a₁和a₂时，可以按以下方式计算像素b₀的预测像素值：

b₀=(a₁+a₂+1)>>1

此外，对于例如像素b₁，由于其在预测单位的右端，所以在其右边没有像素。在这种情况下，可以按以下方式计算像素b₁的预测像素值：

b₁=a₂

由于已在像素b之前对像素a编码，因此，这些预测公式是可能的。

图15A所示的预测公式是用于通过所谓的线性插值计算对像素值进行相移的预测公式。替选地，可以使用用于通过有限脉冲响应（FIR）滤波器使用在像素b的左边的多个像素a的像素值和在像素b的右边的多个像素a的像素值的计算来对像素值进行相移的预测公式。在这种情况下的FIR滤波器的抽头数为例如六个、四个等。

参照图15B，示出了对于图8所示的子块内的像素c的模式9的预测公式。当作为预测目标的像素被给出为c₀，并且在排序之前像素c₀之上的像素和之下的像素被分别给出为a₁和a₂时，可以按以下方式计算像素c₀的预测像素值：

c₀=(a₁+a₂+1)>>1

此外，对于例如像素c₁，由于其在预测单位的下端，因此下面没有像素。在这种情况下，可以按以下方式计算像素c₁的预测像素值。

c₁=a₂

由于已在像素c之前对像素a编码，因此这些预测公式是可能的。当然，还可对像素c使用基于FIR滤波器的计算的预测公式，而不是线性插值。

参照图15C，示出了对于图8中所示的子块内的像素d的模式9的预测公式。当作为预测目标的像素被给出为d₀，在左边的像素和在右边的像素被分别给出为像素c₁和c₂，并且在像素d₀之上的像素和之下的像素被分别给出为b₁和b₂时，可以按以下方式计算像素d₀的预测像素值：

d₀=(b₁+b₂+c₁+c₂+2)>>2

此外，对于例如像素d₁，由于其在预测单位的右下角，因此在右边和下面没有像素。在这种情况下，可以按以下方式计算像素d₁的预测像素值：

d₁=(b₃+c₃+1)>>1

由于已在像素d之前对像素b和c编码，因此这些预测公式是可能的。

另外，对于图15C的像素d的模式9的预测公式假设：如同关于图11所述的并行处理，在对像素d执行预测时，相邻像素b和c的预测像素值的生成结束。相反，在对像素d执行预测时，像素b和c的预测像素值的生成没有结束的情况下，如同关于图13所述的并行处理一样，可使用图15D所示的预测公式。

参照图15D，示出了对于像素d的模式9的预测公式的其他示例。当作为预测目标的像素被给出为d₀并且在像素d₀的左上方、右上方、右下方和左下方的像素被分别给出为a₁、a₂、a₃和a₄时，可以按如下方式计算对于像素d₀的预测像素值：

d₀=(a₁+a₂+a₃+a₄+2)>>2

此外，对于例如像素d₁，由于其在预测单位的右端，因此在右上方或右下方没有像素。在这种情况下，可以按以下方式计算d₁的预测像素值：

d₁=(a₂+a₃+1)>>1

此外，对于例如像素d1，由于其在预测单位的右下角，因此，在右上方、右下方或左下方没有像素。在这种情况下，可以按以下方式计算像素d₂的预测像素值：

d₂=a₃

由于已在像素d之前对像素a编码，因此，这些预测公式是可能的。

如所述的，与现有方案相比，通过将基于预测单位中的像素之间的相关性的新预测模式包括在预测模式的候选中，可以提高帧内预测的精确性，并且可以提高编码效率。现在，随着像素之间的距离越小，像素之间的相关性通常就越强。因此，可以认为根据宏块内的相邻像素的像素值生成预测像素值的上述新预测模式是用于提高帧内预测的精确性并提高编码效率的有效预测模式。

另外，在作为预测目标的像素位于预测单位的端部处的情况下，可在通过横跨预测单位的边界对像素值执行镜像处理来插入在边界外的像素值之后，可应用根据FIR滤波器的计算或线性插值的预测公式。此外，可通过保持处理来在边界外插入像素值。例如，在图16的上部示例中，对在预测单位的右端处的像素b₀的左边的三个像素a₀、a₁和a₂的像素值执行镜像处理，以获得预测单位的边界外的像素值。此外，在图16的下部示例中，通过对在预测单位的右端处的像素b₀的左边的像素a₀的像素值进行保持处理来在预测单位的边界外插入像素值。在任一情况下，作为插入像素值的结果，使得能够使用在像素b₀附近的六个像素a_i的像素值。从而，可以使用例如6抽头FIR滤波器来生成像素b₀的预测像素值。

顺便提及，通过对图9和图10所示的像素值进行排序，可在不预先假定部分解码的情况下实现与并行帧内预测的处理速度的增加和编码效率的提高相关的上述优点。在不预先假定部分编码的情况下，可使用紧接在宏块MB左边或上面的像素作为参考像素，而不是如图8所示那样与宏块MB相隔一行或一列的像素。

[1-8.预测方向的估计]

帧内预测部40的第一预测部42a和第二预测部42b（和第三预测部42c）可根据为参考像素所属的块设置的预测模式估计编码目标块的最佳预测模式（预测方向），以抑制比特率由于预测模式信息的编码而导致的增大。在这种情况下，如果所估计的预测模式（下文中，称为估计预测模式）和使用成本函数所选择的最佳预测模式相同，则可仅将表示可以估计预测模式的信息编码为预测模式信息。表示可以估计预测模式的信息对应于例如H.264/AVC中的“MostProbableMode”。

图17是用于描述预测方向的估计的说明图。参照图17，示出了作为编码目标的预测单位PU₀和在预测单位PU₀的左边的参考块PU₁和在预测单位PU₀之上的参考块PU₂。为参考块PU₁设置的参考预测模式和为参考块PU₂设置的参考预测模式是M₂。此外，对于编码目标预测单位PU₀的估计预测模式是M₀。

在H.264/AVC中，通过以下公式决定估计预测模式M₀：

M₀=min(M₁,M₂)

即，参考预测模式M₁和M₂之中具有较小预测模式号的参考预测模式将作为对于编码目标预测单位的估计预测模式。

根据本实施例的帧内预测部40的第一预测部42a针对图11或图13所示的在排序之后所获得的每个组来决定这样的估计预测模式。例如，基于排序之后在像素a之上的参考块和在像素a的右边的参考块的参考预测模式决定对于第一组（即，像素a）的估计预测模式。然后，在为像素a决定的估计预测模式与最佳预测模式相同的情况下（即，在可以估计预测模式的情况下），第一预测部42a生成表示可以针对像素a来估计预测模式的信息而不是预测模式号，并且输出所生成的信息。

通过以此方式仅基于对于参考块内的像素a的预测模式来决定对于像素a的估计预测模式，可以通过也在实现对像素a的部分解码的情况下使用估计预测模式，抑制比特率的增大。

<2.根据实施例的在编码时的处理流程>

接下来，将使用图18和图19描述在编码时的处理流程。图18是示出在具有图2所示的配置的帧内预测部40的编码时的帧内预测处理的流程示例的流程图。

参照图18，首先，排序部41根据图10所示的规则对从帧存储器25提供的参考图像数据中所包括的参考像素值进行排序（步骤S100）。然后，排序部41将这系列排序后的参考像素值当中的关于第一像素位置（例如，像素a）的参考像素值输出至第一预测部42a。

接下来，排序部41根据图9所示的规则对原始图像中的宏块内所包括的像素值进行排序（步骤S110）。然后，排序部41将这系列排序后的像素值之中的第一像素位置的像素值输出至第一预测部42a。

接下来，第一预测部42a对第一像素位置的像素执行帧内预测处理而不利用与另一像素位置的像素值的相关性（步骤S120）。然后，第一预测部42a从多种预测模式中选择最佳预测模式（步骤S130）。表示此处所选的最佳预测模式的预测模式信息（或者表示可以估计预测模式的信息）从帧内预测部40输出至无损编码部16。此外，包括与最佳预测模式对应的预测像素值的预测像素数据从帧内预测部40输出至减法部13。

接下来，排序部41将关于第二像素位置（例如，像素b）的参考像素值和第二像素位置的像素值输出至第一预测部42a。此外，排序部41将关于第三像素位置（例如，像素c）的参考像素值和第三像素位置的像素值输出至第二预测部42b。然后，并行执行第一预测部42a对第二像素位置的像素的帧内预测处理和第二预测部42b对第三像素位置的像素的帧内预测处理（步骤S140）。然后，第一预测部42a和第二预测部42b均从多种预测模式中选择最佳预测模式（步骤S150）。另外，这里，多种预测模式包括上述的、基于与第一像素位置的像素值的相关性的新预测模式。这里，表示所选的最佳预测模式的预测模式信息从帧内预测部40输出至无损编码部16。此外，包括与最佳预测模式对应的预测像素值的预测像素数据从帧内预测部40输出至减法部13。

接下来，排序部41将关于第四像素位置（例如，像素d）的参考像素值和第四像素位置的像素值输出至第一预测部42a。然后，第一预测部42a对第四像素位置的像素执行帧内预测处理（步骤S160）。然后，第一预测部42a从多种预测模式中选择最佳预测模式（步骤S170）。另外，这里，多种预测模式包括上述的、基于第二像素位置的像素值与第三像素位置的像素值之间的相关性的新预测模式。这里，表示所选的最佳预测模式的预测模式信息从帧内预测部40输出至无损编码部16。此外，包括与最佳预测模式对应的预测像素值的预测像素数据从帧内预测部40输出至减法部13。

图19是示出具有图12所示的配置的帧内预测部40在编码时的帧内预测处理的流程示例的流程图。

参照图19，首先，排序部41根据图10所示的规则对从帧存储器25提供的参考图像数据中所包括的参考像素值进行排序（步骤S100）。然后，排序部41将这系列排序后的参考像素值当中的关于第一像素位置（例如，像素a）的参考像素值输出至第一预测部42a。

接下来，排序部41根据图9所示的规则对原始图像中的宏块内所包括的像素值进行排序（步骤S110）。然后，排序部41将这系列排序后的像素值之中的、第一像素位置的像素值输出至第一预测部42a。

接下来，第一预测部42a对第一像素位置的像素执行帧内预测处理而不利用与另一像素位置的像素值的相关性（步骤S120）。然后，第一预测部42a从多种预测模式中选择最佳预测模式（步骤S130）。这里，表示所选的最佳预测模式的预测模式信息（或者表示可以估计预测模式的信息）从帧内预测部40输出至无损编码部16。此外，包括预测像素值的预测像素数据从帧内预测部40输出至减法部13。

接下来，排序部41将关于第二像素位置（例如，像素b）的参考像素值和第二像素位置的像素值输出至第一预测部42a。此外，排序部41将关于第三像素位置（例如，像素c）的参考像素值和第三像素位置的像素值输出至第二预测部42b。此外，排序部41将关于第四像素位置（例如，像素d）的参考像素值和第四像素位置的像素值输出至第三预测部42c。然后，并行地执行第一预测部42a对第二像素位置的像素的帧内预测处理、第二预测部42b对第三像素位置的像素的帧内预测处理和第三预测部42c对第四像素位置的像素的帧内预测处理（步骤S145）。然后，第一预测部42a、第二预测部42b和第三预测部42c均从多种预测模式中选择最佳预测模式（步骤S155）。另外，这里，多种预测模式可包括上述的、基于与第一像素位置的像素值的相关性的新预测模式。这里，表示所选的最佳预测模式的预测模式信息从帧内预测部40输出至无损编码部16。此外，包括与最佳预测模式对应的预测像素值的预测像素数据从帧内预测部40输出至减法部13。

<3.根据实施例的图像解码装置的示例配置>

在本章节中，将使用图20和图21描述根据实施例的图像解码装置的示例配置。

[3-1.整体配置的示例]

图20是示出根据实施例的图像解码装置60的配置示例的框图。参照图20，图像解码装置60包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、去块滤波器66、排序缓冲器67、D/A（数模）转换部68、帧存储器69、选择器70至71、运动补偿部80和帧内预测部90。

累积缓冲器61使用存储介质临时存储经由传输线输入的编码流。

无损解码部62根据在编码时所使用的编码方法来对从累积缓冲器61输入的编码流进行解码。此外，无损解码部62对复用至编码流的头部区域的信息进行解码。复用至编码流的头部区域的信息可包括例如块头部中的关于帧间预测的信息和关于帧内预测的信息。无损解码部62将关于帧间预测的信息输出至运动补偿部80。此外，无损解码部62将关于帧内预测的信息输出至帧内预测部90。

逆量化部63对已被无损解码部62解码后的量化数据进行逆量化。逆正交变换部64通过根据在编码时所使用的正交变换方法对从逆量化部63输入的变换系数数据进行逆正交变换来生成预测误差数据。然后，逆正交变换部64将所生成的预测误差数据输出至加法部65。

加法部65将从逆正交变换部64输入的预测误差数据与从选择器71输入的预测图像数据相加，从而生成解码图像数据。然后，加法部65将所生成的解码图像数据输出至去块滤波器66和帧存储器69。

去块滤波器66通过对从加法部65输入的解码图像数据进行滤波来去除块失真，并且将滤波之后的解码图像数据输出至排序缓冲器67和帧存储器69。

排序缓冲器67通过对从去块滤波器66输入的图像进行排序来生成按时序的一系列图像数据。然后，排序缓冲器67将所生成的图像数据输出至D/A转换部68。

D/A转换部68将从排序缓冲器67输入的具有数字格式的图像数据转换成具有模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出至例如连接至图像解码装置60的显示器（未示出）来使得图像被显示。

帧存储器69使用存储介质来存储从加法部65输入的滤波之前的解码图像数据和从去块滤波器66输入的滤波之后的解码图像数据。

选择器70根据无损解码部62获取的模式信息，针对图像中的每个块来将来自帧存储器70的图像数据的输出目的地在运动补偿部80与帧内预测部90之间进行切换。例如，在指定帧间预测模式的情况下，选择器70将从帧存储器70提供的、滤波之后的解码图像数据作为参考图像数据输出至运动补偿部80。此外，在指定帧内预测模式的情况下，选择器70将从帧存储器70提供的、滤波之前的解码图像数据作为参考图像数据输出至帧内预测部90。

选择部71根据无损解码部62获取的模式信息，将要提供给加法部65的预测图像数据的输出源在运动补偿部80与帧内预测部90之间进行切换。例如，在指定帧间预测模式的情况下，选择器71将从运动补偿部80输出的预测图像数据提供至加法部65。此外，在指定帧内预测模式的情况下，选择器71将从帧内预测部90输出的预测图像数据提供至加法部65。

运动补偿部80基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器69的参考图像数据来执行运动补偿处理，并且生成预测图像数据。然后，运动补偿部80将所生成的预测图像数据输出至选择部71。

帧内预测部90基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器69的参考图像数据来执行帧内预测处理，并且生成预测图像数据。然后，帧内预测部90将所生成的预测图像数据输出至选择部71。在本实施例中，通过多个处理分支使帧内预测部90的帧内预测处理并行化。稍后将详细描述由帧内预测部90进行的并行的帧内预测处理。

另外，在输入分辨率太高而不被图像解码装置60的处理性能或显示分辨率支持的图像数据的情况下，帧内预测部90例如仅对每个子块内的第一像素位置执行帧内预测处理，并且生成具有低分辨率的预测图像数据。在这种情况下，运动补偿部80也可以仅对第一像素位置执行帧间预测处理，并生成具有低分辨率的预测图像数据。

另一方面，在可以支持输入图像数据的分辨率的情况下，帧内预测部90可对宏块内所包括的所有像素位置执行帧内预测处理，此时，帧内预测部90使用多个处理分支来并行地执行帧内预测处理的一部分。

通过使帧内预测部90的帧内预测处理并行化，还可以使上述逆量化部63、逆正交变换部64和加法部65的与帧内预测模式相关的处理并行化。在这种情况下，如图20所示，逆量化部63、逆正交变换部64、加法部65和帧内预测部90形成并行处理部分72。此外，并行处理部分72中的各部包括多个处理分支。并行处理部分71中的各部在使用多个处理分支执行帧内预测模式下的并行处理的同时可以在帧间预测模式下仅使用一个处理分支。

[3-2.帧内预测部的示例配置]

图21和图22均是示出图20所示的图像解码装置60的帧内预测部90的详细配置的示例的框图

（1）第一示例配置

图21是示出与在图2所示的编码侧的帧内预测部40的示例配置对应的解码侧的第一示例配置。参照图21，帧内预测部90包括确定部91、排序部92和预测部93。此外，预测部93包括作为并行布置的两个处理分支的第一预测部93a和第二预测部93b。

确定部91基于包括在输入编码流中的图像数据的分辨率，确定是否要执行部分解码。例如，如果图像数据的分辨率太高而不被图像解码装置60的处理性能或显示分辨率所支持，则确定部91决定执行部分解码。此外，例如，如果图像解码装置60的处理性能或显示分辨率可以支持图像数据的分辨率，则确定部91决定对所有图像数据进行解码。此外，确定部91可基于例如编码流的头部信息确定编码流中所包括的图像数据是否是允许部分解码的图像数据。然后，确定部91将确定结果输出至排序部92、第一预测部93a和第二预测部93b。

排序部92根据关于图10所述的规则对包括在从帧存储器69提供的参考图像数据中的参考像素值进行排序。然后，排序部92将排序后的参考像素值当中的关于第一像素位置（例如，像素a）的参考像素值输出至第一预测部93a。

此外，在确定部91决定对所有图像数据进行解码的情况下，排序部92将排序后的参考像素值当中的关于第二像素位置（例如，像素b）的参考像素值输出至第一预测部93a，并且此外，将关于第三像素位置（例如，像素c）的参考像素值输出至第二预测部93b。此外，排序部92将排序后的参考像素值当中的关于第四像素位置（例如，像素d）的参考像素值输出至第一预测部93a。此外，排序部92通过图9所示的示例的反向处理来将第一预测部93a和第二预测部93b生成的第一、第二、第三和第四像素位置的预测像素值排序成原始顺序。

第一预测部93a包括第一模式缓冲器94a和第一预测计算部95a。第一模式缓冲器94a获取在从无损解码部62输入的关于帧内预测的信息中包括的预测模式信息，并且使用存储介质来临时存储所获取的预测模式信息。例如，预测模式信息包括表示作为帧内预测的处理单位的预测单位的大小的信息（例如，帧内4×4预测模式、帧内8×8预测模式等）。此外，例如，预测模式信息包括表示从多个预测方向中被选择为在对图像编码时最佳的预测方向的信息。此外，预测模式信息可包括表示可以估计预测模式的信息，但在该情况下，预测模式信息不包括表示预测方向的预测模式号。第一预测计算部95a根据存储在第一模式缓冲器94a中的预测模式信息来计算第一像素位置的预测像素值。在计算第一像素位置的预测像素值时，第一预测计算部95a不使用与对应于另一像素位置的参考像素的像素值的相关性。另外，在预测模式信息表示可以估计对于第一像素位置的预测模式的情况下，第一预测计算部95a根据在计算参考块的第一像素位置的预测像素值时所选的预测模式来估计用于计算第一像素位置的预测像素值的预测模式。

在确定部91决定执行部分解码的情况下，仅包括第一预测部93a以此方式生成的预测像素值的预测图像数据经由排序部92输出至选择器71。即，在这种情况下，对仅与属于图11中的第一组的像素有关的像素值进行解码，并且跳过与属于第二组和第三组的像素有关的处理。

此外，在确定部91决定对所有图像数据进行解码的情况下，第一预测计算部95a还根据存储在第一模式缓冲器94a中的预测模式信息顺序地计算第二像素位置和第四像素位置的预测像素值。在计算第二像素位置的预测像素值时，如果预测模式信息表示例如模式9，则第一预测计算部95a可使用与第一像素位置的像素值的相关性。此外，在计算第四像素位置的预测像素值时，如果预测模式信息表示例如模式9，则第一预测计算部95a可使用与第二像素位置的像素值的相关性和与第三像素位置的像素值的相关性。

第二预测部93b包括第二模式缓冲器94b和第二预测计算部95b。在确定部91决定对所有图像数据进行解码的情况下，第二预测计算部95b根据存储在第二模式缓冲器94b中的预测模式信息来计算第三像素位置的预测像素值。并行地执行第一预测计算部95a对第二像素位置的预测像素值的计算和第二预测计算部95b对第三像素位置的预测像素值的计算。在计算第三像素位置的预测像素值时，如果预测模式信息表示例如模式9，则第二预测计算部95b可使用与第一像素位置的像素值的相关性。

在确定部91决定对所有图像数据进行解码的情况下，第一预测部93a和第二预测部93b以此方式生成的预测像素值输出至排序部92。然后，排序部92通过将预测像素值排序成原始顺序来生成预测图像数据，并且将所生成的预测图像数据输出至选择器71。即，在这种情况下，不仅针对属于图11的第一组的像素而且针对属于第二组和第三组的像素来对像素值进行解码。

（2）第二示例配置

图22示出与图12所示的编码侧的帧内预测部40的示例配置对应的解码侧的第二示例配置。参照图22，帧内预测部90包括确定部91、排序部92和预测部93。此外，预测部93包括作为并行布置的三个处理分支的第一预测部93a、第二预测部93b和第三预测部93c。

确定部91基于包括在输入编码流中的图像数据的分辨率确定是否要执行部分解码。然后，确定部91将确定结果输出至排序部92、第一预测部93a、第二预测部93b和第三预测部93c。

排序部92根据关于图10所述的规则对包括在从帧存储器69提供的参考图像数据中的参考像素值进行排序。然后，排序部92将排序后的参考像素值当中的关于第一像素位置的参考像素值输出至第一预测部93a。

此外，在确定部91决定对所有图像数据进行解码的情况下，排序部92将排序后的参考像素值当中的关于第二像素位置的参考像素值输出至第一预测部93a、将关于第三像素位置的参考像素值输出至第二预测部93b和关于第四像素位置的参考像素值输出至第三预测部93c。

第一预测计算部95a根据存储在第一模式缓冲器94a中的预测模式信息计算第一像素位置的预测像素值。在计算第一像素位置的预测像素值时，第一预测计算部95a不使用与对应于另一像素位置的参考像素的像素值的相关性。

在确定部91决定进行部分解码的情况下，仅包括第一预测部93a以此方式生成的预测像素值的预测图像数据经由排序部输出至选择部71。即，在这种情况下，对与属于图13中的第一组的像素有关的像素值进行解码，并且跳过与属于第二组的像素有关的处理。

此外，在确定部91决定对所有图像数据进行解码的情况下，第一预测计算部95a还根据存储在第一模式缓冲器94a中的预测模式信息来计算第二像素位置的预测像素值。在计算第二像素位置的预测像素值时，如果预测模式信息表示例如模式9，则第一预测计算部95a可使用与第一像素位置的像素值的相关性。

此外，第二预测计算部95b根据存储在第二模式缓冲器94b中的预测模式信息计算第三像素位置的预测像素值。在计算第三像素位置的预测像素值时，如果预测模式信息表示例如模式9，则第二预测计算部95b可使用与第一像素位置的像素值的相关性。

第三预测部93c包括第三模式缓冲器94c和第三预测计算部95c。在确定部91决定对所有图像数据进行解码的情况下，第三预测计算部95c根据存储在第三模式缓冲器94c中的预测模式信息来计算第四像素位置的预测像素值。并行地执行第一预测计算部95a对第二像素位置的预测像素值的计算、第二预测计算部95b对第三像素位置的预测像素值的计算以及第三预测部95c对第四像素位置的预测像素值的计算。在计算第四像素位置的预测像素值时，如果预测模式信息表示例如模式9，则第三预测计算部95c可使用与第一像素位置的像素值的相关性。

在确定部91决定对所有图像数据进行解码的情况下，第一预测部93a、第二预测部93b和第三预测部93c以此方式生成的预测像素值输出至排序部92。然后，排序部92通过将预测像素值排序成原始顺序来生成预测图像数据，并且将所生成的预测图像数据输出至选择器71。即，在这种情况下，不仅对属于图13的第一组的像素进行解码，而且还对属于第二组的像素进行解码。

<4.根据实施例的在解码时的处理流程>

接下来，将使用图23和图24描述在解码时的处理流程。图23是示出具有图21所示的配置的帧内预测部90在进行解码时的帧内预测处理的流程示例的流程图。

参照图23，首先，排序部92根据图10所示的规则对包括在从帧存储器69提供的参考图像数据中的参考像素值进行排序（步骤S200）。然后，排序部92将排序后的参考像素值当中的关于第一像素位置（例如，像素a）的参考像素值输出至第一预测部93a。

接下来，第一预测部93a获取从无损解码部62输入的关于第一像素位置的预测模式信息（步骤S210）。然后，第一预测部93a根据由所获取的预测模式信息表示的预测模式来执行对第一像素位置的帧内预测处理，并且生成预测像素值（步骤S220）。

此外，确定部91基于在输入编码流中包括的图像数据的分辨率确定是否要执行部分解码（步骤S230）。这里，如果确定部91决定要执行部分解码，则将仅包括第一像素位置的像素值的预测图像数据经由排序部92输出至选择器71（步骤S235）。另一方面，如果决定不执行部分解码，即，如果决定对所有图像数据进行解码，则处理进行至步骤S240。

在步骤S240中，第一预测部93a获取关于第二像素位置（例如，像素b）的预测模式信息，并且此外，第二预测部93b获取关于第三像素位置（例如，像素c）的预测模式信息（步骤S240）。此外，排序部92将排序后的参考像素值当中的关于第二像素位置的参考像素值输出至第一预测部93a。此外，排序部92将排序后的参考像素值当中的关于第三像素位置的参考像素值输出至第二预测部93b。然后，并行地执行第一预测部93a对第二像素位置的帧内预测处理和第二预测部93b对第三像素位置的帧内预测处理，并且生成预测像素值（步骤S250）。

接下来，第一预测部93a获取关于第四像素位置（例如，像素d）的预测模式信息（步骤S260）。此外，排序部92将排序后的参考像素值当中的关于第四像素位置的参考像素值输出至第一预测部93a。然后，第一预测部93a执行对第四像素位置的帧内预测处理，并且生成预测像素值（步骤S270）。

然后，排序部92通过将第一预测部93a和第二预测部93b生成的第一、第二、第三和第四像素位置的预测像素值排序成原始顺序来生成预测图像数据（步骤S280）。然后，排序部92将所生成的预测像素数据输出至选择器71（步骤S290）。

图24是示出具有图22所示的配置的帧内预测部90在进行解码时的帧内预测处理的流程示例的流程图。

参照图24，从步骤S200到步骤S230的处理与图23中的处理系统。如果在步骤S230中确定部91决定要执行部分解码，则将仅包括第一像素位置的像素值的预测图像数据经由排序部92输出至选择器71（步骤S235）。另一方面，如果决定不执行部分解码，即，如果决定要对所有图像数据进行解码，则处理进行至步骤S245。

在步骤S245中，第一预测部93a获取关于第二像素位置的预测模式信息，第二预测部93b获取关于第三像素位置的预测模式信息，并且第三预测部93c获取关于第四像素位置的预测模式信息（步骤S245）。然后，并行地执行第一预测部93a对第二像素位置的帧内预测处理、第二预测部93b对第三像素位置的帧内预测处理以及第三预测部93c对第四像素位置的帧内预测处理，并且生成预测像素值（步骤S255）。

然后，排序部92通过将第一预测部93a、第二预测部93b和第三预测部93c生成的第一、第二、第三和第四像素位置的预测像素值排序成原始顺序来生成预测图像数据（步骤S280）。然后，排序部92将所生成的预测像素数据输出至选择部71（步骤S290）。

<5.示例应用>

根据上述实施例的图像编码装置10和图像解码装置60可应用于各种电子设备，诸如用于卫星广播、有线广播（诸如有线TV）、互联网上的分布、经由蜂窝式通信向终端的分布等的发射机和接收机、将图像记录在介质（诸如，光盘、磁盘或闪存）中的记录装置、再现来自这样的存储介质的图像的再现装置等。以下将描述四个示例应用。

[5-1.第一示例应用]

图25是示出采用上述实施例的电视机的示意性配置的示例的框图。电视机900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。

调谐器902从经由天线901接收到的广播信号提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调所获得的编码比特流输出至解复用器903。即，调谐器902用作电视机900的传输装置，其用于接收图像被编码的编码流。

解复用器903从编码比特流中分离要观看的节目的视频流和音频流，并且将分离出的每个流输出至解码器904。此外，解复用器903从编码比特流中提取诸如EPG（电子节目指南）的辅助数据，并且将所提取的数据提供至控制部910。另外，解复用器903可在编码比特流被扰码的情况下执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出至视频信号处理部905。此外，解码器904将通过解码处理所生成的音频数据输出至音频信号处理部907。

视频信号处理部905再现从解码器904输入的视频数据，并且使得显示部906显示视频。视频信号处理部905还可使得显示部906显示经由网络提供的应用画面。另外，视频信号处理部905可根据设置对视频数据例如执行诸如噪声去除的附加处理。此外，视频信号处理部905可例如生成诸如菜单、按钮、光标等GUI（图形用户界面）的图像，并且将所生成的图像叠加在输出图像上。

显示部906被视频信号处理部905提供的驱动信号所驱动，并且在显示装置（例如，液晶显示器、等离子显示器、OLED等）的视频屏幕上显示视频或图像。

音频信号处理部907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出音频。此外，音频信号处理部907可对音频数据执行诸如噪声去除的附加处理。

外部接口909是用于连接电视机900和外部设备或网络的接口。例如，解码器904可对经由外部接口909接收到的视频流或音频流进行解码。即，外部接口909还用作电视机900的传输装置，其用于接收图像被编码的编码流。

控制部910包括诸如CPU（中央处理单元）的处理器和诸如RAM（随机存取存储器）、ROM（只读存储器）的存储器等。存储器存储CPU要执行的程序、程序数据、EPG数据、经由网络所获取的数据等。CPU例如在启动电视机900时读取并执行存储器中存储器的程序。CPU通过执行程序，根据例如从用户接口911输入的操作信号控制电视机900的操作。

用户接口911连接至控制部910。例如，用户接口911包括用户操作电视机900所使用的按钮和开关、以及用于遥控信号的接收部。用户接口911经由这些结构元件检测用户的操作，生成操作信号，并且将所生成的操作信号输出至控制部910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910互连。

在以此方式配置的电视机900中，解码器904具有根据上述实施例的图像解码装置60的功能。因此，在电视机900中，可以在帧内预测模式下进行部分解码。

[5-2.第二示例应用]

图26是示出采用上述实施例的移动电话的示意性配置的示例的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像部926、图像处理部927、解复用器928、记录/再现部929、显示部930、控制部931、操作部932和总线933。

天线921连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。操作部932连接至控制部931。总线933将通信部922、音频编解码器923、摄像部926、图像处理部927、解复用器928、记录/再现部929、显示部930和控制部931互连。

移动电话920在包括音频通信模式、数据通信模式、图像捕获模式和可视电话模式的各种操作模式下执行操作，诸如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像捕获、数据的记录等。

在音频通信模式下，由麦克风925生成的模拟音频信号被提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对转换后的音频数据进行A/D转换和压缩。然后，音频编解码器923将压缩后的音频数据输出至通信部922。通信部922对音频数据进行编码和调制，并生成发送信号。然后，通信部922将所生成的发送信号经由天线921发送至基站（未示出）。此外，通信部922放大经由天线921接收到的无线信号并对无线信号的频率进行转换，并且获取接收信号。然后，通信部922对接收信号进行解调和解码并生成音频信号，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行展频和D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924并使得音频被输出。

此外，在数据通信模式下，控制部931根据用户经由例如操作部932的操作，生成组成电子邮件的文本数据。此外，控制部931使得文本显示在显示部930上。此外，控制部931根据用户经由操作部932的发送指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信部922。然后，通信部922对电子邮件数据进行编码和调制，并且生成发送信号。然后，通信部922将所生成的发送信号经由天线921发送至基站（未示出）。此外，通信部922放大经由天线921接收到的无线信号并对无线信号的频率进行转换，并且获取接收信号。然后，通信部922对接收到的信号进行解调和解码，恢复电子邮件数据，并且将所恢复的电子邮件数据输出至控制部931。控制部931使得显示部930显示电子邮件的内容，并且此外，使得电子邮件数据存储在记录/再现部929的存储介质中。

记录/再现部929包括任意可读写存储介质。例如，存储介质可诸如RAM、闪存等的内置存储介质、或者诸如硬盘、磁盘、磁光盘、光盘、USB存储器、存储卡等的外部安装存储介质。

此外，在图像捕获模式下，摄像部926捕获对象的图像，生成图像数据，并且将所生成的图像数据输出至例如图像处理部927。图像处理部927对从摄像部926输入的图像数据进行编码，并且使得编码流存储在记录/再现部929的存储介质中。

此外，在可视电话模式下，解复用部928将经图像处理部927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流输出至例如通信部922。通信部922对该流进行编码和调制，并且生成发送信号。然后，通信部922将所生成的发送信号经由天线921发送至基站（未示出）。此外，通信部922放大经由天线921接收到的无线信号并对无线信号的频率进行转换，并且获取接收到的信号。这些发送信号和接收信号可包括编码比特流。然后，通信部922对所接收到的信号进行解调和解码，恢复该流，并将恢复后的流输出至解复用部928。解复用部928从输入流中分离出视频流和音频流，并且将视频流输出至图像处理部927并将音频流输出至音频编解码器923。图像处理部927对视频流进行解码，并生成视频数据。视频数据被提供至显示部930，并且一系列图像由显示部930显示。音频编解码器923对音频流进行扩展和D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924并使得音频被输出。

在以此方式配置的移动电话920中，图像处理部927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，在移动电话920和与移动电话920通信的其他设备中，可以在帧内预测模式下进行部分解码。

[5-3.第三示例应用]

图27是示出采用上述实施例的记录/再现装置的示意性配置的示例的框图。记录/再现装置940对例如接收的广播节目的音频数据和视频数据进行编码并记录在记录介质中。记录/再现装置940还可对例如从另一装置获取的音频数据和视频数据进行编码并记录在记录介质中。此外，记录/再现装置940根据例如用户的指令，使用监视器或扬声器来再现记录介质中所记录的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示器）948、控制部949和用户接口950。

调谐器941从经由天线（未示出）接收到的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过调制所获得的编码比特流输出至选择器946。即，调谐器941用作记录/再现装置940的传输装置。

外部接口942是用于连接记录/再现装置940和外部设备或网络的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口、闪存接口等。例如，外部接口942接收到的视频数据和音频数据被输入至编码器943。即，外部接口942用作记录/再现装置940的传输装置。

在不对从外部接口942输入的视频数据和音频数据进行编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出至选择器946。

HDD944将作为视频或音频、各种节目和其他数据的压缩内容数据的编码比特流记录在内部硬盘中。此外，HDD944在再现音频或视频时从硬盘读取这些数据。

盘驱动器945将数据记录或读取在所安装的记录介质中。安装在盘驱动器945上的记录介质可以例如是DVD盘（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+、DVD+RW等）、蓝光（注册商标）盘等。

选择器946在记录视频或音频时选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出至HDD944或盘驱动器945。此外，选择器946在再现视频或音频时将从HDD944或盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码，并生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD948。此外，解码器904将所生成的音频数据输出至外部扬声器。

OSD948再现从解码器947输入的视频数据，并显示视频。此外，OSD948可将例如GUI（诸如，菜单、按钮、光标等）的图像叠加在显示视频上。

控制部949包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储CPU要执行的程序、程序数据等。例如在启动记录/再现装置940时，CPU读取并执行存储在存储器中的程序。CPU例如通过执行程序，根据从用户接口950输入的操作信号控制记录/再现装置940的操作。

用户接口950连接至控制部949。例如，用户接口950包括用户用来操作记录/再现装置940的按钮和开关、以及用于遥控信号的接收部。用户接口950经由结构元件检测用户的操作，生成操作信号，并且将所生成的操作信号输出至控制部949。

在以此方式配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置10的功能。此外，解码器947具有根据上述实施例的图像解码装置60的功能。因此，在记录/再现装置940以及使用来自记录/再现装置940的视频输出的其他设备中，可以在帧内预测模式下进行部分解码。

[5-4.第四示例应用]

图28是示出采用上述实施例的图像捕获装置的示意性配置的示例的框图。图像捕获装置960捕获对象的图像，生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。

图像捕获装置960包括光学块961、图像捕获部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD969、控制部970、用户接口971和总线972。

光学块961连接至图像捕获部962。图像捕获部962连接至信号处理部963。显示部965连接至图像处理部964。用户接口971连接至控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD969和控制部970互连。

光学块961包括聚焦透镜、光圈停止机构等。光学块961在图像捕获部962的图像捕获表面上形成对象的光学图像。图像捕获部962包括诸如CCD、CMOS等的图像传感器，并且通过光电转换将形成在图像捕获表面上的光学图像转换成图像信号，该图像信号为电信号。然后，图像捕获部962将图像信号输出至信号处理部963。

信号处理部963对从图像捕获部962输入的图像信号执行各种摄像信号处理，诸如膝盖校正、伽马校正、颜色校正等。信号处理部963将摄像信号处理之后的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码，并且生成编码数据。然后，图像处理部964将所生成的编码数据输出至外部接口966或介质驱动器968。此外，图像处理部964对从外部接口966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。然后，图像处理部964将所生成的图像数据输出至显示部965。此外，图像处理部964可将从信号处理部963输入的图像数据输出至显示部965，并且使得图像被显示。此外，图像处理部964可将从OSD969获取的显示用数据叠加在要输出至显示部965的图像上。

OSD969生成例如诸如菜单、按钮、光标等的图像，并且将所生成的图像输出至图像处理部964。

外部接口966被配置为例如USB输入/输出终端。外部接口966在例如打印图像时连接图像捕获装置960和打印机。此外，如果需要，驱动器连接至外部接口966。例如诸如磁盘、光盘等的可移动介质安装在驱动器上，并且从可移动介质读取的程序可安装在图像捕获装置960上。此外，外部接口966可以被配置为要连接至网络（诸如，LAN、互联网等）的网络接口。即，外部接口966用作图像捕获装置966的传输装置。

安装在介质驱动器968上的记录介质可以是任何可读写可移动介质，例如，诸如磁盘、磁光盘、光盘、半导体存储器等。此外，记录介质可固定安装在介质驱动器968上，从而配置不可转移存储部（例如，诸如内置硬盘驱动器或SSD（固态驱动器）。

控制部970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU要执行的程序、程序数据等。在例如启动图像捕获装置960时，CPU读取并执行存储在存储器中的程序。CPU通过执行程序，根据例如从用户接口971输入的操作信号来控制图像捕获装置960的操作。

用户接口971连接至控制部970。例如，用户接口971包括用户用来操作图像捕获装置960的按钮、开关等。用户接口971经由这些结构元件检测用户的操作，生成操作信号，并且将所生成的操作信号输出至控制部970。

在以此方式配置的图像捕获装置960中，图像处理部964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，在图像捕获装置960和使用来自图像捕获装置950的视频输出的其他设备中，可以在帧内预测模式下进行部分解码。

<6.总结>

迄今为止，已使用图1至图28描述根据实施例的图像编码装置10和图像解码装置60。根据本实施例，在帧内预测模式下对图像进行编码时，在相邻子块内的共同像素位置的像素被排序成使得它们在排序之后彼此相邻，生成关于第一像素位置的像素的预测像素值而不使用与另一像素位置的像素值的相关性。此外，在对图像进行解码时，在以相同方式对图像中的参考像素的像素值进行排序之后，生成至少第一像素位置的像素的预测像素值而不使用与对应于另一像素位置的参考像素的像素值的相关性。因此，在帧内预测模式下，使得能够进行仅对图像的第一像素位置的像素而不是所有位置的像素进行解码的部分解码。此外，预测单位仅由通过排序而聚集的第一像素位置的像素构成，并且针对每个预测单位执行帧内预测。因此，同样在仅将第一像素位置的像素作为预测目标的情况下，可以采用与现有帧内预测方案的预测模式相同的各种预测模式。

此外，根据本实施例，可根据基于与相邻的第一像素位置的像素值的相关性的预测模式生成关于第二像素位置的像素的预测像素值。同样地，可根据基于与相邻的第一像素位置的像素值的相关性的预测模式生成关于第三像素位置的像素的预测像素值。此外，可根据基于与相邻的第二像素位置和第三像素位置的像素值的相关性或者与第一像素位置的像素值的相关性来生成关于第四像素位置的像素的预测像素值。即，由于可以使用基于彼此接近的像素之间的相关性的预测模式，因此可以提高帧内预测的精确性，并且与现有方案相比，可以提高编码效率。

此外，根据本实施例，可并行地执行第二像素位置的预测像素值的生成和第三像素值的预测像素值的生成。还可以与第二像素位置的预测像素值的生成和第三像素值的预测像素值的生成并行地执行第四像素位置的预测像素值的生成。从而，可以提高图像编码处理和图像解码处理的处理速度。

此外，根据本实施例，同样在实现仅对第一像素位置的部分解码的情况下，可通过使用估计预测模式来抑制比特率的增加。

另外，在本说明书中，已主要描述了子块的大小为2×2像素的示例。然而，还可使用大小为4×4像素以上的子块。例如，在子块的大小为4×4像的情况下，一个子块包括十六种类型的像素位置。在这种情况下，除了仅对第一像素位置进行部分解码外，还可以仅对第一至第四像素位置进行部分解码。即，如果增大子块的大小，则可以扩展部分解码的可伸缩性。

另外，在本说明书中，主要描述了如下示例：关于帧内预测的信息和关于帧间预测的信息被复用为编码流的头部，并且编码流从编码侧被传送至解码侧。然而，传送该信息的方法不限于这样的示例。例如，该信息可被传送或记录为与编码比特流相关联的单独数据，而不被复用为编码比特流。这里，术语“关联”是指使能包括在比特流中的图像（或图像的一部分，诸如切片或块）和对应于该图像的信息在解码时彼此链接。即，该信息可从图像（或比特流）在不同传输线上传送。或者，该信息可从图像（或比特流）记录在不同记录介质上（或在相同记录介质上的不同记录区域中）。此外，该信息和图像（或比特流）可基于任意单位（例如，诸如多个帧、一帧、帧的一部分等）而彼此相关联。

迄今为止，已在参照附图的同时详细描述本公开的优选实施例，但本公开的技术范围并不限于这样的示例。显而易见的是，本公开的技术领域的普通技术人员可在权利要求书所描述的技术构思的范围内进行各种变更或修改，当然，应理解，这些变更或修改落入本公开的技术范围内。

附图标记列表

10 图像编码装置（图像处理装置）

41 排序部

42 预测部

60 图像解码装置（图像处理装置）

91 确定部

92 排序部

93 预测部

Claims

1.一种图像处理装置，包括：

排序部，以包括在图像的块中的相邻子块内的共同像素位置的像素值在排序之后彼此相邻的方式对包括在该块中的所述像素值进行排序；以及

预测部，使用经所述排序部排序后的像素值以及所述图像中与所述子块的第一像素位置对应的参考像素值来生成所述第一像素位置的像素的预测像素值。

2.根据权利要求1所述的图像处理装置，其中，所述预测部生成所述第一像素位置的像素的预测像素值而不使用与另一像素位置的像素值的相关性。

3.根据权利要求2所述的图像处理装置，其中，所述预测部按照基于与所述第一像素位置的像素值的相关性的预测模式，生成第二像素位置的像素的预测像素值。

4.根据权利要求3所述的图像处理装置，其中，所述预测部按照基于与所述第一像素位置的像素值的相关性的预测模式，与生成所述第二像素位置的像素的预测像素值并行地生成第三像素位置的像素的预测像素值。

5.根据权利要求4所述的图像处理装置，其中，所述预测部按照基于与所述第一像素位置的像素值的相关性的预测模式，与生成所述第二像素位置和所述第三像素位置的像素的预测像素值并行地生成第四像素位置的像素的预测像素值。

6.根据权利要求4所述的图像处理装置，其中，所述预测部按照基于与所述第二像素位置和所述第三像素位置的像素值的相关性的预测模式，生成第四像素位置的像素的预测像素值。

7.根据权利要求1所述的图像处理装置，其中，如果在生成所述子块的所述第一像素位置的像素的预测像素值时所选择的预测模式被允许按照在生成已被编码的另一块的第一像素位置的预测像素值时所选择的预测模式来估计，所述预测部生成表示允许针对所述子块的所述第一像素位置估计预测模式的信息。

8.根据权利要求3所述的图像处理装置，其中，基于与所述第一像素位置的像素值的相关性的预测模式是通过对所述第一像素位置的像素值进行相移来生成所述预测像素值的预测模式。

9.一种用于处理图像的图像处理方法，包括：

以包括在图像的块中的相邻子块内的共同像素位置的像素值在排序之后彼此相邻的方式对包括在该块中的所述像素值进行排序；以及

使用排序后的像素值以及所述图像中与所述子块的第一像素位置对应的参考像素值来生成所述第一像素位置的像素的预测像素值。

10.一种图像处理装置，包括：

排序部，以与包括在图像的块中的相邻子块内的各个共同像素位置对应的参考像素的像素值在排序之后彼此相邻的方式，对所述图像中的所述参考像素的像素值进行排序；以及

预测部，使用经所述排序部排序后的参考像素的像素值来生成所述子块的第一像素位置的像素的预测像素值。

11.根据权利要求10所述的图像处理装置，其中，所述预测部生成所述第一像素位置的像素的预测像素值而不使用与对应于另一像素位置的参考像素的像素值的相关性。

12.根据权利要求11所述的图像处理装置，其中，所述预测部按照基于与所述第一像素位置的像素值的相关性的预测模式，生成第二像素位置的像素的预测像素值。

13.根据权利要求12所述的图像处理装置，其中，所述预测部按照基于与所述第一像素位置的像素值的相关性的预测模式，与生成所述第二像素位置的像素的预测像素值并行地生成第三像素位置的像素的预测像素值。

14.根据权利要求13所述的图像处理装置，其中，所述预测部按照基于与所述第一像素位置的像素值的相关性的预测模式，与生成所述第二像素位置和所述第三像素位置的像素的预测像素值并行地生成第四像素位置的像素的预测像素值。

15.根据权利要求13所述的图像处理装置，其中，所述预测部按照基于与所述第二像素位置和所述第三像素位置的像素值的相关性的预测模式，生成第四像素位置的像素的预测像素值。

16.根据权利要求10所述的图像处理装置，其中，在表明允许针对所述第一像素位置估计预测模式的情况下，所述预测部按照在生成已被编码的另一块的第一像素位置的预测像素值时所选择的预测模式，估计用于生成所述子块的所述第一像素位置的像素的预测像素值的预测模式。

17.根据权利要求12所述的图像处理装置，其中，基于与所述第一像素位置的像素值的相关性的预测模式是通过对所述第一像素位置的像素值进行相移来生成所述预测像素值的预测模式。

18.根据权利要求10所述的图像处理装置，还包括：

确定部，确定是否对所述图像进行部分解码，

其中，在所述确定部确定要对所述图像进行部分解码的情况下，所述预测部不生成除了所述第一像素位置外的至少一个像素位置的预测像素值。

19.一种用于处理图像的图像处理方法，包括：

以与包括在图像的块中的相邻子块内的各个共同像素位置对应的参考像素的像素值在排序之后彼此相邻的方式，对所述图像中的所述参考像素的像素值进行排序；以及

使用所述参考像素的经排序的像素值来生成所述子块的第一像素位置的像素的预测像素值。