CN103200401A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供了一种图像处理装置和图像处理方法，该图像处理装置包括：控制单元，其被配置成在帧内预测的执行中，确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和预测单元，其被配置成当控制单元确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及一种图像处理装置和图像处理方法。

背景技术

用于压缩数字图像的数据大小的图像编码方案的重要技术中的一种技术是画面内预测，即帧内预测。帧内预测是一种通过利用图像中相邻块之间的相关性并且根据其它相邻块的像素值预测给定块中的像素值来减少编码信息量的技术。在MPEG4之前的图像编码方案中，仅正交变换系数的DC直流分量和低频分量经受帧内预测。同时，在H.264/AVC（高级视频编码）中，所有分量均可以经受帧内预测。当使用帧内预测时，对于具有像素值平缓改变的图像（例如，如蓝天的图像），可以期待压缩率的显著改进。

在帧内预测中，通常从多个预测模式当中选择用于预测预测目标块的像素值的最优预测模式。通常可以根据从参考像素到预测目标像素的预测方向来区别预测模式。例如，根据在H.264/AVC之后、作为下一代图像编码方案而标准化的HEVC，在亮度分量的预测中，可以选择多种预测模式诸如角度预测模式、平均值（DC）预测模式以及平面预测模式（参见Benjamin Bross等“WD4:Working Draft 4 of High-Effciency VideoCoding”（JCTVC-F803_d6,July，2011））。

另外，在HEVC中，在色差分量的预测中，期望采用被称为线性模型（LM）模式的额外的预测模式，在LM模式中使用动态构建的亮度分量的线性函数作为预测函数来预测色差分量的像素值（参见Jianle Chen等“CE6.a.4:Chroma intra prediction by reconstructed luma samples”（JCTVC-E266,March,2011））。尽管未确定HEVC的规范，但是存在如下可能性：在LM模式中，可使用相邻块的两条或更多条参考线中的参考像素作为在预测函数的构建中所参考的亮度分量的参考像素。Mei Guo等的“Intra Chroma LM Mode with Reduced Line Buffer”（JCTVC-F121,July，2011）建议，对于位于LCU边界正下方的预测目标块，将相邻块的参考线减少至仅为单个参考线。

发明内容

通常，参考线的增加将具有将增加必要的线存储器的规模的缺点。特别地，在帧内预测中参考不同颜色分量的预测模式仅为LM模式的情况下，就成本效益而言仅为LM模式而增加线存储器的规模是不合理的。然而，已经证实LM模式自身有助于编码效率的改进。因此，期望使用一种方式，该方式通过有效地利用由于LM模式的引入而增加的、用于改进其它预测模式的预测精确度的亮度分量的参考线来进一步提高编码效率，从而凭借线存储器的规模的增加而改进成本效益。

根据本公开的实施例，提供了一种图像处理装置，该图像处理装置包括：控制单元，其被配置成在帧内预测的执行中确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和预测单元，其被配置成当控制单元确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

根据本公开的另一实施例，提供了一种图像处理方法，该图像处理方法包括：在帧内预测的执行中，确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和当确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

根据以上描述的本公开的实施例，可以通过有效地利用增加的亮度分量的参考线，改进各种预测模式的预测精确度。

附图说明

图1是示出根据实施例的图像编码装置的示例性配置的框图；

图2是示出根据实施例的图像编码装置的帧内预测单元的示例性详细配置的框图；

图3是说明除LM模式之外的现有预测模式中所使用的参考像素的说明图；

图4是说明JCTVC-E266所建议的LM模式的方法中所使用的参考像素的说明图；

图5A是说明JCTVC-F121所建议的LM模式的方法中所使用的参考像素的第一说明图；

图5B是说明JCTVC-F121所建议的LM模式的方法中所使用的参考像素的第二说明图；

图6是示出JCTVC-F803_d6中所描述的帧内预测中预测模式号的说明图；

图7是示出用于JCTVC-F803_d6中所描述的帧内预测中的每个预测模式的角度参数值的说明图；

图8是说明参考像素的索引的说明图；

图9是说明在现有角度预测模式中预测像素值的计算的说明图；

图10是说明实施例中扩展的角度预测模式中的预测像素值的计算的说明图；

图11是说明实施例中扩展的DC预测模式中的预测像素值的计算的说明图；

图12是说明平面预测模式中参考像素的可用性的确定的说明图；

图13是说明实施例中扩展的平面预测模式中的预测像素值的计算的说明图；

图14是说明根据变型例的扩展的DC预测模式中的预测像素值的计算的说明图；

图15是说明根据变型例的扩展的平面预测模式中的预测像素值的计算的说明图；

图16是示出在根据实施例的编码中所执行的帧内预测处理的示例性流程的流程图；

图17是示出扩展的角度预测处理的示例性详细流程的流程图；

图18是示出扩展的DC预测处理的示例性详细流程的流程图；

图19是示出扩展的平面预测处理的示例性详细流程的流程图；

图20是示出根据实施例的可用性确定处理的示例性详细流程的流程图；

图21是示出根据实施例的图像解码装置的示例性配置的框图；

图22是示出根据实施例的图像解码装置的帧内预测单元的示例性详细配置的框图；

图23是示出在根据实施例的解码中所执行的帧内预测处理的示例性流程的流程图；

图24是示出电视装置的示例性概略配置的框图；

图25是示出便携式电话装置的示例性概略配置的框图；

图26是示出记录/再现装置的示例性概略配置的框图；以及

图27是示出成像装置的示例性概略配置的框图。

具体实施方式

在下文中，将参照附图详细地描述本公开的优选实施例。应当注意，在此说明书和附图中，用相同附图标记表示实质上具有相同功能和结构的结构元件，并且省略这些结构元件的重复说明。

将以下面的顺序进行描述：

1.根据实施例的图像编码装置的示例性配置

2.在根据实施例的编码中所执行的处理的流程

3.根据实施例的图像解码装置的示例性配置

4.在根据实施例的解码中所执行的处理的流程

5.应用的示例

6.结论

<1.根据实施例的图像编码装置的示例性配置>

[1-1.整体示例性配置]

图1是示出根据实施例的图像编码装置10的示例性配置的框图。参照图1，图像编码装置10包括A/D（模拟到数字）转换单元11、排序缓冲12、减法器13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲17、码率控制单元18、逆量化单元21、逆正交变换单元22、加法器23、去块效应滤波器24、帧存储器25、选择器27、运动搜索单元30以及帧内预测单元40。

A/D转换单元11将以模拟格式输入的图像信号转换为数字格式的图像数据，并且将一系列数字图像数据输出至排序缓冲12。

排序缓冲12对从A/D转换单元11所输入的一系列图像数据中所包含的图像排序。排序缓冲12在根据依照编码处理的GPP（图片组）结构而排序图像之后，将排序的图像数据输出至减法器13、运动搜索单元30以及帧内预测单元40。

减法器13提供有从排序缓冲12所输入的图像数据和从下述运动搜索单元30或帧内预测单元40所输入的预测图像数据。减法器13计算预测误差数据并且将计算的预测误差数据输出至正交变换单元14，该预测误差数据是从排序缓冲12所输入的图像数据与预测图像数据之间的差分。

正交变换单元14对于从减法器13所输入的预测误差数据执行正交变换。在HEVC中，正交变换单元14所执行的正交变换是每变换单位（TU）的二维离散余弦变换（DCT）。正交变换单元14将在正交变换处理中所获取的变换系数数据输出至量化单元15。

量化单元15提供有从正交变换单元14所输入的变换系数数据和来自下述码率控制单元18的码率控制信号。量化单元15对于变换系数数据执行量化，并且将量化之后的变换系数数据（在下文中称为量化数据）输出至无损编码单元16和逆量化单元21。另外，量化单元15通过基于来自码率控制单元18的码率控制信号切换量化参数（量化标度），来改变将输入至无损编码单元16的量化数据的比特率。

无损编码单元16对于从量化单元15所输入的量化数据执行无损编码处理以生成编码流。无损编码单元16所执行的无损编码可以是例如可变长度编码、算术编码等。另外，无损编码单元16在编码流的报头区域内，复用从选择器27所输入的关于帧内预测的信息或关于帧间预测的信息。然后，无损编码单元16将生成的编码流输出至存储缓冲17。

在存储缓冲17中，使用存储介质（诸如半导体存储器）暂时存储从无损编码单元16所输入的编码流。然后，存储缓冲17将存储的编码流以对应于传输信道的带宽的码率输出至传输单元（未示出；例如，通信接口或用于连接至外围装置的接口）。

码率控制单元18监视存储缓冲17的可用容量。然后，码率控制单元18根据存储缓冲17的可用容量来生成码率控制信号，并且将生成的码率控制信号输出至量化单元15。例如，当存储缓冲17的可用容量小时，码率控制单元18生成用于降低量化数据的比特率的码率控制信号。同时，例如，当存储缓冲17的可用容量足够大时，码率控制单元18生成用于增加量化数据的比特率的码率控制信号。

逆量化单元21对于从量化单元15所输入的量化数据执行逆量化处理。然后，逆量化单元21将通过逆量化处理所获取的变换系数数据输出至逆正交变换单元22。

逆正交变换单元22对于从逆量化单元21所输入的变换系数数据执行逆正交变换处理，以还原预测的误差数据。逆正交变换单元22所执行的逆正交变换是每TU的二维逆离散余弦变换（IDCT）。然后，逆正交变换单元22将还原的预测的误差数据输出至加法器23。

加法器23将从逆正交变换单元22所输入的还原的预测误差数据和从运动搜索单元30或帧内预测单元40所输入的预测图像数据相加在一起，以重构解码图像数据。然后，加法器23将重构的解码图像数据输出至去块效应滤波器24和帧内预测单元40。

去块效应滤波器24执行用于减少在图像的编码期间发生的块失真的滤波处理。去块效应滤波器24通过滤波从加法器23所输入的解码图像数据来移除块失真，并且将滤波之后的解码图像数据输出至帧存储器25。

帧存储器25使用存储介质来存储从去块效应滤波器24所输入的滤波之后的解码图像数据。当运动搜索单元30执行帧间预测时，参考在帧存储器25中所存储的解码图像数据。

在帧间预测模式中，选择器27将从运动搜索单元30所输出的、作为帧间预测结果的预测图像数据输出至减法器13，并且将关于帧间预测的信息输出至无损编码单元16。另外，在帧内预测模式中，选择器27将从帧内预测单元40所输出的、作为帧内预测的结果的预测图像数据输出至减法器13，并且将关于帧内预测的信息输出至无损编码单元16。选择器27根据从运动搜索单元30和帧内预测单元40所输出的成本函数值的幅值来在帧间预测模式与帧内预测模式之间切换。

运动搜索单元30基于从排序缓冲12所输入的将编码的图像数据（原始图像数据）和从帧存储器25所读取的解码图像数据，来执行帧间预测处理（帧间预测处理）。例如，运动搜索单元30使用预定成本函数来评估每个预测模式中的预测结果。接下来，运动搜索单元30选择成本函数值最小的预测模式（即，压缩率最高的预测模式）作为最优预测模式。然后，运动搜索单元30将表示所选最优预测模式的预测模式信息、关于帧间预测的信息（包括运动向量信息和参考图像信息）、成本函数值以及预测图像数据输出至选择器27。

帧内预测单元40基于从排序缓冲12所输入的原始图像数据和从加法器23所输入的作为参考图像数据的重构图像数据，对图像中所设置的每个预测目标块（也被称为预测单位：PU）执行帧内预测处理。然后，帧内预测单元40将关于帧内预测的信息（包括表示最优预测模式的预测模式信息）、成本函数值以及预测图像数据输出至选择器27。对于亮度分量，帧内预测单元40可选择的预测模式可以包括角度预测模式、DC预测模式以及平面预测模式。注意在本说明书中，垂直预测和水平预测也是角度预测的类型。对于色差分量，可以进一步选择前述的线性模型（LM）模式。在下面详细地描述帧内预测单元40所执行的这样的帧内预测处理。

[1-2.帧内预测单元的示例性配置]

图2是示出在图1中所示的图像编码装置10的帧内预测单元40的示例性详细配置的框图。参照图2，帧内预测单元40包括预测控制单元41、参考线存储器42、系数计算单元43、滤波器44、预测单元45以及模式确定单元46。其中，为了LM模式的引入而设置系数计算单元43和滤波器44。

预测控制单元41控制帧内预测单元40的帧内预测处理。在本实施例中，对图像中所设置的每个LCU（最大编码单位）顺序地执行图像编码装置10的编码处理。预测控制单元41对每个LCU中的一个或多个预测单元中的每个执行用于亮度分量（Y）的帧内预测处理和用于色差分量（Cb，Cr）的帧内预测处理。在用于亮度分量的帧内预测处理中，预测控制单元41使预测单元45以多个预测模式生成用于预测目标块的预测图像，并且使模式确定单元46确定用于色差分量的最优预测模式。在用于色差分量的帧内预测处理中，预测控制单元41使预测单元45以多个预测模式（包括LM模式）生成用于预测目标块的预测图像，并且使模式确定单元46确定用于色差分量的最优预测模式。

凭借现有方法，在除LM模式之外的预测模式的任一个中，在预测像素值计算中所使用的参考像素通常仅是在位于预测目标块上方的相邻块的下端的一条线（一行）中的像素和在位于预测目标块左侧的相邻块的右端的一条线（一列）中的像素。图3示出了这样的参考像素的示例。例如，当使用线存储器存储参考像素值时，用于存储位于预测目标块上方的相邻块的参考像素值的线存储器可以是仅用于一条线的存储器。

相反地，在JCTVC-E266所建议的LM模式中，可以在预测函数的计算中使用位于预测目标块上方的相邻块的两条或更多条线（例如，两行）和位于预测目标块左侧的相邻块的两条或更多条线（例如，八列）。图4示出了这样的参考像素的示例。当使用线存储器存储参考像素值时，与图3中的示例相比，用于存储位于预测目标块上方的相邻块的参考像素值的线存储器的规模增加一条线。当帧的大小是4096×2048像素并且位深是8比特时，存储器规模的增加达到4096像素×8比特=4千字节。

同时，根据JCTVC-F121中的建议，在LM模式中的预测函数的系数的计算中，当位于预测目标块上方的相邻块与预测目标块属于相同LCU时，可以使用两条参考线，否则可以使用一条参考线。图5A示出了在前一种情况下的参考像素的示例。图5B示出了在后一种情况下的参考像素的示例。

如上所述，当引入LM模式时，可以扩展用于存储用于色差分量的帧内预测处理中的亮度分量的参考像素值的线存储器的规模。然而，就成本效益而言，仅为LM模式而增加存储器规模是不合理的。因此，当在除LM模式之外的预测模式中两条或更多条参考线可用时，根据本实施例的帧内预测单元40还通过使用变为额外可用的参考线来生成预测图像使得改进预测精确度。

在下文中，将具体地描述每个均被扩展的角度预测模式、DC预测模式以及平面预测模式。注意，在JCTVC-F803d6中详细地描述了现有方法中用于这样的预测模式的具体的计算式。在本说明书中，主要描述扩展这样的预测模式的情况与使用现有方法的情况之间的差别以简化说明。

(1)角度预测模式

在HEVC中，基于预测模式号来区别每个各个预测模式。图6示出了在JCTVC-F803d6中所描述的预测模式号。预测模式号“0”表示平面预测，预测模式号“1”表示垂直预测，预测模式号“2”表示水平预测，预测模式号“3”表示DC预测，以及预测号“4”至“34”表示除前述预测之外的角度预测。对于色差分量，预测模式号“35”还表示LM模式。图6使用箭头示出了在角度预测模式中从预测目标像素到参考像素的方向。

角度预测模式中的预测方向的角度经由在以下表1中所示的顺序参数（intraPredOrder）和在以下表2中所示的角度参数（intraPredAngle）映射到预测模式号（intraPredMode）。注意，表1和表2的内容类似于JCTVC-F803_d6中所示的内容。图7示出了角度参数intraPredAngle的值以替代图6中的预测模式号。

图8是示出参考像素的索引的说明图。参照图8，使用像素位置[x，y]作为索引来表示作为预测目标块的PU的像素。使用水平方向上的索引x，将位于预测目标块上方的相邻块的参考线当中的、下端的参考线R1（第一参考线）中的参考像素表示为p(x，-1)。使用水平方向上的索引x，将参考线R1上面一行的参考线R2（第二参考线）中的参考像素表示为p(x，-2)。使用垂直方向上的索引y，将位于预测目标块左侧上的相邻块的参考线当中的、右端的参考线C1（第一参考线）中的参考像素表示为p(-1，y)。使用垂直方向上的索引y，将在参考线C1左侧一列的参考线C2（第二参考线）中的参考像素表示为p(-2，y)。

在现有角度预测模式中，如在JCTVC-F803_d6中所描述地获取对应于预测模式号的角度参数intraPredAngle（在下文中简单地称为角度）的值。接下来，根据所获取的角度来计算用于计算具有1/32像素精确度的参考像素的权重系数iFact和索引变量iIdx。然后，使用位于预测目标块上方的参考线R1中或位于预测目标块左侧的参考线C1中的参考像素（具有整数像素精确度）和计算的权重系数iFac以及索引变量iIdx，计算预测目标块中的每个像素的预测像素值predSamples（x，y）。图9概念性地示出了在现有角度预测模式中这样的预测像素值的计算。

在本实施例中扩展的角度预测模式中，还与现有方法一样地获取对应于预测模式号的角度。顺序参数intraPredOrder小于18的情况对应于所谓的纵向预测，并且预测单元45根据参考线存储器42中所存储的、位于预测目标块上方的参考线R2中的像素如下形成参考像素阵列refMain2[x]。注意变量nS表示预测目标块的大小（在一侧的像素的数量）。

refMain2[x]＝p[-1+x，-2]，withx＝0..nS    (1)

I fintraPredAngle is less than0

refMain2[x]＝P[-2，-1+((x*invAngle+128)＞＞8)]，

withx＝(nS*intraPredAngle)＞＞5..-1(2)

Otherwise

refMain2[x ]＝p[-1+x，-2]，with x＝nS+1..2*nS    (3)

顺序参数intraPredOrder大于或等于18的情况对应于所谓的水平预测，并且预测单元45根据参考线存储器42中所存储的、位于预测目标块左侧的参考线C2中的像素如下地形成参考像素阵列refMain2[x]。

refMain2[x]＝p[-2，-1+x ]，with x＝0..nS    (4)

I fintraPredAngle is less than0

refMain2[x]＝p[-1+((x*invAngle+128)＞＞8)，-2]，

with x＝(nSintraPredAngle)＞＞5..-1(5)

Otherwise

refMain2[x]＝p[-2，-1+x]，with x＝nS+1..2*nS    (6)

然后，预测单元45根据对应于预测模式号的角度，如下地计算用于计算参考线R2或C2中具有1/32像素精确度的参考像素的额外的权重系数iFact2和索引变量iIdx2。

ildx2＝((y+2)*intraPredAng le)＞＞5(7)

iFact2＝((y+2)*intraPredAngle)&&31(8)

然后，预测单元45如下地计算预测目标块中的每个像素的预测像素值predSamples2[x,y]。

IfiFact isnot equal to 0

predSamples2[x，y]＝

(3*((32-iFact)*refMain[x+ildx+1]+iFact*refMain[x+ildx+2]+16)＞＞5)+

(((32-iFact2)*refMain2[x+ildx2+1]+iFact2*refMain2[x+il dx2+2]+16)＞＞5)+2＞＞2

(9)

Otherwise

predSamples2[x，y]＝(3*refMain[x+ildx+1]+refMai n2[x+ildx+1]+1)＞＞2(10)

图10概念性地示出了在扩展的角度预测模型中这样的预测像素值的计算。注意，预测单元45可与JCTVC-F803d6中所描述的现有方法一样地形成参考像素阵列refMain[x]。

（2）DC预测模式

在现有DC预测模式中，如在JCTVC-F803d6中所描述地，计算预测像素值作为位于预测目标块上方的参考线R1中的参考像素和位于预测目标块左侧的参考线C1中的参考像素的像素值的平均值。相反，在本实施例中所扩展的DC预测模式中，预测单元45将位于预测目标块上方的第二参考线R2中的参考像素和位于预测目标块左侧的第二参考线C2中的参考像素当中的、可用的参考像素的像素值包括到平均值的计算中。

图11示出了在扩展的DC预测模式中被包括到计算中的参考像素。当位于预测目标块上方的两条参考线R1和R2以及位于预测目标块左侧的两条参考线C1和C2可用时，预测单元45根据下面的等式（11）来计算预测目标块中的每个像素的预测像素值DCVal。

$\mathrm{DCVal}=\left(\underset{x^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p\right[x^{\&prime;},-1]+\underset{y^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p[-1,y^{\&prime;}]+\underset{x^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p[x^{\&prime;},-2]+\underset{y^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p[-2,y^{\&prime;}]+2*\mathrm{nS})>>(k+2)$

   ，with x，y＝0..nS-1(11)

当位于预测目标块上方的单个参考线R1以及位于预测目标块左侧的两条参考线C1和C2可用时，预测单元45根据下面的等式（12）来计算在预测目标块中的每个像素的预测的像素值DCVal。

$\mathrm{DCVal}=\left(\underset{x^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p\right[x^{\&prime;},-1]+(\left(\underset{y^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p\right[-1,y^{\&prime;}]+\underset{y^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p[-2,y^{\&prime;}]+\mathrm{nS})>>(k+1))+\mathrm{nS})>>(k+1)$

，with x，y＝0..nS-1(12)

当位于预测目标块上方的两条参考线R1和R2以及位于预测目标块左侧的单个参考线C1可用时，预测单元45根据下面的等式（13）来计算预测目标块中的每个像素的预测像素值DCVal。

$\mathrm{DCVal}=((\left(\underset{x^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p\right[x^{\&prime;},-1]+\underset{x^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p[x^{\&prime;},-2]+\mathrm{nS})>>(k+1))+\underset{y^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p[-1,y^{\&prime;}]+\mathrm{nS})>>(k+1)$

，withx，y＝0..nS-1(13)

当位于预测目标块上方的单个参考线R1和位于预测目标块左侧的单个参考线C1可用时，预测单元45根据下面的等式（14）来计算预测目标块中的每个像素的预测像素值DCVal。注意，等式（14）类似于现有方法中用于预测像素值的计算等式。注意，等式（11）至等式（14）中的符号k由k=log₂（nS）给出。

$\mathrm{DCVal}=\left(\underset{x^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p\right[x^{\&prime;},-1]+\underset{y^{\&prime;}=0}{\overset{\mathrm{nS}-1}{\mathrm{\&Sigma;}}}p[-1,y^{\&prime;}]+\mathrm{nS})>>(k+1),$ with x，y＝0..nS-1(14)

（3）平面预测模式

在现有平面预测模式中，如在JCTVC-F803d6中所描述地，使用位于预测目标块上方（正上方和右上方）的参考线R1中的两个参考像素的像素值和位于预测目标块左侧（正左侧和左下方）的参考线C1中的两个参考像素的像素值，计算预测像素值。然而，存在如下情况：其中，取决于预测目标块的位置，右上方的参考像素和左下方的参考像素之一或两者不可用。因此，在本实施例中所扩展的平面预测模式中，当右上方的参考像素不可用时，预测单元45使用位于预测目标块上方的参考线R2中的替代参考像素来代替右上方的参考像素。同时，当左下方的参考像素不可用时，预测单元45使用位于预测目标块左侧的参考线C2中的替代参考像素来代替左下方的参考像素。

图12是示出在平面预测模式中确定参考像素的可用性的说明图。在图12的示例中，在单个LCU中包括16个预测单位PU₀至PU₁₅。在预测单位当中，对于预测单位PU₇、PU₁₁以及PU₁₅，因为在执行帧内预测的时间点、右上方的每预测单位的重构图像数据的生成还未结束，所以右上方的参考像素不可用。同时，对于预测单位PU₁₂、PU₁₃、PU₁₄以及PU₁₅，因为在执行帧内预测的时间点、左下方的每预测单位的重构图像数据的生成还未结束，所以左下方的参考像素不可用。如上所述，根据预测目标块的位置可以确定平面预测模式中参考像素的可用性。

图13示出了扩展的平面预测模式中的替代参考像素。在图13中，示出了预测目标像素pred(x,y)正上方的参考像素p(i,-1)、右上方的参考像素p(nS,-1)、正左侧的参考像素p(-1，j)以及左下方的参考像素（-1，nS）。在此，当右上方的参考像素p（nS,-1）不可用时，预测单元45使用替代参考像素p(nS-1,-2)。当左下方的参考像素（-1,nS）不可用时，预测单元45使用替代参考像素p(-2,nS-1)。对于使用两个替代参考像素的情况，用于预测像素值predSamples[x,y]的计算等式可如下。

predSamples[x，y]＝(

(nS-1-x)*p[-1，y ]+(x+1)*p[nS-1，-2]+

(nS-1-y)*p[x，-1]+(y+1)*p[-2，nS-1]+nS)＞＞(k+1)

with x，y＝0..nS-1where k＝log2(nS)(15)

再次参考图2，将继续帧内预测单元40的配置的描述。预测控制单元41对于作为预测目标块的每个LCU中的一个或多个预测单位中的每个单位，使预测单元45根据前述的各种预测模式的候选来生成预测图像。在该情况下，预测控制单元41确定位于预测目标块上方的两条或更多条参考线或位于预测目标块左侧的相邻块的两条或更多条参考线是否可用。

例如，预测控制单元41可以对于与预测目标块属于不同帧或不同切片的相邻块，确定相邻块的参考线是否可用。同时，预测控制单元41可对于与预测目标块属于相同LCU的相邻块，确定相邻块的两条或更多条参考线是否可用。注意，在此情况下，如果预测目标块左侧的相邻块与预测目标块属于相同切片，即使在左侧的相邻块和预测目标块属于不同LCU，预测控制单元41也可确定在左侧的相邻块的两条或更多条参考线可用。

当确定位于预测目标块上方的相邻块的两条或更多条参考线或位于预测目标块左侧的相邻块的两条或更多条参考线可用时，预测控制单元41使预测单元45根据前述的扩展的预测模式（用于预测模式的候选）生成预测图像。对于色差分量，预测控制单元41使系数计算单元43计算用于LM模式的预测函数的系数，并且使滤波器44计算用于预测函数的代入值。

参考线存储器42暂时存储从加法器23所输入的重构图像数据。在本实施例中，参考线存储器42存储在预测目标块所属的行上的参考像素和在位于预测目标块上方的相邻块下端的两行参考像素的重构像素值。在LM模式中，在参考线存储器42中所存储的重构图像数据用来以系数计算单元43计算预测函数的系数。在除LM模式之外的预测模式中，在参考线存储器42中所存储的重构图像数据用来以预测单元45生成预测图像。

系数计算单元43在预测控制单元41的控制下，在用于色差分量的帧内预测处理中，使用在参考线存储器42中所存储的参考像素值来计算LM模式的预测函数的系数。滤波器44计算代入到预测函数的亮度分量的值，该预测函数具有系数计算单元43通过滤波亮度分量的重构像素值而计算得到的系数。

预测单元45生成用于每个预测目标块的预测图像。当预测控制单元41确定对于给定的预测目标块两条或更多条参考线可用时，预测单元45使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

例如，当在角度预测模式中两条或更多条参考线可用时，预测单元45使用在对应于指定角度的位置的两条或更多条参考线中的参考像素来生成预测图像。更具体地，根据等式（9）或等式（10），可以对在对应于该角度的位置的第一参考线中的第一参考像素和第二参考线中的第二参考像素加权并且相加在一起。另外，当在DC预测模式中两条或更多条参考线可用时，预测单元45将两条或更多条参考线中的参考像素包括到根据等式（11）至等式（13）的任一个的平均值的计算中。另外，当在平面预测模式中两条或更多条参考线可用并且第一参考线中预定位置的参考像素不可用时，预测单元45使用第二参考线中的参考像素代替预定位置的参考像素来计算预测像素值。

当预测控制单元41指定LM模式时，预测单元45通过将滤波器44计算所得的亮度分量的值代入具有系数计算单元43计算所得的系数的预测函数来计算预测像素值。

模式确定单元46基于从排序缓冲12所输入的原始图像数据和从预测单元45所输入的预测图像数据，计算每个预测模式的成本函数值。然后，模式确定单元46基于计算的成本函数值，确定用于每个颜色分量的最优预测模式。然后，模式确定单元46将关于帧内预测的信息（包括表示确定的最优预测模式的预测模式信息）、成本函数值以及预测图像数据（包括用于每个颜色分量的预测像素值）输出至选择器27。

[1-3.变型例]

对于扩展的预测模式的应用，还可采用以下描述的变型例。

（1）根据预测方向的切换

在角度预测模式中，预测单元45可仅当对应于预测模式的角度接近于垂直或水平时，使用在对应于该角度的位置的两条或更多条参考线中的参考像素。例如，预测单元45可在对应于预测模式号的角度参数intraPredAngle（参见图7）的绝对值低于预定阈值（例如，10或20）时，根据前述的扩展的预测模式生成预测图像，并且可在其它情况下，如现有的方法一样地生成预测图像。当角度参数intraPredAngle的值小时，其意味着预测方向接近于垂直方向或水平方向。当预测方向更接近于垂直方向时，预测目标块的图像与位于预测目标块上方的相邻块的图像之间的相关性更强。当预测方向更接近于水平方向时，预测目标块的图像与位于预测目标块左侧的相邻块的图像之间的相关性更强。因此，仅在此情况下，可以通过不仅相加与预测目标块相邻的线、还相加远离参考线的线，有效地改进帧内预测的预测精确度。

（2）下采样之后参考像素值的使用

当色度格式是4:2:0时，例如，像素密度在亮度分量与色差分量之间不同。因此，在LM模式中下采样亮度分量的参考像素值，并且使用下采样之后的参考像素值来计算系数。当在参考线存储器42中存储下采样之后的参考像素值时，在每个前述的预测模式中可使用下采样之后的参考像素值代替下采样之前的参考像素值。

例如，在DC预测模式中，如在图14中所示预测单元45可将在执行下采样以生成1/2的像素密度之后保留的第二参考线中的参考像素值包括到平均的计算中。另外，在平面预测模式中，如在图15中所示预测单元45可使用在执行下采样之后保留的参考像素p(nS-2,-2)和{p(-2,nS-2)+p(-2,nS-1)+1}/2分别作为用于在预测目标块的右上方和左下方的参考像素的替代参考像素。

<2.在根据实施例的编码中所执行的处理的流程>

接下来，将参考图16至20描述在编码中所执行的处理的流程。注意，此部分将主要描述使用两条参考线中的参考像素生成预测图像的示例。然而，使用的参考线的数量不限于此。例如，可使用位于预测目标块左侧的三条或更多条参考线中的参考像素生成预测图像。

[2-3.帧内预测处理]

图16是示出具有在图2中示例性示出的配置的帧内预测单元40进行的、编码中所执行的帧内预测处理的示例性流程的流程图。对于在每个LCU中所设置的作为处理目标的一个或多个预测目标块中的每个，执行在图16中所示的帧内预测处理。

在图16的示例中，对于在搜索范围中所包括的每个预测模式候选重复步骤S101至步骤S105中的处理。

例如，当给定的预测模式候选的预测模式号指示角度预测模式时（步骤S101），预测控制单元41使预测单元45执行角度预测处理（步骤S110）。当预测模式号指示DC预测模式时（步骤S103）,预测控制单元41使预测单元45执行DC预测处理（步骤S120）。当预测模式号指示平面预测模式时（步骤S105）,预测控制单元41使预测单元45执行平面预测处理（步骤S130）。另外，当预测模式号指示用于色差分量的LM模式时，预测控制单元41使预测单元45执行LM模式中的预测处理（步骤S140）。之后，预测控制单元41确定是否余留还未搜索的下一个预测模式候选（步骤S150）。在此，如果余留下一预测模式候选，则对于下一预测模式候选执行步骤S101至S150中的处理。当搜索了所有的预测模式候选时，处理继续至步骤S160。

接下来，模式确定单元46比较原始图像数据与预测图像数据以计算每个预测模式的成本函数值，并且基于所计算的成本函数值确定最优预测模式（步骤S160）。然后，模式确定单元46将关于帧内预测的信息（包括预测模式信息）、成本函数值以及预测图像数据输出至选择器27。

注意，预测控制单元41可在搜索范围中包括现有的预测模式和扩展的预测模式。在此情况下，如果扩展的预测模式将成本函数值减少的更多，则可以生成指示扩展的预测模式的预测模式信息。

无损编码单元16对在这样的帧内预测处理中所生成的关于帧内预测的信息编码，并且在编码流的报头区域复用此信息。无损编码单元16还可对有效化参数编码，该有效化参数指示参考两条或更多条参考线的模式（即，前述的扩展的预测模式）是否有效。因此，例如，明确地对解码器侧示出支持扩展的预测模式的编码器是否生成了编码流变为可能。

另外，对于有两条或更多条参考线可用的每个预测目标块，无损编码单元16可对指示是否应当使用多条参考线中的参考像素的指示参数编码。因此，可以对解码器侧指示对于每个预测目标块是否应该以扩展的预测模式生成预测图像。

[2-2.角度预测处理]

图17是示出扩展的角度预测处理的示例性详细流程的流程图。

参考图17，首先，预测控制单元41例如比较顺序参数intraPredOrder和预定阈值（例如，18），以确定预测方向是否是纵向的（步骤S111）。在此，如果预测方向不是纵向的，则处理继续至步骤S112。同时，如果预测方向是纵向的，则处理继续至步骤S113。

在步骤S112中，预测控制单元41确定位于预测目标块左侧的相邻块的两条参考线是否可用（步骤S112）。在此，如果位于预测目标块左侧的相邻块的两条参考线不可用，处理继续至步骤S114。同时，如果位于预测目标块左侧的相邻块的两条参考线可用，处理继续至步骤S115。

在步骤S113中，预测控制单元41确定位于预测目标块上方的相邻块的两条参考线是否可用（步骤S113）。在此，如果位于预测目标块上方的相邻块的两条参考线不可用，处理继续至步骤S114。同时，如果位于预测目标块上方的相邻块的两条参考线可用，则处理继续至步骤S116。

在步骤S114中，两条参考线不可用。因此，预测单元45与现有的方法一样地、使用位于预测目标块上方或左侧的单个参考线中的参考像素，根据角度预测模式生成预测图像（步骤S114）。

在步骤S115中，位于预测目标块左侧的两条参考线可用。因此，预测单元45根据扩展的角度预测模式、使用位于预测目标块左侧的两条参考线中的参考像素生成预测图像（步骤S115）。

在步骤S116中，位于预测目标块上方的两条参考线可用。因此，预测单元45根据扩展的角度预测模式、使用位于预测目标块上方的两条参考线中的参考像素生成预测图像（步骤S116）。

[2-3.DC预测处理]

图18是示出扩展的DC预测处理的示例性详细流程的流程图。

参考图18，首先，预测控制单元41例如根据LCU中的预测目标块的位置，确定位于预测目标块上方的相邻块的两条参考线是否可用（步骤S121）。在此，如果位于预测目标块上方的相邻块的两条参考线不可用，则处理继续至步骤S122。同时，如果位于预测目标块上方的相邻块的两条参考线可用，则处理继续至步骤S123。

在步骤S122中，预测单元45将位于预测目标块上方的单个参考线中的参考像素的像素值包括到平均值的计算中（步骤S122）。同时，在步骤S123中，预测单元45将位于预测目标块上方的两条参考线中的参考像素的像素值包括到平均值的计算中（S132）。

接下来，预测控制单元41例如根据帧中的预测目标块的位置，确定位于预测目标块左侧的相邻块的两条参考线是否可用（步骤S124）。在此，如果位于预测目标块左侧的相邻块的两条参考线不可用，则处理继续至步骤S125。同时，如果位于预测目标块左侧的相邻块的两条参考线可用，则处理继续至步骤S126。

在步骤S125中，预测单元45将位于预测目标块左侧的单个参考线中的参考像素的像素值包括到平均值的计算中（步骤S125）。同时，在步骤S126中，预测控制单元45将位于预测目标块左侧的两条参考线中的参考像素的像素值包括到平均值的计算中（步骤S126）。

接下来，预测单元45根据在以上描述的步骤S122或S123以及在以上描述的步骤S125或S126中所计算的总像素值来计算平均像素值，并且生成预测图像（步骤S127）。

[2-4.平面预测处理]

图19是示出扩展的平面预测处理的示例性详细流程的流程图。

参照图19，首先，预测控制单元41确定是否满足以下条件：位于预测目标块上方的相邻块的两条参考线可用并且在右上方的参考像素不可用（步骤S131）。在此，如果满足这样的条件，则预测单元45确定应当使用位于预测目标块上方的第二参考线中的替代参考像素来代替在右上方的参考像素（步骤S132）。

另外，预测控制单元41确定是否满足以下条件：位于预测目标块左侧的相邻块的两条参考线可用并且在左下方的参考像素不可用（步骤S133）。在此，如果满足这样的条件，则预测单元45确定应当使用位于预测目标块左侧的第二参考线中的替代参考像素来代替在左下方的参考像素（步骤S134）。

接下来，预测单元45使用在预定位置的参考像素或替代参考像素、根据平面预测的预测等式对于预测目标块中的每个像素计算预测像素值，从而生成预测图像（步骤S135）。

[2-5.可用性确定处理]

图20是示出根据实施例的可用性确定处理的示例性详细流程的流程图。例如，可依照在此所描述的流程执行图17中的步骤S112和S113、图18中的步骤S121和S124、以及图19中的步骤S131和S133中的一些中的确定。

参照图20，首先，预测控制单元41确定要确定的相邻块是否与预测目标块存在于相同帧中（步骤S191）。在此，如果相邻块与预测目标块不存在于相同帧中，则预测控制单元41确定不存在可用参考线（步骤S192）。

同时，如果相邻块与预测目标块存在于相同帧中，则预测控制单元41进一步确定相邻块与预测目标块是否存在于相同切片中（步骤S193）。在此，如果相邻块与预测目标块不存在于相同切片中，则预测控制单元41确定不存在可用参考线（步骤S192）。

同时，如果相邻块与预测目标块存在于相同切片中，则预测控制单元41进一步确定相邻块与预测目标块是否存在于相同LCU中（步骤S194）。在此，如果相邻块与预测目标块不存在于相同LCU中，则预测控制单元41确定仅相邻块的单个参考线可用（步骤S195）。同时，如果相邻块与预测目标块存在于相同LCU中，则预测控制单元41确定相邻块的两条参考线可用（步骤S196）。

注意，如果要确定的相邻块为在预测目标块左侧的相邻块，则可省略步骤S194。在该情况下，如果在预测目标块左侧的相邻块与预测目标块存在于相同切片中，则可以确定相邻块的两条参考线可用。

<3.根据实施例的图像解码装置的示例性配置>

[3-1.示例性整体配置]

图21是示出根据实施例的图像解码装置60的示例性配置的框图。参照图21，图像解码装置60包括存储缓冲61，无损解码单元62、逆量化单元63、逆正交变换单元64、加法器65、去块效应滤波器66、排序缓冲67、D/A（模拟到数字）转换单元68、帧存储器69、选择器71、运动补偿单元80以及帧内预测单元90。

存储缓冲61使用存储介质暂时存储经由传输信道所输入的编码流。

无损解码单元62根据在编码中所使用的编码方案来对经由存储缓冲61所输入的编码流解码。另外，无损解码单元62对在编码流的报头部分复用的信息解码。在编码流的报头部分复用的信息可以包括前述的关于帧内预测的信息和关于帧间预测的信息。无损解码单元62将关于帧间预测的信息输出至运动补偿单元80。另外，无损解码单元62将关于帧内预测的信息输出至帧内预测单元90。

逆量化单元63对于经受无损解码单元62解码的量化数据执行逆量化。逆正交变换单元64根据在编码中所使用的正交变换方案，对于从逆量化单元63所输入的转换系数数据执行逆正交变换，从而还原预测误差数据。然后，逆正交变换单元64将生成的预测误差数据输出至加法器65。

加法器65使从逆正交变换单元64所输入的预测误差数据和从选择器71所输入的预测图像数据相加在一起，从而重构解码图像数据。然后，加法器65将重构的解码图像数据输出至去块效应滤波器66和帧内预测单元90。

去块效应滤波器66通过对从加法器单元65所输入的解码图像数据滤波来移除块失真，并且将滤波之后的解码图像数据输出至排序缓冲67和帧存储器69。

排序缓冲67对从去块效应滤波器66所输入的图像排序来生成时间序列的一系列图像数据。然后，排序缓冲67将生成的图像数据输出至D/A转换单元68。

D/A转换单元68将从排序缓冲67输入的数字形式的图像数据转换为模拟形式的图像信号。然后，D/A转换单元68例如将模拟图像信号输出至连接到图像解码装置60的显示器（未示出），使得显示图像。

帧存储器69使用存储介质来存储从去块效应滤波器66所输入的滤波的解码图像数据。当运动补偿单元80执行帧间预测时，参考在帧存储器69中所存储的解码图像数据。

选择器71根据无损解码单元62所获取的模式信息，在运动补偿单元80与帧内预测单元90之间切换要供给至加法器65的预测图像数据的输出源。例如，当指定帧间预测模式时，选择器71将从运动补偿单元80所输出的预测图像数据供给至加法器65。另外，当指定帧内预测模式时，选择器71将从帧内预测单元90所输出的预测图像数据供给至加法器65。

运动补偿单元80基于从无损解码单元62所输入的关于帧间预测的信息和来自帧存储器69的参考图像数据执行运动补偿处理，从而生成预测图像数据。然后，运动补偿单元80将生成的预测图像数据输出至选择器71。

帧内预测单元90基于从无损解码单元62所输入的关于帧内预测的信息和来自加法器65的参考图像数据执行帧内预测处理，从而生成预测图像数据。然后，帧内预测单元90将生成的预测图像数据输出至选择器71。下面详细的描述帧内预测单元90所执行的这样的帧内预测处理。

[3-2.帧内预测单元的示例性配置]

图22是示出在图21中所示的图像解码装置60的帧内预测单元90的示例性详细配置的框图。参照图22，帧内预测单元90包括预测控制单元91、参考线存储器92、系数计算单元93、滤波器94、预测单元95以及参数获取单元96。

预测控制单元91控制帧内预测单元90的帧内预测处理。在本实施例中，对于在图像中所设置的每个LCU，顺序地执行图像解码装置60的解码处理。预测控制单元91对于在每个LCU中、作为预测目标块的一个或多个预测单位中的每个执行用于亮度分量（Y）的帧内预测处理和用于色差分量（Cb，Cr）的帧内预测处理。更具体地，预测控制单元91使预测单元95根据参数获取单元96所获取的预测模式信息所指示的预测模式，生成用于预测目标块的预测图像。

在这样的帧内预测处理中，预测控制单元91例如根据预测目标块的位置，确定位于预测目标块上方的两条或更多条参考线、或位于预测目标块左侧的相邻块的两条或更多条参考线是否可用。然后，如果确定位于预测目标块上方的两条或更多条参考线、或位于预测目标块左侧的相邻块的两条或更多条参考线可用，则预测控制单元91使预测单元95根据以上描述的扩展的预测模式生成预测图像。

参考线存储器92暂时存储从加法器65所输入的重构图像数据。在本实施例中，参考线存储器92存储在预测目标块所属的行上的参考像素和在位于预测目标块上方的相邻块的下端的两行参考像素的像素值。在LM模式中，参考线存储器92中所存储的重构图像数据被用来以系数计算单元93计算预测函数的系数。在除LM模式之外的预测模式中，参考线存储器92中所存储的重构图像数据被用来以预测单元95生成预测图像。

当预测控制单元91指定LM模式时，系数计算单元93使用在参考线存储器92中所存储的参考像素值来计算LM模式的预测函数的系数。滤波器44计算代入到预测函数的亮度分量的值，该预测函数具有系数计算单元93通过滤波亮度分量的重构像素值计算得到的系数。

预测单元95生成用于每个预测目标块的预测图像。当预测控制单元91确定对于给定的预测目标块两条或更多条参考线可用时，预测单元95使用该两条或更多条参考线中的参考像素生成用于预测目标块的预测图像。

例如，如果在角度预测模式中两条或更多条参考线可用，则预测单元95类似于图像编码装置10的预测单元45使用对应于指定角度的位置的两条或更多条参考线中的参考像素来生成预测图像。另外，如果在DC预测模式中两条或更多条参考线可用，则预测单元95将该两条或更多条参考线中的参考像素包括到平均值的计算。另外，如果在平面预测模式中两条或更多条参考线可用并且第一参考线中预定位置的参考像素不可用，则预测单元95使用第二参考线中的参考像素代替预定位置的参考像素来计算预测像素值。

当预测控制单元91指定LM模式时，预测单元95通过将滤波器44计算的亮度分量的值代入具有系数计算单元93计算的系数的预测函数，来计算预测像素值。

参数获取单元96获取无损解码单元62所解码的关于帧内预测的信息。关于帧内预测的信息包括指示为每个预测目标块所确定的预测模式的预测模式信息。

另外，关于帧内预测的信息还可以包括前述的有效化参数。例如，当未获取指示扩展的预测模式有效的有效化参数时，预测控制单元91可使预测单元95根据现有的方法生成预测图像。当有效化参数指示扩展的预测模式有效时，预测控制单元91确定对于每个预测目标块两条或更多条参考线是否可用，并且依照确定结果、使预测单元95根据扩展的预测模式生成预测图像。

关于帧内预测的信息还可以包括前述的指示参数。例如，当指示参数指示对于给定的预测目标块不应当使用多条参考线中的参考像素时，预测控制单元91可使预测单元95根据现有的方法生成用于预测目标块的预测图像。

<4.在根据实施例的解码中所执行的处理的流程>

接下来，将参照图23描述在解码中所执行的处理的流程。

图23是示出具有图22中所示例性地示出的配置的帧内预测单元90的解码中所执行的帧内预测处理的示例性流程的流程图。对于每个LCU中所设置的、作为处理目标的一个或多个预测目标块中的每个执行在图23中所示的帧内预测处理。

首先，参数获取单元96从无损解码单元62所解码的关于帧内预测的信息中获取预测模式信息（步骤S201）。

接下来，当获取的预测模式信息指示角度预测模式时（步骤S203），预测控制单元91使预测单元95执行角度预测处理（诸如在图17中示例性所示的处理）（步骤S210）。当获取的预测模式信息指示DC预测模式时（步骤S205），预测控制单元91使预测单元95执行DC预测处理（诸如在图18中示例性所示的处理）（步骤S220）。当获取的预测模式信息指示平面预测模式时（步骤S207），预测控制单元91使预测单元95执行平面预测处理（诸如在图19中示例性所示的处理）（步骤S230）。当对于色差分量获取的预测模式信息指示LM模式时，预测控制单元91使预测单元95执行LM模式中的预测处理（步骤S240）。

预测单元95将在上述预测处理中所生成的预测图像数据输出至选择器71。

<5.应用的示例>

根据前述实施例的图像编码装置10和图像解码装置60可以被应用到各种电子设备，诸如用于卫星广播、有线广播（诸如有线电视）、因特网广播、或通过蜂窝通信到终端的广播的发送机或接收机、在介质（诸如光盘、磁盘或闪速存储器）上记录图像的记录装置、或从记录介质再现图像的再现装置。在下文中，将描述四个应用的实施例。

[5-1.第一应用示例]

图24示出了应用前述实施例的电视装置的示例性概略配置。电视装置900包括天线901、调谐器902、分用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户界面911以及总线912。

调谐器902从经由天线901所接收的广播信号中提取期待的通道的信号，并且解调提取的信号。然后，调谐器902将通过解调所获得的编码比特流输出至分用器903。即，调谐器902充当在电视装置900中用于接收通过对图像编码而获得的编码流的传输装置。

分用器903从编码比特流中分离要观看的节目的视频流和音频流，并且将每个分离的流输出至解码器904。另外，分用器903从编码比特流中提取辅助数据（诸如EPG（电子节目指南）），并且将提取的数据供给至控制单元910。注意，当编码比特流被加扰时，分用器903可执行解扰。

解码器904对从分用器903所输入的视频流和音频流解码。然后，解码器904将在解码处理中所生成的视频数据输出至视频信号处理单元905。另外，解码器904还将在解码处理中所生成的音频数据输出至音频信号处理单元907。

音频信号处理单元905再现从解码器904所输入的视频数据，并且使显示单元906显示视频。视频信号处理单元905还可使显示单元906显示经由网络所提供的应用程序屏幕。另外，视频信号处理单元905例如还可根据设置对视频数据执行额外的处理（诸如噪声消除）。另外，视频信号处理单元905例如可生成诸如菜单、按钮、或光标的GUI（图形用户界面）的图像，并且将生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905所提供的驱动信号驱动，并且在显示装置（例如，液晶显示器、等离子显示器或OLED）的视频画面上显示视频或图像。

音频信号处理单元907对于从解码器904所输入的音频数据执行再现处理（诸如的D/A转换或放大），并且将音频从扬声器908输出。另外，音频信号处理单元907还可对于音频数据执行额外的处理（诸如噪声消除）。

外部接口910是用于将电视装置900连接至外部装置或网络的接口。例如，经由外部接口909所接收的视频流或音频流可由解码器904解码。即，外部接口909还充当在电视装置900中用于接收通过对图像编码获得的编码流的传输装置。

控制单元900包括处理器（诸如CPU（中央处理单元））和存储器（诸如RAM（随机存取存储器）和ROM（只读存储器））。存储器存储CPU执行的程序、程序数据、EPG数据、经由网络所获取的数据等。例如当接通电视装置900时，CPU读取并且执行在存储器中所存储的程序。CPU通过执行程序、根据例如从用户界面911所输入的操作信号来控制电视装置900的操作。

用户界面911连接至控制单元910。用户界面911具有用于用户操作电视装置900的按钮和开关、用于远程控制信号的接收单元等。用户界面911经由这样的部件检测用户操作以生成操作信号，并且将生成的操作信号输出至控制单元910。

总线912相互连接调谐器902、分用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910。

在如上配置的电视装置900中，解码器904具有根据前述实施例的图像解码装置60的功能。因此，可以在电视装置900的图像的解码中，凭借线存储器的规模的扩展而改进成本效益。

[5-2.应用的第二示例]

图25示出了应用前述的实施例的便携式电话装置的示例性概略配置。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、扩音器925、摄像单元926、图像处理单元927、分用器928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921连接至通信单元922。扬声器924和扩音器925连接至音频编解码器923。操作单元932连接至控制单元931。总线933相互连接通信单元922、音频编解码器923、摄像单元926、图像处理单元927、分用器928、记录/再现单元929、显示单元930以及控制单元931。

便携式电话装置920以包括音频通信模式、数据通信模式、图像拾取模式以及视频电话模式的各种操作模式执行如下操作：诸如音频信号的传输/接收、电子邮件或图像数据的传输/接收、图像的拾取以及数据的记录。

在音频通信模式中，扩音器925所生成的模拟音频信号被供给至音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，并且对转换的音频数据进行A/D转换以及压缩。然后，音频编解码器923将压缩的音频数据输出至通信单元922。通信单元922对音频数据编码并且调制以生成传输信号。然后，通信单元922将生成的传输信号经由天线921传送至基站（未示出）。另外，通信单元922对经由天线921所接收的无线电信号进行放大和频率转换以获取接收的信号。然后，通信单元922对接收的信号解调和解码以生成音频数据，并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行解压缩和D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号供给至扬声器924以使扬声器924输出音频。

在数据通信模式中，控制单元931例如响应于经由输入单元932输入的用户操作生成构成电子邮件的文本数据。另外，控制单元931使显示单元930显示文本。另外，控制单元931响应于用户经由操作单元932输入的传输指令而生成电子邮件数据，并且将生成的电子邮件数据输出至通信单元922。然后，通信单元922对电子邮件数据编码和调制以生成传输信号。然后，通信单元922将生成的传输信号经由天线921传送至基站（未示出）。另外，通信单元922对经由天线921所接收的无线电信号进行放大和频率转换以获取接收的信号。然后，通信单元922对所接收的信号解调和解码以重构电子邮件数据，并且将重构的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容并且将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929具有给定的存储介质，可以将数据写入该存储介质或可以从该存储介质中读取数据。例如，存储介质可以是内置存储介质诸如RAM或闪速存储器，或外部加载的存储介质（诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡）。

在图像拾取模式中，例如，摄像单元926拾取对象的图像以生成图像数据，并且将生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像单元926所输入的图像数据编码，并且将编码流存储在记录/再现单元929的记录介质中。

在视频电话模式中，分用器928例如复用图像处理单元927所编码的视频流和从音频编解码器923所输入的音频流，并且将复用的流输出至通信单元922。通信单元922对流编码和调制以生成传输信号。然后，通信单元922将生成的传输信号经由天线921传送至基站（未示出）。另外，通信单元922对经由天线921所接收的无线电信号进行放大和频率转换以获取接收的信号。这样的传输信号和接收信号可以包括编码比特流。然后，通信单元922对接收的信号解调和解码以重构流，并且将重构的流输出至分用器928。分用器928从输入流中分离视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流解码以生成视频数据。视频数据被供给至显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩和D/A转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号供给至扬声器924以使扬声器924输出音频。

在如上配置的便携式电话装置920中，图像处理单元927具有根据前述实施例的图像编码装置10和图像解码装置60的功能。因此，可以在便携式电话装置920中的图像编码和解码中，凭借线存储器的规模的扩展而改进成本效益。

[5-3.应用的第三示例]

图26示出了应用前述的实施例的记录/再现装置的示例性概略配置。记录/再现装置940例如对接收的广播节目的音频数据和视频数据编码，并且将编码数据记录在记录介质上。替选地，记录/再现装置940还可对从另一装置所获取的音频数据和视频数据编码，并且将编码数据记录在记录介质上。另外，记录/再现装置940例如响应于用户的指令用监视器或扬声器再现记录介质上所记录的数据。此时，记录/再现装置940对音频数据和视频数据解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、磁盘驱动器945、选择器946、解码器947、OSD（屏幕显示）948、控制单元949以及用户界面950。

调谐器941从经由天线（未示出）接收的广播信号中提取期望的通道的信号，并且解调提取的信号。然后，调谐器941将通过解调获得的编码比特流输出至选择器946。即，调谐器941具有记录/再现装置940中的传输装置的功能。

外部接口942是用于连接记录/再现装置940和外部装置或网络的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪速存储器接口。例如，经由外部接口942所接收的视频数据和音频数据输入至编码器943。即，外部接口942具有记录/再现装置940中的传输装置的功能。

当从外部接口942所输入的视频数据和音频数据未编码时，编码器943对视频数据和音频数据编码。然后，编码器943将编码比特流输出至选择器946。

HDD 944将通过压缩内容数据（诸如视频和音频）而获得的编码比特流、各种程序以及其它数据记录在内部硬盘上。另外，在视频和音频的再现中，HDD 944从硬盘读取前述的数据。

磁盘驱动器945将数据记录在装载的记录介质上或从装载的记录介质上读取数据。装载到磁盘驱动器945的记录介质可以是例如DVD盘（例如，DVD-视频，DVD-RAM，DVD-R，DVD-RW，DVD+R，DVD+RW）或者蓝光（注册商标）盘。

在视频和音频的记录中，选择器946选择从调谐器941或编码器943所输入的编码比特流，并且将选择的编码比特流输出至HDD 944或磁盘驱动器945。另外，在视频和音频的再现中，选择器946将从HDD 944或磁盘驱动器945所输入的编码比特流输出至解码器947。

解码器947对编码比特流解码以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD 948。另外，解码器947将生成的音频数据输出至外部扬声器。

OSD 948再现从解码器947所输入的视频数据，并且显示视频。另外，OSD 948可以例如在显示的视频上叠加诸如菜单、按钮或光标的GUI的图像。

控制单元949包括处理器（诸如CPU）和存储器（诸如RAM和ROM）。存储器存储CPU执行的程序、程序数据等。例如当接通记录/再现装置940时，CPU读取并且执行在存储器中所存储的程序。CPU通过执行程序、根据例如从用户界面950所输入的操作信号来控制记录/再现装置940的操作。

用户界面950连接至控制单元949。用户界面950包括用于用户操作记录/再现装置940的按钮、开关、用于远程控制信号的接收单元等。用户界面950通过经由前述部件检测用户操作而生成操作信号，并且将生成的操作信号输出至控制单元949。

在如上配置的记录/再现装置940中，编码器943具有根据前述的实施例的图像编码装置10的功能。另外，解码器947具有根据前述实施例的图像解码装置60的功能。因此，可以在记录/再现装置940的图像的编码和解码中，凭借线存储器的规模的扩展而改进成本效益。

[5-4.应用的第四示例]

图27示出了应用前述的实施例的成像装置的示例性概略配置。成像装置960通过拾取对象的图像而生成图像，并且对图像数据编码以及在记录介质上记录编码图像数据。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、媒介驱动器968、OSD 969、控制单元970、用户界面971以及总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户界面971连接至控制单元970。总线972相互连接图像处理单元964、外部接口966、存储器967、媒介驱动器968、OSD 969以及控制单元970。

光学块961包括聚焦透镜、光圈（diaphragm）机构等。光学块961在成像单元962的像平面上形成对象的光学图像。成像单元962包括图像传感器（诸如CCD或CMOS），并且通过光电转换将在像平面上所形成的光学图像转换为作为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对于从成像单元962所输入的图像信号执行各种摄像信号处理诸如拐点（knee）校正、伽马校正以及色彩校正。信号处理单元963将摄像信号处理之后的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963所输入的图像数据编码以生成编码数据。然后，图像处理单元964将生成的编码数据输出至外部接口966或媒介驱动器968。另外，图像处理单元964对从外部接口966或媒介驱动器968所输入的编码数据解码以生成图像数据。然后，图像处理单元964将生成的图像数据输出至显示单元965。替选地，图像处理单元964可将从信号处理单元963所输入的图像数据输出至显示单元965以显示图像。另外，图像处理单元964可将从OSD 969所获取的显示数据叠加在将输出至显示单元965的图像上。

OSD 969生成例如诸如菜单、按钮或光标的GUI的图像，并且将生成的图像输出至图像处理单元964。

外部接口966被配置为例如USB输入/输出端子。外部接口966例如在打印图像时连接成像装置960与打印机。另外，当必要时，驱动器连接至外部接口966。例如，可拆卸介质诸如磁盘或光盘装载到驱动器，并且从可拆卸介质所读取的程序可以安装在成像装置960上。另外，外部接口966可被配置为连接至网络（诸如LAN或因特网）的网络接口。即，外部接口966充当成像装置960中的传输装置。

装载到媒介驱动器968的记录介质可以是例如任何给定的可拆卸记录介质，诸如磁盘、磁光盘、光盘、或半导体存储器，可以将数据写入该可拆卸记录介质或从该可拆卸记录介质读取数据。替选地，记录介质可以固定地安装在媒介驱动器968上使得构成例如非便携式存储单元诸如内置硬盘驱动器或SSD（固态驱动器）。

控制单元970包括处理器（诸如CPU）和存储器（诸如RAM和ROM）。存储器存储CPU执行的程序、程序数据等。例如，当接通成像装置960时，CPU读取并且执行在存储器中所存储的程序。CPU通过执行程序、根据例如从用户界面971所输入的操作信号来控制成像装置960的操作。

用户界面971连接至控制单元970。用户界面971包括例如用于用户操作成像装置960的按钮、开关等。用户界面971通过经由前述部件检测用户操作而生成操作信号，并且将生成的操作信号输出至控制单元970。

在如上配置的成像装置960中，图像处理单元964具有根据前述实施例的图像编码装置10和图像解码装置60的功能。因此，可以在成像装置960中的图像的编码和解码中，凭借线存储器的规模的扩展而改进成本效益。

<6.结论>

到此为止，参照图1至图27详细地描述了根据实施例的图像编码装置10和图像解码装置60。根据前述实施例，当在图像的编码和解码中执行帧内预测时，如果确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线可用，则使用在两条或更多条参考线中的参考像素来生成预测图像。因此，可以例如通过有效地使用随着LM模式的引入增加的亮度分量的参考线来改进各种预测模式的预测精确度。

例如，对于与预测目标块属于相同LCU的相邻块，可以确定该相邻块的两条或更多条参考线可用。根据这样的确定条件，可以在使用用于一条线的线存储器（其存储不同于预测目标块所属的LCU的LCU的像素值）的情况下，充分地确定参考线的可用性。

另外，根据前述的实施例，扩展角度预测模式使得使用两条或更多条参考线中的参考像素。因此，可以相对像素值的变化增加鲁棒性，并且改进角度预测模式的预测精确度。另外，即使当扩展DC预测模式使得使用两条或更多条参考线中的参考像素时，还可以改进DC预测模式的预测精确度。同时，扩展平面预测模式使得当在用作用于预测的基础的预定位置的参考像素不可用时，使用在第二参考线中的替代参考像素。因此，可以当在预定位置的参考像素不可用时，减小预测精确度的降低。

注意，在本说明书中，主要描述了如下示例：在该示例中，关于帧内预测的信息和关于帧间预测的信息在编码流的报头复用，并且被从编码器侧传送至解码器侧。然而，传送这样的信息的方法不限于此。例如，这样的信息可作为与编码比特流关联的分离的数据而发送或记录，而不在编码比特流上复用。在此，术语“关联”意味着在解码时将比特流中所包括的图像（可是部分图像，诸如切片或块）链接至对应于图像的信息。即，信息可通过不同于图像（或比特流）的传输信道而传送。替选地，信息可记录在不同于图像（或比特流）的记录介质（或相同记录介质的不同记录区域）上。作为另一替选，信息和图像（或比特流）可基于每给定单位（诸如多个帧、单个帧或帧的一部分）彼此关联。

尽管参照附图详细地描述了本公开的优选实施例，但是本公开不限于此。对于本领域内技术人员明显的是，在所附的权利要求或其等同方案的技术范围内，各种修改或变型是可能的。应当理解，这样的修改或变型仍在本公开的技术范围内。

附加地，本技术还可被如下配置。

（1）一种图像处理装置，其包括：

控制单元，其被配置成在帧内预测的执行中，确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和

预测单元，其被配置成当控制单元确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

（2）根据（1）的图像处理装置，其中控制单元确定对于与预测目标块属于相同LCU（最大编码单位）的相邻块，该相邻块的两条或更多条参考线可用。

（3）根据（1）或（2）的图像处理装置，其中当在角度预测模式中控制单元确定两条或更多条参考线可用时，预测单元使用在对应于指定角度的位置的两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

（4）根据（3）的图像处理装置，其中预测单元通过对在对应于该角度的位置的第一参考线中的第一参考像素和在对应于该角度的位置的第二参考线中的第二参考像素加权和相加在一起，来生成用于预测目标块的预测图像。

（5）根据（3）或（4）的图像处理装置，其中当该角度更接近于垂直或水平时，预测单元使用在对应于该角度的位置的两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

（6）根据（1）或（2）的图像处理装置，其中当在平均值预测模式中控制单元确定两条或更多条参考线可用时，预测单元通过将该两条或更多条参考线中的参考像素包括到平均值的计算中来生成用于预测目标块的预测图像。

（7）根据（1）或（2）的图像处理装置，其中当在平面预测模式中控制单元确定两条或更多条参考线可用并且第一参考线中预定位置的参考像素不可用时，预测单元使用第二参考线中的参考像素代替该预定位置的参考像素来生成用于预测目标块的预测图像。

（8）根据（1）至（7）中的任一个的图像处理装置，其中控制单元确定对于与预测目标块属于不同帧或不同切片的相邻块，相邻块的参考线不可用。

（9）根据（8）的图像处理装置，其中当位于预测目标块左侧的相邻块与预测目标块属于相同切片时，控制单元确定位于预测目标块左侧的相邻块的两条或更多条参考线可用。

（10）根据（1）至（9）中的任一个的图像处理装置，还包括：

参数获取单元，其被配置成获取有效化参数，该有效化参数指示参考两条或更多条参考线的模式是否有效，

其中当有效化参数指示参考两条或更多条参考线的模式有效时，控制单元确定两条或更多条参考线是否可用。

（11）根据（1）至（10）中的任一个的图像处理装置，还包括：

参数获取单元，其被配置成获取指示参数，该指示参数对于具有两条或更多条可用参考线的每个预测目标块，指示是否要使用两条或更多条参考线中的第一和第二参考线中的参考像素，

其中，预测单元对于指示参数指示要使用第一和第二参考线中的参考像素的预测目标块，使用第一和第二参考线中的参考像素来生成预测图像。

（12）一种图像处理方法，其包括：

在帧内预测的执行中确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和

当确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。

本领域的技术人员应该理解，在所附权利要求或其等同方案的范围内，根据设计需要和其它因素，可进行各种修改、组合、子组合以及变更。

本公开包含与2012年1月6日向日本专利局提交的日本优先权专利申请JP 2012-001225中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

Claims (12)

1.一种图像处理装置，其包括：

控制单元，其被配置成在帧内预测的执行中，确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和

预测单元，其被配置成当所述控制单元确定两条或更多条参考线可用时，使用所述两条或更多条参考线中的参考像素来生成用于所述预测目标块的预测图像。

2.根据权利要求1所述的图像处理装置，其中所述控制单元确定对于与所述预测目标块属于相同最大编码单位的相邻块，所述相邻块的两条或更多条参考线可用。

3.根据权利要求1所述的图像处理装置，其中当在角度预测模式中所述控制单元确定两条或更多条参考线可用时，所述预测单元使用在对应于指定角度的位置的所述两条或更多条参考线中的参考像素来生成用于所述预测目标块的预测图像。

4.根据权利要求3所述的图像处理装置，其中所述预测单元通过对在对应于所述角度的位置的第一参考线中的第一参考像素和在对应于所述角度的位置的第二参考线中的第二参考像素加权和相加在一起，来生成用于所述预测目标块的所述预测图像。

5.根据权利要求3所述的图像处理装置，其中当所述角度更接近于垂直或水平时，所述预测单元使用在对应于所述角度的位置的所述两条或更多条参考线中的参考像素来生成用于所述预测目标块的预测图像。

6.根据权利要求1所述的图像处理装置，其中当在平均值预测模式中所述控制单元确定两条或更多条参考线可用时，所述预测单元通过将所述两条或更多条参考线中的参考像素包括到平均值的计算中来生成用于所述预测目标块的预测图像。

7.根据权利要求1所述的图像处理装置，其中当在平面预测模式中所述控制单元确定两条或更多条参考线可用并且第一参考线中预定位置的参考像素不可用时，所述预测单元使用第二参考线中的参考像素代替所述预定位置的所述参考像素来生成用于所述预测目标块的预测图像。

8.根据权利要求1所述的图像处理装置，其中所述控制单元确定对于与所述预测目标块属于不同帧或不同切片的相邻块，所述相邻块的参考线不可用。

9.根据权利要求8所述的图像处理装置，其中当位于所述预测目标块左侧的相邻块与所述预测目标块属于相同切片时，所述控制单元确定位于所述预测目标块左侧的所述相邻块的两条或更多条参考线可用。

10.根据权利要求1所述的图像处理装置，还包括：

参数获取单元，其被配置成获取有效化参数，所述有效化参数指示参考两条或更多条参考线的模式是否有效，

其中，当所述有效化参数指示参考两条或更多条参考线的所述模式有效时，所述控制单元确定两条或更多条参考线是否可用。

11.根据权利要求1所述的图像处理装置，还包括：

参数获取单元，其被配置成获取指示参数，所述指示参数对于具有两条或更多条可用参考线的每个预测目标块，指示是否要使用所述两条或更多条参考线中的第一和第二参考线中的参考像素，

其中，所述预测单元对于所述指示参数指示要使用所述第一和第二参考线中的参考像素的预测目标块，使用所述第一和第二参考线中的所述参考像素来生成所述预测图像。

12.一种图像处理方法，其包括：

在帧内预测的执行中确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和

当确定两条或更多条参考线可用时，使用所述两条或更多条参考线中的参考像素来生成用于所述预测目标块的预测图像。

Images