CN105872566A - 图像编码装置和方法、以及图像译码装置和方法 - Google Patents

Abstract

本发明提供一种图像编码装置和方法、以及图像译码装置和方法。帧内预测部(4)在使用帧内的已编码的图像信号通过实施帧内预测处理而生成帧内预测图像时，通过参照滤波器选择用的表，从预先准备的1个以上的滤波器中根据滤波处理对象块的编码所涉及的各种参数的状态来选择滤波器，使用该滤波器实施针对预测图像的滤波处理。由此能够减少局部性地发生的预测误差，提高图像品质。

Description

图像编码装置和方法、以及图像译码装置和方法

本申请是申请号为201280005061.6(PCT/JP2012/000061)、申请日为2012年1月6日(递交日为2013年7月11日)、发明名称为“运动图像编码装置、运动图像译码装置、运动图像编码方法以及运动图像译码方法”的发明专利申请的分案申请。

技术领域

本发明是关于以高效率来进行图像编码的图像编码装置以及图像编码方法、以及以高效率来对被编码的图像进行译码的图像译码装置以及图像译码方法的技术。

背景技术

例如，在MPEG(Moving Picture Experts Group：运动图像专家组)、“ITU-T H.26x”等的国际标准视频编码方式中，使得将输入视频帧分割成矩形的块(编码对象块)，对该编码对象块通过实施使用已编码的图像信号的预测处理来生成预测图像，通过对作为该编码对象块和预测图像的差分的预测误差信号以块为单位进行正交变换、量化处理，来进行信息压缩。

例如，在作为国际标准方式的MPEG-4 AVC/H.264(ISO/IEC14496-10│ITU-T H.264)中，进行来自已编码的附近像素的帧内预测处理或者在邻近帧间的运动补偿预测处理(例如，参照非专利文献1)。

在MPEG-4 AVC/H.264中，在亮度的帧内预测模式中，可以以块为单位从多个预测模式中选择一个预测模式。

图10是表示亮度的块尺寸是4×4像素的情况下的帧内预测模式的说明图。

在图10中，白色圈是编码对象的块内的像素。黑色圈是用于预测的像素，是已编码的相邻块内的像素。

在图10中，作为帧内预测模式，准备模式0～模式8共9个模式，而模式2是进行平均值预测的模式，利用上边和左边块的相邻像素的平均值来预测编码对象块内的像素。

模式2以外的模式是进行方向性预测的模式。模式0是垂直方向预测，通过在垂直方向重复上边块的相邻像素而生成预测图像。例如，在是竖条纹花样时选择模式0。

模式1是水平方向预测，通过在水平方向重复左边块的相邻像素而生成预测图像。例如，在是横条纹花样时选择模式1。

模式3～模式8使用上边或者左边块的相邻像素，在规定的方向(箭头表示的方向)生成插值像素由此生成预测图像。

应用帧内预测的亮度的块尺寸可以从4×4像素、8×8像素、16×16像素中选择，当是8×8像素的情况下，和4×4像素的情况一样规定9个帧内预测模式。

当是16×16像素的情况下，规定4个帧内预测模式(平均值预测、垂直方向预测、水平方向预测、平面预测)。

平面预测是将在斜方向对上边块的相邻像素和左边块的相邻像素进行内插插值而生成的像素作为预测值的模式。

进行方向性预测的帧内预测模式因为在例如45度等由模式预先确定的方向生成预测值，所以在块内的对象的边界(边缘)的方向与预测模式所示的方向一致的情况下，预测效率变高而能够减少编码量。

但是，有时仅仅是边缘的方向和预测模式所示的方向之间产生稍许偏差、或者即使方向一致但编码对象块内的边缘稍许变形(摇晃、弯曲等)，就会局部性地发生大的预测误差，预测效率急剧下降。

为了防止这种预测效率的下降，在8×8像素的方向性预测中，通过使用对已编码的相邻像素实施平滑处理的方式进行预测处理，生成被平滑了的预测图像，使得减少在产生预测方向的稍许偏差、在边缘产生稍许变形的情况下所发生的预测误差。

非专利文献1：MPEG-4 AVC(ISO/IEC 14496-10)/ITU-TH.264标准

因为以往的图像编码装置如以上那样被构成，所以如果生成被平滑了的预测图像，则即使发生预测方向的稍许偏差或在边缘产生稍许变形，也能够减少所发生的预测误差。但是，在非专利文献1中，在8×8像素的块之外不实施平滑处理，在8×8像素的块中也只进行一般的平滑处理。

实际上，即使在8×8像素以外的尺寸的块中也同样地存在以下问题：即、即使预测图像和编码对象图像的图样相似，由于边缘的微小的不匹配也局部性地发生大的预测误差，产生预测效率的大幅度下降。另外，还存在如下问题：即使在同一尺寸的块中，如果在对预测误差信号进行量化时使用的量化参数、块内像素的位置、预测模式等不同，则适用于减少局部性的预测误差的处理也不同，但只准备有一般的平滑处理而无法充分减少预测误差。

进而，还存在以下问题：在进行了平均值预测时，由于将块内的预测全部作为与块相邻的像素的平均值，所以位于块边界的像素的预测信号相对于周围的已编码的像素容易变成不连续的信号，另一方面因为图像信号一般是空间方向相关性高的信号，所以因上述不连续性而容易在块的边界部分产生预测误差。

发明内容

本发明是为了解决上述那样的问题而提出的，其目的在于得到一种能够减少局部性地发生的预测误差而提高图像品质的图像编码装置、图像译码装置、图像编码方法以及图像译码方法。

关于本发明涉及的图像编码装置，在帧内预测单元通过使用帧内的已编码的图像信号，实施帧内预测处理而生成预测图像时，从预先准备的1个以上的滤波器中，根据滤波处理对象块的编码所涉及的各种参数的状态来选择滤波器，使用该滤波器，实施针对预测图像的滤波处理，将滤波处理后的预测图像输出给差分图像生成单元。

根据本发明，因为构成为在帧内预测单元通过使用帧内的已编码的图像信号，实施帧内预测处理来生成预测图像时，从预先准备的1个以上的滤波器中，根据滤波处理对象块的编码所涉及的各种参数的状态来选择滤波器，使用该滤波器实施针对预测图像的滤波处理，将滤波处理后的预测图像输出给差分图像生成单元，所以具有能够减少局部性地发生的预测误差而提高图像品质的效果。

附图说明

图1是表示本发明的实施方式1的运动图像编码装置的构成图。

图2是表示本发明的实施方式1的运动图像译码装置的构成图。

图3是表示本发明的实施方式1的运动图像编码装置的处理内容的流程图。

图4是表示本发明的实施方式1的运动图像译码装置的处理内容的流程图。

图5是表示将最大尺寸的编码块分层地分割成多个编码块的样子的说明图。

图6的(a)表示分割后的分区的分布，(b)是用4叉树图表示将编码模式m(Bⁿ)分配给分层分割后的分区的状况的说明图。

图7是表示在编码块Bⁿ内的各分区P_i ⁿ中可以选择的帧内预测参数(帧内预测模式)的一个例子的说明图。

图8是表示在l_i ⁿ＝m_i ⁿ＝4时，生成分区P_i ⁿ内的像素的预测值时使用的像素的一个例子的说明图。

图9是表示N＝5时的参照像素配置的一个例子的说明图。

图10是表示亮度块尺寸是4×4像素时的非专利文献1的帧内预测模式的说明图。

图11是表示在生成预测图像时使用的帧内的已编码的图像和滤波处理对象像素的距离的一个例子的说明图。

图12是表示具体的滤波器的参照像素配置的说明图。

图13是表示决定对帧内预测模式索引和分区尺寸的组合的每个组合使用哪个滤波器的表的一个例子的说明图。

图14是表示在进行了平均值预测时进行滤波处理的简化的一个例子的说明图。

图15是表示将滤波器选择表索引加到序列级标题时的比特流的一个例子的说明图。

图16是表示将滤波器选择表索引加到图片级标题时的比特流的一个例子的说明图。

图17是表示将滤波器选择表索引加到切片标题时的比特流的一个例子的说明图。

图18是表示将滤波器选择表索引加到基准块标题时的比特流的一个例子的说明图。

图19是表示与决定对帧内预测模式索引和分区尺寸的组合的每个组合使用哪个滤波器的表的图13不同的例子的说明图。

图20是表示对帧内预测模式索引和分区尺寸的组合的每个组合决定是否对在生成中间预测图像时的参照像素进行平滑处理的表的例子的说明图。

符号说明

1：编码控制部(编码控制单元)

2：块分割部(块分割单元)

3：切换开关(帧内预测单元，运动补偿预测单元)

4：帧内预测部(帧内预测单元)

5：运动补偿预测部(运动补偿预测单元)

6：减法部(差分图像生成单元)

7：变换·量化部(图像压缩单元)

8：反量化·反变换部

9：加法部

10：帧内预测用存储器

11：环路滤波器部

12：运动补偿预测帧存储器

13：可变长度编码部(可变长度编码单元)

51：可变长度译码部(可变长度译码单元)

52：切换开关(帧内预测单元，运动补偿预测单元)

53：帧内预测部(帧内预测单元)

54：运动补偿预测部(运动补偿预测单元)

55：反量化·反变换部(差分图像生成单元)

56：加法部(译码图像生成单元)

57：帧内预测用存储器

58：环路滤波器部

59：运动补偿预测帧存储器

100：滤波器选择表索引

具体实施方式

以下，为了更详细地说明本发明，对实施方式按照附图进行说明。

实施方式1

在本实施方式1中对运动图像编码装置和运动图像译码装置进行说明，该运动图像编码装置输入视频的各帧图像，通过实施来自已编码的附近像素的帧内预测处理或者在邻近帧之间实施运动补偿预测处理而生成预测图像，在对作为该预测图像和帧图像的差分图像的预测误差信号实施了基于正交变换·量化的压缩处理后，进行可变长度编码而生成比特流，该运动图像译码装置对从该运动图像编码装置输出的比特流进行译码。

本实施方式1的运动图像编码装置其特征在于：适应于视频信号的空间·时间方向的局部性的变化，将视频信号分割成多种尺寸的区域进行帧内·帧间适应性编码。

一般地，视频信号具有信号的复杂程度在空间·时间上局部性地变化的特性。在空间上看，在某一特定的视频帧上，既有在天空、墙壁等那样比较宽的图像区域中具有均匀的信号特性的图样，也混合存在有在具有人物、细致的纹理的绘画等小的图像区域内具有复杂纹理图案的图样。

即使在时间上看，虽然天空、墙壁的时间方向的图样的变化局部性地小，但运动的人物、物体其轮廓因为在时间上进行刚性和非刚性运动，所以时间上的变化大。

编码处理通过时间·空间上的预测而生成信号电力、熵小的预测误差信号，从而消减整体的编码量，而如果能够将用于预测的参数均匀地应用于尽可能大的图像信号区域，则能够减小该参数的编码量。

另一方面，对于时间上·空间上变化大的图像信号图案，如果应用同一预测参数，则因为预测的错误增加，所以无法消减预测误差信号的编码量。

因而，希望对于时间上·空间上变化大的图像信号图案，减小预测对象的区域，即使增加用于预测的参数的数据量，也减少预测误差信号的电力、熵。

为了进行适应于这样的视频信号的一般性质的编码，在本实施方式1的运动图像编码装置中，从规定的最大块尺寸分层分割视频信号的区域，对每个分割区域实施预测处理、预测误差的编码处理。

本实施方式1的运动图像编码装置作为处理对象的视频信号是视频帧具有水平、垂直2维的数字样本(像素)列的任意的视频信号，除了具有亮度信号和2个色差信号的YUV信号、从数字摄像元件输出的RGB信号等的任意的颜色空间的彩色视频信号以外，还有单色图像信号、红外线图像信号等。

各像素的灰度既可以是8位，也可以是10位、12位等的灰度。

但是，在以下的说明中，除非另有规定，假设输入的视频信号是YUV信号。另外，假设2个色差成分U、V相对于亮度成分Y是子采样的4:2:0格式的信号。

而且，把与视频的各帧对应的处理数据单位称为“图片”，在本实施方式1中，“图片”作为进行顺序扫描(progressive scanning:逐行扫描)的视频帧的信号进行说明。但是，当视频信号是交错信号的情况下，“图片”也可以是作为构成视频帧的单位的场图像信号。

图1是表示本发明的实施方式1的运动图像编码装置的构成图。

在图1中，编码控制部1实施如下处理：决定成为实施帧内预测处理(帧内预测处理)或者运动补偿预测处理(帧间预测处理)时的处理单位的编码块的最大尺寸，并且决定将最大尺寸的编码块分层分割时的上限层数。

另外，编码控制部1实施如下处理：从可以利用的1个以上的编码模式(1个以上的帧内编码模式、1个以上的帧间编码模式)中，选择适于分层分割的各个编码块的编码模式。

另外，编码控制部1实施如下处理：对各个编码块的每个，决定在压缩差分图像时使用的量化参数以及变换块大小，并且决定在实施预测处理时使用的帧内预测参数或者帧间预测参数。量化参数以及变换块尺寸包含于预测误差编码参数，被输出给变换·量化部7、反量化·反变换部8以及可变长度编码部13等。

而且，编码控制部1构成编码控制单元。

块分割部2实施如下处理：当输入表示输入图像的视频信号时，将该视频信号表示的输入图像分割成由编码控制部1所决定的最大尺寸的编码块，并且直到达到由编码控制部1决定的上限层数为止，分层分割该编码块。而且，块分割部2构成块分割单元。

切换开关3实施如下处理：如果由编码控制部1选择的编码模式是帧内编码模式，则将用块分割部2分割了的编码块输出到帧内预测部4，如果由编码控制部1选择的编码模式是帧间编码模式，则将由块分割部2分割了的编码块输出到运动补偿预测部5。

帧内预测部4实施如下处理：当从切换开关3接收到由块分割部2分割了的编码块时，使用帧内的已编码的图像信号，根据从编码控制部1输出的帧内预测参数，通过实施针对该编码块的帧内预测处理来生成预测图像。

但是，帧内预测部4在生成上述预测图像后，在从预先准备的1个以上的滤波器中，根据在运动图像译码装置中生成和上述预测图像相同的预测图像的时刻点已知的各种参数的状态来选择滤波器，使用该滤波器来实施针对上述预测图像的滤波处理，将滤波处理后的预测图像输出到减法部6以及加法部9。

具体地说，作为上述各参数根据以下4个参数中的至少1个以上的参数的状态来唯一地决定滤波器。

·参数(1)

上述的预测图像的块尺寸

·参数(2)

由编码控制部1决定的量化参数

·参数(3)

在生成预测图像时使用的帧内的已编码的图像信号和滤波处理对象像素的距离

·参数(4)

由编码控制部1决定的帧内预测参数

而且，由切换开关3以及帧内预测部4来构成帧内预测单元。

运动补偿预测部5实施如下处理：作为适于由块分割部2分割了的编码块的编码模式，当由编码控制部1选择了帧间编码模式的情况下，使用由运动补偿预测帧存储器12保持的1帧以上的参照图像，根据从编码控制部1输出的帧间预测参数，通过实施针对该编码块的运动补偿预测处理来生成预测图像。而且，由切换开关3以及运动补偿预测部5构成运动补偿预测单元。

减法部6实施如下处理：通过从由块分割部2分割了的编码块中减去由帧内预测部4或者运动补偿预测部5生成的预测图像，生成差分图像(＝编码块－预测图像)。而且，减法部6构成差分图像生成单元。

变换·量化部7以从编码控制部1输出的预测误差编码参数所包含的变换块尺寸为单位来实施由减法部6生成的差分图像的变换处理(例如，DCT(离散余弦变换)、预先针对特定的学习系列进行底层设计的KL变换等的正交变换处理)，并且实施如下处理：使用该预测误差编码参数所包含的量化参数，对该差分图像的变换系数进行量化，由此将量化后的变换系数作为差分图像的压缩数据来输出。而且，变换·量化部7构成图像压缩单元。

反量化·反变换部8实施如下处理：通过使用从编码控制部1输出的预测误差编码参数所包含的量化参数，对从变换·量化部7输出的压缩数据进行反量化，以该预测误差编码参数所包含的变换块尺寸为单位，实施反量化的压缩数据的反变换处理(例如，反DCT(反离散余弦变换)、反KL变换等的反变换处理)，从而将反变换处理后的压缩数据作为局部译码预测误差信号进行输出。

加法部9实施如下处理：通过将从反量化·反变换部8输出的局部译码预测误差信号和表示由帧内预测部4或者运动补偿预测部5生成的预测图像的预测信号相加，生成表示局部译码图像的局部译码图像信号。

帧内预测用存储器10是将由加法部9生成的局部译码图像信号表示的局部译码图像作为用帧内预测部4在下次的帧内预测处理中使用的图像保存的RAM等的存储介质。

环路滤波器部11实施如下处理：对由加法器9生成的局部译码图像信号所包含的编码失真进行补偿，将编码失真补偿后的局部译码图像信号表示的局部译码图像作为参照图像输出到运动补偿预测帧存储器12。

运动补偿预测帧存储器12是将由环路滤波器部11进行的滤波处理后的局部译码图像作为由运动补偿预测部5在下次的运动补偿预测处理中使用的参照图像而保存的RAM等的记录介质。

可变长度编码部13实施如下处理：对从变换·量化部7输出的压缩数据、从编码控制部1输出的编码模式以及预测误差编码参数、从帧内预测部4输出的帧内预测参数或者从运动补偿预测部5输出的帧间预测参数进行可变长度编码，生成复用了该压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数的编码数据的比特流。而且，可变长度编码部13构成可变长度编码单元。

图2是表示本发明的实施方式1的运动图像译码装置的构成图。

在图2中，可变长度译码部51实施如下处理：从在比特流中复用的编码数据中对分层分割的各个编码块所涉及的压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数进行可变长度译码，将其压缩数据以及预测误差编码参数输出到反量化·反变换部55，并且将其编码模式以及帧内预测参数/帧间预测参数输出到切换开关52。而且，可变长度译码部51构成可变长度译码单元。

切换开关52实施如下处理：在从可变长度译码部51输出的编码块所涉及的编码模式是帧内编码模式的情况下，将从可变长度译码部51输出的帧内预测参数输出到帧内预测部53，当其编码模式是帧间编码模式的情况下，将从可变长度译码部51输出的帧间预测参数输出到运动补偿预测部54。

帧内预测部53实施如下处理：使用帧内的已译码的图像信号，根据从切换开关52输出的帧内预测参数，通过针对编码块实施帧内预测处理来生成预测图像。

其中，帧内预测内部53在生成上述的预测图像后，从预先准备的1个以上的滤波器中，根据在生成上述预测图像的时刻点已知的各种参数的状态来选择滤波器，使用该滤波器对上述预测图像实施滤波处理，将滤波处理后的预测图像输出到加法部56。

具体地说，作为上述各种参数，根据以下的4个参数中的至少1个以上的参数的状态唯一地决定滤波器。其中，所使用的参数预先决定为与前面说明的运动图像编码装置相同的参数。即，统一在运动图像编码装置以及运动图像译码装置中使用的参数，以使得当在运动图像编码装置一侧，帧内预测部4使用参数(1)以及(4)进行滤波处理的情况下，运动图像译码装置一侧也同样地，帧内预测部53使用参数(1)以及(4)进行滤波处理。

·参数(1)

上述预测图像的块尺寸

·参数(2)

用可变长度译码部51进行可变长度译码的量化参数

·参数(3)

在生成预测图像时使用的帧内的已译码的图像信号和滤波处理对象像素的距离

·参数(4)

用可变长度译码部51进行可变长度译码的帧内预测参数

而且，由切换开关52以及帧内预测部53构成帧内预测单元。

运动补偿预测部54实施如下处理：使用由运动补偿预测帧存储器59保存的1帧以上的参照图像，根据从切换开关52输出的帧内预测参数，通过对编码块实施运动补偿预测处理来生成预测图像。而且，由切换开关52以及运动补偿预测部54构成运动补偿预测单元。

反量化·反变换部55实施如下处理：使用从可变长度译码部51输出的预测误差编码参数所包含的量化参数，对从可变长度译码部51输出的编码块所涉及的压缩数据进行反量化，通过以该预测误差编码参数所包含的变换块尺寸为单位，实施反量化的压缩数据的反变换处理(例如，反DCT(反离散余弦变换)、反KL变换等的反变换处理)，从而将反变换处理后的压缩数据作为译码预测误差信号(表示压缩前的差分图像的信号)进行输出。而且，反量化·反变换部55构成差分图像生成单元。

加法部56实施如下处理：通过将从反量化·反变换部55输出的译码预测误差信号和表示由帧内预测部53或者运动补偿预测部54生成的预测图像的预测信号相加，生成表示译码图像的译码图像信号。而且，加法部56构成译码图像生成单元。

帧内预测用存储器57是将由加法部56生成的译码图像信号表示的译码图像作为由帧内预测部53在下次的帧内预测处理中使用的图像而保存的RAM等的记录介质。

环路滤波器部58实施如下处理：对由加法器56生成的译码图像信号所包含的编码失真进行补偿，将编码失真补偿后的译码图像信号表示的译码图像作为参照图像而输出到运动补偿预测帧存储器59。

运动补偿预测帧存储器59是将用环路滤波器部58进行环路滤波处理后的译码图像作为用运动补偿预测部54在下次的运动补偿预测处理中使用的参照图像而保存的RAM等的记录介质。

在图1中，假设作为运动图像编码装置的构成要素的编码控制部1、块分割部2、切换开关3、帧内预测部4、运动补偿预测部5、减法部6、变换·量化部7、反量化·反变换部8、加法部9、环路滤波器部11以及可变长度编码部13分别用专用的硬件(例如，安装有CPU的半导体集成电路或者单片机等)来构成，但在运动图像编码装置用计算机构成的情况下，也可以将记录有编码控制部1、块分割部2、切换开关3、帧内预测部4、运动补偿预测部5、减法部6、变换·量化部7、反量化·反变换部8、加法部9、环路滤波器部11以及可变长度编码部13的处理内容的程序保存于该计算机的存储器，该计算机的CPU执行保存于该存储器的程序。

图3是表示本发明的实施方式1的运动图像编码装置的处理内容的流程图。

在图2中，假设作为运动图像译码装置的构成要素的可变长度译码部51、切换开关52、帧内预测部53、运动补偿预测部54、反量化·反变换部55、加法部56以及环路滤波器部58分别用专用的硬件(例如，安装有CPU的半导体集成电路或者单片机等)构成，但在运动图像译码装置用计算机构成的情况下，也可以将记录有可变长度译码部51、切换开关52、帧内预测部53、运动补偿预测部54、反量化·反变换部55、加法部56以及环路滤波器部58的处理内容的程序保存于该计算机的存储器，该计算机的CPU执行保存于该存储器的程序。

图4是表示本发明的实施方式1的运动图像译码装置的处理内容的流程图。

以下说明动作。

最初，说明图1的运动图像编码装置的处理内容。

首先，编码控制部1决定实施帧内预测处理(帧内预测处理)或者运动补偿预测处理(帧间预测处理)时的成为处理单位的编码块的最大尺寸，并且决定分层分割最大尺寸的编码块时的上限层数(图3的步骤ST1)。

作为编码块的最大尺寸的决定方法，例如考虑针对全部的图片，决定出与输入图像的分辨率相应的尺寸的方法。

另外，考虑将输入图像的局部性的运动的复杂程度的不同作为参数进行定量化，在运动剧烈的图片中将最大尺寸决定为小的值，在运动少的图片中将最大尺寸决定为大的值的方法等。

对于上限的层数的设定例如考虑以下的方法，即、设定为输入图像的运动越是剧烈，越加深层数，以能够检测更细微的运动，如果输入图像的运动少，则抑制层数。

另外，编码控制部1从可以利用的1个以上的编码模式(M种帧内编码模式，N种帧间编码模式)中选择适合于分层分割的各个编码块的编码模式(步骤ST2)。

基于编码控制部1的编码模式的选择方法因为是公知的技术，所以省略详细的说明，例如有：使用可以利用的任意的编码模式，对编码块实施编码处理，验证编码效率，在可以利用的多个编码模式中，选择编码效率最好的编码模式的方法等。

另外，编码控制部1对各个编码块的每个，决定压缩差分图像时使用的量化参数以及变换块尺寸，并且决定实施预测处理时使用的帧内预测参数或者帧间预测参数。

编码控制部1将包含量化参数以及变换块尺寸的预测误差编码参数输出到变换·量化部7、反量化·反变换部8以及可变长度编码部13。另外，根据需要将预测误差编码参数输出到帧内预测部4。

块分割部2如果输入表示输入图像的视频信号，则将该视频信号表示的输入图像分割成由编码控制部1决定的最大尺寸的编码块，并且直到达到用编码控制部1决定的上限层数为止，分层分割该编码块。

在此，图5是表示将最大尺寸的编码块分层分割成多个编码块的样子的说明图。

在图5的例子中，最大尺寸的编码块是第0层的编码块B⁰，按照亮度成分具有(L⁰，M⁰)的尺寸。

另外，在图5的例子中，将最大尺寸的编码块B⁰作为始点，用4叉树结构分层分割到另外确定的规定深度，由此得到编码块Bⁿ。

在深度n中，编码块Bⁿ是尺寸(Lⁿ、Mⁿ)的图像区域。

其中，Lⁿ和Mⁿ可以相同也可以不同，但在图5的例子中示出Lⁿ＝Mⁿ的情况。

以后，编码块Bⁿ的尺寸定义为编码块Bⁿ的亮度成分中的(Lⁿ，Mⁿ)。

块分割部2因为进行4叉树分割，所以(Lⁿ⁺¹，Mⁿ⁺¹)＝(Lⁿ/2，Mⁿ/2)始终成立。

其中，如RGB信号等那样，在全部的颜色成分具有相同样本数的彩色视频信号(4:4:4格式)中，全部的颜色成分的尺寸成为(Lⁿ，Mⁿ)，但在处理4:2:0格式的情况下，对应的色差成分的编码块的尺寸是(Lⁿ/2，Mⁿ/2)。

以后，将在第n层的编码块Bⁿ中可以选择的编码模式标记为m(Bⁿ)。

当是具有多个颜色成分的彩色视频信号的情况下，编码模式m(Bⁿ)对每种颜色成分可以以分别使用独立的模式的方式构成，但以后只要没有特别说明，就是设为是指对YUV信号4:2:0格式的编码块的亮度成分的编码模式的情况来进行说明。

在编码模式m(Bⁿ)中有1个或多个帧内编码模式(总称为“INTRA”)、1个或多个帧间编码模式(总称为“INTER”)，编码控制部1如上所述，从在该图片中可以利用的全部的编码模式或其子集中选择对编码块Bⁿ编码效率最好的编码模式。

编码块Bⁿ如图5所示，进一步分割成1个或多个预测处理单位(分区)。

以后，将属于编码块Bⁿ的分区标记为P_i ⁿ(i：第n层的分区号码)。

将属于编码块Bⁿ的分区P_i ⁿ的分割怎样进行的作为信息包含在编码模式m(Bⁿ)中。

分区P_i ⁿ全部按照编码模式m(Bⁿ)进行预测处理，但对于每个分区P_i ⁿ，可以选择独立的预测参数。

编码控制部1对于最大尺寸的编码块，例如生成图6所示那样的块分割状态，确定编码块Bⁿ。

图6(a)的阴影部分表示分割后的分区的分布，另外，图6(b)用4叉树图来表示将编码模式m(Bⁿ)分配给分层分割后的分区的状况。

在图6(b)中，用四方形包围的节点表示被分配了编码模式m(Bⁿ)的节点(编码块Bⁿ)。

在编码控制部1选择对各个编码块Bⁿ的分区P_i ⁿ最佳的编码模式m(Bⁿ)时，如果该编码模式m(Bⁿ)是帧内编码模式(步骤ST3)，则切换开关3将用块分割部2分割了的编码块Bⁿ的分区P_i ⁿ输出到帧内预测部4。

另一方面，如果该编码模式m(Bⁿ)是帧间编码模式(步骤ST3)，则将用块分割部2分割了的编码块Bⁿ的分区P_i ⁿ输出到运动补偿预测部5。

在从切换开关3接收到编码块Bⁿ的分区P_i ⁿ时，帧内编码预测部4使用帧内的已编码的图像信号，根据从编码控制部1输出的帧内预测参数，通过对该编码块Bⁿ的分区P_i ⁿ实施帧内预测处理，生成帧内预测图像P_i ⁿ(步骤ST4)。

但是，帧内预测部4在生成上述帧内预测图像P_i ⁿ后，从预先准备的1个以上的滤波器中，根据在运动图像译码装置中在生成和上述帧内预测图像P_i ⁿ相同的预测图像的时刻点已知的各种参数的状态来选择滤波器，使用该滤波器对该帧内预测图像P_i ⁿ实施滤波处理。

帧内预测部4当对帧内预测图像P_i ⁿ实施滤波处理时，将滤波处理后的帧内预测图像P_i ⁿ输出到减法部6以及加法部9，而即使在图2的运动图像译码装置中也因为能够生成相同的帧内预测图像P_i ⁿ，所以将该帧内预测参数输出到可变长度编码部13。

帧内预测部4的处理内容的概略如上所述，详细处理内容以后说明。

运动补偿预测部5在从切换开关3接收到编码块Bⁿ的分区P_i ⁿ时，使用用运动补偿预测帧存储器12保存的1帧以上的参照图像，根据从编码控制部1输出的帧间预测参数，通过对该编码块Bⁿ的分区P_i ⁿ实施运动补偿预测处理，生成帧间预测图像P_i ⁿ(步骤ST5)。

而且，通过实施运动补偿预测处理来生成预测图像的技术因为是公知的技术所以省略详细的说明。

在帧内预测部4或者运动补偿预测部5生成预测图像(帧内预测图像P_i ⁿ、帧间预测图像P_i ⁿ)时，减法部6通过从用块分割部2分割了的编码块Bⁿ的分区P_i ⁿ中减去用帧内预测部4或者运动补偿预测部5生成的预测图像(帧内预测图像P_i ⁿ、帧间预测图像P_i ⁿ)来生成差分图像，将表示该差分图像的预测误差信号e_i ⁿ输出到变换·量化部7(步骤ST6)。

变换·量化部7在从减法部6接收表示差分图像的预测误差信号e_i ⁿ时，以从编码控制部1输出的预测误差编码参数所包含的变换块尺寸为单位，实施该差分图像的变换处理(例如，DCT(离散余弦变换)、预先对特定的学习系列进行底层设计的KL变换等的正交变换处理)，并且使用包含于该预测误差编码参数的量化参数，对该差分图像的变换系数进行量化，由此将该量化后的变换系数作为差分图像的压缩数据，输出到反量化·反变换部8以及可变长度编码部13(步骤ST7)。

反量化·反变换部8在从变换·量化部7接收到差分图像的压缩数据时，使用从编码控制部1输出的预测误差编码参数所包含的量化参数，对该差分图像的压缩数据进行反量化，以包含于该预测误差编码参数的变换块尺寸为单位，实施反量化的压缩数据的反变换处理(例如，反DCT(反离散余弦变换)、反KL变换等的反变换处理)，由此将反变换处理后的压缩数据作为局部译码预测误差信号e_i ⁿ帽(hat)(因电子申请的关系，附加在字母字符上的“＾”记为帽)，输出到加法部9(步骤ST8)。

加法部9在从反量化·反变换部8接收局部译码预测误差信号e_i ⁿ帽时，通过将该局部译码预测误差信号e_i ⁿ帽和表示用帧内预测部4或者运动补偿预测部5生成的预测图像(帧内预测图像P_i ⁿ、帧间预测图像P_i ⁿ)的预测信号相加，生成局部译码图像，该局部译码图像是局部译码分区图像P_i ⁿ帽或者作为其集合的局部译码编码块图像(步骤ST9)。

加法部9在生成局部译码图像时，将表示该局部译码图像的局部译码图像信号保存于帧内预测用存储器10，并且将该局部译码图像信号输出到环路滤波器部11。

步骤ST3～ST9的处理在对分层分割的全部的编码块Bⁿ的处理结束之前重复实施，当对全部编码块Bⁿ的处理结束时转移到步骤ST12的处理(步骤ST10，ST11)。

可变长度编码部13对从变换·量化部7输出的压缩数据、从编码控制部1输出的编码模式(包含表示编码块的分割状态的信息)以及预测误差编码参数、从帧内预测部4输出的帧内预测参数或者从运动补偿预测部5输出的帧间预测参数进行熵编码。

可变长度编码部13复用作为熵编码的编码结果的压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数的编码数据，生成比特流(步骤ST12)。

环路滤波器部11在从加法器9接收局部译码图像信号时，补偿包含于该局部译码图像信号的编码失真，将编码失真补偿后的局部译码图像信号表示的局部译码图像作为参照图像而保存于运动补偿预测帧存储器12(步骤ST13)。

由环路滤波器部11进行的滤波处理既可以以从加法器9输出的局部译码图像信号的最大编码块或者各自的编码块为单位进行，也可以以汇集多个最大编码块了的单位来进行，或者在输出1图片量的局部译码图像信号后汇集1图片量来进行。

接着详细说明帧内预测部4的处理内容。

图7是表示在编码块Bⁿ内的各分区P_i ⁿ中可以选择的帧内预测参数(帧内预测模式)的一个例子的说明图。

在图7的例子中表示帧内预测模式和该帧内预测模式表示的预测方向向量，设计成随着可以选择的帧内预测模式的个数的增加，预测方向向量彼此之间的相对角度减小。

帧内预测部4根据针对分区P_i ⁿ的帧内预测参数、在帧内预测图像P_i ⁿ的生成中使用的滤波器的选择参数，对分区P_i ⁿ实施帧内预测处理。

以下，说明根据针对分区P_i ⁿ的亮度信号的帧内预测参数(帧内预测模式)，生成亮度信号的帧内预测信号的帧内处理。

在此，假设分区P_i ⁿ的尺寸为l_i ⁿ×m_i ⁿ像素。

图8是表示在l_i ⁿ＝m_i ⁿ＝4时，在生成分区P_i ⁿ内的像素预测值时使用的像素的一个例子的说明图。

在图8中，将与分区P_i ⁿ相邻的已编码的上分区的像素(2×l_i ⁿ+1)个和左分区的像素(2×m_i ⁿ)个设为用于预测的像素，但在预测中使用的像素与图8所示的像素相比可多可少。

另外，在图8中，虽然在预测中使用相邻的1行或者1列量的像素，但也可以在预测中使用2行或者2列，或者其以上的像素。

当针对分区P_i ⁿ的帧内预测模式的索引值是2(平均值预测)的情况下，将上分区的相邻像素和左分区的相邻像素的平均值作为分区P_i ⁿ内的全部像素的预测值来生成中间预测图像。

当帧内预测模式索引值是2(平均值预测)以外的情况下，根据分区值表示的预测方向向量v_p＝(dx，dy)生成分区P_i ⁿ内的像素的预测值。

其中，假设生成预测值的像素(预测对象像素)的分区P_i ⁿ内的相对坐标(以分区的左上像素为原点)为(x，y)。

在预测中使用的参照像素的位置变成在下述表示的A和相邻像素的交点。

$A=\left(\begin{array}{c}x\\ y\end{array}\right)+{\mathrm{k\υ}}_p$

其中，k是负的标量值。

当参照像素处于整数像素位置的情况下，将该整数像素设为预测对象像素的预测值。

另一方面，当参照像素不处于整数像素位置的情况下，将根据与参照像素相邻的整数像素生成的插值像素设为预测值。

在图8的例子中，因为参照像素不处于整数像素位置，所以根据与参照像素相邻的2个像素进行内插，计算预测值。但是，预测值并不限于相邻的2个像素，也可以根据相邻的2个以上的像素来生成插值像素并作为预测值。

而后，通过对用根据上述步骤生成的分区P_i ⁿ内的预测值构成的中间预测图像进行以后说明的滤波处理，取得最终的帧内预测图像P_i ⁿ，将该帧内预测图像P_i ⁿ输出到减法部6以及加法部9中。

另外，在帧内预测图像P_i ⁿ的生成中使用的帧内预测参数为了复用于比特流而输出到可变长度编码部13。

以下，说明具体的滤波处理。

从预先准备的至少一个以上的滤波器中，用以后说明的方法选择所使用的滤波器，对中间预测图像的各像素按照以下的式子(1)进行滤波处理。

$\hat{s}\left(p_0\right)=a_{0}s\left(p_0\right)+a_{1}s\left(p_1\right)+...+a_{N-1}s\left(p_{N-1}\right)+a_N---\left(1\right)$

在式(1)中，a_n(n＝0，1，……，N)是包含参照像素涉及的系数(a₀、a₁、……、a_N-1)和偏移系数a_N的滤波器系数。

P_n(n＝0，1，……，N-1)表示包含滤波处理对象p₀的滤波器的参照像素。N是任意的参照像素数。

s(p_n)表示各参照像素的亮度值，s帽(p₀)表示在滤波处理对象像素p₀中的滤波处理后的亮度值。

但是，滤波器系数也可以设为没有偏移系数a_N的系数来构成。另外，对于处在分区P_i ⁿ内的各参照像素的亮度值s(p_n)，既可以设为中间预测图像的各像素的亮度值，也可以设为只在滤波处理结束的像素位置进行滤波处理后的亮度值。

对于处于分区P_i ⁿ之外的各参照像素的亮度值s(p_n)，如果是已编码区域，则是编码后的亮度值(被译码的亮度值)，如果尚且没有进行编码的区域，则从处于上述定义的分区P_i ⁿ内的各参照像素的亮度值s(p_n)以及已编码区域的编码后的亮度值中按照规定的顺序选择代用的信号值(例如，在作为候补的像素中，选择位于最近的位置的信号值等)。

图9是表示N＝5时的参照像素配置的一个例子的说明图。

在进行上述的滤波处理时，分区P_i ⁿ的尺寸(l_i ⁿ×m_i ⁿ)越大，在输入图像中越容易存在非线性的边缘等，因为容易发生与中间预测图像的预测方向的偏差，所以优选对中间预测图像进行平滑处理。

进而，预测误差的量化值越大，在译码图像中产生的量化失真越大，因为根据与分区P_i ⁿ相邻的已编码的像素而生成的中间预测图像的预测精度降低，所以优先准备粗略地表现分区P_i ⁿ的那样的经过平滑处理的预测图像。

进而，即使是相同的分区P_i ⁿ内的像素，因为距离与在中间预测图像的生成中使用的分区P_i ⁿ相邻的已编码像素越远的像素，越容易在中间预测图像和输入图像之间发生边缘等的偏移，所以对预测图像进行平滑处理，抑制在发生偏移时的剧烈的预测误差的增加比较好。

另外，生成中间预测图像时的帧内预测被构成为，根据预测块内的预测值为全部相同的值的平均值预测和使用预测方向向量v_p的预测这2种不同的方法之一的方法进行预测，进而即使在使用预测方向向量v_p的预测的情况下，也根据将位于整数像素位置的参照像素的值直接作为预测值的像素、和至少2个像素以上的参照像素进行内插，生成不位于整数像素位置的像素，将该像素值作为预测值的像素的预测块内的配置因预测方向向量v_p的方向而不同。因而，预测图像的性质因帧内预测模式而不同，最佳的滤波处理也不同，所以根据帧内预测模式的索引值来改变滤波器的强度、滤波器的参照像素数、参照像素配置等比较好。

因而，在滤波器选择处理中被构成为考虑以下的4个参数(1)～(4)来选择滤波器。

(1)分区P_i ⁿ的尺寸(l_i ⁿ×m_i ⁿ)

(2)包含于预测误差编码参数的量化参数

(3)在中间预测图像的生成时使用的已编码的像素(图8所示的“在预测中使用的像素”)群和滤波处理对象像素的距离

(4)生成中间预测图像时的帧内预测模式的索引值

具体地说被构成为：分区P_i ⁿ的尺寸(l_i ⁿ×m_i ⁿ)越大，由量化参数决定的量化值越大，滤波处理对象像素和处于分区P_i ⁿ的左边以及上边的已编码的像素群的距离越远，越使用平滑处理强度强的滤波器或参照像素数多的滤波器。作为滤波处理对象像素和处于分区P_i ⁿ的左边以及上边的已编码像素群的距离的一个例子，列举出图11。另外，被构成为还利用帧内预测模式的索引值来切换滤波器的强度、滤波器的参照像素数、参照像素配置等。

即，对于上述的参数组合的各个组合，通过从预先准备的滤波器群中进行适宜的滤波器的对应，实现与上述参数相应的滤波器的适应性选择。另外，例如，在组合参数(3)和(4)时，也可以根据参数(4)的“帧内预测模式”适宜地改变参数(3)的“与已编码像素群的距离”的定义。即，并不是如图11所示那样将与已编码像素群的距离的定义固定化，也可以设为距图8所示的“参照像素”的距离那样的依赖于预测方向的距离。通过这样处理，能够实现还考虑到参数(3)和(4)这样的多个参数关系的适应性的滤波处理。

另外，在这些参数的组合中，可以与“没有滤波处理”对应地准备没实施滤波处理的组合。进而，作为滤波器的强度的定义，也可以将最弱的滤波器定义为“没有滤波处理”。

另外，4个参数(1)～(4)因为即使在运动图像译码装置一侧中也是已知的参数，所以完全不产生为了进行上述的滤波处理所需要的应编码的附加信息。

而且，在上述的说明中，通过预先准备必要数量的滤波器来适应性选择，从而进行滤波器的切换，但也可以通过以根据上述滤波器选择参数的值计算滤波器的方式将滤波器定义为上述滤波器选择参数的函数，以实现滤波器的切换。

进而，在上述的说明中，表示了被构成为考虑4个参数(1)～(4)来选择滤波器的情况，但也可以构成为在4个参数(1)～(4)中，考虑至少1个以上的参数来选择滤波器。

以下，将使用参数(1)以及(4)的情况作为例子，表示通过对参数组合的各个组合从预先准备的滤波器群中使适宜的滤波对应起来从而进行滤波的适应性选择的滤波处理的构成例子。

将在上述滤波处理例子中使用的滤波器如以下那样定义。

滤波器索引1的滤波器(参照像素数N＝3)

a₀＝3/4，a₁＝1/8，a₂＝1/8

滤波器索引2的滤波器(参照像素数N＝3)

a₀＝1/2，a₁＝1/4，a₂＝1/4

滤波器索引3的滤波器(参照像素数N＝3)

a₀＝1/4，a₁＝3/8，a₂＝3/8

滤波器索引4的滤波器(参照像素数N＝5)

a₀＝1/4，a₁＝3/16，a₂＝3/16，a₃＝3/16，a₄＝3/16

但是，假设滤波处理是设为没有偏移系数a_N(a_N＝0)时的基于式(1)的滤波处理，假设此次使用的滤波器的种类是3种，滤波器的参照像素配置如图12所示。

接着，图13是示出表示在分区P_i ⁿ的每个尺寸的各帧内预测模式中使用的滤波器的表的一个例子的说明图。其中，假设可以取得的P_i ⁿ的尺寸是4×4像素、8×8像素、16×16像素、32×32像素、64×64像素，帧内预测模式的索引值和帧内预测方向的对应如图7所示。

另外，滤波器索引0表示不进行滤波处理。一般当使用方向性预测、平均值预测的情况下，因为存在以下的趋势，所以如图13所示的表那样，考虑帧内预测中的图像的特性，通过对参数(1)以及(4)的每个组合，在表中将使用哪个滤波器对应起来，从而能够通过参照表来实现适宜的滤波器切换。

·一般在建筑物等人造物体中多数存在的水平·垂直方向的边缘的线性清晰的情况较多，所以多数情况可以通过水平·垂直方向预测进行高精度的预测。因而在水平·垂直方向预测时不进行平滑处理比较好。

·一般因为图像信号是在空间方向连续性高的信号，所以在使用与和分区P_i ⁿ相邻的已编码像素的连续性受损的平均值预测时，对分区P_i ⁿ的左边以及上边的块边界部周边的像素进行平滑处理来提高连续性比较好。

·具有倾斜方向的方向性的区域因为面积越大，边缘等发生失真而具有非线性形状的情况越多，所以在使用倾斜方向预测时分区尺寸越大，越施加平滑强度强、参照像素数多的滤波器比较好。

·一般如果分区尺寸过大，则分区内的信号值的空间变化变得多样，在方向性预测、平均值预测中只能进行非常粗略的预测，难以高精度的预测的区域增加。在那样的区域中，因为进行平滑处理仅是使图像模糊而无法期待预测效率的改善效果，所以在那样的分区尺寸中，因为在不实施滤波处理的一方不增加不必要的计算量即可，所以是理想的(例如，在图13中，在32×32像素以上的分区尺寸中设定成不进行滤波处理)。

进而，当在滤波处理时的参照像素是分区P_i ⁿ内的像素时将中间预测图像的亮度值设为参照像素的亮度值来使用的情况下，有时可以简化滤波处理。例如，当帧内预测模式是平均值预测的情况下，针对分区P_i ⁿ的滤波处理对于图14所示的每个区域能够简化成以下那样的滤波处理。

·区域A(分区P_i ⁿ的左上的像素)

滤波器索引1的滤波器(没有改变)

a₀＝3/4，a₁＝1/8，a₂＝1/8(参照像素数N＝3)

滤波器索引2的滤波器(没有改变)

a₀＝1/2，a₁＝1/4，a₂＝1/4(参照像素数N＝3)

滤波器索引3的滤波器(没有改变)

a₀＝1/4，a₁＝3/8，a₂＝3/8(参照像素数N＝3)

滤波器索引4的滤波器

a₀＝5/8，a₁＝3/16，a₂＝3/16(参照像素数N＝3)

·区域B(区域A以外的分区P_i ⁿ的上端的像素)

滤波器索引1的滤波器

a₀＝7/8，a₂＝1/8(参照像素数N＝2)

滤波器索引2的滤波器

a₀＝3/4，a₂＝1/4(参照像素数N＝2)

滤波器索引3的滤波器(没有改变)

a₀＝5/8，a₂＝3/8(参照像素数N＝2)

滤波器索引4的滤波器

a₀＝13/16，a₂＝3/16(参照像素数N＝2)

·区域C(区域A以外的分区P_i ⁿ的左端的像素)

滤波器索引1的滤波器

a₀＝7/8，a₁＝1/8(参照像素数N＝2)

滤波器索引2的滤波器

a₀＝3/4，a₁＝1/4(参照像素数N＝2)

滤波器索引3的滤波器

a₀＝5/8，a₁＝3/8(参照像素数N＝2)

滤波器索引4的滤波器

a₀＝13/16，a₁＝3/16(参照像素数N＝2)

·区域D(区域A、B、C以外的分区P_i ⁿ的像素)

全部的滤波器索引的滤波器：

没有滤波处理

即使如上述那样简化滤波处理，滤波处理结果也和简化前相同。

通过这样除去实际处理的冗余部分，能够谋求滤波处理的高速化。

在上述例子中使用了图13的表，但也可以使用其他的表。例如，也可以考虑当与编码性能的改善效果的大小相比重视抑制处理量的情况下，代替图13的表而使用图19的表。在该表的情况下，因为只对分区P_i ⁿ的尺寸是4×4像素、8×8像素、16×16像素的平均值预测进行滤波处理，所以与使用图13的表的情况相比进行滤波处理的预测模式少，能够抑制伴随滤波处理的计算量的增加。此时，通过还利用上述的帧内预测模式是平均值预测时的滤波处理的简化，能够实现处理负荷非常低的滤波处理。

进而，当还重视实施的容易性的情况下，和上述的滤波处理一样假设只在平均值预测的情况下进行滤波处理，不根据分区P_i ⁿ的尺寸来切换进一步使用的滤波器，可以始终使用同样的滤波器(例如，滤波器索引2的滤波器)。这种情况下，虽然基于滤波器的编码性能的改善效果降低了与不进行与分区P_i ⁿ的尺寸相应的处理相应的量，但能够抑制实施时的电路规模(在软件的情况下是代码的行数)。本滤波处理是只考虑4个参数(1)～(4)中的参数(4)的滤波器。

作为滤波处理的实施方式，即使不以通过参照表来选择对应的滤波器索引的滤波器的形式来实施，也可以是直接实施对分区P_i ⁿ的每个尺寸执行的滤波处理、或者直接实施对分区P_i ⁿ的各尺寸的每个像素位置执行的滤波处理这种直接实施滤波器的形式。这样，即使不是参照表的形式，只要是进行滤波处理的结果所得到的预测图像是等价的，则实施方式是何种形式都没有关系。

另外，在前面说明的例子中，说明了只用一个用于切换滤波器的表的方法，但也可以构成为准备多个上述表，通过用图15～图18中的某一个形式来将滤波器选择表索引100作为标题信息进行编码，从而可以用规定的单位来切换滤波器选择表。

例如，如图15所示，通过对序列级标题加上滤波器选择表索引100，与只使用单一的表的情况相比，还可以进行与序列的特性相应的滤波处理。

而且，与在前面说明的MPEG-4、AVC/H.264中的8×8像素的块的帧内预测时对参照图像实施的平滑处理一样，即使是构成为将在帧内预测部4中生成分区P_i ⁿ的中间预测图像时的参照像素作为对与分区P_i ⁿ相邻的已编码像素进行了平滑处理的像素的情况下，也能够进行和上述例子一样的对中间预测图像的滤波处理。

另一方面，因为基于在生成中间预测图像时对参照像素的平滑处理和对中间预测图像的滤波处理的效果有重复的部分，所以有时即使同时使用两个处理，与进行其中一方的处理的情况相比也只能得到些许的性能改善效果。因而，可以构成为：当重视抑制计算量的情况下，对于对在生成中间预测图像时的参照像素进行平滑处理的分区P_i ⁿ，不进行针对中间预测图像的滤波处理。例如，考虑这样的情况：对中间预测图像的滤波处理如图19的表那样只在平均值预测中进行滤波处理，针对在生成中间预测图像的参照像素的平滑处理参照只对图20那样的特定的方向性预测进行平滑处理的表来进行。其中，在图20中，‘1’表示进行平滑处理，‘0’表示不进行平滑处理。

在帧内预测图像P_i ⁿ的生成中使用的帧内预测参数为了复用于比特流中而输出到可变长度编码部13。

对分区P_i ⁿ内的色差信号也按照和亮度信号同样的顺序，实施基于帧内预测参数(帧内预测模式)的帧内预测处理，将在帧内预测图像的生成中使用的帧内预测参数输出到可变长度编码部13。

但是，关于色差信号的帧内预测既可以构成为与亮度信号同样地进行在上述说明的滤波处理，也可以不进行在上述说明的滤波处理。

接着，说明图2的运动图像译码装置的处理内容。

可变长度译码部51在输入从图1的图像编码装置输出的比特流时，对该比特流实施可变长度译码处理，以具有1帧以上的图片的序列为单位或者以图片为单位译码帧尺寸的信息(图4的步骤ST21)。

可变长度译码部51按照和图1的编码控制部1一样的步骤决定在实施帧内预测处理(帧内预测处理)或者运动补偿预测处理(帧间预测处理)时的成为处理单位的编码块的最大尺寸，并且决定分层分割最大尺寸的编码块时的上限层数(步骤ST22)。

例如，在图像编码装置中，当编码块的最大尺寸根据输入图像的分辨率被决定的情况下，根据之前译码的帧尺寸信息来决定编码块的最大尺寸。

而且，当在比特流中复用了表示编码块的最大尺寸以及上限层数的信息的情况下，参照根据该比特流译码的信息。

在被复用于比特流的最大尺寸的编码块B⁰的编码模式m(B⁰)中，包含表示最大尺寸的编码块B⁰的分割状态的信息，所以可变长度译码部51译码被复用于比特流的最大尺寸的编码块B⁰的编码模式m(B⁰)，确定分层分割的各个编码块Bⁿ(步骤ST23)。

可变长度译码部51当确定各个编码块Bⁿ时，译码该编码块Bⁿ的编码模式m(Bⁿ)，根据属于该编码模式m(Bⁿ)的分区P_i ⁿ信息，确定属于编码块Bⁿ的分区P_i ⁿ。

可变长度译码部51当确定属于编码块Bⁿ的分区P_i ⁿ时，针对每个分区P_i ⁿ，译码压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数(步骤ST24)。

即，当分配给编码块Bⁿ的编码模式m(Bⁿ)是帧内编码模式的情况下，对属于编码块的每个分区P_i ⁿ译码帧内预测参数。

当分配给编码块Bⁿ的编码模式m(Bⁿ)是帧间编码模式的情况下，对属于编码块的每个分区P_i ⁿ译码帧间预测参数。

成为预测处理单位的分区进一步根据预测误差编码参数所包含的变换块尺寸信息，被分割成成为变换处理单位的1个或多个分区，对成为变换处理单位的每个分区译码压缩数据(变换·量化后的变换系数)。

在来自可变长度译码部51的属于编码块Bⁿ的分区P_i ⁿ的编码模式m(Bⁿ)是帧内编码模式的情况下(步骤ST25)，切换开关52将从可变长度译码部51输出的帧内预测参数输出到帧内预测部53。

另一方面，当分区P_i ⁿ的编码模式m(Bⁿ)是帧间编码模式的情况下(步骤ST25)，将从可变长度译码部51输出的帧间预测参数输出到运动补偿预测部54。

帧内预测部53在从切换开关52接收到帧内预测参数时，和图1的帧内预测部4一样，使用帧内的已译码的图像信号，根据该帧内预测参数，对编码块Bⁿ的分区P_i ⁿ实施帧内预测处理，生成帧内预测图像P_i ⁿ(步骤ST26)。

但是，帧内预测部53在生成上述帧内预测图像P_i ⁿ后，用和图1的帧内预测部4一样的方法，从预先准备的1个以上的滤波器中，根据在生成上述帧内预测图像P_i ⁿ的时刻点已知的各种参数的状态来选择滤波器，使用该滤波器对该帧内预测图像P_i ⁿ实施滤波处理，将滤波处理后的帧内预测图像P_i ⁿ作为最终的帧内预测图像。

即，用和在帧内预测部4中的滤波器选择中使用的参数相同的参数，用和在帧内预测部4中的滤波器选择方法一样的方法选择滤波器来进行滤波处理。

例如，帧内预测部4被构成为当把不进行滤波处理的情况与滤波器索引0对应起来，将预先准备的4个滤波器分别与滤波器索引1至4对应起来，参照图13的表进行滤波处理的情况下，帧内预测部53也定义和帧内预测部4一样的滤波器和滤波器索引，通过参照图13的表根据分区P_i ⁿ的尺寸以及作为帧内预测参数的帧内预测模式的索引进行滤波器选择，进行滤波处理。

另外，如上述的例子那样，还可以构成为：在准备定义以参数的组合为单位使用的滤波器的表，通过参照该表来实现滤波器的切换的情况下，按照图15～图18中的某一个的形式将滤波器选择表索引100作为标题信息进行译码，从和预先准备的运动图像编码装置相同的表群中选择被译码了的滤波器选择表索引100表示的表，参照该表进行滤波器的选择。

运动补偿预测部54在从切换开关52接收到帧间预测参数时，使用由运动补偿预测帧存储器59所保存的1帧以上的参照图像，根据该帧间预测参数，通过对编码块B_n的分区P_i ⁿ实施运动补偿预测处理，来生成帧间预测图像P_i ⁿ(步骤ST27)。

反量化·反变换部55使用从可变长度译码部51输出的预测误差编码参数所包含的量化参数，对从可变长度译码部51输出的编码块涉及的压缩数据进行反量化，以该预测误差编码参数所包含的变换块尺寸为单位，通过实施反量化的压缩数据的反变换处理(例如，反DCT(反离散余弦变换)、反KL变换等的反变换处理)，将反变换处理后的压缩数据作为译码预测误差信号(表示压缩前的差分图像的信号)输出到加法部56(步骤ST28)。

加法部56在从反量化·反变换部55接收到译码预测误差信号时，通过将该译码预测误差信号和表示由帧内预测部53或者运动补偿预测部54生成的预测图像的预测信号相加而生成译码图像，将表示该译码图像的译码图像信号保存于帧内预测用存储器57，并且将该译码图像信号输出到环路滤波器部58(步骤ST29)。

步骤ST23～ST29的处理直到针对分层分割的全部的编码块Bⁿ的处理结束之前被重复实施(步骤ST30)。

环路滤波器部58在从加法器56接收到译码图像信号时，补偿包含于该译码图像信号的编码失真，将编码失真补偿后的译码图像信号表示的译码图像作为参照图像而保存于运动补偿预测帧存储器59(步骤ST31)。

由环路滤波器部58进行的滤波处理既可以以从加法器56输出的译码图像信号的最大编码块或者各自的编码块为单位来进行，也可以在输出了与1画面量的宏块相当的译码图像信号后汇集1画面量来进行。

从以上可知，根据本实施方式1，由于被构成为运动图像编码装置的帧内预测部4使用帧内的已编码的图像信号，在通过实施帧内预测处理来生成帧内预测图像时，从预先准备的1个以上的滤波器中，根据滤波处理对象块的编码所涉及的各种参数的状态来选择滤波器，使用该滤波器对预测图像实施滤波处理，所以起到能够降低在局部性地发生的预测误差、提高图像品质的效果。

另外，根据本实施方式1，因为构成为帧内预测部4考虑(1)～(4)参数中的至少1个以上的参数来选择滤波器，所以可以得到抑制在进行方向性预测时编码对象图像的边缘些许地非线性地失真或者因角度偏差而产生的局部性预测误差、和在进行平均值预测时与相邻的已编码的信号的连续性丢失而产生的块的边界部分的预测误差的效果，起到可以改善预测效率的效果。所述(1)是分区P_i ⁿ的尺寸(l_i ⁿ×m_i ⁿ)、(2)是包含于预测误差编码参数的量化参数、(3)是在中间预测图像的生成时使用的已编码像素群和滤波处理对象像素的距离、(4)是生成中间预测图像时的帧内预测模式的索引值。

根据本实施方式1，由于构成为运动图像译码装置的帧内预测部53使用帧内的已译码的图像信号，在通过实施帧内预测处理来生成帧内预测图像时，从预先准备的1个以上的滤波器中，根据滤波处理对象块的译码所涉及的各种参数的状态来选择滤波器，使用该滤波器对预测图像实施滤波处理，所以起到能够降低局部性地发生的预测误差，在运动图像译码装置一侧也生成和在运动图像编码装置一侧生成的帧内预测图像一样的帧内预测图像的效果。

另外，根据本实施方式1，因为构成为帧内预测部53考虑(1)～(4)参数中的至少1个以上的参数来选择滤波器，所以可以得到抑制在进行方向性预测时编码对象图像的边缘些许地非线性地失真或者因角度偏差而产生的局部性预测误差、和在进行平均值预测时与相邻的已编码的信号的连续性丢失而产生的块的边界部分的预测误差的效果，起到在运动图像译码装置一侧也生成和在运动图像编码装置一侧生成的帧内预测图像一样的帧内预测图像的效果。所述(1)是分区P_i ⁿ的尺寸(l_i ⁿ×m_i ⁿ)、(2)是包含于预测误差编码参数的量化参数、(3)是在中间预测图像的生成时使用的已编码像素群和滤波处理对象像素的距离、(4)是生成中间预测图像时的帧内预测模式的索引值。

实施方式2

在上述实施方式1中，表示以下这样的方式，即、帧内预测部4使用帧内的已编码的图像信号，在通过实施帧内预测处理来生成帧内预测图像时，从预先准备的1个以上的滤波器中，根据滤波处理对象块的编码所涉及的各种参数的状态来选择滤波器，使用该滤波器对预测图像实施滤波处理，但当设计了编码对象的块与预测图像间的平方误差和为最小的维纳滤波器，使用上述维纳滤波器与使用从预先准备的1个以上的滤波器中选择的滤波器相比，预测误差的减少程度变高的情况下，也可以代替其选择的滤波器，使用上述维纳滤波器，对预测图像实施滤波处理。

以下，具体地说明处理内容。

在上述实施方式1中，帧内预测部4、53从预先准备的1个以上的滤波器中，根据滤波处理对象块的编码所涉及的各种参数的状态来选择滤波器。但是，当考虑4个参数(1)～(4)来选择滤波器的情况下，可以从选择候补中选择适宜的滤波器，而当在选择候补以外存在最佳滤波器的情况下，不能进行“最佳的滤波处理”。

在本实施方式2中，其特征在于：以图片为单位在运动图像编码装置一侧设计最佳滤波器实施滤波处理，并且对该滤波器的滤波器系数等进行编码，在运动图像译码装置一侧通过译码该滤波器系数等，实施使用了该滤波器的滤波处理。

运动图像编码装置的帧内预测部4和上述实施方式1一样，通过对编码块Bⁿ的分区Pⁿ实施帧内预测处理来生成帧内预测图像P_i ⁿ。

另外，帧内预测部4用和上述实施方式1一样的方法，从预先准备的1个以上的滤波器中，根据滤波处理对象块的编码所涉及的各种参数的状态来选择滤波器，使用该滤波器对帧内预测图像P_i ⁿ进行滤波处理。

帧内预测部4在图片内的全部的编码块Bⁿ中决定了帧内预测参数后，对在图片内使用同一滤波器的区域(具有同一滤波器索引的区域)的每个设计该区域内的输入图像和帧内预测图像的平方误差和(对象区域内的均方误差)为最小的维纳滤波器。

维纳滤波器可以利用中间预测图像信号s’的自相关矩阵R_s’s’、输入图像信号s和中间预测图像信号s’的互相关矩阵R_ss’根据以下的式(4)求出滤波器系数w。矩阵R_s’s’和R_ss’的大小与所求的滤波器抽头数对应。

$w=R_{s^{\′}{s}^{\′}}^{-1}\·R_{{\mathrm{ss}}^{\′}}---\left(4\right)$

帧内预测部4在设计维纳滤波器时，设使用该维纳滤波器实施滤波处理时的滤波器设计对象区域内的平方误差和为D1，设编码涉及该维纳滤波器的信息(例如，滤波器系数)时的编码量为R1，设使用以与上述实施方式1同样的方法选择的滤波器来实施滤波处理的情况下的滤波器设计对象区域内的平方误差和为D2，确认下式(5)是否成立。

D1+λ·R1＜D2 (5)

其中，λ是常数。

帧内预测部4在式(5)成立的情况下，代替用与上述实施方式1同样的方法进行选择的滤波器，而使用该维纳滤波器来实施滤波处理。

另一方面，当式(5)不成立的情况下，使用以与上述实施方式1同样的方法进行选择的滤波器来实施滤波处理。

在此，用平方误差和D1、D2进行评价，但并不限于此，代替平方误差和D1、D2，也可以使用误差的绝对值和等的其他的表示预测失真的尺度来进行评价。

帧内预测部4在使用维纳滤波器实施滤波处理的情况下，需要表示该维纳滤波器的滤波器系数、将哪个索引的滤波器置换为维纳滤波器的滤波器更新信息。

具体地说，当将通过使用了滤波器选择参数的滤波处理可以选择的滤波器的数量设为L，对各滤波器分配0～L-1的索引的情况下，对于各个索引，需要在使用设计好的维纳滤波器的情况下将“1”值作为滤波器更新信息进行编码，在使用预先准备的滤波器的情况下将“0”值作为滤波器更新信息进行编码。

可变长度编码部13对从帧内预测部4输出的滤波器更新信息进行可变长度编码，在比特流中复用该滤波器更新信息的编码数据。

在此，虽然示出了对在图片内使用相同的滤波器的每个区域，设计该区域内的输入图像和预测图像的均方误差为最小的维纳滤波器的情况，但也可以构成为对不是图片单位的其他特定的区域单位，针对使用了相同的滤波器的每个区域设计该区域内的输入图像和预测图像的均方误差为最小的维纳滤波器，还可以是只对某一特定的图片进行滤波器设计，或者只在与特定的条件相应的情况下(例如，附加场景变化检测功能，检测到场景变化的图片的情况下)，进行上述滤波器的设计。

运动图像译码装置的可变长度译码部51从被复用于比特流的编码数据中对滤波器更新信息进行可变长度译码。

帧内预测部53与上述实施方式1同样地，通过对编码块Bⁿ的分区P_i ⁿ实施帧内预测处理来生成帧内预测图像P_i ⁿ。

帧内预测部53在从可变长度译码部51接收到滤波器更新信息时，参照该滤波器更新信息，确认在相应的索引的滤波器中有无更新。

帧内预测部53在确认的结果是当将某一区域的滤波器置换为维纳滤波器的情况下，读出包含于该滤波器更新信息的维纳滤波器的滤波器系数，确定该维纳滤波器，使用该维纳滤波器来实施帧内预测图像P_i ⁿ的滤波处理。

另一方面，在未置换为维纳滤波器的区域中，用与上述实施方式1一样的方法来选择滤波器，使用该滤波器来实施帧内预测图像P_i ⁿ的滤波处理。

从以上可知，根据本实施方式2，因为构成为设计编码对象的块和预测图像间的平方误差和为最小的维纳滤波器，当使用该维纳滤波器与使用从预先准备的1个以上的滤波器中选择的滤波器相比，预测误差的减少程度变高的情况下，代替其选择的滤波器而使用该维纳滤波器，对预测图像实施滤波处理，所以能够起到与上述实施方式1相比进一步减少局部性地发生的预测误差的效果。

而且，在本申请发明在其发明的范围内可以进行各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者在各实施方式中省略任意的构成要素。

产业上的可利用性

本发明适于需要高效率地编码图像的图像编码装置，另外，适于需要高效率地对被编码的图像进行译码的图像译码装置。

Claims (4)

1.一种图像编码装置，其特征在于，具备：

帧内预测单元，在与分割输入图像而得到的编码块对应的编码模式是帧内编码模式的情况下，对成为所述编码块的预测处理的单位的块实施帧内预测处理，生成预测图像，

在所述帧内预测单元中，在进行平均值预测的情况下，在使用作为成为所述预测处理的单位的块的多个邻接像素的平均值而被规定的中间预测值和预测对象像素的邻接像素，对成为所述编码块的预测处理的单位的块内的位于上端和左端的所述预测对象像素实施滤波处理时，

在所述预测对象像素是成为所述编码块的预测处理的单位的块内的左上的像素以外的位于所述块内的上端的像素的情况下，将所述中间预测值所涉及的系数设为3/4，将与所述预测对象像素的上边相邻的像素所涉及的系数设为1/4。

2.一种图像译码装置，其特征在于，具备：

帧内预测单元，在编码块所涉及的编码模式是帧内编码模式的情况下，对成为所述编码块的预测处理的单位的块实施帧内预测处理，生成预测图像，

在所述帧内预测单元中，在帧内预测参数表示平均值预测的情况下，在使用作为成为所述预测处理的单位的块的多个邻接像素的平均值而被规定的中间预测值和预测对象像素的邻接像素，对成为所述编码块的预测处理的单位的块内的位于上端和左端的所述预测对象像素实施滤波处理时，

在所述预测对象像素是成为所述编码块的预测处理的单位的块内的左上的像素以外的位于所述块内的上端的像素的情况下，将所述中间预测值所涉及的系数设为3/4，将与所述预测对象像素的上边相邻的像素所涉及的系数设为1/4。

3.一种图像编码方法，其特征在于，具备：

帧内预测处理步骤，在与分割输入图像而得到的编码块对应的编码模式是帧内编码模式的情况下，对成为所述编码块的预测处理的单位的块实施帧内预测处理，生成预测图像，

在所述帧内预测处理步骤中，在进行平均值预测的情况下，在使用作为成为所述预测处理的单位的块的多个邻接像素的平均值而被规定的中间预测值和预测对象像素的邻接像素，对成为所述编码块的预测处理的单位的块内的位于上端和左端的所述预测对象像素实施滤波处理时，

在所述预测对象像素是成为所述编码块的预测处理的单位的块内的左上的像素以外的位于所述块内的上端的像素的情况下，将所述中间预测值所涉及的系数设为3/4，将与所述预测对象像素的上边相邻的像素所涉及的系数设为1/4。

4.一种图像译码方法，其特征在于，具备：

帧内预测处理步骤，在编码块所涉及的编码模式是帧内编码模式的情况下，对成为所述编码块的预测处理的单位的块实施帧内预测处理，生成预测图像，

在所述帧内预测处理步骤中，在帧内预测参数表示平均值预测的情况下，在使用作为成为所述预测处理的单位的块的多个邻接像素的平均值而被规定的中间预测值和预测对象像素的邻接像素，对成为所述编码块的预测处理的单位的块内的位于上端和左端的所述预测对象像素实施滤波处理时，

在所述预测对象像素是成为所述编码块的预测处理的单位的块内的左上的像素以外的位于所述块内的上端的像素的情况下，将所述中间预测值所涉及的系数设为3/4，将与所述预测对象像素的上边相邻的像素所涉及的系数设为1/4。