CN103385004A - 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 - Google Patents

Abstract

具备：可变长解码步骤，从编码数据，对与编码块有关的压缩数据、表示是否将作为能够在所述运动补偿预测中使用的参考图像上的区域的有效参考图像区域限定于规定的区域的参考图像限制标志、作为运动矢量的信息的运动信息进行可变长解码；运动补偿预测步骤，根据所述运动信息，实施针对所述编码块的运动补偿预测处理来生成预测图像；差分图像生成步骤，根据与所述编码块有关的压缩数据生成压缩前的差分图像；以及解码图像生成步骤，对所述差分图像和所述预测图像进行加法来生成解码图像，在所述运动补偿步骤中，在生成所述预测图像时，根据所述参考图像限制标志，使用所述运动信息，在所述预测图像包括有效参考图像区域外的像素的情况下，进行规定的扩张处理来生成预测图像。

Description

图像编码装置、图像解码装置、图像编码方法以及图像解码方法

技术领域

本发明涉及图像压缩编码技术、压缩图像数据传送技术等中使用的图像编码装置、图像解码装置、图像编码方法、以及图像解码方法。

背景技术

在ISO/IEC14496-10|ITU-T H.264（以下，记载为AVC/H.264）等以往的国际标准视频编码方式中，采用了如下的方法：把将亮度信号16×16像素和与其对应的两个色差信号8×8像素量集中而得到的块数据（以下，宏块）作为单位，根据运动补偿预测技术以及正交变换/变换系数量化技术进行压缩。在运动补偿预测中将前方或者后方的已编码图片用作参考图像并以宏块单位进行运动矢量搜索以及预测图像的生成。将仅参考1张图片来进行画面间预测编码的图片称为P图片，将同时参考两张图片来进行画面间预测编码的图片称为B图片。

非专利文献1：MPEG-4AVC（ISO/IEC14496-10）/ITU-T H.264标准

发明内容

发明所要解决的技术问题

一般，在通过以往的编码方式进行高分辨率视频的编码处理的情况下，1个画面量的存储器尺寸大、并且运动搜索处理的负荷变得庞大，所以有时采用如下的结构：将帧按照一定尺寸的小区域（在以往的编码方式中，还有时利用切片这样的处理单位）的单位进行画面分割，限制与运动矢量搜索相伴的存储器访问范围，同时并行地处理运动矢量搜索（图19）。此时，在装置结构上，有时发生需要限制各运动搜索处理单位可访问的参考图像存储器区域的情况。在这样的情况下，有时无法搜索最佳运动矢量。

本发明是为了解决这样的问题而完成的，目的在于提供一种图像编码装置、图像解码装置、图像编码方法、以及图像解码方法，其提供即使是存储器量、存储器访问量被限制的编码装置，也能够进行画面分割而稳定地实现高效的高分辨率图像的编码、解码的视频编码方法。

解决技术问题的技术方案

本发明的图像编码装置，是将运动图像信号的各图片分割为作为规定的编码单位的编码块、针对该编码块的每一个使用运动补偿预测来进行压缩编码的运动图像编码装置，其特征在于，具备：运动补偿部，使用针对该编码块的每一个或者针对作为对其进行分割而得到的单位的运动补偿预测单位区域的每一个所选择的运动矢量，生成针对运动补偿预测单位区域的预测图像；以及可变长编码部，针对对与预测图像对应的输入信号和预测图像的差分图像进行压缩而得到的压缩数据、与运动矢量有关的信息进行可变长编码来生成比特流，并且将参考图像限制标志复用到比特流，其中参考图像限制标志表示是否将有效参考图像区域限定于规定的区域，有效参考图像区域是能够在运动补偿预测中使用的参考图像上的区域，运动补偿部根据参考图像限制标志，确定有效参考图像区域，在预测图像包括有效参考图像区域外的像素的情况下，进行规定的扩张处理。

发明效果

根据本发明，在以对图片进行画面分割而得到的单位并行地检测或者生成运动矢量的编码装置、和使用其来生成运动补偿预测图像的解码装置中，能够以少的存储器量和存储器访问而高效地利用最佳的运动矢量，所以具有即使在高分辨率视频等处理负荷高的运用中也能够进行高效能的图像编码/解码处理的效果。

附图说明

图1是说明本发明的实施方式1的图像编码装置的特征的说明图。

图2是示出本发明的实施方式1的图像编码装置的结构图。

图3是示出本发明的实施方式1的图像编码装置的工作的流程图。

图4是说明最大编码块被层次性地分割为多个编码块的情形的图。

图5是示出最大编码块被层次性地分割为多个编码块的结果的例子的图。

图6是成为本发明的实施方式1的运动补偿预测部9的处理单位的片（tile）的说明图。

图7是示出本发明的实施方式1中的运动补偿预测部9的结构图。

图8是本发明的实施方式1中的参考图像限制标志105的说明图。

图9是本发明的实施方式1中的参考图像限制标志105的说明图。

图10是示出本发明的实施方式1的图像解码装置的结构图。

图11是示出本发明的实施方式1的图像解码装置的工作的流程图。

图12是示出本发明的实施方式1的运动补偿部70的结构图。

图13是示出本发明的实施方式1中的片外的可参考区段的定制的结构图。

图14是示出本发明的实施方式1中的根据多个已编码的块生成运动信息的情况的结构图。

图15是示出本发明的实施方式1中的层次性地分割为多个编码块的例子的结构图。

图16是示出本发明的实施方式1中的层次性地向多个编码块分割的例子的结构图。

图17是示出本发明的实施方式1中的层次性地向多个编码块分割的例子的结构图。

图18是示出本发明的实施方式1中的层次性地向多个编码块分割的例子的结构图。

图19是说明以往的编码方式的说明图。

（符号说明）

2：块分割部；3：编码控制部；6：切换开关；8：帧内预测部；9：运动补偿预测部；12：减法部；14：运动补偿预测帧存储器；19：变换/量化部；22：逆量化/逆变换部；23：可变长编码部；25：加法部；27：环路滤波器部；28：帧内预测用存储器；61：可变长解码部；66：逆量化/逆变换部；68：切换开关；69：帧内预测部；70：运动补偿部；73：加法部；75：运动补偿预测帧存储器；77：帧内预测用存储器；78：环路滤波器部；100：运动信息生成部；101：运动信息存储器；104：帧间预测图像生成部；200：运动信息生成部；201：运动信息存储器；204：帧间预测图像生成部。

具体实施方式

以下，为了更详细地说明本发明，依照附图，对用于实施本发明的实施方式进行说明。

实施方式1.

使用图1，对作为本发明的实施方式1的编码装置（解码装置）的特征的部分进行说明。在该图中，示出如下例子：把将帧水平尺寸设为w、将分割区域的垂直方向行数设为h的w*h的区域作为规定的画面分割单位而执行编码时的运动矢量搜索。设为w*h的区域是能够将参考图像作为有效的图像数据而访问的区域（以下，有效参考图像区域）。此时，如果考虑以使预测图像的优良度成为最大限的方式进行运动矢量搜索，则理想上期望还容许如该图（a）那样，预测图像的一部分指示有效参考图像区域的外部的情况。但是，由于这样的有效参考图像区域外的数据对于进行运动矢量搜索的电路是不存在的，所以实际上，需要如该图（b）那样，使运动矢量搜索的范围强制地变窄，来发现使访问有效参考图像区域完成那样的运动矢量。

另一方面，在解码装置侧，如该图（c）那样，由于不执行负荷高的运动矢量搜索处理，所以进行画面分割来进行并行处理的必要性低。在这样的情况下，有效预测图像区域自身不被分割，所以不论是（a）、（b）中的哪一个运动矢量，都能够根据有效的参考图像数据生成预测图像块内的所有像素。即，产生如下的问题：尽管在解码装置侧能够接收理想的运动矢量而无问题地生成预测图像，但在编码侧无法搜索理想的运动矢量。

以下，对实施方式1中的图像编码装置以及图像解码装置进行说明。

在本实施方式1中，对图像编码装置和图像解码装置进行说明，其中图像编码装置将视频的各帧图像作为输入，在接近的帧之间进行运动补偿预测，并对所得到的预测差分信号实施基于正交变换/量化的压缩处理之后，进行可变长编码来生成比特流，图像解码装置对该图像编码装置输出的比特流进行解码。

本实施方式1的图像编码装置的特征在于：适应于视频信号的空间/时间方向的局部性的变化，将视频信号分割为各种尺寸的区域来进行帧内/帧间自适应编码。一般，视频信号具有信号的复杂度在空间/时间上局部地变化的特性。在空间上观察时，在某特定的视频帧上，有时天空或者壁等那样的在比较宽的图像区域中具有均匀的信号特性的图样、以及人物或者具有细致的纹理的绘画等在小的图像区域内具有复杂的纹理图案的图样混合存在。在时间上观察时，天空、壁在局部上时间方向的图样的变化小，但活动的人物、物体的轮廓在时间上进行刚体/非刚体的运动，所以时间上的变化大。在编码处理中，进行通过时间/空间上的预测而生成信号功率、熵小的预测差分差信号来削减整体的编码量的处理，但如果能够在尽可能大的图像信号区域中均匀地应用用于预测的参数，则能够减小该参数的编码量。另一方面，针对时间/空间上变化大的图像信号图案，将同一预测参数应用于大的图像区域，从而预测的错误增加，无法削减预测差分信号的编码量。因此，期望的是，在这样的区域中，减小预测对象的区域，即使增加用于预测的参数的数据量仍降低预测差分信号的功率、熵。为了进行适应于这样的视频信号的一般的性质的编码，本实施方式1的编码装置采用如下的结构：根据规定的最大块尺寸而首先层次性地进行视频信号的区域分割，针对分割了的每个区域使预测、以及其预测差分的编码处理自适应化。

关于作为本实施方式1的图像编码装置的处理对象的视频信号格式，除了包括亮度信号和两个色差信号的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色视频信号以外，还有单色图像信号、红外线图像信号等、视频帧由水平/垂直二维的数字采样（像素）列构成的任意视频信号。各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。但是，在以下的说明中，不特别限定时，对处理将输入视频信号设为YUV信号、并且两个色差分量U、V相对亮度分量Y被重采样的4：2：0格式的信号的情况进行描述，但本发明还能够应用于U、V的采样间隔不同的其它格式（例如4：2：2格式、4：4：4格式等）。另外，将与视频的各帧对应的处理数据单位称为“图片”。在本实施方式1中，将“图片”设为被依次扫描（逐行扫描）的视频帧信号而进行以下的说明，但在视频信号是隔行扫描信号的情况下，“图片”也可以是作为构成视频帧的单位的场图像信号。

图2是示出本发明的实施方式1的图像编码装置的结构的框图。

另外，图3示出图2的图像编码装置的图片等级的处理流程。以下，使用这些图，说明本实施方式1的图像编码装置的工作。图2所示的图像编码装置首先在编码控制部3中，决定成为编码对象的图片（当前图片）的编码中使用的最大编码块的尺寸、和对最大编码块进行层次分割的层次数的上限（图3的步骤S1）。作为最大编码块的尺寸的决定方法，既可以根据例如输入视频信号1的分辨率针对所有图片决定为相同的尺寸，也可以将输入视频信号1的局部性的运动的复杂度的差异作为参数进行定量化，在运动剧烈的图片中设定为小的尺寸、在运动少的图片中设定为大的尺寸。有如下方法：分割层次数上限在例如输入视频信号1的运动剧烈的情况下被设定为使层次数变深而能够检测更细致的运动，在运动少的情况下设定为抑制层次数等。

接下来，在块分割部2中，以上述决定的最大编码块尺寸分割图片。编码控制部3针对最大编码块尺寸的图像区域的每一个，直至达到上述决定的分割层次数上限，层次性地决定编码块尺寸4和针对各编码块的编码模式7。然后，块分割部2依照编码块尺寸4进一步分割块而输出编码块5（图3的步骤S2）。

图4示出最大编码块被层次性地分割为多个编码块5的情形的例子。关于最大编码块，定义为在图4中记载为“第0层次”的亮度分量下具有（L⁰，M⁰）的尺寸的编码块。将最大编码块作为出发点，以四叉树构造，直至另外决定的规定的深度层次性地进行分割，从而得到编码块5。在深度n中，编码块5是尺寸（Lⁿ，Mⁿ）的图像区域。Lⁿ既可以与Mⁿ相同也可以不同，但在图4中示出Lⁿ=Mⁿ的情形。

以后，编码块尺寸4定义为编码块5的亮度分量中的尺寸（Lⁿ，Mⁿ）。由于进行四叉树分割，所以（Lⁿ⁺¹，Mⁿ⁺¹）=（Lⁿ/2，Mⁿ/2）始终成立。另外，在RGB信号等所有颜色分量具有相同采样数的彩色视频信号（4：4：4格式）中，所有颜色分量的尺寸都为（Lⁿ，Mⁿ），但在处理4：2：0格式的情况下，对应的颜色差分量的编码块尺寸是（Lⁿ/2，Mⁿ/2）。以后，将第n层次的编码块5记载为Bⁿ，将在Bⁿ中可选择的编码模式7记载为m（Bⁿ）。在由多个色分量构成的彩色视频信号的情况下，编码模式m（Bⁿ）7也可以构成为针对各色分量的每一个分别使用单独的模式，但以后，只要没有特别限定，则设为指示针对YUV信号、4：2：0格式的编码块的亮度分量的编码模式而进行说明，但本发明能够应用于任意的视频格式、颜色分量、编码模式。

在编码模式m（Bⁿ）7中，有一个或多个帧内编码模式（总称为INTRA）、一个或多个帧间编码模式（总称为INTER），编码控制部3根据后述选择方法，从在该图片中可利用的所有模式或其子集中，选择针对编码块Bⁿ5编码效率最佳的编码模式。

另外，如图4所示，Bⁿ被进一步分割为一个或多个预测处理单位（分块，partition）。以后，将属于Bⁿ的分块记载为P_i ⁿ（i：第n层次中的分块编号）。在编码模式m（Bⁿ）7中作为信息包括如何进行Bⁿ的分块分割。关于分块P_i ⁿ，全部依照编码模式m（Bⁿ）7进行预测处理，但能够针对每个分块选择单独的预测参数。

编码控制部3针对最大编码块，生成例如图5所示那样的块分割状态，确定编码块5。该图（a）的网状部分表示分割后的分块的分布，并且，在（b）中用四叉树图形图示通过层次分割分配编码模式m（Bⁿ）7的状况。（b）的□所包围的节点是分配了编码模式7的节点、即编码块5。关于编码控制部3中的这样的层次分割/编码模式判定的详细的处理后述。

在编码块5中选择了帧内编码模式的情况（m（Bⁿ）∈INTRA的情况）下（在图3的步骤S3中“是”），在图2的帧内预测部8中，根据帧内预测参数10，进行针对Bⁿ内的各分块P_i ⁿ的帧内预测处理，所生成的帧内预测图像11被输出到减法部12（图3的步骤S4）。帧内预测图像11的生成中使用的帧内预测参数10，为了在解码装置侧生成完全相同的帧内预测图像11，通过可变长编码部23被复用到比特流30。本实施方式1中的帧内预测处理不限于在AVC/H.264规格（ISO/IEC14496-10）中决定的算法，但作为帧内预测参数，需要包括为了在编码装置侧和解码装置侧生成完全相同的帧内预测图像而所需的信息。

在编码块5中选择了帧间编码模式的情况（m（Bⁿ）∈INTER的情况）下（在图3的步骤S3中“否”），在图2的运动补偿预测部9中，根据帧间预测参数16，进行针对各分块P_i ⁿ的帧间运动预测处理，所生成的帧间预测图像17被输出到减法部12，并且运动矢量31被输出到可变长编码部23（图3的步骤S5）。帧间预测图像17的生成中使用的帧间预测参数16，为了在解码装置侧生成完全相同的帧间预测图像17，通过可变长编码部23被复用到比特流30。

在帧间预测图像的生成中使用的帧间预测参数中，包括

·记述编码块Bⁿ内的分块分割的模式信息

·各分块的运动矢量

·表示在运动补偿预测帧存储器14内包括多个参考图像的构成的情况下，使用哪一个参考图像来进行预测的参考图像指示索引信息

·表示在有多个运动矢量预测值候补的情况下，选择并使用哪一个运动矢量预测值的索引信息

·表示在有多个运动补偿内插滤波器的情况下，选择并使用哪一个滤波器的索引信息

·表示在该分块的运动矢量能够表示多个像素精度（半像素、1/4像素、1/8像素等）的情况下，使用哪一个像素精度的选择信息等信息，为了在解码装置侧生成完全相同的帧间预测图像，通过可变长编码部23被复用到比特流。关于运动补偿预测部9的详细的处理内容后述。

减法部12从分块P_i ⁿ减去帧内预测图像11、或者帧间预测图像17的某一方，而得到预测差分信号e_i ⁿ13（图3的步骤S6）。变换/量化部19针对预测差分信号e_i ⁿ13，根据从编码控制部3指示的预测差分编码参数20，实施DCT（离散余弦变换）、预先对特定的学习系列进行基底设计而得到的KL变换等正交变换处理来计算变换系数，并且根据从编码控制部3指示的预测差分编码参数20对该变换系数进行量化（图3的步骤S7），将作为量化后的变换系数的压缩数据21输出到逆量化/逆变换部22（在图3的步骤S8中逆量化/逆变换处理部）以及可变长编码部23（在图3的步骤S8中可变长编码部）。

逆量化/逆变换部22根据从编码控制部3指示的预测差分编码参数20对从变换/量化部19输入的压缩数据21进行逆量化，进而实施逆DCT、逆KL变换等逆变换处理，从而生成预测差分信号e_i ⁿ13的局部解码预测差分信号e_i ^n’24输出到加法部25（图2的步骤S9）。

预测差分编码参数20针对编码块5的每个区域，包括该内部的预测差分信号e_i ⁿ13的编码中使用的量化参数、变换块尺寸的信息。预测差分编码参数20在编码控制部3中，被决定为图3的步骤S2的编码模式判定的一环。关于量化参数，既可以是按照最大编码块的单位分配一个，以将它们分割而得到的编码块单位共通地使用的形式，也可以针对各编码块的每一个表现为与最大编码块的值的差分值。关于变换块尺寸信息，也可以将编码块5作为起点，与最大编码块的分割同样地进行四叉树分割表现，也可以是将几个可选择的变换块尺寸表现为索引信息的形式。变换/量化部19、逆量化/逆变换部22根据该变换块尺寸的信息确定变换/量化处理的块尺寸来进行处理。另外，该变换块尺寸的信息也可以构成为以分割编码块5的分块P_i ⁿ而非编码块5为单位来决定。

加法部25对局部解码预测差分信号e_i ^n’24、和帧内预测图像11或者帧间预测图像17进行加法来生成局部解码分块图像P_i ^n’或者作为其集合的局部解码编码块图像B^n’（以下，局部解码图像）26（图3的步骤S10），将该局部解码图像26输出到环路滤波器部27（在图3的步骤S11中环路滤波器部），并且储存到帧内预测用存储器28（在图3的步骤S11中帧内预测用存储器）。局部解码图像26成为以后的帧内预测用的图像信号。

在输出目的地是帧内预测用存储器的情况下，接下来，判定是否处理了图片中的所有编码块，如果尚未完成所有编码块的处理，则转移到接下来的编码块而反复同样的编码处理（图3的步骤S12）。

在加法部25的输出目的地是环路滤波器部27的情况下，环路滤波器部27针对从加法部25输出的局部解码图像26，进行规定的滤波处理，将滤波处理后的局部解码图像29储存到运动补偿预测帧存储器14（图3的步骤S13）。该滤波处理后的局部解码图像29成为运动补偿预测用的参考图像15。关于由环路滤波器部27执行的滤波处理，既可以以所输入的局部解码图像信号26的最大编码块或者各个编码块单位进行，也可以在输入了与1画面量的宏块相当的局部解码图像信号26之后集中1画面量来进行。

可变长编码部23对从变换/量化部19输出的压缩数据21、从编码控制部3输出（包括最大编码块的分割状态）的编码模式7、帧内预测参数10或者帧间预测参数16、预测差分编码参数20进行熵编码，生成表示它们的编码结果的比特流30（图3的步骤S14）。

以下，对成为本发明要点的运动补偿预测部9进行描述。在本实施方式1中，采用如图6所示，针对图片格子状地进行矩形区域分割（以下，将各分割单位称为片）、针对每个片独立地进行运动补偿预测的结构。片的水平/垂直方向的尺寸成为最大编码块的尺寸的倍数。关于片的分割状态，也可以在编码装置侧固定/唯一地决定（在该情况下，在解码装置中不识别片这样的构造而进行解码处理），也可以设想针对运动补偿预测以外的处理也能够进行独立的处理，并具备以能够分别自由地决定各片的左上角位置、尺寸的方式，向解码装置侧经由比特流传递的构造。另外，片也可以是在以往的AVC/H.264等中使用的切片。运动补偿预测部9对片内的各编码块5执行处理。由此，能够对图片内进行画面分割而并行地执行运动补偿预测的处理，所以即使输入视频信号是高分辨率视频，也能够高速地进行编码处理。

图7示出运动补偿预测部9的结构。首先，运动信息生成部100对参考图像15进行参考来进行运动矢量搜索、或者参考运动信息存储器101中保持的多个已编码块的运动信息102等，生成与编码块5内的各分块P_i ⁿ有关的运动信息103，输出到帧间预测图像生成部104。此时，运动信息生成部100根据表示是否将能够在运动补偿预测中使用的参考图像15上的区域（以下，有效参考图像区域）限定于规定的区域（例如当前的片区域）的参考图像限制标志105的值，进行运动信息的生成。

图8、9示出其情形。在参考图像限制标志105是ON即“将有效参考图像区域作为当前的片区域”的情况下（图8），在当前分块以运动矢量而活动了的情况下，在移动了的位置的分块内的像素的一部分位于有效参考图像区域的外部的情况下，进行将位于有效参考图像区域的端点的像素通过规定的方法扩张而虚拟地生成成为预测图像的像素的处置。在扩张的方法中，有使端点像素重复的方法、以端点像素为中心而进行镜像来补充有效参考图像区域内的像素的方法等。由此，参考图片的存储器能够限制于片的尺寸量，所以具有能够削减使用存储器的优点。即使限制所使用的存储器，通过使用规定的方法使像素扩张，片外也能够参考，所以无需如图1那样使运动矢量搜索的范围强制地变窄，对编码效率的改善作出贡献。

另一方面，在参考图像限制标志105是OFF即“在有效参考图像区域中无限制”情况（图9）下，关于由运动信息生成部100生成的运动矢量，在当前分块以运动矢量而活动了的情况下，被决定为移动了的位置的分块内的所有像素存在于有效参考图像区域（图片）内。在对可使用的存储器无限制的情况（能够确保参考图像量的存储器的情况）下，能够对参考图像内的所有像素进行参考，所以具有能够提高编码效率这样的优点。另外，构成为在参考图像限制标志105是OFF、且在编码装置的结构上在对可使用的存储器有限制的情况下，关于运动矢量搜索，以仅参考片内的像素的方式，决定搜索范围即可（图1（b）的情况），在参考多个已编码块的运动信息来生成运动信息的情况下，构成为如果在已编码块的运动信息中有参考片外的运动矢量，则将其去掉或者补正即可。通过不进行有效参考图像区域的端点处的像素扩张，能够抑制处理量，所以在即使进行像素扩张仍无法提高预测性能那样的情况下，还能够进行将参考图像限制标志105设定为OFF等控制。

帧间预测图像生成部104根据所输入的运动信息103、和参考图像15、参考图像限制标志105，生成并输出帧间预测图像17。在参考图像限制标志105是ON的情况下，针对通过运动矢量（运动信息103）而移动了的位置的分块区域，关于属于片内的像素，通过片内的参考图像数据，虚拟地生成参考图像数据，来得到帧间预测图像17，关于属于片外的像素，通过与在运动信息生成部100中使用的方法相同的步骤，虚拟地生成参考图像数据，来得到帧间预测图像17。另一方面，解释为在参考图像限制标志105是OFF的情况下，在图片整体进行预测。参考图像限制标志105被输入到可变长编码部23，作为序列单位等上位语法参数进行熵编码而被复用到比特流30。另外，如后所述由帧间预测图像生成部104生成的帧间预测图像17需要成为与在解码装置侧得到的帧间预测图像72等价的数据。

通过具有以上结构的运动补偿预测部9，具有如下的效果：即使在使运动信息生成处理以片单位独立地工作的情况下，也能够最佳地生成根据运动矢量搜索或者已编码块的运动矢量来预测并生成而得到的运动矢量，由此生成的预测图像始终与在解码装置侧得到的预测图像一致。

接下来，说明对本实施方式的图像编码装置输出的比特流30进行解码的图像解码装置。图10是示出本发明的实施方式1的图像解码装置的结构的框图。另外，图11示出图10的图像解码装置的图片等级的处理流程。以下，使用这些图，说明本实施方式1的图像解码装置的工作。

如果本实施方式1的图像解码装置接收到比特流30，则可变长解码部61对该比特流30进行可变长解码处理（图11的步骤S21），而按照由1帧以上的图片构成的序列单位或者图片单位对帧尺寸进行解码。通过与编码装置同样的步骤，决定由本实施方式1的图像编码装置决定的最大编码块尺寸以及分割层次数上限（图11的步骤S22）。例如，在根据输入视频信号的分辨率决定了最大编码块尺寸的情况下，根据解码所得的帧尺寸，通过与编码装置同样的步骤决定最大编码块尺寸。当最大编码块尺寸以及分割层次数上限在编码装置侧被复用到了比特流30的情况下，使用从比特流30解码所得的值。本实施方式1的图像编码装置将如图4所示按照编码块单位以最大编码块为出发点而层次性地分割为多个编码块而得到的编码模式、变换/量化而得到的压缩数据复用到比特流30。

接收到该比特流30的可变长解码部61按照所决定的最大编码块单位对编码模式中包含的最大编码块的分割状态进行解码。根据解码所得的分割状态，层次性地确定编码块（图11的步骤S23）。

接下来，针对对所确定的编码块分配的编码模式62进行解码。根据解码所得的编码模式62中包含的信息，以将编码块进一步分割为一个或多个预测处理单位（分块）而得到的单位对预测参数63进行解码（图11的步骤S24）。

在对编码块分配的编码模式62是帧内编码模式的情况下，针对包含于编码块而成为预测处理单位的1个以上的分块的每一个，对帧内预测参数63a进行解码。关于帧内预测参数63a的解码，通过与编码装置侧相同的步骤，根据周边的已解码分块的帧内预测参数63a，计算作为解码对象的分块P_i ⁿ的帧内预测参数63a的预测值，使用所计算出的预测值来进行解码。

在对编码块分配的编码模式62是帧间编码模式的情况下，针对包含于编码块而成为预测处理单位的1个以上的分块的每一个，对帧间预测参数63b进行解码。

成为预测处理单位的分块进一步根据预测差分编码参数65中包含的变换块尺寸信息（未图示），被分割为成为变换处理单位的一个或多个分块，针对成为变换处理单位的分块的每一个，对压缩数据（变换/量化后的变换系数）进行解码（图11的步骤S24）。

在可变长解码部61的输出目的地是切换开关的情况（在图11的步骤S25中切换开关）、对编码块分配的编码模式62是帧内编码模式的情况下（在图11的步骤S26中“是”），在帧内预测部69中，根据所解码出的帧内预测参数63a，进行针对编码块内的各分块的帧内预测处理（图11的步骤S27），所生成的帧内预测图像71被输出到加法部73。基于帧内预测参数63a的帧内预测处理与编码装置侧的帧内预测部8中的处理相同。

在对编码块分配的编码模式62是帧间编码模式的情况下（在图11的步骤S26中“否”），在运动补偿部70中，根据解码所得的帧间预测参数63b（包括运动矢量），进行针对编码块内的各分块的帧间运动预测处理（图11的步骤S28），所生成的帧间预测图像72被输出到加法部73。

另一方面，在可变长解码部61的输出目的地是逆量化/逆变换部66的情况下（在图11的步骤S25中逆量化/逆变换部），逆量化/逆变换部66根据预测差分编码参数65中包含的量化参数，对从可变长解码部61针对变换处理单位的每一个输入的压缩数据64进行逆量化，进而实施逆DCT、逆KL变换等逆变换处理，从而生成解码预测差分信号67（图11的步骤S29），输出到加法部73。

加法部73对解码预测差分信号67和帧内预测图像71或者帧间预测图像72进行加法而生成解码分块图像（图11的步骤S30），作为编码块内包含的一个或多个解码分块的集合，将解码分块图像74输出到环路滤波器部78，并且储存到帧内预测用存储器77。解码分块图像74成为以后的帧内预测用的图像信号。

环路滤波器部78在全部编码块的处理之后（在图11的步骤S31中“是”），进行与编码装置侧的环路滤波器部27相同的滤波处理（图11的步骤S32），将滤波处理后的解码图像79储存到运动补偿预测帧存储器75。该解码图像79成为之后的运动补偿处理用的参考图像76并且成为再生图像。

以下，对作为本发明的特征的运动补偿部70进行说明。图12示出运动补偿部70的内部结构。首先，运动信息生成部200参考从可变长解码部61提供的帧间预测参数63b、和运动信息存储器201中保持的多个已编码块的运动信息202等，生成与包括运动矢量的各分块P_i ⁿ有关的运动信息203，输入到帧间预测图像生成部204。帧间预测图像生成部204根据所输入的运动信息203、运动补偿预测用的参考图像76、以及在可变长解码部61中从比特流30解码所得的参考图像限制标志105，生成并输出帧间预测图像72。在参考图像限制标志105是ON的情况下，针对通过运动矢量而移动了的位置的分块区域，关于属于片内的像素，通过片内的参考图像数据，虚拟地生成参考图像数据来得到预测图像，关于属于片外的像素，通过与在运动信息生成部100中使用的方法相同的步骤，虚拟地生成参考图像数据来得到预测图像。

另一方面，在参考图像限制标志105是OFF的情况下，对参考图像的使用范围没有特别限制，通过与在运动信息生成部100中使用的方法相同的步骤，根据参考图像得到预测图像。另外，如上所述，由帧间预测图像生成部204生成的帧间预测图像72需要成为与在编码装置侧得到的帧间预测图像17等价的数据，但通过导入参考图像限制标志105，即使在编码装置中以片等单位并行处理运动矢量搜索处理，也能够避免编码/解码时的预测图像的不匹配，能够进行稳定并且高效能的编码。

另外，在本实施方式1中，构成为在参考图像限制标志105是ON时虚拟地扩张而生成片外的像素，但也可以构成为如图13那样定制片外的可参考区段。图13示出将有效参考图像区域扩张了的情况的、参考图像限制标志105为ON的情形的工作。关于指定有效参考图像区域范围的参数dx、dy，既可以通过轮廓（profile）等级等预先决定为固定的值，也可以作为序列头、图片头等上位头的一部分而复用到比特流。通过设为在上位头中规定的参数，能够根据装置的性能来决定参考区段，所以能够取得性能与实施负荷的平衡。即使在该情况下，也能够在参考有效参考图像区域外的情况下，如图8等说明的那样，虚拟地扩张像素而生成预测图像。

另外，作为根据上述多个已编码块生成运动信息的情况的例子，考虑如图14所示，将运动信息存储器101或201中保持的、已编码的周围的块、在参考图像上空间上处于相同的位置的块的运动信息（运动矢量、参考图像索引、预测方向等）原样地继承而使用的模式。为了得到与该模式对应的运动信息，根据参考图像限制标志105，仅剩余能够用作运动信息的候补来生成运动信息即可。在图14中，与MV_A对应的候补指示有效参考图像区域以外，所以能够将其去掉而仅将与MV_B、MV_C对应的候补选择为与本模式对应的运动信息。在不去掉MV_A的情况下，索引成为0、1、2这3种，作为索引进行编码的信息量变多。通过进行去除处置，具有还能够抑制索引所需的编码量的效果。

在本实施方式1中，将参考图像限制标志105作为序列等上位头语法复用到了比特流30，但即使在轮廓等级等中规定了与本标志相当的制约，也能得到同样的效果。

在本实施方式1中，示出了图4所示那样的Lⁿ=Mⁿ的情形，但其也可以是Lⁿ≠Mⁿ。考虑例如如图15所示，成为Lⁿ=kMⁿ的情况。在接下来的分割中，成为（Lⁿ⁺¹，Mⁿ⁺¹）=（Mⁿ，Mⁿ），在以后的分割中，也可以进行与图4同样的分割，也可以如图16所示，成为（Lⁿ⁺¹，Mⁿ⁺¹）=（Lⁿ/2，Mⁿ/2）。或者，也可以如图17那样能够选择图15和图16的分割中的某一个。在能够选择的情况下，对选择了哪一个分割的标志进行编码。在该情形下，能够仅通过将例如非专利文献1的AVC/H.264那样的以16x16为1个块的例子横向连结来实现，所以具有易于进行维持了与既存方式的兼容性的编码的效果。

在上述中，设为Lⁿ=kMⁿ，但即使其是如kLⁿ=Mⁿ那样纵向连结的结构，当然也能够通过同样的考虑进行分割。

量化/变换部、逆量化/逆变换部的变换块单位既可以由变换处理单位唯一地决定，也可以如图18所示成为层次构造。在该情况下，对在各层次中是否分割的标志进行编码。

上述分割既可以以分块单位进行也可以以编码块单位进行。

虽然假设了上述变换是正方形下的变换，但其也可以是长方形等其它矩形。

另外，本申请发明能够在本发明的范围内，实现各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者各实施方式中的任意的构成要素的省略。

产业上的可利用性

如以上那样，本发明的图像编码装置、图像解码装置、图像编码方法以及图像解码方法即使在高分辨率视频等处理负荷高的运用中也能够进行高效能的图像编码/解码处理，所以适用于图像压缩编码技术、压缩图像数据传送技术等中使用的图像编码装置、图像解码装置、图像编码方法、以及图像解码方法等。

Claims (4)

1.一种图像编码装置，是将运动图像信号的各图片分割为作为规定的编码单位的编码块、针对该编码块的每一个使用运动补偿预测来进行压缩编码的运动图像编码装置，其特征在于，具备：

运动补偿部，使用针对该编码块的每一个或者针对作为对其进行分割而得到的单位的运动补偿预测单位区域的每一个所选择的运动矢量，生成针对所述运动补偿预测单位区域的预测图像；以及

可变长编码部，针对对与所述预测图像对应的输入信号和所述预测图像的差分图像进行压缩而得到的压缩数据、与所述运动矢量有关的信息进行可变长编码来生成比特流，并且将参考图像限制标志复用到比特流，其中所述参考图像限制标志表示是否将有效参考图像区域限定于规定的区域，所述有效参考图像区域是能够在所述运动补偿预测中使用的参考图像上的区域，

所述运动补偿部根据所述参考图像限制标志，确定所述有效参考图像区域，在所述预测图像包括有效参考图像区域外的像素的情况下，进行规定的扩张处理。

2.一种图像解码装置，其特征在于，具备：

可变长解码部，从复用于比特流的编码数据，对与编码块有关的压缩数据、参考图像限制标志、作为运动矢量的信息的运动信息进行可变长解码，其中所述参考图像限制标志表示是否将有效参考图像区域限定于规定的区域，所述有效参考图像区域是能够在所述运动补偿预测中使用的参考图像上的区域；

运动补偿预测部，根据所述运动信息，实施针对所述编码块的运动补偿预测处理来生成预测图像；以及

解码图像生成部，对根据与所述编码块有关的压缩数据而生成的压缩前的差分图像和所述预测图像进行加法来生成解码图像，

所述运动补偿预测部在生成所述预测图像时，根据所述参考图像限制标志，使用所述运动信息，在所述预测图像包括有效参考图像区域外的像素的情况下，进行规定的扩张处理来生成预测图像。

3.一种图像编码方法，是将运动图像信号的各图片分割为作为规定的编码单位的编码块、针对该编码块的每一个使用运动补偿预测来进行压缩编码的运动图像编码方法，其特征在于，具备：

运动补偿步骤，使用针对该编码块的每一个或者针对作为对其进行分割而得到的单位的运动补偿预测单位区域的每一个所选择的运动矢量，生成针对所述运动补偿预测单位区域的预测图像；以及

可变长编码步骤，针对对与所述预测图像对应的输入信号和所述预测图像的差分图像进行压缩而得到的压缩数据、与所述运动矢量有关的信息进行可变长编码来生成比特流，并且将参考图像限制标志复用到比特流，其中所述参考图像限制标志表示是否将有效参考图像区域限定于规定的区域，所述有效参考图像区域是能够在所述运动补偿预测中使用的参考图像上的区域，

在所述运动补偿步骤中，根据所述参考图像限制标志，确定所述有效参考图像区域，在所述预测图像包括有效参考图像区域外的像素的情况下，进行规定的扩张处理。

4.一种图像解码方法，其特征在于，具备：

可变长解码步骤，从复用于比特流的编码数据，对与编码块有关的压缩数据、参考图像限制标志、作为运动矢量的信息的运动信息进行可变长解码，其中所述参考图像限制标志表示是否将有效参考图像区域限定于规定的区域，所述有效参考图像区域是能够在所述运动补偿预测中使用的参考图像上的区域；

运动补偿预测步骤，根据所述运动信息，实施针对所述编码块的运动补偿预测处理来生成预测图像；以及

解码图像生成步骤，对根据与所述编码块有关的压缩数据而生成的压缩前的差分图像和所述预测图像进行加法来生成解码图像，

在所述运动补偿预测步骤中，在生成所述预测图像时，根据所述参考图像限制标志，使用所述运动信息，在所述预测图像包括有效参考图像区域外的像素的情况下，进行规定的扩张处理来生成预测图像。

Images