CN107105300A - 图像解码方法及图像解码装置 - Google Patents

Abstract

一种图像解码方法，对代码串进行解码，该代码串是通过对被分割为层次化的处理单位的图像进行编码而生成的，在代码串中包含有分割信息，该分割信息具有：分割标志，表示是否将处理单位分割；表示最大使用层次的最大使用层次信息；以及表示最小使用层次的最小使用层次信息，使用最大使用层次能够确定是否将各处理单位进一步分割的情况下，与该处理单位对应的分割信息不包含分割标志，图像解码方法包括：解码步骤，对分割信息进行解码；以及恢复步骤，根据已被解码的分割信息判断分割图样。

Description

图像解码方法及图像解码装置

本发明以2011年12月5日提交的申请号为201180038021.7的母案申请的分案申请，其全部内部援引于此。

技术领域

本发明涉及图像解码方法及图像解码装置，尤其涉及利用运动补偿来对运动图像信号进行压缩编码时的图像解码方法及图像解码装置。

背景技术

在被称为H.26x的ITU－T标准、以及被称为MPEG－x的ISO/IEC标准为代表的以往的图像编码方式中，以预先规定的单位对画面进行分割，以该分割单位来进行编码。例如，在H.264/MPEG－4AVC方式(例如，参考非专利文献1)，将画面(图片)以被称为宏块的包含水平16像素以及垂直16像素的单位来进行处理。而且，在进行运动补偿的情况下，将宏块分割成长方形的块(最小为水平4像素×垂直4像素)，按每个分割的块利用不同的运动矢量进行运动补偿。

现有技术文献

非专利文献

非专利文献1：ISO/IEC 14496－10“MPEG－4 Part 10 Advanced Video Coding”

然而，在所述以往的方式中，作为与宏块内的分割有关的信息，通过传输示出宏块类型的信息和示出子宏块类型的种类的2种信息，从而传输分割形状。在这里，示出宏块类型的信息是指，示出宏块的大小为例如水平16像素×垂直16像素、水平16像素×垂直8像素、水平8像素×垂直16像素、以及水平8像素×垂直8像素中的任一个的信息。此外，示出子宏块类型的信息是指，在宏块类型为水平8像素×垂直8像素的情况下，示出子宏块的大小为水平8像素×垂直8像素、水平8像素×垂直4像素、水平4像素×垂直8像素、水平4像素×垂直4像素中的任一个的信息。

如上所述的分割信息的传输方法中，块的大小的种类增加时，需要按每一层次发送分割形状，存在不能有效地传输分割信息这样的课题。

发明内容

本发明是解决所述课题的发明，其目的在于提供一种在将画面分割成各种块进行编码以及解码的情况下，有效率地进行分割信息的解码的运动图像解码方法及图像解码装置。

为了达到上述目的，本发明的一个实施例涉及的图像解码方法，对代码串进行解码，该代码串是通过对被分割为层次化的处理单位的图像进行编码而生成的，在所述代码串中包含有分割信息，该分割信息具有：分割标志，表示是否将所述处理单位分割；表示最大使用层次的最大使用层次信息，该最大使用层次是从所述处理单位的最大的单位开始对所述图像有层次地进行分割而得到的分割图样之中的、最下层的处理单位的层次；以及表示最小使用层次的最小使用层次信息，该最小使用层次是所述分割图样所包含的处理单位之中的、最上层的处理单位的层次，使用所述最大使用层次能够确定是否将各处理单位进一步分割的情况下，与该处理单位对应的所述分割信息不包含所述分割标志，所述图像解码方法包括：解码步骤，对所述分割信息进行解码；以及恢复步骤，根据已被解码的所述分割信息判断所述分割图样。

这样，本发明的一个实施例涉及的图像解码方法，将画面分割为各种块，并进行编码的情况下，能够削减编码量，所以能够有效率地进行分割信息的编码。

另外，本发明不仅作为这样的图像解码方法来实现，还作为以图像解码方法所包含的有特征的步骤为单元的图像解码装置来实现，也能作为使计算机执行该有特征的步骤的程序来实现。而且，上述的程序，当然可以经由CD－ROM等非暂时的计算机可读取的记录介质、以及互联网等传输介质来流通。

加之，本发明能够作为实现这样的图像解码装置的功能的一部分或者所有的半导体集成电路(LSI)来实现，或者作为包含这样的图像解码装置的图像编解码装置来实现。

如上所述，根据本发明，能够提供在将画面分割为各种块进行编码或者解码的情况下，能够有效率地进行分割信息的编码或者解码的运动图像编码方法或者运动图像解码方法。

附图说明

图1是本发明的实施例1涉及的图像编码装置的方框图。

图2A是用于说明本发明的实施例1涉及的块的层次的模式图。

图2B是表示本发明的实施例1涉及的块的层次的一例的模式图。

图2C是表示本发明的实施例1涉及的块的层次的另一例的模式图。

图3A是表示本发明的实施例1涉及的块的分割图样的一例的模式图。

图3B是表示本发明的实施例1涉及的块的分割信息的另一例的模式图。

图3C是表示本发明的实施例1涉及的块的分割信息的另一例的模式图。

图4是表示本发明的实施例1涉及的分割控制部的动作的流程图。

图5是表示本发明的实施例1涉及的分割信息描述部的动作的流程图。

图6A是表示本发明的实施例1涉及的分割图样及分割信息的一例的模式图。

图6B是表示本发明的实施例1涉及的分割图样及分割信息的另一例的模式图。

图6C是表示本发明的实施例1涉及的分割图样及分割信息的另一例的模式图。

图7是本发明的实施例2涉及的图像解码装置的方块图。

图8是表示本发明的实施例2涉及的分割控制部及分割信息恢复部的动作的流程图。

图9A是表示本发明的实施例3涉及的分割图样的预测例的模式图。

图9B是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9C是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9D是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9E是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9F是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9G是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9H是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9I是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9J是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9k是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图9L是表示本发明的实施例3涉及的分割图样的另一预测例的模式图。

图10是本发明的实施例3涉及的表示利用周围的分割信息预测分割方法的顺序的流程图。

图11A是用于说明本发明的实施例3涉及的分割信息描述部及分割信息恢复部使用已经编码完毕的帧的分割信息的方法的模式图。

图11B是用于说明本发明的实施例3涉及的分割信息描述部及分割信息恢复部使用已经编码完毕的帧的分割信息的另一个方法的模式图。

图12A是说明本发明的实施例3涉及的分割信息描述部的动作的流程图。

图12B是说明本发明的实施例3涉及的分割信息恢复部的动作的流程图。

图13是表示本发明的实施例4涉及的分割信息的数据构造的模式图。

图14A是表示本发明的实施例5涉及的利用多个块形状的分割图样的一例的模式图。

图14B是表示本发明的实施例5涉及的利用多个块形状的情况下的分割信息的另一例的模式图。

图14C是表示本发明的实施例5涉及的利用多个块形状的情况下的分割信息的另一例的模式图。

图15A是用于说明本发明的实施例5涉及的削减冗余的分割信息的方法的模式图。

图15B是用于说明本发明的实施例5涉及的削减冗余的分割信息的另一方法的模式图。

图15C是用于说明本发明的实施例5涉及的削减冗余的分割信息的另一方法的模式图。

图16是实现内容分发服务的内容提供系统的全体构成图。

图17是数字广播用系统的全体构成图。

图18是表示电视机的构成例的方框图。

图19是表示作为激光盘的记录介质进行信息的读写的信息再生/记录部的构成例的方框图。

图20是表示作为激光盘的记录介质的构成例的图。

图21A是表示便携式电话的一例的图。

图21B是表示便携式电话的构成例的方框图。

图22是表示多路复用数据的构成的图。

图23是表示在多路复用数据中各流怎样被多路复用的模式图。

图24是更加详细地表示在PES数据包列中视频流怎样被存储的图。

图25是表示在多路复用数据中的TS数据包和源数据包的构造的图。

图26是表示PMT的数据构成的图。

图27是表示多路复用数据信息的内部构成的图。

图28是表示流属性信息的内部构成的图。

图29是表示识别影像数据的步骤的图。

图30是表示实现各个实施例的运动图像编码方法及运动图像解码方法的集成电路的构成例的方框图。

图31是表示切换驱动频率的构成的图。

图32是表示识别影像数据、切换驱动频率的步骤的图。

图33是表示使影像数据的标准与驱动频率相对应的一览表的一例的图。

图34A是表示将信号处理部的模块共享的构成的一例的图。

图34B是表示将信号处理部的模块共享的构成的其他例的图。

具体实施方式

下面，参考附图来详细说明本发明的实施方式。另外，下面说明的实施例都是示出本发明优选的一个具体例子。以下的实施例中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形式、步骤、步骤的顺序等，都是本发明的一个例子，主旨不是限制本发明。本发明只受权利要求书的限定。并且，以下的实施例的构成要素中，示出本发明的最上位概念的独立权利要求中没有记载的构成要素，并不是达成本发明课题的必须要素，可以说明是构成更好的形式的要素。

(实施例1)

图1是本发明的实施例1涉及的利用图像编码方法的图像编码装置100的方框图。图1示出的图像编码装置100，将输入图像信号120分割为处理单位(块)，并对分割后的图像进行编码，从而生成代码串140。

该图像编码装置100具备：差分部101、变换部102、量化部103、逆量化部104、逆变换部105、加法运算部106、预测部107、编码控制部108、可变长编码部109、分割部110、分割控制部111、分割信息描述部112。另外，分割部110及预测部107可以在内部具备存储器。

输入图像信号120被输入到分割部110。分割部110根据分割控制信号129，分割输入图像信号120，从而生成分割图像信号121，将生成的分割图像信号121输出到差分部101及预测部107。

分割控制部111决定分割图样，该分割图样示出在分割部110中怎么分割图像。在这里，处理单位(块)被层次化，分割控制部111决定分割图样，该分割图样是从处理单位的最大的单位开始，对输入图像信号120有层次地进行分割的分割图样。

利用图2A～图2C及图3A～图3C说明分割控制部111决定的分割图样的例子。

如图2A～图2C所示，由层次的深度(Depth)表示分割控制部111决定的分割图样。如图2A一样，将不进行分割的块表现为Depth＝0，将分割为4个块的块表现为Depth＝1，针对以后的块也可以同样地表现。图2B示出最大的块的大小为水平64像素×垂直64像素时的块大小和层次的深度的例子，图2C示出最大的块的大小为水平128像素×垂直128像素时的块大小和层次的深度的例子。

关于该分割图样利用图3A～图3C进行更详细的说明。

图3A与图2B示出的情况相同，示出最大的块的大小是水平64像素×垂直64像素、最小的块的大小是水平8像素×垂直8像素的情况的例子。针对块指定是否分割最大的块的大小，若进行分割的情况下，对分割后的子块是否进一步进行分割的按顺序指定的方法来进行分割。块的分割图样，能够以各层次的深度的层次(Dn_type)来表示。另外，在这里将n作为层次的深度(Depth)的值。

图3B示出以层次分割模式信息表示图3A示出的分割图样的例子。在这里，为了简化，层次分割模式信息是2种类，分别表示不分割(Dn_type＝0)，或者分割为4等分(Dn_type＝1)。另外，下面将Depth＝0～3的层次分别记为层次0～3。

首先，因为最大的块进行分割，所以D0_type＝1。下面的块大小的层次1(Depth＝1)中，以从左上面开始写Z字的顺序，以没有分割(D1_type＝0)，有分割(D1_type＝1)，没有分割(D1_type＝0)，有分割(D1_type＝1)来表现。在这里，没有分割的块，不需要下面的层次2(Depth＝2)的层次分割模式信息。接着，进一步进行分割的块大小的层次2(Depth＝2)也使用同样的表现。具体而言，对D1_tyepe＝1的第一个块进行了分割，这个层次2(Depth＝2)的4个块，全都没有分割(D2_type＝0)。此外，针对将D1_tyepe＝1的最后的块进行了分割的4个块，第一个块能够表现为有分割(D2_type＝1)，剩余的3个块能够表现为没有分割(D2_type＝0)。

图3C示出将图3B的表现单纯地总结进行了表现的例子。换言之，图3C示出总结了针对各块大小的层次分割模式信息，作为分割模式信息(type)表现的例子。另外，在这个例子中分割模式信息与层次分割模式信息同样是有分割(1)和没有分割(0)的二值信息。因而，在图3A示出的分割图样的信息量是13比特。而且分割控制部111，将表示在图3C示出的分割图样的分割信息130输出到分割信息描述部112。

下面，利用图4说明分割控制部111决定前述的分割图样的工作。

此外，在决定分割图样时所需的成本信息(编码成本)例如如下地算出。

分割部110，将输入图像信号120分割为成为成本计算的对象的大小，从而生成分割图像信号121，将生成的分割图像信号121输出到预测部107。

预测部107，根据已经编码及解码完毕的解码图像信号127、以及由编码控制部108获得的预测模式，生成预测图像信号128。在这里，编码控制部108，针对预测部107指定预先决定的至少1个候补预测模式中的一个预测模式。候补预测模式例如是如下的模式：将画面内的邻接像素在预先决定的方向上外插，从而生成预测像素的模式、以及利用已经编码以及解码完毕的其他帧之间的相关度高的像素，生成预测像素的模式。

加之，预测部107算出编码成本，该编码成本是预测信息和相关度信息的加权和。在这里预测信息是生成预测图像信号128而必需的信息，例如，用于将画面内的邻接像素外插的方向信息，以及与其他帧的相对位置信息(运动矢量信息)。此外，相关度信息是示出分割图像信号121与预测图像信号128的相关度的信息，例如，分割图像信号121与预测图像信号128的差分绝对值和。此外，预测部107，例如将被称为成本函数的下列(公式1)示出的值，作为编码成本来计算。

加之，预测部107对全部候补预测模式的每一个算出编码成本，将被预测为最小的编码成本的预测模式的预测图像信号128输出到差分部101。此外，预测部107对那时的预测模式、预测信息以及编码成本输出到编码控制部108。编码控制部108，将前述的编码成本输出到分割控制部111，将包含预测模式及预测信息的编码控制信号132输出到可变长编码部109。

作为所述的RD成本函数，例如使用(算式1)示出的拉格朗日成本函数J。

(算式1)

J＝D+λ·R (式1)

在(算式1)中，R是用于对差分图像(量化变换系数信息124)和预测模式和预测信息进行编码的编码量，D是编码变形量，λ是按照用于编码的量化参数QP所算出的拉格朗日乘数。编码控制部108，选择成本函数J最低的预测模式，以作为用于编码的预测模式。

另外，R以及D的值可以分别使用代用的值。例如，可以作为编码量R只利用预测模式信息，作为编码变形量使用分割图像信号121与预测图像信号128的绝对差分和。

图4是表示分割控制部111的动作的流程图。

在这里，为了简化说明以下述情况为例，如图2B及图3B所示最大的块大小是水平64像素×垂直64像素，最小的块大小是水平8像素×垂直8像素，分割模式信息示出分割(1)、不分割(0)的2种的情况。

分割控制部111获得针对分割图像信号121的编码成本，该分割图像信号121是由分割部110将输入图像信号120分割为水平64像素×垂直64像素的信号。而且，分割控制部111，将获得的编码成本值设置为针对水平64像素×垂直64像素(层次0)的成本值(D0_cost)(步骤S401)。

接着，分割控制部111重置“D1_total_cost”(设置为0)，该“D1_total_cost”示出对下面的层次1(Depth＝1)的编码成本的总数(步骤S402)。

接着，分割控制部111进行分割为层次1(Depth＝1)的情况下的对所有的块(这个例子中是4个块)的反复处理(步骤S403与S424围着的部分的处理)。换言之，分割控制部111，对计数器D1_loop按顺序设置0，1，2，3，反复进行步骤S403～S424的处理。

接着，分割控制部111，获得针对以下信号的编码成本，该信号是对层次0进一步进行分割的水平32像素×垂直32像素的信号。而且，分割控制部111，将获得的编码成本，设置为针对以计数器D1_loop示出的位置的水平32像素×垂直32像素的块的成本值(D1_cost[D1_loop])(步骤S404)。另外，计数器Dn_loop＝0～3的处理顺序，只要是编码侧与解码侧相同就可以。该处理顺序例如是Z字的书写顺序。

接着，分割控制部111重置“D2_total_cost”(设置为0)，该“D2_total_cost”示出针对下面的层次2(Depth＝2)的编码成本的总数(步骤S405)。

接着，分割控制部111进行将上位的层次1(Depth＝1)的D1_loop的块分割为层次2(Depth＝2)的情况下的对所有的块(这个例子中是4个块)的反复处理(步骤S406与S418围着的部分的处理)。换言之，分割控制部111，对计数器D2_loop按顺序设置0，1，2，3，反复进行步骤S406～S418的处理。

接着，分割控制部111获得针对以下信号的编码成本，该信号是对层次1进一步进行分割的水平16像素×垂直16像素的信号。而且，分割控制部111，将获得的编码成本，设置为针对以计数器D2_loop示出的位置的水平16像素×垂直16像素的块的成本值(D2_cost[D2_loop])(步骤S407)。

同样，分割控制部111重置“D3_total_cost”(设置为0)，该“D3_total_cost”示出针对下面的层次3(Depth＝3)的编码成本的总数(步骤S408)。

接着，分割控制部111进行将上位的层次2(Depth＝2)的D2_loop的块分割为层次3(Depth＝3)的情况下的对所有的块(这个例子中是4个块)的反复处理(步骤S409与S412围着的部分的处理)。换言之，分割控制部111，对计数器D3_loop按顺序设置0，1，2，3，反复进行步骤S409～S412的处理。

接着，分割控制部111，获得针对以下信号的编码成本，该信号是对层次2进一步进行分割的水平8像素×垂直8像素的信号。而且，分割控制部111，将获得的编码成本，设置为针对以计数器D3_loop示出的位置的水平8像素×垂直8像素的块的成本值(D3_cost[D3_loop])(步骤S410)。而且，分割控制部111，将“D3_total_cost”与D3_cost[D3_loop]相加(步骤S411)。

接着，分割控制部111，在D3_loop没有全部结束的情况下，在计数器D3_loop的值加1，反复进行处理。此外，分割控制部111在全部结束的情况下，进入下一个步骤(步骤S412)。

接着，分割控制部111比较上述的计算完毕的“D3_total_cost”与“D2_cost[D2_loop]”(步骤S413)。“D2_cost[D2_loop]”比“D3_total_cost”大的情况下(在步骤S413中的“是”)，有分割比没有分割编码成本小。从而，分割控制部111设置示出有分割的“D2type＝1”(步骤S414)，将“D2_total_cost”与“D3_total_cost”的值相加(步骤S415)。

另一方面，“D2_cost[D2_loop]”比“D3_total_cost”小的情况下(在步骤S413中的“否”)，没有分割比有分割编码成本小。从而，分割控制部111设置示出没有分割的“D2type＝0”(步骤S416)，将“D2_total_cost”与“D2_cost[D2_loop]”的值相加(步骤S417)。

接着，分割控制部111，在D2_loop没有全部结束的情况下，在计数器D3_loop的值加1，反复进行处理。此外，分割控制部111在全部结束的情况下，进入下一个步骤(步骤S418)。

接着，分割控制部111比较上述的计算完毕的“D2_total_cost”与“D1_cost[D1_loop]”(步骤S419)。“D1_cost[D1_loop]”比“D2_total_cost”大的情况下(在步骤S419中的“是”)，有分割比没有分割编码成本小。从而，分割控制部111设置示出有分割的“D1type＝1”(步骤S420)，将“D1_total_cost”与“D2_total_cost”的值相加(步骤S421)。

另一方面，“D1_cost[D1_loop]”比“D2_total_cost”大的情况下(在步骤S419中的“否”)，没有分割比有分割编码成本小。从而，分割控制部111设置示出没有分割的“D1type＝0”(步骤S422)，将“D1_total_cost”与“D1_cost[D1_loop]”的值相加(步骤S423)。

接着，分割控制部111，在D1_loop没有全部结束的情况下，在计数器D1_loop的值加1，反复进行处理。此外，分割控制部111在全部结束的情况下，进入下一个步骤(步骤S424)。

最后，分割控制部111比较上述的计算完毕的“D1_total_cost”与“D0_cost”(步骤S425)。“D0_cost”比“D1_total_cost”大的情况下(在步骤S425中的“是”)，有分割比没有分割编码成本小。从而，分割控制部111设置示出有分割的“D0type＝1”(步骤S426)。

另一方面，“D0_cost”比“D1_total_cost”小的情况下(在步骤S425中的“否”)，没有分割比有分割编码成本小。从而，分割控制部111设置示出没有分割的“D0type＝0”(步骤S427)。

根据所述的顺序，分割控制部111能够决定编码成本成为最小的分割图样。

另外，该分割图样的决定方法是一例，不只限于该方法。例如，分割控制部111分析从分割部110得到的分割图像信号121，将像素值分布的方差高的区域分割为小的块，将像素分布一样的部分分割为大的块。通过这样，能够削减图像编码装置100的电路规模。

此外，作为别的分割图样的决定方法，分割控制部111也可以针对已经编码及解码完毕的周围的块的分割结果以已经决定的方法来决定分割图样。此外，作为别的分割图样的决定方法，分割控制部111可以利用已经编码及解码完毕的别的帧中的块的分割结果来决定分割图样。关于这些方法，在实施例3中详细地说明。

下面利用图5说明由分割信息描述部112进行的分割信息131的描述方法。

分割控制部111将示出由所述的方法所决定的分割图样的分割信息130，输出到分割信息描述部112。在这里，分割信息130是上述的层次分割模式信息或者分割模式信息所描述的信息。分割信息描述部112根据该分割信息130，生成在可变长编码部109被编码的分割信息131。

首先，分割信息描述部112，获得分割信息130中包含的每个层次的层次分割模式信息(D0type～D2type)(步骤S501)。

在D0type是0的情况下(在步骤S502中的“是”)，最大的块的层次(Depth＝0)中没有分割。从而，分割信息描述部112，针对变数“used_max_depth”，设置示出Depth＝0的“0”(步骤S503)。在这里，变数“used_max_depth”是示出最大使用层次的最大使用层次信息。此外，最大使用层次示出在最大块大小内被使用的最下层的深度。换句话说，最大使用层次是分割图样中包含的块中最下层的块的层次。

在D0type不是0的情况下(在步骤S502中的“否”)，接着分割信息描述部112判断所有的D1type是不是0(步骤S504)。在所有的D1type是0的情况下(在步骤S504中的“是”)，在该层次1(Depth＝1)没有分割。从而，分割信息描述部112对变数“used_max_depth”设置示出Depth＝1的“1”(步骤S505)。

另一方面，D1type中的至少1个不是0的情况下(在步骤S504中的“否”)，接着，分割信息描述部112判断所有的D2type是不是0(步骤S506)。在所有的D2type是0的情况下(在步骤S506中的“是”)，该层次2(Depth＝2)没有分割。从而，分割信息描述部112对变数“used_max_depth”设置示出Depth＝2的“2”(步骤S507)。

另一方面，D2type中的至少1个不是0的情况下(在步骤S506中的“否”)，直到最小的块大小为止进行分割。从而，分割信息描述部112对变数“used_max_depth”设置示出Depth＝3的“3”(步骤S508)。

接着，分割信息描述部112，判断D1type中的至少1个是不是被设置为0(步骤S509)。在D1type中的至少1个被设置为0的情况下(在步骤S509中的“是”)，示出Depth＝1的大小的块中存在不进行分割的块。从而，分割信息描述部112针对变数“used_min_depth”，设置示出Depth＝1的“1”(步骤S510)。在这里，变数“used_min_depth”是示出最小使用层次的最小使用层次信息。此外，最小使用层次示出在最大块大小内被使用的最上层的深度。换句话说，最小使用层次是分割图样中包含的块中最上层的块的层次。

另一方面，在D1type中没有设置为0的情况下(在步骤S509中的“否”)，接着，分割信息描述部112，判断D2type中的至少1个是不是被设置为0(步骤S511)。在D2type中的至少1个被设置为0的情况下(在步骤S511中的“是”)，示出Depth＝2的大小的块中存在不分割的块。从而，分割信息描述部112针对变数“used_min_depth”，设置示出Depth＝2的“2”(步骤S512)。

此外，在D2type中没有设置为0的情况下(在步骤S511中的“否”)，Depth＝2大小的块的全部都进行分割。从而，分割信息描述部112针对变数“used_min_depth”，设置示出Depth＝3的“3”(步骤S513)。

分割信息描述部112如上所示决定“used_max_depth”。此外，分割信息描述部112只在“used_max_depth＝3”的情况下，决定“used_min_depth”。加之，分割信息描述部112根据“used_max_depth”和“used_min_depth”，决定分割信息130中包含的分割模式信息中的在可变长编码部109进行可变长编码的分割模式信息130A。而且，分割信息描述部112生成分割信息131，所述分割信息131包含“used_max_depth”与“used_min_depth”、以及所决定的分割模式信息130A，并将生成的分割信息131输出到可变长编码部109，。

在这里利用图6A～图6C对在可变长编码部109进行编码的信号进行详细地说明。

图6A～图6C是示出对各自不同的块分割的结果的分割信息130及131的模式图。

首先对图6A的块分割结果的情况进行说明。这个情况下，分割信息130中针对64×64块包含“1”，针对32×32块包含“0101”，在32×32块中“1”(进行分割)的2个16×16块分别包含“0000”、“0000”，以作为分割模式信息。此外，根据分割信息描述部112，决定在该情况下的“used_max_depth”是“2”。这个情况下，根据被分割的结果的最大的层次是2，从而表示对16×16块没有分割的信息“0000”、“0000”是不需要的。因此，分割信息描述部112，只将针对32×32块的分割模式信息“0101”决定为进行编码的分割模式信息130A。而且，可变长编码部109，针对包含“used_max_depth”和对32×32块的分割模式信息“0101”的分割信息131进行可变长编码处理。

在这里的例子中，分割模式信息是示出有分割(1)和没有分割(0)的信息来处理，分割信息130的比特长以13比特来表示。另一方面，通过由分割信息描述部112决定最大使用层次，从而在可变长编码部109被编码的分割信息131是分割模式信息4比特与“used_max_depth”。在这里“used_max_depth”决定为从0到3(在这里的例子中层次3为最大)，所以能够以2比特来表现。换言之，这个情况下，能够以6比特来表现13比特的信息。

接着，说明在图6B示出的其他块分割结果的情况。与上述相同，分割信息130中针对64×64块包含“1”，针对32×32块包含“1111”，在32×32块中“1”(进行分割)的4个16×16块分别包含“0000”、“0001”、“0000”、“1100”，以作为分割模式信息。此外，根据分割信息描述部112，决定在该情况下的“used_max_depth”是“3”，“used_min_depth”是“2”。这个情况下，根据被分割的结果的最小的层次是2，从而表示对32×32块有分割的分割模式信息“1111”是不需要的。因此，分割信息描述部112，只将针对16×16块的4个分割模式信息决定为进行编码的分割模式信息130A。而且，可变长编码部109，针对包含“used_max_depth”与“used_min_depth”以及对16×16块的分割模式信息“0000”、“0001”、“0000”、“1100”的分割信息131进行可变长编码处理。

与图6A的情况同样考察比特长时，分割信息130的比特长是21比特。另一方面，在可变长编码部109被编码的分割信息131是分割模式信息16比特、以及“used_max_depth”和“used_min_depth”。在这里“used_max_depth”如所上述是2比特。此外，“used_min_depth”决定为从1到3，所以能够以1～2比特来表现。从而，这个情况下，能够以20比特来表现21比特的信息。

下面说明图6C示出的其他块分割结果的情况。与上述相同，分割信息130中针对64×64块包含“1”，针对32×32块包含“1111”，在32×32块中“1”(进行分割)的4个16×16块分别包含“1111”、“1111”、“1111”、“1111”，以作为分割模式信息。此外，由分割信息描述部112决定在该情况下的“used_max_depth”是“3”，“used_min_depth”是“3”。这个情况下，根据被分割的结果的最小的层次是3，从而对32×32块以及16×16块进行分割的分割模式信息“1111”是不需要的。而且，可变长编码部109，针对包含“used_max_depth”与“used_min_depth”的分割信息131进行可变长编码处理。

与图6A和图6B的情况同样地考察比特长。分割信息130的比特长以21比特来表示。将其通过由分割信息描述部112决定最大使用层次以及最小使用层次，从而以可变长编码被编码的分割信息131成为“used_max_depth”和“used_min_depth”。在这里“used_max_depth”是如上所述的2比特，“used_min_depth”是1～2比特。从而，这个情况下，能够以4比特来表现21比特的信息。

另外，在可变长编码时，可以利用统计数据，针对频繁地发生的信号分配短的比特长，针对不太发生的信号分配长的比特长。此外，可以利用如算数编码一样的动态概率模型来进行可变长编码。换言之，上述的比特长的差分是参考值，不过，通过利用本实施例涉及的分割信息描述方法，知道能够大大削减编码量的可能性高。

如上所述，预测部107，从作为已经编码完毕的图像信号的解码图像信号127生成预测图像信号128。而且，预测部107，将生成的预测图像信号128输出到差分部101以及加法运算部106。

差分部101，通过算出作为分割了输入图像信号120的信号的分割图像信号121与预测图像信号128的差分，从而生成差分信号122，并将生成的差分信号122输出到变换部102。

变换部102，通过对差分信号122实施变换处理，从而生成变换系数123，并将生成的变换系数123输出到量化部103。

量化部103，通过对变换系数123实施量化处理，从而生成量化变换系数信息124，并将生成的量化变换系数信息124输出到可变长编码部109以及逆量化部104。

逆量化部104，通过对量化变换系数信息124实施逆量化处理，从而生成变换系数125，并将生成的变换系数125输出到逆变换部105。逆变换部105，通过对变换系数125实施逆变换处理从而生成解码残差图像信号126，并将生成的解码残差图像信号126输出到加法运算部106。

加法运算部106，通过将解码残差图像信号126与预测图像信号128相加，从而生成解码图像信号127，并将生成的解码图像信号127输出到预测部107。

可变长编码部109，通过将作为成为编码对象的信号的量化变换系数信息124、编码控制信号132以及分割信息131，按照信号的类别进行可变长编码，从而生成代码串140。

另外，关于所述的分割信息描述方法的代码串140的结构，在实施例4进行详细说明。

此外，关于所述的分割图样的决定方法只是一例，不限于该例子。例如可以利用已经编码完毕的周边块的分割结果。此外，也可以利用已经编码完毕的其他帧的分割结果。关于这些情况下的细节在实施例3中详细说明。

另外，在本实施例中对作为编码单位的宏块的分割进行了说明,不过，本发明不仅限于此。例如，由变换部102进行变换处理的单位，也可以同样地表示。关于这个情况下的细节在实施例4中详细说明。

另外，所述说明中说明了将块进行4分割，或者不分割的2个类型的情况，不过，本发明不仅限于此。例如，在与非专利文献1的情况同样地分割为不是正方形的形状(16×8，8×16)的情况下，也能适用本发明。关于这个情况下的细节在实施例5中详细说明。

另外，在上述的可变长编码部109利用算数编码的情况下，根据已编码完毕的块的形状信息，和/或，最大使用层次，和/或，最小使用层次的信息来切换用于算术编码的概率模型。这样，能够期待进一步提高编码效率。

另外，在上述的可变长编码部109利用可变长符号表的情况下，在上述的比特长运算中，可以针对分割信息的削减宽度大的情况下的最大使用层次，和/或，最小使用层次的信息，分配长的比特长，针对所述削减宽度小的情况下的最大使用层次，和/或，最小使用层次的信息，分配短的比特长。这样，能够进一步提高根据本实施例的编码效率的提高率。

另外，在本实施例的详细说明中，将最大块大小设为水平64像素×垂直64像素，将最小块大小设为水平8像素×垂直8像素，不过，本发明可以不限于该大小而进行适用。

(实施例2)

在本发明的实施例2中，对由上述的图像编码装置100所生成的代码串140进行解码的图像解码装置200进行说明。

图7是利用本实施例涉及的分割信息恢复部207的图像解码装置200的方框图。图7示出的图像解码装置200具备：可变长解码部201、解码控制部202、逆量化部203、逆变换部204、预测部205、加法运算部206、分割信息恢复部207。另外，预测部205可以在内部具备存储器。

代码串140是由本发明的实施例1涉及的图像编码装置100所生成的代码串。该代码串140被输入到可变长解码部201。

可变长解码部201对代码串140中包含的分割信息进行解码。具体而言，可变长解码部201通过对代码串140实施可变长解码，从而生成解码信号221，并将生成的解码信号221输出到分割信息恢复部207与解码控制部202与逆量化部203。另外，可变长解码部201以基于由分割信息恢复部207得到的分割信息226的分割单位来进行处理。

在解码信号221是被量化的变换系数的情况下，逆量化部203，通过对解码信号221实施逆量化，从而生成变换系数222。逆变换部204，通过对变换系数222实施逆变换，从而生成解码残差图像信号223，将生成的解码残差图像信号223输出到加法运算部206。

此外，在解码信号221是示出预测方法的预测图像生成相关信息225的情况下，解码控制部202将由分割信息恢复部207获得的分割信息226和预测图像生成相关信息225输出到预测部205。在这里，预测图像生成相关信息225与图像编码装置100的编码控制信号132对应，例如包含预测模式以及预测信息。

预测部205，利用已经解码完毕的解码图像信号(输出图像信号240)和由解码控制部202得到的预测图像生成相关信息225，以基于分割信息226的分割单位，生成预测图像信号224，并将生成的预测图像信号224输出到加法运算部206。加法运算部206，通过将解码残差图像信号223和预测图像信号224相加，从而生成解码图像信号(输出图像信号240)。

另外，解码信号221是分割解码信息的情况下，分割信息恢复部207，从分割解码信息恢复到分割信息226，从而判断分割图样。在这里，分割解码信息相当于图像编码装置100的分割信息131。此外，分割信息226示出分割图样，相当于实施例1的分割信息130。关于该处理的流程，利用图8详细说明。

分割信息恢复部207获得分割解码信息中的“used_max_depth”的值(步骤S801)。在“used_max_depth”是0的情况下(在步骤S802中的“否”，且在步骤S803中的“否”)，分割信息恢复部207决定不分割最大的块大小(步骤S804)。另一方面，“used_max_depth”是1的情况下(在步骤S802中的“否”，且在步骤S803中的“是”)，分割信息恢复部207，决定将所有的块分割为Depth＝1的大小(将最大块分割为4块的大小)(步骤S805)。

“used_max_depth”是2的情况下(在步骤S802中的“是”，且在步骤S806中的“否”)，分割信息恢复部207，针对Depth1的块使计数器按照0，1，2，3的顺序变化，获得各块的“D1type”(步骤S807～步骤S809)。

分割信息恢复部207，根据在这里得到的D1type，分割最大块(步骤S810)。另外，D1type是针对将最大块分割为4块的各个块，例如以Z字型顺序指定分割图样的信息。分割信息恢复部207，根据D1type判断对分割为4块的各个块是否进行分割，从而决定最大块的分割图样。

在“used_max_depth”是3的情况下(在步骤S802中的“是”，且在步骤S806中的“是”)，分割信息恢复部207获得“used_min_depth”(步骤S811)。

在“used_min_depth”是3的情况下(在步骤S812中的“否”，且在步骤S813中的“否”)，分割信息恢复部207决定将所有的块分割为Depth＝3的大小(将最大块分割为64块的大小)(步骤S814)。

在“used_min_depth”是2的情况下(在步骤S812中的“否”，且在步骤S813中的“是”)，分割信息恢复部207，针对Depth1的块使计数器按照0，1，2，3的顺序变化，并且，针对比Depth1深一层次的各个Depth2的块使计数器按照0，1，2，3的顺序变化，从而按顺序获得Depth2的各块的“D2type”(步骤S815～步骤S819)。而且，分割信息恢复部207将D1type全部看作是1，根据D2type分割最大块(步骤S820)。具体而言，分割信息恢复部207将最大块以Depth＝2的大小全部进行分割。而且，分割信息恢复部207，针对各个块，根据D2type来判断对该块是否进行分割，从而决定最大块的分割图样。

在“used_min_depth”是1的情况下(在步骤S812中的“是”)，分割信息恢复部207针对Depth1的块使计数器按0，1，2，3的顺序变化，反复进行处理(由步骤S821与步骤S827围着的区域的处理)，从而获得Depth1的各块的“D1type”(步骤S822)。

另外，在“D1type”不是0的情况下(在步骤S823中的“否”)，分割信息恢复部207针对Depth2的块使计数器按0，1，2，3的顺序变化，反复进行处理(由步骤S824与步骤S826围着的区域的处理)，从而获得Depth2的各块的“D2type”(步骤S825)。之后，分割信息恢复部207使Depth1的计数器加1。

另一方面，“D1type”为0的情况下(在步骤S823中的“是”)，分割信息恢复部207使Depth1的计数器前进1步。在所有循环结束的阶段，根据D1type以及D2type，分割信息恢复部207决定最大块的分割图样，所述D1type以及D2type是示出对与每个层次的Depth1以及Depth2对应的各块是否进行分割的信息(步骤S828)。

通过进行如上所述的处理，从而能够对以实施例1涉及的编码方法进行了编码的代码串140正确地进行解码处理。这样，本发明能够实现编码效率高的编码方法以及解码方法。

(实施例3)

本实施例中针对分割信息描述部112预测分割图样的情况进行说明。

分割信息描述部112，利用已经编码完毕的块的分割图样，推定作为处理对象的块的分割图样的预测值的预测分割图样。此外，分割控制部111，利用已被推定的预测分割图样，决定处理对象的块的分割图样。

另外，分割信息描述部112，可以利用与处理对象的块相同帧内的与该处理对象的块邻接的块的分割图样，推定该处理对象的块的分割图样，也可以利用时间上包含在其他帧中的块的分割图样，推定处理对象的块的分割图样。

首先，利用图9A～图9L及图10来说明根据邻接的块的已编码及解码完毕的块(以下也记为邻接块)的分割图样，预测处理对象的块(以下也记为对象块)的分割图样的方法。图9A～图9L是用于说明根据邻接块的分割信息预测对象块的分割信息的情况的模式图。

图9A～图9L是针对对象块900，利用邻接块901及902进行预测的情况的例子。在这里图9A、图9E及图9I分别示出在预测中不利用对象块900内的邻接块的情况下，优先左邻接的块的情况的例子。图9B、图9F及图9J分别示出在预测中不利用对象块900内的邻接块的情况下，优先上邻接的块的情况的例子。图9C、图9G及图9K分别示出在预测中利用对象块900内的邻接块的情况下，优先左邻接的块的情况的例子。图9D、图9H及图9L分别示出在预测中利用对象块900内的邻接块的情况下，优先上邻接的块的情况的例子。

图9A～图9H示出对于预测没有特别设置限制的情况的例子。图9I～图9L示出指定了最大预测层次块(这个情况下是Depth＝2的例子)的情况的例子。

图10是示出了本实施例涉及的分割图样的预测顺序的流程图。

在这里，分割信息描述部112，按照与分割图样的决定处理相同的顺序(例如Z字型顺序)进行预测处理，关于层次(Depth)从上位(Depth＝0)向下位(Depth＝最小块大小处于的层次)的顺序进行。

首先，分割信息描述部112，获得相对于对象块邻接的处理完毕的邻接块的分割信息(步骤S1001)。这时获得的分割信息是与对象块相同层次的邻接块的分割信息。此外，分割信息描述部112，在相同层次的邻接块的分割信息没有的情况下，将对象块的分割信息决定为“没有分割”。

上侧及左侧的邻接块的分割信息中的双方，或者，上侧及左侧中优先的一侧示出“没有分割”的情况下(在步骤S1002中的“是”)，分割信息描述部112预测为不分割对象块(步骤S1003)。另一方面，在上侧及左侧中优先的一侧示出“有分割”(在步骤S1002中的“否”)，分割信息描述部112预测为分割对象块(步骤S1004)。此外，分割信息描述部112在预测了分割对象块的情况下，进一步对下一个层次实施同样的处理。

关于示出优先上侧邻接及左侧邻接中的哪一侧的信息，可以由后述的头信息发送，也可以预先在编码侧及解码侧决定。

此外，如图9A，图9B，图9E，图9F，图9I及图9J的情况获得邻接块的分割信息的情况下，可以看作是成为预测对象的最大的块大小(以Depth＝0示出的大小)中块没有处理完毕。换言之，作为最大的块大小的对象块900中包含的被分割的块是对象块的情况下，分割信息描述部112不利用对象块900中包含的邻接块的分割信息，只利用邻接块901以及902中包含的邻接块的分割信息进行预测。这个情况下，存在只利用上侧及左侧的邻接块的分割信息来进行分割预测的情况，所以能够提高处理速度。

另一方面，因为预测与处理顺序同样地(例如Z字型的顺序)进行，所以如图9C，图9D，图9G，图9H，图9k以及图9L的情况，能够利用最大的块大小内的邻接块的分割预测信息。这个情况下，因为能够提高预测的精度，所以能够期待进一步削减编码量。

加之，因为预测与处理顺序同样地进行，所以也能够利用已被决定的分割信息。这个情况下，因为能够进一步提高预测的精度，所以能够期待进一步削减编码量。

另外，示出是否使用最大块大小内的处理完毕的分割预测信息、或者是否使用已处理完毕的分割信息的信息，可以将该至少一方由后述的头信息发送，也可以预先在编码侧及解码侧决定。

接着，利用图11A以及图11B来说明根据已编码及解码完毕的其他帧的块的分割图样，来预测对象块的分割图样的方法。图11A以及图11B是用于说明根据已编码以及解码完毕的帧的块的分割图样来预测对象块的分割图样的情况的模式图。图11A是示出已编码以及解码完毕的处理完毕帧1101内的块分割结果和作为编码以及解码对象的对象帧1102的对象块的分割预测结果的模式图。

在这里，图11A示出的分割形状相对位置信息是示出进行预测时利用哪个预测帧的哪个块的信息。另外，如图11B所示，利用相对于对象帧1103时间上位于前方的处理完毕帧1104或者位于后方的处理完毕帧1105中的任一个的分割结果，从而能够有效率地进行预测。

另外，分割信息描述部112，针对分割对象块(最大块大小)，也可以根据代表运动矢量信息决定分割形状相对位置信息，该代表运动矢量信息是以预先规定的方法算出的帧内预测中使用的运动矢量信息中的代表运动矢量信息。例如，分割信息描述部112，计算邻接的块的运动矢量的中位数，并且对参考帧也同样地计算运动矢量的中位数。而且，分割信息描述部112，可以将基于算出的中位数的运动矢量作为分割形状相对位置信息。

或者，分割信息描述部112，在分割对象块包含运动矢量的情况下，也可以将开头的运动矢量和参考帧信息原样作为分割形状相对位置信息。这些情况下，不需要传输用于预测的追加信息，所以能够实现削减编码量。另外，在这个情况下，图像编码装置100，可以另外传输分割形状相对位置信息。例如，图像编码装置100，先导出分割对象块的分割信息。而且，图像编码装置100，算出从已编码完毕的帧中具有与分割对象块相同或最相近的分割信息的块与该分割对象块的相对位置信息，以作为分割形状相对位置信息。而且，图像编码装置100，可以对该分割形状相对位置信息，例如与预测部107在帧内预测时使用的运动矢量信息同样地进行编码以及解码。

下面，利用图12A以及图12B说明使用预测的分割信息如何传输已编码的分割信息(图12A)，并且如何恢复分割信息(图12B)。

分割信息描述部112算出分割图样与预测分割图样之间的差分，生成包含该差分的分割信息131。下面，说明其详细细节。

图12A是说明本发明的实施例3涉及的分割信息描述部112的动作的流程图。另外，分割信息描述部112，与分割图样的决定处理的顺序相同(例如Z字的顺序)同样地进行描述处理，关于层次(Depth)是从上位(Depth＝0)向下位(Depth＝最小块大小处于的层次)的顺序进行。

首先，分割信息描述部112，针对对象块获得分割信息和所预测的分割信息(以下称为预测分割信息)(步骤S1201)。接着，分割信息描述部112，与导出实施例1中的最大使用层次(used_max_depth)的处理相同地导出最大差分层次(步骤S1202)。在这里，最大差分层次是示出分割信息和预测分割信息从哪个层次开始不同的信息。换句话说，最大差分层次是示出分割信息与预测分割信息不同的最上位的层次的信息。例如，作为该导出方法，将预测分割信息与分割信息相等的情况是与0调换，不相等的情况下与1调换，以此进入图5的流程图来导出。此外，分割信息描述部112，在最大差分层次还有下层(小的块)的情况下，设置对该层次的分割信息(步骤S1203)。

另外，该描述方法只是一例，如果使用本发明涉及的预测方法，关于描述方法可不限于上述方法。

图12B是说明以图12A的顺序被编码的分割信息的恢复工作的流程图。

首先，分割信息恢复部207，获得针对分割对象的块的最大差分层次信息以及预测分割信息(步骤S1204)。在这里，最大差分层次信息是示出最大差分层次的信息，其包含在由图像编码装置100生成的代码串140中。此外，通过进行与上述的图像编码装置100中的处理同样的处理，由图像解码装置200生成预测分割信息。

接着，分割信息恢复部207，在位于比最大差分层次上层的(被认为与预测相等的信息)分割信息设置获得的预测分割信息(步骤S1205)。

最后，分割信息恢复部207，通过恢复位于比最大差分层次下层的分割信息(步骤S1206)，从而能够恢复对象块的分割信息。在这里，位于比最大差分层次下层的分割信息，包含在由图像编码装置100生成的代码串140中。

(实施例4)

在本实施例中，说明分割信息描述部112将分割相关信息作为流的头信息来记录，进行编码以及解码的方法。

图13是示出本实施例涉及的图像编码方法中的代码串140的构成的图。图13(a)示出与至少以1画面所构成的动画序列对应的编码信号。如图13(a)所示，代码串140包含作为全屏幕的数据的序列数据SeqData与作为全屏幕的所有数据中共同的数据的序列头SeqHdr。序列头SeqHdr包含分割相关信息SepInfo。

分割相关信息SepInfo，是例如利用实施例1说明的方法，还是切换为只编码分割信息(Dn_type的信息)的标志。另外，分割相关信息SepInfo，也可以是在实施例3中说明的与分割图样的预测有关的信息。

图13(b)示出序列数据SeqData的结构。序列数据SeqData包含多个图片信号PicStr。各图片信号PicStr是与1画面对应的编码信号。换句话说，各图片信号PicStr是图片的编码信号。

图13(c)示出图片信号PicStr的结构。图片信号PicStr包含作为1画面的数据的图片数据PicData和作为1画面整体的共同的数据的图片头PicHdr。例如，图片头PicHdr可以包含分割相关信息SepInfo。

图13(d)示出图片数据PicData的结构。图片数据PicData包含多个片信号SliceStr。各个片信号SliceStr是作为多个块单位的集合的片的编码信号。

图13(e)示出片信号SliceStr的结构。片信号SliceStr包含作为1片的数据的片数据SliceData和作为1片的所有数据共同的数据的片头SliceHdr。片头SliceHdr可以包含分割相关信息SepInfo。这样，在图像编码装置100中以片数据SliceData单位恰当地切换处理方法的情况下，图像解码装置200也能正确地解码接收的编码信号。

另外，序列数据SeqData中包含多个图片信号PicStr的情况下，也可以只由一部分图片头PicHdr包含分割相关信息SepInfo，以代替所有的图片头PicHdr包含分割相关信息SepInfo。

同样，图片数据PicData中包含了多个片信号SliceStr的情况下，也可以只由一部分片头SliceHdr包含分割相关信息SepInfo，以代替所有的片头SliceHdr包含分割相关信息SepInfo。分割相关信息SepInfo的内容在各个片是共同的内容时，如图13(e)所示片头SliceHdr中没有分割相关信息SepInfo的情况下，图像解码装置200作为对象片的分割相关信息，代用其他片的片头SliceHdr中包含的分割相关信息SepInfo。这样，能够抑制重复包含分割相关信息SepInfo所导致的比特数的增加。

此外，如图13(e)所示，片数据SliceData包含多个最大块大小数据LCTB。各最大块大小数据LCTB是最大块大小的块单位的信息。此外，各最大块大小数据LCTB，包含最大块大小头LCTBHdr和块信号CTBs。此外，块信号CTBs包含被层次化的多个块数据CTB。

在这里，最大块大小头LCTBHdr包含最大使用层次、最小使用层次或最大差分层次。另外，可以由最大块大小头LCTBHdr包含所有的分割信息，也可以由各个块数据CTB分别包含针对相应的块的分割信息。

图13(f)示出块数据CTB的结构。块数据CTB的一部分包含作为变换结构的头信息的变换块头TUHdr和变换块TUs。关于该变换块TUs，与前述的块(CUs)相同，能够进行分割。换言之，本发明可以适用在变换块中。这个情况下，能够执行各种大小的变换，并且能够削减用于传输该形状的编码量。

此外，不是利用连续的比特流，而是利用作为细条的数据的单位的数据包等传输代码串140的情况下，可以将头部和头部以外的数据部分开来分别进行传输。那个情况下，就不会像图13那样头部和数据部成为1个比特流。然而，在利用数据包的情况下，即使传输头部和数据部的顺序不连续，只不过是对应的数据部和头部分别以别的数据包被传输。换言之，代码串140即使不是1个比特流，其概念与图13说明的比特流的情况相同。

此外，在本发明涉及的解码方法中，以上述的方法被编码的代码串140，以下面的顺序被解码。首先，图像解码装置200获得序列头SeqHdr中包含的分割相关信息SepInfo，保持获得的分割相关信息。接着，图像解码装置200获得图片头PicHdr中包含的分割相关信息SepInfo，以获得的分割相关信息来更新保持的分割相关信息。在这里，没有分割相关信息SepInfo的情况下，或者没有其一部分的情况下，图像解码装置200原样保持序列头SeqHdr中包含的分割相关信息。同样，图像解码装置200，获得片头SliceHdr中包含的分割相关信息SepInfo，以获得的分割相关信息来更新保持的分割相关信息。接着，图像解码装置200，获得最大块大小数据LCTB，获得最大块大小头LCTBHdr中包含的分割所需的信息(最大使用层次、最小使用层次或者最大差分层次、分割信息)。而且，图像解码装置200，利用获得的信息决定以后的块分割形状。

通过这样，图像解码装置200能够正确地解码所述代码串140。

(实施例5)

本实施例中说明实施例1至4示出的本发明涉及的编码方法以及解码方法的另外的变形例。

图14A～图14C是用于说明使用多个块形状的分割方法的模式图。

在上述中，为了简化说明，说明了将块分割为正方形4个块的情况，不过，可以加上将块分割为2个长方形的情况。另外，这个情况下，被分割的正方形以外的块，不会被再次分割。

例如，如图14A～图14C所示，以Dn_type示出的分割模式信息可以从0(不分割)，1(分割)的两个值的信息，变为0(不分割)，1(4分割)，2(在水平方向上2分割)，3(在垂直方向上2分割)的四个值的信息。这样进行标记，利用本发明的方法就能以小的编码量来编码分割信息。

具体地说明分割信息描述部112作为分割信息来描述图14A示出的块分割形状的例子。以上述示出的参数来标记图14A示出的块分割形状时，成为图14B。这样，Dn_type中设定了各自的分割模式信息。这个情况下，根据实施例1的方法，最大使用层次是2。此外，分割信息描述部112，将该最大使用层次和针对Depth＝1(水平32像素×垂直32像素的块)的分割模式信息130A作为编码的分割信息131来描述。这样，以小的编码量就能编码分割信息。此外，图像解码装置200解码Dn_type的分割信息，通过采用与编码一样的形状规则，从而能够恢复分割形状。

图15A～图15C是用于说明能够进一步削减分割信息的模式图。例如，图15A示出的块形状的例子中，如上所述，最大使用层次是2，针对Depth＝1(水平32像素×垂直32像素的块)的分割模式信息是(0，0，0，1)。在这里，因为最大使用层次是2，所以Depth＝1(水平32像素×垂直32像素的块)应该包含至少1个进行分割的块。

因此，在描述分割模式信息(0，0，0)的阶段，即使不描述下一个1，因为先由编码Depth＝1表示被编码以及解码，所以可以知道最后的分割模式信息是1。换言之，分割信息描述部112，在处理对象的层次位于最大使用层次的上次，且只分割在编码顺序(分割处理顺序)上最后的块的情况下，生成不包含该最后的块的分割模式信息的分割信息131。

这样，分割信息描述部112，在能够利用最大使用层次来确定对各块是否进一步进行分割的情况下，从分割信息130除去示出该块的分割图样的信息。而且，可变长编码部109，编码所述的信息被除去之后的分割信息131。根据这个处理能够进一步减少编码量。

同样，在图15B示出的块形状的例子中，最大使用层次是3，且最小使用层次是1，针对Depth＝1(水平32像素×垂直32像素的块)、以及Depth＝2(水平16像素×垂直16像素的块)的分割模式信息分别为(0，0，0，1)。如上所述，一同作为(0，0，0)也能进行解码，所以可以不进行编码。这样，可以不对2个分割模式信息进行编码，能够进一步提高编码效率。

此外，在图15C示出的块形状的例子中，同样是最大使用层次是3，且最小使用层次是1。因为知道最小使用层次是1，Depth＝1(水平32像素×垂直32像素的块)中应该包含至少1个不进行分割的块。因此，针对Depth＝1(水平32像素×垂直32像素的块)的分割模式信息(1，1，1，0)中，关于最后的1个知道是0。因而，如图15A与图15B的情况相同，对该信息可以不进行编码。换言之，分割信息描述部112，在处理对象的层次是最小使用层次，且只有编码顺序(分割处理顺序)位于最后的块不被分割的情况下，生成不包含该最后的块的分割模式信息的分割信息131。

这样，分割信息描述部112，在能够利用最小使用层次来确定对各块是否进一步进行分割或者不分割的情况下，从分割信息130除去示出该块的分割图样的信息。而且，可变长编码部109，编码所述的信息被除去之后的分割信息131。这样，能够提高编码效率。

(实施例6)

通过将用于实现在上述的各实施例所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到记录介质，从而能够在独立的计算机系统中简单地实施上述各实施例所示的处理。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

在此，对在上述各实施例所示的运动图像编码方法(图像编码方法)以及运动图像解码方法(图像解码方法)的应用实例以及利用这些应用实例的系统进行说明。该系统的特征是具有图像编码解码装置，该图像编码解码装置由利用图像编码方法的图像编码装置以及利用图像解码方法的图像解码装置组成。关于系统中的其他构成，可根据情况恰当地进行变更。

图16是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。

在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：personal digitalassistant)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106～ex110，与互联网ex101相连接。

然而，内容提供系统ex100并非局限于图16所示的构成，也可以对任意的要素进行组合后连接。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近场无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，便携式电话ex114可以以GSM(GlobalSystem for Mobile Communications：全球移动通讯系统)方式、CDMA(Code DivisionMultiple Access：码分多址)方式、W－CDMA(Wideband－Code Division MultipleAccess：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High－Speed Packet Access：高速分组接入)的便携式电话，或PHS(Personal Handy－phoneSystem：个人手持式电话系统)等任一个来构成。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的各实施例所说明的编码处理(即作为本发明的图像编码装置来发挥作用)，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生(即作为本发明的图像解码装置来发挥作用)。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这些编码处理以及解码处理通常在计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中进行。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及运动图像解码用的软件安装到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

并且，不仅限于内容供给系统ex100的例子，如图17所示，在数字广播用系统ex200上也能够组装上述各个实施例所示的运动图像编码装置(图像编码装置)以及图像解码装置(图像解码装置)中的至少一个。具体而言，在广播电台ex201，影像数据上多路复用了音乐数据的多路复用数据通过电波来通信或被传输到卫星ex202。>这个影像数据是根据所述各个实施例说明的运动图像编码方法被编码的数据(即根据本发明的图像编码装置被编码的数据)。接收了这些的广播卫星ex202发送用于广播的电波，这些电波由能够进行卫星广播接收的家庭的天线ex204来接收。接收的多路复用数据由电视机(接收机)ex300或机顶盒(STB)ex217等装置进行解码并再生(即作为本发明的图像解码装置发挥作用)。

并且，在用于读取并解码DVD、BD(Blu－ray Disc)等记录介质ex215中所记录的多路复用数据、或者将影像信号编码、进而有时与音乐信号多路复用后进行写入的阅读器/记录器ex218上，也能够安装上述各个实施例所示的运动图像解码装置或运动图像编码装置。在这种情况下，被再生的影像信号能够被显示在监视器ex219，并且能够由记录了多路复用数据的记录介质ex215在其他的装置或系统中再生影像信号。并且，也可以将图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而将运动图像解码装置组装到电视机内。

图18示出了利用了在上述的各个实施例中说明的运动图像解码方法以及运动图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据上多路复用了声音数据的多路复用数据；调制/解调部ex302，解调接收的多路复用数据，或者为了将多路复用数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的多路复用数据分为影像数据和声音数据，或者在信号处理部ex306进行了编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305(作为本发明的图像编码装置或者图像解码装置发挥作用)；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出多路复用数据，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等的构成。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以是共享一个以上的缓冲器的构成。而且，除图中所示以外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲材料，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得来自广播以及记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以是不进行上述的处理，而仅进行上述的接收、解码处理以及外部输出的构成。

并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

作为一个例子，图19示出从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400具备以下要说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息光道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光学(near－field optical)来进行高密度的记录的构成。

图20是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生代码道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用了各种不同波长的颜色的光的信息，或者可以是从各种角度记录不同的信息的层等的具有进行多维的记录/再生的构成的光盘。

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且，关于车辆导航系统ex211的构成可以考虑到在图18所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及便携式电话ex114等。

图21A是示出了利用了在上述的实施例所说明的运动图像编码方法和运动图像解码方法的便携式电话ex114的图。便携式电话ex114具有：天线ex350，用于在与基站ex110之间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示器等。便携式电话ex114还具有：具有操作键部ex366的主体部、声音输出部ex357，是用于输出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解码的数据；或者同样是保存数据的记录介质之间的接口的插槽部ex364。

进一步利用图21B对便携式电话ex114的构成例进行说明。在便携式电话ex114中，针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各个部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机接口部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线ex370相互连接。

电源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态下，通过从电池组向各个部提供电力，从而启动便携式电话ex114，使其成为能够工作的状态。

便携式电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声音信号，并在调制/解调部ex352进行扩频(Spread Spectrum)处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，便携式电话ex114在声音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为模拟声音信号之后，从声音输出部ex357输出。

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作被输入的电子邮件的文本数据经由操作输入控制部ex362被发送到主控制部ex360。主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送到基站ex110。在接收电子邮件的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。

在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355，将从摄像机部ex365提供的影像信号，按照所述各实施例表示的运动图像编码方法来进行压缩编码(即，作为本发明的图像编码装置来发挥作用)，并将编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码的声音数据发送到多路复用/分离部ex353。

多路复用分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制/解调部(调制/解调电路部)ex352进行扩频处理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。

在数据通信模式时，接收被链接在主页等的运动图像文件的数据的情况下，或者接收被添加了影像及/或声音的电子邮件的情况下，为了经由天线ex350解码被接收的多路复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355，并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与所述各实施例示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号(即，作为本发明的图像解码装置来发挥作用)，通过LCD控制部ex359在显示部ex358显示例如被链接在主页的运动图像文件中包含的影像、静止图像。此外，声音信号处理部ex354解码声音信号，从声音输出部ex357输出声音。

并且，上述便携式电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。并且，上述说明了在数字广播用系统ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不是多路复用数据。

这样，在上述的实施例所示的图像编码方法或图像解码方法能够适用于上述的任一个设备以及系统，这样，能够得到在上述的实施例中说明的效果。

此外，本发明不被以上所述的实施例所限定，可以不脱离本发明的范围而进行各种变形或修改。

(实施例7)

可以按照需要适宜地切换上述的各个实施例所示的运动图像编码方法或装置与依照MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置，来生成影像数据。

在这里，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的数据，所以产生不能选择恰当的解码方法这样的课题。

为了解决这个课题可以是在影像数据上多路复用了声音数据等的多路复用数据包含识别信息的构成，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的多路复用数据的具体构成。多路复用数据是MPEG－2传输流形式的数字流。

图22是表示多路复用数据的构成的图。如图22所示多路复用数据是通过对如下流中的一个以上进行多路复用而得到的数据：视频流，音频流，字幕流(presentationgraphics：PG)，交互式图形流(interactive graphics stream)。视频流表示电影的主影像以及副影像、音频流(IG)表示电影的主声音部分和与主声音混合的副声音、字幕流表示电影的字幕。在这里，主影像表示在画面显示的通常的影像，副影像是指在主影像中以小画面显示的影像。还有，交互式图形流示出通过在画面上配置图形用户界面元件而作成的对话画面。视频流，根据上述的各个实施例所示的运动图像编码方法或装置，以及以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置被编码。音频流，根据杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等方式被编码。

多路复用数据中包含的各个流由PID被识别。例如，用于电影的影像的视频流分配0x1011，音频流分配从0x1100到0x111F，字幕流分配从0x1200到0x121F，交互式图形流分配从0x1400到0x141F，用于电影的副影像的视频流分配从0x1B00到0x1B1F，用于与主声音混合的副声音的音频流分配从0x1A00到0x1A1F。

图23是表示多路复用数据怎样被多路复用的模式图。首先，由多个视频帧组成的视频流ex235、由多个音频帧组成的音频流ex238，分别变换为PES数据包列ex236以及ex239，变换为TS数据包ex237以及ex240。同样地将字幕流ex241及交互式图形ex244的数据，分别变换为PES数据包列ex242以及ex245，进一步变换为TS数据包ex243以及ex246。多路复用数据ex247，将这些TS数据包多路复用在1个流上而被构成。

图24是更加详细地表示在PES数据包列中视频流怎么被存储的图。在图24的第一段示出视频流的视频帧列。第二段示出PES数据包列。如图24的箭头yy1,yy2,yy3,yy4所示，作为视频流中的多个Video Presentation Unit的I图片，B图片，P图片，按每个图片被分割，存储到PES数据包的有效负载中。各个PES数据包拥有PES头，PES头中存储了作为图片的显示时刻的PTS(Presentation Time－Stamp：显示时间戳)、作为图片的解码时刻的DTS(Decoding Time－Stamp：解码时间戳)。

图25示出最终被写入到多路复用数据中的TS数据包的形式。TS数据包是具有识别流的PID等的信息的4Byte的TS头以及存储数据的184Byte的TS有效负载所构成的188Byte定长的数据包，所述PES数据包被分割被存储到TS有效负载。在是BD－ROM的情况下，TS数据包被赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据。在TP_Extra_Header上记载了ATS(Arrival_Time_Stamp)等的信息。ATS表示该TS数据包向解码器的PID滤波器的传输开始时刻。在多路复用数据中如图25的下段所示排列了源数据包，从多路复用数据的开头增加的编号被称为SPN(源数据包编号)。

此外，多路复用数据中包含的TS数据包中除了影像、声音、字幕等各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟基准)等。PAT表示多路复用数据中所利用的PMT的PID是什么，PAT自身的PID登记为0。PMT具有多路复用数据中包含的影像、声音、字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符具有复制控制信息等，该复制控制信息指示多路复用数据的复制许可、不许可。PCR为了使作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)同步，具有与该PCR数据包传输到解码器的ATS对应的STC时间的信息。

图26是详细地说明PMT的数据构成的图。PMT的开头设置了PMT头，用于记载该PMT中包含的数据的长度等。在其之后设置了多个与多路复用数据有关的描述符。上述复制控制信息等作为描述符被记载。在描述符之后设置了多个与多路复用数据中包含的各个流有关的流信息。流信息，为了识别流的压缩编解码等，由记载了流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符所构成。流描述符的数量与在多路复用数据中存在的流的数量相同。

在记录介质等记录的情况下，上述多路复用数据与多路复用数据信息文件一起被记录。

如图27所示多路复用数据信息文件是多路复用数据的管理信息，与多路复用数据1对1地对应，其由多路复用数据信息、流属性信息以及项映射(entry map)所构成。

多路复用数据信息如图27所示，由系统速率、再生开始时刻、再生结束时刻所构成。系统速率表示多路复用数据向着后述的系统目标解码器的PID滤波器的最大传输速率。多路复用数据中包含的ATS的间隔，被设定为是系统速率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为，在多路复用数据的尾端的视频帧的PTS加上1帧的再生间隔。

流属性信息，如图28所示，按每个PID登记包含在多路复用数据中的各个流的属性信息。属性信息按照每个视频流、音频流、字幕流、交互式图形流，具有不同的信息。视频流属性信息具有如下信息：该视频流以怎样的压缩编解码被压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等信息。音频流属性信息，具有如下信息：该音频流以怎样的压缩编解码被压缩、该音频流中包含的频道数是多少、与什么语言对应、采样频率是多少等信息。这些信息，用于在播放器再生之前的解码器的初始化等。

在本实施例，利用所述多路复用数据中的PMT中包含的流类型。此外，在记录介质中记录了多路复用数据的情况下，利用多路复用数据信息中包含的视频流属性信息。具体而言，在上述各个实施例表示的运动图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置设定固有的信息的步骤或单元，该固有的信息表示由上述各个实施例示出的运动图像编码方法或装置所生成的影像数据。根据该构成，能够识别由所述各个实施例表示的运动图像编码方法或装置所生成的影像数据与依据其他的标准的影像数据。

此外，图29表示在本实施例的运动图像解码方法的步骤。在步骤exS100，从多路复用数据中获得PMT中包含的流类型、或者多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101，判断流类型或视频流属性信息是否表示是由所述各个实施例表示的运动图像编码方法或装置所生成的多路复用数据。而且，在判断为流类型或视频流属性信息表示是由所述各个实施例表示的运动图像编码方法或装置所生成的数据的情况下，在步骤exS102，所述各实施例表示的运动图像解码方法进行解码。此外，流类型或视频流属性信息表示是以往的MPEG－2、MPEG4－AVC、VC－1等的标准的数据的情况下，在步骤exS103，根据所依据的以往的标准的运动图像解码方法来进行解码。

这样，通过在流类型或视频流属性信息设定新的固有值，从而在解码时，能够判断根据所述各个实施例表示的运动图像解码方法或装置是否能够解码。从而，即时被输入了依据不同的标准的多路复用数据时，也能够选择恰当的解码方法或装置，因此能够不产生错误地进行解码。此外，本实施例表示的运动图像编码方法或装置，或者运动图像解码方法或装置，能够用在上述的任一个设备以及系统。

(实施例8)

上述的各个实施例所示的运动图像编码方法以及装置、运动图像解码方法以及装置，典型的能够以作为集成电路的LSI来实现。作为一个例子，图30示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex501至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500，根据具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，根据AV输入输出ex509从麦克风ex117和摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，存储的数据按照处理量和处理速度适当地分为多个被发送到信号处理部ex507，在信号处理部ex507被进行声音信号的编码及/或影像信号的编码。在这里，影像信号的编码处理是所述各个实施例说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入输出ex506输出到外部。该被输出的多路复用数据，被发送到基站ex107，或者被写入到记录介质ex215。并且，为在进行多路复用时能够同步进行，而可以将数据暂时蓄积到缓冲器ex508。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。缓冲器ex508也可以不限于一个，可以具备多个缓冲器。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

此外，在上述说明中，控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，不过，控制部ex501的构成，不限于这个构成。例如，可以是信号处理部ex507还具备CPU的构成。通过在信号处理部ex507的内部也设置CPU，可以使处理速度提高。此外，作为其他的例子，可以是CPUex502具备信号处理部ex507、或者具备信号处理部ex507的一部分例如声音信号处理部的构成。在这样的情况下，控制部ex501是具备信号处理部ex507或具有其一部分的CPUex502的构成。

在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field ProgrammableGate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。

(实施例9)

在对根据所述各个实施例表示的运动图像编码方法或装置所生成的影像数据进行解码的情况下，可以想到与对依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据进行解码的情况相比，处理量增加。因此，在LSIex500中需要设定比解码依据以往的标准的影像数据时的CPUex502的驱动频率高的驱动频率。但是驱动频率高，则产生电力消耗高这样的课题。

为了解决这个课题，设电视ex300、LSIex500等运动图像解码装置为如下构成，识别影像数据依据了哪个标准，按照标准切换驱动频率的构成。图31表示在本实施例的构成ex800。驱动频率切换部ex803，在影像数据是由所述各个实施例表示的运动图像编码方法或装置所生成的情况下，设定高的驱动频率。而且，对执行所述各个实施例表示的运动图像解码方法的解码处理部ex801进行指示，以解码影像数据。另一方面，在影像数据是依据以往的标准的影像数据的情况的情况下，与影像数据由所述各实施例示出的运动图像编码方法或装置所生成的情况相比，设定低的驱动频率。而且，指示依据以往的标准的解码处理部ex802，对影像数据进行解码。

更具体而言，驱动频率切换部ex803由图30的CPUex502与驱动频率控制部ex512所构成。此外，执行所述各个实施例示出的运动图像解码方法的解码处理部ex801，以及依据以往的标准的解码处理部ex802，相当于图30的信号处理部ex507。CPUex502识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，根据来自CPUex502的信号，信号处理部ex507进行影像数据的解码。在这里，可以考虑在影像数据的识别中利用例如在实施例7记载的识别信息。有关识别信息，不仅限于在实施例7记载的信息，只要是能够识别影像数据是依据哪个标准的信息就可以。例如，在根据识别影像数据是否用于电视，是否用于盘等的外部信号，能够识别影像数据是依据哪个标准的情况下，可以根据这样的外部信号进行识别。此外，在CPUex502的驱动频率的选择，可以考虑根据例如如图33一样的使影像数据的标准和驱动频率对应的一览表来进行。将一览表预先存储在缓冲器ex508和LSI的内存储器中，通过CPUex502参考这个一览表，能够选择驱动频率。

图32示出了实施本实施例的方法的步骤。首先，在步骤exS200中，由信号处理部ex507从多路复用数据中获得识别信息。接着，在步骤exS201中，CPUex502根据识别信息，识别影像数据是不是由所述各个实施例示出的编码方法或装置所生成的数据。在影像数据是由所述各个实施例示出的编码方法或装置所生成的数据情况下，在步骤exS202中，将设定高的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512设定高的驱动频率。另一方面，在示出了是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，将设定低的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512，设定与影像数据由所述各个实施例示出的编码方法或装置所生成的情况相比低的驱动频率。

加之，与驱动频率的切换联动，通过变更对LSIex500或包含LSIex500的装置施加的电压，可以提高省电效果。例如，在设定低驱动频率的情况下，随之与设定高驱动频率的情况相比，可以考虑使对LSIex500或包含LSIex500的装置施加的电压设定为低电压。

此外，关于驱动频率的设定方法，只要在解码时的处理量大的情况下，设定高的驱动频率，在解码时的处理量小的情况下，设定低的驱动频率就可以，不限于上述的设定方法。例如对依据MPEG4－AVC标准的影像数据进行解码的处理量，大于对由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据进行解码的处理量的情况下，可以考虑将驱动频率的设定与上述的情况相反地进行。

加之，驱动频率的设定方法不限于使驱动频率设为低的构成。例如，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为高的电压，在示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为低的电压。此外，作为其他的例子，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，不停止CPUex502的驱动，在示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，因为处理有余量，可以暂时停止CPUex502的驱动。即使在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，如果处理有余量，也可以考虑暂时停止CPUex502的驱动。这个情况下，可以考虑与识别信息示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，停止时间设定地较短。

这样，按照影像数据依据的标准来切换驱动频率，从而能够达到省电化。此外，在利用电池驱动LSIex500或包含LSIex500的装置的情况下，随着省电化还可以延长电池的寿命。

(实施例10)

电视和便携式电话等上述的设备以及系统，有时被输入依据不同标准的多个影像数据。这样，即使在被输入了依据不同标准的多个影像数据的情况下也能进行解码，从而LSIex500的信号处理部ex507需要与多个标准对应。但是，与各个标准对应的信号处理部ex507个别利用时，使LSIex500的电路规模变大，还产生成本增加这样的课题。

为了解决上述课题可以是如下的构成，将用于执行所述各个实施例示出的运动图像解码方法的解码处理部与依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部，进行一部分共享。图34A的ex900示出该构成例。例如，所述各个实施例示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法，在熵编码、逆量化、解块及滤波器、运动补偿等处理中，一部分处理内容是共同的。关于共同的处理内容，可以考虑共享与MPEG4－AVC标准对应的解码处理部ex902，关于与MPEG4－AVC标准不对应的本发明特有的其他处理内容，使用专用的解码处理部ex901这样的构成。特别，本发明从在，分割处理上(里)有特征的能考虑，尤其是因为本发明的分割处理中存在特点，可以考虑例如分割处理是利用专用的解码处理部ex901、而除此以外的熵编码、逆量化、解块滤波器、运动补偿的任一个，或者所有的处理共享解码处理部。对于解码处理部的共享化的构成，关于共同的处理内容，共享用于执行所述各个实施例示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准特有的处理内容，使用专用的解码处理部。

此外，图34B的ex1000示出了处理的部分共享化的其他例子。在这个例子的构成是，使用与本发明特有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准特有的处理内容对应的专用的解码处理部ex1002、与本发明的运动图像解码方法及其他的以往标准的运动图像解码方法共同的处理内容相对应的共用的解码处理部ex1003。在这里，专用的解码处理部ex1001、ex1002，不一定是本发明或其他以往标准特有的处理内容所特有的，可以是能够执行其他通用处理的部。此外，也可以是在LSIex500安装本实施例的构成。

这样，关于本发明的运动图像解码方法与以往的标准的运动图像解码方法共同的处理内容，通过共享解码处理部，可以使LSI的电路规模变小，并且能够减少成本。

本发明涉及的图像编码方法以及图像解码方法，实现了以往的可变长编码以及解码方法不能对应的有效的块分割方法的描述以及恢复。这样，该图像编码方法以及图像解码方法具有能大大削减编码量这样的效果，能够用于存储、传输以及通信等各种用途。例如，本发明能够用于电视、数字录像机、车辆导航系统、便携式电话、数字照相机，以及数字摄像机等高分辨率的信息显示设备或者摄像设备。

符号的说明：

100 图像编码装置

101 差分部

102 变换部

103 量化部

104 逆量化部

105 逆变换部

106 加法运算部

107 预测部

108 编码控制部

109 可变长编码部

110 分割部

111 分割控制部

112 分割信息描述部

120 输入图像信号

121 分割图像信号

122 差分信号

123，125 变换系数

124 量化变换系数信息

126 解码残差图像信号

127 解码图像信号

128 预测图像信号

129 分割控制信号

130，131 分割信息

130A 分割模式信息

132 编码控制信号

140 代码串

200 图像解码装置

201 可变长解码部

202 解码控制部

203 逆量化部

204 逆变换部

205 预测部

206 加法运算部

207 分割信息恢复部

221 解码信号

222 变换系数

223 解码残差图像信号

224 预测图像信号

225 预测图像生成相关信息

226 分割信息

240 输出图像信号

900 对象块

901，902 邻接块

1101，1104，1105 处理完毕帧

1102，1103 对象帧

CTB 块数据

CTBs 块信号

LCTB 块大小数据

LCTBHdr 块大小头

PicHdr 图片头

PicStr 图片信号

PicData 图片数据

SepInfo 分割相关信息

SeqData 序列数据

SeqHdr 序列头

SliceData 片数据

SliceHdr 片头

SliceStr 片信号

TUHdr 变换块头

TUs 变换块

Claims (4)

1.一种图像解码方法，对代码串进行解码，该代码串是通过对被分割为层次化的处理单位的图像进行编码而生成的，

在所述代码串中包含有分割信息，该分割信息具有：分割标志，表示是否将所述处理单位分割；表示最大使用层次的最大使用层次信息，该最大使用层次是从所述处理单位的最大的单位开始对所述图像有层次地进行分割而得到的分割图样之中的、最下层的处理单位的层次；以及表示最小使用层次的最小使用层次信息，该最小使用层次是所述分割图样所包含的处理单位之中的、最上层的处理单位的层次，

使用所述最大使用层次能够确定是否将各处理单位进一步分割的情况下，与该处理单位对应的所述分割信息不包含所述分割标志，

所述图像解码方法包括：

解码步骤，对所述分割信息进行解码；以及

恢复步骤，根据已被解码的所述分割信息判断所述分割图样。

2.一种图像解码装置，对代码串进行解码，该代码串是通过对被分割为层次化的处理单位的图像进行编码而生成的，

在所述代码串中包含有分割信息，该分割信息具有：分割标志，表示是否将所述处理单位分割；表示最大使用层次的最大使用层次信息，该最大使用层次是从所述处理单位的最大的单位开始对所述图像有层次地进行分割而得到的分割图样之中的、最下层的处理单位的层次；以及表示最小使用层次的最小使用层次信息，该最小使用层次是所述分割图样所包含的处理单位之中的、最上层的处理单位的层次，

使用所述最大使用层次能够确定是否将各处理单位进一步分割的情况下，与该处理单位对应的所述分割信息不包含所述分割标志，

所述图像解码装置具备：

解码部，对所述分割信息进行解码；以及

恢复部，根据已被解码的所述分割信息判断所述分割图样。

3.一种图像解码方法，对代码串进行解码，该代码串是通过对被分割为层次化的处理单位的图像进行编码而生成的，

在所述代码串中包含有分割信息，该分割信息具有：(i)表示第1分割图样的第1分割图样信息，该第1分割图样用于将从所述处理单位的最大的单位开始对所述图像有层次地进行分割而得到的分割图样之中的第1处理单位有层次地分割；(ii)表示最大使用层次的最大使用层次信息，该最大使用层次是所述分割图样所包含的处理单位之中的最下层的处理单位的层次；以及(iii)表示最小使用层次的最小使用层次信息，该最小使用层次是所述分割图样所包含的处理单位之中的最上层的处理单位的层次，

所述图像解码方法包括：

解码步骤，对所述分割信息进行解码；以及

恢复步骤，根据已被解码的所述分割信息判断所述第1分割图样信息，

所述第1分割图样信息使用在决定所述第1分割图样之前决定的第2分割图样信息而被编码，

所述第1分割图样信息表示所述第1处理单位是否被分割为第2处理单位，

所述第2分割图样信息表示第3处理单位是否被分割为第4处理单位，

所述第3处理单位与所述第1处理单位邻接。

4.一种图像解码装置，对代码串进行解码，该代码串是通过对被分割为层次化的处理单位的图像进行编码而生成的，

在所述代码串中包含有分割信息，该分割信息具有：(i)表示第1分割图样的第1分割图样信息，该第1分割图样用于将从所述处理单位的最大的单位开始对所述图像有层次地进行分割而得到的分割图样之中的第1处理单位有层次地分割；(ii)表示最大使用层次的最大使用层次信息，该最大使用层次是所述分割图样所包含的处理单位之中的最下层的处理单位的层次；以及(iii)表示最小使用层次的最小使用层次信息，该最小使用层次是所述分割图样所包含的处理单位之中的最上层的处理单位的层次，

所述图像解码装置包括：

解码部，对所述分割信息进行解码；以及

分割信息恢复部，根据已被解码的所述分割信息判断所述第1分割图样信息，

所述第1分割图样信息使用在决定所述第1分割图样之前决定的第2分割图样信息而被编码，

所述第1分割图样信息表示所述第1处理单位是否被分割为第2处理单位，

所述第2分割图样信息表示第3处理单位是否被分割为第4处理单位，

所述第3处理单位与所述第1处理单位邻接。