CN112385218A - 图像解码装置、图像解码方法以及图像解码程序 - Google Patents

Abstract

块分割部包括：4分割部，对递归分割中的对象块在水平方向和垂直方向上各分成一半来进行4分割，生成4个块；以及2‑3分割部，对递归分割中的对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块，2‑3分割部如果在水平方向上分割对象块，则当分割后的对象块超过图片边界的右侧时，禁止在水平方向上分割对象块，如果在垂直方向上分割对象块，则当分割后的对象块超过图片边界的下侧时，禁止在垂直方向上分割对象块。

Description

图像解码装置、图像解码方法以及图像解码程序

技术领域

本发明涉及以分割后的块为单位进行图像编码和解码的技术。

背景技术

在图像的编码和解码中，将图像分割成作为预定数量的像素集合的块，并且以块为单位进行处理。此时，通过以适当的块为单位进行分割，帧内预测、帧间预测、正交变换、熵编码等的效率得以提高，结果提高了编码效率。

现有技术文献

专利文献

专利文献1：日本特表2015-526008号。

非专利文献

非专利文献1：JVET，Versatile Video Coding(Draft 2)，July 2018(多功能视频编码(草案2)，2018年7月)。

发明内容

发明所要解决的问题

如果不以适当的大小和形状分割块，则编码效率降低。特别是，在画面端部，包含超过图片边界的位置的像素的块成为不适当的大小及形状，编码效率降低。

本发明是鉴于这样的状况而完成的，其目的在于提供一种通过进行适于图像编码和解码的块分割来提高编码效率的技术。

用于解决问题的手段

用于解决上述问题的本发明的某个方式是一种图像解码装置。该装置以分割后的块为单位进行图像的解码，包括：解码部(201)，对对象块的块分割信息进行解码；以及块分割部(202)，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块。所述块分割部包括：4分割部，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及2-3分割部，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块。所述2-3分割部如果在水平方向上分割所述对象块，则当分割后的所述对象块超过图片边界的右侧时，禁止在水平方向上分割所述对象块，如果在垂直方向上分割所述对象块，则当分割后的所述对象块超过图片边界的下侧时，禁止在垂直方向上分割所述对象块。

本发明的其他方式是一种图像解码装置。该装置以分割后的块为单位进行图像的解码，包括：解码部(201)，对对象块的块分割信息进行解码；以及块分割部，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块。所述块分割部(202)包括：4分割部，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及2-3分割部，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块。所述2-3分割部如果在任意方向上分割所述对象块，则当分割后的所述对象块超过图片边界、并且块分割深度达到预先确定的限制深度时，或者当要分割的块中包含的超过图片边界的位置的像素的数量或比例大于预先确定的值时，禁止该方向的块分割。

本发明的其他方式是一种图像解码装置。该装置以分割后的块为单位进行图像的解码，包括：解码部(201)，对对象块的块分割信息进行解码；以及块分割部(202)，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块。所述块分割部包括：4分割部，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半来进行4分割，生成4个块；以及2-3分割部，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块。所述2-3分割部如果分割所述对象块，则以超过图片边界的位置的像素在分割后的所述对象块内包含最多的方式决定所述对象块的分割方向。

本发明的其他方式是一种图像解码方法。该方法以分割后的块为单位进行图像的解码，包括：解码步骤，对对象块的块分割信息进行解码；以及块分割步骤，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块。所述块分割步骤包括：4分割步骤，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及2-3分割步骤，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块。所述2-3分割步骤如果在水平方向上分割所述对象块，则当分割后的所述对象块超过图片边界的右侧时，禁止在水平方向上分割所述对象块，如果在垂直方向上分割所述对象块，则当分割后的所述对象块超过图片边界的下侧时，禁止在垂直方向上分割所述对象块。

另外，以上的构成要素的任意组合、本发明的表现在方法、装置、系统、记录介质、计算机程序等之间变换的方式作为本发明的方式也是有效的。

根据本发明，能够进行适于图像编码及解码的块分割，能够提高编码效率。

附图说明

图1是第一实施方式涉及的图像编码装置的框图。

图2是第一实施方式涉及的图像解码装置的框图。

图3是说明向树块的分割以及树块内部的分割的流程图。

图4是表示将输入的图像分割为树块的情形的图。

图5是说明z-扫描的图。

图6是说明树块的分割的图。

图7是说明将树块进行4分割时的、分割后的各块的处理的流程图。

图8是说明将树块进行2分割或3分割时的、分割后的各块的处理的流程图。

图9是表示树块和图片边界之间的关系的图。

图10是表示图片边界与像素之间的关系的图。

图11是说明第一实施方式中的块分割的流程图。

图12是表示第一实施方式中的块分割的图。

图13是表示第一实施方式中与块分割有关的句法的图。

图14是说明第二实施方式中的块分割的流程图。

图15是表示第二实施方式中的块分割的图。

图16是说明第三实施方式中的块分割的流程图。

图17是表示第三实施方式中的块分割的图。

图18是说明第三实施方式中的块分割的流程图。

图19是表示第四实施方式中的块分割的图。

图20是说明第四实施方式中的块分割的流程图。

图21是表示第五实施方式中的块分割的图。

图22是用于说明第一实施方式的编码解码装置的硬件结构的一例的图。

具体实施方式

本发明的实施方式提供一种以分割后的块为单位对图像进行编码、解码的技术。

(第一实施方式)

对本发明的第一实施方式涉及的图像编码装置100和图像解码装置200进行说明。在第一实施方式中，在对块进行2分割或3分割时，限制块分割。

图1是第一实施方式涉及的图像编码装置100的框图。图1仅示出了与图像信号有关的数据流，未示出运动矢量和预测模式等除图像信号之外的与附加信息有关的数据流。至少一个画面的图像信号被输入到图像编码装置100。

块分割部101将图像分割成作为编码的处理单位的编码对象块，并将编码对象块内的图像信号提供给残差信号生成部103。另外，块分割部101为了评价预测图像的一致度，将编码对象块的图像信号提供给预测图像生成部102。

块分割部101将图像递归地分割为规定尺寸的矩形，生成编码对象块。块分割部101包括：4分割部，将递归分割中的对象块进行4分割而生成4个块；以及2-3分割部，将递归分割中的对象块进行2分割或3分割而生成2个或3个块。关于块分割部101的详细动作将在后面叙述。

预测图像生成部102被提供来自块分割部101的编码对象块的图像信号和来自解码图像存储器108的解码图像信号。预测图像生成部102使用被提供的信号进行基于预测模式的帧内预测(画面内预测)和帧间预测(画面间预测)，并生成预测图像信号。在帧内预测中，与编码对象块相同的图片(编码图片)中的、接近编码对象块的已编码块的图像信号被从解码图像存储器108提供给预测图像生成部102。然后，预测图像生成部102使用该图像信号和从块分割部101提供的编码对象块的图像信号生成预测图像信号。在帧间预测中，相对于编码图片在时间序列上位于前或后的已编码图片(参考图像)的图像信号被从解码图像存储器108提供给预测图像生成部102。然后，预测图像生成部102使用该图像信号和从块分割部101提供的编码对象块通过块匹配等评价一致度，求出表示运动量的运动矢量。预测图像生成部102基于该运动矢量从参考图像进行运动补偿，生成预测图像信号。预测图像生成部102将这样生成的预测图像信号提供给残差信号生成部103。

残差信号生成部103对要编码的图像信号和由预测图像生成部102生成的预测信号进行减法运算，生成残差信号，并提供给正交变换/量化部104。

正交变换/量化部104对从残差信号生成部103提供的残差信号进行正交变换/量化。正交变换/量化部104将正交变换/量化后的残差信号提供给编码部105和逆量化/逆正交变换部106。

编码部105生成与从正交变换/量化部104提供的正交变换/量化后的残差信号对应的编码比特流。另外，编码部105针对从各构成要素提供的运动矢量、预测模式、块分割信息等附加信息生成对应的编码比特流。然后，编码部105从图像编码装置100输出编码比特流。

逆量化/逆正交变换部106对从正交变换/量化部104提供的正交变换/量化后的残差信号进行逆量化/逆正交变换，以获得残差信号。逆量化/逆正交变换部106将残差信号提供给解码图像信号重叠部107。

解码图像信号重叠部107将由预测图像生成部102生成的预测图像信号和由逆量化/逆正交变换部106得到的残差信号重叠，生成解码图像，并保存在解码图像存储器108中。另外，解码图像信号重叠部107也可以对解码图像实施减少由编码引起的块失真等的滤波处理，并保存在解码图像存储器108中。

图2是实施方式1涉及的图像解码装置200的框图。图2仅示出了与图像信号有关的数据流，而未示出运动矢量、预测模式等除图像信号之外的与附加信息有关的数据流。图像解码装置200被输入编码比特流。

解码部201对所提供的编码比特流进行解码，将正交变换/量化后的残差信号提供给块分割部202。另外，解码部201将运动矢量、预测模式、块分割信息等附加信息提供给各构成要素，用于与附加信息对应的处理。

块分割部202基于解码后的块分割信息来决定解码对象块的形状，并将所决定的解码对象块的正交变换/量化后的残差信号提供给逆量化/逆正交变换部203。

块分割部202基于解码后的块分割的信息，递归地将图像分割为规定尺寸的矩形，生成解码对象块。块分割部202包括：4分割部，将递归分割中的对象块进行4分割而生成4个块；以及2-3分割部，将递归分割中的对象块进行2分割或3分割而生成2个或3个块。后面将描述块分割部202的详细动作。

逆量化/逆正交变换部203对所提供的正交变换/量化后的残差信号进行逆量化/逆正交变换以获得残差信号。将其提供给解码图像信号重叠部205。

预测图像生成部204根据从解码图像存储器206提供的解码图像信号生成预测图像信号，并提供给解码图像信号重叠部205。

解码图像信号重叠部205将由预测图像生成部204生成的预测图像信号和由逆量化/逆正交变换部203得到的残差信号重叠，生成解码图像信号。此外，解码图像信号重叠部205将解码图像信号保存在解码图像存储器206中。另外，解码图像信号重叠部205也可以对解码图像实施减少编码引起的块失真等的滤波处理，并保存在解码图像存储器206中。然后，解码图像信号重叠部205从图像解码装置200输出解码图像。

接着，使用图3说明图像编码装置100中的块分割部101的动作。图3表示块分割部101将图像分割为树块并对其内部进行块分割的动作。

首先，将输入的图像分割为规定尺寸的树块(S1000)。在此，树块为128×128像素。但是，树块并不限定于该大小，只要是矩形，则可以使用任何大小或纵横比。另外，也可以在编码装置和解码装置之间预先确定树块的大小。并且，也可以为以下构成：编码装置决定树块的大小并记录在编码比特流内，解码装置使用记录在编码比特流内的树块的大小。将输入的图像分割为树块的情形如图4所示。树块按照光栅扫描顺序即从左到右、从上到下被编码。

将树块的内部进一步分割为矩形块。树块内部按照图5所示的z-扫描顺序进行编码。z-扫描顺序表示左上、右上、左下、右下的顺序。树块内部的分割可以是4分割、2分割或3分割。

如图6的(a)所示，通过将水平方向和垂直方向分别设为一半进行4分割，生成4个块，从而进行块的4分割。

块的2分割或3分割是通过在水平方向或垂直方向上分割来进行的。在水平方向上对块进行2分割的情况下，如图6的(b)那样分割为一半，生成2个块。另外，在水平方向上对块进行3分割的情况下，如图6的(c)那样分割为1∶2∶1，生成3个块。另一方面，在垂直方向上对块进行2分割的情况下，如图6的(d)那样分割为一半，生成2个块。另外，在垂直方向上对块进行3分割的情况下，如图6的(e)那样分割为1：2：1，生成3个块。

再次参考图3，对块分割部101的动作进行说明。首先，判断是否进行将树块内部在水平方向和垂直方向上分别分成一半的4分割(S1001)。

包含是否对块进行4分割的判断，根据多个条件来判断最优的情况，存在称为R-D优化(Rate-Distortion Optimization，率失真优化)的现有方法。在R-D优化中，根据编码量和编码失真来计算编码成本。然后，在多个条件下进行编码的情况下，分别计算编码成本，选择编码成本最小的情况。即，通过计算对块进行4分割时的编码成本和不对块进行4分割时的编码成本，并选择编码成本最小的情况，来进行是否对块进行4分割的判断。根据多个条件判断最优的情况也可以使用R-D优化以外的方法。

在判断为对树块内部进行4分割的情况下(S1001：是)，对树块内部进行4分割(S1002)。关于4分割后的块的再分割处理将在后面叙述(图7)。

在判断为不对树块内部进行4分割的情况下(S1001：否)，判断是否对树块内部进行2分割或3分割(S1003)。

在判断为对树块内部进行2分割或3分割的情况下(S1003：是)，判断是否将分割的方向设为垂直方向(S1004)。

在将分割的方向判断为垂直方向的情况下(S1004：是)，判断是否对树块内部进行2分割(S1005)。

在判断为对树块内部进行2分割的情况下(S1005：是)，对树块内部在垂直方向上进行2分割(S1006)。另一方面，在判断为对树块内部进行3分割的情况下(S1005：否)，对树块内部在垂直方向上进行3分割(S1007)。关于在垂直方向上被2分割或3分割后的块的再分割处理将在后面叙述(图8)。

在将分割的方向判断为水平方向的情况下(S1004：否)，判断是否对树块内部进行2分割(S1008)。

在判断为对树块内部进行2分割的情况下(S1008：是)，对树块内部在水平方向上进行2分割(S1009)。另一方面，在判断为对树块内部进行3分割的情况下(S1008：否)，对树块内部在水平方向上进行3分割(S1010)。关于在水平方向上被2分割或3分割后的块的再分割处理将在后面叙述(图8)。

在判断为不对树块内部进行2分割或3分割的情况下(S1003：否)，不对树块的内部进行块分割而结束块分割处理(S1011)。

接着，使用图7的流程图来说明进行对将树块在水平方向和垂直方向上各分为一半时的4分割后的分割所得的各块的处理。

首先，判断是否进行对块内部再次在水平方向和垂直方向上各分为一半的4分割(S1101)。

在判断为对块内部再次进行4分割的情况下(S1101：是)，对块内部再次进行4分割(S1102)。

在判断为不对块内部再次进行4分割的情况下(S1101：否)，判断是否对块内部进行2分割或3分割(S1103)。

在判断为对块内部进行2分割或3分割的情况下(S1103：是)，判断是否将分割的方向设为垂直方向(S1104)。

在将分割的方向判断为垂直方向的情况下(S1104：是)，判断是否对块内部进行2分割(S1105)。

在判断为对块内部进行2分割的情况下(S1105：是)，对块内部在垂直方向上进行2分割(S1106)。另一方面，在判断为对块内部进行3分割的情况下(S1105：否)，对块内部在垂直方向上进行3分割(S1107)。

在将分割的方向判断为水平方向的情况下(S1104：否)，判断是否对块内部进行2分割(S1108)。

在判断为对块内部进行2分割的情况下(S1108：是)，对块内部在水平方向上进行2分割(S1109)。另一方面，在判断为对块内部进行3分割的情况下(S1108：否)，对块内部在水平方向进行3分割(S1110)。

在判断为不对块内部进行2分割或3分割的情况下(S1103：否)，不对块的内部进行再分割而结束块分割处理(S1111)。

对于4分割后的各块，递归地执行图7的流程图所示的处理。4分割后的块的内部按照z-扫描顺序进行编码。

接着，使用图8的流程图来说明对树块在垂直方向上进行2分割或3分割时的分割后的各块的处理。

在对树块在垂直方向上进行2分割或3分割的情况下，对于分割后的各块，判断是否对块内部再次进行2分割或3分割(S1201)。

在判断为对块内部进行2分割或3分割的情况下(S1201：是)，判断是否将分割的方向设为垂直方向(S1202)。

在将分割的方向判断为垂直方向的情况下(S1202：是)，判断是否对块内部进行2分割(S1203)。

在判断为对块内部进行2分割的情况下(S1203：是)，对块内部在垂直方向上进行2分割(S1204)。另一方面，在判断为对块内部进行3分割的情况下(S1203：否)，对块内部在垂直方向上进行3分割(S1205)。

在将分割的方向判断为水平方向的情况下(S1202：否)，判断是否对块内部进行2分割(S1206)。

在判断为对块内部进行2分割的情况下(S1206：是)，对块内部在水平方向上进行2分割(S1207)。另一方面，在判断为对块内部进行3分割的情况下(S1206：否)，对块内部在水平方向上进行3分割(S1208)。

在判断为不对块内部再次进行2分割或3分割的情况下(S1201：否)，不对块的内部进行再分割而结束块分割处理(S1209)。

对于在垂直方向上进行2分割或3分割时的分割后的各块，递归地执行图8的流程图所示的处理。2分割或3分割后的块的内部按照从左到右的顺序进行编码。

同样地，对于在水平方向上进行2分割或3分割时的分割后的块，递归地执行图8的流程图所示的处理。2分割或3分割后的块的内部按照从上到下的顺序进行编码。

另外，说明了树块被分割时的分割后的块的再分割，但是母块也可以不是树块。例如，在对树块(128×128像素)进行4分割、并对4分割后的块(64×64像素)进一步进行分割的情况下，对再分割后的块的分割也应用上述处理。

递归的块分割也可以确定要分割的次数，限制要分割的次数。另外，也可以在编码装置和解码装置之间预先确定要分割的次数。并且，也可以为以下构成：编码装置决定要分割的次数并记录在编码比特流内，解码装置使用记录在编码比特流内的要分割的次数。

接着，对画面端部中的块分割进行说明。图9表示将图像分割为树块时与图片边界的关系。如该图9所示，由于图像的大小不限于树块的大小的整数倍，因此画面端部中的树块有时隔着图片边界而包含画面内和画面外的部分。作为画面端部中的树块，示出了树块1001、1002、1003。在这种情况下，如图10所示，超出图片边界的画面外的部分设为与画面内的最外侧的像素相同来进行处理。作为画面内的最外侧的像素，示出了像素1011、1012、1013。

像素1011是位于树块1001内并且位于画面内的最右上方的像素。像素1011右侧的、超出图片边界的画面外的像素设为与像素1011相同来进行处理。

像素1012是位于树块1002内并且位于画面内的最左下方的像素。像素1012下侧的、超出图片边界的画面外的像素设为与像素1012相同来进行处理。

像素1013是位于树块1003内并且位于画面内的最右下方的像素。像素1013右侧、下侧及右下侧的超出图片边界的画面外的像素设为与像素1013相同来进行处理。

然后，在对块进行2分割或3分割时，限制块分割。由此，能够将画面端部的块分割为适当的形状，能够提高编码效率。

对块分割的限制适用于在画面端部对块进行2分割或3分割时。即，图3中的2分割或3分割的处理(S1004至S1010)置换为以下说明的处理。另外，图7中的2分割或3分割的处理(S1104至S1110)置换为以下说明的处理。并且，图8中的2分割或3分割的处理(S1202至S1208)置换为以下说明的处理。

使用图11对块分割的限制进行说明。首先，对于块分割的全部组合，决定是否限制块分割(S1301)。所谓块分割的全部组合是指对块在水平方向上进行2分割的情况、对块在垂直方向上进行2分割的情况、对块在水平方向上进行3分割的情况、对块在垂直方向上进行3分割的情况这4种情况。另外，是否限制块分割根据超过图片边界的位置的像素是否被分割来决定。例如，当对块在水平方向上进行2分割时，如果超过图片边界的位置处的像素被分割，则限制对块在水平方向上进行2分割。

在此，限制在水平方向上分割块意味着禁止在水平方向上分割块。另外，限制在垂直方向上分割块意味着禁止在垂直方向上分割块。同样地，限制对块进行2分割意味着禁止对块进行2分割。另外，限制对块进行3分割意味着禁止对块进行3分割。

接着，判定是否在块分割的所有组合中限制块分割(S1302)。在所有组合中限制块分割的情况下(S1302：是)，不对块进行分割(S1314)。另一方面，在所有组合中不限制块分割的情况下(S1302：否)，判定是否限制水平方向的块分割(S1303)。

在限制水平方向的块分割的情况下(S1303：是)，前进到下一处理(S1306)。另一方面，在不限制水平方向的块分割的情况下(S1303：否)，判定是否限制垂直方向的块分割(S1304)。

在限制垂直方向的块分割的情况下(S1304：是)，前进到下一处理(S1310)。另一方面，在不限制垂直方向的块分割的情况下(S1304：否)，判断是否在垂直方向上对块进行分割(S1305)。

在将块分割的方向判断为垂直方向的情况下(S1305：是)，判断是否限制块的3分割(S1306)。另一方面，在将块分割的方向判断为水平方向的情况下(S1305：否)，前进到下一处理(S1310)。

在限制块的3分割的情况下(S1306：是)，对块在垂直方向上进行2分割(S1308)。另一方面，在不限制块的3分割的情况下(S1306：否)，判断是否对块进行2分割(S1307)。

在判断为对块进行2分割的情况下(S1307：是)，对块在垂直方向上进行2分割(S1308)。另一方面，在判断为对块进行3分割的情况下(S1307：否)，对块在垂直方向上进行3分割(S1309)。

在限制垂直方向的分割的情况下(S1304：是)以及将块分割的方向判断为水平方向的情况下(S1305：否)，判定是否限制块的3分割(S1310)。

在限制块的3分割的情况下(S1310：是)，对块在水平方向上进行2分割(S1312)。另一方面，在不限制块的3分割的情况下(S1310：否)，判断是否对块进行2分割(S1311)。

在判断为对块进行2分割的情况下(S1311：是)，对块在水平方向上进行2分割(S1312)。另一方面，在判断为对块进行3分割的情况下(S1311：否)，对块在水平方向上进行3分割(S1313)。

即，在通过块分割对超过图片边界的位置的像素进行分割的情况下，限制该方向的块分割。

在此，说明具体例子。当前，在画面的下端，树块不进行4分割(S1001：否)，树块内部进行2分割或3分割(S1003：是)。图12的(a)表示树块隔着图片边界而包含画面内和画面外的部分的情形。此时，对于在所有组合中分割了树块的情况，决定是否限制块分割(S1301)。

在图12的(a)至图12的(d)中分别示出了在所有组合中分割了树块的情况。如图12的(a)所示，如果在垂直方向上对块进行2分割，则由于超过图片边界的位置的像素被分割，因此限制该块分割。同样地，如图12的(b)所示，如果在垂直方向上对块进行3分割，则由于超过图片边界的位置的像素被分割，因此限制该块分割。另一方面，如图12的(c)所示，如果在水平方向上对块进行2分割，则由于超过图片边界的位置的像素不被分割，因此不限制该块分割。同样地，如图12的(d)所示，如果在水平方向上对块进行3分割，则由于超过图片边界的位置的像素不被分割，因此不限制该块分割。

因此，在块分割的所有组合中不限制块分割(S1302：否)。另外，不限制水平方向的块分割(S1303：否)，限制垂直方向的块分割(S1304：是)。并且，不限制块的3分割(S1310：否)。因此，判断是否对块进行2分割(S1311)。当前，如果判断为对块进行2分割(S1311：是)，则对块在水平方向上进行2分割(S1312)。

通过这样的块分割的限制，块成为适当的形状。这是因为，在包含画面外的像素的块中，画面外的部分的像素值是固定的。因此，该块的画面内的部分的像素值的变化相对于不包含画面外的像素的块相对小。因此，对细小像素变化进行编码的必要性少。因此，通过使画面外的像素成为尽可能集中的块，能够减小编码量，提高编码效率。

该块分割的限制在画面的右端也是同样的。在图12的(e)至图12的(h)中分别示出了在所有组合中分割树块的情况。此时，如图12的(e)所示，如果对块在水平方向上进行2分割，则超过图片边界的位置的像素被分割。另外，如图12的(f)所示，如果对块在水平方向上进行3分割，则超过图片边界的位置的像素被分割。因此，对这些块分割进行限制。通过这样的块分割的限制，能够提高编码效率。

接着，说明图像解码装置200的块分割部202的动作。块分割部202按照与上述图像编码装置100中的块分割部101相同的处理过程来分割块。在块分割部101中，选择块分割的模式，并输出所选择的块分割信息。另一方面，块分割部202使用从编码比特流解码后的块分割信息来分割块。块分割的限制与上述图像编码装置100相同。

图13表示与第一实施方式的块分割有关的句法(编码比特流的句法规则)。在图13中，QT()表示块的4分割处理所涉及的句法，MTT()表示块的2分割或3分割处理所涉及的句法。图像编码装置100根据该句法进行编码，图像解码装置200根据该句法进行解码。

首先，用QTflag表示是否对块进行4分割。在进行4分割的情况下，设为QTflag＝1，在不进行4分割的情况下，设为QTflag＝0。在进行4分割的情况下(QTflag＝1)，如果对于4分割后的各块能够进一步进行4分割(QTvalid＝1)，则递归地进行4分割处理。在不进行4分割的情况下(QTflag＝0)，是否进行2分割或3分割由MTTflag表示。在进行2分割或3分割的情况下(MTTflag＝1)，是否在垂直方向上进行分割由vertical_flag表示，是否进行2分割由BTflag表示。在垂直方向上进行分割的情况下设为vertical_flag＝1，在水平方向上进行分割的情况下设为vertical_flag＝0。另外，在进行2分割的情况下设为BTflag＝1，在进行3分割的情况下设为BTflag＝0。如果能够对2分割或3分割后的各块进一步进行2分割或3分割(MTTvalid＝1)，则递归地进行2分割或3分割处理。

在此，对表示4分割后的各块是否能够进一步进行4分割的变量QTvalid进行说明。QTvalid按照每个4分割后的各块进行定义。在要进行4分割的块中不包含画面内的像素的情况下，QTvalid＝0。在上述以外的情况下，QTvalid＝1。

另外，对表示2分割或3分割后的各块是否能够进一步进行2分割或3分割的变量MTTvalid进行说明。MTTvalid按照每个2分割或3分割后的各块进行定义。在要进行2分割或3分割的块中不包含画面内像素的情况下，MTTvalid＝0。在上述以外的情况下，MTTvalid＝1。

在本实施方式中，由于限制块分割的方向，因此不需要vertical_flag。因此，也可以是省略了图13中的vertical_flag的形式。

通过这样的块分割的限制，能够将画面端部的块分割为适当的形状，能够提高编码效率。另外，能够进行适于图像编码和解码的块分割。

(第二实施方式)

对本发明的第二实施方式涉及的图像编码装置和图像解码装置进行说明。在第二实施方式中，在块分割的深度达到了限制深度的情况下，限制块分割。由于除此以外的结构与第一实施方式相同，因此省略说明。

在此，对块分割的深度进行说明。在第一实施方式中，说明了在对块进行2分割或3分割之后，对2分割或3分割后的各块递归地进行2分割或3分割的处理。在该处理中，将第一次的2分割或3分割处理定义为深度0。另外，将针对通过第一次的2分割或3分割处理分割而得的各块的第二次的2分割或3分割处理定义为深度1，将针对通过第二次的2分割或3分割处理分割而得的各块的第三次的2分割或3分割处理定义为深度2，以下同样地定义深度。另外，预先确定限制块分割的深度，将其定义为限制深度。

对块分割的限制适用于在画面端部对块进行2分割或3分割时。即，图3中的2分割或3分割的处理(S1004至S1010)置换为以下说明的处理。另外，图7中的2分割或3分割的处理(S1104至S1110)置换为以下说明的处理。并且，图8中的2分割或3分割的处理(S1202至S1208)置换为以下说明的处理。

使用图14对块分割的限制进行说明。首先，在对块进行2分割或3分割时，判定块分割的深度是否达到了限制深度(S1401)。

在未达到限制深度的情况下(S1401：否)，决定不限制块分割(S1402)。另一方面，在达到了限制深度的情况下(S1401：是)，对于块分割的所有组合，决定是否限制块分割(S1301)。由于S1301与第一实施方式相同，因此省略说明。

接着，判定是否在块分割的所有组合中限制块分割(S1302)。由于S1302以下处理与第一实施方式相同，因此省略说明。

即，在通过块分割对超过图片边界的位置的像素进行分割，并且块分割的深度达到了限制深度的情况下，限制块分割。

在此，说明具体例子。当前，在画面的下端，树块不进行4分割(S1001：否)，对树块内部进行2分割或3分割(S1003：是)。另外，将限制深度设为1。图12的(a)示出树块隔着图片边界而包含画面内和画面外的部分的情形。在对该树块进行2分割或3分割时，通过垂直方向的分割，超过图片边界的位置的像素被分割。但是，深度为0，未达到限制深度的1(S1401：否)。因此，决定不限制块分割(S1402)。因此，不限制所有的块分割(S1302：否)，不限制水平方向的块分割(S1303：否)，不限制垂直方向的块分割(S1304：否)。然后，判断是否在垂直方向上分割块(S1305)。当前，如果判断为在垂直方向上分割块(S1305：是)，则由于不限制块的3分割(S1306：否)，因此判断是否对块进行2分割(S1307)。当前，如果判断为对块进行2分割(S1307：是)，则对块在垂直方向上进行2分割(S1308)。其情形如图12的(a)所示。

接着，在垂直方向上被2分割的各块中，对左侧的块进行2分割或3分割。此时，深度为1，达到限制深度的1(S1401：是)。因此，对于块分割的所有组合，决定是否限制块分割(S1301)。

图15的(a)至图15的(d)分别表示在所有组合中分割块的情况。如图15的(a)所示，如果在垂直方向上对块进行2分割，则由于超过图片边界的位置的像素被分割，因此限制该块分割。同样地，如图15的(b)所示，如果在垂直方向上对块进行3分割，则由于超过图片边界的位置的像素被分割，因此限制该块分割。另一方面，如图15的(c)所示，如果对块在水平方向上进行2分割，则由于超过图片边界的位置的像素不被分割，因此不限制该块分割。同样地，如图15的(d)所示，如果对块在水平方向上进行3分割，则由于超过图片边界的位置的像素不被分割，因此不限制该块分割。

因此，在块分割的所有组合中不限制块分割(S1302：否)。另外，不限制水平方向的块分割(S1303：否)，限制垂直方向的块分割(S1304：是)。并且，块的3分割不进行限制(S1310：否)。因此，判断是否对块进行2分割(S1311)。当前，如果判断为对块进行2分割(S1311：是)，则对块在水平方向上进行2分割(S1312)。

这样的块分割的限制使得块成为适当的大小和形状。这是因为，在包含画面外像素的块中，画面外的部分的像素值是固定的。因此，该块的画面内的部分的像素值的变化相对于不包含画面外的像素的块相对小。因此，对细小像素的变化进行编码的必要性少。因此，通过使画面外的像素成为尽可能集中的块，能够减小编码量，提高编码效率。

该块分割的限制在画面的右端也同样。对树块进行2分割或3分割时，由于深度为0，未达到限制深度1，因此不限制块分割而进行2分割或3分割。在对分割后的块进行进一步分割时，由于深度为1，达到了限制深度1，因此判定是否限制块分割。于是，在对块在水平方向上进行2分割的情况下和对块在水平方向上进行3分割的情况下，超过图片边界的位置的像素被分割。因此，对这些块分割进行限制。通过这样的块分割的限制，能够提高编码效率。

在本实施方式中，块分割的深度相对于2分割或3分割而定义。这也可以针对4分割来定义。另外，在本实施方式中，根据块分割的深度来限制块分割。这可以由块包含的超过图片边界的位置的像素的数量或比例来限制。即，在这些值比预先确定的值大的情况下，构成为限制该块分割。此外，这些值可以是按照每个块分割的深度而为不同的值。由此，使得对画面外的像素的数量或比例少的块进行分割，对画面外的像素的数量或比例多的块不进行分割。也可以为以下构成：块分割的限制深度、块包含的超过图片边界的位置的像素的数量、比例等块分割的限制所涉及的值由编码装置记录在编码比特流内，解码装置使用已记录在编码比特流内的值。

在第一实施方式中，与块分割的深度无关地限制块分割。另一方面，在本实施方式中，根据块分割的深度来限制块分割。由此，使得画面外的像素的比例少的块进行分割，画面外的像素的比例多的块不进行分割。因此，能够将画面端部的块分割为适当的大小及形状，能够提高编码效率。另外，能够进行适于图像编码和解码的块分割。

(第三实施方式)

对本发明的第三实施方式涉及的图像编码装置和图像解码装置进行说明。在第三实施方式中，根据超过图片边界的位置的像素的数量来控制块分割。由于除此以外的结构与第一实施方式相同，因此省略说明。

块分割的控制适用于在画面端部对块进行2分割或3分割时。即，图3中的2分割或3分割的处理(S1004至S1010)置换为以下说明的处理。另外，图7中的2分割或3分割的处理(S1104至S1110)置换为以下说明的处理。并且，图8中的2分割或3分割的处理(S1202至S1208)置换为以下说明的处理。

使用图16说明块分割的控制。首先，对于块分割的所有组合，对超过图片边界的位置的像素数进行计数(S1601)。所谓块分割的所有组合是指对块在水平方向上进行2分割的情况、对块在垂直方向上进行2分割的情况、对块在水平方向上进行3分割的情况、对块在垂直方向上进行3分割的情况这4种情况。

然后，关于对块进行2分割的情况和对块进行3分割的情况的每一个，决定超过图片边界的位置的像素数最大的分割方向(S1602)。

接着，判断是否对块进行2分割(S1603)。

在判断为进行2分割的情况下(S1603：是)，在S1602中决定的分割方向上进行2分割(S1604)。另一方面，在判断为进行3分割的情况下(S1603：否)，在S1602中决定的分割方向上进行3分割(S1605)。

即，控制块分割的方向，使得超过图片边界的位置的像素在块内包含最多。

在此，说明具体例子。当前，图像是1920×1080像素，树块是128×128像素。另外，树块不进行4分割(S1101：否)，对块的内部进行2分割或3分割(S1103：是)。于是，如图17的(a)所示，在画面的下端超过图片边界且在垂直方向上存在72像素。此时，对在以所有组合分割了树块的情况下的、各块中的超过了图片边界的位置的像素数进行计数(S1601)。

在图17的(a)至图17的(d)中分别示出了在所有组合中分割树块的情况。如图17的(a)所示，当在垂直方向上对块进行2分割时，被分割后的块的左侧(500)和右侧(501)分别是4608像素。另一方面，如图17的(b)所示，如果对块在水平方向上进行2分割，则分割后的块的上侧(510)为1024像素，下侧(511)为8192像素。即，超过了图片边界的位置的像素数最大的是在水平方向上分割的情况下的下侧的8192像素。因此，像素数最大的分割方向是水平方向(S1602)。

同样，如图17的(c)所示，如果对块在垂直方向上进行3分割，则分割后的块的左侧(520)和右侧(522)分别为2304像素，中央(521)为4608像素。另一方面，如图17的(d)所示，如果对块在水平方向上进行3分割，则分割后的块的上侧为0像素，中央(531)为5120像素，下侧(532)为4096像素。即，超过图片边界的位置的像素数最大的是在水平方向上分割的情况下的中央的5120像素。因此，像素数最大的分割方向是水平方向(S1602)。

最后，判断是否对块进行2分割(S1603)。在判断为进行2分割的情况下(S1603：是)，在作为所决定的分割方向的水平方向上对块进行2分割(S1604)。另一方面，在判断为进行3分割的情况下(S1603：否)，在作为所决定的分割方向的水平方向上对块进行3分割(S1605)。

在本实施方式中，当对块进行2分割或3分割时，控制块分割的方向，以使超过图片边界的位置的像素最多地被包含在块内。这是因为，在包含画面外像素的块中，画面外的部分的像素值是固定的，所以对细小的像素的变化进行编码的必要性少。因此，通过使这样的像素成为尽可能集中为1个的块，能够减小编码量，提高编码效率。

另外，不仅可以决定块的分割方向，还可以决定块的分割数。如上所述，超过图片边界的位置的像素数最大的是在进行2分割的情况下为8192像素，在进行3分割的情况下为5120像素。即，由于超过图片边界的位置的像素较多地包含在块内的情况是进行2分割的情况，因此对块进行2分割。

这是因为，与2分割相比，3分割是在靠近块的端部的位置分割块。3分割与2分割相比存在超过图片边界的位置的像素数少的倾向。因此，在画面端部，能够不对块进行3分割，而决定进行2分割的方向。由此，能够削减块的3分割所涉及的处理，能够使块分割的处理高速化。

块分割的控制适用于在画面端部对块进行2分割或3分割时。即，图3中的2分割或3分割的处理(S1004至S1010)置换为以下说明的处理。另外，图7中的2分割或3分割的处理(S1104至S1110)置换为以下说明的处理。并且，图8中的2分割或3分割的处理(S1202至S1208)置换为以下说明的处理。

使用图18说明块分割的控制。首先，对于块分割的所有组合，对超过图片边界的位置的像素数进行计数(S1651)。所谓块分割的所有组合是指对块在水平方向上进行2分割的情况和对块在垂直方向上进行2分割的情况这2种情况。

接着，关于对块进行2分割的情况，决定超过图片边界的位置的像素数最大的分割方向(S1652)。然后，在所决定的分割方向上对块进行2分割(S1654)。

关于本实施方式的块分割的句法，设为省略了图13中的vertical_flag的形式。这是因为，在本实施方式中控制了块分割的方向，不需要vertical_flag。并且，在本实施方式中，可以决定块的分割数，也可以不对块进行3分割。在这种情况下，不需要BTflag，因此也可以成为省略BTflag的形式。关于本实施方式的与块分割相关的句法也可以与图13相同。

在1920×1080像素的情况下，在画面的右端不存在超过图片边界的位置的像素。但是，在图像的宽度不是树块的大小的整数倍的情况下，由于存在超过图片边界的位置的像素，所以与上述同样地控制块分割。

在本实施方式中，根据超过图片边界的位置的像素的数量，控制块分割的方向。这可以通过超过图片边界的位置的像素的比例来控制块分割的方向。

通过这样的块分割的控制，能够将画面端部的块分割为适当的大小及形状，能够提高编码效率。另外，可以进行适于图像编码和解码的块分割。

(第四实施方式)

对本发明的第四实施方式涉及的图像编码装置和图像解码装置进行说明。在第四实施方式中，对图片边界与上述实施方式中的图片边界不同的情况进行说明。由于除此以外的结构与第一实施方式相同，因此省略说明。

在此，考虑图片边界与图12不同的模式。但是，即使图片边界不同，是否限制块分割的判断结果也与图12的情况相同的模式除外。例如，在图12的(a)中，假设图片边界稍微位于上方。即使在这种情况下，由于超过图片边界的位置的像素被分割，所以块分割被限制。也就是说，在图12的(a)中，即使图片边界在上下方向上改变，限制块分割的判断结果也不改变。这一点在图12的(b)中也是相同。同样地，在图12的(e)和图12的(f)中，即使图片边界在左右方向上改变，限制块分割的判断结果也不改变。

结果，图片边界与图12不同的模式是图19的(a)至图19的(d)。图19的(a)的图片边界位于图12的(c)的上方。相同地，图19的(b)的图片边界位于图12的(d)的上方。同样地，图19的(c)和图19的(d)的图片边界位于图12的(g)和图12的(h)的左侧。

图19的(a)和图19的(b)都是水平方向的分割。但是，在进行了2分割的情况下，超过图片边界的位置的像素不被分割，在进行了3分割的情况下，超过图片边界的位置的像素被分割。即，仅在进行3分割的情况下，块分割被限制。

图19的(c)和图19的(d)都是垂直方向的分割。但是，在进行了2分割的情况下，超过图片边界的位置的像素不被分割，在进行了3分割的情况下，超过图片边界的位置的像素被分割。即，仅在进行3分割的情况下，块分割被限制。

即，在2分割和3分割中，限制块分割的判断分开。这是因为，与2分割相比，3分割是在靠近块的端部的位置分割块。3分割与2分割相比存在超过图片边界的位置的像素被分割的倾向。因此，在画面端部，能够判定是否不对块进行3分割、且限制进行2分割的方向。由此，能够削减块的3分割所涉及的处理，能够使块分割的处理高速化。

对块分割的限制适用于在画面端部对块进行2分割或3分割时。即，图3中的2分割或3分割的处理(S1004至S1010)置换为以下说明的处理。另外，图7中的2分割或3分割的处理(S1104至S1110)置换为以下说明的处理。并且，图8中的2分割或3分割的处理(S1202至S1208)置换为以下说明的处理。

使用图20对块分割的限制进行说明。图20是相对于图11成为省略了一部分处理的形式。因此，有时标注与图11相同的步骤编号而省略说明。

首先，对于块分割的所有组合，决定是否限制块分割(S1901)。所谓块分割的所有组合是指对块在水平方向上进行2分割的情况、对块在垂直方向上进行2分割的情况这2种情况。另外，是否限制块分割根据超过图片边界的位置的像素是否被分割来决定。例如，当对块在水平方向上进行2分割时，如果超过图片边界的位置的像素被分割，则限制在水平方向上对块进行2分割。由于S1302之后处理除了没有3分割涉及的处理之外与图11中的处理相同，因此省略说明。

在此，使用图19的(a)说明具体例子。在图19的(a)的情况下，对于块分割的所有组合，决定是否限制块分割(S1901)。当前，在对块在水平方向上进行2分割的情况下，由于超过图片边界的位置处的像素不被分割，因此不限制水平方向的分割。另外，在对块在垂直方向上进行2分割的情况下，由于超过图片边界的位置的像素被分割，因此垂直方向的分割受到限制。因此，对于块分割的所有组合，不限制块分割(S1302：否)。并且，不限制水平方向的块分割(S1303：否)，限制垂直方向的块分割(S1304：是)。即，块在水平方向上进行2分割(S1312)。

这里，考虑图片边界与图19相比更靠近上侧或左侧的模式。于是，在任何模式中，超过图片边界的位置的像素都被分割。因此，在画面端部也可以始终限制块的2分割和3分割。

通过这样的块分割的控制，能够将画面端部的块分割为适当的大小及形状，能够提高编码效率。另外，能够进行适于图像编码和解码的块分割。

(第五实施方式)

对本发明的第五实施方式涉及的图像编码装置和图像解码装置进行说明。在第五实施方式中，对画面右下端的块分割的限制进行说明。由于除此以外的结构与第一实施方式相同，因此省略说明。

如图9所示，画面端部中的树块隔着图片边界而包含画面内和画面外部分的情况。特别是，与画面右端的树块1001和画面下端的树块1002包含的画面外的部分相比，画面右下端的树块1003包含的画面外的部分存在更多的倾向。因此，由于块分割的限制，能够提高编码效率的余地大。在分割了树块的情况下，在该树块所包含的分割后的块中，限制块分割。

使用图20来说明画面右下端的块分割的限制。画面右下端的块相当于图9的树块1003。

首先，对于块分割的所有组合决定是否限制块分割(S1901)。所谓块分割的所有组合是指对块在水平方向上进行2分割的情况、对块在垂直方向上进行2分割的情况这2种情况。另外，是否限制块分割根据超过图片边界的位置的像素是否被分割来决定。例如，当对块在水平方向上进行2分割时，如果超过图片边界的位置的像素被分割，则限制对块在水平方向上进行2分割。

当前，由于是画面右下端的块，所以对于块分割的所有组合，超过图片边界的位置的像素被分割。当在所有组合中限制块分割的情况下(S1302：是)，不对块进行分割(S1314)。

在此，使用图21说明具体例子。图21的(a)和图21的(b)在画面右下端的树块中示出了块分割的所有组合。当前，图21的(a)和图21的(b)的任一个中，超过了图片边界的位置的像素都被分割。当在所有的组合中限制块分割的情况下(S1302：是)，不对块进行分割(S1314)。

图21的(c)是在与图21的(a)相同的图片边界处对树块进行4分割的例子。将4分割后的各块按照z-扫描顺序设为块601、602、603、604。关于图21的(c)，说明块分割的各步骤。

图21的(c)通过下面的步骤进行块分割。首先，在图3的处理中，将图像分割为树块(S1000)，判定为对树块内部进行4分割(S1001：是)，对树块进行4分割(S1002)。对于4分割后的各块601、602、603、604，分别进行图7的处理。

在图7中，判定为不对分割后的块的内部再次进行4分割(S1101：否)，判定为对块内部进行2分割或3分割(S1103：是)。图7中的2分割或3分割的处理(S1104至S1110)置换为图20的处理。

在图20中，对于块分割的所有组合，决定是否限制块分割(S1901)。当前，由于是画面右下端的块，所以对于块分割的所有组合，超过图片边界的位置的像素被分割。当在所有的组合中限制块分割的情况下(S1302：是)，不对块进行分割(S1314)。通过以上步骤，结束图21的(c)的块分割。

图21的(d)是在与图21的(c)不同的图片边界处对树块进行4分割的例子。该例子示出了组合上述实施方式的复杂的块分割。在4分割后的各块中，块602、603被进一步块分割。在对树块进行了4分割之后(S1002)，对被4分割的各块601、602、603、604的每一个，说明块分割的各步骤。

块601进行图7的处理。在图7中，判定为不对分割后的块的内部再次进行4分割(S1101：否)，判定为不对块内部进行2分割或3分割(S1103：否)。块601不对其内部进行再分割而结束块分割处理(S1111)。

块602进行图7的处理。在图7中，判定为不对分割后的块的内部再次进行4分割(S1101：否)，判定为对块内部进行2分割或3分割(S1103：是)。图7中的2分割或3分割的处理(S1104至S1110)置换为图20的处理。

在图20中，对于块分割的所有组合，决定是否限制块分割(S1901)。当前，在对块在水平方向上进行2分割的情况下，由于超过图片边界的位置的像素被分割，因此水平方向的分割受到限制。另外，在对块在垂直方向上进行2分割的情况下，由于超过图片边界的位置的像素不被分割，因此不限制垂直方向的分割。因此，对于块分割的所有组合，不限制块分割(S1302：否)。并且，限制水平方向的块分割(S1303：是)。即，块在垂直方向上进行2分割(S1308)。结果，块602通过分割612被垂直分割。

块603进行图7的处理。在图7中，判定为不对分割后的块的内部再次进行4分割(S1101：否)，判定为对块内部进行2分割或3分割(S1103：是)。图7中的2分割或3分割的处理(S1104至S1110)置换为图18的处理。

在图18中，对于块分割的所有组合，对超过图片边界的位置的像素数进行计数(S1651)。所谓块分割的所有组合是指对块在水平方向上进行2分割的情况和对块在垂直方向上进行2分割的情况这2种情况。当前，在块603中，如图17的(a)和图17的(b)所示，超过图片边界的位置的像素数最大的情况是在水平方向上分割的情况。因此，关于对块进行2分割的情况，将超过图片边界的位置的像素数最大的分割方向决定为水平方向(S1652)。然后，在所决定的分割方向上对块进行2分割(S1654)。结果，块603通过分割623被水平分割。

块604进行图7的处理。在图7中，判定为不对分割后的块的内部再次进行4分割(S1101：否)，判定为对块内部进行2分割或3分割(S1103：是)。图7中的2分割或3分割的处理(S1104至S1110)置换为图20的处理。

在图20中，对于块分割的所有组合决定是否限制块分割(S1901)。当前，在通过分割624对块在水平方向上进行2分割的情况下，由于超过图片边界的位置的像素被分割，因此水平方向的分割受到限制。另外，在通过分割614对块在垂直方向上进行2分割的情况下，由于超过图片边界的位置的像素被分割，因此垂直方向的分割受到限制。也就是说，对于块分割的所有组合，超过图片边界的位置的像素被分割。当在所有的组合中限制块分割的情况下(S1302：是)，不对块进行分割(S1314)。

通过这样的块分割的控制，能够将画面端部的块分割为适当的大小及形状，能够提高编码效率。另外，可以进行适于图像编码和解码的块分割。

在以上所述的所有实施方式中，控制块分割的对象设为超过图片边界的位置。这可以确定任何边界，针对超过该边界的位置来控制块分割。另外，作为任意的边界，可以确定与周边的像素相比重要度高的像素，对超过该边界的位置设为控制块分割的对象。并且，超过任意边界的位置不限于画面的下端或右端，也可以是画面的上端或左端，也可以不是端部。在该情况下，即使不是画面端部，也能够将块分割为适当的大小及形状，能够提高编码效率。

以上所述的所有实施方式也可以组合多个。

在以上所述的所有实施方式中，图像编码装置输出的编码比特流具有特定的数据格式，以便能够根据在实施方式中使用的编码方法进行解码。编码比特流可以记录在HDD、SSD、闪存、光盘等计算机等能够读取的记录介质中来提供，也可以通过有线或无线网络从服务器提供。因此，与该图像编码装置对应的图像解码装置不通过提供单元，就能够对该特定的数据格式的编码比特流进行解码。

在有线或无线网络用于在图像编码装置和图像解码装置之间交换编码比特流的情况下，编码比特流可以被转换为适合于通信路径的传输方式的数据格式来传输。在这种情况下，设置有：发送装置，将图像编码装置输出的编码比特流转换为适合于通信线路的传输方式的数据格式的编码数据并将其发送到网络；以及接收装置，从网络接收编码数据并将该编码数据恢复为编码比特流并提供给图像解码装置。

发送装置包括：存储器，对图像编码装置输出的编码比特流进行缓冲；分组处理部，对编码比特流进行分组；以及发送部，经由网络发送被分组后的编码数据。接收装置包括：接收部，经由网络接收被分组后的编码数据；存储器，对接收到的编码数据进行缓冲；以及分组处理部，对编码数据进行分组处理而生成编码比特流，并提供给图像解码装置。

当有线或无线网络用于在图像编码装置和图像解码装置之间交换编码比特流时，除了发送装置和接收装置之外还设置有中继装置，所述中继装置接收发送装置发送的编码数据并将该编码数据提供给接收装置。中继装置包括：接收部，接收发送装置发送的分组后的编码数据；存储器，对接收到的编码数据进行缓冲；以及发送部，将分组后的编码数据发送给网络。此外，中继装置还可以包括：接收分组处理部，对分组后的编码数据进行分组处理而生成编码比特流；记录介质，存储编码比特流；以及发送分组处理部，对编码比特流进行分组。

另外，也可以通过在构成中追加显示由图像解码装置解码的图像的显示部，来作为显示装置。在这种情况下，显示部读出由解码图像信号重叠部205生成并保存在解码图像存储器206中的解码图像信号，并显示在画面上。

另外，也可以将拍摄部追加到结构中，将拍摄到的图像输入到图像编码装置中，从而作为拍摄装置。在这种情况下，拍摄部将拍摄到的图像信号输入到块分割部101。

图22示出本申请的编码解码装置的硬件结构的一例。编码解码装置包括本发明的实施方式涉及的图像编码装置和图像解码装置的构成。该编码解码装置9000具有CPU9001、编解码器IC 9002、I/O接口9003、存储器9004、光盘驱动器9005、网络接口9006、以及视频接口9009，各部分通过总线9010连接。

图像编码部9007和图像解码部9008典型地作为编解码器IC 9002来安装。本发明的实施方式涉及的图像编码装置的图像编码处理由图像编码部9007执行，本发明的实施方式涉及的图像解码装置中的图像解码处理由图像编码部9007执行。I/O接口9003例如通过USB接口实现，与外部的键盘9104、鼠标9105等连接。CPU 9001基于通过I/O接口9003输入的用户操作来控制编码解码装置9000，以执行用户期望的动作。作为用户通过键盘9104、鼠标9105等的操作，有执行编码、解码中的某一个功能的选择、编码质量的设定、编码流的输入输出目的地、图像的输入输出目的地等。

当用户期望再现记录在盘记录介质9100上的图像的操作时，光盘驱动器9005从插入的盘记录介质9100读出编码比特流，并且经由总线9010将读出的编码流发送到编解码器IC 9002的图像解码部9008。图像解码部9008对输入的编码比特流执行本发明的实施方式涉及的图像解码装置中的图像解码处理，并将解码图像经由视频接口9009发送到外部的监视器9103。另外，编码解码装置9000具有网络接口9006，能够经由网络9101与外部的分发服务器9106、便携终端9107连接。当用户希望再现记录在分发服务器9106或便携终端9107上的图像而不是记录在盘记录介质9100上的图像时，网络接口9006从网络9101获取编码流，而不是从输入的盘记录介质9100读取编码比特流。另外，在用户希望再现记录在存储器9004中的图像的情况下，对记录在存储器9004中的编码流执行本发明的实施方式涉及的图像解码装置中的图像解码处理。

在用户希望对由外部的相机9102拍摄的图像进行编码并记录在存储器9004中的操作的情况下，视频接口9009从相机9102输入图像，经由总线9010发送到编解码器IC 9002的图像编码部9007。图像编码部9007对经由视频接口9009输入的图像执行本发明的实施方式涉及的图像编码装置中的图像编码处理，生成编码比特流。然后，将编码比特流经由总线9010发送到存储器9004。如果用户希望将编码流记录在盘记录介质9100上以代替存储器9004，则光盘驱动器9005将编码流写入到所插入的盘记录介质9100。

也可以实现具有图像编码装置而不具有图像解码装置的硬件结构、或具有图像解码装置而不具有图像编码装置的硬件结构。这样的硬件结构例如通过将编解码器IC 9002分别置换为图像编码部9007或图像解码部9008来实现。

与上述编码和解码有关的处理当然可以实现为使用硬件的传输、存储、接收装置，也可以通过存储在ROM(只读存储器)、闪存等中的固件或计算机等的软件来实现。可以将该固件程序、软件程序记录在计算机等可读取的记录介质中来提供，也可以通过有线或无线网络从服务器提供，还可以作为地面波或卫星数字广播的数据广播来提供。

以上，基于实施方式对本发明进行了说明。实施方式为例示，这些各构成要素和各处理过程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内，这是本领域技术人员能够理解的。

产业上的可用性

本发明能够利用于进行图像的编码及解码的技术。

符号说明

100图像编码装置、101块分割部、102预测图像生成部、103残差信号生成部、104正交变换/量化部、105编码部、106逆量化/逆正交变换部、107解码图像信号重叠部、108解码图像存储器、200图像解码装置、201解码部、202块分割部、203逆量化/逆正交变换部、204预测图像生成部、205解码图像信号重叠部、206解码图像存储器。

Claims (6)

1.一种图像解码装置，以分割后的块为单位进行图像的解码，所述图像解码装置的特征在于，包括：

解码部，对对象块的块分割信息进行解码；以及

块分割部，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块，

所述块分割部包括：

4分割部，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及

2-3分割部，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块，

所述2-3分割部

如果在水平方向上分割所述对象块，则当分割后的所述对象块超过图片边界的右侧时，禁止在水平方向上分割所述对象块，如果在垂直方向上分割所述对象块，则当分割后的所述对象块超过图片边界的下侧时，禁止在垂直方向上分割所述对象块。

2.根据权利要求1所述的图像解码装置，其特征在于，

当所述4分割部不对所述对象块进行4分割时，

所述2-3分割部如果对所述对象块在任意方向上进行2分割，则当分割后的所述对象块超过图片边界的右下侧时，禁止对所述对象块进行2分割。

3.一种图像解码装置，以分割后的块为单位进行图像的解码，所述图像解码装置的特征在于，包括：

解码部，对对象块的块分割信息进行解码；以及

块分割部，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块，

所述块分割部包括：

4分割部，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及

2-3分割部，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块，

所述2-3分割部

如果在任意方向上分割所述对象块，则当分割后的所述对象块超过图片边界、并且块分割深度达到预先确定的限制深度时，或者当要分割的块中包含的超过图片边界的位置的像素的数量或比例大于预先确定的值时，禁止该方向的块分割。

4.一种图像解码装置，以分割后的块为单位进行图像的解码，所述图像解码装置的特征在于，包括：

解码部，对对象块的块分割信息进行解码；以及

块分割部，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块，

所述块分割部包括：

4分割部，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及

2-3分割部，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块，

所述2-3分割部

如果分割所述对象块，则以超过图片边界的位置的像素在分割后的所述对象块内包含最多的方式决定所述对象块的分割方向。

5.一种图像解码方法，以分割后的块为单位进行图像的解码，所述图像解码方法的特征在于，包括：

解码步骤，对对象块的块分割信息进行解码；以及

块分割步骤，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块，

所述块分割步骤包括：

4分割步骤，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及

2-3分割步骤，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块，

在所述2-3分割步骤中，

如果在水平方向上分割所述对象块，则当分割后的所述对象块超过图片边界的右侧时，禁止在水平方向上分割所述对象块，如果在垂直方向上分割所述对象块，则当分割后的所述对象块超过图片边界的下侧时，禁止在垂直方向上分割所述对象块。

6.一种图像解码程序，以分割后的块为单位进行图像的解码，所述图像解码程序的特征在于，包括：

解码步骤，对对象块的块分割信息进行解码；以及

块分割步骤，基于所述块分割信息将所述图像递归地分割成规定尺寸的矩形，而生成所述对象块，

所述块分割步骤包括：

4分割步骤，对递归分割中的所述对象块在水平方向和垂直方向上各分成一半而进行4分割，生成4个块；以及

2-3分割步骤，对递归分割中的所述对象块在水平方向或垂直方向上进行2分割或3分割，生成2个或3个块，

在所述2-3分割步骤中，

如果在水平方向上分割所述对象块，则当分割后的所述对象块超过图片边界的右侧时，禁止在水平方向上分割所述对象块，如果在垂直方向上分割所述对象块，则当分割后的所述对象块超过图片边界的下侧时，禁止在垂直方向上分割所述对象块。

Images