CN110892719B

CN110892719B - 影像编码/解码方法及装置

Info

Publication number: CN110892719B
Application number: CN201880047587.8A
Authority: CN
Inventors: 金起佰; 郑济昌
Original assignee: Industry University Cooperation Foundation IUCF HYU
Current assignee: Industry University Cooperation Foundation IUCF HYU
Priority date: 2017-07-17
Filing date: 2018-07-12
Publication date: 2023-06-09
Anticipated expiration: 2038-07-12
Also published as: US11399179B2; US20220329798A1; EP3657789A4; CN116527945A; CA3106615A1; KR20190089061A; KR102164399B1; TWI814732B; SG11202013232QA; CN116506646A; KR20200117071A; TW201919394A; US20200213590A1; CN110892719A; EP3657789A1; US11044475B2; US20210274177A1; US11882281B2; KR20230065366A; WO2019017651A1

Abstract

本发明公开一种影像编码方法，包括：以图像的大小信息以及基本编码区块的大小信息为基础，对位于影像的边界且小于基本编码区块大小的边界区块的大小信息以及区块分割信息进行设定的步骤；以基本编码区块的大小信息、边界区块的大小信息以及区块分割信息为基础，将边界区块分割成至少一个编码区块的步骤；以及，对所分割的至少一个编码区块进行编码的步骤。

Description

影像编码/解码方法及装置

技术领域

本发明涉及一种对大小并不是基本编码区块大小的整数倍的影像进行编码/解码的方法，尤其涉及一种通过影像的放大或编码区块的调整对大小并不是基本编码区块大小的整数倍的影像进行编码/解码的方法及装置。

背景技术

随着互联网和便携式终端的普及以及通信技术的发展，对多媒体数据的使用正在急速增加。因此，为了能够在各种系统中通过影像预测执行多样化的服务或者作业，急需改善影像处理系统的性能以及效率，但是能够满足此类需求的研究开发结果却并不多见。

如上所述，在适用现有技术的影像编码解码方法及装置中，需要对影像处理尤其是影像编码或影像解码的性能进行改善。

发明内容

要解决的技术问题

为了解决如上所述的现有问题，本发明的目的在于提供一种对大小并不是基本编码区块大小的整数倍的影像进行编码/解码的方法。

为了解决如上所述的现有问题，本发明的目的在于提供一种对大小并不是基本编码区块大小的整数倍的影像进行编码/解码的装置。

技术方案

为了达成如上所述的目的，适用本发明之一实施例的影像编码方法，能够包括：以图像的大小信息以及基本编码区块的大小信息为基础，对位于影像的边界且小于基本编码区块大小的边界区块的大小信息以及区块分割信息进行设定的步骤；以基本编码区块的大小信息、边界区块的大小信息以及区块分割信息为基础，将边界区块分割成至少一个编码区块的步骤；以及，对所分割的至少一个编码区块进行编码的步骤。

其中，还能够包括：以边界区块的大小信息以及基本编码区块的大小信息为基础，对图像的大小进行放大的步骤；以及，以所放大的图像的大小为基础，对边界区块的大小信息进行调整的步骤。

其中，将边界区块分割成至少一个编码区块的步骤，能够包括：根据区块分割信息对基本编码区块的大小进行调整的步骤；以及，以基本编码区块的大小信息、边界区块的大小信息以及经过调整的基本编码区块的大小信息为基础，分割成至少一个编码区块的步骤。

技术效果

在本发明中，当影像的大小并不是基本编码区块大小的整数倍时，能够通过将影像放大到整数倍而提供编码的统一性。

在本发明中，当影像的大小并不是基本编码区块大小的整数倍时，能够通过对基本编码区块的大小进行调整而提供更高效率的编码。

附图说明

图1是对适用本发明之实施例的影像编码以及解码系统进行图示的概念图；

图2是对适用本发明之一实施例的影像编码装置进行图示的块状构成图；

图3是对适用本发明之一实施例的影像解码装置进行图示的块状构成图；

图4是对适用本发明之一实施例的基于树状结构的区块形态进行图示的示意图；

图5是对适用本发明之一实施例的多种区块形态进行图示的示意图；

图6是对用于对适用本发明之一实施例的区块分割进行说明的区块进行图示的示意图；

图7是对适用本发明之一实施例的影像编码方法进行图示的顺序图；

图8a以及图8b是对适用本发明之一实施例的被分割成多种大小的基本编码区块的影像进行图示的示意图；

图9是用于对适用本发明之一实施例的基本编码区块调整方法进行说明的第1例示图；

图10是用于对适用本发明之一实施例的基本编码区块调整方法进行说明的第2例示图；

图11a以及图11b是对用于对适用本发明之一实施例的基本编码区块调整方法进行说明的边界区块进行图示的示意图；

图12是对适用本发明之一实施例的通过调整基本编码区块而执行影像编码的方法进行图示的顺序图；

图13a至图13b是用于对适用本发明之一实施例的影像大小调整方法进行说明的第1例示图；

图14是用于对适用本发明之一实施例的影像大小调整方法进行说明的第2例示图；

图15是对适用本发明之一实施例的通过调整影像大小而执行影像编码的方法进行图示的顺序图；

图16a至图16d是用于对适用本发明之一实施例的自适应影像数据处理方法进行说明的例示图；

图17a至图17f是用于对适用本发明之一实施例的基于多种分割方法的自适应影像数据处理方法进行说明的第1例示图；

图18a至图18c是用于对适用本发明之一实施例的基于多种分割方法的自适应影像数据处理方法进行说明的第2例示图；

图19是对适用本发明之一实施例的通过自适应影像数据处理执行影像编码的方法进行图示的顺序图。

具体实施方式

本发明能够进行各种变更并具有多种不同的实施例，接下来将对其特定的实施例进行图示并进行详细的说明。但是，下述内容并不是为了将本发明限定于特定的实施形态，而是应该理解为包括本发明的思想以及技术范围内的所有变更、均等物乃至替代物。

在对不同的构成要素进行说明的过程中能够使用如第1、第2、A、B等术语，但是上述构成要素并不因为上述术语而受到限定。上述术语只是用于对一个构成元素与其他构成元素进行区别。例如，在不脱离本发明的权利要求范围的前提下，第1构成元素也能够被命名为第2构成元素，同理，第2构成元素也能够被命名为第1构成元素。术语“和/或”包括多个相关记载项目的组合或多个相关记载项目中的某一个项目。

当记载为某个构成要素与其他构成要素“连接”或“接触”时，应理解为不仅能够与上述其他构成要素直接连接或接触，还能够在两者之间有其他构成要素存在。与此相反，当记载为某个构成元素与其他构成元素“直接连接”或“直接接触”时，应理解为在两者之间没有其他构成元素存在。

在本申请中所使用的术语只是为了对特定的实施例进行说明，并不是为了对本发明进行限定。除非上下文中有明确的相反含义，否则单数型语句还包含复数型含义。在本申请中，“包括”或“具有”等术语只是为了表明说明书中所记载的特征、数字、步骤、动作、构成元素、部件或上述之组合存在，并不应该理解为事先排除一个或多个其他特征、数字、步骤、动作、构成元素、部件或上述之组合存在或被附加的可能性。

除非另有定义，否则包括技术性或科学性术语在内的在此使用的所有术语的含义与具有本发明所属技术领域之一般知识的人员所通常理解的含义相同。通常所使用的如已在词典中做出定义的术语等应解释为与在相关技术的上下文中所具有的含义一致，在本申请中除非另有明确的定义，否则不应解释为过于理想化或夸张的含义。

通常，影像能够由一系列的静止影像(Still Image)构成，上述静止影像能够以图像组(GOP，Group Of Pictures)为单位进行划分，各个静止影像能够被称之为图像(Picture)或帧(Frame)。作为其上级概念，能够有如图像组(GOP)以及序列(Sequence)等单位存在，各个图像还能够被分割成如条带、并行区块、区块等特定的区域。此外，一个图像组(GOP)中能够包括如I图像、P图像、B图像等单位。I图像能够是指在不使用参考图像的状态下自行编码/解码的图像，而P图像以及B图像能够是指通过使用参考图像执行如运动预测(Moti on Estimation)以及运动补偿(Motion Compensation)等过程而进行编码/解码的图像。通常，P图像能够将I图像以及P图像作为参考图像使用，而B图像能够将I图像以及P图像作为参考图像使用，但是上述定义也能够根据编码/解码的设定而发生变更。

其中，将在编码/解码过程中作为参考的图像称之为参考图像(ReferencePicture)，并将作为参考的区块或像素称之为参考区块(Reference Block)、参考像素(Reference Pixel)。此外，参考数据(Reference Data)除了空间域(Spatial Domain)的像素值之外还能够是频率域(Frequency Domain)的系数值、在编码/解码过程中生成以及确定的多种编码/解码信息。

构成影像的最小单位能够是像素，而为了表示一个像素而使用的比特数被称之为比特深度(Bit Depth)。通常，比特深度能够是8比特，而根据编码设定能够支持其他比特深度。关于比特深度，能够根据色彩空间(Color Space)支持至少一种比特深度。此外，能够根据影像的色彩格式(Color Format)由至少一种色彩空间构成。根据色彩格式，能够由具有一定大小的1个以上的图像或具有不同大小的1个以上的图像构成。例如，在YCbCr 4:2:0的情况下能够由1个亮度成分(在本实例中为Y)以及2个色差成分(在本实例中为Cb/Cr)构成，此时色差成分以及亮度成分的构成比能够是横纵1:2。作为另一实例，在4:4:4的情况下能够具有横纵相同的构成比。在如上所述的由一个以上的色彩空间构成的情况下，能够对图像执行各个色彩空间上的分割。

在本发明中，将以一部分色彩格式(在本实例中为YCbCr)的一部分色彩空间(在本实例中为Y)为基准进行说明，在基于色彩格式的其他色彩空间(在本实例中为Cb、Cr)中能够相同或类似地进行适用(依赖于特定色彩空间的设定)。但是，也能够在各个色彩空间中保留一部分差异(独立于特定色彩空间的设定)。即，依赖于各个色彩空间的设定能够是指与各个成分的构成比(例如，根据如4:2:0、4:2:2或4:4:4等进行确定)成比例或依赖性的性质，而独立于各个色彩空间的设定能够是指与各个成分的构成比无关或独立性地仅适用于相应色彩空间的性质。在本发明中根据编码/解码器的不同，一部分构成能够具有独立性的性质或依赖性的性质。

在影像编码过程中所需要的设定信息或语法元素(Syntax Element)，能够在如视频、序列、图像、条带、并行区块、区块等单位水准上确定，且能够以如视频参数集(VPS，Video Parameter Set)、序列参数集(SPS，Sequence Parameter Set)、图像参数集(PPS，Picture Parameter Set)、条带头(Slice Header)、并行区块头(Tile Header)或区块头(Block He ader)等单位收录到比特流中并被传送到解码器中，而在解码器中能够在相同水准的单位上进行解析(Parsing)并在对从编码器传送过来的设定信息进行解码之后在影像解码过程中进行使用。各个参数集具有固有的编号值，而下级参数集中能够包括需要进行参考的上级参数集的编号值。例如，下级参数集能够从一个以上的上级参数集中对具有一致编号值的上级参数集的信息进行参考。在如上所述的多种单位的实例中，当某一个单位包含一个以上的另一个单位时，相应的单位能够被称之为上级单位而被包含的单位能够被称之为下级单位。

关于在上述单位上生成的设定信息，能够包括在各个单位中独立性的设定相关内容，也能够包括依赖于之前、之后或上级单位等的设定相关内容。其中，依赖性的设定是指用于指示是否遵循之前、之后、上级单位设定的标志信息(例如为1比特的标志，1表示遵循而0表示不遵循)，能够理解为是表示相应单位的设定信息。虽然在本发明中关于设定信息将以与独立性的设定相关的实例为中心进行说明，但是还能够包括利用依赖于当前单位的之前、之后的单位或上级单位的设定信息的内容进行追加或替代的实例。

影像的编码/解码通常是根据所输入的大小执行编码/解码，但是有时可能会通过大小调整执行编码/解码。例如，在用于支持空间、时间以及画质可伸缩性(scalability)的可分级编码方式(scalability video coding)等中，可能有对影像进行放大以及缩小等对整体分辨率进行调整的情况，还可能有对一部分影像进行放大以及缩小的情况。与其相关的详细信息，能够通过向如上所述的视频参数集(VPS)、序列参数集(SPS)、图像参数集(PPS)以及条带头(Slice Header)等单位分配选择信息的方式进行开关。在如上所述的情况下，各个单位之间的上下关系能够被设定为如视频参数集(VPS)>序列参数集(SPS)>图像参数集(PPS)>条带头(Slica header)等。

接下来，将参阅附图对适用本发明的较佳实施例进行详细的说明。

图1是对适用本发明之实施例的影像编码以及解码系统进行图示的概念图。

参阅图1，影像编码装置105以及解码装置100，能够是如个人计算机(PC，PersonalComputer)、笔记本计算机、个人便携式终端(PDA，Personal Digital Assistant)、便携式多媒体播放器(PMP，Portable Multimedia Player)、便携式游戏站(PSP，PlayStationPortabl e)、无线通信终端(Wireless Communication Terminal)、智能手机(SmartPhone)或电视机(TV)等使用者终端或如应用服务器以及业务服务器等服务器终端，能够包括配备有用于与各种设备或有线无线通信网络执行通信的如通信调制解调器等通信装置、为了对影像进行编码或解码而对用于执行帧间或帧内预测的各种应用程序和数据进行存储的存储器(memory)120、125或用于通过执行应用程序而进行运算以及控制的处理器(processor)110、115等的多种装置。

此外，通过影像编码装置105编码成比特流的影像能够通过如互联网、近距离无线通信网、无线局域网、无线宽带网或移动通信网等有线无线通信网络(Network)或通过如线缆或通用串行总线(USB，Universal Serial Bus)等多种通信接口传送到影像解码装置100并在影像解码装置100中得到解码而重建成影像之后进行播放。此外，通过影像编码装置105编码成比特流的影像还能够通过计算机可读取的存储介质从影像编码装置105传递到影像解码装置100。

如上所述的影像编码装置以及影像解码装置能够是分别独立的装置，也能够根据具体的实现方式制作成单一的影像编码/解码装置。在上述情况下，影像编码装置中的一部分构成与影像解码装置中的一部分构成实际上是相同的技术要素，能够至少包括相同的结构或至少执行相同的功能。

因此，在接下来对技术要素及其工作原理等进行详细说明的过程中，对相应技术要素的重复说明将被省略。此外，影像解码装置是将在影像编码装置中执行的影像解码方法适用于解码的计算装置，因此在接下来的说明中将以影像编码装置为中心进行说明。

计算装置能够包括：存储器，对用于实现影像编码方法和/或影像解码方法的程序或软件模块进行存储；以及，处理器，通过连接到存储器中而执行程序。其中，影像编码装置能够被称之为编码器，而影像解码装置能够被称之为解码器。

图2是对适用本发明之一实施例的影像编码装置进行图示的块状构成图。

参阅图2，影像编码装置20，能够包括：预测部200、减法运算部205、变换部210、量化部215、逆量化部220、逆变换部225、加法运算部230、滤波部235、编码图像缓冲区240以及熵编码部245。

预测部200能够利用软件模块即预测模块(prediction module)实现，能够通过对需要进行编码的区块执行画面内预测方式(Intra Prediction)或画面间预测方式(InterPrediction)而生成预测区块。预测部200能够通过对影像中当前需要进行编码的当前区块进行预测而生成预测区块。换言之，预测部200能够生成包括通过对影像中需要进行编码的当前区块的各个像素的像素值(pixel value)执行画面内预测或画面间预测而预测生成的各个像素的预测像素值(predicted pixel value)的预测区块。此外，预测部200还能够将如与画面内预测模式或画面建预测模式等预测模式相关的信息等生成预测区块所需要的信息传递到编码部，从而使编码部对与预测模式相关的信息进行编码。此时，执行预测的处理单位与确定预测方法以及具体内容的处理单位能够根据编码/解码设定而有所不同。例如，预测方法以及预测模式等能够以预测单位进行确定，而预测的执行能够以变换单位执行。

画面内预测部能够采用按照预测方向使用的如水平、垂直模式等定向预测模式以及使用参考像素的平均、内插等方法的均值(DC)、平面(Planar)等非定向预测模式。通过定向以及非定向模式，能够构成画面内预测模式候选组，能够将如35个预测模式(定向33个+非定向2个)或67个预测模式(定向65个+非定向2个)、131个预测模式(定向129个+非定向2个)等多种候选中的某一个作为候选组进行使用。

画面内预测部，能够包括参考像素构成部、参考像素滤波部、参考像素插值部、预测模式确定部、预测区块生成部、预测模式编码部。参考像素构成部能够以当前区块为中心利用包含于相邻区块且与当前区块相邻的像素构成用于执行画面内预测的参考像素。根据编码设定，能够利用最相邻的一个参考像素行构成参考像素，或利用除此之外的其他相邻的一个参考像素行构成参考像素，或利用多个参考像素行构成参考像素。当参考像素中的一部分不可用时能够利用可用的参考像素生成参考像素，而当全部不可用时能够利用预先设定的值(例如能够通过比特深度表示的像素值范围的中间值等)生成参考像素。

画面内预测部的参考像素滤波部能够以减少通过编码过程残留的失真为目的对参考像素执行滤波。此时，所使用的滤波器能够是如3抽头(3-tap)滤波器[1/4、1/2、1/4]、5抽头(5-tap)滤波器[2/16、3/16、6/16、3/16、2/16]等低通滤波器(Low-pass Filter)。能够根据编码信息(例如区块的大小、形态、预测模式等)对滤波的适用与否以及滤波类型进行确定。

画面内预测部的参考像素插值部能够根据预测模式通过参考像素的线性插值过程生成小数单位的像素，且能够根据编码信息对所适用的插值滤波器进行确定。此时，所使用的插值滤波器能够包括4抽头(4-tap)三次(Cubic)滤波器、4头筹(4-tap)高斯(Gaussian)滤波器、6抽头(6-tap)维纳(Wiener)滤波器、8抽头(8-tap)卡尔曼(Kalman)滤波器等。通常，执行低通滤波的过程与执行插值的过程相互独立，但是也能够在将两个过程中适用的滤波器整合成一个之后再执行滤波过程。

画面内预测部的预测模式确定部能够在考虑到编码成本的前提下从预测模式候选组中选定至少一个最佳的预测模式，而预测区块生成部能够使用相应的预测模式生成预测区块。在预测模式编码部中，能够以预测值为基础对上述最佳的预测模式进行编码。此时，能够按照预测值合适的情况以及不合适的情况自适应地对预测信息进行编码。

在画面内预测部中将上述预测值称之为最有可能模式(MPM，Most ProbableMode)，能够从包含于预测模式候选组的所有模式中选择一部分模式构成最有可能模式(MPM)候选组。最有可能模式(MPM)候选组中，能够包括预先设定的预测模式(例如均值(DC)、平面(Planar)、垂直、水平、对角线模式等)或在空间上相邻的区块(例如左侧、上侧、左上、右上、左下区块等)的预测模式等。此外，能够利用从预先包含于最有可能模式(MPM)候选组的模式中推导出的模式(定向模式中的+1、-1等差异)构成最有可能模式(MPM)候选组。

在用于构成最有可能模式(MPM)候选组的预测模式中，能够有优先顺序存在。能够根据上述优先顺序对包含于最有可能模式(MPM)候选组中的顺序进行确定，而且能够在按照上述优先顺序填满最有可能模式(MPM)候选组的数量(根据预测模式候选组的数量进行确定)时完成最有可能模式(MPM)候选组的构成。此时，优先顺序能够按照在空间上相邻的区块的预测模式、预先设定的预测模式、从较早包含于最有可能模式(MPM)候选组的预测模式中推导出的模式的顺序进行确定，也能够进行其他变形。

例如，在空间上相邻的区块中能够按照左-上-左下-右上-坐上区块等的顺序包含于候选组中，而在预先设定的预测模式中能够按照均值(DC)-平面(Planar)-垂直-水平模式等的顺序包含于候选组中，再将通过对预先包含的模式中进行+1、-1等加法运算而获取的模式包含于候选组中，从而利用共计6个模式构成候选组。或者，也能够通过按照左-上-均值(DC)-平面(Plana)-左下-右上-(左+1)-(左-1)-(上+1)等的一个优先顺序包含于候选组中，从而利用共计7个模式构成候选组。

在画面间预测部中，能够根据运动预测方法分为移动运动模型和非移动运动模型。在移动运动模型中，在仅考虑平行移动的情况下执行预测，而在非移动运动模式中，在考虑平行移动的同时考虑旋转、远近、缩放(Zoom in/out)等运动的情况下执行预测。在假定单向预测的前提下，在移动运动模型中将需要一个运动向量，而在非移动运动模型中将需要一个以上的运动向量。在非移动运动模型中，各个运动向量能够是适用于如当前区块的左上侧顶点、右上侧顶点等当前区块的预先设定的位置上的信息，通过相应的运动向量，能够以像素单位或子区块单位获取当前区块中需要进行预测的区域的位置。画面间预测部能够按照上述运动模型在共同适用后续说明的一部分过程的同时个别适用其他一部分过程。

画面间预测部能够包括参考图像构成部、运动预测部、运动补偿部、运动信息确定部、运动信息编码部。参考图像构成部能够以当前图像为中心将之前或之后编码的图像包含于参考图像列表(L0，L1)中。从包含于上述参考图像列表中的参考图像，能够获取预测区块，而且根据编码设定，还能够利用当前影像构成参考图像并将其包含到参考图像列表中的至少一个位置。

在画面间预测部中，参考图像构成部能够包括参考图像插值部，而且能够根据插值精确度执行用于小数单位像素的插值过程。例如，能够对亮度成分适用8抽头(8-tap)的基于离散余弦变换(DCT)的插值滤波器，并对色差成分适用4抽头(4-tap)的基于离散余弦变换(DCT)的插值滤波器。

在画面间预测部中，运动预测部用于执行通过参考图像探索与当前区块的相关性较高的区块的过程，能够使用如全搜索区块匹配算法(FBMA，Full search-based BlockMatching Algorithm)、三步搜索算法(TSS，Three Step Search)等多种方法，而运动补偿部用于执行通过运动预测过程获取预测区块的过程。

在画面间预测部中，运动信息确定部能够执行用于选定当前区块的最佳运动信息的过程，运动信息能够通过如跳过模式(Skip Mode)、合并模式(Merge Mode)、竞争模式(Comp etition Mode)等运动信息编码模式进行编码。上述模式能够根据运动模型采用对所支持的模式进行结合的构成，其实例能够包括跳过模式(移动)、跳过模式(非移动)、合并模式(移动)、合并模式(非移动)、竞争模式(移动)、竞争模式(非移动)。根据符号化设定，能够将上述模式中的一部分包含于候选组中。

上述运动信息编码模式能够从至少一个候选区块获取当前区块的运动信息(运动向量、参考图像、预测方向等)的预测值，在支持两个以上的候选区块时能够生成最佳的候选选择信息。跳过模式(无残差信号)以及合并模式(有残差信号)能够将上述预测值直接作为当前区块的运动信息进行使用，而竞争模式能够生成当前区块的运动信息与上述预测值之间的差分值信息。

用于当前区块的运动信息预测值的候选组根据运动信息编码模式自适应且能够采用多种构成。与当前区块在空间上相邻的区块(例如左侧、上侧、左上、右上、左下区块等)的运动信息能够被包含于候选组中，而且在时间上相邻的区块(例如包含与当前区块对应或相应的其他影像内的区块<中央>在内的左侧、右侧、上侧、下侧、左上、右上、左下、右下区块等)的运动信息也能够被包含于候选组中，此外空间性候选与时间性候选的混合运动信息(例如通过在空间上相邻的区块的运动信息和在时间上相邻的区块的运动信息以平均、中央值等获取的信息、能够以当前区块或当前区块的子区块单位获取运动信息)等也能够被包含于候选组中。

在运动信息预测值候选组构成中，能够有优先顺序存在。能够根据上述优先顺序对包含于预测值候选组构成中的顺序进行确定，而且能够在按照上述优先顺序填满候选组的数量(根据运动信息编码模式进行确定)时完成候选组的构成。此时，能够按照在空间上相邻的区块的运动信息、在时间上相邻的区块的运动信息、空间性候选与时间性候选的混合运动信息的顺序对优先顺序进行确定，也能够进行其他变形。

例如，在空间上相邻的区块中能够按照左-上-右上-左下-左上区块等的顺序包含于候选组中，而在时间上相邻的区块中能够按照右下-中-右-下区块等的顺序包含于候选组中。

减法运算部205能够通过对当前区块与预测区块进行减法运算而生成残差区块(residual block)。换言之，减法运算部205能够通过对需要进行编码的当前区块的各个像素的像素值与通过预测部生成的预测区块的各个像素的预测像素值之间的差异进行计算而生成区块形态的残差信号(residual signal)即残差区块。此外，减法运算部205也能够按照通过后续说明的区块分割部获取到的区块单位之外的其他单位生成残差区块。

变换部210通过将残差区块变换成频率区域而将残差区块的各个像素值变换成频率系数。其中，变换部210能够利用如阿达马变换(Hadamard Transform)、基于离散余弦变换的变换(DCT Based Transform)、基于离散正弦变换的变换(DST Based Transform)、基于卡洛南-洛伊变换的变换(KLT Based Transform)等用于将空间轴的像素信号变换成频率轴的多种变换技法将残差信号变换成频率信号，而变换成频率区域的残差信号将成为频率系数。变换时能够通过1维变换矩阵进行变换。能够以水平、垂直单位自适应地使用各个变换矩阵。例如，当画面内预测中的预测模式为水平时，能够在垂直方向上使用基于离散余弦变换(DC T)的变换矩阵并在水平方向上使用基于离散正弦变换(DST)的变换矩阵。而当预测模式为垂直时，能够在水平方向上使用基于离散余弦变换(DCT)的变换矩阵并在垂直方向上使用基于离散正弦变换(DST)的变换矩阵。

量化部215对通过变换部210变换成频率区域的包含频率系数的残差区块进行量化。其中，量化部215能够使用如死区均匀阈值量化(Dead Zone Uniform ThresholdQuantization)、量化加权矩阵(Quantization Weighted Matrix)或对其进行改良的量化技法对经过变换的残差区块进行量化。此时，能够选择1个以上的量化技法作为候选且能够根据编码模式、预测模式信息等进行确定。

逆量化部220对通过量化部215进行量化的残差区块进行逆量化。即，逆量化部220通过对量化频率系数列进行逆量化而生成包含频率系数的残差区块。

逆变换部225对通过逆量化部220进行逆量化的残差区块进行逆变换。即，逆变换部225通过对经过逆量化的残差区块的频率系数进行逆变换而生成包含像素值的残差区块即经过重建的残差区块。其中，逆变换部225能够通过逆向使用在变换部210中使用的变换方式而执行逆变换。

加法运算部230能够通过对在预测部200中预测的预测区块与通过逆变换部225重建的残差区块进行加法运算而对当前区块进行重建。经过重建的当前区块将作为参考图像(或参考区块)被存储到编码图像缓冲区240中，从而能够在对当前区块的下一个区块或后续的其他区块、其他图像进行编码时作为参考图像进行使用。

滤波部235能够包括去块滤波器、样本自适应偏移(SAO，Sample AdaptiveOffset)、自适应环路滤波器(ALF，Adaptive Loop Filter)等一个以上的后处理滤波过程。去块滤波器能够对在经过重建的图像中的区块之间的边界上出现的区块失真进行消除。自适应环路滤波器(ALF)能够在通过去块滤波器对区块进行滤波之后再以对经过重建的影像与原始影像进行比较的值为基础执行滤波。样本自适应偏移(SAO)能够对已经适用去块滤波器的残差区块，以像素单位对与原始影像之间的偏移差异进行重建。如上所述的后处理滤波器，能够适用于经过重建的图像或区块。

编码图像缓冲区240能够对通过滤波部235重建的区块或图像进行存储。存储于编码图像缓冲区240中的重建区块或图像，能够被提供到用于执行画面内预测或画面间预测的预测部200中。

熵编码部245通过利用多种扫描方式对所生成的量化频率系数列进行扫描而生成量化系数列，并在利用如熵编码技法等进行编码之后输出。作为扫描模式，能够设定为如之字形、对角线、栅格形(raster)等多种模式中的一个。此外，能够生成包含从各个构成部传递过来的编码信息的编码数据并输出到比特流。

图3是对适用本发明之一实施例的影像解码装置进行图示的块状构成图。

参阅图3，影像解码装置30能够包括熵解码部305、预测部310、逆量化部315、逆变换部320、加减法运算器325、滤波器330以及解码图像缓冲区335。

此外，预测部310能够进一步包括画面内预测模块以及画面间预测模块。

首先，在接收到从影像编码装置20传递过来的影像比特流时，能够将其传递到熵解码部305中。

熵解码部305能够通过对比特流进行解码而对包含经过量化的系数以及从各个构成部传递过来的解码信息的解码数据进行解码。

预测部310能够以从熵解码部305传递过来的数据为基础生成预测区块。此时，还能够以经过解码的被存储在图像缓冲区335中的参考影像为基础，构成利用默认(default)构成技法的参考图像列表。

画面内预测部能够包括参考像素构成部、参考像素滤波部、参考像素插值部、预测区块生成部、预测模式解码部，画面间预测部能够包括参考图像构成部、运动补偿部、运动信息解码部，其中一部分能够执行与编码器相同的过程，而另一部分能够执行反向诱导的过程。

逆量化部315能够对从比特流提供并通过熵解码部305进行解码的经过量化的变换系数进行逆量化。

逆变换部320能够通过将逆离散余弦变换(DCT)、逆整数变换或与其类似概念的逆变换技法适用于变换系数而生成残差区块。

此时，逆量化部315、逆变换部320将逆向执行在上述说明的影像编码装置20的变换部210以及量化部215中执行的过程，且能够通过多种方法实现。例如，能够使用与变换部210以及量化部215共享的相同的过程以及逆变换，也能够利用与影像编码装置20的变换以及量化过程相关的信息(例如变换大小、变换形状、量化类型等)逆向执行变换以及量化过程。

经过逆量化以及逆变换过程的残差区块能够通过与在预测部310中推导出的预测区块进行加法运算而生成经过重建的影像区块。如上所述的加法运算能够通过加减法运算器325执行。

对于经过重建的影像区块，滤波器330能够根据需要适用用于消除区块(blocking)现象的去块滤波器，而且能够为了提升视频品质而在上述解码过程的前后追加使用其他环路滤波器。

经过重建以及滤波的影像区块能够被存储于解码图像缓冲区335中。

虽未图示，但是影像编码/解码装置还能够包括图像分割部以及区块分割部。

图像分割部能够将图像分割(或划分)成如色彩空间(YCbCr、RGB或XYZ等)、并行区块、条带、基本编码单位(或最大编码单位)等至少一个处理单位，而区块分割部能够将基本编码单位分割成至少一个处理单位(例如编码、预测、变换、量化、熵以及环路滤波单位等)。

基本编码单位能够通过将图像沿着水平方向以及垂直方向以一定的间隔进行分割的方式获取。以此为基础，能够对并行区块、条带等执行分割(即，如并行区块或条带等分割单位以基本编码区块的整数倍构成，但是在位于影像边界的分割单位上可能会发生特殊情况)，但是并不限定于此。

例如，能够在将图像划分成基本编码单位之后以上述单位进行分割，或者能够在将图像划分成上述单位之后以基本编码单位进行分割。在本发明中，将假定各个单位的划分以及分割顺序为前一种的情况进行说明，但是并不限定于此，也能够根据编码/解码设定使用后一种情况。在后一种情况下，能够变形为基本编码单位的大小根据分割单位(并行区块)自适应的情况(即，能够根据各个单位适用不同大小的基本编码区块)。

在本发明中，将以在图像中以基本编码单位进行划分的情况作为基本设定(即，图像不被分割成并行区块或条带，或图像为一个并行区块或一个条带的情况)对后续的实例进行说明，但是在如上所述的首先对各个分割单位进行划分之后再以所获取的单位为基础分割成基本编码单位的情况(即，各个分割单位不是基本编码单位的整数倍的情况)下，在各个实例中提出的设定等能够相同或经过变更后适用。

在上述分割单位中，条带能够由在扫描顺序上连续的至少一个区块的组合构成，而并行区块能够由在空间上相邻的区块的矩形形态的组合构成，除此之外还能够支持其他追加的分割单位并根据其定义构成。尤其是，并行区块能够利用棋盘形状的一个以上的横线以及竖线对图像进行分割。或者，也能够由并非利用如上所述的统一的横线以及数显进行分割的不同大小的矩形构成。

此外，能够通过区块分割部分割成多种大小的编码单位(或区块)。此时，编码单位能够根据色彩格式由多个编码区块构成(例如一个亮度编码区块以及两个色差编码区块等)，然后根据色彩格式对区块的大小进行确定。接下来，为了说明的便利，将以基于一个色彩成分(亮度成分)的区块为基准进行说明。

后续说明的内容是以一个色彩成分作为对象，但是需要理解的是，也能够根据基于色彩格式的长度比例(例如在YCbCr 4:2:0的情况下，亮度成分与色差成分的水平以及垂直长度比例为2:1)按比例变更适用到其他色彩成分上。此外，还能够依赖于其他色彩成分执行区块分割(例如在CbCr中依赖于Y的区块分割结果的情况)，但是需要理解的是，能够在各个色彩成分中独立地执行区块分割。此外，能够共同使用同一个区块分割设定(考虑与长度比例的比例关系)，但是需要理解的是，也能够根据色彩成分使用独立的区块分割设定。

编码区块能够采用如M×M(例如M为4、8、16、32、64、128等)等可变大小。或者，编码区块也能够根据分割方式(例如基于树状结构的分割，四叉树<Quad Tree，QT>、二叉树<Binary Tree，BT>等)采用如M×M(例如M为4、8、16、32、64、128等)等可变大小以及形态。此时，编码区块能够是作为画面内预测、画面间预测、变换、量化以及熵编码等的基础的单位，而区块则假定为是能够在对各个单位进行确定之后获取的单位。

区块分割部能够根据影像编码装置以及影像解码装的各个构成部进行设定，而通过上述过程能够对区块的大小以及形态进行确定。此时，所设定的区块能够根据构成部进行不同的定义，例如在预测部中定义预测区块、在变换部中定义变换区块以及在量化部中定义量化区块等。但是并不限定于此，也能够追加定义基于其他构成部的区块单位。区块的大小以及形态能够根据区块的水平以及垂直长度进行定义。

在区块分割部中，能够在各个区块的最大值以及最小值范围内获取区块。例如，当区块的形态支持正方形并将区块的最大值设定为256×256、将最小值设定为8×8时，能够获取2^m×2^m大小的区块(在本实例中m为3至8的整数，例如8×8、16×16、32×32、64×64、128×128、256×256)、2m×2m大小的区块(在本实例中m为4至128的整数)或m×m大小的区块(在本实例中m为8至256的整数)。

或者，当区块的形态支持正方形和长方形且其范围与上述实例相同时，能够获取2^m×2ⁿ大小的区块(在本实例中m以及n为3至8的整数，假定水平与垂直比例最大为2:1的情况，8×8、8×16、16×8、16×16、16×32、32×16、32×32、32×64、64×32、64×64、64×128、128×64、128×128、128×256、256×128、256×256)。但是，根据编码/解码设定，可能没有水平与垂直的比例限制或者有比例的最大值限制(例如1:2、1:3、1:7等)。或者，能够获取2m×2n大小的区块(在本实例中m以及n为4至128的整数)，或者能够获取m×n大小的区块(在本实例中m以及n为8至256的整数)。

可通过区块分割部获取的区块，能够根据编码/解码设定(例如区块的类型、分割方式以及分割设定等)进行确定。例如，作为编码区块能够获取2^m×2ⁿ大小的区块，作为预测区块能够获取2m×2n或m×n大小的区块，作为变换区块能够获取2^m×2ⁿ大小的区块。换言之，能够以上述编码/解码设定为基础生成区块大小以及范围等信息(例如指数、倍数相关信息等)。

如区块大小的最大值以及最小值等范围能够根据区块的类型进行确定。此外，一部分区块的区块范围信息能够明示生成，而一部分区块的区块范围信息能够默示确定。例如，编码区块以及变换区块能够明示生成相关信息，而预测区块能够进行默示处理相关信息。

在明示情况下，能够生成至少一个范围信息。例如，编码区块的范围相关信息能够生成与最大值以及最小值相关的信息，也能够以最大值与预先设定的最小值(例如8)之间的差异为基础生成。换言之，与范围相关的信息能够以上述设定为基础生成，也能够以最大值与最小值之间的指数的差异值信息为基础生成，但是并不限定于此。此外，能够生成与矩形形态的区块的水平、垂直长度相关的多个范围信息。

在默示情况下，能够以编码/解码设定(例如区块的类型、分割方式以及分割设定等)为基础获取范围信息。例如，预测区块能够从上级单位即编码区块(例如编码区块的最大大小M×N、最小大小m×n)中根据可从预测区块的分割设定(例如四叉树分割+分割深度0)获取到的候选组(在本实例中为M×N以及m/2×n/2)获取最大值以及最小值信息。

区块分割部的初始(或起始)区块的大小以及形态能够从上级单位进行确定。换言之，编码区块能够将基本编码区块作为初始区块，而预测区块能够将编码区块作为初始区块。此外，变换区块能够将编码区块或预测区块作为初始区块，这能够根据编码/解码设定进行确定。

例如，当编码模式为帧内(intra)时，预测区块能够是变换区块的上级单位，而当编码模式为帧间(inter)时，预测区块能够是独立于变换区块的单位。分割的起始单位即初始区块能够被分割成较小的区块，而在对区块分割的最佳大小以及形态进行确定之后，能够将上述区块确定为下级单位的初始区块。分割的起始单位即初始区块能够被视为是上级单位的初始区块。其中，上级单位能够是编码区块，而下级单位能够是预测区块或变换区块，但是并不限定于此。在按照如上述实例所示的方式对初始区块进行确定之后，能够结合上级单位执行查找最佳大小以及形态的区块的分割过程。

换言之，区块分割部能够将基本编码单位(或最大编码单位)分割成至少一个编码单位(或下级编码单位)。或者，编码单位能够被分割成至少一个预测单位，也能够被分割成至少一个变换单位。编码单位能够被分割成至少一个编码区块，而编码区块能够被分割成至少一个预测区块，也能够被分割成至少一个编码区块。预测单位能够被分割成至少一个预测区块，而变换单位能够被分割成至少一个变换区块。

在上述实例中，对根据区块的类型进行不同的分割设定的情况进行了说明。此外，一部分区块能够通过与其他区块结合而执行一个分割过程。例如，在将编码区块与变换区块结合成一个单位时，能够执行用于获取最佳区块大小以及形态的分割过程，这不仅能够是编码区块的最佳大小以及形态，也能够是变换区块的最佳大小以及形态。或者，能够将编码区块与变换区块结合成一个单位，也能够将预测区块与变换区块结合成一个单位，还能够将编码区块与预测区块以及变换区块结合成一个单位，除此之外还能够对其他区块进行结合。

在按照如上所述的方式查找最佳大小以及形态的区块时，能够生成与其相关的模式信息(例如分割信息等)。所有信息能够与在区块所属的构成部上生成的信息(例如预测相关信息以及变换相关信息等)一起被收录到比特流中并传送到解码器，而在解码器上能够以相同水准的单位进行解析并在影像解码过程中使用。

接下来将对分割方式进行说明，而为了说明的便利将假定初始区块为正方形的形态，但是在初始区块为长方形的形态时也能够相同或类似地适用，因此并不限定于此。

图4是对适用本发明之一实施例的基于树状结构的区块形态进行图示的示意图。

分割形态能够根据在分割时所使用的树状结构的类型进行确定。参阅图4，分割形态能够包括不执行分割的一个2N×2N、执行基于二叉树的水平分割的两个2N×N、执行基于二叉树的垂直分割的两个N×2N以及执行基于四叉树的分割的四个N×N等，但是并不限定于此。

具体来讲，在执行基于四叉树的分割时可获取的候选区块能够是4a以及4d，而在执行基于二叉树的分割时可获取的候选区块能够是4a、4b以及4c。

在执行基于四叉树的分割时，能够支持一个分割标志。其中，一个分割标志能够是分割与否标志。换言之，当四叉树分割的分割标志为0时能够不执行分割并获取如4a所示的区块，而当为1时能够通过执行分割而获取如4d所示的区块。

在执行基于二叉树的分割时，能够支持多个分割标志。其中，多个分割标志中的一个能够是分割与否标志，而另一个能够是分割方向标志。换言之，当二叉树分割的分割标志中的分割与否标志为0时能够不执行分割并获取如4a所示的区块，而当为1时能够根据分割方向标志获取如4b或4d所示的区块。

图5是对适用本发明之一实施例的多种区块形态进行图示的示意图。

参阅图5，区块4N×4N能够根据分割设定以及分割方法分割成多种形态，也能够被分割成在图5中没有进行图示的其他形态。

作为一实施例，能够允许基于树状结构的非对称分割。例如，在执行二叉树的分割的情况下，区块4N×4N能够允许如4N×2N(5b)以及2N×4N(5c)等对称区块，也能够允许如4N×3N/4N×N(5d)、4N×N/4N×3N(5e)、3N×4N/N×4N(5f)以及N×4N/3N×4N(5g)的非对称区块。当分割标志中允许非对称分割的标志根据分割设定等被明示或默示禁用时，候选区块根据其分割方向标志能够是5b或5c，而当允许非对称分割的标志被启用时，候选区块根据其分割方向标志能够是5b、5d以及5e或5c、5f以及5g。其中，非对称分割时的5d至5g中图示了左右或上下的长度比例为1:3或3:1的情况，但是也能够使用1:2、1:4、2:3、2:4以及3:4等情况，因此并不限定于此。

作为二叉树分割的分割标志，除了生成分割与否标志以及分割方向标志之外还能够追加生成分割形态标志。其中，分割形态标志能够是指对称或非对称，而当分割形态标志表示非对称时，还能够生成用于指示分割比例的标志。用于表示分割比例的标志，能够根据预先设定的候选组利用预先分配的索引进行表示。例如，当支持分割比例为1:3或3:1的候选组时，能够利用1比特的标志选择分割比例。

此外，作为二叉树分割的分割标志，除了生成分割与否标志以及分割方向标志之外还能够追加生成用于表示分割比例的标志。此时，与分割比例相关的候选中能够包括对称比例为1:1的候选。

在本发明中，将假定利用追加的分割形态标志对二叉树分割进行区分的情况为例进行说明，除非另有明确的说明，否则二叉树分割能够是指对称二叉树分割。

作为另一实施例，基于树状结构的分割还能够允许追加的树状分割。例如，能够容许三叉树(Ternary Tree)、四叉型树(Quad Type Tree)、八叉树(Oeta Tree)等分割，借此能够获取n个分割区块(n为整数)。换言之，在三叉树分割时能够获取3个分割区块，在四叉型树分割时能够获取4个分割区块，而在八叉树分割时能够获取8个分割区块。

在三叉树分割时所支持的区块能够是4N×2N/4N×N_2(5h)、4N×N/4N×2N/4N×N(5i)、4N×N_2/4N×2N(5j)、2N×4N/N×4N_2(5k)、N×4N/2N×4N/N×4N(51)以及N×4N_2/2N×4N(5m)，在四叉型树分割时所支持的区块能够是2N×2N(5n)、4N×N(5o)以及N×4N(5p)，而在八叉树分割时所支持的区块能够是N×N(5q)。

基于树状结构的分割的支持与否，能够根据编码/解码设定默示确定或明示生成相关信息。此外，能够根据编码/解码设定单独使用，或对二叉树、三叉树以及四叉树等分割进行混合使用。

例如，在二叉树分割时能够根据分割方向支持如5b或5c所示的区块，而在假定二叉树分割的使用范围与三叉树分割的使用范围部分重叠的情况下，对二叉树分割以及三叉树分割进行混合使用时能够支持如5b、5c、5i以及5l等所示的区块。当允许除现有树状结构之外的追加分割的标志根据编码/解码设定被明示或默示禁用时可获取的候选区块能够是5b或5c，而当被启用时可获取的候选区块根据其分割方向能够是5b、5i(或5b、5h、5i、5j)或5c、5l(或5c、5k、5l、5m)。

其中，对三叉树分割时的左/中/右或上/中/下长度比例为2:1:1、1:2:1或1:1:2的情况进行了图示，但是根据编码设定也能够使用其他比例，因此并不限定于此。

在执行基于三叉树的分割时，能够支持多个分割标志。其中，多个分割标志中的一个能够是分割与否标志，而另一个能够是分割方向标志，还能够进一步包括分割比例标志。

者能够与二叉树分割时的分割标记类似，在本发明中将假定因为包括根据分割方向支持的比例为1:2:1的一个候选而对分割比例标志进行省略的情况为例进行说明。

在本发明中，能够根据分割方式适用自适应的编码/解码设定。

作为一实施例，能够根据区块的类型对分割方式进行确定。例如，编码区块以及变换区块能够执行四叉树分割，而预测区块能够执行四叉树以及二叉树(或三叉树等)分割。

作为另一实施例，能够根据区块的大小对分割方式进行确定。例如，能够在区块的最大值与最小值之间的一部分范围(例如a×b～c×d)内执行四叉树分割，而在其他一部分范围(例如e×f～g×h)内执行二叉树(或三叉树等)分割。其中，一部分范围能够是指比其他一部分范围更大的大小，但是并不限定于此。其中，基于分割方式的范围信息能够明示生成或默示确定，其范围能够发生重叠。

作为又一实施例，能够根据区块(或分割前区块)的形态对分割方式进行确定。例如，当区块的形态为正方形时，能够执行四叉树分割以及二叉树分割(或三叉树分割等)。或者，当区块的形态为长方形时，能够执行二叉树分割(或三叉树分割等)。

基于树状结构的分割，能够利用递归方式执行。例如，当分割深度(depth)为k的编码区块的分割标志为0时，编码区块的编码是在分割深度为k的编码区块上执行，而当分割深度为k的编码区块的分割标志为1时，编码区块的编码将根据分割方式在分割深度为k+1的4个子编码区块(四叉树分割时)或2个子编码区块(二叉树分割时)或3个子编码区块(三叉树分割时)中执行。子编码区块将重新设定为编码区块k+1且能够通过上述过程被再次分割成子编码区块k+2，如上所述的分级分割方式能够根据如分割范围以及分割容许深度等分割设定进行确定。

此时，用于表达分割信息的比特流的结构能够从一个以上的扫描方法中进行选择。例如，能够以分割深度顺序为基准构成分割信息的比特流，也能够以分割与否为基准构成分割信息的比特流。例如，在以分割深度顺序为基准的情况下，使用在以初始区块为基准获取当前水准深度的分割信息之后再获取下一个水准深度的分割信息的方法，而在以分割与否为基准的情况下，使用优先获取以初始区块为基准分割的区块中的追加分割信息的方法，也能够考虑使用其他追加的扫描方法。在本发明中，将假定以分割与否为基准构成分割信息的比特流的情况。

如上所述，能够根据编码/解码设定支持一种树状分割或支持多种树状分割。

在有多种树状分割可用的情况下，能够按照预先设定的优先顺序执行分割。具体来讲，按照优先顺序执行分割，其中在已经执行前一个顺序的分割的情况下(即被分割成2个以上的区块)，结束在相应分割并在将子区块重新设定为编码区块之后在下一个分割深度上执行分割，而在没有执行前一个顺序的分割的情况下则能够执行下一个顺序的分割。在不执行所有树状分割的情况下，则结束在相应区块中的分割过程。

在上述实例中，当与优先的顺序对应的分割标志为真(分割o)时能够进一步包括与相应的分割方式相关的追加分割信息(分割方向标志等)，而当为假(分割x)时能够由与下一个顺序对应的分割方式的分割信息(分割标志、分割方向标志等)构成。

在上述实例中利用至少一种分割方式执行分割时，能够在下一个子区块(或下一个分割深度)中重新按照上述优先顺序执行分割。或者，与在之前的分割结果中没有执行分割的优先顺序对应的分割，能够从下一个子区块的分割候选组中排除。

例如，在支持四叉树分割以及二叉树分割、四叉树分割的优先顺序较高且在分割深度k上执行四叉树分割时，对于通过利用四叉树执行分割而得到的分割深度为k+1的子区块上能够再次从四叉树开始执行分割。

而当在分割深度k上没有执行四叉树分割而是执行了二叉树分割时，分割深度为k+1的下一个子区块能够设定为允许重新从四叉树开始执行分割或将四叉树从候选组中排除而只允许执行二叉树分割。这能够根据编码/解码设定进行确定，在本发明中将假定后一种情况为例进行说明。

或者，在能够执行多种树状分割时，能够追加生成与分割方式相关的选择信息，而且能够按照所选择的分割方式执行分割。在本实例中，能够进一步包括与所选择的分割方式相关的分割信息。

图6是对用于对适用本发明之一实施例的区块分割进行说明的区块进行图示的示意图。

接下来，将对能够以基本编码区块为开始按照一种以上的分割方法获取到的区块的大小以及形态进行说明，但这仅为一实例，因此并不限定于此。此外，后续说明的分割类型、分割信息以及分割信息的构成顺序等分割设定也仅为一实例，因此并不限定于。

参阅图6，粗实线能够代表基本编码区块，而粗虚线能够代表四叉树分割边界，而双实线能够代表对称二叉树分割边界。此外，实线能够代表三叉树分割边界，而细虚线能够代表非对称三叉树分割边界。

为了说明的便利，将假定以基本编码区块(例如128×128)为基准对左上区块、右上区块、左下区块以及右下区块(例如分别为64×64)分别进行区块分割设定。

此外，假定为通过对初始区块(例如128×128)执行一次分割动作而获取到了4个子区块(左上区块、右上区块、左下区块以及右下区块)的状态，此时分割深度已经从0增加至1，而与四叉树分割相关的分割信息为最大区块128×128、最小区块8×8、最大分割深度4，与四叉树分割相关的分割设定被共同适用于各个区块。

此外，当各个子区块支持多重树状方式的分割时，能够通过多个区块分割设定对可获取到的区块的大小以及形态进行确定。在本实例中，假定二叉树分割以及四叉树分割时的最大区块为64×64，最小区块为一侧长度4，最大分割深度为4。

根据上述假定条件，接下来将对左上区块、右上区块、左下区块以及右下区块进行单独的说明。

1.左上区块(A1至A6)

在左上区块4M×4N中图示了支持单一树状方式的分割的情况，能够通过最大区块、最小区块以及分割深度等一个区块分割设定对可获取到的区块的大小以及形态进行确定。

左上区块是执行分割时可获取到的区块的形态为一种的情况，执行分割动作时所需要的分割信息能够是分割与否标志，而可获取到的候选能够是4M×4N以及2M×2N。其中，当分割与否标志为0时能够不执行分割，而当为1时能够执行分割。

参阅图6，左上区块4M×4N在当前深度1中能够在分割与否信息为1时执行四叉树分割，此时深度将从1增加至2并获取到A0至A3、A4、A5以及A6(分别为2M×2N)的区块。

在支持下述实例中所说明的多重树状方式的分割的情况下，仅支持四叉树分割时所生成的信息与本实例相同，是由分割与否标志构成，因此将省略与其相关的详细说明。

2.右上区块(A7至A11)

在右上区块4M×4N中图示了支持多重树状方式(四叉树分割以及二叉树分割，有分割优先顺序存在，四叉树分割→二叉树分割)的分割的情况，能够通过多个区块分割设定对可获取到的区块的大小以及形态进行确定。

右上区块是执行分割时可获取到的区块的形态为多种的情况，执行分割动作时所需要的分割信息能够是分割与否标志、分割类型标志、分割形态标志以及分割方向标志，可获取到的候选能够是4M×4N、4M×2N、2M×4N、4M×N/4M×3N、4M×3N/4M×N、M×4N/3M×4N以及3M×4N/M×4N。

当对象区块包含在四叉树分割以及二叉树分割均可执行的范围内时，能够根据四叉树分割以及二叉树分割均可执行的情况以及只可以执行一种树状分割的情况构成分割信息。

在上述说明中需要明确的是，“可执行的范围”是指对象区块(64×63)能够根据区块分割设定使用四叉树分割(128×128～8×8)以及二叉树分割{64×64～(64>>m)×(64>>n)，m+n为4}的情况，而“可执行的情况”是指在支持多种分割方式的情况下根据分割顺序以及规则等，四叉树分割以及二叉树分割均可执行的情况或只能够执行一种树状分割的情况。

(1)四叉树分割以及二叉树分割均可执行的情况

[表1]

	a	b	c	d	e
						四叉树分割(QT)	1
不分割(No Split)	0	0
						水平对称二叉树分割(SBT hor)	0	1	0	0
水平非对称二叉树分割(ABT hor)1/4	0	1	0	1	0
						水平非对称二叉树分割(ABT hor)3/4	0	1	0	1	1
垂直对称二叉树分割(SBT ver)	0	1	1	0
						垂直非对称二叉树分割(ABT ver)1/4	0	1	1	1	0
垂直非对称二叉树分割(ABT ver)3/4	0	1	1	1	1

在表1中，a能够是指用于指示四叉树分割与否的标志，而b能够是指用于指示二叉树分割与否的标志。此外，c能够是指用于指示分割方向的标志，d能够是指用于指示分割形态的标志，而e能够是指用于指示分割比例的标志。

参阅表1，当分割信息中的a为1时能够是指执行四叉树分割(QT)，而当为0时还能够包括b。当分割信息中的b为0时能够是指在相应的区块中不再执行分割(No Split)，而当为1时能够是指执行二叉树分割(BT)且还能够包括c以及d。当分割信息中的c为0时能够是指水平方向(hor)分割，而当为1时能够是指垂直方向(ver)分割。当分割信息中的d为0时能够是指执行对称二叉树(Symmetric Binary Tree，SBT)分割，而当为1时能够是指执行非对称二叉树(Asymmetric Binary Tree，ABT)分割且还能够包括e。当分割信息中的e为0时能够是指以1:4的左右或上下区块比例执行分割，而当为1时能够是指以相反的比例(3:4)执行分割。

(2)只可以执行二叉树分割的情况

[表2]

	b	c	d	e
					不分割(No Split)	0
水平对称二叉树分割(SBT hor)	1	0	0
					水平非对称二叉树分割(ABT hor)1/4	1	0	1	0
水平非对称二叉树分割(ABT hor)3/4	1	0	1	1
					垂直对称二叉树分割(SBT ver)	1	1	0
垂直非对称二叉树分割(ABT ver)1/4	1	1	1	0
					垂直非对称二叉树分割(ABT ver)3/4	1	1	1	1

在表2中，b至e的含义能够分别是指与表1中的b至e相同的标志。

参阅表2，在只可以执行二叉树分割的情况下，除了用于指示四叉树分割与否的标志(a)之外其他全部相同。换言之，在只可以执行二叉树分割的情况下，分割信息能够从b开始。

参阅图6，右上区块中的A7区块是在分割之前的区块即右上区块中可以执行四叉树分割但却执行了二叉树分割的情况，因此能够按照表1生成分割信息。

与此相反，A8至A11区块是在分割之前的区块即右上区块中没有执行四叉树分割而是执行了二叉树分割的情况，属于无法再次执行四叉树分割的情况，因此能够按照表2生成分割信息。

3.左下区块(A12至A15)

在左下区块4M×4N中图示了支持多重树状方式(四叉树分割、二叉树分割以及三叉树分割，有分割优先顺序存在，四叉树分割→二叉树分割或三叉树分割，而且能够选择分割方式，二叉树分割或三叉树分割)的分割的情况，能够通过多个区块分割设定对可获取到的区块的大小以及形态进行确定。

左下区块是执行分割时可获取到的区块的大小以及形态为多种的情况，执行分割动作时所需要的分割信息能够是分割与否标志、分割类型标志以及分割方向标志，可获取到的候选能够是4M×4N、4M×2N、2M×4N、4M×N/4M×2N/4M×N以及M×4N/2M×4N/M×4N。

当对象区块包含在四叉树分割、二叉树分割以及三叉树分割均可执行的范围内时，能够根据四叉树分割、二叉树分割以及三叉树分割均可执行的情况以及并非上述的情况构成分割信息。

(1)四叉树分割以及二叉树分割/三叉树分割均可执行的情况

[表3]

	a	b	c	d
					四叉树分割(QT)	1
不分割(No Split)	0	0
					水平二叉树分割(BT hor)	0	1	0	0
水平三叉树分割(TT hor)	0	1	0	1
					垂直二叉树分割(BT ver)	0	1	1	0
垂直三叉树分割(TT ver)	0	1	1	1

在表3中，a能够是指用于指示四叉树分割与否的标志，而b能够是指用于指示二叉树分割或三叉树分割与否的标志。此外，c能够是指用于指示分割方向的标志，d能够是指用于指示分割类型的标志。

参阅表3，当分割信息中的a为1时能够是指执行四叉树分割(QT)，而当为0时还能够包括b。当分割信息中的b为0时能够是指在相应的区块中不再执行分割(No Split)，而当为1时能够是指执行二叉树分割(BT)或三叉树分割(TT)且还能够包括c以及d。当分割信息中的c为0时能够是指水平方向(hor)分割，而当为1时能够是指垂直方向(ver)分割。当分割信息中的d为0时能够是指执行二叉树分割(BT)，而当为1时能够是指执行三叉树分割(TT)。

(2)只可以执行二叉树分割/三叉树分割的情况

[表4]

	b	c	d
				不分割(No Split)	0
水平二叉树分割(BT hor)	1	0	0
				水平三叉树分割(TT hor)	1	0	1
垂直二叉树分割(BT ver)	1	1	0
				垂直三叉树分割(TT ver)	1	1	1

在表4中，b至d的含义能够分别是指与表3中的b至d相同的标志。

参阅表4，在只可以执行二叉树分割/三叉树分割的情况下，除了用于指示四叉树分割与否的标志(a)之外其他全部相同。换言之，在只可以执行二叉树分割/三叉树分割的情况下，分割信息能够从b开始。

参阅图6，左下区块中的A12以及A15区块是在分割之前的区块即左下区块中可以执行四叉树分割但却执行了二叉树分割/三叉树分割的情况，因此能够按照表3生成分割信息。

与此相反，A13以及A14区块是在分割之前的区块即左下区块中没有执行四叉树分割而是执行了三叉树分割的情况，因此能够按照表4生成分割信息。

4.右下区块(A16至A20)

在右下区块4M×4N中图示了支持多重树状方式(与左下区块的情况相同，但是在本实例中支持非对称二叉树分割)的分割的情况，能够通过多个区块分割设定对可获取到的区块的大小以及形态进行确定。

右下区块是执行分割时可获取到的区块的形态为多种的情况，执行分割动作时所需要的分割信息能够是分割与否标志、分割类型标志、分割形态标志以及分割方向标志，可获取到的候选能够是4M×4N、4M×2N、2M×4N、4M×N/4M×3N、4M×3N/4M×N、M×4N/3M×4N、3M×4N/M×4N、4M×N/4M×2N/4M×N以及M×4N/2M×4N/M×4N。

(1)四叉树分割以及二叉树分割/三叉树分割均可执行的情况

[表5]

	a	b	c	d	e	f
							四叉树分割(QT)	1
不分割(No Split)	0	0
							水平三叉树分割(TT hor)	0	1	0	0
水平对称二叉树分割(SBT hor)	0	1	0	1	0
							水平非对称二叉树分割(ABT hor)1/4	0	1	0	1	1	0
水平非对称二叉树分割(ABT hor)3/4	0	1	0	1	1	1
							垂直三叉树分割(TT ver)	0	1	1	0
垂直对称二叉树分割(SBT ver)	0	1	1	1	0
							垂直非对称二叉树分割(ABT ver)1/4	0	1	1	1	1	0
垂直非对称二叉树分割(ABT ver)3/4	0	1	1	1	1	1

在表5中，a能够是指用于指示四叉树分割与否的标志，而b能够是指用于指示二叉树分割或三叉树分割与否的标志。此外，c能够是指用于指示分割方向的标志，d能够是指用于指示分割类型的标志。e能够是指用于指示分割形态的标志，f能够是指用于指示分割比例的标志。

参阅表5，当分割信息中的a为1时能够是指执行四叉树分割(QT)，而当为0时还能够包括b。当分割信息中的b为0时能够是指在相应的区块中不再执行分割(No Split)，而当为1时能够是指执行二叉树分割(BT)或三叉树分割(TT)且还能够包括c以及d。当分割信息中的c为0时能够是指水平方向(hor)分割，而当为1时能够是指垂直方向(ver)分割。当分割信息中的d为0时能够是指执行三叉树分割(TT)，而当为1时能够是指执行二叉树分割(BT)且还能够包括e。当分割信息中的e为0时能够是指执行对称二叉树分割(SBT)，而当为1时能够是指执行非对称二叉树分割(ABT)且还能够包括f。当分割信息中的f为0时能够是指以1:4的左右或上下区块比例执行分割，而当为1时能够是指以相反的比例(3:4)执行分割。

(2)只可以执行二叉树分割/三叉树分割的情况

[表6]

	b	C	d	e	f
						不分割(No Split)	0
水平三叉树分割(TT hor)	1	0	0
						水平对称二叉树分割(SBT hor)	1	0	1	0
水平非对称二叉树分割(ABT hor)1/4	1	0	1	1	0
						水平非对称二叉树分割(ABT hor)3/4	1	0	1	1	1
垂直三叉树分割(TT ver)	1	1	0
						垂直对称二叉树分割(SBT ver)	1	1	1	0
垂直非对称二叉树分割(ABT ver)1/4	1	1	1	1	0
						垂直非对称二叉树分割(ABT ver)3/4	1	1	1	1	1

在表6中，b至f的含义能够分别是指与表5中的b至f相同的标志。

参阅表6，在只可以执行二叉树分割/三叉树分割的情况下，除了用于指示四叉树分割与否的标志(a)之外其他全部相同。换言之，在只可以执行二叉树分割/三叉树分割的情况下，分割信息能够从b开始。

参阅图6，右下区块中的A20区块是在分割之前的区块即右下区块中可以执行四叉树分割但却执行了二叉树分割/三叉树分割的情况，因此能够按照表5生成分割信息。

与此相反，A16至A19区块是在分割之前的区块即右下区块中没有执行四叉树分割而是执行了二叉树分割的情况，因此能够按照表6生成分割信息。

图7是对适用本发明之一实施例的影像编码方法进行图示的顺序图。

参阅图7，适用本发明之一实施例的影像编码装置，能够对图像的大小信息以及基本编码区块的大小信息进行设定(S710)，还能够将图像划分成基本编码区块单位(S720)。此外，影像编码装置能够按照区块扫描顺序对基本编码区块执行编码(S730)，然后将编码生成的比特流传送到影像解码装置。

此外，适用本发明之一实施例的影像解码装置能够按照与影像编码装置对应的方式工作。换言之，影像解码装置能够以从影像编码装置接收到的比特流为基础对图像的大小信息以及基本编码区块的大小信息进行重建，从而将图像划分成基本编码区块单位。此外，影像解码装置能够按照区块扫描顺序对基本编码区块执行解码。

其中，基本编码区块大小信息能够是指执行编码的最大区块的大小信息，而区块扫描顺序能够是栅格形扫描瞬息，但是也能够使用除此之外的其他多种扫描顺序，因此并不限定于此。

如上所述的大小信息能够利用2的指数幂表示，能够将最大区块的大小信息直接利用2的指数幂表示或者利用与预先设定的特定大小(例如8或16)之间的指数幂差异值表示。例如，当基本编码区块为8×8至128×128之间的值时，能够利用与8之间的指数幂差异值生成大小信息。当最大区块大小为64×64时，能够利用log2(64)-log2(8)＝3生成大小信息。在本实例中是对基本编码区块的大小信息进行说明，但是这些说明在区块分割设定中根据各个树状结构类型明示生成最大、最小大小信息时同样能够适用。

但是，当图像的大小不是基本编码区块的整数倍时，无法按照如上所述的方式在编码/解码器中执行编码/解码，因此可能需要进行各种变形。与其相关的详细方法，将在后续的内容中进行说明。

此外，在后续说明的实例中将假定图像由一个条带、并行区块构成的情况为例进行说明，但是即使是在被分割成多个条带、并行区块的情况下，以图像为基准的位于右侧或下侧边界的区块也可能不是基本编码区块大小。这种情况可能会在图像首先被分割成区块之后再以区块单位分割成并行区块、条带的设定(即，位于边界的单位的区块可能不是整数倍)状态下发生。

或者，在图像首先被分割成并行区块、条带等之后再划分成区块的状态下可能会有其他情况发生。即，因为首先会设定并行区块、条带等的大小，因此可能会有各个并行区块、条带不是基本编码区块的整数倍的情况发生。这表示除了以图像为基准的右侧或下侧边界之外，在图像的中间也可能有区块不是基本编码区块大小的情况发生。因此，虽然可以在后续说明的实例中适用，但是需要在考虑到区块可能不是并行区块以及条带的整数倍的前提下进行适用。

图8a以及图8b是对适用本发明之一实施例的被分割成多种大小的基本编码区块的影像进行图示的示意图。

图8a是利用64×64大小的基本编码区块对832×576大小的影像进行划分时的示意图。参阅图8a，图像(影像)的水平长度是基本编码区块的水平长度的整数倍即13倍，而图像的垂直长度是基本编码区块的垂直长度的整数倍即9倍。因此，影像能够被划分成117个基本编码区块而执行编码/解码。

图8b是利用128×128大小的基本编码区块对832×576大小的影像进行划分时的示意图。参阅图8b，图像的水平长度是基本编码区块的水平长度的非整数倍即6.5倍，而图像的垂直长度是基本编码区块的垂直长度的非整数倍即4.5倍。

在本发明中，影像的外扩边界能够是指图像的左侧、右侧、上侧、下侧、左上侧、左下侧、右上侧以及右下侧等便捷，但是在通常是以影像的做上侧坐标为基准执行区块分割的假定条件下，将以右侧、下侧以及右下侧边界为中心进行说明。

参阅图8b，在将位于影像外扩边界(右侧、下侧以及右下侧)的区域划分成基本编码区块时，虽然相应区块的左上侧的坐标位于图像内部，但是右下侧的坐标却位于图像外部，而且根据相应区块的位置(右侧边界、下侧边界或右下侧边界)，可能右上侧的坐标位于图像外部(P_R)，也可能左下侧的坐标位于图像外部(P_D)，还可能两个坐标都位于图像外部(P_DR)。

此时，没有位于影像的外扩边界的24个128×128大小的基本编码区块能够执行编码/解码，但是位于影像的外扩边界的区域(P_R、P_D以及P_DR)没有被划分成基本编码区块，因此可能需要进行其他处理。

为了解决如上所述的情况，能够采用多种不同的方法。例如，能够采用如对影像进行放大(或填充)之后执行编码/解码的方法以及按照基本编码区块的特殊情况执行编码/解码的方法等。其中，对影像进行放大之后执行编码/解码的方法，能够是以维持影像编码/解码结构的统一性为目的执行的实例，而按照基本编码区块的特殊情况执行编码/解码的方法，能够是以提升影像编码/解码性能为目的执行的实例。

接下来，在本发明中作为如上所述的图像大小不是基本编码区块大小的整数倍的情况的解决方法，将对1.基本编码区块调整方法、2.影像大小调整方法、3.自适应影像数据处理方法以及4.基于多种分割方法的自适应影像数据处理方法进行详细的说明。

1.基本编码区块调整方法

基本编码区块调整方法是在图像大小不是基本编码区块大小的整数倍的情况下借用区块分割部所支持的区块中的至少一个的方法。

图9是用于对适用本发明之一实施例的基本编码区块调整方法进行说明的第1例示图。

参阅图9，当图像的大小为1856×928、基本编码区块的大小为128×128、支持如四叉树等单一树状方式的分割且最小区块为8×8的情况下，基本编码区块能够通过区块分割部借用64×64、32×32、16×16以及8×8的区块。其中，当在分割深度为0的128×128区块中不执行分割时，还能够借用128×128的区块，但是因为图像的大小并不是128×128的整数倍，因此能够从候选组中排除。

因为图像的水平长度为1856而基本编码区块的水平长度为128，因此在图像的右侧边界能够留下64的长度。此时，因为位于图像的右侧边界上的区块的大小能够是64×128，因此基本编码区块能够从区块分割部所支持的候选区块中借用64×64大小的区块。其中，所借用的区块能够是在候选区块中以64×128为基准的最大大小的区块或分割之后的数量最小的区块，在借用64×64大小的区块的情况下，64×128能够由2个64×64大小的区块构成。

此外，因为图像的垂直长度为928而基本编码区块的垂直长度为128，因此在图像的下侧边界能够留下32的长度。此时，因为位于图像的下侧边界上的区块的大小能够是128×32，因此基本编码区块能够从区块分割部所支持的候选区块中借用32×32大小的区块。其中，所借用的区块能够是在候选区块中以128×32为基准的最大大小的区块或分割之后的数量最小的区块，在借用32×32大小的区块的情况下，128×32能够由4个32×32大小的区块构成。

此外，因为位于图像的右下侧边界上的区块的大小是64×32，因此基本编码区块能够从区块分割部所支持的候选区块中借用32×32大小的区块。其中，所借用的区块能够是在候选区块中以64×32为基准的最大大小的区块或分割之后的数量最小的区块，在借用32×32大小的区块的情况下，64×32能够由2个32×32大小的区块构成。

换言之，一个基本编码区块(128×128)在影像的右侧边界能够由2个经过调整的基本编码区块(64×64)构成，在影像的下侧边界能够由4个经过调整的基本编码区块(32×32)构成，而在影像的右下侧边界能够由2个经过调整的基本编码区块(32×32)构成。

图10是用于对适用本发明之一实施例的基本编码区块调整方法进行说明的第2例示图。

参阅图10，在图像的大小以及基本编码区块的大小与图9相同、支持如四叉树分割以及二叉树分割等多重树状方式的分割且最小区块为8×8的情况下，基本编码区块能够通过区块分割部借用如64×64、32×32、16×16以及8×8等正方形区块以及如128×64、64×128、64×32、32×64、32×16、16×32、16×8以及8×16等长方形区块。其中，也能够通过四叉树分割以及二叉树分割借用吹瓶以及垂直比例超过2倍的区块，而为了说明的便利将其从候选组中排除，但是并不限定于此。

因为图像的水平长度为1856而基本编码区块的水平长度为128，因此在图像的右侧边界能够留下64的长度。此时，因为位于图像的右侧边界上的区块的大小能够是64×128，因此基本编码区块能够从区块分割部所支持的候选区块中借用64×128大小的区块。其中，所借用的区块能够是在候选区块中以64×128为基准的最大大小的区块或分割之后的数量最小的区块，在借用64×128大小的区块的情况下，64×128能够由1个64×128大小的区块构成。

此外，因为图像的垂直长度为928而基本编码区块的垂直长度为128，因此在图像的下侧边界能够留下32的长度。此时，因为位于图像的下侧边界上的区块的大小能够是128×32，因此基本编码区块能够从区块分割部所支持的候选区块中借用64×32大小的区块。其中，所借用的区块能够是在候选区块中以128×32为基准的最大大小的区块或分割之后的数量最小的区块，在借用64×32大小的区块的情况下，128×32能够由2个64×32大小的区块构成。

此外，因为位于图像的右下侧边界上的区块的大小是64×32，因此基本编码区块能够从区块分割部所支持的候选区块中借用64×32大小的区块。其中，所借用的区块能够是在候选区块中以64×32为基准的最大大小的区块或分割之后的数量最小的区块，在借用64×32大小的区块的情况下，64×32能够由1个64×32大小的区块构成。

换言之，一个基本编码区块(128×128)在影像的右侧边界能够由1个经过调整的基本编码区块(64×128)构成，在影像的下侧边界能够由2个经过调整的基本编码区块(64×32)构成，而在影像的右下侧边界能够由2个经过调整的基本编码区块(64×32)构成。

参阅图10，借用区块能够根据剩余的水平或垂直长度在维持区块的水平或垂直长度的状态下(执行第1次过程)进行确定。换言之，影像的右侧能够从通过剩余的水平长度(64)表示的64×128、64×64以及64×32大小的区块中确定借用区块(64×128)，而影像的下侧能够从通过剩余的垂直长度(32)表示的64×32、32×32以及16×32大小的区块中确定借用区块(64×32)。

但是，当区块分割部所支持的区块中没有与剩余的水平或垂直长度对应的区块时，能够通过执行2次以上的过程确定借用区块。与其相关的详细信息将在后续的内容中结合图10进行说明。

图11a以及图11b是对用于对适用本发明之一实施例的基本编码区块调整方法进行说明的边界区块进行图示的示意图。

参阅图11a，假定基本编码区块的大小为128×128且因为图像大小不是基本编码区块大小的整数倍而导致在图像的下侧边界有128×80大小的区块存在。此时，128×80大小的区块能够被称之为是边界区块(boundary block)。

基本编码区块能够从区块分割部所支持的候选区块中借用与128×80大小近似表示的128×64、64×64以及32×64大小的区块中的一个即128×64大小的区块，此时能够有128×16大小的区块残留。

此时，基本编码区块能够从区块分割部所支持的候选区块中追加借用与128×16大小近似表示的32×16、16×16以及8×16大小的区块中的一个即32×16大小的区块。

参阅图11b，假定基本编码区块的大小为128×128且因为图像大小不是基本编码区块大小的整数倍而导致在图像的右侧边界有56×128大小的区块存在。

基本编码区块能够从区块分割部所支持的候选区块中借用与56×128大小近似表示的32×64、32×32以及32×16大小的区块中的一个即32×64大小的区块，此时能够有24×128大小的区块残留。

此时，基本编码区块能够从区块分割部所支持的候选区块中追加借用与24×128大小近似表示的16×32、16×16以及16×8大小的区块中的一个即16×32大小的区块，此时能够有8×128大小的区块残留。

基本编码区块能够从区块分割部所支持的候选区块中最终借用与8×128大小近似表示的区块中的一个即8×16大小的区块。

换言之，在如图11a所示的情况下，一个编码区块(128×128)能够由经过第1次调整的1个基本编码区块(128×64)以及经过第2次调整的4个基本编码区块(32×16)构成，而在如图11b所示的情况下，能够由经过第1次调整的2个基本编码区块(32×64)、经过第2次调整的4个基本编码区块(16×32)以及经过第3次调整的8个基本编码区块(8×16)构成。

图12是对适用本发明之一实施例的通过调整基本编码区块而执行影像编码的方法进行图示的顺序图。

参阅图12，适用本发明之一实施例的对基本编码区块进行调整的影像编码装置，能够对图像的大小信息、基本编码区块的大小信息以及区块分割信息进行设定(S1210)，然后根据区块位置将图像划分成以基本编码区块或区块分割信息为基础重新设定的基本编码区块单位(S1220)。此外，影像编码装置能够按照重新设定的区块扫描顺序对基本编码区块执行编码(S1230)，然后将编码生成的比特流传送到影像解码装置。

此外，适用本发明之一实施例的影像解码装置能够按照与影像编码装置对应的方式工作。换言之，影像解码装置能够以从影像编码装置接收到的比特流为基础对图像的大小信息、基本编码区块的大小信息以及区块分割信息进行重建，从而将图像划分成以基本编码区块或区块分割信息为基础重新设定的基本编码区块单位。

此外，影像解码装置能够按照重新设定的区块扫描顺序对基本编码区块执行解码。

其中，区块分割信息能够是指与可在最大区块大小与最小区块大小之间获取到的区块相关的分割信息。具体来讲，能够是指与对通过区块分割部获取多种大小以及形态的区块造成影响的区块分割设定等相关的明示生成信息(例如根据色彩成分<Y/Cb/Cr>、影像类型<I/P/B>等支持的树状结构信息、不同树状结构的最大和最小大小信息以及最大分割深度信息以及区块形态限制信息<水平/垂直比例信息>等)，还能够包括在编码/解码器中预先确定的如分割顺序、分割规模等默示信息。

此外，当图像不是基本编码区块的整数倍时，因为在图像的右侧或下侧边界上无法划分成上述基本编码区块大小，因此能够根据区块分割部所支持的区块分割设定对所支持的区块大小的基本编码区块重新设定之后再进行划分。换言之，位于图像边界上的一个基本编码区块能够由至少一个经过重新设定的基本编码区块构成并进行划分。

此外，因为图像的边界能够由一个以上的基本编码区块构成，因此在位于图像边界的基本编码区块上能够适用如z扫描等一部分扫描顺序。例如，在图11a的扫描顺序中能够首先对128×64区块进行扫描，接下来再按照从左到右的方向对位于下侧的4个32×16区块进行扫描。

2.影像大小调整方法

影像大小调整方法是在图像大小不是基本编码区块大小的整数倍时对影像的大小进行放大的方法。

图13a至图13b是用于对适用本发明之一实施例的影像大小调整方法进行说明的第1例示图。

参阅图13a，当图像的大小为832×576且基本编码区块的大小为128×128时，在图像的右侧边界以及下侧边界能够分别留下64的长度。在如上所述的情况下，图像的大小能够通过在水平以及垂直方向上分别放大64长度的方式进行调整。

参阅图13b，经过放大的图像的大小能够是896×640，而经过放大的图像能够被划分成35个128×128大小的基本编码区块。

接下来，将对影像大小调整方法进行更为详细的说明。在执行图像放大时，图像的大小能够被放大至大于原始图像的基本编码区块的整数倍大小中的最小值。参阅图11a，因为图像的水平长度为832，因此虽然有大于图像的水平长度而且是基本编码区块的整数倍大小的896以及1024等长度存在，但是因为其中的896是多个长度中的最小长度，因此能够将图像的水平长度放大至896。此外，因为图像的垂直长度为576，因此虽然有大于图像的垂直长度而且是基本编码区块的整数倍大小的640以及768等长度存在，但是因为其中的640是多个长度中的最小长度，因此能够将图像的垂直长度放大至896。但是，图像的放大标准也能够采用其他设定，并不限定于此。

其中，放大区域能够利用预先设定的像素值进行填充或利用位于放大区域的边界上的像素值进行填充。

作为一实施例，在利用预先设定的像素值对放大区域进行填充的情况下，预先设定的像素值能够是包含于根据比特深度确定的像素值范围内的一个值或包含于构成实际影像的像素值范围内的一个值。

其中，根据比特深度确定的像素值范围能够是0至最大值2ⁿ-1(n为比特数)。例如，将根据比特深度确定的像素值范围内的中间值作为预先设定的像素值使用且比特数为10时，预先设定的像素值能够是0至1023的范围中的512。此外，能够将构成实际影像的像素值范围内的中间值作为预先设定的像素值使用。例如，当构成实际影像的像素值范围为最小值x至最大值y时，预先设定的像素值能够使用x至y的范围中的中间值。如上所述的选择预先设定的像素值的方法仅为一个实例，因此并不限定于此。

作为另一实施例，在利用位于区域边界上的像素值填充放大区域的情况下，能够使用位于影像的右侧边界以及下侧边界的像素。换言之，从影像的右侧边界放大的区域能够通过沿着水平方向复制位于影像右侧边界上的像素的方式进行填充，而从影像的下侧边界放大的区域能够通过沿着垂直方向复制位于影像下侧边界上的像素的方式进行填充。从影像的右下侧边界放大的区域能够通过沿着对角线方向复制位于影像右下侧边界上的像素的方式进行填充。

此外，在如360度影像等一部分影像中，放大区域的数据能够从在3维空间上{例如球体(sphere)}具有连续性(或相关性)的区域获取。例如，在如等距柱状投影(EquirectangularProjection)等投影格式上对象影像的右侧放大的区域进行填充时，放大区域能够利用位于影像左侧的像素值进行填充。这一实例属于因为将3维影像配置到2维空间上的设定而在影像内部包含虽然位于影像边界(即在2维空间内)但实际上具有相关性的数据的情况。

在对数据进行填充的方法中，除了360度影像的情况之外都能够属于通过向放大区域填充不必要的数据而对图像进行放大之后再执行编码/解码的情况。

图14是用于对适用本发明之一实施例的影像大小调整方法进行说明的第2例示图。

影像的放大区域能够根据影像的大小以及基本编码区块的大小进行确定，从位于影像边界上的基本编码区块放大的区域所占的比重能够小于或大于在基本编码区块中包含实际影像的区域的比重。

参阅图14，在基本编码区块的大小为64×64且图像大小不是基本编码区块大小的整数倍的情况下，图像能够从右侧边界放大10的水平长度并从下侧边界放大52的垂直长度。换言之，从右侧边界放大的区域能够小于相应的基本编码区块中所包含的原始影像的区域，而从下侧边界放大的区域能够大于相应的基本编码区块中所包含的原始影像的区域。

即，包括图像的右侧边界的基本编码区块的放大区域相对较少，因此其编码/解码性能的下降能够相对较少，但是包括图像的下侧边界的基本编码区块的放大区域相对较大，因此其编码/解码性能的下降能够相对较大。

为了解决如上所述的问题，能够使用借用区块分割部所支持的区块中的一个的方法，或者使用最小化放大数据的方法。借用区块分割部所支持的区块中的一个的方法已经在上述内容中进行了说明，所以接下来将对最小化放大数据的方法进行说明。

作为一实施例，假定基本编码区块支持如四叉树等单一树状分割，最小区块为8×8，通过区块分割部能够借用64×64、32×32、16×16以及8×8大小的正方形区块。此外，假定图像的边界部分能够根据编码/解码设定按照上述区块中的一个执行放大，且能够借此对基本编码区块进行(重新)设定或(重新)调整。其中，编码/解码设定能够是大于剩余大小的区块中大小差异最小的区块或能够由最少的数量构成的区块等，但是并不限定于此。

参阅图14，在图像的右侧边界能够留下54的长度，因此位于右侧边界上的区块大小能够是54×64。其中，位于右侧边界上的区块为了借用区块分割部所支持的候选区块中与自己的大小差异最小的64×64大小的区块而能够从右侧边界放大10的长度。因此，放大区域(64×64)能够由1个经过调整的基本编码区块(64×64)构成，但是因为经过调整的编码区块的大小与经过调整之前的基本编码区块的大小相同，因此能够与将图像的大小放大到基本编码区块大小的整数倍的情况相同。

在图像的下侧边界能够留下12的长度，因此位于右侧边界上的区块大小能够是64×12。其中，位于下侧边界上的区块为了借用区块分割部所支持的候选区块中与自己的大小差异最小的16×16大小的区块而能够从下侧边界放大4的长度。因此，放大区域(64×16)能够由4个经过调整的基本编码区块(16×16)构成。

作为另一实施例，假定基本编码区块支持如四叉树分割以及二叉树分割等多重树状分割，且通过区块分割部不仅能够借用64×64、32×32、16×16以及8×8大小的正方形区块，还能够借用如64×32、32×64、64×16、16×64、64×8、8×64、32×16、16×32、32×8、8×32、16×8以及8×16等长方形区块。

在图像的右侧边界能够留下54的长度，因此位于右侧边界上的区块大小能够是54×64。此时，位于右侧边界上的区块能够为了借用与自身的水平长度差异较少的水平长度为64的候选区块(64×64、64×32、64×16以及64×8大小的区块)中差异最小的64×64大小的区块而在右侧边界放大10的长度。

在图像的下侧边界能够留下12的长度，因此位于右侧边界上的区块大小能够是64×12。此时，位于下侧边界上的区块能够为了借用与自身的垂直长度差异较少的垂直长度为16的候选区块(64×16、32×16、16×16以及8×16大小的区块)中差异最小的64×16大小的区块而在下侧边界放大4的长度。因此，放大区域(64×16)能够由一个经过调整的基本编码区块(64×16)构成。

换言之，图像能够为了根据图像的大小与基本编码区块的整数倍之间的差异借用以剩余长度为基准差异最小的候选区块而进行放大，基本编码区块能够根据大小差异较小的候选区块的大小进行(重新)设定或(重新)调整。

影像大小调整方法与基本编码区块调整方法相比在能够对基本编码区块进行调整的方面类似，但是在能够通过放大影像大小而免于对基本编码区块进行调整且即使是对基本编码区块进行调整也只需要执行1次调整的方面存在差异。

此外，基本编码区块调整方法只需要对原始影像数据执行编码/解码，并不需要生成与图像的基本编码区块相关的信息(经过重新调整的区块的大小或分割信息等)。换言之，不需要对不必要的数据执行编码/解码过程。但是，基本编码区块调整方法是在图像的边界上构成可变的基本编码区块，会因为特殊处理而导致破坏编码/解码结构的统一性的问题。

与此相反，影像大小调整方法能够通过将图像放大到基本编码区块的整数倍而维持编码/解码结构的统一性，但是会因为需要对在放大过程中生成的不必要的数据执行编码/解码而导致编码性能下降的问题。

图15是对适用本发明之一实施例的通过调整影像大小而执行影像编码的方法进行图示的顺序图。

参阅图15，适用本发明之一实施例的对影像大小进行调整的影像编码装置，能够对图像的大小信息、基本编码区块的大小信息以及区块分割信息进行设定(S1510)，然后按照以基本编码区块大小的整数倍或区块分割信息为基础重新设定的基本编码区块对图像的大小进行放大(S1520)。此外，影像编码装置能够将按照区块位置进行放大的图像划分成基本编码区块或经过重新设定的基本编码区块单位(S1530)，接下来按照区块扫描顺序对基本编码区块执行编码(S1540)，然后将编码生成的比特流传送到影像解码装置。

此外，适用本发明之一实施例的影像解码装置能够按照与影像编码装置对应的方式工作。换言之，影像解码装置能够以从影像编码装置接收到的比特流为基础对图像的大小信息、基本编码区块的大小信息以及区块分割信息进行重建，然后按照以基本编码区块大小的整数倍或区块分割信息为基础重新设定的基本编码区块对图像的大小进行放大。此外，影像解码装置能够将按照区块位置进行放大的图像划分成基本编码区块或经过重新设定的基本编码区块单位，然后按照区块扫描顺序对基本编码区块执行解码。

其中，图像的放大能够按照基本编码区块的整数倍向图像的右侧或下侧等一部分方向执行，或者根据区块分割部所支持的区块分割设定按照所支持的区块大小执行。

此外，扫描顺序能够按照如上所述的方式根据所增加的基本编码区块数量重新设定，但即使是在对基本编码区块进行重新设定的情况下仍然属于同一个区块，因此其扫描顺序也能够不发生变更。

3.自适应影像数据处理方法

自适应影像数据处理方法是在图像大小不是基本编码区块大小的整数倍时对图像的大小进行放大并基于原始影像区域自适应地对放大区域的影像编码/解码数据进行处理的方法。换言之，是一种对基于原始影像区域的影像编码/解码数据执行明示处理而对基于放大区域的影像编码/解码数据执行默示处理的方法。

图16a至图16d是用于对适用本发明之一实施例的自适应影像数据处理方法进行说明的例示图。

参阅图16a，假定图像的大小为392×272且基本编码区块的大小为64×64。即，在图像的右侧边界能够留下8的水平长度而在下侧边界上能够留下16的垂直长度，因此能够向水平方向放大56并向垂直方向放大48。经过放大的图像的大小能够是448×320，能够成为基本编码区块大小的整数倍。

接下来，将对为了按照分割设定从基本编码区块获取最佳分割形态而生成的分割信息的明示处理以及默示处理方法进行说明。

为了便于说明，接下来说明的各个过程能够在区块中标记括号内的序号，而在括号内的序号的“-”之后标记的数字能够是指执行相应过程的区块位置。其中，在通过四叉树分割获取到4个区块的情况下，表示区块位置的数字能够是按照z扫描顺序(左上、右上、左下以及右下顺序)分配的索引(1、2、3以及4)，而在通过二叉树分割获取到2个区块的情况下，能够是按照上下或左右顺序分配的索引(1以及2)。例如，在通过四叉树分割获取到4个区块的情况下，(2-1)能够是指第2过程，具体能够是指在4个区块中的左上区块执行。

参阅图16，实际影像能够是区块左上侧的斜线部分(8×16大小)而64×64区块中除斜线部分之外的其他部分为放大的区域，能够是指利用外扩像素进行填充时所填充的区域。此时，基本编码区块能够支持如四叉树等单一树状方式的分割，在最小区块的大小为8×8的情况下，假定通过区块分割部能够获取到64×64、32×32、16×16以及8×8大小的区块。

实际影像能够由区块分割部所支持的区块中的2个8×8大小的区块构成，而与其相关的区块分割信息能够通过如下所述的过程自适应地构成。

第1过程用于获取64×64大小的区块(1)分割的候选。其中，可获取到的区块能够是64×64以及32×32大小的区块，因为为了获取到仅包含实际影像数据的区块就必须执行分割，因此包含填充数据的64×64大小的区块能够从候选中排除。因此，候选只能是32×32大小的区块。其中，分割信息能够根据分割与否利用1或0表示，但是因为候选只有一个32×32大小的区块，因此必须执行分割。所以，分割信息能够执行默示处理而不是基于设定值的明示处理。

第2过程用于获取32×32大小的左上区块(2-1)、右上区块(2-2)、左下区块(2-3)以及右下区块(2-4)的各个分割的候选。其中，在各个区块中可获取的区块能够是32×32以及16×16大小的区块，左上区块(2-1)因为与第1过程相同的理由而只能选择16×16大小的区块作为候选，而右上区块(2-2)、左下区块(2-3)以及右下区块(2-4)因为只包括填充区域而不需要执行追加分割，因此只能选择32×32大小的区块作为候选。即，因为各个区块都只有一个候选，因此能够对分割信息进行默示处理。

第3过程用于获取16×16大小的左上区块(3-1)、右上区块(3-2)、左下区块(3-3)以及右下区块(3-4)的各个分割的候选。其中，在各个区块中可获取的区块能够是16×16以及8×8大小的区块，左上区块(3-1)因为与第1过程以及第2过程中的左上区块(2-1)相同的理由而只能选择8×8大小的区块作为候选，而右上区块(3-2)、左下区块(3-3)以及右下区块(3-4)因为与第2过程中的右上区块(2-2)、左下区块(2-3)以及右下区块(2-4)相同的理由而只能选择16×16大小的区块作为候选。即，因为各个区块都只有一个候选，因此能够对分割信息进行默示处理。

第4过程用于通过对第3过程中的左上区块(3-1)执行分割而获取4个8×8大小的区块。包含实际影像数据的区块大小为8×16，虽然大于通过对左上区块(3-1)执行分割而获得的8×8大小的区块，但是因为能够由左上以及左下的8×8大小的区块构成，因此能够不执行追加分割。

通过如上所述的第1过程至第4过程生成的分割信息能够表示为(8×8)：1-1-1-0-0-0-0-0-0，按顺序能够依次是与第1过程、第2过程中的左上区块、第3过程中的左上区块、第3过程中的右上区块、第3过程中的左下区块、第3过程中的右下区块、第2过程中的右上区块、第2过程中的左下区块以及第2过程中的右下区块相关的信息。其中，分割信息中的1以及0能够是用于指示四叉树分割的分割与否的语法元素。

但是，通过如上所述的第1过程至第4过程生成的分割信息都能够进行默示处理。即，在以实际影像数据为基础自适应地处理编码/解码数据的情况下没有明示处理的过程，因此能够没有分割信息存在。这能够是即使在没有分割信息的生成以及重建的情况下也能够对最佳的分割形态进行确认的情况。

参阅图16c，实际影像能够是区块左侧的斜线部分(64×16大小)而64×64区块中除斜线部分之外的其他部分为放大的区域，能够是指利用外扩像素进行填充时所填充的区域。此时，基本编码区块能够支持如二叉树等单一树状方式的分割，在最小区块的一侧长度为8且最大分割深度为3的情况下，假定通过区块分割部能够获取到64×64、64×32、32×64、64×16、16×64、32×32、64×8、8×64、32×16以及16×32大小的区块。其中，区块分割信息能够通过如下所述的过程自适应地构成。

第1过程用于获取64×64大小的区块(1)分割的候选。其中，分割深度能够从0增加至1，可获取到的区块能够是64×64、64×32以及32×64大小的区块，因为为了获取到仅包含实际影像数据的区块就必须执行分割，因此包含填充数据的64×64大小的区块能够从候选中排除。此外，因为32×64大小的区块为了获取到仅包含实际影像数据的区块而需要在接下来的步骤中对各个区块执行如水平分割等追加分割，因此能够将其从候选中排除。换言之，因为会导致分割次数的增加，因此能够将32×64大小的区块从候选中排除。即，候选只能是64×32大小的区块，因为区块只有一个候选，因此能够对分割信息进行默示处理。

第2过程用于获取64×32大小的上侧区块(2-1)以及下侧区块(2-2)的各个分割的候选。其中，分割深度能够从1增加至2，在各个区块中可获取的区块能够是64×32、64×16以及32×32大小的区块，上侧区块(2-1)因为与第1过程相同的理由而能够将64×32以及32×32大小的区块从候选中排除，因此只能选择64×16大小的区块作为候选，而下侧区块(2-2)因为只包括填充区域而不需要执行追加分割，因此只能选择64×32大小的区块作为候选。即，因为各个区块都只有一个候选，因此能够对分割信息进行默示处理。

第3过程用于获取64×16大小的上侧区块(3-1)以及下侧区块(3-2)的各个分割的候选。其中，分割深度能够从2增加至3，在各个区块中可获取的区块能够是64×16、64×8以及32×16大小的区块，上侧区块(3-1)因为已经获取到了只包括实际影像数据的区块而能够将64×16、64×8以及32×16大小的区块中的一个确定为最佳的分割形态，而下侧区块(3-2)因为只包括填充区域而不需要执行追加分割，因此只能选择64×16大小的区块作为候选。

第4过程用于获取第3过程中的上侧区块(3-1)的分割的候选，但是因为在第3过程中的上侧区块(3-1)中已经确定了最佳的分割形态且一侧长度以及分割深度等已经达到了最小区块条件，因此能够不追加执行分割。

通过如上所述的上述第1过程至第4过程生成的分割信息，在将64×16大小的区块确定为最佳分割形态的情况下能够表示为(64×16)：1-0-1-0-0-0-0，在将64×8大小的区块确定为最佳分割形态的情况下能够表示为(64×8)：1-0-1-0-1-0-0-0，在将32×16大小的区块确定为最佳分割形态的情况下能够表示为(32×16)：1-0-1-0-1-1-0-0。其中，分割信息按顺序能够依次是与第1过程、第2过程中的上侧区块、第3过程中的上侧区块、第3过程中的下侧区块以及第2过程中的下侧区块相关的信息。

具体来讲，分割信息能够包括与第1过程的分割与否以及分割方向相关的2个语法元素、与第2过程中的上侧区块的分割与否以及分割方向相关的2个语法元素、与第3过程中的上侧区块的分割与否以及分割方向相关的2个语法元素、与第3过程中的下侧区块的分割与否相关的1个语法元素以及与第2过程中的下侧区块的分割与否相关的1个语法元素，当与分割与否相关的语法元素为0时能够代表不执行分割而当为1时能够代表执行分割，当与分割方向相关的语法元素为0时能够代表水平方向而当为1时能够代表垂直方向。

但是，通过如上所述的第1过程至第4过程生成的分割信息中，第3过程中的上侧区块能够进行明示处理而剩余的都能够进行默示处理。即，以实际影像数据为基础自适应地处理编码/解码数据的情况下的分割信息，在将64×16大小的区块确定为最佳分割形态的情况下能够表示为(64×16)：0，在将64×8大小的区块确定为最佳分割形态的情况下能够表示为(64×8)：1-0，在将32×16大小的区块确定为最佳分割形态的情况下能够表示为(32×16)：1-1。

换言之，能够通过在除默示处理的情况之外的明示处理的第3过程中的上侧区块生成的分割信息对基本编码区块的最佳分割形态进行确认。虽然在上述内容中是对分割信息中的一部分被默示处理的情况进行了说明，但是根据区块分割设定，当64×16满足最小区块条件时所有分割信息都能够被默示处理。

参阅图16d，实际影像能够是区块上侧的斜线部分(8×64大小)而64×64区块中除斜线部分之外的其他部分为放大的区域，能够是指利用外扩像素进行填充时所填充的区域。此时，基本编码区块能够支持如四叉树分割以及二叉树分割等多重树状方式的分割。四叉树分割设定中的最大区块的大小能够是与基本编码区块的大小相同的64×64，最小区块的大小能够是16×16，而二叉树分割设定中的最大区块的大小能够是32×32，最小区块的一侧长度能够是4，最大分割深度能够是3。此外，在各个树状分割的发生范围重叠的情况下，能够按照树状分割的优先顺序(例如四叉树分割优先于二叉树分割)执行，假定通过区块分割部能够获取到64×64、32×32、32×16、16×32、32×8、8×32、16×16、32×4、4×32、16×8以及8×16大小的区块。其中，区块分割信息能够通过如下所述的过程自适应地构成。

第1过程用于获取64×64大小的区块(1)分割的候选。其中，可获取到的区块能够是64×64以及32×32大小的区块，因为为了获取到仅包含实际影像数据的区块就必须执行分割，因此包含填充数据的64×64大小的区块能够从候选中排除。在现有的情况下，能够生成与四叉树分割与否、二叉树分割于否以及二叉树分割方向相关的信息等分割信息，作为一实施例，因为仅支持四叉树分割的一个候选(32×32大小的区块)，因此分割信息能够被默示处理。

第2过程用于获取32×32大小的左上区块(2-1)、右上区块(2-2)、左下区块(2-3)以及右下区块(2-4)的各个分割的候选。其中，当执行四叉树分割时，在各个区块中可获取到的区块能够是32×32以及16×16大小的区块，而当执行二叉树分割时，分割深度将从0增加至1且在各个区块中可获取到的区块能够是32×16以及16×32大小的区块。

在左上区块(2-1)以及左下区块(2-3)中，因为候选区块中的32×32大小的区块必须执行分割而能够从候选组中排除，而且所分割的32×16以及16×16大小的区块为了获取到包含实际影像数据的区块而需要在接下来的步骤中对各个区块执行如垂直分割等追加分割并导致分割次数的增加，因此能够将其从候选中排除。其中，包含实际影像数据的区块的大小能够是8×64，但是因为在第1过程中执行了四叉树分割，因此能够将8×32的大小视为包含实际影像数据的区块的大小。因此，各个区块的候选只能包括16×32大小的一个区块。虽然16×32大小的区块也需要在接下来的步骤中执行追加分割，但是因为与其他候选区块相比达到包含实际影像数据的区块所需要的分割次数更少，因此能够将16×32大小的区块作为最佳候选。

作为用于获取最佳候选(16×32大小的区块)的分割信息，不应该在多重树状分割中优先顺序靠前的四叉树分割中执行分割，而是应该在优先顺序靠后的二叉树分割中执行分割，分割方向能够是纵向。此时作为分割信息，在二叉树分割中包括分割与否信息以及分割方向信息，但是当四叉树分割以及二叉树分割重叠时，因为优先顺序靠前的四叉树分割的候选中包括32×32大小的区块，因此在二叉树分割中可能不要求支持32×32大小区块的候选。换言之，当四叉树分割以及二叉树分割重叠时，能够在分割信息中省略二叉树分割的分割与否信息而只包括分割方向信息。即，因为只有一个最佳候选，因此能够对分割信息进行默示处理。

因为右上区块(2-2)以及右下区块(2-4)只包括填充区域而不需要执行追加分割，因此只能选择32×32大小的区块作为候选。即，因为只有一个候选，因此能够对分割信息进行默示处理。

第3过程用于获取从左上区块(2-1)获取到的16×32大小的左侧区块(3-1-1)以及右侧区块(3-1-2)和从左下区块(2-3)获取到的16×32大小的左侧区块(3-2-1)以及右侧区块(3-2-2)的各个分割的候选。此时，分割深度能够从1增加至2，在区块中可获取到的区块能够是16×32、16×16以及8×32大小的区块。

左侧区块(3-1-1)因为与第2过程中的左上区块(2-1)相同的理由能够将16×32以及16×16大小的区块从候选组中排除而只选择8×32大小的区块作为候选。其中，在现有的情况下，分割信息包括二叉树分割的分割与否信息以及分割方向信息且必须执行垂直方向的2分割，因此能够对分割信息进行默示处理。通过如上所述的过程获取到的8×32大小的区块，能够是只包括实际影像数据的区块。

因为右侧区块(23)只包括填充区域而不需要执行追加分割，因此只能选择16×32大小的区块作为候选。即，因为只有一个候选，因此能够对分割信息进行默示处理。

左侧区块(3-2-1)能够通过与左侧区块(3-1-1)相同的过程对分割信息进行默示处理，且所获取到的8×32大小的区块能够是只包括实际影像数据的区块。

因为右侧区块(3-2-2)只包括填充区域而不需要执行追加分割，因此只能选择16×32大小的区块作为候选。即，因为只有一个候选，因此能够对分割信息进行默示处理。

第4过程用于获取从左侧区块(3-1-1)获取到的8×32大小的左侧区块(4-1-1)以及右侧区块(4-1-2)和从左侧区块(3-2-1)获取到的8×32大小的左侧区块(4-2-1)以及右侧区块(4-2-2)的各个分割的候选。其中，分割深度能够从2增加至3，在区块中可获取的区块能够是8×32、8×16以及4×32大小的区块，左侧区块(4-1-1)以及左侧区块(4-2-1)因为已经获取到了只包括实际影像数据的区块而能够将8×32、8×16以及4×32大小的区块中的一个确定为最佳的分割形态，而右侧区块(4-1-2)以及右侧区块(4-2-2)因为只包括填充区域而不需要执行追加分割，因此只能选择8×32大小的区块作为候选。其中，左侧区块(4-1-1)以及左侧区块(4-2-1)的分割信息能够根据所确定的最佳的分割形态进行明示处理，而右侧区块(4-1-2)以及右侧区块(4-2-2)因为只有一个候选存在而能够进行默示处理。

通过如上所述的上述第1过程至第4过程生成的分割信息，在将8×32大小的区块确定为最佳分割形态的情况下能够表示为(8×32)：1-0-1-1-1-0-0-0-0-0-1-1-1-0-0-0-0，在将8×16大小的区块确定为最佳分割形态的情况下能够表示为(8×16)：1-0-1-1-1-1-0-0-0-0-0-1-1-1-0-0-0-0，在将4×32大小的区块确定为最佳分割形态的情况下能够表示为(4×32)：1-0-1-1-1-1-1-0-0-0-0-1-1-1-0-0-0-0。其中，分割信息按顺序能够依次是与第1过程、第2过程中的左上区块(2-1)、第3过程中的左侧区块(3-1-1)、第4过程中的左侧区块(4-1-1)、第4过程中的右侧区块(4-1-2)、第3过程中的右侧区块(3-1-2)、第2过程中的右上区块(2-2)、第2过程中的左下区块(2-3)、第3过程中的左侧区块(3-2-1)、第4过程中的左侧区块(4-2-1)、第4过程中的右侧区块(4-2-2)、第3过程中的右侧区块(3-2-2)以及第2过程中的右下区块(2-4)相关的信息。

具体来讲，分割信息能够包括与第1过程中的分割与否相关的1个语法元素、与第2过程中的左上区块(2-1)的分割与否以及分割方向相关的2个语法元素、与第3过程中的左侧区块(3-1-1)的分割与否以及分割方向相关的2个语法元素、与第4过程中的左侧区块(4-1-1)的分割与否相关的1个语法元素、与第4过程中的左侧区块(4-1-2)的分割与否相关的1个语法元素、与第3过程中的右侧区块(3-1-2)的分割与否相关的1个语法元素、与第2过程中的右上区块(2-2)的分割与否相关的1个语法元素、与第2过程中的坐下区块(2-3)的分割与否以及分割方向相关的2个语法元素、与第3过程中的左侧区块(3-2-1)的分割与否以及分割方向相关的2个语法元素、与第4过程中的左侧区块(4-2-1)的分割与否相关的1个语法元素、与第4过程中的左侧区块(4-2-2)的分割与否相关的1个语法元素、与第3过程中的右侧区块(3-2-2)的分割与否相关的1个语法元素以及与第2过程中的右下区块(2-4)的分割与否相关的1个语法元素，当与分割与否相关的语法元素为0时能够代表不执行分割而当为1时能够代表执行分割，当与分割方向相关的语法元素为0时能够代表水平方向而当为1时能够代表垂直方向。

但是，通过如上所述的第1过程至第4过程生成的分割信息中，第4过程中的左侧区块(4-1-1以及4-2-1)能够进行明示处理而剩余的都能够进行默示处理。即，以实际影像数据为基础自适应地处理编码/解码数据的情况下的分割信息，在将8×32大小的区块确定为最佳分割形态的情况下能够表示为(8×32)：0-0，在将8×16大小的区块确定为最佳分割形态的情况下能够表示为(8×16)：1-0-0，在将4×32大小的区块确定为最佳分割形态的情况下能够表示为(4×32)：1-1-1。

换言之，能够通过在除默示处理的情况之外的明示处理的第4过程中的左侧区块(4-1-1以及4-2-1)生成的分割信息对基本编码区块的最佳分割形态进行确认。

接下来，将对自适应影像数据处理方法的其他适用情况进行说明。

4-1.基于多种分割方法的自适应影像数据处理方法1

图17a至图17f是用于对适用本发明之一实施例的基于多种分割方法的自适应影像数据处理方法进行说明的第1例示图。

再次对四叉树分割以及二叉树分割进行说明，四叉树分割是一种没有方向性的树状分割，能够是指所获取到的多个子区块没有特定的方向性的分割方式，而二叉树分割是一种有方向性的树状分割，能够是指所获取到的多个子区块具有如水平或垂直等特定方向性的分割方式。因此，在执行二叉树分割时，分割信息中能够追加生成与分割方向相关的信息。

多重树状方式的分割能够是指同时支持四叉树分割以及二叉树分割的方式，但是因为除此之外还能够支持其他分割方式，因此并不限定于此。

其中，区块(64×64)能够支持多重树状方式的分割，在四叉树分割设定中最大区块能够是与基本编码区块相同的64×64，最小区块能够是16×16，而在二叉树分割设定中最大区块能够是32×32，最小区块的一侧长度能够是4，最大分割深度能够是3。此外，树状分割能够有优先顺序存在，在四叉树分割与二叉树分割重叠的范围内能够优先执行四叉树分割，但是并不限定于此。

参阅图17a，区块中的实际影像数据能够是斜线区域(32×16)。首先，能够对区块(1)执行四叉树分割，借此能够获取到4个32×32大小的区块。此外，能够对4个32×32大小的区块中的左上区块(2)执行二叉树分割，借此能够获取到2个32×16大小的区块。此时，2个32×16大小的区块中的上侧区块(3)能够只包括实际影像数据，而分割信息能够按照如上所述的方式进行默示处理。换言之，分割信息能够自适应处理。

参阅图17b，区块中的实际影像数据能够是斜线区域(8×8)。首先，能够对区块(1)执行四叉树分割，借此能够获取到4个32×32大小的区块。此外，能够对4个32×32大小的区块中的左上区块(2)再次执行四叉树分割，借此能够获取到4个16×16大小的区块。能够对4个16×16大小的区块中的左上区块(3)执行垂直方向的二叉树分割，借此能够获取到2个8×16大小的区块。此外，能够对2个8×16大小的区块中的左侧区块(4)执行水平方向的二叉树分割，借此能够获取到2个8×8大小的区块。此时，2个8×8大小的区块中的上侧区块(5)能够只包括实际影像数据，而分割信息能够按照如上所述的方式进行默示处理。换言之，分割信息能够自适应处理。

参阅图17c，区块中的实际影像数据能够是与图17b相同的斜线区域(8×8)。首先，能够对区块(1)执行四叉树分割，借此能够获取到4个32×32大小的区块。此外，能够对4个32×32大小的区块中的左上区块(2)再次执行四叉树分割，借此能够获取到4个16×16大小的区块。能够对4个16×16大小的区块中的左上区块(3)再次执行四叉树分割，借此能够获取到4个8×8大小的区块。此时，4个8×8大小的区块中的左上区块(4)能够只包括实际影像数据，而分割信息能够按照如上所述的方式进行默示处理。换言之，分割信息能够自适应处理。

参阅图17b以及图17c，两个区块的实际影像数据区域能够相同，但是在图17b中为了获取到区块(5)需要执行两次二叉树分割，而在图17c中执行一次四叉树分割即可获取。因此，在考虑到分割次数时图17c中的情况能够更加有效。

但是，因为四叉树分割的最小区块的大小为16×16，因此在图17c中的最后一次四叉树分割能够受到限制。换言之，在相应区块中不能执行四叉树分割而只能执行二叉树分割。

为了解决如上所述的问题，图像边界中所包含的基本编码区块上的区块分割设定能够是与图像内部的区块分割设定不同的特殊设定。例如，对于位于图像的有下侧边界上的基本编码区块，当包含实际影像数据的区域的水平以及垂直长度不超过分割之前的区块的水平以及垂直长度的1/2时，能够允许四叉树分割。

在适用如上所述的特殊的区块分割设定时，因为图17c的区块中包括实际影像数据的区域的大小为8×8而分割之前的区块大小为16×16，即包括实际影像数据的区域的大小不超过分割之前的区块大小的1/2，因此能够执行第三次四叉树分割。换言之，图17c所示的情况能够是一部分分割区块设定中的四叉树分割的最小区块大小变更为8×8的情况。

参阅图17d，区块中的实际影像数据能够是斜线区域(48×8)。首先，能够对区块(1)执行四叉树分割，借此能够获取到4个32×32大小的区块。其中，因为4个32×32大小的区块中左上区块(2-1)以及右上区块(2-2)包括实际影像数据，因此能够单独地对左上区块(2-1)以及右上区块(2-2)分别执行追加分割。

关于对两个区块的追加分割，能够对左上区块(2-1)执行水平方向的二叉树分割，借此能够获取到2个32×16大小的区块。能够对2个32×16大小的区块中的上侧区块(3-1)再次执行水平方向的二叉树分割，借此能够获取到2个32×8大小的区块。此时，32×8大小的区块中的上侧区块(4-1)能够只包括实际影像数据。

能够对右上区块(2-2)执行水平方向的二叉树分割，借此能够获取到2个32×16大小的区块。能够对2个32×16大小的区块中的上侧区块(3-2)执行垂直方向的二叉树分割，借此能够获取到2个16×16大小的区块。此外，能够对2个16×16大小的区块中的左侧区块(4-2)再次执行水平方向的二叉树分割，借此能够获取到2个16×8大小的区块。此时，16×8大小的区块中的上侧区块(5)能够只包括实际影像数据。换言之，图17d中的区块为了获取到只包括实际影像数据的区块而可能会导致分割次数的增加，这也可能进一步导致复杂度的增加。

参阅图17e，区块中的实际影像数据能够是与图17d相同的斜线区域(48×8)。能够对区块(1)执行水平方向的二叉树分割，借此能够获取到2个64×32大小的区块。能够对2个64×32大小的区块中的上侧区块(2)再次执行水平方向的二叉树分割，借此能够获取到2个64×16大小的区块。能够对2个64×16大小的区块中的上侧区块(3)再次执行水平方向的二叉树分割，借此能够获取到2个64×8大小的区块。在通过如上所述的过程获取只包括实际影像数据的区块时，与图17d相比所需要的分割过程更少因此也更加有效。

但是，根据区块分割设定，在初始区块分割步骤中能够只支持四叉树分割，因此在初始区块中将不能执行二叉树分割而只允许执行四叉树分割。

为了解决如上所述的问题，图像边界中所包含的基本编码区块上的区块分割设定能够是与图像内部的区块分割设定不同的特殊设定。例如，对于位于图像的有下侧边界上的基本编码区块，当包含实际影像数据的区域的水平以及垂直长度超过分割之前的区块的水平以及垂直长度的1/2时，能够允许二叉树分割。其中，当水平长度超过1/2时能够允许水平方向的二叉树分割，而当垂直长度超过1/2时能够允许垂直方向的二叉树分割。但是，如上所述的分割设定能够共同适用于如三叉树分割以及非对称二叉树分割等要求方向的树状分割，因此并不限定于此。

在适用如上所述的特殊的区块分割设定时，因为图17e的区块中包括实际影像数据的区域的大小为48×8而分割之前的区块大小为64×64，即包括实际影像数据的区域的大小超过分割之前的区块大小的1/2，因此能够执行二叉树分割。换言之，图17e所示的情况能够是一部分分割区块设定中的二叉树分割的最大区块大小变更为64×64的情况。

其中，当包括实际影像数据的区域的水平以及垂直长度超过区块分割之前的水平以及垂直长度的1/2时，四叉树分割所需要的分割次数能够小于二叉树分割所需要的分割次数。

如上所述的区块分割设定，在图像的右下侧边界上包括实际影像数据的区域的水平以及垂直长度均超过分割前区块的水平以及垂直长度的1/2时以及在水平以及垂直长度均为分割前区块的水平以及垂直长度的1/2以下能够时允许四叉树分割，而在只有水平以及垂直长度中的一个超过分割前区块的水平以及垂直长度中的一个长度的1/2时能够允许水平或垂直方向的二叉树分割。当区块分割设定不允许如上所述的分割时，能够对相应的区块设定进行特殊处理(一部分分割设定变更)。因此，能够根据经过变更的分割设定弹性地执行区块分割。

区块分割设定能够在一部分边界之外的其他边界上允许如下所述的分割。区块分割设定在图像的下侧边界上无论包括实际影像数据的区域的垂直长度如何都能够允许水平方向的二叉树分割，而在图像的右侧边界上无论包括实际影像数据的区域的水平长度如何都能够允许垂直方向的二叉树分割。

换言之，在图像的右下侧边界上能够执行四叉树分割或二叉树分割。此外，在图像的下侧以及右侧边界上能够执行与边界平行的分割方向上的二叉树分割，也能够执行四叉树分割，但是不能执行与边界垂直的分割方向上的二叉树分割。在本发明中进行的说明是假定为分割前区块同时包括实际影像数据以及填充数据的情况，当分割前区块只包括实际影像数据时能够禁止适用。

在二叉树分割的最大区块大小为32×32的情况下，根据最小区块大小设定(一侧长度为4而最大分割深度为3)可获取到的区块的大小能够是32×32、32×16、16×32、32×8、8×32、16×16、32×4、4×32、16×8以及8×16。但是，如图17e所示，当二叉树分割的最大区块大小为从32×32变更为64×64时，可获取到的区块的大小能够是64×64、64×32、32×64、64×16、16×64、32×32、64×8、8×64、32×16以及16×32。即，在现有的区块分割设定下可获取到的区块中的一部分在经过变更的区块分割设定下将无法获得。

其中，除了最大区块大小之外，最小区块的一侧长度或最大分割深度等其他区块分割设定也能够进行变更，并借此在图像边界的基本编码区块中执行区块分割。

参阅图17f，区块中的实际影像数据能够是与图17d以及图17e相同的斜线区域(48×8)。在适用如上所述的区块分割设定时，能够对区块(1)执行水平方向的二叉树分割，借此能够获取到2个64×32大小的区块。能够对2个64×32大小的区块中的上侧区块(2)再次执行水平方向的二叉树分割，借此能够获取到2个64×16大小的区块。能够对2个64×16大小的区块中的上侧区块(3)再次执行水平方向的二叉树分割，借此能够获取到2个64×8大小的区块。此外，能够对2个64×8大小的区块中的上侧区块(4)执行垂直方向的二叉树分割，借此能够获取到2个32×8大小的区块。2个32×8大小的区块中的左侧区块能够只包括实际影像数据，且能够对2个32×8大小的区块中的右侧区块(5)再次执行垂直方向的二叉树分割，借此能够获取到2个16×8大小的区块。2个16×8大小的区块中的左侧区块(6)能够只包括实际影像数据。

但是，在如上所述的区块分割设定的特殊情况下，用于对残差系数执行编码的小于最小大小的分割仍然不被允许。例如，当用于对残差系数执行编码的最小大小为4×4时，小于4×4大小的区块的大小将不被允许。但是，在水平以及垂直长度大于或等于用于对各个残差系数执行编码的最小大小的水平以及垂直长度的情况和即使是在水平以及垂直长度中的一个小于所对应的水平以及垂直长度但另一个足够长而使得水平以及垂直长度的乘积大于用于对残差系数执行编码的最小大小的水平以及垂直长度的成绩时能够被允许。其中，区块能够是支持对区块的残差系数的存在与否进行确认的标志(Coded Block Flag)等的区块。

4-2.基于多种分割方法的自适应影像数据处理方法2

图18a至图18c是用于对适用本发明之一实施例的基于多种分割方法的自适应影像数据处理方法进行说明的第2例示图。

其中，假定区块能够支持如二叉树分割以及三叉树分割等多重树状方式的分割，最大区块的大小为64×64，最小区块的大小为一侧长度4，最大分割深度为4。与树状分割相关的优先顺序并不存在，但是能够生成与执行哪一种树状分割相关的选择信息。

即，作为分割信息能够生成分割与否信息、树状选择信息以及分割方向信息，能够按照排列顺序依次生成。其中，当分割与否信息为0时能够是指不执行分割，而当为1时能够是指执行分割。当树状选择信息为0时能够是指二叉树分割，而当为1时能够是指三叉树分割。此外，当分割方向信息为0时能够是指水平方向，而当为1时能够是指垂直方向。

此外，假定在上述基于多种分割方法的自适应影像数据处理方法1中进行说明的特殊的区块分割设定也能够适用。

参阅图18a至图18c，基本编码区块的大小为64×64，实际影像数据能够是斜线区域(64×16)。其中，因为区块能够执行二叉树分割以及三叉树分割，因此可通过一次分割获取到的区块能够是64×64、64×32、32×64、64×16/64×32/64×16、16×64/32×64/16×64大小的区块。

参阅图18a，能够对区块(1)执行水平方向的二叉树分割，借此能够获取到2个64×32大小的区块。此时，分割深度能够从0增加至1且作为分割信息能够生成1-0-0，但是也能够进行默示处理。能够对2个64×32大小的区块中的上侧区块(2)再次执行水平方向的二叉树分割，借此能够获取到2个64×16大小的区块。此时，分割深度能够从1增加至2且作为分割信息能够生成1-0-0，但是也能够进行默示处理。因为2个64×16大小的区块中的上侧区块(3)只包括实际影像数据，因此能够通过追加分割对最佳的分割形态进行确定，但是在包括本实例在内的图18b以及图18c中，假定为对该区域不执行追加分割的情况。

在如上所述的分割过程中生成的分割信息能够表示为(64×16)：1-0-0-1-0-0-0-0-0。但是，作为分割信息，因为2个64×16大小的区块中的上侧区块(3)只包括实际影像数据而能够进行明示处理，而因为剩余的全部只包括填充区域而能够进行默示处理。即，在以实际影像数据为基础自适应地处理编码/解码数据的情况下，在明示处理的过程中的分割信息能够是0。其中，0能够是指第三次生成的分割信息的分割与否信息。

参阅图18b，能够对区块(1)执行水平方向的三叉树分割，借此能够获取到64×16、64×32以及64×16大小的区块。此时，分割深度能够从0增加至1且作为分割信息能够生成1-1-0，但是也能够进行默示处理。因为64×16大小的上侧区块(2)能够只包括实际影像数据，因此能够不要求执行追加分割。因此，既能够直接对最佳的分割形态进行确定，也能够通过追加分割对最佳的分割形态进行确定。

在如上所述的分割过程中生成的分割信息能够表示为(64×16)：1-1-0-0-0-0。但是，作为分割信息，因为64×16大小的上侧区块(2)只包括实际影像数据而能够进行明示处理，而因为剩余的全部只包括填充区域而能够进行默示处理。即，在以实际影像数据为基础自适应地处理编码/解码数据的情况下，在明示处理的过程中的分割信息能够是0。其中，0能够是指第二次生成的分割信息的分割与否信息。

在图18a以及图18b所示的情况下，分割信息都能够是0。但是，在编码/解码处理过程中的分割次数增加时，即使是以默示方式对数据进行处理，达到仅包括实际影像数据的区块所需要的步骤仍然能够有所差异。因此，当从初始区块或基本编码区块达到只包括实际影像数据的区块的方法有一种以上时，能够设定为默示确定采用以更少的分割次数达到的方法。换言之，当图18a以及图18b均可用时，能够设定为默示确定采用分割次数相对较少的图18b所示的三叉树分割方法。

在一实施例中，当在图像的右侧边界上包括实际影像数据的区域的水平长度与分割前区块的水平长度的1/4或3/4一致的情况下能够执行垂直方向的三叉树分割，而在两者均不一致的情况下能够执行垂直方向的二叉树分割。

此外，当在图像的下侧边界上包括实际影像数据的区域的垂直长度与分割前区块的垂直长度的1/4或3/4一致的情况下能够执行水平方向的三叉树分割，而在两者均不一致的情况下能够执行水平方向的二叉树分割。

上述内容只是适用于一部分边界的情况，而在其他边界上的分割能够如下所述。

当在图像的右下侧边界上包括实际影像数据的区域的水平以及垂直长度与所对应的分割前区块的水平以及垂直长度的1/4或3/4中的至少一个一致的情况下能够执行水平或垂直方向的三叉树分割，而在任何一个都不一致的情况下能够执行水平或垂直方向的二叉树分割。

其中，关于二叉树分割的方向，当包括实际影像数据的区域的水平以及垂直长度中的一个不超过1/2时能够向与相应的长度垂直的方向执行分割，而当两者均超过或均不超过时能够向水平或垂直方向执行分割。例如，当只有包括实际影像数据的区域的水平长度不超过1/2时，能够向垂直方向执行分割。

此外，能够对包括实际影像数据的区域的水平长度是否与分割前区块的水平长度的1/4或3/4一致或包括实际影像数据的区域的垂直长度是否与分割前区块的垂直长度的1/4或3/4一致进行确认，并在有任何一个一致时执行三叉树分割，否则执行二叉树分割。

换言之，在图像的右下侧边界上能够执行二叉树分割或三叉树分割。此外，在图像的下侧以及右侧边界上能够执行分割方向与边界平行的二叉树分割或三叉树分割，但是不能执行分割方向垂直的二叉树分割或三叉树分割。

如上所述的适用本发明的一实施例能够在假定为分割前区块同时包括实际影像数据以及填充数据的情况下进行适用，当分割前区块只包括实际影像数据时能够禁止适用。此外，为了说明的便利，在三叉树分割中假定为按照上述比例(1:2:1)执行3分割的情况为例进行了说明，但是根据编码设定也能够适用其他比例。

接下来，将参阅图18c对适用多种分割方法的其他实施例进行说明如下。

其中，假定区块能够支持如对称二叉树分割以及非对称二叉树分割等多重树状方式的分割，最大区块的大小为64×64，最小区块的大小为一侧长度4，最大分割深度为4。此外，与树状分割相关的优先顺序并不存在，但是能够生成与执行哪一种树状分割相关的信息。此时，在非对称二叉树分割中不仅追加要求分割方向信息，还能够追加要求分割比例信息，能够设定为如1:3或3:1等预先设定的分割比例，但是还能够适用其他追加的分割比例。

因此，作为分割信息能够生成分割与否信息、分割方向信息以及树状选择信息，当树状选择信息指示非对称二叉树分割时，还能够进一步生成分割比例信息。此外，分割信息能够按照如上所述的排列顺序生成。其中，当分割与否信息为0时能够是指不执行分割，而当为1时能够是指执行分割。当分割方向信息为0时能够是指水平方向，而当为1时能够是指垂直方向。当树状选择信息为0时能够是指对称二叉树分割，而当为1时能够是指非对称二叉树分割。此外，当非对称二叉树分割的分割比例信息为0时能够是指上侧或左侧更宽的比例，而当为1时能够是指下侧或右侧更宽的比例。

基本编码区块的大小为64×64，实际影像数据能够是斜线区域(64×16)。其中，因为区块能够执行对称二叉树分割以及非对称二叉树分割，因此可获取到的区块的大小能够是64×64、64×32、32×64、64×48/64×16、64×16/64×48、48×64/16×64以及16×64/48×64。

参阅图18c，能够对区块(1)执行水平方向的非对称二叉树分割，借此能够获取到64×16以及64×48大小的区块。此时，分割深度能够从0增加至1且作为分割信息能够生成1-0-1-1，但是因为只能够支持一个候选，因此能够对分割信息进行默示处理。此外，因为64×16大小的区块(2)能够只包括实际影像数据，因此能够不要求执行追加分割。因此，既能够直接对最佳的分割形态进行确定，也能够在执行追加分割的情况下根据区块分割设定通过追加分割对最佳的分割形态进行确定。

在如上所述的分割过程中生成的分割信息能够表示为(64×16)：1-0-1-1-0-0。但是，作为分割信息，因为64×16大小的区块(2)只包括实际影像数据而能够进行明示处理，而因为剩余的全部只包括填充区域而能够进行默示处理。即，在以实际影像数据为基础自适应地处理编码/解码数据的情况下，在明示处理的过程中的分割信息能够是0。其中，0能够是指64×16大小的区块(2)的分割与否信息。

因此，在图18a以及图18c中，从初始区块或基本编码区块获取到只包括实际影像数据的区块(64×16)的过程中生成的分割信息能够全部为0。但是，0所代表的信息能够互不相同。

此外，为了从初始区块或基本编码区块达到只包括实际影像数据的区块，图18a以及图18c均可以使用，因此能够根据更少的分割次数默示确定分割方法。换言之，能够确定使用分割次数相对较少的图18c中所图示的非对称二叉树分割方法。

在一实施例中，当在图像的右侧边界上包括实际影像数据的区域的水平长度与分割前区块的水平长度的1/4或3/4一致的情况下能够执行垂直方向的非对称二叉树分割，在与1/2一致的情况下能够执行垂直方向的对称二叉树分割，而在三者均不一致的情况下能够执行垂直方向的对称或非对称二叉树分割。

此时，在三者均不一致的情况下，当包括实际影像数据的区域的水平长度为分割前区块的水平长度的1/4以下时，能够执行右侧较宽的垂直方向的非对称二叉树分割，而在超过1/4但为1/2以下时，能够执行垂直方向的对称二叉树分割。此外，当超过1/2但为3/4以下时，能够执行左侧较宽的垂直方向的非对称二叉树分割，而当超过3/4时，能够执行垂直方向的对称二叉树分割。

此外，当在图像的下侧边界上包括实际影像数据的区域的垂直长度与分割前区块的垂直长度的1/4或3/4一致的情况下能够执行水平方向的非对称二叉树分割，在与1/2一致的情况下能够执行水平方向的对称二叉树分割，而在三者均不一致的情况下能够执行水平方向的对称或非对称二叉树分割。

此时，在三者均不一致的情况下，当包括实际影像数据的区域的垂直长度为分割前区块的垂直长度的1/4以下时，能够执行下侧较宽的水平方向的非对称二叉树分割，而在超过1/4但为1/2以下时，能够执行水平方向的对称二叉树分割。此外，当超过1/2但为3/4以下时，能够执行上侧较宽的水平方向的非对称二叉树分割，而当超过3/4时，能够执行水平方向的对称二叉树分割。

当在图像的右下侧边界上包括实际影像数据的区域的水平以及垂直长度与所对应的分割前区块的水平以及垂直长度的1/4或3/4中的至少一个一致的情况下能够执行水平或垂直方向的非对称二叉树分割，在与1/2一致的情况下能够执行水平或垂直方向的对称二叉树分割，而在三者均不一致的情况下能够执行水平或垂直方向的对称或非对称二叉树分割。与全部不一致的情况相关的说明能够从上述右侧或下侧边界上推导得出，所以在此将省略与其相关的详细说明。

换言之，在图像的右下侧边界上能够执行对称二叉树分割或非对称二叉树分割。此外，在图像的下侧以及右侧边界上能够执行分割方向与边界平行的对称二叉树分割以及非对称二叉树分割，但是不能执行分割方向垂直的对称二叉树分割或非对称二叉树分割。

如上所述的适用本发明的一实施例能够在假定为分割前区块同时包括实际影像数据以及填充数据的情况下进行适用，当分割前区块只包括实际影像数据时能够禁止适用。此外，为了说明的便利，在非对称二叉树分割中假定为按照上述比例(1:3或3:1)执行2分割的情况为例进行了说明，但是根据编码设定也能够适用其他比例。

4-3.基于多种分割方法的自适应影像数据处理方法3

其中，区块能够支持如四叉树分割、二叉树分割以及三叉树分割等多重树状方式的分割，其他能够与在上述基于多种分割方法的自适应影像数据处理方法1以及2中进行的说明相同。此外，假定在上述基于多种分割方法的自适应影像数据处理方法1以及2中进行说明的特殊的区块分割设定也能够适用。

在一实施例中，当在图像的右下侧边界上包括实际影像数据的区域的水平以及垂直长度与所对应的分割前区块的水平以及垂直长度的1/4或3/4中的至少一个一致的情况下能够执行水平或垂直方向的三叉树分割。其中，在有任何一个不一致的情况下，能够对包括实际影像数据的区域的水平以及垂直长度与分割前区块的水平以及垂直长度进行比较，并在各自均超过或均不超过1/2时能够执行四叉树分割，而在只有两者当中的一个超过1/2时能够执行水平或垂直方向的二叉树分割。

当在图像的下侧边界上包括实际影像数据的区域的水平以及垂直长度与分割前区块的垂直长度的1/4或3/4一致的情况下能够执行水平方向的三叉树分割，而在均不一致的情况下能够执行水平方向的二叉树分割。

此外，当在图像的右侧边界上包括实际影像数据的区域的水平以及垂直长度与分割前区块的水平长度的1/4或3/4一致的情况下能够执行垂直方向的三叉树分割，而在均不一致的情况下能够执行垂直方向的二叉树分割。

换言之，在图像的有下侧边界上能够执行水平或垂直方向的四叉树分割、二叉树分割以及三叉树分割，而在图像的下侧以及右侧边界上能够执行分割方向与边界平行的二叉树分割以及三叉树分割。但是，虽然在图像的下侧以及右侧边界上能够根据情况执行四叉树分割，但是不能执行分割方向与边界垂直的二叉树分割以及三叉树分割。

在本发明的说明中，结合多个实施例(4-1、4-2以及4-3)对基于多种分割方法的自适应影像数据处理方法进行了说明，但是能够根据区块分割设定进行变更，因此并不限定于此。换言之，区块能够确定为可通过区块分割设定获取到的区块，借此能够在图像的边界上实现对区块分割信息的自适应处理。

参阅图19，适用本发明之一实施例的自适应地处理影像数据的影像编码装置，能够对图像的大小信息、基本编码区块的大小信息以及区块分割信息进行设定(S1910)，然后将图像的大小放大到基本编码区块大小的整数倍(S1920)。此外，影像编码装置能够将放大的图像划分成基本编码区块单位(S1930)，接下来根据区块扫描顺序、区块位置信息以及(重新)设定的区块分割信息对基本编码区块执行编码(S1940)，然后将编码生成的比特流传送到影像解码装置。

此外，适用本发明之一实施例的影像解码装置能够按照与影像编码装置对应的方式工作。换言之，影像解码装置能够以从影像编码装置接收到的比特流为基础对图像的大小信息、基本编码区块的大小信息以及区块分割信息进行重建，从而将图像的大小放大到基本编码区块大小的整数倍。此外，影像解码装置能够将放大的图像划分成基本编码区块单位，接下来根据区块扫描顺序、区块位置信息以及(重新)设定的区块分割信息对基本编码区块执行解码。

其中，图像的放大能够按照基本编码区块的整数倍向图像的右侧或下侧等一部分方向执行，而在位于图像的边界上的基本编码区块中能够根据区块位置以及区块分割设定自适应地执行编码。其中，区块分割设定能够根据编码设定直接使用或通过对一部分进行变更而重新设定。

在一实施例中，位于图像内部的基本编码区块的分割信息能够进行明示处理，而位于图像边界上的基本编码区块的信息能够根据实际影像数据为基础进行明示或默示处理。其中，当因为执行分割时可获取到的区块的大小以及形态等设定发生变更而重新设定时，能够在处理时对其进行体现。

在上述内容中结合适用本发明的较佳实施例进行了说明，但是相关技术领域的熟练从业人员应能够理解，在不脱离下述权利要求范围中所记载的本发明的思想以及区域的范围内能够对本发明进行各种修改以及变更。

Claims

1.一种影像解码方法，包括：

分割第一编码区块以确定第二编码区块；以及

解码所述第二编码区块，

其中，所述第一编码区块基于在影像解码装置中预定义的分割类型的其中一个来分割，

其中，所述分割类型包括四叉树分割、二叉树分割、三叉树分割的至少一个，

其中，所述四叉树分割代表将一个编码区块分割成四个编码区块的分割类型，所述二叉树分割代表将一个编码区块分割成两个编码区块的分割类型，并且所述三叉树分割代表将一个编码区块分割成三个编码区块的分割类型，

其中，当所述第一编码区块的形状是方形时，将所述第一编码区块的分割类型确定为所述四叉树分割、所述二叉树分割、所述三叉树分割的其中一个，并且当所述第一编码区块的形状是非方形时，将所述第一编码区块的分割类型确定为所述二叉树分割或所述三叉树分割，

其中，仅当不再进行所述四叉树分割时，进行所述二叉树分割和所述三叉树分割，

其中，基于预定的分割信息确定所述第二编码区块，

其中，所述分割信息包括指示是否分割所述第一编码区块的第一标志、指示分割方向的第二标志以及指示所述分割类型的第三标志的至少一个，

其中，所述第二标志等于指示在水平方向分割所述第一编码区块的第一值，并且所述第二标志等于指示在垂直方向分割所述第一编码区块的第二值，

其中，所述第三标志等于指示进行所述二叉树分割的第一值，并且所述第三标志等于指示进行所述三叉树分割的第二值，

其中，当所述第一编码区块位于当前图像的边界时，仅允许所述四叉树分割和所述二叉树分割的至少一个，

其中，所述二叉树分割包括水平二叉树分割和垂直二叉树分割，以及

其中，当所述当前图像的所述边界时底部边界时，所述水平二叉树分割和所述垂直二叉树分割中的仅所述水平二叉树分割被允许用于所述二叉树分割。

2.一种影像编码方法，包括：

分割第一编码区块以确定第二编码区块；以及

编码所述第二编码区块，

其中，基于预定的分割信息确定所述第二编码区块，

3.一种非临时性计算机可读存储介质，其上存储由指令，当由处理器执行所述指令时，所述指令执行解码方法，所述方法包括：

分割第一编码区块以确定第二编码区块；以及

解码所述第二编码区块，

其中，所述第一编码区块基于分割类型的其中一个来分割，

其中，基于预定的分割信息确定所述第二编码区块，