CN110870307A - 同步影像的处理方法及其装置 - Google Patents

Abstract

本发明提供一种通过解码装置而执行的解码方法，包括以下步骤：执行由时间或空间同步的多个区域构成的当前图像上的当前块的解码，其中，执行所述解码的步骤包括如下步骤：利用与所述多个区域对应的区域信息而执行所述当前块的解码处理。

Description

同步影像的处理方法及其装置

技术领域

本发明涉及影像处理方法及其装置。更具体地，本发明涉及一种基于同步区域影像的处理方法及其装置。

背景技术

最近随着数码影像处理和电脑图像技术的发展，正积极开展再现现实世界并体验真实感受的虚拟现实(VIRTUAL REALITY，VR)技术的研究。

特别是，最近如HMD(Head Mounted Display)的VR系统，不仅可以给用户的双目提供三维立体图像，而且可以全方位视点跟踪，因此，可360度旋转观看逼真的虚拟现实(VR)影像内容而倍受关注。

然而，360度VR内容由在时间及双目影像在空间上复合同步的、同时全方位多视点影像信息而构成，因此，在制作及传输影像时，对在所有视点的双目空间同步的两个大型影像进行编码后压缩并传输。这样会加重复杂程度和宽带的负担，特别是在解码装置上对脱离了用户的视点，实际观看不到的区域也进行解码，因此存在浪费不必要的程序的问题点。

因而，需要一种减少影像传输数据量和复杂程度，且在宽带及解码装置的耗电方面也有效地编码方法。

并且，对于如上所述的360VR内容，在须按通过两个以上相机获取的各个视点区域(REGION，区域)处理影像时，对于通过相互不同的相机获取的影像，通过相机的特性及影像的获取当时的外部环境等，影像的整体亮度等获取的不一样的情况很多。其结果为在将解码结果实现为360度VR内容时，存在极具降低主观性体感画质的问题。

并且，对于为了呈现360影像而将通过各个相机获取的影像整合为一个大型影像的情况，也存在因产生的边界而导致编码效率低下，或画质低下的问题。

发明内容

发明要解决的技术问题

本发明是为了解决如上所述问题而研发，其目的在于，提供一种影像处理方法及装置，利用同步多视点影像的空间布局信息对如360度相机或VR用影像等的同步多视点影像有效进行编码/解码。

并且，本发明的目的在于提供一种影像处理方法及装置，用于提供一种提供照明度补偿，以防止因360度相机或VR用影像等同步多视点影像的同步的视点区域或区域而产生的照明度的不一致而导致主观性体感画质低下问题。

而且，本发明的目的在于提供一种影像处理方法及装置，防止因360度相机或VR用影像等同步多视点影像的同步的视点区域的不一致而导致主观性体感画质低下及因整合而降低编码效率，并相对于效率而提供极大提高画质的影像处理。

用于解决问题的技术方案

为了解决如上所述问题，本发明的实施例的方法涉及一种通过解码装置而执行的解码方法，其包括以下步骤：执行以由时间或空间同步的多个区域(REGION)构成的当前图像上的当前块的运动预测解码，其中，执行所述运动预测解码的步骤包括如下步骤：与所述当前块所属的区域对应，导出相邻的参考区域；获取所述参考区域的照明度补偿参数；及利用所述照明度补偿参数处理运动预测解码的当前块的照明度补偿。

用于解决如上所述的问题的本发明的实施例的装置涉及一种解码装置，包括：影像解码部，执行由时间或空间同步的多个区域(REGION)构成的当前图像上的当前块的运动预测解码；及照明度补偿处理部，与所述当前块所属的区域对应，导出相邻的参考区域，获取所述参考区域的照明度补偿参数，利用所述照明度补偿参数而处理运动预测解码的当前块的照明度补偿。

用于解决如上所述问题的本发明的实施例的方法涉及一种通过解码装置而执行的解码方法，包括以下步骤：执行由同步的多个区域(Region)构成的当前图像上的当前块的解码，其中，执行所述解码的步骤包括如下步骤：识别所述当前块所属区域和相邻区域的边界区域；及选择性适用与所述边界区域对应的滤波。

并且，用于解决如上所述问题的本发明的实施例的装置涉及一种解码装置，包括：影像解码部，执行由同步的多个区域(Region)构成的当前图像上的当前块的解码，其中，所述影像解码部包括：滤波部，识别所述当前块所属的区域和相邻区域的边界区域，并选择性适用与所述边界区域对应的滤波。

而且，用于解决如上所述问题的本发明的实施例的装置涉及一种编码装置，包括：影像编码部，执行由同步的多个区域(Region)构成的当前图像上的当前块的解码，其中，所述影像编码部包括：滤波部，识别所述当前块所属的区域和相邻区域的边界区域，选择性适用与所述边界区域对应的滤波。

另外，用于解决如上所述问题的本发明的实施例的方法由用于将所述方法在计算机执行的程序及记录该程序的记录介质实现。

发明效果

根据本发明的实施例，从同步多视点影像提取适合编码及传输的空间布局信息并信令通知，从而，能有效地减小影像传输数据量、带宽及复杂度。

并且，可以提供一种编码/解码方法以及装置，当在解码单元中接收到同步多视点影像时，可以根据信令信息对每个视点的最优化的部分执行解码和选择性解码，从而，能够减少系统浪费，在复杂度及耗电池方面也是有效的。

另外，根据本发明的实施例，可以支持关于各种类型的同步影像的空间布局信息，从而，能够根据解码装置规格进行适当的影像再现，并能提高装置兼容性。

并且，本发明具有如下优点，利用用于同步多视点影像的同步视点区域或区域的照明度补偿的照明度补偿参数，适用于运动补偿预测块或运动补偿的块，并处理与其对应的适用性滤波，提前防止发生照明度不一致，由此，极大提高主观性画质。

而且，本发明具有如下优点，对于通过同步多视点影像的同步的视点区域或区域间边界而产生的边界区域，通过选择性处理滤波，而防止主观性画质低下，而且，编码及解码效率达到最优。

附图说明

图1是根据本发明的一实施例的整个系统的结构图；

图2为显示本发明的一实施例的影像编码装置的结构的框图；

图3至图6为显示根据本发明的实施例的同步多视点影像的空间布局的一例的附图；

图7至图9为用于说明根据本发明的各种实施例的空间布局信息的信令通知方法的附图；

图10为显示用于说明根据本发明的实施例的空间布局信息的结构图；

图11为用于说明本发明的实施例的空间布局信息的类型索引表的附图；

图12为用于说明本发明的实施例的解码方法的流程图；

图13为显示本发明的实施例的解码系统的附图；

图14至图15为用于说明本发明的实施例的编码及解码处理的附图；

图16至图17为用于说明本发明的实施例的处理基于区域参数的照明度补偿的解码方法的流程图；

图18为用于说明本发明的实施例的同步多视点影像的区域及空间上相邻区域的附图；

图19为用于说明在本发明的实施例的时间上相邻的区域的附图；

图20为用于说明本发明的实施例的区域自适应滤波的附图；

图21为用于说明本发明的实施例的解码方法的流程图；

图22至图30为用于说明与本发明的实施例的区域边界区域对应的选择性滤波的附图。

具体实施方式

下面参照附图详细说明本发明的实施例以供本发明所属领域的技术人员能够容易实施。但是，本发明可以以各种不同的形式实现，并不局限于此处说明的实施例。并且，为了明确说明本发明，图中省略了与说明无关的部分，在整个说明书中对类似的部分标注类似的附图符号。

在本发明的说明书中，某部分与其他部分“连接”时，其不仅包括“直接连接”的情况，还包括在中间通过其他元件“电连接”的情况。

本发明的说明书中，在称某部件位于其他部件上时，不仅包括某部件与其他部件相接触的情况，还包括在两个部件之间存在其他部件的情况。

本发明的说明书中，在称某部分“包括”某构成要素时，在不存在特别排它的记载的情况下，并不排除其他构成要素，可进一步包括其他构成要素。本发明的说明书中所使用的“约”、“实际上”等程度术语是指在所提及的含义提示固有的制造及物质的允许误差时，以该数值或与该数值近似的含义使用，并用于防止未经许可的侵权者对为了理解本发明而不正当的利用准确或绝对数值所指代的公开内容。本发明的说明书中使用的术语“～步骤”或“～的步骤”并不意味着“用于～步骤”。

在整个说明书中，马库什形式的表达中所包含的这些组合的术语是指选自由马库什形式的表达中记载的构成要素组成的组中的一个以上的混合或组合，并指包含选自由所述构成要素组成的组中的一个以上。

本发明的实施例中，作为对同步影像进行编码的方法的一例，可以利用到目前为止开发的视频编码标准中具最高的编码效率的MPEG(运动图像专家组；Moving PictureExperts Group)和VCEG(视频编码专家组；Video Coding Experts Group)中共同标准化的HEVC(高效视频编码；High Efficiency Video Coding)或目前正在进行标准化工作的编码技术进行编码，但并不局限于此。

通常，编码装置包括编码过程和解码过程，解码装置包括解码过程。解码装置的解码过程与编码装置的解码过程相同。因此，下面主要说明编码装置，但在解码装置中，也逆向适用相同的程序。

图1为根据本发明的一实施例的整个系统的结构图。

参照图1，根据本发明的一实施例的整个系统，包括：预处理装置10、编码装置100、解码装置200、以及后处理装置20。

根据本发明的实施例的系统，可以包括：预处理装置10；对多个视点的影像分别进行合并或拼接(stitch)等工作来进行预处理获得同步的视频帧；编码装置100，对所述同步化的视频帧进行编码而输出位流；解码装置200，接收所述位流对所述同步化的视频帧进行解码；以及后处理装置20，通过对所述视频帧的后处理，使得各视点同步化的影像被输出至各自的显示器。

此处，输入影像可包括多视点的个别影像，例如，可包括一个以上的相机在时间及空间同步的状态下拍摄的各种的视点的子图像信息。由此，预处理装置10通过对所获得的多视点子图像信息按时间进行空间合并或拼接处理，从而，可以获得同步影像信息。

并且，编码装置100对所述同步影像信息进行扫描及预测编码而生成位流，所生成的位流可以传输至解码装置200。尤其，根据本发明的实施例的编码装置100能够从所述同步的影像信息提取空间布局信息，并向解码装置200信令通知。

此处，空间布局信息(spatial layout information)根据从所述预处理装置10合并一个以上的子图像而构成一个视频帧，而包含对每个子图像的属性及布置的基本信息。并且，还可以进一步包括各子图像以及对子图像之间的关系的附加信息，对此将在后面详述。

由此，根据本发明的实施例的空间布局信息可传递至解码装置200。并且，解码装置200参考空间布局信息和用户视点信息确定位流的解码对象及解码顺序，可以推导有效的解码。

并且，经解码的视频帧再次通过后处理装置20按各自的显示器分为子图像，然后被提供至如HMD等多个同步化的显示系统，由此，用户能得到如虚拟现实逼真的同步化的多视点影像。

图2为显示根据本发明的一实施例的影像编码装置的结构的框图。

参照图2，根据本发明的实施例的编码装置100，包括：同步多视点影像获取部110、空间布局信息生成部120、空间布局信息信令通知部130、影像编码部140、照明度补偿处理部145及传输处理部150。

同步多视点影像获取部110利用如360相机等同步多视点影像获取单元获得同步多视点影像。同步多视点影像能够包括时间及空间同步的多个子图像，也能够从预处理装置10接收或从另外的外部输入装置接收。

并且，空间布局信息生成部120将所述同步多视点影像分割为时间单位的视频帧，并提取关于所述视频帧的空间布局信息。能够根据各个子图像的属性和布置状态来确定空间布局信息，并且也能够根据从预处理装置10获得的信息来确定空间布局信息。

并且，空间布局信息信令通知部130执行将所述空间布局信息向解码装置200信令通知的信息处理。例如，空间布局信息信令通知部130能够执行包括在由影像编码部经编码的影像数据、或构建其他的数据格式、或者包含在经编码的影像的元数据的一个以上的程序。

然后，影像编码部140随着时间流逝对同步多视点影像进行编码。另外，影像编码部140将在空间布局信息生成部120生成的空间布局信息作为参考信息利用来确定影像扫描顺序及参考图像等。

因此，如上所述，影像编码部140能够利用HEVC(High Efficiency Video Coding)执行编码，但是，根据空间布局信息能够以更有效的方式改善同步多视点影像。

并且，照明度补偿处理部145对于在所述影像编码部140处理的影像编码，对于执行当前图像上的当前块的运动预测解码的情况，与所述当前块所属的区域对应而导出相邻的参考区域，获取所述参考区域的照明度补偿参数，利用所述照明度补偿参数，处理经运动预测解码的当前块的照明度补偿。

在此，在所述预处理装置10中处理而时间或空间同步的所述子图像被布置在由多个区域(REGION)构成的各个图像上。各个子图像通过相互不同的相机等而获取，根据在预处理装置10上的影像处理而进行拼接及合并。但，通过所述各个相机而获取的子图像因拍摄当时的外部环境等而整体亮度无法相同，因此，产生因不一致而导致的主观性画质低下与编码效率降低的问题。

由此，在本发明的实施例中，将进行拼接及合并布置的子图像的区域称为区域(REGION)，照明度补偿处理部145在影像编码部140的编码中，对于当前区域，执行对如上所述的时间或空间上相邻的区域获取的基于照明度补偿参数的照明度补偿处理，由此，补偿因相互不同的相机而产生的照明度的不一致，并获得提高相应画质及编码效率的效果。

尤其，根据预处理装置10的合并及拼接方式而确定在特定时间同步的各个图像的布局。由此，在特定图像内的各个区域之间通过布局而在空间上具有相邻的关系，或在相互不同的图像的相同的位置的区域间具有在时间上相邻的关系，照明度补偿处理部145由影像信息的空间布局信息获取按此方式获取的相邻关系信息，或由影像编码部140获取。

因此，照明度补偿处理部145确定与当前区域对应的相邻区域信息、与所述相邻区域信息对应的所述照明度补偿参数，由此，执行对由影像编码部140识别的解码块的照明度补偿处理。

尤其根据本发明的实施例，优选地，照明度补偿处理适用于影像编码部140的运动补偿处理。所述影像编码部140将运动预测样本或通过运动补偿而与运动预测样本整合重建的块信息传送至照明度补偿处理部145，照明度补偿处理部145根据相邻区域信息与照明度补偿参数而对运动预测样本执行照明度补偿处理或根据运动补偿而对与运动预测样本整合重建的块执行照明度补偿处理。

更具体地，照明度补偿参数包括：与参考对象区域对应而提前计算的照明度伸缩信息及照明度偏移信息。照明度补偿处理部145将所述照明度伸缩信息与所述照明度偏移信息对所述运动预测样本或整合重建的块而适用，将经照明度补偿处理的运动预测样本或整合重建的块传送至影像编码部140。

并且，照明度补偿处理部145通过传输处理部150而将所述相邻区域信息及所述照明度补偿参数中的至少一个向解码装置200或后处理装置20信令通知。与此相应的解码装置200或后处理装置20的动作在下面进行说明。

并且，传输处理部150结合经编码的影像数据、由所述空间布局信息信令通知部130插入的空间布局信息、所述相邻区域信息或所述照明度补偿参数而执行用于传输至解码装置200或后处理装置20的一个以上变换及传输处理。

图3至图6为显示根据本发明的实施例的同步多视点影像的空间布局及影像结构的一例的附图。

参照图3，根据本发明的实施例的多视点影像可包括时间同步及空间同步的多个影像帧。

每个帧根据固有的空间布局同步，能够构成在同一时间表示的对应于一个以上的场景(Scene)、视点(Perspective)或视图(View)的子图像的布局。

由此，在空间布局信息的构成同步多视点影像的每个子图像通过合并、拼接(stitch)等被构成为一个输入影像，或者同时间段多视点影像(例如，作为同时同步的多个影像，对应于在相同的POC内对应的各种视图)被构成为输入影像的情况下，能够包括所述多视点影像或子图像的配置信息、捕获相机的位置信息及角度信息、合并信息、子图像的数量信息、扫描顺序信息、获取时间信息、相机参数信息、子图像之间的参考从属信息等子图像和其相关信息。

例如，如图4所示出，能够通过发散(divergent)式相机排列拍摄影像信息，也能够通过对排列影像的拼接处理来构成可360度观察的空间影像。

如图4所示，对应于每个相机排列A、B、C...拍摄的影像A'、B'、C'可根据一维或二维空间布局配置，用于处理所排列的影像之间的拼接处理的左右、上下区域关系信息作为空间布局信息例示。

由此，空间布局信息生成部120能够从输入影像提取包括如所述各种属性的空间布局信息，空间布局信息信令通知部130能够通过后述的最佳的方法信令通知所述空间布局信息。

如此生成及信令通知的空间布局信息，如上所述，能够作为有用的参考信息所利用。

例如，假设通过每个相机拍摄的内容为被预拼接的图像时，所述每个预拼接的图像在编码之前重叠形成一个场景(scene)。相反，能够根据每个视图(view)分离所述场景，并能够根据类型在所分离的各图像间相互补偿。

由此，将在多视点拍摄的一个以上的影像在前处理过程中合并及拼接为一个图像后传输并输入到编码器的预拼接图像时，经合并及拼接的输入影像的场景信息、空间布局结构信息等能够通过另外的空间布局信息的信令通知传送到编码步骤及解码步骤。

并且，即使在从多视点取得的影像为以时间同步的视点的一个以上的输入影像传输并经过编码及解码的非拼接图像类型的情况下，在编码及解码步骤中，也能够根据所述空间布局信息参考及补偿。为此，需要各种空间布局信息及对应于其的数据字段。而且，数据字段与输入影像的压缩信息一起编码或能够包含在独立的元数据并传输。

并且，包含空间布局信息的数据字段还能够运用于影像的后处理装置20及显示器的渲染处理中。

为此，包括空间布局信息的数据字段包括从每个相机获取影像时获得的位置坐标信息及色差信息。

例如，从每个相机获取影像信息时获得的影像的三维坐标信息及色差信息(X、Y、Z)、(R、G、B)等信息能够作为对每个子图像的附加信息获取并传输，该类信息在执行解码后能够在影像的后处理及渲染过程中运用。

并且，包含空间布局信息的数据字段能够包括每个相机的相机信息。

如图5至图6所示，能够配置拍摄三维空间而提供空间影像的一个以上的相机。

例如，图5所示，获取影像时，以在三维空间内的一个地点获取周边事物的形式，一个以上的相机的位置被固定在中央位置，并设定各自的方向。

并且，如图6所示，一个以上的相机能够配置成在各种角度拍摄一个对象物的形式。此时，基于获取影像时的坐标信息(X、Y、Z)和距离信息等，在要再现三维影像的VR显示设备分析用户的操作信息(Up/Down、Left/Right、Zoomin/Zoom Out)等，并对对应于此的影像的一部分进行解码或后处理后，能够重建用户所需的视点或部分影像。另一方面，如上所述，在例示的VR影像的同步多视点影像的压缩、传送、再现等的系统中，根据影像的类型或特性、解码装置的特性等，能够在必要的部分追加其他的影像转换工具模块等。

例如，影像编码部140从相机获取的影像为球面(Equirectangular)类型时，根据影像的压缩性能及编码效率等通过变换工具模块变换为20面体/立方体贴图(Icosahedron/Cube Map)等方式的影像类型，并由此执行编码。此时，变换工具模块还能够运用在预处理装置10及后处理装置20，经变换的变换信息包含在所述空间布局信息等，能够以元数据形式传送到编码装置200或后处理装置20或VR显示装置。

另一方面，为传递根据本发明的实施例的同步多视点影像，编码装置100及解码装置200之间需要用于支持可伸缩性的其他的VR影像压缩方式。

由此，编码装置100能够以区分基本层和增强层的方式对影像进行压缩编码，以用于对VR影像可伸缩地进行压缩。

通过该方法，在压缩通过各种相机获取一张输入影像的高分辨率VR影像时，在基本层对原始影像进行压缩，在增强层对一张图片如切片/瓦片等一样分割区域，从而，能够对每个子图像进行编码。

此时，编码装置100将基本层的重建影像作为参考影像利用，并能够通过提高编码效率的层间预测技术(Inter layer prediction)处理压缩编码。

另一方面，在解码装置200对基本层执行解码的同时，需要根据用户的操作等对特定影像迅速执行解码时，对增强层的局部区域执行解码，而对根据用户的操作的局部影像迅速执行解码。

在该可伸缩压缩方式中，编码装置100对基本层执行编码，但在基本层中对原始影像以任意比率按比例缩小(Scale down))或下采样((Down sampling))等而执行压缩。此时，在增强层中通过对基本层的重建影像的按比例扩展(Scale Up)或上采样(Upsampling)等以相同的分辨率调节影像尺寸，并通过与此对应的基本层的重建影像作为参考图片运用，而执行编码/解码。

根据支持该可伸缩性的处理结构，解码装置200对以低比特或低分辨率压缩的基本层的整个位流执行解码，根据用户的操作可以仅对整个位流中的局部影像执行解码作为增强层。并且，由于并非对整个影像执行解码，因此，以低复杂度也能够重建VR影像。

并且，根据支持不同分辨率的其他可伸缩性的影像压缩方式，编码装置100在基本层可根据原始影像或影像制作者的意图对影像进行压缩，并在增强层基于参考基本层的重建影像进行编码的层间预测方式执行编码。

此时，增强层的输入影像能够为通过影像分割方法分割一张输入影像后编码为多个区域的影像。一个分割的区域最多可以包括一个子图像，多个分割区域可以构成一个子图像。通过这样的分割方法编码的压缩位流能够处理服务和应用程序阶段中的两个以上的输出。例如，在服务中通过对基本层的解码而重建整个影像并输出，在增强层反映通过服务或应用程序的用户的操作、视点变化及操作等，仅对局部区域及局部子图像执行解码。

图7至图9为用于说明根据本发明的各种实施例的空间布局信息的信令通知方法的图。

如图7至图9所示，空间布局信息在对一般影像进行编码时，在被定义为编码参数的序列参数集(SPS，SEQUENCE PARAMETER SET)或视频参数集(VPS，VIDEO PARAMETER SET)等的HLS上，能够以网络抽象层(NAL，NETWORK ABSTRACTION LAYER)单元形式的一个级别的类型信令通知。

首先，图7为显示插入根据本发明的实施例的同步影像编码标志的NAL UNIT类型的附图，例如，在VPS(VIDEO PARAMETER SET)等能够插入根据本发明的实施例的同步影像编码标志。

由此，图8为显示将根据本发明的实施例的空间布局信息标志插入至VPS(VIDEOPARAMETER SET)的实施例的附图。

如图8所示，根据本发明实施例的空间布局信息信令通知部130，在VPS上能够插入用于确认其他的输入影像的种类的标志。编码装置100通过空间布局信息信令通知部130，利用vps_other_type_coding_flag，执行如VR内容等同步多视点影像编码，并能够插入指示空间布局信息已被信令通知的标志。

另外，如图9所示，根据本发明的实施例的空间布局信息信令通知部130可以向SPS(序列参数集)信令通知经编码的多视点同步影像。

例如，如图9所示，空间布局信息信令通知部130通过插入输入影像的类型(INPUT_IMAGE_TYPE)，而在SPS包括同步多视点影像的索引信息进行传输。

此处，对于SPS的INPUT_IMAGE_TYPE_INDEX并非为-1时，或INDEX值并非为-1时，或其值被指定为0而对应于-1时，能够表示INPUT_IMAGE_TYPE为根据本发明的实施例的同步多视点影像。

另外，空间布局信息信令通知部130，当输入影像的类型为同步多视点影像时，通过在SPS中包括该视点信息(PERSPECTIVE INFORMATION)而信令通知，从而，也能够在SPS插入同步多视点影像的空间布局信息的局部进行传输。视点信息是根据二维影像的三维渲染处理过程，按每个时间段对图像布局信令通知的信息，可以包括上段、下段及侧面等的顺序信息。

由此，解码装置200对VPS或SPS的所述标志进行解码，能够识别该影像是否利用根据本发明的实施例的空间布局信息进行编码。例如，在图5的VPS的情况下，通过提取VPS_OTHER_TYPE_CODING_FLAG，能够确认相应影像是否为利用空间布局信息而编码的同步多视点影像。

并且，在图9的SPS情况下，通过对PERSPECTIVE_INFORMATION_I NDEX信息进行解码，可以识别布局等实际空间布局信息。

此时，空间布局信息能够以参数的形式构成，例如，空间布局参数信息能够不同地包含在SPS、VPS等的HLS上，或者以如独立的函数形态构成语法(Syntax)，或者可以被定义为SEI消息。

并且，根据一实施例，空间布局信息能够包含在PPS(图像参数集，PICTUREPARAMETER SET)上进行传输。此时，能够包含每个子图像的属性信息。例如，可信令通知子图像的独立性。独立性指示相应影像在不参考其他影像的情况下进行编码及解码，同步多视点影像的子图像能够包括独立子图像和从属子图像。从属子图像能够参考独立子图像进行解码。空间布局信息信令通知部130在PPS上对独立子图像能够以列表(Independent subimage list)形式信令通知。

另外，所述空间布局信息能够被定义为SEI消息而信令通知。图10作为空间布局信息例示了SEI消息，并且，能够使用空间布局信息描述符来插入参数化的空间布局信息。

如图10所示，空间布局信息能够包括能显示输入影像的空间布局(Spatiallayout)的类型索引信息(INPUT IMAGE TYPE INDEX)、视点信息(PERSPECTIVEINFORMATION)、相机参数信息(CAMERA PARAMETER)、场景角度信息(SCEN ANGLE)、场景动态范围信息(SCENE DYNAMIC RANGE)、独立子图像信息(INDEPENDENT SUB IMAGE)、场景时间信息(SCENE TIME INFORMATION)中的至少一个，还能够增加在对除此之外的多视点同步影像进行有效编码时所需的各种信息。这些参数能够被定义为一种描述类型SEI消息格式，解码装置200解析这些参数，能够在解码、后处理和渲染步骤中有效利用所述空间布局信息。

并且，如上所述，空间布局信息能够以SEI或元数据的形式传递至解码装置200。

并且，例如，空间布局信息在编码步骤中能够通过如配置(configuration)等选择选项来信令通知。

作为第1选项，空间布局信息根据语法上的编码效率，包含于HLS上的VPS/SPS/PPS或编码单元(Codingunit)语法中。

作为第2选项，空间布局信息能够作为在语法上的SEI形态的元数据一次性进行信令通知。

下面，参照图11至图13，对根据本发明的一实施例的同步多视点影像格式的有效的视频编码及解码方法作更具体说明。

如上所述，在预处理步骤中生成的多个视点的每个影像能够合成为一个输入影像而被编码。此时，一个输入影像包括多个子图像。每个子图像能够在同一时刻同步，能够分别对应于不同的视图，视觉视点(PERSPECTIVE)或场景。其具有即使未使用现有的单独的深度信息，也能够在相同的POC(图像序列号；PICTURE ORDER COUNT)上支持各种视图的效果，并且，每个子图像之间的重叠的区域被限定作为边界区域。

尤其，输入影像的空间布局信息能够如上所述的形式信令通知，编码装置100及解码装置200在解析空间布局信息并执行有效的编码及解码时利用。即，编码装置100在编码步骤中可以利用所述空间布局信息处理多视点影像编码，解码装置200在解码、预处理及渲染步骤中处理利用所述空间布局信息的解码。

图11为用于说明根据本发明的实施例的空间布局信息的类型索引表的图。

如上所述，输入影像的子图像能够以多种方式布置。由此，空间布局信息能够单独地包含用于信令通知布置信息的表索引。例如，如图11所示，同步多视点影像根据变换方法例示有等角(Equirectangular：ERP)、立方体(Cubemap：CMP)、等面积(Equal-area：EAP)、八面体(Octahedron：OHP)、Viewport generation using rectilinear projection(基于直线投影的视区的生成)、二十面体(Icosahedron，ISP)、Crasters Parabolic Projection(克拉斯特抛物线投影)for CPP-PSNR calculation、正方棱台(Truncated SquarePyramid：TSP)、分段球体投影(Segmented Sphere Projection：SSP)、调整的立方体投影(Adjusted Cubemap Projection：ACP)、旋转球体投影(Rotated Sphere Projection：RSP)等布局，在空间布局信息能够插入与每个布局相对应的图11所示的表索引。

更具体地，根据各空间布局信息，对应于360度的坐标系的三维影像能够以二维影像投影。

ERP是在一个面上投影变换360度影像的投影方式，包括对应于二维图像的取样位置的u、v坐标系位置变换以及对应于所述u、v坐标系位置的等距矩形经度与维度坐标变换处理。由此，空间布局信息包括ERP索引、单面信息(例如设定face index为0)。

CMP是将360度影像投影到六个正六边形面的投影方式，能够布置被投影到与PX、PY、PZ、NX、NY、NZ(P表示正，N表示负)对应的各面索引(face index，f)的子图像。例如，对于CMP影像的情况，包括将ERP影像变换为3×2的立方贴图影像的影像。

因此，空间布局信息能够包括CMP索引和与子图像对应的各面索引信息。后处理装置20根据面索引处理子图像上的二维位置信息，计算与三维坐标系对应的位置信息，并逆变换输出三维360度影像。

ACP，如CMP将360度影像投影到6个正六边形面时，适用分别与二维投影变换及三维逆变换对应，而以与三维弯曲变形匹配的方式进行调整的函数，虽其处理函数不同，但所利用的空间布局信息能够包含ACP索引和每个子图像的面索引信息。因此，后处理装置20根据利用面索引调整子图像上的二维位置信息的函数进行逆变换处理，计算出与三维坐标系对应的位置信息，并输出由此而形成的三维360度影像。

EAP为与ERP相同地被投影到一个面的变换，包括与二维图像的取样位置及时对应的等距矩形经度和维度坐标变换处理。空间布局信息包括EAP索引和单面信息。

OHP是将360度影像利用六个顶点(vertices)投影到正八边形面的投影方式，利用面{F0，F1、F2、F3、F4、F5、F6、F7}和顶点{V0、V1、V2、V3、V3、V4、V5}，而所投影的子图像被布置于变换影像。

因此，空间布局信息能够包括OHP索引、与子图像对应的各面索引(face index)信息、以及与所述面索引信息匹配的一个以上的顶点(vertex)索引信息。另外，变换影像的子图像的布置分为紧凑情况和非紧凑情况。因此，空间布局信息还能够包括识别紧凑与否信息。例如，能够不同地确定非紧凑的情况和紧凑情况的面索引及顶点索引匹配信息及逆变换程序。例如，若在面索引4为不紧凑的情况，则能够与顶点索引V0、V5和V1匹配，对于为紧凑的情况，对V1、V0和V5处理其他匹配。

后处理装置20根据面索引和顶点索引对子图像上的二维位置信息进行逆变换处理，计算出与三维坐标系对应的矢量信息，并逆变换输出三维360度影像。

ISP是将360度影像利用20个面(face)和1两个顶点(vertices)投影的方式，并且，能够在变换影像布置每个变换相应的子图像。空间布局信息与OHP类似，能够包括ISP索引、面索引、顶点索引和紧凑识别信息中的至少一个。

SSP将360度影像的球体分为北极、赤道及南极的三个分段而进行处理。北极和南极分别映射到由索引识别的两个圆，两极分段间角落被处理为灰色的非激活样品，赤道可以利用与ERP相同的投影方法。因此，空间布局信息能够包括与SSP索引、每个赤道、北极和南极分段对应的面索引。

RSP能够包括将360度影像的球体划分为两个相同大小的片段，并且将所述分割的影像展开而在二维变换影像中布置两排的方式。RSP作为与CMP类似的3×2纵横比，能够利用6个面来实现上述布置。因此，变换影像包括上段的第一划分影像和下段的第二划分影像。空间布局信息能够包括RSP索引、划分影像索引及面索引中的至少一个。

TSP包括将投影到6个立方体表面上的360度影像的帧与截头矩形金字塔的表面相对应而变形投影的方式。因此，对应于各面的子图像的大小和形状可以彼此不同。空间布局信息包括TSP识别信息和面索引中的至少一个。

Viewport generation using rectilinear projection是将360度影像变换为以视角为Z轴投影的二维影像而获取的投影方式，空间布局信息还包括Viewport generationusing rectilinear projection索引信息和表示视点的视口(Viewport)信息。

一方面，空间布局信息还能够包括适用于所述影像变换的插值滤波器信息。例如，插值滤波器信息能够根据各投影变换方式而相异，并包括最邻近滤波器(nearestneighbor)、双线性滤波器、双三次(BICUBIC)滤波器、Lanczos滤波器中的至少一个。

一方面，能够另外定义用于评估预处理变换和后处理逆变换的处理性能的变换方式及索引。例如，性能评估能够用于确定预处理装置10上的预处理方式，并且，能够将相互不同的两个变换影像变换为CPP(Crasters Parablic Projection)域名而测量PSNR的CPP方式作为该方式进行例示。

然而，图11所示的表是根据输入影像任意布置的，能够根据编码效率及市场的内容分布等来变更。

因此，解码装置200能够解析另外信令通知的表索引并将其用于解码处理。

尤其，在本发明的实施例中，所述每个布局信息能够有用地用于影像的局部解码。即，诸如立方体布局(CUBIC LAYOUT)的子图像布置信息用于区分独立子图像与从属子图像，从而确定有效的编码和解码扫描顺序，或者用于对特定视点执行局部解码。

图12是用于说明根据本发明的实施例的解码方法的流程图。

参照图12，首先，解码装置200接收影像位流(S101)。

并且，解码装置200确认影像是否为同步多视点影像(S103)。

在此，解码装置200从影像位流识别是否为由从空间布局信息信令通知部130信令通知的标志同步多视点影像。例如，解码装置200从如上所述的VPS、SPS等可预先识别影像是否为同步多视点影像。

在并非为同步多视点影像的情况下，对一般的整个影像执行解码(S113)。

并且，解码装置200，对于为同步多视点影像时，从空间布局信息对表索引执行解码(S105)。

此处，解码装置200从表索引能够识别是否为球面(EQUIRECTANGULAR)影像(S107)。

这是因为在同步多视点影像中球面影像的情况下，并未区分为其他的子图像，所以，解码装置200对球面影像执行整个影像的解码(S113)。

对于并非为球面影像的情况，解码装置200对剩下的整个空间布局信息(SPATIALLAYOUT INFORMATION)执行解码(S109)，执行基于所述空间布局信息的影像解码处理(S111)。

在此，基于所述空间布局信息的影像解码处理还包括：照明度补偿处理，利用对所述照明度补偿处理部145的相邻区域的照明度补偿参数。

图13为显示本发明的一个实施例的解码系统及其操作的附图。

参照图13，根据本发明实施例的解码系统300接收从上述的编码装置100或外部服务器等接收的整体同步的多视点影像位流及空间布局信息，能够构成向用户的虚拟现实显示装置400提供一个以上的解码图片的客户端系统。

为此，解码系统300包括解码处理部310、用户操作分析部320及接口部330。尽管在本说明书中将解码系统300描述为单独的系统，但是，其也能够由构成用于执行必要的解码处理及后处理的上述的解码装置200及后处理装置20的全部或局部模块的组合构成，还能够扩张解码装置200而构成。因此，不局限于该名称。

因此，根据本发明的实施例的解码系统300能够根据从编码装置100接收的空间布局信息、和基于用户操作分析的用户视点信息对整个位流的局部选择性地执行解码。尤其，根据参照图13说明的选择性解码，解码系统300使用空间布局信息，基于预定方向而将具有同时间(POC，Picture of Count)的多个视点的输入影像与用户的视点(PERSPECTIVE)相对应。并且，以此为准，对基于用户视点确定的感兴趣区域(ROI，Region Of Interest)图片执行部分解码。

以这种方式，解码系统300使用空间布局信息而选择性地处理与所选择的特定区域相对应的解码。例如，通过根据布局信息单独处理的解码来确定与特定选择区域相对应的质量参数(Qp)值，并由此处理选择性解码。尤其，在对所述感兴趣区域(ROI)的选择性解码中，与其他区域不同地确定所述质量参数的值。根据用户的视点(PERSPECTIVE)，在所述ROI区域中，一部分的细部(DETAIL)区域的质量参数也能够与其他区域作不同地确定。

为此，解码系统300能够包括用于接收和分析用户信息的接口层，并且，能够选择性地执行当前解码的图像所支持的时间点以及VR显示装置400的视点映射，后处理和渲染等。更具体而言，界面层包括用于所述后处理和渲染的一个以上的处理模块、接口部330及用户操作分析部320。

接口部330可从用户佩戴的VR显示装置400接收运动信息。

接口部330包括用于有线或无线地接收如用户的VR显示装置400的环境传感器、接近传感器、运动传感器、位置传感器、陀螺仪传感器、加速度传感器和地磁传感器中的至少一个的数据通信模块。

并且，用户操作分析部320分析从所述接口部330接收的用户操作信息以确定用户的视点(PERSPECTIVE)，并将用于自适应地选择与其对应的解码图片组的选择信息传输到解码处理部310。

因此，解码处理部310基于从用户操作分析部320传输的选择信息来设置用于选择ROI(感兴趣区域)图片的ROI掩码，并能够仅对与所设置的ROI掩码相对应的图片区域执行解码。例如，图片组能够对应于上述的影像帧中的多个子图像或参考图像中的至少一个。

例如，如图13所示，当在解码处理部310解码的特定POC的子图像存在1至8个时，解码处理部310仅对与用户的视点对应的子图像区域6、7进行解码，由此，可以实时提高处理速度及效率。

图14至图15用于说明根据本发明的实施例的编码及解码处理的附图。

图14为显示本发明的一实施例的视频编码装置的结构中的用于所述图2的结构的影像编码部140的编码处理的细部结构的框图，作为输入视频信号接收处理根据本发明的实施例的同步多视点影像的每个子图像或整个帧。

参照参照图14，本发明的视频编码装置100包括：图片分割部160、变换部162、量化部163、扫描部164、熵编码部165、帧内预测部169、帧间预测部170、逆量化部166、逆变换部167、后处理部171、图像存储部172、减法部及加法部168。

图像分割部160分析所输入的视频信号对每个最大的编码单元(LCU：LargestCoding Unit)以预定大小的编码单元分割图像后确定预测模式，并按所述编码单元确定预测单元的大小。

并且，所述图像分割部160根据预测模式(或预测方法)将待编码的预测单元传输至帧内预测部169或帧间预测部170。并且，图像分割部160将待编码的预测单元传输至减法部。

图像由多个切片构成，切片可由多个最大编码单元(Coding Tree Unit:CTU)构成。

所述LCU可分割为多个编码单元(CU)，编码器将表示分割与否的信息附加到位流。解码器利用地址(Lcu Addr)识别LCU的位置。

不允许分割的情况下的编码单元(CU)被视为预测单元(Prediction unit:PU)，解码器能够利用PU索引识别PU的位置。

预测单元PU能够分为多个分区。并且，预测单元PU能够由多个变换单元(Transformunit：TU)构成。

此时，图像分割部160作为所确定的编码模式的预定大小的块单元(例如，PU单元或TU单元)将影像数据传输至减法部。

使用CTB(Coding Tree Block)作为视频编码单元，此时，CTB被定为多样的正四边形形状。CTB称为编码单元CU(Coding Unit)。

编码单元(CU)根据分割具有四叉树形态。并且，在QTBT(Quadtree plus binarytree)分割的情况下，编码单元具有所述四叉树或在终端节点二元分割的二叉树形态，根据编码器的标准，最大尺寸能够为256×256至64×64。

并且，为了进行更精密且有效的编码及解码，本发明的实施例的编码装置10通过四叉树及二叉树分割，也能够通过容易分割对特定方向长度的进行较长地分割的编码单元的边缘区域等的三叉树(ternary tree)或三分树(triple tree)布局而分割编码单元。

在此，三叉树布局的分割不受其它限制而能够对所有编码单元进行处理。但考虑如上所述编码及解码效率，优选地，仅对特定条件的编码单元而允许使用三叉树布局。

并且，三叉树布局需要对编码树单元的各种方式的三叉分割，但考虑编码及解码复杂度及信令通知而进行的传输带宽，优选地，仅允许最佳的预定形态。

因此，图片分割部160在确定当前编码单元的分割时，仅在当前编码单元抵抗提前设定的条件的情况下，判断及确定是否通过特定形态的三叉树的分割与否。并且，根据允许使用如上所述的三叉树，二叉树的分割比率扩展及变化为并非仅为1:1的3:1、1:3等。因此，本发明的实施例的编码单元的分割布局包括根据比率而细化分割为四叉树、二叉树或三叉树的复合树布局。

根据本发明的实施例，图片分割部160与块的最大尺寸(例如，像素基础128x128，256x256等)对应，处理四叉树分割，执行处理与四叉树分割的终端节点对应的二叉树布局及三分树布局分割中的至少一个的复合分割处理。

尤其，根据本发明的实施例，图片分割部(110)根据分割表，确定与当前块的特性及尺寸对应的二叉树分割即第一二元分割(BINARY 1)、第二二元分割(BINARY 2)、三叉树分割即第一三叉分割(TRI 1)或第二三叉分割(TRI 2)中的任一个分割布局。

在此，第一二元分割与具有N:N的比率的垂直或水平分割对应，第二二元分割与具有3N:N或N:3N的比率的垂直或水平分割对应，各个二元分割的root CU被分割为在分割表中明示的各个尺寸的CU0及CU1。

另一方面，第一三叉分割与具有N:2N:N的比率的垂直或水平分割对应，第二三叉分割与具有N:6N:N的比率的垂直或水平分割对应，各个三叉分割的root CU被分割为在分割表中明示的各个尺寸的CU0、CU1及CU2。

例如，图像分割部160对于最大尺寸为64×64情况，在为最大编码单元(LCU)时，将深度设定为0，直到深度为3为止，即尺寸8×8的编码单元为止递归地搜索最佳的预测单元而进行编码。此外，例如对被分割为QTBT的终端节点的编码单元，PU(Prediction Unit)及TU(Transform Unit)与所述被分割的编码单元具有相同的形态或更加分割的形态。

执行预测的预测单元定义为PU(Prediction Unit)，各编码单元执行对被分割为多个块的单元的预测，分为正四边形及矩形的形态执行预测。

变换部对所输入的预测单元的原始块和在帧内预测部169或帧间预测部170生成的预测块之间的残差信号即残差块进行变换。所述残差块由编码单元或预测单元构成。由编码单元或预测单元构成的残差块被分割为最佳的变换单元而进行变换。能够根据预测模式确定相互不同的变换矩阵。并且，由于帧内预测的残差信号根据帧内预测模式具有方向性，因此，可根据帧内预测模式自适应地确定变换矩阵。

变换单元能够通过两个(水平、垂直)一维变换矩阵进行变换。例如，在帧间预测的情况下，确定预定的一个变换矩阵。

一方面，对于帧内预测，在帧内预测模式为水平的情况下，残差块具有垂直方向的方向性的概率变高，由此，垂直方向适用基于DCT的整数矩阵，水平方向适用基于DST或基于KLT的整数矩阵，在帧内预测模式为垂直的情况下，垂直方向适用基于DST或基于KLT的整数矩阵，水平方向适用基于DCT的整数矩阵。

在DC模式下两方向均可适用基于DCT的整数矩阵。而且，对于帧内预测，也能够基于变换单元(TU)的大小自适应地确定变换矩阵。

量化部确定用于量化通过所述变换矩阵而变换的残差块的系数的量化步长。量化步长按提前设定的尺寸以上的编码单元(下面，称为量化单元)确定。

所述预设的大小可为8×8或16×16，利用根据确定的量化步长及预测模式而确定的量化矩阵对所述变换块的系数进行量化。

量化部作为当前量化单元的量化步长的预测子，能够利用与当前量化单元相邻的量化单元的量化步长。

量化部以当前量化单元的左侧量化单元、上侧量化单元、左上侧量化单元的顺序进行搜索，可利用一个或两个有效的量化步长生成当前量化单元的量化步长预测子。

例如，能够将更具所述顺序搜索的有效的第一个量化步长确定为量化步长预测子，并且，也能够将通过所述顺序搜索的有效的两个量化步长的平均值确定为量化步长预测子，或者在仅一个量化步长有效的情况下，能够将其确定为量化步长预测子。

在确定所述量化步长预测子的情况下，量化部将当前编码单元的量化步长和量化步长预测子之间的差分值传输至熵编码部。

一方面，当前编码单元的左侧编码单元、上侧编码单元、左上侧编码单元具有全都不存在的可能性。相反，在最大编码单元内的编码顺序上能够存在之前存在的编码单元。

因此，按照编码顺序，在与当前编码单元相邻的量化单元和所述最大编码单元内紧前面的量化单元的量化步长成为候选。

此时，按照1)当前编码单元的左侧量化单元、2)当前编码单元的上侧量化单元、3)当前编码单元的左上侧量化单元、4)编码顺序紧前面的量化单元的顺序设定优先顺序。所述顺序能够改变，也能够省略所述左上侧量化单元。

所述经量化的变换块被提供至逆量化部和扫描部。

扫描部对经量化的变换块的系数进行扫描并将其变换成一维量化系数。由于量化后的变换块的系数分布会取决于帧内预测模式，因此，能够根据帧内预测模式确定扫描方式。

并且，能够根据变换单元的大小不同地确定系数扫描方式。并且，所述扫描方式能够根据方向性帧内预测模式而不同。此时，量化系数的扫描顺序逆向扫描。

当所述经量化的系数被分割为多个子集时，对每个子集内的量化系数适用相同的扫描方式。子集之间的扫描方式适用Z字形扫描或对角线扫描。优选地，所述扫描方式从包括DC的主子集正向扫描到的剩余子集，但也能够进行逆向扫描。

另外，也能够以与子集中经量化的系数的扫描方式相同的方式设置子集之间的扫描方式。此时，能够根据帧内预测模式确定子集之间的扫描方式。另一方面，编码器将能够指示在所述变换单元中非零的最后量化系数的位置的信息传输至解码器。

能够指示各子集内非零的最后量化系数的位置的信息也能够传输至解码器。

逆量化部(135)对所述经量化的量化系数进行逆量化，逆变换部将经逆量化的变换系数重建为空间区域的残差块。加法部相加由所述逆变换部重建的残差块和自帧内预测部169或帧间预测部170接收的预测块而生成重建块。

后处理部171能够执行解块(deblocking)滤波过程，以消除在重建的图像中产生的方块效应；自适应偏移适用过程，以像素单位补偿与原始图像之间的差值；以及自适应环路滤波过程，以补偿编码单元补偿与原始图像之间的差值。

优选地，解块滤波过程适用于具有预定大小以上的大小的预测单元及变换单元的边界。所述大小为8×8。所述解块滤波过程包括：确定待滤波的边界(bounary)的步骤；确定适用于所述边界的边界滤波强度的步骤；确定是否适用解块滤波器的步骤；以及确定适用所述解块滤波器时，选择适用于所述边界的滤波器的步骤。

是否适用所述解块滤波器取决于i)所述边界滤波强度是否大于0；以及ii)与所述待滤波的边界相邻的两个块(P块、Q块)边界部份的像素值是否小于表示变化程度的值根据量化参数所确定的第一参考值。

优选地，所述滤波器至少为两个。在位于块边界的两个像素之间的差值的绝对值大于或等于第二参考值的情况下，选择执行相对弱的滤波的滤波器。

所述第二参考值由所述量化参数及所述边界滤波强度而确定。

自适应偏移适用过程用于减小适用解块滤波的影像内的像素和原始像素之间的差值(distortion)。能够以图像或切片单位确定是否执行自适应偏移过程。

图像或切片能够被分割为多个偏移区域，能够对每个偏移区域确定偏移类型，偏移类型能够包括预定数量(例如4个)的边缘偏移类型和两个带偏移类型。

当偏移类型为边缘偏移类型时，确定各像素所属的边缘类型来适用与其相对应的偏移，所述边缘类型能够基于与当前像素相邻的两个像素值的分布来确定。

自适应环路滤波过程能够基于对比经解块滤波过程或自适应偏移适用过程的重建影像和原始影像的值进行滤波。自适应环路滤波适用于所确定的4×4大小或8×8大小的块中所包含的像素整体。

是否适用自适应环路滤波器按照编码单元确定。所适用环路滤波器的大小及系数可根据各编码单元而不同。表示是否针对每个编码单元(CU)适用所述自适应环路滤波器(ALF)的信息能够包括在每个切片首标中。

在色度信号的情况下，能够以图像单位确定是否适用自适应环路滤波器(ALF)。与亮度不同，环路滤波器的形状也能够具有矩形形状。

自适应环路滤波能够按照切片确定是否适用。因此，表示自适应环路滤波是否适用于当前切片的信息能够包含在切片首标或图像首标。

在表示对当前切片适用了自适应环路滤波的情况下，切片首标或图像首标能够另外包括表示在自适应环路滤波过程中使用的亮度分量的水平及/或垂直方向的滤波器长度的信息。

切片首标或图像首标能够包括表示滤波器组的数量的信息，此时，滤波器组的数量为两个以上时，滤波器系数能够使用预测方法进行编码。因此，切片首标或图像首标能够包括表示滤波器系数是否通过预测方法进行编码的信息，在使用预测方法时能够包含预测的滤波器系数。

一方面，除了亮度之外对色度分量也能够自适应地进行滤波。此时，表示对每个色度分量是否进行滤波的信息能够包括在切片首标或图像首标中。为了减少比特数，将表示对Cr和Cb是否进行滤波的信息进行联合编码(即多重编码)。

此时，在色度分量的情况下，为了减低复杂度，对Cr和Cb都不进行滤波的可能性频繁地发生，因此，在对Cr和Cb都不进行滤波时，能够分配最小的索引，来执行熵编码。

并且，在对Cr和Cb全部进行滤波的情况下，能够分配最大的索引来执行熵编码。

图像存储部172从后处理部171接收经后处理的影像数据，并以图像单位重建影像而进行存储。图像可为帧单位的影像或场单位(字段单位)的影像。图像存储部172具备能够存储多个图像的缓冲器(省略图示)。

帧间预测部170能够使用存储在所述图像存储部172中的至少一个参考图像执行运动推测，并能够确定表示参考图像的参考图像索引和运动矢量。

根据所确定的参考图像索引和运动矢量能够从存储在图像存储部172中的多个参考图像中用于运动推测的参考图像提取对应于待编码的预测单元的预测块。

在此，所述帧间预测部170将运动补偿预测处理信息提供至照明度补偿处理部145而处理对上述相邻的区域的照明度补偿处理的预测块，该处理如图2显示所示，根据预测块或重建或整合而包含对重建处理的块的照明度补偿参数的适用处理。

帧内预测部169可以使用包括当前预测单元的图像内部重建的像素值来执行帧内预测编码。

帧内预测部169接收待预测编码的当前预测单元，并根据当前块的大小选择预定数量的帧内预测模式中的一个来执行帧内预测。

帧内预测部169能够自适应地滤波参考像素以生成帧内预测块。在未利用参考像素时，利用可用的参考像素来生成参考像素。

熵编码部能够对通过量化部量化的量化系数、自帧内预测部169接收的帧内预测信息，自帧间预测部170接收的运动信息等进行熵编码。

虽未图示，帧间预测编码装置，包括，运动信息确定部，运动信息编码模式确定部、运动信息编码部、预测块生成部、残差块生成部、残差块编码部及多路复用器。

运动信息确定部确定当前块的运动信息。运动信息包括参考图像索引和运动矢量。参考图像索引能够表示之前编码而重建的图像中的一个。

对当前块进行单向帧间预测编码时，表示属于列表0(L0)的参考图像中的任一个，相反地，在当前块进行双向预测编码的情况下，包括表示列表0(L0)的参考图像中的一个的参考图像索引和表示列表1(L1)的参考图像中的一个的参考图像索引。

并且，还可包括对当前块进行双向预测编码时，表示结合列表0和列表1而生成的复合列表(L/C)的参考图像中的一个或两个图像的索引。

运动矢量表示每个参考图像索引所指示的图像内的预测块的位置。所述运动矢量能够是像素单位(整数单位)，也能够是子像素单位。

例如，所述运动矢量具有1/2、1/4、1/8或1/16像素的分辨率，当运动矢量不是整数单位时，预测块由整数单位的像素生成。

运动信息编码模式确定部通过跳过模式、合并模式及AMVP模式中的一个来确定当前块的运动信息是否进行编码。

跳过模式在存在具有与当前块的运动信息相同的运动信息的跳过候选，且残差信号为0的情况下适用，跳过模式能够在当前块的大小与编码单元相同时适用。当前块能够视为预测单元。

合并模式在存在具有与当前块的运动信息相同的运动信息的合并候选的情况下适用，合并模式在当前块的大小与编码单元不同或相同时，在存在残差信号的情况下适用。合并候选能够与跳过候选相同。

AMVP模式是在不适用跳过模式和合并模式的情况下适用，能够将具有与当前块的运动矢量最相似的运动矢量的AMVP候选选择作为AMVP预测子。

运动信息编码部根据由运动信息编码模式确定部确定的方式对运动信息进行编码。在运动信息编码模式为跳过模式或合并模式时执行合并运动矢量编码过程，当运动信息编码模式为AMVP模式时执行AMVP编码过程。

预测块生成部利用当前块的运动信息生成预测块，当运动矢量为整数单位时，复制与参考图像索引所指示的图像中的运动矢量表示的位置相对应的块，从而，生成当前块的预测块。

但是，当运动矢量并非为整数单位时，从由参考图像索引所指示的图像中的整数单位像素生成预测块的像素。

此时，对于亮度像素，使用8抽头插值滤波器而生成预测像素。并且对于色度像素，使用4抽头插值滤波器而生成预测像素。

残差块生成部使用当前块和当前块的预测块生成残差块，在当前块的大小为2N×2N的情况下，利用当前块和与当前块对应的大小为2N×2N的预测块而生成残差块。

但是，在用于预测的当前块的大小为2N×N或N×2N的情况下，分别对构建2N×2N的两个2N×N块求得预测块之后，利用两个2N×N预测块生成大小为2N×2N的最终预测块。

并且，也能够利用大小为2N×2N的预测块生成大小为2N×2N的残差块。能够使边界部分的像素平滑重叠，以用于解决大小为2N×N的两个预测块的边界部分的不连续性。

残差块编码部将所生成的残差块分割为一个以上的变换单元。并且，能够对各变换单元进行变换编码、量化和熵编码。此时，变换单元的大小可根据残差块的大小通过四叉树方式确定。

残差块编码部能够利用基于整数的变换矩来变换由帧间预测方法生成的残差块。并且，所述变换矩是指基于整数的DCT矩阵。

残差块编码部利用量化矩阵来对由所述变换矩阵而变换的残差块的系数进行量化，并且，所述量化矩阵由量化参数确定。

所述量化参数按照预定大小以上的编码单元而确定。所述预定的大小为8×8或16×16。因此，当前编码单元小于所述预定大小时，在所述预定大小内的多个编码单元中按编码顺序仅对第一个编码单元的量化参数进行编码，而剩余编码单元的量化参数与所述参数相同，因此，无需进行编码。

并且，可以使用根据所确定的量化参数和预测模式确定的量化矩阵来对所述变换块的系数进行量化。

使用与当前编码单元相邻的编码单元的量化参数来对按照所述预定大小以上的编码单元确定的量化参数进行预测编码。以当前编码单元的左侧编码单元、上侧编码单元的顺序进行搜索，利用一个或两个有效的量化参数生成当前编码单元的量化参数预测子。

例如，能够将以所述顺序搜索的有效的第一个量化参数确定为量化参数预测子。并且，以左侧编码单元、在编码顺序上紧前面的编码单元的顺序进行搜索而将有效的第一个量化参数确定为量化参数预测子。

扫描经量化的变换块的系数并将其变换为一维量化系数。并且，能够根据熵编码模式不同地设置扫描方式。例如，在通过CABAC进行编码的情况下，能够按预定的一种方式(之字形或对角线方向进行光栅扫描)扫描经帧间预测编码的量化系数，在使用CAVLC进行编码时，能够以与所述方式不同的方式进行扫描。

例如，在帧间扫描的情况下根据之字形扫描，在帧内扫描的情况下根据帧内预测模式确定扫描方式，并且，根据变换单元的大小也能够不同地确定系数扫描方式。

所述扫描方式因方向性帧内预测模式而不同。量化系数的扫描顺序以逆向扫描。

多路复用器对由所述运动信息编码部而编码的运动信息和由所述残差块编码部编码的残差信号进行多路分配。所述运动信息根据编码模式而不同。

即在跳过模式或合并模式的情况下，仅包括显示预测子的索引。但在AMVP模式的情况下，包括当前块的参考图像索引、差分运动矢量和AMVP索引。

下面，对帧内预测部169的操作的一实施例进行具体说明。

首先，从图像分割部160接收预测模式信息及预测块的大小，预测模式信息表示帧内模式。预测块的大小为64×64、32×32、16×16、8×8、4×4等的正方形，但并不局限于此。即所述预测块的大小也能够为非正方形而不是正方形。

接着，从图像存储部172读取参考像素来确定预测块的帧内预测模式。

通过检查是否存在不可用的参考像素来判断是否生成参考像素。所述参考像素在确定当前块的帧内预测模式时使用。

在当前块位于当前图像的上边界的情况下，未定义与当前块得上侧相邻的像素，并且，在当前块位于当前图像的左边界的情况下，未定义与当前块的左侧相邻的像素。

判断所述像素并非为可用像素。而且，在当前块位于切片边界而与切片的上侧或左侧相邻的像素并非先经编码而重建的像素的情况下，能够判断为并非为可用的像素。

如上所述，当不存在与当前块的左侧或上侧相邻的像素时，或者没有预先经编码而重建的像素时，也能够仅使用可用像素来确定当前块的帧内预测模式。

但是，还能够利用当前块的可用参考像素来生成不可用位置的参考像素，例如，在上部块的像素为不可用的情况下，能够利用左侧像素的局部或全部来生成上侧像素，反之亦然。

即，从不可用位置的参考像素复制在预定方向上最近位置的可用参考像素来生成参考像素。在预定方向上不存在可用的参考像素时，能够复制相反方向上最近位置的可用参考像素而生成为参考像素。

一方面，存在当前块的上侧像素或左侧像素时，也能够根据所述像素所属块的编码模式而确定为不可用像素。

例如，在与当前块的上侧相邻的参考像素所属块为被帧间编码而重建的块的情况下，判断所述像素为不可用像素。

此时，利用属于与当前块相邻的块被帧内编码而重建的块的像素来生成可用的参考像素。此时，在编码器中根据编码模式将判断为可用的参考像素的信息传输至解码器。

接着，利用所述参考像素确定当前块的帧内预测模式。当前块中可允许的帧内预测模式的数量能够根据块的大小而不同。例如，在当前块的大小为8×8、16×16、32×32的情况下，存在34个帧内预测模式，在当前块的大小为4×4的情况下，存在17个帧内预测模式。

所述34个或17个帧内预测模式由至少一个非方向性模式和多个方向性模式组成。

至少一个非方向性模式为DC模式及/或平面模式。当DC模式及平面模式为非方向性模式时，与当前块的大小无关，也能够存在35个帧内预测模式。

此时，包括两个非方向性模式(DC模式和平面模式)及33个方向性模式。

对于平面模式，利用位于当前块的右下侧的至少一个像素值(或所述像素值的预测值，以下称为第一参考值)和参考像素来生成当前块的预测块。

如上所示，根据本发明的一实施例的视频解码装置的结构能够从参照图1、2、及14说明的视频编码装置的结构导出，例如，通过执行参照图2及图14说明的编码过程的逆过程，能够对影像进行解码。

图15为显示根据本发明的一实施例的视频解码装置的结构的框图。

参照图15，根据本发明的视频解码装置，包括：熵解码部210、逆量化/逆变换部220、加法器270、滤波器250、图像存储部260、帧内预测部230、运动补偿预测部240、照明度补偿处理部245及帧内/帧间切换开关280。

熵解码部210对从视频编码装置传送的经编码的位流进行解码，并划分为帧内预测模式索引、运动信息、量化系数序列等。熵解码部210将经解码的运动信息传输至运动补偿预测部240。

熵解码部210将所述帧内预测模式索引传输至所述帧内预测部230及逆量化/逆变换部220。所述熵解码部210将所述逆量化系数序列传输至逆量化/逆变换部220。

逆量化/逆变换部220将所述量化系数序列变换为二维排列的逆量化系数。为进行所述变换，可从多个扫描方式中选择一种。基于当前块的预测模式(即帧内预测及帧间预测中的一个)和帧内预测模式中的至少一个来选择多个扫描方式中的一个。

所述帧内预测模式从帧内预测部或熵解码部接收。

逆量化/逆变换部220对所述二维排列的逆量化系数适用从多个量化矩阵中选择的量化矩阵来重建量化系数。根据要重建的当前块的大小适用相互不同的量化矩阵，对相同大小的块也可基于所述当前块的预测模式及帧内预测模式中的至少一个选择量化矩阵。

并且，对所述重建的量化系数进行逆变换而重建残差块。

加法器270对通过逆量化/逆变换部220重建的残差块和通过帧内预测部230或运动补偿预测部40生成的预测块进行相加而重建影像块。

滤波器250对通过加法器270生成的重建影像进行解块滤波处理。由此，可以减小因量化过程中的影像损失而导致的截块解块伪像。

并且，滤波器250执行与本发明的实施例的区域之间边界区域对应的区域自适应选择性滤波。

图像存储部260是帧存储器，用于存储通过截块滤波器250执行截块滤波处理的本地解码影像。

帧内预测部230基于从熵解码部210接收的帧内预测模式索引而重建当前块的帧内预测模式，并且，根据重建的帧内预测模式生成预测块。

运动补偿预测部240基于运动矢量信息从存储在图像存储部260的图像生成对当前块的预测块，适用小数精度的运动补偿时，适用所选择的插值滤波器而生成预测块。

在此，所述运动补偿预测部240将运动补偿预测处理信息提供至照明度补偿处理部245而处理对上述相邻的区域的照明度补偿处理的预测块，该处理如图2显示所示，根据预测块或重建或整合而包含对重建处理的块的照明度补偿参数的适用处理。

帧内/帧间切换开关280基于编码模式可向加法器270提供在帧内预测部230和运动补偿预测部240中的一个生成的预测块。

利用通过如上方式重建的当前块的预测块与经解码的当前块的残差块而重建当前块。

本发明的一实施例的视频位流为在存储一个图像的编码的数据时使用的单位，包括PS(parameter sets)与切片数据。

参数集(PS：parameter sets)被分割为对应于各图像的首标的数据即图像参照集(以下，简称为PPS)和序列参数集(以下，简称为SPS)。所述PPS及SPS包括用于初始化各编码所需的初始化信息，包括根据本发明的实施例的空间布局信息(SPATIAL LAYOUTINFORMATION)。

SPS是对于由随机存取单元(RAU)编码的所有图像进行解码的公共参考信息，包括文件、可用作参考的最大图片数量及图片大小等。

PPS是对于由随机存取单元(RAU)编码的每个图像进行解码的参考信息，包括可变长度编码方法的种类、量化步骤的初始值和多个参考图像。

另一方面，切片首标(SH)包括在切片单位的编码时与相应切片对应的信息。

并且，如上所述的照明度补偿处理与否也通过标志的形态信令通知，根据已定义的照明度补偿处理的影像单位，包含于所述VPS、SPS、PPS中的至少一个而传输。

并且，相邻区域信息及照明度补偿参数与所述空间布局信息一起包含于PPS。并且，例如，特定图像内，在与第一个影像单位(例如，瓦片或切片)对应的首标信息包含初期相邻区域信息而传输，下个相邻区域信息由所述初期相邻区域信息引导。

图16至图17为用于说明处理基于本发明的实施例的区域参数的照明度补偿的解码方法的流程图。

图18为用于说明本发明的实施例的同步多视点影像的区域及空间上相邻的区域的附图，图19为用于说明本发明的实施例的时间上相邻的区域的附图。

首先，如图18及图19显示所示，每个子图像被进行空间拼接及合并处理，布置在与一个图像对应的每个视点(perspectiv)区域(区域，REGION)。由此，沿着空间轴而按空间合并同步的每个区域构成一个图像，一个图像按时间序列即POC(Picture Order Count)顺序而按时间轴布置。

由此，所述多个区域在时间上同步，而分别与构成所述当前图像的多个面索引(FACE INDEX)对应，相邻的参考区域是指与所述当前块所属的区域对应而在所述当前图像上与空间上相邻的其它任一个面索引(FACE INDEX)对应的区域。例如，如图18显示所示，按第N次图像POC N的当前块所属当前区域I的空间轴相邻的区域为已解码的区域即a、b、c、e中的任一个。

并且，所述多个区域是指在空间上同步，并在其它时间段的图像中处于与所述当前区域相同位置的区域。由此，所述相邻的参考区域是指与所述当前块的区域所属的图像对应，在时间上相邻的图像的相同位置区域。如图19显示所示，按POC N的当前块所属的当前区域a的时间轴相邻的区域与已解码的POC N'的相同位置区域a'对应。

因此，区域与任意的图片(Picture)内的多个块的分割对应，例如，通过根据编码标准而按切片或瓦片等图片分割方法或布局定义。根据例示定义，区域的最小尺寸按两个以上CTU定义，最大尺寸与一个图像对应。

此时，区域分割的分割布局按标准通过另外的语法定义，而信令通知，或包含于切片或瓦片等特定图片分割单位的语法而信令通知。在此，信令通知的信息包含区域分割信息及照明度补偿参数信息中的至少一个。

由此，编码装置100的照明度补偿处理部145对于如上所述当前区域而确定空间或时间上相邻的区域，获取所确定的区域的照明度补偿参数，利用所述照明度补偿参数而执行对当前区域的照明度补偿处理，生成与此相应的信令通知信息而传送至解码装置200。

由此，图16为显示解码装置200处理对预测样本的照明度补偿的第一实施例的流程图，参照图16，解码装置200通过所输入的位流的熵解码部210而执行熵解码(S201)，通过逆量化/逆变换部220而处理逆量化及逆变换(S203)，通过运动补偿预测部240执行当前块的运动补偿预测处理，获取预测样本(S205)。

并且，解码装置200通过照明度补偿处理部245而识别当前块所属的当前区域(S207)，获取与当前区域对应的相邻区域的照明度补偿参数(S209)，利用所获取的照明度补偿参数而获取对所述当前块的预测样本的照明度补偿处理的预测样本(S211)，而传送至运动补偿预测部240。

在此，所述预测样本的照明度补偿处理为下面所述的照明度补偿参数，按照明度伸缩参数即伸缩因子(Scale factor)α与及照明度偏移参数即偏移(Offset)β的1次式适用处理。例如，对于Y为照明度补偿处理的预测样本，处理如Y＝α*pic_values+β等运算。在此，pic_values包括运动补偿预测样本(Predictor)的值。

为此，照明度补偿处理部245由来自上述的编码装置100的信令通知信息获取相邻区域信息或该初期信息、相邻区域的照明度补偿参数。例如，根据区域，在任意的影像中，对于一个图像分割为N个的情况，每个图像存在N个照明度补偿参数即区域参数(α、β)。

另一方面，运动补偿预测部240利用由照明度补偿处理的预测样本与逆量化/逆变换部220提供的残差块而整合处理，从而，生成重建块(S213)。例如，运动补偿预测部240通过加法器而整合照明度补偿处理的运动补偿预测块与残差块而生成重建块。

并且，解码装置200根据所述区域信息，识别与相邻区域的边界区域，并确认与所述边界区域对应的滤波与否信息，自适应处理与通过所述重建块构成的边界区域对应的滤波处理(S215)。其通过照明度补偿处理部245或滤波部250而处理，在图20中进行更具体说明。

另一方面，图17为显示解码装置200处理对预测样本的照明度补偿的第二实施例的流程图，参照图16，解码装置200通过输入的位流的熵解码部210而执行熵解码(S301)，通过逆量化/逆变换部220而处理逆量化及逆变换(S303)，通过运动补偿预测部240而执行当前块的运动补偿预测处理(S305)。

并且，运动补偿预测部240利用预测样本与由逆量化/逆变换部220提供的残差块整合处理而生成重建块(S307)。例如，运动补偿预测部240通过加法器而整合照明度补偿处理的运动补偿预测块与残差块而生成重建块。

而且，解码装置200通过照明度补偿处理部245而识别所述重建的块所属当前区域，获取与当前区域对应的相邻区域的照明度补偿参数(S309)，利用所获取的照明度补偿参数而执行对所述重建块的照明度补偿处理(S311)而输出。

在此，所述重建块的照明度补偿处理与预测样本的处理相似，通过伸缩因子(Scale factor)α与偏移(Offset)β的一次式适用处理。例如，对于Y为补偿照明度的重建块的情况，处理Y＝α*pic_values+β等运算。在此，pic_values根据整合处理而包含所重建的(RECONSTRUCTED)重建块的值。

为此，照明度补偿处理部245由来自上述的编码装置100的信令通知信息获取相邻区域信息或用于其引导的初期信息、相邻区域的照明度补偿参数。例如，根据区域，对于在任意的影像中一个图像被分割N个的情况，每个图像存在N个照明度补偿参数即区域参数(α、β)。

并且，解码装置200根据所述区域信息而识别与相邻区域的边界区域，确认与所述边界区域对应的滤波与否信息，自适应处理与通过所述重建块构成的边界区域对应的滤波处理(S215)。其通过照明度补偿处理部245或滤波部250而处理。

在与如上所述的图16及图17对应的照明度补偿处理中，相邻区域包括如上述图18所示，按空间轴相邻的区域或如图19所示按时间轴相邻的区域中的至少一个，由一个或一个以上相邻区域获取所述照明度补偿参数。其在编码装置100中进行确定而向解码装置200信令通知。

并且，对于与图16或图17对应的照明度补偿处理利用空间上相邻的区域的照明度补偿参数而执行的情况，解码装置200也能够执行另外的块单元的局部照明补偿(LIC；Local Illumination compensation)。

此时，在空间单位中执行局部稀疏(Sparse)的亮度值的补正之后，执行在时间单位的更细密的亮度值的补正。

由此，对于解码装置200在照明度补偿处理中，首先适用利用空间上相邻的区域(Spatially Region)的照明度补偿处理，执行对所述照明度补偿处理的区域的暂时局部(Temporally Local)照明度补偿处理。

图20为用于说明本发明的实施例的区域自适应滤波的附图。

参照图20，根据本发明的实施例，如S215或S313步骤所示，在整合步骤之后，对于重建块属于相邻的区域之间的边界区域的情况，解码装置200选择性执行与其对应的边界区域滤波，为此执行的On/Off信息由编码装置100向解码装置200信令通知。

由此，本发明的实施例的解码装置200在基于区域的照明度补偿中，提前识别用于照明度补偿的区域及区域之间的边界区域，之后，通过滤波部250或照明度补偿处理部245而选择性执行与所述边界区域对应的滤波器处理。

此时，滤波器方向是指区域之间垂直或水平方向，仅对于区域边界区域而选择性适用。

并且，也能够仅在上述照明度补偿处理部245的照明度补偿及所述边界区域适用。由此，照明度补偿处理部245对于当前块被识别为区域之间边界区域的情况，也能够选择性地执行如图16或图17显示所示的照明度补偿处理。

由此，参照图20，在区域b的区域边界区域中，参考已解码的区域a，水平方向上的滤波器处理或照明度补偿处理在解码装置200中被选择性执行。

并且，区域a'参考已解码的区域a的值，通过垂直方向的滤波器处理或照明度补偿处理在解码装置200上选择性地执行。

另一方面，区域b'参考已解码的区域b与区域a'而在垂直或水平方向中选择性执行至少一个滤波器处理或照明度补偿处理。

图21为用于说明本发明的另一个实施例的解码方法的流程图。

本发明的另一个实施例的编码装置100的影像编码部140如上所示，与当前区域相比确定空间上相邻的区域，获取所确定的区域的滤波参数，利用所述滤波参数而执行对当前区域与相邻区域的边界区域的选择性滤波处理，生成相应的信令通知信息而传送至解码装置200。

由此，图21为显示解码装置200处理预测样本的选择性滤波的实施例的流程图，参照图21，解码装置200通过所输入的位流的熵解码部210而执行熵解码(S101)，通过逆量化/逆变换部220而处理逆量化及逆变换(S103)，通过运动补偿预测部240或帧内预测部230而执行当前块的运动补偿预测处理，从而，获取重建块(S105)。

并且，解码装置200通过滤波部250而识别当前块所属的当前区域(S107)，识别与当前区域对应的相邻区域的边界区域(S109)，适用与所述区域之间的边界区域对应的选择性滤波(S111)。

在此，所述选择性滤波对于相互不同的区域(Region)或相邻的区域(Region)的边界区域(Boundary)，由编码装置100获取经编码的条件信息或另外的信令通知信息，而包含处理多个相互不同的区域(Region)之间边界区域的环路滤波(in-loop filter)的选择性及自适应解码的程序。

对于如上所示的滤波及参数，通过图22至图29而更具体说明。

图22至图24为显示在相互不同区域之间边界区域适用选择性滤波的附图。

首先，参照图22，一个解码影像图像(decodingpicα)如图18所示，包含通过两个相互不同的区域(区域a，区域b)整合的影像的情况，滤波部250执行根据区域a与区域b的整合而执行边界区域(区域边界β)的解码，对于Boundaryβ的所属解码Block而利用编码条件信息或另外的传送接收的信令通知值而获取对环路滤波执行与否的条件及滤波参数，根据所述滤波参数而执行选择性及自适应环路滤波。

如上所述的选择性及自适应环路滤波对于一张解码图片由多种整合影像构成的情况，根据每个边界区域的方向而复合适用。

图22至图24为该输入影像及边界区域，如图22所示，对于横向整合的情况，如图23所示，对于竖向整合的情况，及如图24所示，以复合整合的形态实现，形成相应的边界区域。

更具体地，滤波部250对于区域边界区域另外获取信令通知的信息，以用于获取滤波参数，或根据提前设定的解码条件信息，在每个区域边界区域内选择自适应确定块的滤波适用与否。

在此，滤波例示，例如，与低通滤波器(LPF；LOW PASS FILTER)等平滑滤波器(Smoothing Filter)，与采样点自适应偏移(Sample Adaptive Offset；SAO)或解块滤波器(De-blocking Filter)等HEVC标准解码方法技术或自适应环路滤波器(Adaptive LoopFilter)等滤波器技法合并而适用。并且，如上所述的滤波的适用与否在区域边界区域中选择自适应开/关。

例如，在相邻的区域(Region)根据视口(视图(view)port)与连续的影像对应的情况下，为了提高主观性画质，而需要开启滤波。因此，属于相应边界区域(Boundary)的块适用LPF而进行编码。

并且，对于相邻的区域(Region)未根据视口而区域间影像发生连续的情况，属于相应Boundary的块反而未适用LPF，并且，编码帮助提高画质及编码效率。

因此，各个区域边界区域的滤波存在选择性适用的需要。

对于适用滤波的情况，编码装置100通过开/关Flag等将按另外的块单元而滤波器适用与否情况传输至解码装置200。并且，解码装置200与Picture或Slice等一样，也能够单独接收由影像的首标信息传输的进行信令通知的Boundary边界的滤波器适用与否信号，而确定适用与否。

对于未适用滤波的情况，编码装置100通过On/Off Flag等将按另外的块单元而滤波器适用与否情况传输至解码装置200。并且，解码装置200与Picture或Slice等一样，也能够单独接收由影像的首标信息传输的进行信令通知的Boundary边界的滤波器适用与否信号，而确定适用与否。

参照图25，图25更具体地显示Adaptive In-Loop Filter的适用例。

如图25显示所示，解码图像Decoding Picα由四个区域(Region)A、B、C与D构成。在此假设区域A、B及D为由垂直方式(Vertical Pattern)的视口(view port)获取的影像，区域C为由水平方式(Horizontal Pattern)的视口(view port)获取的影像。在此，视口与形成每个方式的关系的相互不同的视点(PERSPECTIVE)对应，在获取影像时，分别按视口获取影像而整合或合并。

并且，图25中，区域边界区域即区域边界α被区分为作为整合区域A与区域B的边界区域即第一边界区域的区域边界α(1/2)与作为区域C和区域D的边界区域即第二边界区域的区域边界α(2/2)。

并且，区域边界区域即区域边界β被区分为作为合并区域A与区域C的边界区域即第三边界区域的区域边界β(1/2)与作为区域B和区域D的边界区域即第四边界区域的区域边界β(2/2)。

并且，滤波部250在解码图像即Decoding pictureα的环路滤波时，对于属于第一边界区域即区域边界α(1/2)的解码块，对另外接收的滤波器适用与否参数进行解码，确定区域A与区域B之间的边界的滤波器适用与否。

此时，滤波部250即使确定执行属于第一边界区域即区域边界α(1/2)的块的滤波的情况，相同的区域边界α中的属于与第一边界区域相互不同的区域之间的边界区域的第二边界区域即区域边界α(2/2)也能够被确定与区域边界α(1/2)相同或不同的适用与否。

另一方面，滤波部250对于属于区域边界β(1/2)的解码块而对另外接收的滤波器适用参数进行解码，确定对区域A与区域C之间的边界的滤波适用与否。

此时，滤波部250未执行属于区域边界β(1/2)的块的滤波，相同的区域边界β中的相互不同的区域之间的边界区域即区域边界β(2/2)也能够被确定与区域边界β(1/2)相同或不同的适用与否。

另一方面，参照图26及图27，区域之间边界是指如图26所示经编码的影像的编码单元影像即处于切片或瓦片边界的情况，或如图27所示未未处于切片或瓦片边界的情况。

根据本发明的一实施例，块的区域选择自适应滤波根据是否处于区域之间边界及编码单元影像之间边界，确定相同或不同。例如，其根据区域的影像特征，而自适应确定选择。

为此，本发明的实施例的滤波部250将在区域边界区域的滤波适用与否参数与瓦片或切片一样通过图片的编码单元分割的首标信息而获取。

例如，所述滤波参数包括通过切片或瓦片首标信息而在区域边界区域中的滤波(例如，LPF、SAO、增加去块等)适用与否参数，对其进行解析，以选择自适应确定块边界与区域边界和瓦片及切片边界中的滤波适用与否，以对滤波部250执行滤波处理。

另一方面，滤波部250对于区域边界与切片或瓦片边界相异的情况，另外接收与区域边界区域对应的滤波参数而解析或解码，也能够执行与其相应的滤波。

另一方面，参照图28及图29，本发明的实施例的帧内预测部230处理画面内的预测解码或画面间预测解码时，参考对所述边界区域的滤波的块信息。

更具体地，帧内预测部230或运动补偿预测部240利用所述滤波部250的滤波结果而提高帧内预测处理效率。

例如，帧内预测部230对于处理对区域边界区域的滤波的情况，在画面内执行将通过预测模式而编码的块相互相邻的区域(Region)作为参考样本的画面内预测解码。

并且，运动补偿预测部240对于处理对区域边界区域的滤波的情况，在画面内执行将通过预测模式而编码的块相互相邻的区域(Region)作为参考样本的画面之间运动补偿预测解码。

为此，滤波部250在构成当前解码的块的区域参考样本时，填充(Padding)执行滤波的块而构成为参考样本，帧内预测部230或运动补偿预测部240利用填充构成的参考样本而执行画面内或画面间的预测解码。

图29为用于说明对执行滤波的块执行填充(Padding)以构成参考样本，从而用于画面内或画面间预测编码的附图，对边界区域内滤波的相邻块进行填充而构成为用于帧内或运动补偿预测的参考样本。

另一方面，图30为用于说明本发明的另一实施例的附图，在执行通过所述画面内预测或画面间预测而重建的块x的滤波时，解码块x形成属于相同的区域的块x'、属于相互不同的区域且相邻的块即x”、x”'与块边界及区域边界。

在此，解码块x根据属于相同的区域的相邻的块之间的边界γ'与属于相互不同的区域的相邻的块之间的边界δ'、ε'，确定滤波参数，由此，自适应选择性确定滤波适用与否及强度。

更具体地，滤波部250对于属于区域C的当前解码块x，具有与处于其它区域A的块x”相互连续的视口(view port)关系的情况，适用区域区域及块的边界δ'的选择性自适应滤波。并且，相应的适用与否信息也能够通过另外的标志信号而由编码装置100传送。

在此连续视口信息由空间布局信息获取，或由另外信令通知的视口信息获取，或者，也能够根据影像分析获取。并且，例如，对视口索引相互连续的情况，或处于相互相邻关系的情况具有连续的视口关系。

并且，该情况，滤波部250在ALF、SAO或De-block处理时，对信令通知信号进行解析，确定滤波适用与否及强度。

对于如上所述的结构，对于视口边界面，因适用Smoothing filter处理效果，去除在块之间边界发生的块效应(Blocking Artifact)。

[第一信令通知方法]

另一方面，对于区域C与区域D并非为连续的影像的情况，滤波部250未将滤波适用与相邻的块x与x”'之间块边界ε'。并且，对于属于相同的区域C的块x、x'，根据另外信令通知的选择自适应滤波参数，另外确定滤波适用与否及强度。

另一方面，本发明的实施例的滤波参数包含于块的解码信息而传输。例如，滤波参数作为对On/Off的滤波标志参数而与每个解码块对应而传输。

例如，即使为相同的解码块，块的边界的滤波器与否根据区域边界而相互不同适用，其通过Index(0＝Top，1＝Left，2＝Right)等On/Off另外的标志信令通知，滤波部250由此确定对区域边界面的滤波适用与否。

另一方面，对于块的Bottom边界，未传输另外的滤波参数。对于对Bottom边界的滤波器适用与否的确定根据Z字形扫描解码顺序(Z Scan decoding order)而执行处于Bottom边界面的下面的块的滤波时确定。

[第二信令通知方法]

并且，滤波参数通过用于传送区域的信息的区域首标(Region Header)信息而传送，在所述区域首标信息中包含滤波适用与否的ON/OFF参数、区域边界之间连续性及区域的分割尺寸信息中的至少一个。并且，所述滤波参数也能够通过另外频道信令通知。

[第三信令通知方法]

另一方面，滤波参数包含与作为编码单元的瓦片(Tile)、切片(Slice)或图像(Picture)对应的首标(Header)信息。例如，增加传送区域信息及区域边界之间滤波与否信息，滤波部250对每个首标信息进行解析，而选择自适应确定边界间滤波器适用与否。

但，所述信令通知方法并未限定，在滤波部250中识别解码过程中的边界区域，也能够直接引导滤波参数，也能够由另外信令通知的空间布局信息获取而处理。

并且，本发明的实施例的滤波部250的动作不仅在解码装置200，也在后处理装置20进行处理。例如，后处理装置20利用空间布局信息等而对在解码装置中解码处理的影像的边界区域执行选择自适应滤波，并未通过该主题限定。

根据如上所述的本发明的方法被制作成可在计算机执行的程序，所述程序存储于计算机可读记录介质上，计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储设备等。

计算机可读记录介质分布在由网络连接的计算机系统上，因此计算机可读代码以分布的形式被存储和执行。用于实现所述方法的功能性程序、编码以及编码段可由本发明所属区域的程序编制员容易推论。

以上，虽参照附图说明了本发明的优选实施例，但是，本发明并不限定于所述特征的实施例，本发明所属区域的技术人员在不脱离权利要求范围所请求保护的本发明的要旨内可进行多样的变形实施，不得理解为这些变形实施从本发明的技术思想或前景独立理解。

Claims (14)

1.一种解码方法，涉及一种通过解码装置而执行的解码方法，其特征在于，包括如下步骤：

执行由时间或空间同步的多个区域构成的当前图像上的当前块的解码，

执行所述解码的步骤包括如下步骤：

利用与所述多个区域对应的区域信息而执行所述当前块的解码处理。

2.根据权利要求1所述的解码方法，其特征在于，

执行所述解码的步骤包括如下步骤：

执行所述当前块的运动预测解码，

执行所述运动预测解码的步骤包括如下步骤：

与所述当前块所属的区域对应而导出相邻的参考区域；

获取所述参考区域的照明度补偿参数；以及

利用所述照明度补偿参数，处理运动预测解码的当前块的照明度补偿。

3.根据权利要求1所述的解码方法，其特征在于，

执行所述解码的步骤包括如下步骤：

识别与所述当前块所属的区域与相邻区域的边界区域；以及

适用与所述边界区域对应的选择性滤波。

4.根据权利要求1所述的解码方法，其特征在于，

所述多个区域分别与时间上同步而构成所述当前图像的多个面索引对应。

5.根据权利要求2所述的解码方法，其特征在于，

执行所述照明度补偿的步骤包括如下步骤：

生成与所述当前块对应的运动预测样本；

将所述照明度补偿参数适用于所述运动预测样本；以及

整合适用所述照明度补偿参数的运动预测样本与残差块而获取重建块。

6.根据权利要求5所述的解码方法，其特征在于，

执行所述照明度补偿的步骤包括如下步骤：

生成与所述当前块对应的运动预测样本；

整合所述运动预测样本与残差块而获取重建块；以及

将所述照明度补偿参数适用于所述重建块。

7.根据权利要求6所述的解码方法，其特征在于，

所述照明度补偿参数包括如下步骤：

包含分别与每个多个区域对应而提前确定的照明度伸缩参数及照明度偏移参数。

8.根据权利要求3所述的解码方法，其特征在于，

对于所述照明度补偿处理的块处于所述当前区域与所述相邻的区域的边界区域的情况，执行自适应滤波。

9.根据权利要求8所述的解码方法，其特征在于，

执行所述解码的步骤还包括如下步骤：

获取用于所述选择性滤波的滤波参数。

10.根据权利要求8所述的解码方法，其特征在于，

所述边界区域包括横向边界区域、垂直边界区域或复合边界区域，

所述滤波参数与所述横向边界区域、垂直边界区域或复合边界区域对应而确定。

11.根据权利要求8所述的解码方法，其特征在于，

所述滤波参数包含于各个影像信息的编码单元的首标信息。

12.一种解码装置，涉及一种通过解码装置执行的解码方法，其特征在于，

解码装置包括：

影像解码部，执行由时间或空间同步的多个区域构成的当前图像上的当前块的解码；以及

处理部，利用与所述多个区域对应的区域信息而执行所述当前块的解码处理。

13.根据权利要求12所述的解码装置，其特征在于，所述处理部包括：

照明度补偿处理部，对于执行当前图像上的当前块的运动预测解码的情况，导出与所述当前块所属区域对应而相邻的参考区域，并获取所述参考区域的照明度补偿参数，利用所述照明度补偿参数，处理运动预测解码的当前块的照明度补偿。

14.根据权利要求12所述的解码装置，其特征在于，所述处理部包括：

滤波部，识别所述当前块所属的区域与相邻区域的边界区域，适用与所述边界区域对应的选择性滤波。

Images