CN110100444A

CN110100444A - 视频信号处理方法和装置

Info

Publication number: CN110100444A
Application number: CN201780079803.2A
Authority: CN
Inventors: 李培根
Original assignee: KT Corp
Current assignee: KT Corp
Priority date: 2016-12-22
Filing date: 2017-12-21
Publication date: 2019-08-06
Also published as: US20200128238A1; WO2018117706A1; KR20180073499A

Abstract

一种根据本发明的图像解码方法，包括以下步骤：获取与当前块相关联的运动信息；基于运动信息在参考图片内指定针对当前块的参考块；以及根据参考块创建针对当前块的预测块，其中，参考块是通过在参考图片内对与包括当前块的当前面对应的第一面中包括的样本进行插值、填充或修改来创建的。通过应用根据本发明的图像解码方法，可以根据包括参考块的面的位置来可变地确定针对正在被解码的块的运动补偿方法。

Description

视频信号处理方法和装置

技术领域

本发明涉及用于处理视频信号的方法和装置。

背景技术

近来，在各种应用领域中对高分辨率和高质量图像例如高清晰度(HD)图像和超高清晰度(UHD)图像的需求已经增加。然而，与常规图像数据相比，更高分辨率和质量的图像数据的数据量增加。因此，当通过使用例如常规的有线和无线宽带网络的介质发送图像数据时，或者当通过使用常规的存储介质存储图像数据时，发送和存储的成本增加。为了解决随着图像数据的分辨率和质量的提高而出现的这些问题，可以利用高效的图像编码/解码技术。

图像压缩技术包括各种技术，所述各种技术包括：根据当前图片的先前图片或后续图片来对包括在当前图片中的像素值进行预测的帧间预测技术；通过使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的帧内预测技术；将短代码分配给出现频率高的值并且将长代码分配给出现频率低的值的熵编码技术等。通过使用这样的图像压缩技术可以有效地压缩图像数据，并且可以传输或存储图像数据。

同时，随着对高分辨率图像的需求的增加，对作为新图像服务的立体图像内容的需求也在增加。正在讨论用于高效地提供具有高分辨率和超高分辨率的立体图像内容的视频压缩技术。

发明内容

技术问题

本发明的目的是提供用于在对视频信号进行编码/解码时高效地对360度投影图像进行编码/解码的方法和装置。

本发明的另一个目的是提供用于在编码/解码视频信号时根据包括参考块的面的位置可变地确定编码/解码目标块的运动补偿方法的方法和装置。

本发明的另一个目的是提供用于在编码/解码视频信号时通过统一当前面和参考面的尺寸、形状和相位中的至少一个来提高编码/解码效率的方法和装置。

能够从本发明获得的技术问题不限于上述技术任务，并且本发明所属技术领域的普通技术人员根据以下描述可以清楚地理解其他未提及的技术任务。

技术方案

根据本发明的用于对视频信号进行解码的方法和装置：获取当前块的运动信息，基于运动信息在参考图片内指定当前块的参考块，以及根据参考块生成当前块的预测块。

根据本发明的用于对视频信号进行编码的方法和设备通过使用当前块在参考图片内的参考块来对当前块执行运动补偿，并且对当前块的运动信息进行编码。

在根据本发明的用于对视频信号进行编码/解码的方法和装置中，运动信息可以包括用于指定包括参考块的参考面的信息。

在根据本发明的用于对视频信号进行编码/解码的方法和装置中，用于指定参考面的信息可以包括表示参考面和当前面是否相同的标志信息。

在根据本发明的用于对视频信号进行编码/解码的方法和装置中，在参考面和当前面不同的情况下，用于指定参考面的信息还可以包括用于在包括在参考图片中的多个面中识别参考面的索引信息。

在根据本发明的用于对视频信号进行编码/解码的方法和装置中，运动信息包括用于指定参考块在参考面内的位置的运动矢量，并且运动矢量的起始位置根据当前面和参考面是否相同来自适应地确定。

在根据本发明的用于对视频信号进行编码/解码的方法和装置中，在当前面和参考面相同的情况下，运动矢量可以表示当前块在参考图片内的同位块与参考块之间的坐标差。

在根据本发明的用于对视频信号进行编码/解码的方法和装置中，在当前面和参考面不同的情况下，运动矢量可以表示参考面内的参考位置与参考块之间的坐标差。

在根据本发明的用于对视频信号进行编码/解码的方法和装置中，在当前面和参考面不同的情况下，可以基于通过将参考面转换成与当前面匹配而生成的运动补偿参考面来执行当前块的运动补偿。

以上简要概述的针对本发明的特征仅是下面描述的本发明的详细描述的说明性方面，而并不限制本发明的范围。

有利效果

根据本发明，可以高效地对360度投影图像进行编码/解码。

根据本发明，可以根据包括参考块的面的位置来可变地确定对目标块进行编码/解码的运动补偿方法。

根据本发明，可以通过统一当前面和参考面的尺寸、形状和相位中的至少之一来提高编码/解码效率。

可从本发明获得的效果可以不受上述效果的限制，并且本发明所属技术领域的普通技术人员根据以下描述可以清楚地理解其他未提及的效果。

附图说明

图1是示出根据本发明的实施方式的用于对视频进行编码的装置的框图。

图2是示出根据本发明的实施方式的用于对视频进行解码的装置的框图。

图3是示出当通过帧间预测对编码块进行编码时可以应用于编码块的划分模式的图。

图4至图6是分别示出用于生成全景图像的相机装置的示例的图。

图7是示意性地示出360度视频的编码/解码和渲染的图。

图8是示出2D投影方法中的等距矩形投影(equirectangular projection)的图。

图9是示出2D投影方法中的立方体图投影的图。

图10是示出2D投影方法中的二十面体投影的图。

图11是示出2D投影方法中的八面体投影的图。

图12是示出2D投影方法中的截棱锥投影的图。

图13是示出2D面坐标与3D坐标之间的转换的示例的图。

图14示出应用了本发明的实施方式，并且是示出对2D图像执行帧间预测的方法的流程图的图。

图15是示出当将合并模式应用于当前块时得到当前块的运动信息的过程的图。

图16是示出当将AMVP模式应用于当前块时得到当前块的运动信息的过程的视图。

图17是示出用于得到当前块的预测块的参考块的位置的示例的图。

图18是示出通过在基于TPP的360度投影图像中使用参考面索引来对包括参考块的面进行识别的示例的图。

图19是示出当前块和参考块属于同一面的情况的运动矢量的图。

图20是示出当前块属于与参考块不同的面的情况的运动矢量的图。

图21是示出将参考面转换为与当前面匹配的示例的图。

图22是示出根据本发明的对360度投影图像内的当前块执行帧间预测的方法的图。

图23是示出基于属于参考面的样本生成参考块的示例的图。

图24是示出通过转换与包括参考块的参考点的第一面相邻的第二面来生成运动补偿参考面的示例的图。

本发明的实施方式

可以对本发明进行各种修改，并且存在本发明的各种实施方式，现在将参照附图提供各种实施方式的示例，并且详细描述各种实施方式的示例。然而，本发明不限于此，并且示例性实施方式可以被解释为包括本发明的技术构思和技术范围内的全部修改、等同物或替代方案。在所描述的附图中，相似的附图标记指代相似的元件。

说明书中使用的术语“第一”、“第二”等可以用于描述各种部件，但是这些部件不被解释为限制于这些术语。这些术语仅用于区分一个部件与其他部件。例如，在不偏离本发明的范围的情况下，“第一”部件可以被命名为“第二”部件，并且“第二”部件也可以被类似地命名为“第一”部件。术语“和/或”包括多个项的组合或者多个项中的任意一个。

应当理解的是，在本说明书中，当元件被简单地称为“连接至”或“耦接至”另一元件而不是“直接连接至”或“直接耦接至”另一元件时，该元件可以“直接连接至”或“直接耦接至”另一元件，或者该元件可以连接至或耦接至另一元件并且有其他元件介于它们之间。相对地，应当理解的是，当元件被称为“直接耦接”或“直接连接”至另一元件时，不存在中间元件。

本说明书中使用的术语仅用于描述特定实施方式，而并不旨在限制本发明。以单数形式使用的表述包含复数形式的表述，除非该表述在上下文中有明确不同的含义。在本说明书中，应当理解的是，诸如“包括”、“具有”等的术语旨在指示本说明书中公开的特征、数目、步骤、动作、元件、部分或其组合的存在，而并不旨在排除可以存在或可以添加一个或更多个其他特征、数目、步骤、动作、元件、部分或其组合的可能性。

在下文中，将参照附图详细描述本发明的优选实施方式。在下文中，附图中的相同组成元件用相同的附图标记来表示，并且将省略对相同元件的重复描述。

参照图1，用于对视频进行编码的装置(100)可以包括：图片划分模块(110)、预测模块(120，125)、变换模块(130)、量化模块(135)、重排模块(160)、熵编码模块(165)、逆量化模块(140)、逆变换模块(145)、滤波器模块(150)和存储器(155)。

图1所示的组成部分被独立地示出，以表示用于对视频进行编码的装置中彼此不同的特征功能。因此，并不意味着每个组成部分是由单独的硬件或软件的组成单元组成的。换言之，为了方便起见，每个组成部分包括列举的组成部分中的每一个。因此，每个组成部分的至少两个组成部分可以被组合以形成一个组成部分，或者一个组成部分可以被分成多个组成部分以执行每个功能。在不偏离本发明的实质的情况下，组合每个组成部分的实施方式和划分一个组成部分的实施方式也被包括在本发明的范围内。

此外，组成部分中的一些可以不是执行本发明的基本功能的不可缺少的组成部分，而是仅用于改善本发明的性能的可选组成部分。可以通过排除用于改善性能的组成部分而仅包括用于实现本发明的实质的不可缺少的组成部分来实现本发明。排除仅用于改善性能的可选组成部分而仅包括不可缺少的组成部分的结构也被包括在本发明的范围内。

图片划分模块(110)可以将输入图片划分成一个或更多个处理单元。此处，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。图片划分模块(110)可以将一个图片划分成多个编码单元、预测单元和变换单元的组合，并且可以通过使用预定准则(例如，成本函数)选择编码单元、预测单元和变换单元的一个组合来对图片进行编码。

例如，一个图片可以被划分成多个编码单元。可以使用例如四叉树结构的递归树结构来将图片划分成编码单元。在一个图片或最大编码单元作为根的情况下被划分成其他编码单元的编码单元可以被划分成具有与所划分的编码单元的数目对应的子节点。按照预定限制不再被划分的编码单元用作叶节点。即，当假设对于一个编码单元仅正方形划分可行时，一个编码单元最多可以被划分成四个其他编码单元。

在下文中，在本发明的实施方式中，编码单元可以意指执行编码的单元或者执行解码的单元。

预测单元可以是被划分成在单个编码单元中具有相同尺寸的正方形形状或矩形形状的划分之一，或者预测单元可以是被划分成在单个编码单元中具有不同的形状/尺寸的划分之一。

当基于编码单元生成经受帧内预测的预测单元并且编码单元不是最小编码单元时，可以在不将编码单元划分成多个预测单元N×N的情况下执行帧内预测。

预测模块(120，125)可以包括执行帧间预测的帧间预测模块(120)和执行帧内预测的帧内预测模块(125)。可以确定对于预测单元是执行帧间预测还是帧内预测，并且可以确定根据每个预测方法的详细信息(例如，帧内预测模式、运动矢量、参考图片等)。此处，经受预测的处理单元可以不同于针对其确定预测方法和详细内容的处理单元。例如，可以通过预测单元确定预测方法、预测模式等，并且可以通过变换单元执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块(130)。此外，用于预测的预测模式信息、运动矢量信息等可以与残差值一起由熵编码模块(165)进行编码，并且可以被传输至用于对视频进行解码的装置。当使用特定编码模式时，可以不通过预测模块(120，125)生成预测块来按原样对原始块进行编码来传输至用于对视频进行解码的装置。

帧间预测模块(120)可以基于当前图片的先前图片或后续图片中至少之一的信息来对预测单元进行预测，或者在一些情况下，可以基于当前图片中的一些编码区域的信息来对预测单元进行预测。帧间预测模块(120)可以包括参考图片插值模块、运动预测模块以及运动补偿模块。

参考图片插值模块可以从存储器(155)接收参考图片信息，并且可以根据参考图片来生成整像素或小于整像素的像素信息。在亮度像素的情况下，可以使用具有不同滤波器系数的基于DCT的8抽头插值滤波器生成整像素或以1/4像素为单位的小于整像素的像素信息。在色度信号的情况下，可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器生成整像素或以1/8像素为单位的小于整像素的像素信息。

运动预测模块可以基于由参考图片插值模块进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用诸如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)和新三步搜索算法(NTS)等的各种方法。基于插值像素，运动矢量可以具有以1/2像素或1/4像素为单位的运动矢量值。运动预测模块可以通过改变运动预测方法来预测当前预测单元。作为运动预测方法，可以使用诸如跳过方法、合并方法、AMVP(高级运动矢量预测)方法、帧内块复制方法等的各种方法。

帧内预测模块(125)可以基于作为当前图片中的像素信息的与当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是经受帧间预测的块并且因此参考像素是经受帧间预测的像素的情况下，可以使用经受帧内预测的相邻块的参考像素信息来替换经受帧间预测的块中包括的参考像素。即，当参考像素不可用时，可以使用可用参考像素中的至少一个参考像素来代替不可用的参考像素信息。

帧内预测中的预测模式可以包括根据预测方向使用参考像素信息的方向性预测模式和在执行预测时不使用方向信息的非方向性预测模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同，并且为了预测色度信息，可以利用用于预测亮度信息的帧内预测模式信息或者可以利用预测的亮度信号信息。

在执行帧内预测时，在预测单元的尺寸与变换单元的尺寸相同的情况下，可以基于位于预测单元的左侧、左上侧和顶部的像素对该预测单元执行帧内预测。然而，在执行帧内预测时，在预测单元的尺寸与变换单元的尺寸不同的情况下，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N划分的帧内预测可以仅用于最小编码单元。

在帧内预测方法中，可以根据预测模式在将AIS(自适应帧内平滑)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可以变化。为了执行帧内预测方法，可以根据与当前预测单元相邻的预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。在通过使用根据相邻预测单元预测到的模式信息来预测当前预测单元的预测模式时，在当前预测单元的帧内预测模式与相邻预测单元的帧内预测模式相同的情况下，可以使用预定的标记信息来传输指示当前预测单元的预测模式与相邻预测单元的预测模式彼此相同的信息。在当前预测单元的预测模式与相邻预测单元的预测模式不同的情况下，可以执行熵编码，以对当前块的预测模式信息进行编码。

此外，可以基于由预测模块(120，125)生成的预测单元来生成包括与残差值有关的信息的残差块，该残差值是经受预测的预测单元与预测单元的原始块之间的差。可以将所生成的残差块输入至变换模块(130)。

变换模块(130)可以通过使用例如离散余弦变换(DCT)、离散正弦变换(DST)和KLT的变换方法来对包括与原始块和由预测模块(120，125)生成的预测单元之间的残差值有关的信息的残差块进行变换。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是应用DCT、DST还是KLT来对残差块进行变换。

量化模块(135)可以对由变换模块(130)变换至频域的值进行量化。量化系数可以根据图片的重要性或块而变化。可以将由量化单元(135)计算出的值提供至逆量化模块(140)和重排模块(160)。

重排模块(160)可以对经量化的残差值的系数进行重排。

重排模块(160)可以通过系数扫描方法将二维块形式的系数改变为一维矢量形式的系数。例如，重排模块(160)可以使用Z字形扫描方法从DC系数扫描至高频域的系数，以便将系数改变为一维矢量形式。根据变换单元的尺寸和帧内预测模式，可以使用沿列方向扫描二维块形式的系数的垂直方向扫描或沿行方向扫描二维块形式的系数的水平方向扫描来代替Z字形扫描。即，可以根据变换单元的尺寸和帧内预测模式来确定使用Z字形扫描、垂直方向扫描和水平方向扫描中的哪种扫描方法。

熵编码模块(165)可以基于由重排模块(160)计算的值来执行熵编码。熵编码可以使用各种编码方法，例如，指数哥伦布(Golomb)编码、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。

熵编码模块(165)可以对来自重排模块(160)以及预测模块(120，125)的例如编码单元的残差值系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息、变换单元信息、运动矢量信息、参考帧信息、块插值信息、滤波信息等的各种信息进行编码。

熵编码模块(165)可以对从重排模块(160)输入的编码单元的系数进行熵编码。

逆量化模块(140)可以对由量化模块(135)量化的值进行逆量化，并且逆变换模块(145)可以对由变换模块(130)变换的值进行逆变换。可以将由逆量化模块(140)和逆变换模块(145)生成的残差值与由预测模块(120，125)的运动估计模块、运动补偿模块和帧内预测模块预测的预测单元进行组合，使得可以生成重构块。

滤波器模块(150)可以包括去块滤波器、偏移校正单元以及自适应环路滤波器(ALF)中的至少之一。

去块滤波器可以去除由于重构图片中的块之间的边界而产生的块失真。为了确定是否执行去块，包括在块的若干行或若干列中的像素可以是确定是否对当前块应用去块滤波器的基础。在对块应用去块滤波器时，可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，可以并行地处理水平方向滤波和垂直方向滤波。

偏移校正模块可以在经受去块的图片中以像素为单位校正与原始图片的偏移。为了对特定图片执行偏移校正，可以使用考虑每个像素的边缘信息来应用偏移的方法，或者可以使用下述方法：将图片的像素划分为预定数目的区域、确定要执行偏移的区域、并且对所确定的区域应用偏移。

可以基于通过将经滤波的重构图片与原始图片进行比较而获得的值来执行自适应环路滤波(ALF)。可以将包括在图片中的像素分成预定组，可以确定要应用于每个组的滤波器，并且可以针对每个组分别地执行滤波。可以通过编码单元(CU)传输关于是否应用ALF和亮度信号的信息。用于ALF的滤波器的形状和滤波器系数可以根据每个块而不同。此外，无论应用目标块的特征如何，都可以应用相同形状(固定形状)的用于ALF的滤波器。

存储器(155)可以存储通过滤波器模块(150)计算的重构块或图片。可以在执行帧间预测时将所存储的重构块或图片提供至预测模块(120，125)。

参照图2，用于对视频进行解码的装置(200)可以包括：熵解码模块(210)、重排模块(215)、逆量化模块(220)、逆变换模块(225)、预测模块(230，235)、滤波器模块(240)以及存储器(245)。

当从用于对视频进行编码的装置输入视频比特流时，可以根据用于对视频进行编码的装置的逆过程来对输入比特流进行解码。

熵解码模块(210)可以根据由用于对视频进行编码的装置的熵编码模块进行的熵编码的逆过程来执行熵解码。例如，对应于由用于对视频进行编码的装置执行的方法，可以应用各种方法，例如，指数哥伦布编码、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。

熵解码模块(210)可以对关于由用于对视频进行编码的装置执行的帧内预测和帧间预测的信息进行解码。

重排模块(215)可以基于在用于对视频进行编码的装置中使用的重排方法对由熵解码模块(210)进行熵解码的比特流执行重排。重排模块可以将一维矢量形式的系数重构和重排为二维块形式的系数。重排模块(215)可以接收与在用于对视频进行编码的装置中执行的系数扫描相关的信息，并且可以经由基于在用于对视频进行编码的装置中执行的扫描顺序对系数进行逆扫描的方法来执行重排。

逆量化模块(220)可以基于从用于对视频进行编码的装置接收的量化参数和经重排的块的系数来执行逆量化。

逆变换模块(225)可以执行逆变换，即，逆DCT、逆DST和逆KLT，这是由变换模块对用于对视频进行编码的装置的量化结果执行的变换即DCT、DST和KLT的逆过程。可以基于由用于对视频进行编码的装置所确定的传输单元来执行逆变换。用于对视频进行解码的装置的逆变换模块(225)可以根据例如预测方法、当前块的尺寸、预测方向等的多条信息来选择性地执行变换方案(例如，DCT、DST和KLT)。

预测模块(230，235)可以基于关于从熵解码模块(210)接收到的预测块生成的信息和从存储器(245)接收到先前解码的块或图片信息来生成预测块。

如上所描述的，类似于用于对视频进行编码的装置的操作，在执行帧内预测时，在预测单元的尺寸与变换单元的尺寸相同的情况下，可以基于位于预测单元的左侧、左上侧和顶部的像素对预测单元执行帧内预测。在执行帧内预测时，在预测单元的尺寸与变换单元的尺寸不同的情况下，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N划分的帧内预测可以仅用于最小编码单元。

预测模块(230，235)可以包括预测单元确定模块、帧间预测模块以及帧内预测模块。预测单元确定模块可以从熵解码模块(210)接收各种信息，例如预测单元信息、帧内预测方法的预测模式信息、关于帧间预测方法的运动预测的信息等，可以将当前编码单元分成预测单元，并且可以确定对预测单元执行帧间预测还是帧内预测。通过使用从用于对视频进行编码的装置接收到的当前预测单元的帧间预测所需的信息，帧间预测模块(230)可以基于包括当前预测单元的当前图片的先前图片或后续图片中至少之一的信息来对当前预测单元执行帧间预测。替选地，可以基于包括当前预测单元的当前图片中的一些预先重构区域的信息来执行帧间预测。

为了执行帧间预测，可以针对编码单元来确定将跳过模式、合并模式、AMVP模式和帧间块复制模式中的哪一个用作包括在编码单元中的预测单元的运动预测方法。

帧内预测模块(235)可以基于当前图片中的像素信息来生成预测块。在预测单元是经受帧内预测的预测单元的情况下，可以基于从用于对视频进行编码的装置接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块(235)可以包括自适应帧内平滑(AIS)滤波器、参考像素插值模块以及DC滤波器。AIS滤波器对当前块的参考像素执行滤波，并且可以根据当前预测单元的预测模式来确定是否应用滤波器。可以通过使用从用于对视频进行编码的装置接收到的预测单元的预测模式和AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式的情况下，可以不应用AIS滤波器。

在预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式的情况下，参考像素插值模块可以对参考像素进行插值，以生成整像素或小于整像素的参考像素。在当前预测单元的预测模式是在不对参考像素进行插值的情况下生成预测块的预测模式时，可以不对参考像素进行插值。在当前块的预测模式是DC模式的情况下，DC滤波器可以通过滤波来生成预测块。

可以将重构块或图片提供至滤波器模块(240)。滤波器模块(240)可以包括去块滤波器、偏移校正模块以及ALF。

可以从用于对视频进行编码的装置接收关于是否将去块滤波器应用于相应的块或图片的信息以及关于在应用去块滤波器时应用强滤波器和弱滤波器中的哪个滤波器的信息。用于对视频进行解码的装置的去块滤波器可以从用于对视频进行编码的装置接收关于去块滤波器的信息，并且可以对相应的块执行去块滤波。

偏移校正模块可以基于在执行编码时应用于图片的偏移校正的类型和偏移值信息来对重构图片执行偏移校正。

可以基于从用于对视频进行编码的装置接收到的关于是否应用ALF的信息、ALF系数信息等来将AFL应用于编码单元。ALF信息可以被提供为被包括在特定参数集中。

存储器(245)可以存储重构图片或块以用作参考图片或块，并且可以将重构图片提供至输出模块。

如上所描述的，在本发明的实施方式中，为了便于说明，编码单元被用作表示用于编码的单元的术语，然而，编码单元可以用作执行解码以及编码的单元。

此外，当前块可以表示要被编码/解码的目标块。并且，取决于编码/解码步骤，当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)、预测块(或预测单元)等。在本说明书中，“单元”表示用于执行特定编码/解码过程的基本单元，“块”可以表示预定尺寸的样本阵列。如果它们之间没有区别，则术语“块”和“单元”可以互换使用。例如，在下面描述的实施方式中，可以理解编码块和编码单元具有相互等同的含义。

可以通过将图片分成具有正方形形状或非正方形形状的基本块来对图片进行编码/解码。此时，基本块可以称为编码树单元。编码树单元可以被定义为序列或片(slice)内允许的最大尺寸的编码单元。可以通过序列参数集、图片参数集或片头(slice header)来用信号发送与编码树单元是具有正方形形状还是具有非正方形形状有关的信息或者与编码树单元的尺寸有关的信息。编码树单元可以被分成更小尺寸的分区(partition)。此时，如果假设通过划分编码树单元而生成的分区的深度是1，则通过划分具有深度1的分区而生成的分区的深度可以被定义为2。即，通过在编码树单元中划分具有深度k的分区而生成的分区可以被定义为具有深度k+1。

通过划分编码树单元而生成的任意尺寸的分区可以被定义为编码单元。编码单元可以被递归地划分或者划分成用于执行预测、量化、变换或环路滤波等的基本单元。例如，通过划分编码单元而生成的任意尺寸的分区可以被定义为编码单元，或者可以被定义为变换单元或预测单元，其是用于执行预测、量化、变换或环路滤波等的基本单元。

替选地，如果确定了编码块，则可以通过编码块的预测分区来确定具有与编码块相同或者比编码块小的的尺寸的预测块。可以通过指示编码块的分区类型的分区模式(Part_mode)来执行编码块的预测分区。可以根据编码块的分区模式来确定预测块的尺寸或形状。可以通过指定分区候选中的任何一个的信息来确定编码块的分区类型。此时，取决于编码块的尺寸、形状、编码模式等，编码块可用的分区候选可以包括非对称分区类型(例如，nLx2N、nRx2N、2NxnU、2NxnD)。例如，可以根据当前块的编码模式确定编码块可用的分区候选。例如，图3示出了当通过帧间预测对编码块进行编码时可以应用于编码块的分区模式。

当通过帧间预测对编码块进行编码时，8个分区模式中的一个可以应用于编码块，如图3所示的示例。

另一方面，当通过帧内预测对编码块进行编码时，可以将PART_2Nx2N或PART_NxN的分区模式应用于编码块。

在编码块具有最小尺寸的情况下，可以应用PART_N×N。此处，可以在编码器和解码器中预定义编码块的最小尺寸。可替选地，可以经由比特流来用信号发送关于编码块的最小尺寸的信息。例如，通过片头来用信号发送编码块的最小尺寸，从而可以对每个片定义编码块的最小尺寸。

在另一示例中，可以根据编码块的尺寸或形状中的至少之一来不同地确定编码块可用的分区候选。例如，可以根据编码块的尺寸或形状中的至少之一来不同地确定编码块可用的分区候选的数量或类型。

可替选地，可以根据编码块的尺寸或形状限制编码块可用的分区候选中的非对称分区候选的类型或数量。例如，可以根据编码块的尺寸或形状中的至少之一来不同地确定编码块可用的非对称分区候选的数量或类型。

通常，预测块可以具有从64×64至4×4的尺寸。然而，当通过帧间预测对编码块进行编码时，可以避免预测块具有4×4尺寸，以在执行运动补偿时减小存储器带宽。

根据相机的视角来限制由相机捕获的视频的视野。为了克服上述问题，通过使用多个摄像机来捕获图像，并且可以通过对捕获的图像执行拼接来配置单个视频或比特流。在示例中，图4至图6分别示出了通过使用多个相机同时地上下、从左到右以及前向来捕获的示例。如上所述，通过对多个视频执行拼接而生成的视频可以被称为全景视频。具体地，基于预定中心轴具有360度自由度的图像可以被称为360度视频。

用于获取360度视频的相机结构(或相机布置)可以是如图4所示的示例中所示的圆形阵列、如图5的(a)中所示的示例中所示的一维垂直/水平阵列或者如图5的(b)所示的示例中所示的二维阵列(即，垂直阵列和水平阵列组合的形式)。可替选地，如图6所示的示例所示，多个相机可以被布置在球形装置上。

将基于360度视频描述下面描述的示例。然而，将下面描述的示例应用于全景视频而不是360度视频也将包括在本发明的技术范围内。

图7是示意性地示出360度视频的编码/解码和渲染的图。

为了通过使用图1/图2的编码器/解码器对360度视频进行编码/解码，360度视频必须被转换为2D形式的视频。换言之，在通过投影(2D投影)将三维空间的图像信息转换为2D形式之后，可以执行对转换后的图像的编码/解码。通过对已经编码/解码的2D图像执行逆投影，可以提供在上下、左右或前后方向上具有360度自由度的图像。

在将360度视频转换为2D投影时，可以使用各种方法，例如等距矩形投影(ERP)、立方体图投影(CMP)、二十面体投影(ISP)、八面体投影(OHP)、截棱锥投影(TPP)、球面投影(SSP)、旋转球投影(RSP)等。

图8是示出2D投影方法中的等距矩形投影的图。

等距矩形投影是将球面上的像素投影到2：1比率的矩形的方法，并且是广泛使用的2D投影方法。当使用等距矩形投影时，与2D平面上的单位长度对应的球面的实际长度朝向球体的极点变短。例如，2D平面上的单位长度的两端之间的坐标对应于在球体的靠近赤道处的20cm，但是同样对应于在球体的靠近极点处的5cm。因此，由于在球体的极点附近图像失真变大，所以在等距矩形投影时的编码效率降低。

图9是示出2D投影方法中的立方体图投影方法的图。

立方体图投影是将3D数据近似为立方体形式，然后对该立方体执行2D投影的方法。当将3D数据投影到立方体时，可以将一个面(或平面)配置为与四个面接触。由于各个面之间的连续性高，因此立方体图投影中的编码效率优于等距矩形投影。在通过使用2D投影转换3D数据之后，可以通过以矩形形式重新排列2D投影图像来执行编码/解码。以矩形形式重新排列2D投影图像可以称为帧重排或帧封装。

图10是示出2D投影方法中的二十面体投影的图。

二十面体投影是将3D数据近似为二十面体，并对该二十面体执行2D投影的方法。二十面体投影在面之间的连续性方面具有优势。另外，可以执行对2D投影图像执行重排的帧封装。

图11是示出2D投影方法中的八面体投影的图。

八面体投影是将3D数据近似为正八面体并对该正八面体执行2D投影的方法。八面体投影在面之间的连续性方面具有优势。另外，可以执行对2D投影图像执行重排的帧封装。

图12是示出2D投影方法中的截棱锥投影的图。

截棱锥投影是将3D数据近似为与截棱锥相关联并对该截棱锥执行2D投影的方法。在截棱锥投影中，可以执行帧封装，使得特定视图的面具有与相邻面不同的尺寸。例如，作为图12中所示的示例，前面可以具有大于侧面和背面的尺寸。当使用截棱锥投影时，由于特定视图处的图像数据很大，因此特定视图处的编码/解码效率优于另一视图。

SSP是将球体划分为高纬度区域、低纬度区域和中间纬度区域、将北部和南部的两个高纬度区域映射至两个圆圈并且将中间纬度区域映射至作为ERP的正方形的方法。

RSP表示将球体映射至如网球一样的两个椭圆形式的方法。

在下文中，在下面描述的示例中，通过使用2D投影生成的2D图像被称为360度投影图像。另外，在下面描述的示例中，即使基于特定投影方法描述了示例，但下面描述的示例也可以应用于除了所描述的投影方法以外的投影方法。

可以在2D面坐标中识别360度投影图像的每个样本。2D面坐标可以包括用于识别样本所在的面的索引f，以及表示360度投影图像中的样本网格的坐标(m，n)。

可以通过2D面坐标与3D坐标之间的转换来执行2D投影和图像渲染。在示例中，图13是示出2D面坐标与3D坐标之间的转换的示例的图。当基于ERP生成360度投影图像时，可以通过使用下面的等式1至等式4来执行3D坐标(x，y，z)与2D面坐标(f，m，n)之间的转换。

[等式1]

φ＝tan^-1(-Z/X)

θ＝sin^-1(Y/(X²+Y²+Z²)^1/2)

[等式2]

φ＝(u-0.5)*(2*π)

θ＝(0.5-v)*π

[等式3]

u＝(m+O.5)/W，0≤m＜W

v＝(n+0.5)/H，0≤n＜H

[等式4]

u＝(m+0.5)/W，0≤m＜W

v＝(n+0.5)/H，0≤n＜H

在360度投影图像中，当前图片可以包括至少一个面。本文中，取决于投影方法，面的数量可以是1、2、3、4或更多的自然数。可以将2D面坐标的f设置为等于或小于面的数量的值。当前图片可以包括相同图片顺序计数(POC)的至少一个面。

可替选地，构成当前图片的面的数量可以是固定的或可变的。例如，构成当前图片的面的数量可以被限制为不超过预定阈值。本文中，阈值可以是在编码器和解码器中预定义的值。可替选地，可以通过比特流来用信号发送构成单个图片的面的最大数量的信息。

根据投影方法，可以通过使用水平线、垂直线或对角线的至少一个方向划分当前图片来确定面。

对于图片内的每个面，可以分配索引以识别每个面。如在块或片的情况下，并行处理可用于面。因此，在对当前块执行帧内预测或帧间预测时，属于与当前块不同的面的相邻块可被确定为不可用。

可以定义并行处理不可用的面(或非并行处理区域)，或者可以定义具有相互依赖性的面。例如，并行处理不可用的面或具有相互依赖性的面可以被顺序地编码/解码而不是被并行地编码/解码。因此，根据面之间是否可以进行并行处理或者根据面之间的依赖性，可以确定包括在与当前块不同的面中的相邻块可用于当前块的帧内预测或帧间预测。

在360度投影图像中，如在2D图像的编码/解码中一样，可以基于当前块的运动信息执行帧间预测。在示例中，图14至图16是分别示出对2D图像执行帧间预测的方法的流程图的图。

图14示出了应用本发明的实施方式，并且图14是示出对2D图像执行帧间预测的方法的流程图的图。

参照图14，可以确定当前块的运动信息(S1410)。当前块的运动信息可以包括当前块的运动矢量、当前块的参考图片索引和当前块的帧间预测方向中的至少一个。

可以基于通过比特流用信号发送的信息和与当前块相邻的相邻块的运动信息中的至少一个来获得当前块的运动信息。

当将合并模式应用于当前块时，可以根据与当前块在空间上相邻的块得到空间合并候选(S1510)。空间相邻块可以包括与当前块的顶部、左侧和角部(例如，左上角、右上角和左下角中的至少一个)中的至少一个相邻的块。

可以将空间合并候选的运动信息设置为与空间相邻块的运动信息相同。

可以根据当前块的时间相邻块得到时间合并候选(S1520)。时间相邻块可以意指在同位图片中包括的同位块。同位图片具有与包括当前块的当前图片不同的POC。同位图片可以被确定为在参考图片列表中具有预定义索引的图片，或者可以由通过比特流用信号发送的索引来确定。时间相邻块可以被确定为同位图片块中的具有与当前块相同的位置和尺寸的块内的任意块或者与具有与当前块相同的位置和尺寸的块相邻的块。在示例中，可以将包括同位图片中的具有与当前块相同的位置和尺寸的块的中心坐标的块或者与上述块的右下边界相邻的块中的至少之一确定为时间相邻块。

可以基于时间相邻块的运动信息来确定时间合并候选的运动信息。在示例中，可以基于时间相邻块的运动矢量来确定时间合并候选的运动矢量。另外，时间合并候选的帧间预测方向可以被设置为与时间相邻块的帧间预测方向相同。然而，时间合并候选的参考图片索引可以具有固定值。在示例中，时间合并候选的参考图片索引可以被设置为“0”。

随后，可以生成包括空间合并候选和时间合并候选的合并候选列表(S1530)。在合并候选列表中包括的合并候选的数量小于合并候选的最大数量的情况下，则通过组合至少两个合并候选获得的组合合并候选或具有运动矢量(0,0)(零运动矢量)的合并候选可以包括在合并候选列表中。

当生成合并候选者列表时，可以基于合并候选索引来指定在合并候选列表中包括的合并候选中的至少之一(S1540)。

可以将当前块的运动信息设置为与由合并候选索引指定的合并候选的运动信息相同(S1550)。在示例中，在通过合并候选索引选择空间合并候选的情况下，可以将当前块的运动信息设置为与空间相邻块的运动信息相同。可替选地，在通过合并候选索引选择时间合并候选的情况下，可以将当前块的运动信息设置为与时间相邻块的运动信息相同。

图16是示出当AMVP模式应用于当前块时得到当前块的运动信息的过程的图。

当AMVP模式应用于当前块时，可以根据比特流对当前块的帧间预测方向或参考图片索引中的至少之一进行解码(S1610)。换言之，当应用AMVP模式时，可以基于通过比特流进行编码的信息来确定当前块的帧间预测方向或参考图片索引中的至少之一。

可以基于当前块的空间相邻块的运动矢量来确定空间运动矢量候选。空间运动矢量候选可以包括根据当前块的顶部相邻块得到的第一空间运动矢量候选和根据当前块的左相邻块得到的第二空间运动矢量候选中的至少之一。本文中，顶部相邻块可以包括与当前块的顶部或右上角相邻的块中的至少之一，并且当前块的左相邻块可以包括与当前块的左侧或左下角相邻的块中的至少之一。与当前块的左上角相邻的块可以用作顶部相邻块或者可以用作左相邻块。

在当前块与空间相邻块之间的参考图片不同的情况下，可以通过对空间相邻块的运动矢量执行缩放来获得空间运动矢量。

可以基于当前块的时间相邻块的运动矢量来确定时间运动矢量候选(S1630)。在当前块与时间相邻块之间的参考图片不同的情况下，可以通过对时间相邻块的运动矢量执行缩放来获得时间运动矢量。

可以生成包括空间运动矢量候选和时间运动矢量候选的运动矢量候选列表(S1640)。

当生成运动矢量候选列表时，可以基于指定来自运动矢量候选列表中的至少之一的信息来指定包括在运动矢量候选列表中的运动矢量候选中的至少之一(S1650)。

可以将由信息指定的运动矢量候选设置为当前块的运动矢量预测值，并且可以通过将运动矢量差值与运动矢量预测值相加来获得当前块的运动矢量(S1660)。本文中，可以通过比特流来解析运动矢量差值。

当获得当前块的运动信息时，可以基于所获得的运动信息来执行当前块的运动补偿(S1420)。详细地，可以基于当前块的帧间预测方向、参考图片索引和运动矢量来执行当前块的运动补偿。

如参照图14至图16所描述的，可以基于当前块的运动信息以块单元来执行对360度投影图像的帧间预测。例如，在对360度投影图像执行帧间预测时，可以从与参考图片中的预测块最相似的区域得到当前图片中的当前编码/解码块的预测块。本文中，用于得到当前块的预测块的参考图片中的参考块可以位于与当前块相同的面或不同的面上。

如在图17中所示的示例中，用于得到当前块的预测块的参考图片中的参考块可以存在于与当前图片中的当前块相同的面上(参见(b))，或者可以存在于与当前图片中的当前块不同的面上(参见(c))。可替选地，参考块可以存在于或者跨越至少两个面上(参见(a))。

包括参考块的参考图片可以是具有与当前图片不同的POC的图片。

可替选地，当前图片可以用作参考图片。例如，可以将在包括当前块的当前图片中的当前块之前编码/解码的块设置为当前块的参考块。

如示例中所示，可以根据包括在与当前块相同的面中的参考块或者根据与包括在与当前块不同的面中的参考块得到当前块的预测块。本文中，可以通过参考图片中的与当前块对应的同位块与参考块之间的运动矢量来指定参考块的位置。

在另一示例中，为了减少对运动矢量进行编码/解码所需的数据量，可以通过使用用于指定包括参考块的面的信息和/或指定相应面中的参考块的位置的运动矢量中的至少之一来执行针对当前块的运动补偿。参考图片内包括参考块的面可以被称为“参考面”。

用于指定包括参考块的面的信息可以包括表示参考块是否属于与当前块相同的面的信息和/或用于对包括参考块的面进行识别的信息(例如，参考面索引)中的至少之一。例如，可以通过使用1比特标志来确定参考块是否属于与当前块相同的面。另外，可以通过使用参考面索引来指定参考图片中包括参考块的面。

图18是示出在基于TPP的360度投影图像中通过使用参考面索引来对包括参考块的面进行识别的示例的图。

作为图18中所示的示例，可以定义用于对包括参考块的面进行识别的参考面索引“mc_face_idx”(或“ref_face_idx”)。可以通过比特流对参考面索引进行编码/解码。

在另一示例中，可以根据与当前块相邻的块得到参考面索引。例如，在合并模式中，可以根据合并到当前块的合并候选得到当前块的参考面索引。然而，在AMVP模式中，可以通过比特流对当前块的面索引进行编码/解码。

当参考块存在于两个面的边界中时，参考面索引可以指定包括参考块的参考位置的面。本文中，参考位置可以包括参考块的特定角的位置(例如，左上样本)或参考块的中心点。

可以基于从参考面的参考位置至参考块的参考位置的矢量值来指定面中的参考块的位置。本文中，参考面的参考位置可以是面的特定角的位置(例如，左上参考样本的位置)或面的中心点。

可替选地，可以根据包括当前块的面的索引(即，当前面索引)、参考面索引、当前面与参考面之间的相对位置或面中的当前块的位置来可变地确定参考面的参考位置。例如，在当前块存在于第一面中的第一位置处的情况下，参考面中的对应于第一位置的第二位置可被确定为参考位置。在另一示例中，在当前面位于参考面的左侧的情况下，参考面的参考位置可以被设置到左上角，并且在当前面位于参考面的顶部的情况下，参考面的参考位置可以被设置到顶部中心。从面的参考位置至参考块的运动矢量可以被称为面矢量。

可以基于当前面和参考面是否相同(即，当前面索引和参考面索引是否相同)来确定运动矢量是否是面矢量。例如，在当前面索引和参考面索引相同的情况下，运动矢量可以指示从当前块至参考块的矢量。然而，在当前面索引和参考面索引不同的情况下，运动矢量可以指示从参考面的参考位置至参考块的矢量。

可替选地，可以通过比特流对表示运动矢量是否是面矢量的信息进行编码/解码。

可以通过比特流对当前块的运动矢量(例如，面矢量或非面矢量)进行编码/解码。例如，可以通过比特流照原样对运动矢量值进行编码/解码。

可替选地，根据当前块的帧间预测模式，可以通过比特流对运动矢量进行编码/解码，或者可以根据相邻块得到当前块的运动矢量。例如，在当前块的帧间预测模式是AMVP模式的情况下，可以通过差分编码对当前块的运动矢量进行编码/解码。本文中，差分编码表示通过比特流对当前块的运动矢量与运动矢量预测值之间的差进行编码/解码。可以根据当前块的空间/时间相邻块得到运动矢量预测值。可替选地，可以与当前块的空间/时间相邻块相同地得到当前块的运动矢量。然而，在当前块的帧间预测模式是合并模式的情况下，可以将当前块的运动矢量设置为与当前块的空间/时间相邻块的运动矢量相同。

在当前块的运动矢量在类型上与相邻块不同的情况下，可以通过将相邻块的运动矢量匹配到当前块的运动矢量类型来得到当前块的运动矢量。例如，在当前块的运动矢量是非面矢量但是相邻块的运动矢量是面矢量的情况下，通过使用相邻块与相邻块的参考面的参考点之间的矢量以及相邻块的面矢量，可以将相邻块的面矢量转换为非面矢量。可以根据当前块的帧间预测模式基于转换后的相邻块的非面矢量来得到当前块的运动矢量。

在另一示例中，可以根据当前块的运动矢量是面矢量还是非面矢量来可变地确定对当前块的运动矢量进行编码/解码的方法。例如，在当前块的运动矢量是非面矢量的情况下，可以通过使用相邻块的运动矢量来得到当前块的运动矢量，但是在当前块的运动矢量是面矢量的情况下，可以通过比特流照原样对面矢量值进行编码/解码。

如上参考示例所述，在360度投影图像中，可以通过属于与当前块不同的面的参考块来执行当前块的运动补偿。然而，当包括当前块的面与包括参考块的面在相位、尺寸和形状中的至少一个方面不同时，则在参考面中难以找到与当前块的预测块匹配的参考块。例如，在TPP中，由于前面在尺寸和形状上与右面不同，所以包括在前面中的块和包括右面的块几乎不具有相似性。因此，在通过使用具有与当前面不同相位、尺寸和形状的参考面来执行运动估计或运动补偿时，用于对参考面和当前面的相位、尺寸和形状进行匹配的转换是必要的。

在下文中，将描述根据当前块和参考块是否属于同一面(或者当前块和参考块是否属于相互对应面)来执行帧间预测的方法。

在当前块和参考块包括在同一面中的情况下(即，在当前面索引和参考面索引相同的情况下)，当前块的起始点与参考块的起始点之间的坐标差可以像在2D图像中一样用作运动矢量。

在当前块属于与参考块不同的面(即，当前面索引和参考面索引不同)，并且当前面在尺寸、形状或相位中的至少一个上与参考面不同的情况下，包括参考块的面可以被转换为与预测块所属的面的尺寸、形状或相位匹配。例如，可以通过使用相位转换(弯曲)、插值和/或填充中的至少之一来转换参考面。在示例中，图21是示出将参考面转换成与当前面匹配的示例的图。在当前面在尺寸和/或形状上与参考面不同的情况下，如图21所示的示例，通过对参考面应用相位转换、填充或插值，可以将参考面转换成具有与当前面相同的尺寸和/或形状。当转换参考面时，可以跳过相位转换、填充和/或插值中的至少之一，并且可以以不同于图21中所示的示例的顺序执行对参考面的转换。

被转换成与当前面匹配的参考面可以被称为运动补偿参考面(或用于运动补偿的参考面)。

可以以预定义的精度(例如，四分之一像素或整数像素等)对运动补偿参考面进行插值。经插值的运动补偿参考面中的最接近当前块的预测块的块可以被生成为当前块的预测块。作为图20所示的示例，当前块的运动矢量可以表示当前块的起始位置与参考块的起始位置之间的坐标差(即，对非面矢量进行编码/解码)。尽管未示出，但是可以将运动补偿参考面中的参考位置与参考块的起始位置之间的坐标差设置为当前块的运动矢量(即，对面矢量进行编码/解码)。

图20和图21示出了将参考面转换成与当前面的相位、尺寸或形状匹配的示例。与所示出的相反，可以通过将当前面转换成与参考面的相位、尺寸或形状匹配来得到当前块的运动矢量。

如在以上示例中，在当前面在相位、尺寸或形状中的至少之一上与参考面不同的情况下，可以通过转换当前面或参考面的相位、尺寸或形状中的至少之一来执行帧间预测。

图22是示出根据本发明的对360度投影图像中的当前块执行帧间预测的方法的图。

参照图22，可以从比特流解码与参考面有关的信息(S2210)。当对与参考面相关的信息进行解码时，可以基于所解码的信息来确定当前块和参考块是否属于同一面(S2220)。

与参考面相关的信息可以包括当前块和参考块是否属于同一面或参考面索引中的至少之一。

例如，可以通过比特流来用信号发送表示包括当前块的面和包括参考块的面是否彼此对应或者当前面索引和参考面索引是否相同的“isSameFaceFlag”。如果isSameFaceFlag的值是1，则可以意味着当前面索引和参考面索引具有相同的值，或者包括当前块的面和包括参考块的面彼此对应。然而，如果isSameFaceFlag的值为0，则可以意味着当前面索引和参考面索引具有不同的值，或者包括当前块的面和包括参考块的面并非彼此对应。

可以在isSameFaceFlag的值为0的情况下用信号发送参考面索引。可替选地，用信号发送isSameFaceFlag可以被省略，并且可以基本上用信号发送参考面索引。在用信号发送isSameFaceFlag被省略的情况下，可以通过比较当前面索引和参考面索引来确定当前块和参考块是否属于同一面。

在确定当前块和参考块包括在同一面中的情况下，可以获得表示在参考面中当前块与参考块的位置之间的坐标差的运动矢量(S2230)，并且可以通过使用所获得的运动矢量来执行运动补偿(S2240)。

另一方面，在确定当前块和参考块包括在不同面中的情况下，可以通过将参考面的相位、尺寸或形状中的至少之一转换成与当前面匹配来生成运动补偿参考面(S2250)。当生成运动矢量参考面时，可以获得表示当前块与运动补偿参考面中的参考块之间的坐标差的运动矢量，并且可以通过使用所获得的运动矢量来执行运动补偿。

即使当前块和参考块属于不同的面，但是在当前面和参考面的相位、尺寸或形状中的至少之一相同时，可以省略生成运动矢量参考面。

在另一示例中，可以基于参考块是否属于特定面来确定是否转换参考面。例如，在基于TPP的360度投影图像中，可以用信号发送表示参考块是否存在于前面上的标志。isRefInFrontFlag表示参考块是否存在于前面，并且在其值为1的情况下，可以表示参考块的起始点存在于前面上，并且在其值为0的情况下，可以表示参考块的起始点存在于在右面、左面、顶面、底面或后面。在当前块和参考块都属于前面的情况下，或者在当前块和参考块都不属于前面的情况下，可以省略生成运动补偿参考面。同时，在当前块和参考块中的一个属于前面而另一个不属于前面的情况下，可以生成运动补偿参考面，并且可以指定所生成的运动补偿参考面中的参考块。

在360度投影图像中，还可以通过仅使用属于与当前块相同的面的参考块来设置执行当前块的运动补偿。可以针对属于与当前块相同的面的参考块执行当前块的运动估计和运动补偿。例如，如在图17的(c)中所示的示例中，可以不允许在当前块和参考块属于不同面的情况下的运动补偿。可以基于参考块的参考点的位置来确定包括参考块的面。本文中，参考块的参考点可以是参考块的角样本或中心点。例如，即使参考块跨越两个面的边界，但是当参考块的参考点属于与当前面相同的面时，可以确定参考块属于与当前块相同的面。

可以基于投影方法、面的尺寸/形状或面之间的尺寸差异来自适应地确定是否通过使用属于与当前块不同的面的参考块来执行运动补偿。可替选地，可以通过比特流用信号发送表示是否允许使用属于与当前块不同的面的参考块来执行运动补偿的信息(例如，标志)。

可以基于通过对属于与当前面对应的参考面的像素执行插值、填充或相位转换而生成的参考块来执行当前块的运动补偿。例如，当参考块跨越至少两个面并且参考块的参考点属于与当前面对应的参考面时，参考块可以包括属于与当前面对应的参考面的第一区域(下文中，称为第一面)和属于当前面旁边的参考面的第二区域(下文中，称为第二面)。

本文中，可以通过对包括在第一面中的样本执行填充或插值来生成第二区域的像素，或者可以通过将预定滤波器应用于包括在第一面中的像素和/或第二面的像素中的至少一个来生成第二区域的像素。预定滤波器可以意指权重滤波器、平均滤波器或插值滤波器。应用滤波器的像素区域可以是第一面和/或第二面的整个区域或部分区域。本文中，部分区域可以是第一区域和第二区域，或者可以是具有在编码器/解码器中预定的尺寸/形状的区域。滤波器可以应用于与第一面和第二面的边界相邻的至少一个像素。

图23是示出基于属于参考面的样本生成参考块的示例的图。

作为图23中所示的示例，可以基于通过对包括在与当前面对应的参考面(第一面)的边界中的样本执行填充和/或插值或者通过将滤波器应用于包括在第一面中的样本和包括在与第一面相邻的第二面中的样本而生成的参考块来执行当前块的运动补偿。

在图23所示的示例中，通过对包括在参考块的参考点所属的前面中的样本执行填充来生成填充区域，并且通过使用包括在填充区域中的样本来执行当前块的运动补偿。

可替选地，通过使用第一面的值对第二面的整个区域或部分区域进行相位转换来生成运动补偿参考面，并且可以通过使用所生成的运动补偿参考面来执行当前块的运动补偿。

作为图24所示的示例，可以通过对包括参考块的部分区域但不包括参考块的参考点的第二面的整个区域或部分区域执行转换、插值和填充中的至少之一来生成运动补偿参考面。因此，可以通过使用属于运动补偿参考面的样本来执行当前块的运动补偿。

表示基于属于与当前面对应的参考面的样本的值生成的参考块是否用于运动补偿的信息可以通过比特流进行编码/解码。该信息是1比特标志。例如，在标志值为0的情况下，可以意味着基于属于与当前面对应的参考面的样本的值而生成的参考块不用于运动补偿，并且在标志值是1的情况下，可以意味着基于属于与当前面对应的参考面的样本的值而生成的参考块可以用于当前块的运动补偿。

根据3D数据的投影方法，面的尺寸/形状可以不同。例如，在TPP投影方法中，前面可以大于其他面。具有小尺寸的面具有比具有大尺寸的面相对小的信息量。因此，可以通过提高具有小尺寸的面中的运动矢量的精度来提高编码效率。换言之，可以根据包括参考块的参考面的尺寸/形状来自适应地确定运动矢量的精度。

例如，在基于TPP的360度投影图像中，在参考块属于前面的情况下，可以通过使用四分之一像素(1/4像素)来执行运动补偿，并且在参考块属于小于前面的右面、左面、顶面或底面的情况下，可以通过使用八分之一像素(1/8像素)来执行运动补偿。

另一方面，在参考面的尺寸变大的情况下，可以使用小的运动矢量精度，并且在参考面的尺寸变小的情况下，可以使用大的运动矢量精度。

在以上示例中，配置有多个面的图片可以用作参考图片。在另一示例中，每个面可以用作参考图片，或者一组预定数量的面可以用作参考图片。可替选地，在基于TPP的360度投影图像中，前面可以用作参考图片，或者除了使用前面作为参考图片以外，同时可以使用一组其他面作为参考图片。

尽管已经基于一系列步骤或流程图描述了上述实施方式，但是上述实施方式并不旨在限制本发明的时间序列顺序，并且可以同时或以不同的顺序执行。另外，构成上述实施方式中的框图的每个部件(例如，单元、模块等)可以实现为硬件设备或软件，并且多个部件可以组合成一个硬件设备或软件。上述实施方式可以以程序指令的形式实现，该程序指令可以通过各种计算机部件执行并记录在计算机可读记录介质中。计算机可读存储介质可以单独地或以其组合来包括程序指令、数据文件、数据结构等或包括程序指令、数据文件、数据结构等。计算机可读存储介质的示例包括：磁记录介质，例如硬盘、软盘和磁带；光学数据存储介质，例如CD-ROM或DVD-ROM；磁光介质，例如光盘；以及硬件设备，例如只读存储器(ROM)、随机存取存储器(RAM)和闪存，这些计算机可读存储介质被特别构造以存储和实现程序指令。硬件设备可以被配置成由一个或更多个软件模块操作或者反之亦然，以进行根据本发明的过程。

工业适用性

本发明可以应用于能够对图像进行编码/解码的电子设备。

Claims

1.一种对图像进行解码的方法，所述方法包括：

获取当前块的运动信息；

基于所述运动信息在参考图片内指定所述当前块的参考块；以及

根据所述参考块生成所述当前块的预测块，

其中，所述参考块是通过在所述参考图片内对与包括所述当前块的当前面相关联的第一面中包括的样本执行插值、填充或转换来生成的。

2.根据权利要求1所述的方法，其中，所述运动信息包括用于指定包括所述参考块的参考面的信息。

3.根据权利要求2所述的方法，其中，用于指定所述参考面的信息包括表示所述参考面和所述当前面是否相同的标志信息。

4.根据权利要求3所述的方法，其中，在所述参考面和所述当前面不同的情况下，用于指定所述参考面的信息还包括用于在包括在所述参考图片中的多个面中识别所述参考面的索引信息。

5.根据权利要求3所述的方法，其中，所述运动信息包括用于指定所述参考块在所述参考面内的位置的运动矢量，并且所述运动矢量的起始位置根据所述当前面和所述参考面是否相同来自适应地确定。

6.根据权利要求5所述的方法，其中，在所述当前面和所述参考面相同的情况下，所述运动矢量表示所述当前块在所述参考图片内的同位块与所述参考块之间的坐标差。

7.根据权利要求5所述的方法，其中，在所述当前面和所述参考面不同的情况下，所述运动矢量表示所述参考面内的参考位置与所述参考块之间的坐标差。

8.根据权利要求1所述的方法，其中，在所述当前面和所述参考面不同的情况下，基于通过将所述参考面转换成与所述当前面匹配而生成的运动补偿参考面来执行所述当前块的运动补偿。

9.一种对图像进行编码的方法，所述方法包括：

通过使用当前块在参考图片内的参考块来对当前块执行运动补偿；以及

对所述当前块的运动信息进行编码，

10.根据权利要求9所述的方法，其中，所述运动信息包括用于指定包括所述参考块的参考面的信息。

11.根据权利要求10所述的方法，其中，用于指定所述参考面的信息包括表示所述参考面和所述当前面是否相同的标志信息。

12.根据权利要求11所述的方法，其中，在所述参考面和所述当前面不同的情况下，用于指定所述参考面的信息还包括用于在包括在所述参考图片中的多个面中识别所述参考面的索引信息。

13.根据权利要求10所述的方法，其中，所述运动信息包括用于指定所述参考块在所述参考面内的位置的运动矢量，并且所述运动矢量的起始位置根据所述当前面和所述参考面是否相同来自适应地确定。

14.根据权利要求9所述的方法，其中，在所述当前面和所述参考面不同的情况下，基于通过将所述参考面转换成与所述当前面匹配而生成的运动补偿参考面来执行所述当前块的运动补偿。

15.一种用于对图像进行解码的装置，所述装置包括：

帧间预测单元，其获取当前块的运动信息、基于所述运动信息在参考图片内指定所述当前块的参考块以及根据所述参考块生成所述当前块的预测块，其中

所述参考块是通过在所述参考图片内对与包括所述当前块的当前面相关联的第一面中包括的样本执行插值、填充或转换来生成的。