CN115243040A

CN115243040A - 视频编码/解码方法和记录介质

Info

Publication number: CN115243040A
Application number: CN202210691231.6A
Authority: CN
Inventors: 方健; 权佑原; 李光淳; 许南淏; 朴光勋; 尹晟在; 许瑛秀; 洪锡宗
Original assignee: Electronics and Telecommunications Research Institute ETRI; Kyung Hee University
Current assignee: Electronics and Telecommunications Research Institute ETRI; Kyung Hee University
Priority date: 2015-11-23
Filing date: 2016-11-23
Publication date: 2022-10-25
Also published as: EP3383039A1; JP2019502298A; US10701396B2; WO2017090988A1; EP3383039A4; CN108293110B; JP6937302B2; JP7561104B2; CN108293110A; US20180359487A1; JP2022008311A

Abstract

本公开涉及视频编码/解码方法和记录介质。视频编码方法包括：当存在具有与具有第一视图的第一图像不同的视图的第二图像时，通过使用包括第一图像的信息的第一元数据和包括第二图像的信息的第二元数据，基于第一图像和第二图像之间的视图差异来变换第二图像以具有第一视图；通过将第二图像添加到第一图像的一侧来生成参考图像；在参考图片列表中存储参考图像；通过使用生成的参考图像执行帧间预测来生成当前块的预测块；基于预测块生成当前块的重构块；以及对第一元数据和第二元数据进行编码。

Description

视频编码/解码方法和记录介质

本申请是申请日为2016年11月23日、申请号为201680068220.5、发明名称为“多视点视频编码/解码方法”的发明专利申请的分案申请。

技术领域

本公开一般涉及视频编码/解码方法，并且更具体地涉及用于预测多视图视频的方法。

背景技术

随着技术发展，高清(HD)/高质量广播服务已经变得流行。因此，提供比HD高四倍的分辨率的超高清(UHD)已引起越来越多的兴趣。

在这种情况下，除了传统的二维(2D)图像之外，更多的关注已经被吸引到诸如立体图像或全向视频的现实图像。虽然由于新媒体的发展，诸如头戴式显示器(HMD)等能够播放现实图像的设备已经商业化，但是现实媒体仍然以与2D图像相同的方式被编码/解码。因此，存在开发适合现实媒体的特性的压缩方案的需求，以便提高现实媒体的压缩效率。

发明内容

技术问题

本公开的目的是提供一种用于提高多视图视频的编码/解码效率的方法。

本公开的另一目的是提供用于将图像的不同视图统一为一个视图，并且使用通过组合具有统一视图的图像而获得的参考图像来执行编码/解码的方法和装置。

本公开的另一目的是提供用于在当前块和相邻块具有不同视图时通过变换相邻块的预测信息来提高当前块的预测效率的方法。

本领域技术人员将理解，可以通过本公开实现的目的不限于上文已经特别描述的内容，并且将从以下详细描述中更清楚地理解本公开可以实现的以上和其它目的。

技术方案

在根据本发明的一个方面中，视频编码方法包括，在存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图，通过将第二图像添加到第一图像侧来生成参考图像，以及在参考图片列表中存储参考图像。

在根据本发明的另一方面中，视频解码方法包括，在存在具有与具有第一视图的第一图像不同的视图的第二图像时，变换第二图像以具有第一视图，通过将第二图像添加到第一图像侧来生成参考图像，以及在参考图片列表中存储参考图像。

以下可以共同应用于视频编码方法和视频解码方法。

可以基于第一图像和第二图像之间的视图差异来生成变换的图像，并且视图差异可以包括第一图像和第二图像之间的距离差异和角度差异中的至少一个。

可以基于包括第一图像和第二图像的全向图像的特性来确定视图差异。

如果全向图像被投影成正多面体，则第一图像和第二图像之间的角度差异可以被确定为正多面体的内角。

基于用于捕获第一图像的第一照相机和用于捕获第二图像的第二照相机之间的距离和角度差异来计算视图差异。

根据包括第一图像和第二图像的正多面体的特性来确定添加第二图像的位置。

参考图像可以与对应于第一图像和第二图像的时间信息一起被存储在参考图片列表中。

本公开的以上简要概括的特征仅仅是本公开的详细描述的示例性方面，而非限制本公开的范围。

有益效果

根据本公开，可以提供用于提高多视图视频的编码/解码效率的方法。

具体地，根据本公开，可以提供用于将图像的不同视图统一为一个视图，并且使用通过组合具有统一视图的图像而获得的参考图像来执行编码/解码的方法和装置。

具体地，根据本公开，可以提供用于在当前块和相邻块具有不同视图时通过变换相邻块的预测信息来提高当前块的预测效率的方法。

本公开的附加的优点、目的和特征将部分地在下面的描述中阐述，并且对于本领域的普通技术人员而言在研究以下内容时本公开的附加的优点、目的和特征将部分地变得显而易见，或者可以从本公开的实践中学习到本公开的附加的优点、目的和特征。本公开的目的和其它优点可以通过在书写的说明书及其权利要求书以及附图中特别指出的结构来实现和获得。

附图说明

图1是示出用于生成三维(3D)多视图图像的示例性照相机类型的视图。

图2是描绘发散视频的视图。

图3是描绘会聚视频的视图。

图4是示出将3D多视图视频投影为表示多面体切开并放平的平面图形的示例的视图。

图5是描绘3D多视图视频所展开成的示例性二维(2D)平面形式的视图。

图6是描绘3D多视图视频的示例性3D形式的视图。

图7是描绘显示3D多视图视频的部分的示例的视图。

图8是描绘再现展开为正六面体的3D视频的示例的视图。

图9是描绘在视频编码期间译码(coding)树单元(CTU)到译码单元(CU)的示例性分割的视图。

图10是示出CU到预测单元(PU)的示例性分割的视图。

图11是描绘帧间预测方法的视图。

图12是描绘合并候选列表的示例性生成的视图。

图13是描绘正六面体3D视频的3D图像的特定视频帧的示例性真实再现的视图。

图14是描绘在每个表面边界处生成的示例性非线性失真的详细视图。

图15是描绘通过变换相邻区域的视图的参考图像的示例性生成的视图。

图16是描绘根据本发明的用于生成变换的扩展图像的过程的流程图。

图17和图18是描绘视图之间的特性的视图。

图19是描绘根据另一图像的视图的图像的示例性变换的视图。

图20和图21是描绘基于正六面体的特定表面的参考图像的示例性生成的视图。

图22是描绘用于发散图像的参考图像的示例性生成的视图。

图23是描绘通过将参考视图的图像与变换的图像组合的参考图像的示例性生成的视图。

图24是描绘在变换的图像中包含或不包含用于时间预测的必要区域的视图。

图25是描绘用于会聚图像的参考图像的示例性生成的视图。

图26是描绘通过将参考视图的图像与变换的图像组合的参考图像的示例性生成的视图。

图27是示出用于展开为正六面体的3D多视图视频的参考图像列表的示例性生成的视图。

图28是描绘用于发散图像的参考图像列表的示例性生成的视图。

图29是描绘用于会聚图像的参考图像列表的示例性生成的视图。

图30是比较根据本发明生成参考图像与不生成参考图像的视图。

图31是描绘取决于是否应用本发明的编码的视图。

图32是示出根据本发明的用于变换预测信息的方法的流程图。

图33是描绘透视(perspective)边界处的预测信息的示例性变换的视图。

图34是描绘用于基于相邻块的预测信息确定用于帧内预测的最可能模式(MPM)候选的过程的流程图。

图35、图36和图37是描绘取决于当前块是否位于透视边界处的MPM候选的示例性生成的视图。

图38是描绘用于基于相邻块的预测信息来确定用于在合并模式下的帧间预测的空间合并候选的过程的流程图。

图39是描绘具有不同视图的当前块和空间相邻块的示例的视图。

图40是描绘用于基于相邻块的预测信息来确定用于在合并模式下的帧间预测的时间合并候选的过程的流程图。

图41是描绘具有不同视图的当前块和时间相邻块的示例的视图。

图42是根据本发明的编码器的框图。

图43是根据本发明的解码器的框图。

图44是根据本发明的参考图像扩展器的框图。

具体实施方式

可以对本发明进行各种修改，并且本发明可以在各种实施例中实施。将参考附图描述本发明的特定实施例。然而，本发明的范围不意图限于特定实施例，并且要理解，本发明覆盖落入本发明的范围和精神内的全部修改、等同物、和/或替换。关于附图的描述，相同的附图标记表示相同的组件。为了描述的清楚，组件的形状和尺寸可以在附图中被夸大地示出。参考示出作为示例的特定实施例的附图来给出示例性实施例的以下详细描述。足够详细地描述这些实施例以允许本领域技术人员实践这些实施例。要理解，虽然各种实施例是不同的，但它们不需要彼此排斥。例如，在不脱离本发明的范围和精神的情况下，一个实施例中的特定形状、结构和特征可以被实现为另一实施例。此外，要理解，可以在实施例的范围和精神内改变每个公开的实施例中的各个组件的位置或布置。因此，以下描述在本质上被认为是例示性的而非限制性的，并且如果示例性实施例的范围被适当地描述，则由所附权利要求书连同权利要求书要求保护的所有等同物来限制示例性实施例的范围。

在本发明中使用的术语第一或第二可以用于描述各种组件，而不是限制组件。这些表达被用来将一个组件与另一组件区分开。例如，在不脱离本公开的范围的情况下，第一组件可以被称为第二组件，反之亦然。术语，和/或包括多个相关项目的组合或多个相关项目中的任何一个。

当说到组件与另一个组件“耦接”/“耦接到”或“连接到”另一个组件时，应该理解的是，一个组件直接或通过其间的任何其它组件耦接或连接到其它组件。另一方面，当说到组件与另一个组件“直接耦接”/“直接耦接到”或“直接连接到”另一个组件时，应该理解的是，一个组件直接耦接或连接到另一个组件，而没有任何其他组件在其间。

尽管在本发明的实施例中组件被示为独立以表示不同的特性功能，但这并不暗示组件被配置为单独的硬件或软件单元。换句话说，尽管为了描述的方便将每个组件描述和例示为独立的，但是为了功能运行，可以将两个或更多个组件并入到单个组件中，或者可以将一个组件分离成多个组件。只要不背离本发明的精神，将组件并入到一个组件中的实施例和将组件分离成多个组件的实施例落入本发明的范围内。

提供本公开中使用的术语以仅描述特定实施例，而不意图限制其他实施例的范围。要理解，单数形式包括复数的指示物，除非上下文清楚地另外规定。在本公开中，术语“包括”或“具有/有”表示存在如本公开所述的特征、数量、步骤、操作、组件、部件或它们两种或更多种的组合，不排除存在一个或多个其他特征、数量、步骤、操作、组件、部件或它们两种或更多种的组合。也就是说，在本发明中，术语“具有”、“可以具有”、“包括”或“可以包括”表示存在特定组件，不排除存在相应结构以外的结构。

在本发明中运行关键功能时，一些组件可能不是强制性的，但是为了提高性能是可选的。本发明可以仅用实现本发明的主题所必需的组件来实施，不包括用于提高性能的组件。该结构也落入本发明的范围内。

在本发明中使用的术语，视图涉及照相机的方向和透视，因此涵盖视点和透视。为了便于描述，在以下实施例中将在透视的上下文中描述三维(3D)多视图图像。

本发明的实施例将参考附图被详细描述。为了避免混淆本发明的主题，将省略已知配置或功能的详细描述。相同的附图标记在附图中表示相同的组件，并且避免了对相同组件的冗余描述。

与以固定视图再现的传统二维(2D)视频相比，可以从用户期望的视图再现全向视频(或360度视频)。在图1中示出的各种类型的照相机可用于全向视频的生成。可以使用图1的(a)中所示的多个照相机、如图1的(b)所示的鱼眼镜头、如图1的(c)所示的镜子在一个点处捕获3D空间(例如，360度方向)，并且捕获的3D图像可以投影到诸如多面体或球体的3D图形中。

除了全向视频之外，现实视频还包括通过使用多个照相机捕获各个方向的图像而产生的发散视频，以及会聚视频。发散视频是通过使用多个照相机在各个方向上捕获图像来生成的，而会聚视频是通过使用多个照相机在特定方向上捕获图像来生成的。

图2和图3是描绘发散视频和会聚视频的视图。发散图像是指通过多个照相机在发散方向上捕获的图像。例如，在图2的(a)中，照相机C1、C2和C3的方向W1、W2和W3是发散的。

会聚图像是指用多个照相机的方向会聚到一点的捕获的图像。例如，在图3的(c)中，照相机C1、C2、C3和C4的方向W1、W2、W3和W4会聚到一点。

全向3D视频或用会聚或分散布置的照相机捕获的3D多视图视频可以展开成多面体的平面形式或球体展开成的等矩形(equirectangular)形式。

例如，图4的(a)和(b)示出了球形3D多视图图像展开成的正六面体的示例性平面形式。参考图4的(a)和(b)所示，可以从全向3D图像获得正六面体的平面形式的2D图像。

除了图4的示例之外，3D多视图图像可以展开为各种多面体的平面形式。例如，图5是描绘3D多视图图像的示例性2D平面形式的视图。如图5所示，可以将3D多视图图像投影成各种3D图形，诸如正四面体、正六面体、正八面体、正十二面体或正二十面体的平面形式。

当再现视频时，可以将2D平面图像重构为3D空间中的多面体、球体等。例如，可以将3D视频重构为正四面体、正六面体、正八面体、正十二面体或正二十面体，如图6所示。

假设用户的注视朝向多面体的中心，则用户不能观看重构为多面体的3D图像的全部区域。因此，当再现3D多视图视频时，仅显示用户在特定时间观看的特定点或者仅显示全部3D区域当中的与用户选择的特定点相对应的区域。

图7是描绘3D多视图图像的示例性部分显示的视图。图7的(a)和(b)是描绘从外部看到的观看3D多视图图像的用户的虚拟表示的视图，以及图7的(c)是描绘关于观看3D多视图图像的用户的全向图像的概念视图。

当3D多视图视频被再现时，可以再现用户的眼睛所朝向的部分或重构的3D图像的全部区域中的用户选择的部分。例如，图7的(a)和(b)中的阴影区域是重构的3D图像中用户选择的部分或用户的眼睛所朝向的部分。在这种情况下，可以输出与用户的眼睛所朝向的部分或用户选择的部分相对应的区域。例如，从用户的视点来看，可以仅显示全部区域的部分，如图7的(c)所示。

3D多视图图像可以具有多个视图。多个视图意味着多视图图像具有多个视点或多个透视，这将在下面更详细地描述。

图8是描绘再现展开为正六面体的3D视频的示例的视图。观看3D视频的用户的眼睛朝向正六面体的中心，并且正六面体的每个表面是用户的眼睛观看的透视。例如，在图8的示例中，如果正六面体的前表面是透视4并且透视4上方的透视是透视1，透视2可以对应于正六面体的后表面，透视3可以对应于正六面体的左表面，透视5可以对应于正六面体的右表面，并且透视6可以对应于正六面体的底表面。因此，如图8所示，3D视频中的正六面体的每个表面可以具有不同的视图。

在发散视频的情况下，由于每个照相机采用不同的捕获方向，因此图像之间可能会出现透视差异。例如，在图2的(b)的示例中，三个照相机C1、C2和C3朝向不同的方向，由此产生具有不同视图的三个图像P1、P2和P3。

在会聚图像的情况下，每个照相机捕获的图像也可以具有不同的透视。例如，在图3的(a)的示例中，四个照相机C1、C2、C3和C4朝向不同的方向，由此产生具有不同视图的四个图像P1、P2、P3和P4。

为了便于描述，假设‘图像’是指具有多视图视频中的任意视图的任意帧或部分区域的情况下，描述以下实施例。例如，如果将3D多视图视频的任意帧展开为如图8所示的正六面体，帧可以被称为“图像”，或者具有帧中的任意视图的部分区域(即，正六面体的表面)可以被称为“图像”。

如先前所述，3D多视图视频可以被投影到2D空间上，然后被编码/解码。因此，3D多视图视频可以以与2D视频相同的方式被编码/解码。例如，用于2D视频编码/解码的基于块分割、帧内预测(或空间预测)和帧间预测(或时间预测)的编码/解码方法仍然可以用于3D多视图视频编码/解码。现在，将给出用于3D多视图视频编码/解码中的编码/解码方案的简要描述。

在高效视频编码(HEVC)中，图像在译码单元(CU)的基础上被编码/解码，以进行高效的视频译码。图9是描绘将译码树单元(CTU)分割成CU的示例性分割的视图。CTU也被称为最大译码单元(LCU)或概念上等同于LCU。

如图9所示，在将图像顺序划分成CTU之后，针对每个单独的CTU确定分割结构。分割结构是指CU的分布，用于CTU中图像的高效编码/解码。CU分布可以取决于CTU是否被切割成多个CU来确定，该多个CU中的每个CU具有小于CTU的宽度和/或长度的宽度和/或长度。例如，CU分布可以是将CTU分割成四个或两个CU的分割。

CU可以以相同的方式被递归切割成多个CU，该多个CU中的每个CU具有小于CU的宽度和/或长度的宽度和/或长度。这里，CU可以被切割为预定深度，并且深度信息可以代表CU的尺寸并且针对每个CU存储。例如，作为基本分割目标的CTU具有深度0，并且最小译码单元(SCU)是具有最大深度的CU。也就是说，具有预定深度的CU可以被称为SCU。每次CTU被切割成四个或两个CU时，深度可以增加1。

假设CU被切割为四个CU，如果尺寸2Nx2N的CU未被切割，则CU可以保持在2Nx2N的尺寸。另一方面，如果2Nx2N CU被切割，则可能导致每个尺寸为NxN的四个CU。以这种方式，每次CU的分割深度增加1时，N的尺寸减小到一半。

例如，如果具有最小深度为0的CTU具有64x64像素，则64x64像素CU可以由深度‘0’表示，具有32x32像素的CU可以由深度‘1’表示，具有16x16像素的CU可以由深度‘2’表示，并且具有8x8像素的CU可以由深度‘3’表示。如果最大深度是3，则SCU的尺寸可以是8x8像素。

每-CU切割信息可以指示特定的CU是否被切割。对于除了SCU之外的每个CU，切割信息可以被编码/用信号通知。

切割信息可以包括至少一个标志。该标志指示CU是否被切割成四个或两个CU。例如，如果该标志被设置为‘0’，这意味着CU不被进一步切割，并且如果该标志被设置为‘1’，这意味着CU被切割成多个CU。

CU是编码/解码单元，并且可以在CU的基础上设置编码模式。例如，每个CU可以具有帧内模式(MODE_INTRA或INTRA)或帧间模式(MODE_INTER或INTER)。帧间模式可以包括MODE_INTER模式和MODE_SKIP(SKIP)模式。

预测单元(PU)是针对其执行预测的单元。一个CU可以被划分成至少一个PU。例如，图10是描绘将CU划分为PU的示例的视图。如果CU的编码模式是帧内模式，则包括在CU中的所有PU可以以帧内模式被编码。如果CU的编码模式是帧内模式，则其PU分割结构可以被设置为图10所示的示例当中的2Nx2N或NxN。

如果CU的编码模式是帧间模式，则包括在CU中的所有PU可以以帧间模式被编码。如果CU的编码模式是帧间模式，则其PU分割结构可以被设置为图10所示的示例当中的2Nx2N、2NxN、Nx2N、NxN、2NxnU、2NxnD、nLx2N和nRx2N中的一个。

帧间预测(或时间预测)是基于具有小时间差异的图像高度相关的属性来从参考图像预测当前图像的方案。

图11是描绘帧间预测方法的视图。

图11的(a)示出了用于预测当前帧的参考帧，并且图11的(b)示出了包括要被编码/解码的块的当前帧。如果包括在参考帧中的块‘A’在预测包括在当前帧中的要被编码/解码的块‘B’时可用，则不必编码当前帧中块B的所有图像信息。因此，使用时间预测可以大大减少每个图像块要编码的信息量，从而提高视频压缩效率。

如果通过帧间预测(即，以帧间模式)来编码PU，则合并模式可以被用于编码/解码运动信息。运动信息可以包括运动矢量、参考图像的索引和预测方向(例如，单向或双向)中的至少一个。取决于是否使用参考图片列表RefPicList，可将预测方向设置为单向预测或多向预测(例如，双向或三向预测)。

例如，如果存在两个参考图片列表(列表0和列表1)，则单向预测可以被分类为使用前向参考图片列表L0的前向预测(Pred_L0或Prediction L0)和使用反向参考图片列表L1的反向预测(Pred_L1或Prediction L1)。双向预测(Pred_BI或Prediction BI)可以使用前向参考图片列表List 0和反向参考图片列表List 1两者。因此，双向预测可以暗示存在前向预测和反向预测两者的情况。

在另一示例中，双向预测可以包括通过将前向参考图片列表L0复制到反向参考图片列表L1或者将反向参考图片列表L1复制到前向参考图片列表L0来执行的两个前向预测。

这样的预测方向可以由指示预测方向的标志信息(例如，predFlagL0和predFlagL1)来指示。predFlagL0可以指示是否执行基于前向参考图片列表L0的前向预测，并且predFlagL1可以指示是否执行基于反向参考图片列表L1的反向预测。例如，对于作为单向预测的前向预测，predFlagL0可以被设置为‘1’，并且predFlagL1可以被设置为‘0’。对于作为单向预测的反向预测，predFlagL0可以被设置为‘0’，并且predFlagL1可以被设置为‘1’。对于双向预测，predFlagL0可以被设置为‘1’，predFlagL1可以被设置为‘1’。

在合并模式下，可以执行CU方式(CU-wise)或PU方式(PU-wise)合并。当在预定的块单元基础上，例如在CU基础或PU基础上发生合并时，可以编码/用信号通知指示是否基于块划分执行合并的信息以及指示要合并的相邻块的信息。相邻块可以与当前块(例如，要被编码/解码的CU或PU)在空间或时间上相邻。

在空间上与当前块相邻的块可以是与相同图片中的当前块的边界毗邻的块。当前块的空间相邻块可以是左块、上块、右上块、左上块或右下块。

在具有与当前块的时间顺序不同的时间顺序的图片中，与当前块时间相邻的块可以是与当前块处于相同位置的块(并置块)。

合并候选列表是存储运动信息的列表。合并候选列表可以在执行合并之前基于与当前块毗邻的相邻块的运动信息来生成。此外，合并候选列表可以包括通过组合合并候选列表中列出的运动信息而生成的新运动信息。

图12是描绘合并候选列表的示例性生成的视图。合并候选列表可以基于在与当前块的图片不同的图片中的与当前块毗邻的相邻块(例如，图12中的A、B、C、D和E)以及当前块的并置块(例如，图12中的M和H)中的至少一个来生成。

例如，对于当前块的相邻块，确定是否可以在当前块的合并中使用关于相邻块的使用信息。如果可以使用相邻块，则相邻块的运动信息可以被包括在合并候选列表中。当前块(图12中的X)的合并候选列表可以以预定顺序被包括在合并候选列表中。作为示例，虽然顺序被示为A→B→C→D→E→H(或M)，但是该顺序不应该被解释为限制性的。

当以预定顺序生成合并候选列表时，如果相邻块的运动信息与另一相邻块的运动信息相同，则相应相邻块的运动信息不包括在合并候选列表中。

在图12中，例如，如果相邻块A被包括在合并候选列表中，则仅当相邻块B具有与相邻块A的运动信息不同的运动信息时，相邻块B才可以被包括在合并候选列表中。类似地，只有当相邻块C具有与相邻块B的运动信息不同的运动信息时，相邻块C才可以被包括在合并候选列表中。相同的原理适用于相邻块D和E。在此，相同的运动信息意味着运动矢量、参考图片和预测方向(例如，单向(前向或反向)或双向)是相同的。

然而，对于3D多视图视频，由于透视差异，透视边界处的帧间预测或帧内预测的压缩效率降低，这将在下文中详细描述。

图13是描绘正六面体的3D视频的特定帧的示例性真实再现的视图。图13的(a)示出投影成正六面体的平面形式的特定帧，并且图13的(b)示出了特定帧的示例性再现。

定义六个表面的边界是图13的(a)和(b)中的透视的边界。如图13的(b)所示，如果再现3D图像，则图像在透视边界处平滑。然而，如果3D图像被投影成2D图像，可以在图13的(a)中观察到，失真(例如，陡峭的线倾斜)发生在透视边界。

图14是描绘在每个表面的边界处的非线性失真的示例性发生的详细视图。在图14中，正六面体的3D视频由六个表面P1至P6组成。每个表面都有不同的透视。

根据每个表面的透视，捕获的图像中的对象的形状被不同地表示。因此，如果连续地在具有不同透视的两个表面之间的边界处表示特定对象，则该对象可能出现非线性运动。例如，图14的(b)示出了表面P3与表面P4之间以及表面P4与表面P1之间的非线性运动的发生。

如图13和图14的示例所示，由于在透视边界处出现非线性失真，所以可以预期块的预测信息之间的相关性将大大降低。因此，预期透视边界处的块的预测信息之间的相关性显著降低。预测信息包括用于帧间预测的运动信息(例如，运动矢量、参考图片索引或预测方向)或用于帧内预测(例如，帧内预测模式)的预测方向。

结果，如果使用包括在具有与特定透视不同的透视的区域中的块对包括在具有特定透视的区域中的块执行时间预测，则可以预期与使用包括在具有特定视图的区域中的块相比，编码/解码效率将显著降低。

如上所述，如果使用时间参考图像来预测当前图像是不适当的，则可以使用帧内块译码或帧内预测(或空间预测)。然而，使用空间预测而不是时间预测会降低压缩效率。

即使使用帧内预测，导致的与相邻块的低相关性也使得难以从相邻块推导出帧内预测模式。

在这种情况下，为了克服由与边界毗邻的边缘块的降低的预测效率引起的问题，本发明提出了一种用于线性地校正在具有不同透视的块之间的边界处产生的非线性运动的方法以及用于转换具有不同视图的相邻块的预测信息的方法。例如，图14的(c)示出了线性地校正表面P1和P4之间的边界处的非线性失真以及表面P3和P4之间的边界处的非线性失真的示例。

如图14的(c)的示例所示，下面将描述用于线性地改变在透视边界处产生的非线性失真的方法。

图15是示出通过转换相邻区域的透视的参考图像的示例性生成的视图。

如果在位置上存在连续的透视，则时间预测的效率可以在边界处降低，在该边界处，一个透视在图像中被改变为另一个透视。这是因为用于预测的参考图像内的参考区域不包括关于相邻区域的信息。即使参考区域包括关于相邻区域的信息，参考区域的透视也不同于当前的透视，并且因此参考区域不适合作为参考图像。

例如，在图15的示例中，如果不包括关于相邻区域的信息的区域(即，P1)被用于重构当前图像的部分区域C1，则难以完美地重构当前图像C1。即使在重构当前图像时使用包括相邻区域的信息的区域(即，P1+P2＝O)，当前图像具有与新扩展的P2区域的透视不同的透视，因此难以完美重构当前图像C1。

因此，在变换具有与参考区域的透视不同的透视的相邻区域之后，生成参考图像，该参考图像包括通过组合参考区域与变换的相邻区域而获得的扩展区域。因此，在时间预测期间可以提高译码效率。

具体地，如图15的(a)的示例所示，由于参考区域和相邻区域之间的边界表面上的透视变化，图像可能失真。但是，如图15的(b)的示例所示，如果相邻区域被变换以与参考区域的透视匹配，则边界表面上的失真被减小。因此，如图15的(b)所示，在通过变换具有与参考区域P1的透视不同的透视的相邻区域来生成图像TR之后，通过组合参考区域P1和变换的相邻区域TR来获取变换的扩展图像R(P1+TR＝R)。然后，使用变换的扩展图像R预测当前图像C1，从而增加预测精度。

为了获取变换的扩展图像，可以大体上执行以下步骤。

步骤1：计算图像之间的方向和距离关系。

步骤2：基于图像之间的关系式为每个透视生成变换的图像。

步骤3：根据现有参考图像的视点将变换的图像扩展到参考图像。

步骤4：将变换的扩展图像插入到参考图片列表中。

步骤1是用于基于图像的特性(例如，正六面体图像的固有性质)或除图像数据之外的附加数据(例如，在发散图像的情况下，每个图像的视角、透视之间的角度差异和距离差异等)来计算图像之间的方向和距离关系的步骤。图像之间的方向和距离关系由图15的(a)中的θ和d表示。

步骤2是用于基于在步骤1中计算出的图像的方向和距离之间的差异来生成相邻图像的变换版本的步骤。在步骤2中，作为参考图像的扩展区域的相邻图像可以以与参考图像的透视匹配的方式被修改。以与参考图像的透视匹配的方式修改相邻图像意味着变换相邻图像，使得相邻图像可以驻留在具有与参考图像的透视相同的透视的空间中。

步骤3是用于基于变换的图像和参考图像生成变换的扩展图像的步骤。具体地，可以通过组合变换的图像与参考图像来生成变换的扩展图像，使得变换的图像可以与参考图像连续。

步骤4是用于将生成的变换的扩展图像存储在参考图片列表中的步骤。由于变换的扩展图像被存储在参考图片列表中，因此其可以用于要被编码/解码的图像的时间预测。

由于通过以上述方式将变换的图像与参考图像进行组合来生成适合于时间预测的图像，所以可以增加全向视频的编码/解码效率。将参考图16的流程图更详细地描述上述步骤。

参考图16，可以确定具有不同透视的图像是否在空间上连续(S1610)。该确定可以基于添加到图像的数据(例如，元数据)或多视图图像(例如，具有固定数量的透视的多面体的平面形式)的特性来进行。例如，如果图像被投影成多面体的平面形式，则可以确定具有不同视图的图像在空间上是连续的。

如果具有不同透视的图像在空间上连续，则可以获取图像之间的透视差异(S1620)。透视差异可以包括角度差异和位置差异中的至少一个。角度是指3D表示或其子集的欧拉角，而位置是指3D空间或其子集中位置的坐标。

在投影到多面体中的3D多视图图像的情况下，具有不同视图的图像之间的角度差异可以是固定值。此外，在投影到多面体中的3D多视图图像的情况下，具有不同透视的图像在它们的边界处是连续的，并且因此位置差异(或距离差异)可以被设置为0。

图17和图18是描绘透视之间的特性的示例性视图。透视之间的特性可以基于具有不同视图的图像之间的透视差异来获取。透视差异可以包括具有不同视图的图像之间的角度差异和位置差异中的至少一个。角度是指3D表示或其子集的欧拉角，而位置是指3D空间或其子集中位置的坐标。

在如图17的(a)所示的将3D多视图图像展开为多面体的情况下，不同的透视可能意味着具有不同透视的表面之间的角度差异和位置差异。在投影到多面体中的图像中，具有不同透视的表面之间的角度差异可以是固定值。例如，如果3D多视图图像被投影到正六面体，则具有不同透视的两个表面P1和P2之间的角度差被固定为90度，如图17的(a)所示。如果3D多视图图像被投影到正十二面体，则两个图像P3和P4之间的角度差被固定为138.11度，如图17的(b)所示。

如图17的(a)和(b)的示例中所示，具有不同透视的两个表面在空间上连续。因此，两个图像之间的距离差可以被设置为0。

如果3D多视图图像是球体所展开成的平面形式或未投影到任何多面体的平面形式，则角度差异和距离差异是指基于照相机的位置和视角获取的图像之间的角度差异和位置差异、照相机之间的角度差异等等。例如，如果3D多视图图像被整形为如图17的(c)所示的球体，或者如果如图18所示3D多视图图像没有被展开成任何多面体的平面形式，可以基于相机的位置、相机之间的位置差异d1、相机的角度θ1和θ2以及角度之间的角度差异θ3来获取图像之间的位置差异d2和角度差异θ4。

如上所述，如果3D多视图视频被整形为球体或非多面体，或者如果在图像布置中没有恒定的规则，则可以基于相机的位置和视角、相机之间的角度等等来计算具有不同透视的图像之间的透视差异。

如果计算具有不同透视的图像之间的透视差异，则可以基于所计算的透视差异将具有不同透视的图像变换为具有相同透视(S1630)。例如，对于具有不同透视的两个图像，两个图像中的一个可以被变换以与另一个图像的透视匹配。

图19是描绘以与另一图像的透视匹配的方式的图像的示例性变换的视图。

图19的(a)示出3D多视图视频展开为正六面体的平面形式的的示例，并且图19的(b)示出了从正六面体的顶部(例如P1)或底部(例如P6)观看的正六面体的示例性平面形式。

假设3D多视图图像被展开为正六面体的2D平面形式，如图19的(a)所示，如果使用包括在参考图像的表面P4中的参考区域来预测包括在当前图像的表面P4中的块，则不存在透视差异。相反，如果通过参考图像的表面P3中包括的参考区域预测包括在当前图像的表面P4中的块，则由于表面P4和P3之间的透视差异，预测效率可能降低。因此，在基于表面P3中包括的参考区域预测包括在表面P4中的块的情况下，需要通过变换表面P3中的参考图像以与表面P4的透视匹配来生成参考图像，并存储生成的参考图像。

为此，如图19的(b)的示例所示，可以通过将表面P3上的位置x投影到具有与表面P4的透视相同的透视的位置y来变换表面P3。通过[等式1]可以简化表面P3和表面P4之间的透视差异。

[等式1]

[等式1]中，a表示正六面体的一边的长度。

如果使用通过变换表面P3以与表面P4的透视匹配而获得的参考图像，则参考图像的表面P3具有与表面P4的透视相同的透视。因此，可以避免使用参考图像的表面P3预测当前图像的表面P4所导致的效率降低。

如果存在具有不同透视的另一空间相邻图像，则可以基于以上原理另外地变换该相邻图像(S1640)。

当基于特定图像的透视变换相邻图像时，可以通过将特定图像与至少一个变换的相邻图像组合来生成参考图像(S1650)。

例如，如果将3D多视图图像投影到正六面体的平面形式，则可以通过变换与正六面体的特定表面毗邻的多个相邻表面以与特定表面的透视匹配，并将特定表面与变换的相邻表面结合来生成参考图像。

例如，图20和图21是描绘基于正六面体的特定表面的参考图像的示例性生成的视图。参考图20的(a)，当从表面P4看时，表面P4与表面P1、P3、P5和P6相邻。因此，可以通过变换表面P1、P3、P5和P6以与表面P4的透视匹配来生成图像T1、T3、T5和T6，并且可以通过将表面P4和变换后的图像T1、T3、T5和T6组合来生成参考图像。

尽管可以将与表面P4毗邻的相邻表面的整个区域设置为变换目标，但是可以仅将相邻表面的部分区域(例如，搜索范围)设置为变换目标。

图20的(b)是描绘在相邻表面的整个区域是变换目标的情况下生成参考图像的示例的视图，并且图20的(c)是描绘在相邻表面的部分区域是变换目标的情况下生成参考图像的示例的视图。

基于具有用作参考透视的透视的图像来确定完全或部分变换的图像的位置。在投影到多面体的图像的情况下，变换的图像的位置根据多面体的特性来确定。变换的图像可以根据变换的图像的位置来与具有参考透视的图像组合。

例如，在图21的(a)和(b)的示例中，图像T1、T3、T5和T6的位置是相对于具有参考透视的图像P4确定的。也就是说，变换的图像T1、T3、T5和T6在根据图像P4的透视投影的位置处与图像P4组合。

图21的(c)和(d)是描绘通过将图像P4与变换的图像T1、T3、T5和T6组合产生的示例性参考图像R4的视图。图21的(c)是根据图像P4的透视投影相邻图像的整个可变换区域的情况的示例视图，并且图21的(d)是根据图像P4的透视投影相邻图像的部分区域的情况的示例视图。

在3D多视图图像是发散图像的情况下，下面将描述用于生成参考图像的方法。

如同对投影到多面体的3D多视图图像所做的那样，也可以基于具有不同透视的图像之间的角度差异和位置差异来变换发散图像。然而，与投影到多面体的3D多视图图像相比，没有用于在发散图像中布置具有不同透视的图像的预定义规则，这使得难以只是利用图像特性确定具有不同透视的图像之间的透视差异(即，角度差异和距离差异)。因此，发散图像的透视差异可以被编码在添加到图像的附加数据(例如，元数据)中/在添加到图像的附加数据(例如，元数据)中用信号通知。一旦从附加数据获取具有不同透视的图像之间的透视差异，则可以以上述方式在图像之间进行变换，并且可以使用变换结果来生成参考图像。

例如，图22是描绘用于发散图像的参考图像的示例性生成的视图。图22的(a)示出了具有与图像P1的透视不同的透视的图像P2的存在。如果基于图像P1生成参考图像，则可以变换图像P2的整个或部分区域以匹配图像P1的透视，并且可以通过将变换的图像与图像P1组合来生成参考图像。图22的(b)示出了通过将图像P1和通过变换图像P2的整个区域获得的图像T2组合来生成参考图像的示例，并且图22的(c)示出了通过将图像P1与通过变换图像P2的部分区域(例如，搜索范围)获得的图像T2组合来生成参考图像的示例。

对于发散图像，可以相对于具有参考透视的图像来确定变换的图像的位置。这里，变换的图像的位置可以基于关于每个图像的位置信息来确定。如果确定了变换的图像的位置，则可以通过将具有参考透视的图像与变换的图像组合来生成参考图像。

例如，图23是示出通过将具有参考透视的图像与变换的图像组合的参考图像的示例性生成的视图。在图23的示例中，通过变换图像P2生成的图像T2位于作为发散参考的图像P1的右侧。因此，可以通过在图像P1的右侧生成变换的图像T2的至少一部分来生成参考图像R1。

现在将给出在3D多视图图像是会聚图像的情况下用于生成参考图像的方法的描述。

与投影到多面体的图像或发散图像相比，会聚图像的特征在于每个图像具有在特定方向上的透视。因此，发散图像的一帧可以包括与特定图像在空间上连续并沿与特定图像相同的方向延伸的多个图像。因此，当生成用于会聚图像的参考图像时，可能在与特定图像相同的位置处存在多个可变换的相邻图像。结果，可以基于特定图像和通过变换在与特定图像相同的位置处的多个相邻图像中的至少一个相邻图像而获得的图像来生成用于会聚图像的参考图像。

如果在具有不同透视的图像之间不存在很大的空间位置差异，如同会聚图像的情况那样，则可以在以下方面考虑通过变换特定图像的相邻图像而生成的图像。

在一个方面中，基于特定图像的透视变换的相邻图像包括不与特定图像重叠的足够的区域。换句话说，添加到特定区域的扩展区域(即，与特定图像不重叠的变换的相邻图像的一部分)包括必要信息(例如，时间预测所需的区域)。在这种情况下，可以以与用于投影到多面体的图像或发散图像的参考图像相同的方式来生成参考图像。

在另一个方面中，基于特定图像的透视变换的相邻图像的大部分与特定图像重叠。换句话说，添加到特定区域的扩展区域不包括足够的必要信息(例如，时间预测所需的区域)。如果添加到特定区域的扩展区域不包括足够的附加信息，则很难将参考图像用于时间预测。

下面将参考图24详细描述每个方面。

为了便于描述，如图24的(a)所示，假设会聚图像包括多个图像P1、P2、P3、...、PN。图24的(b)示出了变换与图像P1相邻的图像P2以与图像P1的透视匹配的示例。如图24的(b)所示，可以通过变换与图像P1相邻的至少一个图像以与图像P1的透视匹配来生成用于图像P1的参考图像。根据相邻图像与图像P1重叠多少，变换的相邻图像可以包括或不包括完整的必要区域。例如，在图24的(c)中，通过变换图像P2获得的图像T2包括小于必要区域(例如，搜索范围)的区域，而通过变换图像P3获得的图像T3包括必要区域(例如，搜索范围)。

如果变换的图像不包括最小必要区域，如图24的(c)所示的图像T2那样，利用基于图像T2生成的参考图像执行时间预测可能是困难的。在这种情况下，可以通过用变换的相邻区域的像素值填充不足以用于时间预测的区域来扩展参考图像。也就是说，在用于时间预测必要的区域中不能从相邻图像的变换版本获取的区域可以用变换的相邻区域的边缘样本填充。

图25是描绘用于会聚图像的参考图像的示例性生成的视图。如前面利用图24的(c)中所示的变换的图像T2所描述的，如果除了图像P2和图像P1之间的重叠部分之外的图像P2的剩余区域不够宽，则通过变换图像P2获得的图像T2可能不包括用于时间预测的必要区域。在这种情况下，如图25的(a)和(b)所示，用于时间预测的必要区域可以利用图像T2的边缘样本填充。

图25的(a)示出了当图像P2被变换为向右扩展时在其余区域中填充右边缘样本的示例，并且图25的(b)示出了当图像P2被变换为向上扩展时在其余区域中填充上边缘样本的示例。

虽然通过示例已经在会聚图像的环境下描述了图25，如果变换的图像不包括全向图像或发散图像中用于预测的足够的必要区域，则可以使用变换的图像的边缘样本来扩展参考图像。

对于会聚图像，可以基于具有参考透视的图像来确定变换的图像的位置。这里，变换的图像的位置可以基于关于每个图像的位置信息来确定。由于可以在会聚图像中获取在相同方向上扩展的多个变换的图像，所以可以通过将具有参考透视的图像与每个变换的图像组合来生成至少一个参考图像。

例如，图26是描绘通过将具有参考透视的图像与变换的图像组合的参考图像的示例性生成的视图。在图26的示例中，参考图像R1可以通过将图像P1与通过变换图像P2生成的图像T2组合来生成，参考图像R2可以通过将图像P1与通过变换图像P3生成的图像T3来生成。以相同的方式，可以基于图像P1为N个变换的图像生成(N-1)个变换的图像。

一旦生成了参考图像，参考图像可以被存储在参考图片列表中(S1660)。另一方面，如果在步骤S1610中不存在具有不同透视的其他空间连续图像，则可以将当前图像作为参考图像存储在参考图片列表中(S1660)。

如果所生成的参考图像被存储在参考图片列表中，则参考图像可以相对于同一时间被分组和存储。

图27是示出用于展开为正六面体的3D多视图图像的参考图片列表的示例性生成的视图。

如果3D多视图图像展开为正六面体，则可以针对具有特定透视的图像在特定时间生成一个参考图像。由于总共六个图像(即，正六面体的每个表面)在特定时间可用作具有参考透视的图像，所以在特定时间可以生成多达六个参考图像。在这种情况下，六个参考图像可以对于特定时间被分组并存储。

例如，对于时间t0处的全向图像，可以生成总共六个参考图像(基于P1的透视的参考图像R1、基于P2的透视的参考图像R2、...、基于P6的透视的参考图像R6)。对于时间t0生成的参考图像可以被分组为一个组并被存储。类似地，时间t1、t2、...、tN的参考图片列表可以按时间基础被分组并存储在列表中。

在发散图像的情况下，可以基于在特定时间具有特定透视的图像生成一个参考图像。具有参考透视的图像的数量由捕获发散图像的照相机的数量确定，并且因此对于特定时间可以生成与相机数量一样多的参考图像。像展开成多面体的全向图像一样，多个参考图像可以按时间基础被分组并存储。

例如，假设总共三个参考图像(基于P1的透视生成的参考图像R1、基于P2的透视生成的参考图像R2和基于P3的透视生成的参考图像R3)是在时间t0处针对发散图像而生成的，则针对时间t0生成的三个参考图像可以被分组为一组并且被存储。以相同的方式，时间t1、t2、...、tN的参考图片列表可以按时间基础被分组并存储在列表中。

图29是描绘用于会聚图像的参考图片列表的示例性生成的视图。

在会聚图像的情况下，可以基于在特定时间具有特定透视的图像生成至少一个参考图像。例如，如果图像P1是具有参考透视的图像，则可以基于图像P1和图像P2生成第一参考图像R1，并且可以基于图像P1和图像P3生成第二参考图像。像全向图像一样，会聚图像在特定时间处的多个参考图像可以被分组到相同的组中并被存储。

例如，对于时间t0处的会聚图像，可以存在基于P1的透视生成N个参考图像、基于P2的透视生成的N个参考图像、...、基于PN的透视生成的N个参考图像。在这种情况下，对于时间t0生成的多个参考图像可以被分组为一个组并被存储。以相同的方式，t1、t2、...、tN的参考图片列表可以根据特定时间被分组并存储在列表中。

图27、图28和图29是描绘按时间基础分组并存储多个参考图像的示例的视图。与图27、图28和图29不同，可以根据具有参考透视的图像将多个参考图像分组并存储。

为了选择参考图像，可以对用于参考图像选择的信息进行编码/用信号通知。用于参考图像选择的信息可以包括关于包括参考图像的时间的信息和标识对于该时间的多个参考图像中的至少一个的标识信息中的至少一个。

参考图27所示，例如，如果用于参考图像选择的信息指示基于时间t0的P1的透视而生成的参考图像，则时间t0的参考图像可以用于时间预测。

在另一示例中，可以基于要被编码/解码的当前区域的位置来确定要选择特定时间的多个参考图像中的哪一个。例如，如果要编码/解码的当前区域被包括在正六面体的表面P6上，则编码器和解码器可以使用基于P6的透视生成的参考图像用于时间预测。

如上所述，如果空间相邻图像具有不同的透视，则根据透视，投影对象的形状可能在图像之间的边界处失真。通过基于用于参考的图像(或区域)的透视来变换相邻图像(或区域)，可以增加由图像之间的边界处的失真而降低的编码/解码效率。

图30是将根据本发明生成的参考图像与以与本发明不同的方式生成的参考图像进行比较的视图。

如图30的(a)的示例所示，如果在不变换相邻图像的情况下执行时间预测，则由于透视差异而在表面边界处发生失真。在图30的(a)中，在表面P6的边界处发生非线性失真。结果，当要基于特定图像的边界执行时间预测时，由于透视差异，时间预测效率可能降低。

然而，在30的(b)的示例中，如果通过变换相邻图像来生成参考图像并且基于生成的参考图像执行时间预测，则表面边界处的失真可能显著降低。表面P6的边界处的非线性变化被示出为在图30的(b)中线性地变换。因此，即使基于特定图像的边界执行时间预测，由于更少的透视差异引起的失真，时间预测效率也可能增加。

如果如上述示例那样在不变换相邻图像的情况下执行时间预测，则在视频编码/解码期间难以基于图像边界处的块执行时间预测。因此，典型的是对与边界毗邻的边缘块进行编码，在边界上透视通过空间预测而不是时间预测改变。

然而，如果基于如本发明中提出的通过变换相邻图像而生成的参考图像来执行时间预测，则可以在视频编码/解码期间基于图像边界处的块来执行时间预测。因此，由于与在其上透视改变的边界毗邻的边缘块也可以通过时间预测来编码/解码，因此可以增加视频压缩效率。

例如，图31是描绘应用本发明的编码和不应用本发明的编码的示例性视图。如图31的(a)的示例所示，如果不应用本发明，则通常通过帧内预测来编码透视边界处的块。另一方面，如果如图31的(b)所示应用本发明，透视边界处的块可以通过时间预测来编码。

根据本发明，是否扩展要用于预测的图像可以被编码为译码参数并且在比特流中用信号通知。例如，指示是否扩展要用于预测的图像的信息可以被编码为1比特标志并且被用信号通知。如果标志指示要用于预测的图像将被扩展，则可以根据特定图像的透视来变换相邻图像，并且可以通过将特定图像与变换的相邻图像组合来生成参考图像。相反，如果标志未指示要用于预测的图像将被扩展，则可以不执行基于透视的变换和特定图像的扩展。

指示要用于预测的图像将被扩展的信息可以以图片为基础，以切片为基础或者以译码单元为基础来在参数集中用信号通知。[表1]示出了通过VPS用信号通知指示图像要用于预测的信息的示例，并且[表2]示出了通过SPS用信号通知指示图像要用于预测的信息的示例。

[表1]

seq_parameter_set_rbsp(){
	vps_video_parameter_set_id
vps_reserved_three_2bits
	vps_max_layers_minus1
...
	perspective_reference_picture_enabled_flag
...

[表2]

seq_parameter_set_rbsp(){
	sps_video_parameter_set_id
sps_max_sub_layers_minus1
	sps_temporal_id_nesting_flag
...
	perspective_reference_picture_enabled_flag
...

在[表1]和[表2]中，‘perspective_reference_picture_enabled_flag’指示要用于预测的图像是否将被扩展。如果如本发明所提出的要用于预测的图像要被扩展，则可以将‘perspective_reference_picture_enabled_flag’设置为‘1’，而如果用于预测的图像不被扩展，则可以将‘perspective_reference_picture_enabled_flag’设置为0’。或者‘perspective_reference_picture_enabled_flag’可以被设置为与上述值相反的值以指示要用于预测的图像是否将被扩展。

如果‘perspective_reference_picture_enabled_flag’是‘1’，则当配置参考图像时，可以考虑到图像的方向和位置来生成扩展的参考图像。进一步地，可以基于扩展的参考图像来执行预测。

现在，将给出用于基于透视的特性来变换透视边界的预测信息并且使用变换的预测信息来增加块之间的相关性的方法的描述。

图32是示处根据本发明的用于变换预测信息的方法的流程图，并且图33是描绘透视边界处的预测信息的示例性变换的视图。在图33的示例中，带斜线块表示要被编码/解码的当前块(例如，CU或PU)。与当前块毗邻的相邻块内的箭头表示预测信息。实线箭头表示变换前预测信息，虚线箭头表示变换后预测信息。块之间的粗线表示透视之间的边界。

首先，确定当前块是否位于透视边界(S3210)处。如果说当前块位于透视边界处，这暗示当前块与透视边界毗邻。在图33的(A)中，当前块不位于透视边界处，并且在图33的(B)至(F)中，当前块位于透视边界处。

如果当前块不位于透视边界处，则不变换与当前块毗邻的相邻块的预测信息。相反，如果当前块位于透视边界处，则可以变换具有与当前块的透视不同的透视的相邻块的预测信息(S3220)。这里，可以基于透视之间的特性来执行变换。

透视之间的特性可以是指具有不同透视的图像之间的透视差异。先前已经参考图17和18描述了具有不同透视的图像之间的透视差异，并且因此在此不再详细描述。

再次参考图32，可以使用相邻块的预测信息来预测当前块(S3230)。取决于当前块是否位于透视边界，相邻块的预测信息可以是变换的预测信息或未变换的预测信息。

将更详细地描述使用相邻块的预测信息来预测当前块的示例。

图34是示出用于确定用于执行帧内预测的最可能模式(MPM)候选的过程的流程图。这里，帧内预测信息可以包括相邻块的帧内预测模式(或MPM)。

为了获取当前块的帧内预测模式，可以基于与当前块毗邻的相邻块的帧内预测模式来确定MPM候选，并且可以基于所确定的MPM候选来生成MPM候选列表。如果当前块的帧内预测模式被包括在MPM候选列表中，则可以编码指示相对应的MPM候选的索引信息/用信号通知指示相对应的MPM候选的索引信息。与当前块毗邻的相邻块可以包括当前块左侧的相邻块、当前块上侧的相邻块等。而且，相邻块可以包括当前块的左上端的相邻块、当前块的右上端的相邻块或当前块的左下端的相邻块。

为了便于描述，假设当前块的MPM候选是从当前块的左侧相邻块和上侧相邻块推导出的。

在以下实施例中，仅当相邻块的帧内预测模式是定向模式时才可以执行帧内预测模式变换。如果相邻块的帧内预测模式是非定向模式(例如，DC或平面模式)，则可以在没有帧内预测模式变换的情况下生成MPM。

参考图34，确定当前块的左侧是否与透视边界毗邻(S3410)。如果当前块的左侧与透视边界相邻，则可以通过将左相邻块的帧内预测模式变换到当前块的左侧来生成第一MPM(S3420)。

如果当前块的左侧不与透视边界毗邻，则可以将当前块左侧的左相邻块的帧内预测模式用作第一MPM(S3430)。

随后，确定当前块的上侧是否与透视边界毗邻(S3440)。如果当前块的上侧与透视边界毗邻，则可以通过变换当前块上侧的上相邻块的帧内预测模式来生成第二MPM(S3450)。

如果当前块的上侧不与透视边界毗邻，则可以将当前块上侧的上相邻块的帧内预测模式用作第二MPM(S3460)。

参考图35，当前块和其左相邻块相对于透视P1和P2之间的边界彼此毗邻。第一MPM可以通过基于透视P1和P2之间的透视差异来变换左块的帧内预测模式来生成。

当前块和上相邻块之间的透视不存在边界。因此，可以基于上相邻块的帧内预测模式来生成第二MPM。

参考图36，当前块和左相邻块的透视之间不存在边界。因此，可以基于左相邻块的帧内预测模式来生成第一MPM。

另一方面，当前块和上相邻块相对于透视P1和P2之间的边界彼此毗邻。第二MPM可以通过基于透视P1和P2之间的透视差异来变换上块的帧内预测模式来生成。

参考图37，当前块和其左相邻块相对于透视P1和P2之间的边界彼此毗邻。第一MPM可以通过基于透视P1和P2之间的透视差异来变换左块的帧内预测模式来生成。

当前块和其上相邻块相对于透视P2和P3之间的边界也彼此毗邻。第二MPM可以通过基于透视P2和P3之间的透视差异来变换上相邻块的帧内预测模式来生成。

一旦生成了第一MPM和第二MPM，就确定第一MPM和第二MPM是否相同(S3470)。如果第一MPM和第二MPM相同，则确定第一MPM是否是非定向模式(即，帧内预测模式是否小于2)(S3480)。如果第一MPM是非定向模式，则可以生成N个预定义的MPM候选(S3485)。N可以是等于或大于1的自然数，例如2、3或4。例如，如果第一MPM是非定向模式(例如，DC或平面模式)，则可以如下生成三个固定MPM候选，平面预测、DC预测和垂直预测。

MPM[0]＝Intra_Planar

MPM[1]＝Intra_DC

MPM[2]＝Intra_Vertical(26)

如果第一MPM是定向模式，则可以将第一MPM添加为MPM候选，并且可以生成具有与第一MPM的方向类似的方向的(N-1)个MPM候选(S3490)。具有与第一MPM的方向类似的方向的MPM可以具有通过向第一MPM添加k或从第一MPM减去k而计算的值(k是等于或大于1的自然数)。例如，如果第一MPM是定向模式，则可以生成三个MPM候选，即，第一MPM、通过从第一MPM中减去1而获得的帧内预测模式、以及通过将1添加到左相邻模式的帧内预测模式而计算的帧内预测模式。

MPM[0]＝Left_Block_MPM

MPM[1]＝Left_Block_MPM-1

MPM[2]＝Left_Block_MPM+1

如果第一MPM不同于第二MPM，则可以将第一MPM和第二MPM作为MPM候选添加，并且可以附加地生成具有预定义的帧内预测模式的(N-2)个MPM候选(S3495)。附加生成的MPM候选的数量可以是1或更大。例如，如果第一MPM不同于第二MPM，则第一MPM和第二MPM可以被生成为MPM候选，并且可以生成被设置为平面、DC或垂直模式的附加MPM候选。附加的MPM候选可以不具有与第一和第二MPM相同的值。

MPM[0]＝Left_Block_MPM

MPM[1]＝Above_Block_MPM

MPM[2]＝Intra_Planar/Intra_DC/Intra_Vertical(26)

下面将更详细地描述使用相邻块的预测信息来执行对当前块的帧间预测的示例。

图38是示出用于基于相邻块的预测信息来确定用于在合并模式下执行帧间预测的空间合并候选的过程的流程图。

参考图38，确定当前块的空间相邻块是否具有与当前块的透视不同的透视(S3810)。如果空间相邻块具有与当前块的透视不同的透视，则变换相邻块的运动信息(S3820)。变换的运动信息包括运动矢量。

如果当前块和相邻块不位于透视边界处，则相邻块的运动信息不被变换。

随后，确定当前块的空间相邻块的可用性(S3830)。如果空间相邻块可用，则空间相邻块的运动信息或变换的运动信息被包括在合并候选列表中(S3840)。

可以针对当前块的多个空间相邻块中的每一个重复执行步骤S3810至S3840中的将运动信息或变换的运动信息包括在合并列表中(S3850)。例如，如在图12的示例中那样，如果以A→B→C→D→E的顺序生成合并候选列表，则可以以左块A、上块B、右上块C、左下块D和下上块E的顺序来执行将运动信息或变换的运动信息包括在合并候选列表中。

然而，仅当剩余的空间相邻块中的至少一个不可用于帧间预测时，左上块可以被包括在合并候选列表中。因此，可以仅当剩余的空间相邻块中的至少一个不可用于帧间预测时执行步骤S3810至S3840中的将运动信息或变换的运动信息包括在合并候选列表中。

图39是示出其中当前块具有与相邻块的透视不同的透视的示例的视图。

参考图39的(a)，块A、D和E具有与当前块的透视不同的透视，并且块B和C具有与当前块的透视相同的透视。在这种情况下，基于透视p1和P2之间的透视差异来变换块A、D和E的运动信息，并且不变换块B和C的运动信息。然后，可以使用块A、D和E的变换的运动信息以及块B和C的运动信息，以A、B、C、D和E的顺序配置空间合并候选列表。

参考图39的(b)，块B、C和E具有与当前块的透视不同的透视，并且块A和D具有与当前块的透视相同的透视。在这种情况下，基于透视p1和P2之间的透视差异来变换块B、C和E的运动信息，并且不变换块A和D的运动信息。然后，可以使用块B、C和E的变换的运动信息以及块A和D的运动信息，以A、B、C、D和E的顺序配置空间合并候选列表。

图39的(c)至(h)中还示出了其中当前块可以具有与空间相邻块的透视不同的透视的示例。如在以上示例中所示，如果当前块具有与空间相邻块的透视不同的透视，则基于当前块与相邻块之间的透视差异来变换空间相邻块的运动信息，并且如果当前块具有与空间相邻块的透视相同的透视，则空间相邻块的运动信息不被变换。

图40是描绘用于基于相邻块的预测信息来确定用于在合并模式下执行帧间预测的时间合并候选的过程的流程图。这里，预测信息可以包括相邻块的运动矢量。

时间合并候选可以从当前块的时间相邻块推导出。时间相邻块可以是指具有与包括当前块的当前图片的时间顺序不同的时间顺序的并置图片中的并置块。并置块可以取决于并置图片中第一块的可用性而被改变。例如，如果第一块可用于帧间预测，则第一块可以被确定为并置块。如果第一块不可用于帧间预测，则可以将与第一块的位置不同的位置处的第二块确定为并置块。第一块和第二块可以是不同的块，每个块是包括当前块的左下样本的坐标的块和包括当前块的中心像素值的块中的一个。

为了方便描述，假设第一块是包括当前块的左下样本的坐标的块，并且第二块是包括当前块的中心像素值的块。

参考图40，确定第一块是否具有与当前块的透视不同的透视(S4010)。第一块在时间上与当前块相邻。因此，如果第一块具有与当前块的透视不同的透视，则可以确定第一块位于相对于当前块的透视边界处。如果第一块具有与当前块的透视不同的透视，则变换第一块的运动信息(S4020)。变换的运动信息包括运动矢量。

另一方面，如果当前块和第一块不位于透视边界处，则第一块的运动信息不被变换。

随后，确定第一块的可用性(S4030)。如果第一块的运动信息可用作合并候选，则可以将第一块的运动信息添加到合并候选列表(S4040)。

相反，如果第一块不可用，则确定第二块的可用性(S4050)。如果第二块的运动信息可用作合并候选，则可以将第二块的运动信息添加到合并候选列表(S4060)。

第二块包括当前块的中心坐标，因此具有与当前块的透视相同的透视。因此，第二块的运动信息可以在没有被变换的情况下被添加到合并候选列表。

图41是描绘其中当前块和时间相邻块具有不同透视的示例的视图。

在图41的示例中，对于当前块X，第一块对应于块H，并且第二块对应于块M。参考图41的(a)、(b)和(c)，当前块具有透视P1，而块H具有透视P2。在这种情况下，可以基于透视P1和P2之间的透视差异来变换块H的运动信息。

块M总是具有与当前块相同的透视，因此可以不变换块M的运动信息。

在图38至图41中，假设当前块的帧间预测模式是合并模式。此外，在当前块的帧间预测模式是高级运动矢量预测器(AMVP)模式时，参考图38至图41描述的用于变换预测信息的方法也是可应用的。例如，如果当前块具有与当前块的空间或时间相邻块的透视不同的透视，则可以变换相邻块的运动矢量，然后可以将变换的运动矢量添加到运动矢量预测器(MVP)候选列表。如果当前块具有与空间或时间相邻块的透视相同的透视，则相邻块的运动矢量可以被包括在MVP候选列表中，而无需变换。

根据本发明，指示是否对预测信息进行变换和编码的信息可以被编码为编码参数并且在比特流中用信号通知。例如，指示是否变换预测信息的信息可以被编码为1比特标志并且被用信号通知。如果标志指示预测信息将被变换，则相邻图像的预测信息可以取决于当前块是否具有与相邻块的透视不同的透视而被变换。

可以以图片为基础、以切片为基础或者以译码单元为基础来在参数集中用信号通知指示预测信息是否将被变换的信息。[表3]示出了通过VPS用信号通知指示预测信息是否将被变换的信息的示例，[表4]示出了通过SPS用信号通知预测信息是否将被变换的信息的示例，并且[表5]示出了以PU为基础用信号通知指示预测信息是否将被变换的信息的示例。

[表3]

video_parameter_set_rbsp(){
	vps_video_parameter_set_id
vps_reserved_three_2bits
	vps_max_layers_minus1
...
	perspective_intra_pred_transform_enabled_flag
perspective_inter_pred_transform_enabled_flag
	...

[表4]

seq_parameter_set_rbsp(){
	sps_video_parameter_set_id
sps_max_sub_layers_minus1
	sps_temporal_id_nesting_flag
...
	perspective_intra_pred_transform_enabled_flag
perspective_inter_pred_transform_enabled_flag
	...

[表5]

prediction_unit(x0，y0，nPbW，nPbH){	Descriptor
		if(cu_skip_flag[x0][y0]){
if(MaxNumMergeCand＞1)
		merge_idx[x0][y0]	ae(v)
...
		perspective_pred_transform_flag	u(1)
...

在[表3]和[表4]中，‘perspective_intra_pred_transform_enabled_flag’指示当应用帧内预测模式时预测信息是否将被变换，并且‘perspective_inter_pred_transform_enable_flag’指示当应用帧间预测模式时预测信息是否将被变换。

如果‘perspective_intra_pred_transform_enabled_flag’是‘1’，这暗示当应用帧内预测模式时，预测信息将被变换。如果‘perspective_intra_pred_transform_enabled_flag’是‘0’，这暗示当应用帧内预测模式时，预测信息将不会被变换。或者，当应用帧内预测模式时，指示预测信息是否将被变换的信息可以被设置为与上述值相反的值。

如果‘perspective_inter_pred_transform_enable_flag’是‘1’，这暗示当应用帧间预测模式时，预测信息将被变换。如果‘perspective_inter_pred_transform_enable_flag’是‘0’，这暗示当应用帧间预测模式时，预测信息将不会被变换。或者，当应用帧间预测模式时，指示预测信息是否将被变换的信息可以被设置为与上述值相反的值。

在[表5]中，‘perspective_pred_transform_flag’指示不考虑PU的预测模式的情况下预测信息是否将被变换。

例如，如果‘perspective_pred_transform_flag’是‘1’，这暗示当应用帧内预测模式或帧间预测模式时，预测信息将被变换，并且如果‘perspective_pred_transform_flag’是‘0’，这暗示当应用帧内预测模式或帧间预测模式时，预测信息将不会被变换。或者，指示预测信息是否将被变换的信息可以被设置为与上述值相反的值。

将参考图42和图43详细描述根据本发明的编码器和解码器的配置。

图42是根据本发明的编码器的框图。

编码器是对3D多视图图像，例如全向图像、会聚照相机图像和发散图像的平面形式编码的设备。编码器可以包括投影仪100、帧间预测器110、帧内预测器120、变换器130、量化器140、熵编码器150、去量化器160、逆变换器170、参考图像扩展器180、预测信息变换器185和重构图片缓冲器190。

编码器可以以帧内预测模式(或空间模式)和/或帧间预测模式(或时间模式)来对输入图像编码。进一步地，编码器可以通过对输入图像编码来生成比特流，并输出生成的比特流。如果帧内预测模式被用作预测模式，则开关可以切换到帧内预测，并且如果帧间预测模式被用作预测模式，则开关可以切换到帧间预测。帧内预测模式可以是指空间预测模式，并且帧间预测模式可以是指时间预测模式。

编码器可以生成用于输入图像的输入块的预测信号。按块的预测信号可以被称为预测块。进一步地，在生成预测块之后，编码器可以对输入块和预测块之间的残差编码。输入图像可以被称为要被编码的当前图像。输入块可以被称为要被编码的当前块或目标译码块。

投影仪100将3D多视图图像投影为诸如多面体的等矩阵形式或平面形式的2D形式。因此，具有不规则角度和位置的多个图像可以被转换成与多面体的平面形式相对应的2D图像。投影仪可以使用照相机的位置和角度将3D多视图图像转换成2D图像。

当预测模式是帧内模式时，帧内预测器120可以使用与当前块毗邻的已经编码的块的像素值作为参考像素。帧内预测器120可以使用参考像素来执行空间预测，并且通过空间预测来生成用于输入块的预测样本。

当前块的帧内预测模式可以基于与当前块毗邻的相邻块的帧内预测模式来确定。如果当前块和相邻块具有不同的透视，则预测信息变换器185可以变换相邻块的帧内预测模式，并且基于变换的帧内预测模式来确定当前块的帧内预测模式。

如果预测模式是帧间模式，则帧间预测器110可以在运动预测期间在参考图像中搜索与输入块最匹配的区域，并且使用检测到的区域推导出运动矢量。参考图像可以被存储在参考图片缓冲器190中。

如果从其推导出运动矢量的相邻块具有与当前块的透视不同的透视，则预测信息变换器185可以变换相邻块的运动矢量。可以基于相邻块的变换的运动矢量来推导出当前块的运动矢量。

减法器可以使用输入块和预测块之间的差异来生成残差块。残差块也可以被称为残差信号。

变换器130可以通过变换残差块来生成变换系数，并且输出变换系数。变换系数可以通过变换残差块来生成。如果应用变换跳过模式，则变换器130可以跳过残差块的变换。

量化的变换系数级别可以通过量化变换系数来生成。在下文中，在实施例中，量化的变换系数级别也可以被称为变换系数。

量化器140可以通过根据量化参数量化变换系数来生成量化的变换系数级别，并且输出量化的变换系数级别。量化器140可以使用量化矩阵来量化变换系数。

熵编码器150可以通过根据概率分布对由量化器140计算的值或者在编码期间计算的译码参数值进行熵编码来生成比特流。除了图像的像素的信息之外，熵编码器150还可以对视频解码所需的信息进行熵编码。例如，视频解码所需的信息可以包括语法元素。

如果编码器通过帧间预测执行编码，则当前编码的图像可以被用作用于随后处理的(多个)其它图像的参考图像。因此，编码器100可以对当前编码的图像解码，并且将解码的图像存储为参考图像。为了解码，可以对当前编码的图像进行去量化和逆变换。

去量化器160可以对量化系数进行去量化，并且逆变换器170可以对去量化系数进行逆变换。添加器175可以将经去量化和逆变换的系数添加到预测块。由于从去量化和逆变换产生的残差块被添加到预测块，所以可以生成重构块。

虽然未示出，但重构的块可以通过滤波器单元。滤波器单元可以将去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)中的至少一个应用于重构块或重构图像。滤波器单元可以被称为环路滤波器。

参考图像扩展器180用于根据重构的全向图像、发散图像或会聚图像中包括的每个图像的透视来生成参考图像。通过参考图像扩展器180生成的参考图像可以以时间为基础或以透视为基础被分组并且被存储在参考图片缓冲器190中。将参考图44更详细地描述参考图像扩展器。

图43是根据本发明的解码器的框图。

参考图43，解码器可以包括熵解码器210、去量化器220、逆变换器230、帧内预测器240、帧间预测器250、参考图像扩展器260、预测信息变换器270和参考图片缓冲器280。

解码器可以从编码器接收比特流。解码器可以以帧内模式或帧间模式对比特流解码。进一步地，解码器可以通过解码生成重构图像并输出重构图像。

如果用于解码的预测模式是帧内模式，则开关可以切换到帧内预测，并且如果用于解码的预测模式是帧间模式，则开关可以切换到帧间预测。

解码器可以从输入比特流中获取重构的残差块，并且生成预测块。一旦获取重构的残差块和预测块，解码器200就可以通过将重构的残差块添加到预测块来生成要被解码的重构块。要被解码的目标块可以被称为当前块。

熵解码器210可以通过根据概率分布对比特流进行熵解码来生成符号。生成的符号可以包括量化变换系数级别形式的符号以及解码图像数据所需的信息。熵解码可以以与熵编码类似的方式来执行。例如，熵解码可以是熵编码的逆过程。

熵解码器210可以通过变换系数扫描将系数的一维矢量转换为2D块以便对变换系数级别解码。例如，通过直立扫描来扫描块的系数，可以将变换系数的矢量转换成2D块。代替直立扫描，可以根据变换单元的尺寸和帧内预测模式来使用垂直扫描或水平扫描。也就是说，可以根据变换单元的尺寸和帧内预测模式来确定要使用直立扫描、垂直扫描和水平扫描中的哪一个。

去量化器220可以对量化的变换系数级别进行去量化，并且逆变换器230可以将频域逆变换到空间域。可以生成重构的残差块作为对量化的变换系数级别进行去量化和逆变换的结果。这里，去量化器220可以将量化矩阵应用于量化的变换系数级别。

如果使用帧内模式，则帧内预测器240可以通过在空间域中使用与要被解码的目标块毗邻的已经解码的块的像素值执行空间预测来生成预测块。

当前块的帧内预测模式可以从与当前块毗邻的相邻块的帧内预测模式推导出。如果当前块和相邻块具有不同的透视，则预测信息变换器180可以变换相邻块的帧内预测模式，并且从变换的帧内预测模式推导当前块的帧内预测模式。

如果使用帧间模式，则帧间预测器250可以通过在空间域中使用存储在参考图片缓冲器280中的参考图像和运动矢量执行运动补偿来生成预测块。如果运动矢量不是整数值，帧间预测器250可以通过将插值滤波器应用于参考图像的部分区域来生成预测块。对于运动补偿，可以从跳过模式、合并模式、AMVP模式和当前图片参考模式中确定用于包括在相应译码单元中的预测单元的运动补偿方法，并且可以根据每种模式执行运动补偿。当前图片参考模式可以是指使用要被解码的目标块所属的当前图像的已经重构的区域的预测模式。已经重构的区域可以是与要被解码的目标块不毗邻的区域。为了指定已经重构的区域，可以用信号通知指示要被解码的目标块是否是以当前图片参考模式编码的块的标记或索引，或者可以从要被解码的目标块的参考图像索引中推导出该标记或索引。用于当前图片参考模式的当前图片可以存在于用于要被解码的目标块的参考图片列表中的固定位置(例如，refIdx＝0的位置或最后位置)处。或者当前图片可以驻留在参考图片列表中的可变位置处。为此目的，可以用信号通知指示当前图片的位置的附加参考图像索引。

在合并模式或AMVP模式中，可以基于当前块的空间或时间相邻块的运动矢量来推导出当前块的运动矢量。如果当前块和要从其推导出运动矢量的相邻块具有不同的透视，则预测信息变换器270可以变换相邻块的运动矢量。可以基于相邻块的变换的运动矢量来推导出当前块的运动矢量。

添加器可以将重构的残差块添加到预测块。虽然未示出，但通过将残差块添加到预测块而获得的块可以通过滤波器单元。滤波器单元可以将去块滤波器、SAO和ALF中的至少一个应用于重构块或重构图像。

参考图像扩展器260用于根据重构的全向图像、发散图像或会聚图像中包括的每个图像的透视来生成参考图像。通过参考图像扩展器260生成的参考图像可以以时间为基础或以透视为基础被分组并且被存储在参考图片缓冲器270中。将参考图44更详细地描述参考图像扩展器。

图44是根据本发明的参考图像扩展器的框图。

参考图44，参考图像扩展器可以包括变换器310、扩展器320和参考图像列表生成器330。

变换器310确定是否存在与要用于预测的图像沿相同时间轴并且与要用于预测的图像位置连续的、具有不同透视的任何图像。在存在这样的图像的情况下，变换器310根据要用于预测的图像的透视来变换图像。例如，对于正六面体的平面形式的2D图像，变换器用于根据具有不同透视的空间相邻图像当中的至少一个图像的透视来变换其它图像。

扩展器320将要用于预测的图像与由变换器310变换的图像组合。也就是说，扩展器可以将要用于预测的图像(即参考图像)的尺寸增加添加的变换图像的尺寸。可以根据图像的特性或位置来确定变换的图像的位置，以用于扩展。

参考图像列表生成器330将通过将变换的图像添加到要用于预测的图像而生成的参考图像添加到参考图片列表。参考图像可以根据时间轴被输入到参考图片列表。

以上在本发明的实施例中描述的组件可以通过以下各项中的至少一个来实现：诸如数字信号处理器(DSP)的可编程逻辑元件、处理器、控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、另一电子设备及其组合。本发明的实施例中以上描述的至少一个功能或处理可以用软件来实施，并且该软件可以被写到记录介质。记录介质的示例包括诸如硬盘、软盘和磁带的磁介质，诸如CD ROM和DVD的光介质，诸如软光盘的磁光介质，以及诸如ROM、RAM和闪存的被特别配置为存储和执行程序命令的硬件设备。程序命令包括可通过解释器在计算机中执行的高级语言代码以及由编译器编写的机器代码。硬件设备可以被配置为作为一个或多个软件模块操作，以执行根据本发明的处理。本发明的实施例中描述的组件、功能、处理可以以硬件和软件的组合来实施。

虽然以上已经描述了本发明并且通过诸如组件、限制性实施例和附图的特定细节示出了本发明，但是提供参考附图的描述以帮助全面理解由权利要求限定的本发明的示例性实施例和他们的等同物。因此，本领域普通技术人员将认识到，可以对这里描述的实施例做出各种改变和修改，而不脱离本公开的范围和精神。

因此，本发明的范围应该由所附权利要求及其合法等同物而不是由上述说明来确定，并且落入所附权利要求的含义和等同范围内的所有改变都旨在被包含在其中。

工业实用性

本发明可以用于视频编码/解码。

Claims

1.一种视频编码方法，包括：

当存在具有与具有第一视图的第一图像不同的视图的第二图像时，通过使用包括所述第一图像的信息的第一元数据和包括所述第二图像的信息的第二元数据，基于所述第一图像和所述第二图像之间的视图差异来变换所述第二图像以具有所述第一视图；

通过将所述第二图像添加到所述第一图像的一侧来生成参考图像；

在参考图片列表中存储所述参考图像；

通过使用生成的所述参考图像执行帧间预测来生成当前块的预测块；

基于所述预测块生成所述当前块的重构块；以及

对所述第一元数据和所述第二元数据进行编码。

2.根据权利要求1所述的视频编码方法，其中，所述视图差异包括所述第一图像和所述第二图像之间的距离差异和角度差异中的至少一个。

3.根据权利要求2所述的视频编码方法，其中，所述视图差异是基于包括所述第一图像和所述第二图像的全向图像的特性来确定的。

4.根据权利要求3所述的视频编码方法，其中，如果所述全向图像被投影成正多面体，则所述第一图像和所述第二图像之间的所述角度差异被确定为所述正多面体的内角。

5.根据权利要求2所述的视频编码方法，其中，基于用于捕获所述第一图像的第一照相机和用于捕获所述第二图像的第二照相机之间的距离和角度差异来计算所述视图差异。

6.根据权利要求1所述的视频编码方法，其中，根据包括所述第一图像和所述第二图像的正多面体的特性来确定添加所述第二图像的位置。

7.根据权利要求1所述的视频编码方法，其中，所述参考图像和与所述第一图像和所述第二图像相对应的时间信息一起被存储在所述参考图片列表中。

8.根据权利要求1所述的视频编码方法，还包括：

生成所述当前块的残差块；

其中，所述当前块的重构块是基于所述预测块和所述残差块生成的。

9.根据权利要求1所述的视频编码方法，还包括：通过将滤波器中的至少一个应用于所述重构块来对所述重构块进行滤波。

10.一种视频解码方法，包括：

对包括第一图像的信息的第一元数据和包括第二图像的信息的第二元数据进行解码；

在存在具有与具有第一视图的所述第一图像不同的视图的所述第二图像时，通过使用所述第一元数据和所述第二元数据，基于所述第一图像和所述第二图像之间的视图差异来变换所述第二图像以具有所述第一视图；

在参考图片列表中存储所述参考图像；

通过使用生成的所述参考图像执行帧间预测来生成当前块的预测块；以及

基于所述预测块生成所述当前块的重构块。

11.根据权利要求10所述的视频解码方法，其中，所述视图差异包括所述第一图像和所述第二图像之间的距离差异和角度差异中的至少一个。

12.根据权利要求11所述的视频解码方法，其中所述视图差异是基于包括所述第一图像和所述第二图像的全向图像的特性来确定的。

13.根据权利要求12所述的视频解码方法，其中，如果所述全向图像被投影成正多面体，则所述第一图像和所述第二图像之间的所述角度差异被确定为所述正多面体的内角。

14.根据权利要求12所述的视频解码方法，其中，基于用于捕获所述第一图像的第一照相机和用于捕获所述第二图像的第二照相机之间的距离和角度差异来计算所述视图差异。

15.根据权利要求10所述的视频解码方法，其中，根据包括所述第一图像和所述第二图像的正多面体的特性来确定添加所述第二图像的位置。

16.根据权利要求10所述的视频解码方法，其中，所述参考图像和与所述第一图像和所述第二图像相对应的时间信息一起被存储在所述参考图片列表中。

17.根据权利要求16所述的视频解码方法，还包括：

基于指定当前块的参考图片的参考图片索引，从所述参考图片列表中选择至少一个参考图像；以及

基于所选择的参考图片对所述当前块执行帧间预测，

其中所述参考图片列表包括与所述当前块的所述参考图像相对应的时间信息。

18.根据权利要求10所述的视频解码方法，还包括：

生成所述当前块的残差块；

19.根据权利要求10所述的视频解码方法，还包括：通过将滤波器中的至少一个应用于所述重构块来对所述重构块进行滤波。

20.一种存储通过图像编码方法生成的比特流的记录介质，所述方法包括：

在存在具有与具有第一视图的第一图像不同的视图的第二图像时，通过使用包括所述第一图像的信息的第一元数据和包括所述第二图像的信息的第二元数据，基于所述第一图像和所述第二图像之间的视图差异来变换所述第二图像以具有所述第一视图；

在参考图片列表中存储所述参考图像；

基于所述预测块生成所述当前块的重构块；以及

对所述第一元数据和所述第二元数据进行编码。