CN113228658B - 沉浸式视频比特流处理 - Google Patents

Abstract

用于对数字视频或图片进行编码或解码的技术包括：获取包含编码视频图像的视频比特流，该编码视频图像是包含三维坐标系下全景图像的多个区域的二维图像；提取多个区域的邻域信息；使用该邻域信息，对从该视频比特流解码的视频图像进行后处理；并在后处理后从该视频图像生成显示图像。

Description

沉浸式视频比特流处理

技术领域

本专利文档总体上涉及视频和图像的编码和解码。

背景技术

视频编码使用压缩工具将二维视频帧编码为压缩后的比特流表示，其在网络上存储或传输的效率更高。传统的视频编码技术使用二维视频帧进行编码，对三维视觉场景的视觉信息的表示有时是低效的。

发明内容

本专利文档除其他内容外，描述了对携带与多维图像相关的视觉信息的数字视频进行编码和解码的技术。

在一个示例方面，公开了一种用于视频或图片处理的方法。该方法包括：获取视频比特流，该视频比特流包括编码的视频图像，其为包含三维坐标系中的全景图像的多个区域的二维图像；提取用于多个区域的邻域(neighboring)信息；使用邻域信息对从视频比特流解码的视频图像进行后处理；并在后处理之后从视频图像生成显示图像。

在另一个示例方面，公开了视频或图片处理的另一种方法。该方法包括：在三维坐标系中获取全景图像，将全景图像映射到包含多个区域的二维图像，确定多个区域的邻域信息，以及传输或存储视频比特流。

在另一个示例方面，公开了一种用于处理视频或图片的一个或多个比特流的装置。

在又一个示例方面，公开了一种计算机程序存储介质。计算机程序存储介质包括存储在其上的代码。当由处理器执行该代码时，致使处理器实现所描述的方法。

本文档对这些和其他方面进行了描述。

附图说明

图1是视频编码的一个示例过程的流程图。

图2A-2B示出了从球面坐标系映射到二维坐标系的示例。

图3示出了包含映射区域的视频帧的示例。

图4示出了包含映射和旋转的区域的视频帧的示例。

图5示出了视频解码过程的示例流程图。

图6是视频编码装置的示例的框图。

图7是视频解码装置的示例的框图。

图8是用于实现本文描述的方法的硬件平台的实施例的框图。

图9示出了球面坐标系下的沉浸式视频图像的另一个示例。

图10示出了图9中球面图像的二维映射。

图11示出了映射和旋转图片区域以保持不同视图之间的视觉连续性之后生成的视频帧的示例。

具体实施方式

本文档中使用的章节标题仅用于提高可读性，并且每个章节中所公开的实施例和技术的范围不仅仅局限于该章节。某些特性使用H.264/AVC(高级视频编码)和H.265/HEVC(高效视频编码)标准的示例来描述。然而，所公开技术的适用性并不仅仅局限于H.264/AVC或H.265/HEVC系统。

简要讨论

移动通信深刻地改变了人们的生活。随着移动通信的发展，从标清到超高清，从平面到全景立体声，从标准动态范围(SDR)到高动态范围(HDR)，从伪彩色到真彩，从隔行到逐行。从每秒30帧到每秒120帧的扫描，从电视到手机，人们对观看媒体内容的要求越来越高，并且观看形式也多种多样。沉浸式媒体在娱乐和游戏中为用户带来不同的体验，诸如体感游戏和沉浸式电影。

与之前的视频不同，沉浸式视频使用多个摄像头来捕捉原始视频数据。为了使用现有的视频编码标准，诸如H.265/HEVC，需要对通过获得的原始数据进行映射和重排，并且最终生成矩形编码区域。

在本文公开的一些实施例中，沉浸式媒体数据从球面映射到二维平面，然后重排。重排后的相邻映射区域不一定像在原来的球面中一样相邻。在原来球面不相邻的区域之间没有空间连续性特征，如果一起编码，则无法获得最佳压缩率。

简要概述

本文所述的一些实施例可能受益于有利的技术，用于标记所映射或重排的数据区域的相邻区域是否在球面上彼此相邻，通过使用相邻信息控制编码范围，避免将非相邻区域一起编码，并提高了编码效率。在解码时，使用相邻信息可以更有针对性地进行错误恢复或后处理。

实施例示例I

根据本发明的实施例，收集球面坐标系下的全景图像数据，将全景图像数据从球面坐标系映射到矩形二维坐标系，然后对映射后的图像进行重排，以确定在原球面坐标系下重排四周的每个区域中的相邻区域的相邻关系，并将相邻关系信息写入码流。发送或存储码流。

图1是根据本发明的实施例的代码流处理方法100的流程图。

其步骤如下：

步骤101：收集并获取球面坐标系下的全景图像。所述图像可以从相机源或存储图像的存储单元接收。

例如，球面坐标系下的全景图像数据是由相机采集生成的。可以是多个相机在采集后同时拼接，也可以是单个相机采集多个图像，然后通过平移和旋转操作进行拼接。

步骤102：将全景图像从球面坐标系映射到二维矩形坐标系(笛卡尔)。

根据设定的映射规则对全景图像数据进行映射并转换，从而生成二维矩形图像数据。

映射规则可以是但不限于，柱面等距柱状(ERP)映射、立方体映射(CMP)、八面体映射(OHP)、二十面体映射(ISP)、截断棱锥映射或截断方锥(TSP)、分段球体投影(SSP)、调整立方体投影(ACP)、旋转球体投影(RSP)、等角立方体投影(EAC)、赤道圆柱投影(ECP)、混合等角立方体投影(HEC)、使用直线投影的视口生成、Crasters抛物线投影(CCP)等。

图2A示出了一个图像的示例，该图像在球面坐标系中拍摄，然后映射到多个平面(例如，6个二维表面)。在图2A中，每个平面视图可能具有相同的尺寸(例如，W×W×W，其中W代表宽度、高度和深度)。可替换地，一些二维表面可能是矩形的。例如，盒子的尺寸可能是W×D×H，其中W是宽度，D是深度，H是高度，并且W、D和H中的至少一些可以彼此不同。

图2B示出了二维平面上得到的相应的六个区域。这些区域代表上、左、前、右、后和下的视图平面。这种特殊的映射有时称为立方体映射。

步骤103：在这一步骤中，对映射的二维矩形图像进行重排或重新定位。从图2B中可以看出，部分图像数据被图像区域所占据，而虚线矩形剩余的四个角没有对应的图像数据。

进行重排后，可以从完整的图像矩形数据区域中消除非图像数据区域，如图3所示为在重排图像生成后的立体映射。

图3描绘的重排图像在一些区域中可能仍然存在视觉上的不连续。视觉连续性可以通过旋转图像的区域或分块(tile)之一来建立，如图4所示。在立体映射后，该子区域的旋转和重排图像提供了一个二维图像，该图像从原始三维图像中捕获所有信息，并将其以紧凑和视觉相关的方式呈现在二维矩形区域上。例如，在图4所示的矩形视频图片中，没有一个像素是不代表任何图像信息的“虚拟”像素。

步骤104：在这一步骤中，可以确定和存储重新排序后的不同区域之间的邻域关系。此步骤可以与重新排序过程中的其他步骤同时实现。

相邻关系包括不同区域与周边区域在球面坐标系上是否相邻，并且表1示出了区域与周边区域之间的相邻关系的内容的组织关系。在表中，术语uimsbf表示“无符号整数最有效位在前”，术语“double”指双精度格式，例如64比特。

表1

在一些示例实施例中，可以使用上面列出的语法元素的以下用法。

table_id：表的标识符；

version：版本信息；

length：长度信息(比特数或字节数)；

adjacent_num：相邻区域的数量；

sphere_adjacent_flag：该邻域与当前区域是否在球面相邻，1：相邻，0：不相邻

(sphere_position_x，sphere_position_y，sphere_position_z)：该邻域左上角在球面上的三维坐标信息；

(rect_position_x，rect_position_y)：邻域左上角在矩形平面上的二维坐标信息；

rotate_flag：该邻域是否被旋转，1：被旋转，0：未旋转；

rotate_degree：该邻域的旋转角度；

user_data()：用户信息。

步骤105：在此步骤中，相邻关系信息可以被写入三维视频的比特流表示中的字段。

例如，表1所示的语法可以用来表示将上述相邻关系信息写入码流中。

步骤106：在生成三维视频的压缩表示后，此步骤可以包括传输或存储比特流以供之后使用或传输。

该字段可以使用本文档中描述的技术之一而被包含在比特流中。

实施例示例II

在第一实施例的步骤104中，可以将adjacent_info_table写入视频流OMAF中的RectRegionPacking结构中，具体示例如表2所示。在各种实施例中，adjacent_info_table可以按序列级、图片级、分块级或NAL级插入视频比特流中。

表2

adjacent_info_table的一个实例，如表3所示。在此示例中，相邻的信息表包含存在于表中的多个信息元素(adjacent_num)。然后表可以分别列出区域的球面位置和矩形位置。如果特定区域被旋转，则该表包含指示旋转和旋转量的字段。

虽然表3示出了球面坐标系和矩形坐标系之间的转换的示例，但也可以包括表示本文档中描述的其他坐标系与它们对应的二维坐标系表示之间的映射(和旋转，如果有的话)的类似表。在一些情况下，编码器对坐标系的选择可以在视频比特流中以序列或图片级别发出信号。

表3

实施例示例III

在实施例I的步骤104中，对应于adjacent_info_table的比特可以存储到视频比特流中的补充增强信息(SEI)字段中，如表4中示出的结构所示。

表4

在表2中，adjacent_info_table()是实施例I的adjacent_info_table数据结构，其包含了该区域的相邻信息。

可以从SEI信息中获得将信息标识为ADJACENT_INFO的信息。

实施例示例IV

在本实施例中，参考实施例I的步骤104，视频编码器可以将adjacent_info_table写入视频应用信息字段(视频可用性信息，VUI)，如表5示出的结构中所示。在本文档的表中，使用了以下术语：

u(n)：使用n比特的无符号整数。当语法表中n为“v”时，比特数的变化取决于其他语法元素的值。

ue(v)：无符号整数0阶Exp-Golomb编码的语法元素，其左位在前。

表5

表5中adjacent_info_flag值等于“1”，指示存在后续区域相邻信息。

adjacent_info_table()是实施例1的adjacent_info_table数据结构，其包含该区域的相邻信息。

实施例示例V

在实施例I的步骤104中，adjacent_info_table可以写入系统层媒体属性描述单元，诸如传输流的描述，文件格式的数据单元(诸如box)，传输流的媒体描述信息，诸如媒体呈现描述或MPD文件中的媒体渲染描述信息单元。

实施例示例VI

在实施例I的104中，使用H.265/HEVC标准将该区域的相邻信息与时域运动的有限分块集(时间运动受限的分块集或MCTS)相结合。示例语法如表6所示。

在下面的语法中，adjacent_info_flag：0指示不存在区域相邻信息，1指示存在区域相邻信息。

表6

表7示出了adjacent_info字段的示例。

表7

在该表中，各种条目可能有以下表示信息的值。

length：长度信息(表的长度以比特或字节为单位)；

adjacent_num：相邻区域的数量；

sphere_adjacent_flag：该邻域是否与球面上的当前区域相邻，1：相邻，0：不相邻

(sphere_position_x，sphere_position_y，sphere_position_z)：该邻域左上角在球面上的三维坐标信息；

(rect_position_x，rect_position_y)：该邻域左上角在矩形平面上的二维坐标信息；

rotate_flag：该邻域是否旋转，1：旋转之后，0：不旋转

rotate_degree：该邻域的旋转角度。

实施例示例VII

该实施例可在视频解码器上实现。根据本实施例，如图5所示的处理流程500，视频解码器可以获取比特流(501)，从比特流(502)中提取区域的相邻信息，根据上述信息对比特流(503)中获得的区域数据进行处理。所述比特流和相邻关系信息可用于生成解码或解压缩图像(504)，以向用户界面显示。

在各种实施例中，上述每一个步骤都可以按照以下方式进一步实现。

步骤501：获得比特流

该比特流可以是视频流或包含系统层信息的流媒体流。比特流可以通过网络连接或从数据存储设备(诸如硬盘驱动器、光盘或固态存储器)获得。

步骤502：从比特流中提取区域的邻域信息。

根据感兴趣信息(诸如SEI、VUI、MPD等)的区域所处的不同位置，提取该区域的邻域信息。

步骤503：根据以上信息对区域数据进行后处理。

根据区域的邻域信息，结合视频编解码器单元(诸如采用H.264/AVC标准切片组(Slice Group)或采用H.265/HEVC标准分块的编解码器单元)，对图像数据进行后处理。后处理应用的一个示例可以包括对相邻区域的边界过滤。可执行此类操作以提高图像的观看质量。后处理操作的另一个示例包括对非相邻区域进行处理而不进行边界过滤。例如，使用关于相邻区域的信息，过滤可能被抑制或禁用跨视觉不连续边界的缺陷。后处理的另一个示例可能是误差补偿或恢复。在该操作中，可以只使用相邻区域的数据进行补偿，而不使用非相邻区域的信息进行补偿，从而对某一位置的视觉信息缺失进行误差补偿。例如，视频解码器的这种策略通过提供对用户来说看起来是连续的图像，有利地掩盖了比特流中丢失的比特所造成的视觉上明显的错误。

步骤504：生成用于显示的图像。

在视频解码(解压缩)和附加后处理之后，可以生成图像，并且图像可以存储在数据存储器和/或显示在显示设备上。

实施例示例VIII

在本实施例中，视频区域属于立体视频，并且区域的相邻信息同时用于左右视场。

实施例示例IX

在一些实施例中，可以对视频数据区域在不重排的情况下进行编码，并且同时生成区域的邻域信息。如果相邻区域是填充区域，则区域的邻域信息sphere_adjacent_flag被设置为2，指示该邻域在球面上不存在。

表8

实施例示例X

本实施例对应于实施例I中描述的比特流处理方法100。实施例10可以对应于如图6所示的设备600。设备600包括：

获取模块601，其被配置为收集球面全景视频图像信息。该模块可包括输入-输出控制器电路，用于从存储器或从相机帧缓冲器读取视频数据。该模块可以包括用于读取视频数据的处理器可执行指令。

映射重排模块602，其被配置为对球面全景视频图像数据进行映射和重排，并生成区域的邻域信息。该模块可以实现为处理器可执行软件代码。

视频编码器模块603，其被配置为根据区域的邻域信息对重排的视频图像数据进行编码。例如，视频编码器模块603可以是传统的H.264/H.265或适用于对矩形的视频和图像进行编码的其他编解码器。视频编码器模块603可以使用以下技术：使用运动估计/补偿或图像内编码技术。

显示/传输模块604被配置为对视频编码的数据或媒体数据进行存储或网络传输层编码，并可以对包括区域的邻域信息的视频数据进行编码，或对视频数据和区域相邻数据进行单独编码。

上述获取设备601、映射重排模块602、视频编码器603以及传输模块604可以使用专用硬件或能够与适当的软件结合进行处理的硬件来实现。这种硬件或专用硬件可以包括特定于应用的集成电路(ASIC)、各种其他电路、各种处理器等。当由处理器实现时，该功能可以由单个专用处理器、单个共享处理器或多个独立处理器(其中一些可能是共享的)提供。此外，处理器不应该被理解为是指能够执行软件的硬件，但可能隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失性存储设备。

本实施例中的设备600可以是视频应用中的设备，诸如移动电话、计算机、服务器、机顶盒、便携式移动终端、数字摄像机、电视广播系统设备，或类似的设备。

实施例示例XI

本实施例对应于实施例VII中描述的比特流处理方法，实施例XI涉及实现视频解码的设备700。如图7所示，该设备包括：

获取模块701，其被配置为从网络或存储设备获取比特流，并对包括视频编码数据或媒体数据的网络传输层数据进行解码，并且只能提出区域邻域信息数据，或提取包括区域邻域信息的视频数据；

相邻区域信息处理模块702，其被配置为解析区域邻域信息。

视频解码器703，其被配置为解码视频数据信息，解码全景视频，或提取感兴趣区域所在的独立解码单元进行解码。

显示设备704，其被配置为生成或显示全景视频图像或选择部分相邻区域图像显示。

上述传输模块701、区域相邻信息处理模块702、视频解码器703以及显示设备704可以通过使用专用硬件或能够与适当软件结合进行处理的硬件实现。这种硬件或特殊用途的硬件可以包括特定于应用的集成电路(ASIC)、各种其他电路、各种处理器等。当由处理器实现时，该功能可以由单个专用处理器、单个共享处理器或多个独立处理器(其中一些可能是共享的)提供。此外，处理器不应该被理解为是指能够执行软件的硬件，但可能隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失性存储设备。

本实施例的设备可以是视频应用中的设备，诸如移动电话、计算机、服务器、机顶盒、便携式移动终端、数字摄像机、电视广播系统设备或类似的设备。

实施例示例XII

图9示出了球面坐标系下的沉浸式视频图像的示例。这个坐标系与图2A中所描绘的坐标系相似。图9中示出了两个视觉特征，标记为视觉特征1和视觉特征2。这些特征可以是现实世界中刚性物体的视觉表示。视觉特征1位于球面坐标系的曲面上，并且在俯视图和左视图中都可见。类似地，视觉特征2在左侧视图中可见，在仰视图中也继续可见。这个球面表示的尺寸可以是W×H×D，其中W，H和D一般来说可以是不同的量。

图10示出了图9中的球面视图到二维矩形坐标系的映射。从视图中可以看到，视觉特征1和2分别在上/左视图和左/下视图的边缘上被分割。

虽然这不会造成任何信息损失，并且在解码器端重新映射可以使用文档中描述的相邻信息表来恢复视觉连续性，但某些视频处理，诸如运动预测和运动后补偿过滤，可能倾向于在边界上产生伪影。使用目前的技术可以消除或抑制这种伪影。

图11示出了二维坐标系中的区域的映射和重新排序，其中部分区域被旋转，以重建视觉特征(诸如视觉特征1和视觉特征2)的视觉连续性。经过映射和旋转，得到的视频图片的宽度为2*W+D，高度为2*H。在该示例中，其中一个区域逆时针旋转180度，并且另一个区域顺时针旋转90度(或逆时针旋转270度)。该实施例的一个有利方面是，由于映射和旋转，即使H、W和D可能具有不同的值，所产生的二维图像也是矩形图片。因此，即使在映射操作中使用不同维度的包围盒捕获三维沉浸式视频，该方案也是可行的。

图8示出了可用于实现本文档中所述的编码器端或解码器端技术的示例装置800。装置800包括处理器802，该处理器802可被配置为执行编码器端或解码器端技术或两者。装置800还可以包括用于存储处理器可执行指令和用于存储视频比特流和/或显示数据的存储器(未示出)。装置800可以包括视频处理电路(未示出)，诸如变换电路、算术编码/解码电路、基于查找表的数据编码技术等。视频处理电路可以部分包含在处理器和/或部分包含在其他专用电路中，诸如图形处理器、现场可编程门阵列(FPGA)等。

可以使用基于以下条款的描述来描述一些公开的技术：

1、一种用于视频或图片处理的方法，包括：获取视频比特流，该视频比特流包括编码的视频图像，该视频图像是包含三维坐标中的全景图像的多个区域的二维图像；提取多区域的邻域信息；使用所述邻域信息对从所述视频流解码的视频图像进行后处理；并从后处理之后的视频图像生成显示图像。

条款1所述的方法可用于解码单个图片或图片序列，诸如视频比特流。图5及相关描述描述了条款1所述方法的附加实施例和特征。

2、一种视频或图片处理方法，包括：获取以三维坐标系表示的全景图像；将全景图像映射到包含多个区域的二维图像；确定所述多个区域的邻域信息；从全景图像中生成包含所述邻域信息的视频比特流；以及传输或存储视频比特流。

条款2所述的方法可用于对单个图片或图片序列(诸如视频比特流)进行编码。图1及相关描述描述了条款2所述方法的附加实施例和特征。

3、根据条款1-2所述的方法，其中邻域信息包含在视频比特流的补充增强信息(SEI)字段中。

4、根据条款1-2中任一项所述的方法，其中邻域信息包含在比特流的视频可用性信息(VUI)字段中。

5、根据条款1-2中任一项所述的方法，其中邻域信息包括在媒体呈现描述(MPD)格式中。

6、根据条款1-5中任一项所述的方法，其中对于多个区域的区域，邻域信息包括：包括一个或多个相邻区域的数量的信息，一个或多个相邻区域的三维坐标与矩形坐标，或一个或多个相邻区域的旋转的指示。

7、根据条款6所述的方法，其中邻域信息还包括用于一个或多个相邻区域的一个或多个旋转角度。

8、根据条款4-5中任一项所述的方法，其中邻域信息包括相邻信息表。

9、根据条款1-8中任一项所述的方法，其中三维坐标系包括柱面坐标等距柱状(ERP)映射、立方体映射、八面体映射、二十面体映射、截断棱锥映射、分段球体投影或截断方锥。

10、一种视频编码器装置，包括被配置为实现权利要求2-9中任意一个或多个所述方法的处理器。

11、一种视频解码器装置，包括被配置为实现权利要求1或3-9中任意一个或多个所述方法的处理器。

12、一种计算机程序产品，其上存储有代码，该代码由处理器执行时，使该处理器实现权利要求1至9中任意一个或多个所述的方法。

条款中所述技术的其他实施例和特征在本文档通篇中公开。

本领域的普通技术人员将会意识到，上述所有或部分步骤都可以由指示相关的硬件(诸如只读存储器、磁盘或光盘)的程序来完成。另外，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的每个模块/单元可以以硬件的形式实现，也可以以软件功能模块的形式实现。本发明不限于任何具体形式的硬件和软件的组合。

本文档中描述的公开的和其他实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件(包括本文档中公开的结构及其等同结构)或其一个或多个的组合中来实现。所公开的和其他实施例可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的用于由数据处理装置执行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。所述计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成或它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播的信号是人工生成的信号，例如机器生成的电、光或电磁信号，其被生成以对信息进行编码以传输到合适的接收机装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且可以以任何形式进行部署，包括独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论程序的单个文件中或存储在多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。可以部署计算机程序以在一台计算机或位于一个站点上或分布在多个站点上并通过通信网络互连的多台计算机上执行。

本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，所述可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。所述过程和逻辑流程也可以由例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑电路执行，并且装置也可以实现为例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑电路。

适合于执行计算机程序的处理器包括例如通用微处理器和专用微处理器两者以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或可操作地耦合以从大容量存储设备中接收数据或向其传送数据或两者。但是，计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

尽管该专利文档包含许多细节，但是这些细节不应被解释为对任何发明或可被要求保护的发明的范围的限制，而是对可以特定于特定发明的特定实施例的特征的描述。在本专利文档中描述的在单独的实施例的上下文中的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变型。

类似地，尽管在附图中以特定顺序描绘了操作，但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中，各种系统组件的分离不应理解为要求在所有实施例中进行这种分离。

仅描述了一些实施方式和示例，其他实施方式、增强和变化可以基于本专利文档中描述和示出的内容进行。

Claims (19)

1.一种用于视频或图片处理的方法，包括：

获取视频比特流，所述视频比特流包括编码的视频图像，所述编码的视频图像是包含三维坐标中对应于宽度W、高度H和深度D的全景图像的多个区域的矩形二维图像；

其中，所述编码的视频图像具有宽度2*W+D和高度2*H，以及

其中，所述多个区域包括表示沿逆时针方向旋转180度的下视图的左上部分、表示顺时针旋转90度的左视图的中上部分、表示上视图的右上部分、表示前视图的左下部分、表示右视图的中下部分以及表示所述全景图像的后视图的右下部分；

提取用于所述多个区域的邻域信息；

使用所述邻域信息对从所述视频比特流解码的视频图像进行后处理；以及

从经过后处理之后的视频图像生成显示图像。

2.根据权利要求1所述的方法，其中，所述邻域信息被包含在所述视频比特流的补充增强信息(SEI)字段中。

3.根据权利要求1-2中任一项所述的方法，其中，所述邻域信息被包含在比特流的视频可用性信息(VUI)字段中。

4.根据权利要求1-2中任一项所述的方法，其中，所述邻域信息被包含在媒体呈现描述(MPD)格式中。

5.根据权利要求1-2中任一项所述的方法，其中，对于所述多个区域，所述邻域信息包括：包含一个或多个相邻区域的数量的信息、所述一个或多个相邻区域的三维坐标与矩形坐标，或所述一个或多个相邻区域的旋转的指示。

6.根据权利要求5所述的方法，其中，所述邻域信息还包括所述一个或多个相邻区域的一个或多个旋转角度。

7.根据权利要求5所述的方法，其中，所述邻域信息包括相邻信息表。

8.根据权利要求1-2中任一项所述的方法，其中，所述三维坐标包括柱面坐标等距柱状(ERP)映射、立方体映射、八面体映射、二十面体映射、截断棱锥映射、分段球体投影或截断方锥。

9.一种视频或图片处理方法，包括：

获取以三维坐标表示的具有宽度W、高度H和深度D的全景图像；

将所述全景图像映射到包含多个区域的矩形二维图像，所述多个区域包括表示沿逆时针方向旋转180度的下视图的左上部分、表示顺时针旋转90度的左视图的中上部分、表示上视图的右上部分、表示前视图的左下部分、表示右视图的中下部分以及表示所述全景图像的后视图的右下部分；

确定所述多个区域的邻域信息；以及

从所述全景图像中生成包含所述邻域信息的视频比特流；以及

传输或存储所述视频比特流。

10.根据权利要求9所述的方法，其中，所述邻域信息被包含在所述视频比特流的补充增强信息(SEI)字段中。

11.根据权利要求9所述的方法，其中，所述邻域信息被包含在比特流的视频可用性信息(VUI)字段中。

12.根据权利要求9所述的方法，其中，所述邻域信息被包含在媒体呈现描述(MPD)格式中。

13.根据权利要求9-12中任一项所述的方法，其中，对于所述多个区域，所述邻域信息包括：包含一个或多个相邻区域的数量的信息、所述一个或多个相邻区域的三维坐标与矩形坐标，或所述一个或多个相邻区域的旋转的指示。

14.根据权利要求13所述的方法，其中，所述邻域信息还包括所述一个或多个相邻区域的一个或多个旋转角度。

15.根据权利要求11-12中任一项所述的方法，其中，所述邻域信息包括相邻信息表。

16.根据权利要求9-12中任一项所述的方法，其中，所述三维坐标包括柱面坐标等距柱状(ERP)映射、立方体映射、八面体映射、二十面体映射、截断棱锥映射、分段球体投影或截断方锥。

17.一种视频编码器装置，包括处理器，其被配置为实现权利要求9-16中任意一项或多项所述的方法。

18.一种视频解码器装置，包括处理器，其被配置为实现权利要求1-8中任意一项或多项所述的方法。

19.一种计算机可读存储介质，其上存储有代码，所述代码由处理器执行时，使所述处理器实现权利要求1-16中任意一项或多项所述的方法。