CN109155858B - 视频编码方法和设备、视频解码方法和设备 - Google Patents

Abstract

公开了一种视频编码方法，所述视频编码方法包括以下步骤：通过将三维图像投影到多面体上来获得投影图像；产生包括第一像素区域和第二像素区域的矩形图像，其中，第一像素区域与投影图像相应；在从从矩形图像分割的且具有预定尺寸的多个块之中选择包含属于第一像素区域的至少一个像素和属于第二像素区域的至少一个像素的块；用预定值替换包括在选择的块中的属于第二像素区域的至少一个像素的像素值；并且对选择的块进行编码。

Description

视频编码方法和设备、视频解码方法和设备

技术领域

本公开涉及一种视频编码方法和设备以及一种视频解码方法和设备，并且更具体地，涉及这样的视频编码/解码方法和设备，其中，视频编码/解码方法和设备涉及以下操作：除与投影到由三角形组成的多面体上的投影图像相应的第一像素区域之外，用预定值替换第二像素区域的像素值。

背景技术

由于与虚拟现实(VR)相关的技术的最新发展，因此使用该技术的VR装置变得突出。VR装置被广泛应用于包括娱乐、教育、办公室工作、医疗等的各种领域。

显示在VR装置上的VR图像根据佩戴VR显示装置的用户的眼睛移动，因此，VR图像必须包括围绕用户的所有周围图像。也就是说，由VR装置提供的VR图像是围绕用户的所有周围方向的360度图像。因此，随着对VR装置兴趣的增加，对处理这种360度图像的兴趣也增加了。

根据现有技术的处理360度图像的方法包括将360度图像投影到四边形上以便对360度图像进行存储、处理和编码。然而，当图像被投影到四边形上时，冗余像素的数量增加，使得图像大小增大并且处理效率降低。因此，需要一种用于进一步有效地提供高质量图像的图像处理方法和设备。

发明内容

技术问题

提供能够通过处理投影到由三角形组成的多面体上的图像来提高编码效率的视频编码/解码方法和设备。

技术方案

根据本公开的一方面，一种视频编码方法包括：通过将三维图像投影到多面体上来获得投影图像；产生包括第一像素区域和第二像素区域的矩形图像，其中，第一像素区域与投影图像相应；选择包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，所述块来自于从矩形图像分割的且每个块具有预定尺寸的多个块中；用预定值替换包括在选择的块中的第二像素区域中包括的至少一个像素的像素值；并且对选择的块进行编码。

根据本公开的另一方面，一种视频编码设备包括：获取器，被配置为通过将三维图像投影到多面体上来获得投影图像；产生器，被配置为产生包括第一像素区域和第二像素区域的矩形图像，其中，第一像素区域与投影图像相应；以及编码器，被配置为选择包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，所述块来自于从矩形图像分割的且每个块具有预定尺寸的多个块中，用预定值替换包括在选择的块中的第二像素区域中包括的所述至少一个像素的像素值，并且对选择的块进行编码。

根据本公开的另一方面，一种视频解码方法包括：从解析的比特流提取每一个分别具有预定尺寸的块的已编码的图像数据；对包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块的图像数据进行解码；重建包括第一像素区域和第二像素区域的矩形图像；并且通过对与包括在矩形图像中的第一像素区域相应的投影图像进行渲染来重建三维图像。

根据本公开的另一方面，一种视频解码设备包括：提取器，被配置为从解析的比特流提取每一个具有预定尺寸的块的已编码的图像数据；解码器，被配置为对包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块的图像数据进行解码；并且重建包括第一像素区域和第二像素区域的矩形图像；以及重建器，被配置为通过对与包括在矩形图像中的第一像素区域相应的投影图像进行渲染来重建三维图像。

有益效果

根据本公开的视频编码/解码方法和设备，可通过处理投影到由三角形组成的多面体上的图像来提高渲染过程中的压缩率和图像质量。

附图说明

图1是示出根据实施例的视频编码设备的示图；

图2是根据实施例的视频编码方法的流程图；

图3是示出根据实施例的三维图像的示图；

图4是示出根据现有技术和实施例的三维图像的投影的示图；

图5是示出根据实施例的获得投影图像的示图；

图6是示出根据另一实施例的获得投影图像的示图；

图7是示出根据各种实施例获得的投影图像的示图；

图8是示出根据实施例的产生的包括第一像素区域和第二像素区域的矩形图像的示图；

图9是示出根据实施例的矩形图像的放大部分的示图；

图10是示出根据实施例的从矩形图像分割的且每个块具有预定尺寸的多个块的示图；

图11是示出根据实施例的选择的块的示图，其中，在选择的块中，包括在第二像素区域中的像素的像素值被替换；

图12是示出根据实施例的搜索包括在第一像素区域中的第一像素的示图；

图13是示出根据实施例的分别确定关于搜索第一像素的预定方向的示图；

图14是示出根据实施例的搜索第一像素的示图；

图15是示出根据另一实施例的搜索第一像素的示图；

图16是示出根据实施例的在两个方向上扫描像素的示图；

图17是示出根据实施例的视频解码设备的示图；

图18是示出根据实施例的视频解码方法的示图。

最佳实施方式

根据本公开的一方面，一种视频编码方法包括：通过将三维图像投影到多面体上来获得投影图像；产生包括第一像素区域和第二像素区域的矩形图像，第一像素区域与投影图像相应；选择包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，所述块来自于从矩形图像分割的多个块中并且每个块具有预定尺寸；用预定值替换包括在选择的块中的第二像素区域中包括的所述至少一个像素的像素值；并且对选择的块进行编码。

视频编码方法还可包括跳过针对仅包含有包括在第二像素区域中的像素的块的编码过程。

用预定值替换包括在选择的块中的第二像素区域中包括的所述至少一个像素的像素值的步骤可包括：搜索包括在第一像素区域中的第一像素，第一像素位于从包括在选择的块中的第二像素区域中包括的第二像素开始的预定方向上；并且用第一像素的像素值替换第二像素的像素值。

可仅针对选择的块来确定所述预定方向。

搜索第一像素的步骤可包括顺序地扫描在从第二像素开始的预定方向上排列的像素，并且将第一像素区域中的第一找到的像素确定为第一像素。

搜索第一像素的步骤可包括顺序地扫描在从第二像素开始的预定方向上排列的像素，并且将第一找到的像素和多个像素的加权和确定为第一像素的像素值，其中，第一找到的像素包括在第一像素区域中并且所述多个像素在第一像素区域中在预定方向上与第一找到的像素相邻。

搜索第一像素的步骤可包括扫描在从第二像素开始的至少两个方向上的像素，并且将多个像素中的一个像素确定为第一像素，所述多个像素在第一像素区域中在所述至少两个方向上被首先找到。

搜索第一像素的步骤可包括扫描在从第二像素开始的至少两个方向上的像素，并且将多个像素的均值确定为第一像素的像素值，所述多个像素在第一像素区域中在所述至少两个方向上被首先找到。

通过将三维图像投影到多面体上来获得投影图像的步骤可包括：通过将三维图像投影到多面体的平面模式视图上来获得投影图像。

通过将三维图像投影到多面体上来获得投影图像的步骤可包括：通过将三维图像投影到多面体上，然后，将投影到多面体上的图像投影在该多面体外部的至少一个平面上来获得投影图像。

所述多面体可包括由至少一个三角形组成的多面体。

根据本公开的另一方面，一种视频编码设备包括：获取器，被配置为通过将三维图像投影到多面体上来获得投影图像；产生器，被配置为产生包括第一像素区域和第二像素区域的矩形图像，第一像素区域与投影图像相应；以及编码器，被配置为选择包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，所述块来自于从矩形图像分割的多个块中并且每个块具有预定尺寸，用预定值替换包括在选择的块中的第二像素区域中包括的所述至少一个像素的像素值，并且对选择的块进行编码。

编码器还可被配置为跳过针对仅包含有包括在第二像素区域中的像素的块的编码过程。

编码器还可被配置为搜索包括在第一像素区域中的第一像素，第一像素位于从包括在选择的块中的第二像素区域中包括的第二像素开始的预定方向上，并且用第一像素的像素值替换第二像素的像素值。

根据本公开的另一方面，一种视频解码方法包括：从解析的比特流提取每一个分别具有预定尺寸的块的已编码的图像数据；对包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块的图像数据进行解码；重建包括第一像素区域和第二像素区域的矩形图像；并且通过对与包括在矩形图像中的第一像素区域相应的投影图像进行渲染来重建三维图像。

根据本公开的另一方面，一种视频解码设备包括：提取器，被配置为从解析的比特流提取每一个具有预定尺寸的块的已编码的图像数据；解码器，被配置为对包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块的图像数据进行解码；并且重建包括第一像素区域和第二像素区域的矩形图像；以及重建器，被配置为通过对与包括在矩形图像中的第一像素区域相应的投影图像进行渲染来重建三维图像。

具体实施方式

本公开的优点和特征以及实现本公开的方法可通过参照下面的优选实施例的详细描述和附图更容易地被理解。然而，本公开可被实现为很多不同的形式并且不应该被解释为受限于这里阐述的实施例。相反，提供这些实施例使得本公开将是彻底的和完整的并且将向本领域中的普通技术人员充分传达本公开的构思。

在下文中，将简要描述说明书中使用的术语，并且将详细描述本公开。

这里使用的全部术语(包括描述性的或技术性的术语)应被解释为具有对本领域中的普通技术人员显而易见的含义。然而，根据本领域中的普通技术人员的意图、先例或新技术的出现，术语可具有不同的含义。此外，一些术语可由申请人任意选择，并且在这种情况下，被选择的术语的含义将在本公开的详细描述中被详细描述。因此，这里使用的术语必须基于术语的含义与整个说明书中的描述一起来定义。

在整个说明书中，除非上下文清楚地另有所指，否则单数形式也可包括复数形式。

在整个说明书中，当部件“包括”或“包含”元件时，除非存在与此相反的具体描述，否则部件还可包括其它元件，而不排除其它元件。如说明书中使用的，术语“单元”表示但不限于执行特定任务的软件或硬件组件(诸如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))。单元可最好被配置为驻留在可寻址存储介质上并且被配置为在一个或更多个处理器上执行。因此，单元可包括例如组件(诸如，软件组件、面向对象软件组件、类组件和任务组件)、进程、功能、属性、程序、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表格、数组和变量。组件和单元中设置的功能可被组合到更少的组件和单元中或者还可被分离到附加的组件和单元中。

现在将参照附图更充分地描述本公开的实施例，以使本领域中的普通技术人员能够没有任何困难地执行本公开。此外，为了清楚描述本公开，在附图中将省略与本公开的描述无关的部分。

图1是示出根据实施例的视频编码设备100的示图。

如图1所示，视频编码设备100包括获取器110、产生器130和编码器150。视频编码设备100的元件可执行将在下面参照图2到图16详细描述的根据各种实施例的视频编码方法。因此，冗余的描述将被简要提供。

获取器110可通过将三维图像投影到多面体上来获得投影图像。下面将参照图3描述根据实施例的三维图像。下面将参照图4到图7描述根据各种实施例的投影图像的获得。

产生器130可产生矩形图像，其中，所述矩形图像包括与投影图像相应的第一像素区域和除了第一像素区域之外的第二像素区域。下面将参照图8到图9描述根据实施例的包括第一像素区域和第二像素区域的矩形图像。

编码器150可选择包括有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，其中，所述块来自于从矩形图像分割的且每个块具有预定尺寸的多个块之中，编码器150可用预定值替换包括在选择的块中的第二像素区域中包括的至少一个像素的像素值，并且可对选择的块进行编码。

根据实施例，编码器150可搜索包括在第一像素区域中的第一像素，其中，第一像素位于从包括在选择的块中的第二像素区域中包括的第二像素开始的预定方向上，并且编码器150可用找到的第一像素的像素值替换第二像素的像素值。

根据实施例，编码器150可顺序扫描在从第二像素开始的预定方向上排列的像素，并且可将第一像素区域中的首先找到的像素确定为第一像素。

根据另一实施例，编码器150可顺序扫描在从第二像素开始的预定方向上排列的多个像素，并且可将首先找到的像素和多个像素的加权和确定为第一像素的像素值，其中，首先找到的像素包括在第一像素区域中并且所述多个像素在第一像素区域中在预定方向上与首先找到的像素相邻。

根据另一实施例，编码器150可在从第二像素开始的至少两个方向上扫描多个像素，并且可将多个像素中的一个像素确定为第一像素，其中，所述多个像素在第一像素区域中在所述至少两个方向上被首先找到。

根据另一实施例，编码器150可在从第二像素开始的至少两个方向上扫描像素，并且可将多个像素的均值确定为第一像素的像素值，其中，所述多个像素在第一像素区域中在所述至少两个方向上被首先找到。

根据实施例，视频编码设备100可包括随机存取存储器(ROM)、只读存储器(ROM)以及处理器作为元件，其中，随机存取存储器用于存储从外部源输入的信号或数据或者被用作与通过电子装置执行的各种操作相应的存储区域，只读存储器存储用于控制外围装置的控制程序。处理器可被实现为集成内核和图形处理单元(GPU)的片上系统(SoC)。此外，所述处理器可包括多个处理器。

图2是根据实施例的视频编码方法的流程图。

参照图2，在操作S210，视频编码设备100的获取器110可通过将三维图像投影到多面体上来获得投影图像。根据实施例，视频编码设备可通过经由使用相机捕捉围绕视频编码设备的周围环境的图像来获得三维图像。在这点上，视频编码设备可通过使用至少一个相机来捕捉围绕视频编码设备的周围环境的图像。根据实施例，相机可以是包括在视频编码设备中的元件，或者可被实现为与视频编码设备分离的装置。此外，视频编码设备可通过使用相机按照全景方式来捕捉周围环境的图像，并且可从特定位置(诸如，用户的位置)捕捉前、后、左、右、上和下方向中的每一个方向的图像。视频编码设备100可从外部装置接收三维图像。图3示出根据实施例的与操作S210相关的三维图像。

图3是示出根据实施例的三维图像的示图。

如图3所示，三维图像300可以是球形图像。三维图像300可以是从特定位置开始360度环绕特定位置的周围环境的图像。当用户佩戴虚拟现实装置时，在虚拟现实内360度环绕用户的周围环境的图像可以是360度图像。360度图像被提供给用户，并且当佩戴虚拟现实装置的用户在虚拟现实内移动或者转动他的/她的眼睛时，针对用户的适当的图像可被提供。

返回参照图2，在操作S210，视频编码设备100的获取器110可通过将三维图像投影到多面体上来获得投影图像。根据实施例，多面体可以是由至少一个三角形组成的多面体。根据实施例，可通过将三维图像投影到多面体的平面模式视图上来获得投影图像。根据另一实施例，可将三维图像投影到多面体上，然后可将投影到多面体上的图像投影到在多面体外部的至少一个平面上，从而可获得投影图像。图4到图7示出根据各种实施例的在操作S210获得的投影图像。

图4是示出根据现有技术和实施例的三维图像的投影的示图。

参照图4，可获得可以是球形形状的图像的三维图像410。根据现有技术，可获得矩形形状的投影图像420。在这种情况下，如上所述，冗余像素的数量增加使得图像的大小增大，可能出现失真，并且可能降低处理效率。因此，可考虑将三维图像投影到诸如正八面体、正十二面体、正二十面体等的多面体上，并且例如，如图4所示，可通过将三维图像410投影到正二十面体的平面模式视图上来获得投影图像430。

图5是示出根据实施例的获得投影图像的示图。

如图5所示，除了使用正二十面体作为多面体外，也可通过经由使用正八面体510或正四面体530作为多面体来投影三维图像以获得投影图像。如图5所示，可通过使用正八面体510的平面模式视图来获得投影图像520，或者可通过使用正四面体530的平面模式视图来获得投影图像540。

图6是示出根据另一实施例的获得投影图像的示图。

根据实施例，三维图像可被投影到多面体上，然后投影到多面体上的图像可被投影到在多面体外部的至少一个平面上，使得可获得投影图像。例如，如图6所示，三维图像可被投影到正四面体610上，并且投影到正四面体610上的多个图像中的在一个方向的两侧的图像可再被投影到在正四面体610外部的平面620上，使得可获得投影图像630。作为结果，如图6所示，可获得具有四个投影图的投影图像640。然而，将图像投影到在多面体外部的至少一个平面上不限于图6的实施例，因此，可能有所不同。

图7是示出根据各种实施例获得的投影图像的示图。

如图7所示，可通过使用正八面体的平面模式视图来获得投影图像710，可通过使用正六面体的平面模式视图来获得投影图像720，可通过使用六面体的平面模式视图来获得投影图像730，并且可通过使用十八面体的平面模式视图来获得投影图像740。根据实施例，多个多面体可以分别是由至少一个三角形组成的多面体。多面体的一个面可以是由至少两个三角形组成的另一多边形。根据实施例，本公开不限于图7中示出的多面体，并且可通过使用具有各种形状的多面体来获得投影图像。

返回参照图2，在操作S220，视频编码设备100的产生器130可产生包括第一像素区域和第二像素区域的矩形图像，其中，第一像素区域与投影图像相应。图8和图9示出在操作S220产生的矩形图像。

图8是示出根据实施例的产生的包括第一像素区域和第二像素区域的矩形图像的示图。

如图8所示，矩形图像800可包括使用实线示出的第一像素区域810和在第一像素区域810的外围使用虚线示出的第二像素区域820。第一像素区域810可与通过使用参照图7描述的六面体的平面模式视图获得的投影图像相应。

当通过将三维图像投影到多面体上获得投影图像时，获得的投影图像可以是包括多个三角形的形状。在这种情况下，当投影图像被展开为具有平面形状的二维图像时，在所述多个三角形之间产生空的空间，并且当投影图像被渲染回三维图像时，空的空间可能是个问题。此外，当通过使用编解码器处理三角形形状的尖锐边时，压缩率可能降低并且图像质量可能恶化。

因此，在如图8所示的情况下，不仅包括与投影图像相应的第一像素区域而且包括第二像素区域的矩形图像被产生，然后，如下面将要描述的，第二像素区域的像素值被适当地填充，能够解决当投影图像被渲染成360度图像时三角形之间的接缝明显的问题。

在本公开中，可根据获得的投影图像的形状和与获得的投影图像相应的第一像素区域的形状使用正方形图像来替换矩形图像，并且第一像素区域和第二像素区域的形状不限于图8的实施例，因此，可能有所不同。

图9示出根据实施例的矩形图像的放大部分的示图。

参照图9，矩形图像的部分900可由包括阴影像素的第一像素区域910和包括非阴影像素的第二像素区域920组成。根据实施例，当产生矩形图像时，包括在第二像素区域920中的所有像素可不具有值或者可被设置为零或非零的预定值。

为了便于描述，下面将参照图10到图16描述的本公开的各种实施例将通过使用图9中示出的矩形图像的部分900来描述，并且可按照针对矩形图像的部分900的相同方式来执行未示出的矩形图像的其它部分的处理。

返回参照图2，在操作S230，视频编码设备100的编码器150可选择包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，其中，所述块来自于从矩形图像分割的且每个块具有预定尺寸的多个块中。图10示出从矩形图像分割的且每个块具有预定尺寸的多个块、以及涉及操作S230的从所述多个块中选择的块。

图10是示出根据实施例的从矩形图像分割的且每个块具有预定尺寸的多个块的示图。

如图10所示，矩形图像可被分割成块1000、块1002、块1004、块1006、块1008、块1010、块1012和块1014，其中，每个块的大小为8x8个像素。根据实施例，可不同地确定块的大小，并且块的大小可以不同。

针对在操作S230选择的块，参照图10，除了块1008仅包含有包括在第一像素区域中的像素并且块1004仅包含有包括在第二像素区域中的像素之外，其它的块1000、块1002、块1006、块1010、块1012和块1014包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素。因此，除了两个块1004和块1008之外，可选择其它的块1000、块1002、块1006、块1010、块1012和块1014。

返回参照图2，在操作S240和S250，视频编码设备100的编码器150可用预定值替换包括在选择的块中的第二像素区域中包括的至少一个像素的像素值，并且可对选择的块进行编码。图11到图17示出使用预定值来替换包括在选择的块中的第二像素区域中包括的至少一个像素的像素值的各种实施例。

图11是示出根据实施例的选择的块的示图，其中，在选择的块中，包括在第二像素区域中的像素的像素值被替换。

如图11所示，包括在选择的块1100、块1102、块1104、块1106、块1008和块1110中的第二像素区域中包括的全部像素的像素值可用预定值进行替换。块1112仅包含有包括在第二像素区域中的像素并且不包含有包括在第一像素区域中的像素，因此，包括在第二像素区域中的像素的像素值可不用预定值来替换。

根据实施例，可跳过针对仅包含有包括在第二像素区域中的像素的块1112的编码。包括在块1112中的像素可被处理为不具有像素值的空像素，或者可被设置为零或非零的预定值。块1112被处理为跳过块，并且在时间轴上不发生像素值的改变，因此，可在编码/解码过程中节省比特数。编码器150可对这样的信息进行编码：指示块1112是否仅包含有包括在第二像素区域中的像素的信息，并且可将该信息添加到比特流。

块单元(其中，所述块单元是具有第二像素区域中的像素的块)的像素值用预定值被替换，因此，当图像被编码时，可预期图像质量和比特速率的优势，并且因为在图像中不包括尖锐边，所以可提高编码效率。

根据实施例，用预定值替换包括在选择的块中的在第二像素区域中包括的至少一个像素的像素值的操作S240可包括以下操作：搜索包括在第一像素区域中的第一像素，其中，第一像素位于从包括在选择的块中的第二像素区域中包括的第二像素开始的预定方向上；以及用找到的第一像素的像素值替换第二像素的像素值。根据实施例，可仅针对选择的块确定预定方向。

图12是示出根据实施例的搜索包括在第一像素区域中的第一像素的示图，并且图13是示出根据实施例的分别确定关于搜索第一像素的预定方向的示图。

如图12所示，选择的块1200可包含有包括在第二像素区域中的第二像素1202，并且可在预定方向上搜索包括在第一像素区域中的第一像素，其中，预定方向可以是从选择的块1200开始的左方向、左下方向和下方向中的一个方向。关于搜索第一像素的预定方向不限于左方向、左下方向和下方向，并且可被确定为具有各种角度中的一个角度的方向。

如图13所示，可针对块1300、块1302、块1304、块1306、块1308和块1310中的每一个分别确定关于搜索第一像素的预定方向。块1300和块1302中的预定方向可以是左方向，块1304中的预定方向可以是右方向，块1306中的预定方向可以是左下方向，块1308中的预定方向可以是下方向，并且块1310中的预定方向可以是右下方向。根据实施例，可基于预设标准来确定关于搜索块的第一像素的预定方向，并且预设标准可包括：在该块中包括在第一像素区域中的像素的分布、确定的相邻块的扫描方向等。

根据实施例，扫描排列在从第二像素开始的预定方向上的像素，并且包括在第一像素区域中的首先找到的像素可被确定为第一像素。

图14是示出根据实施例的搜索第一像素的示图。

如图14所示，块1400可包含有包括在第二像素区域中的第二像素1402，可扫描从第二像素1402开始的左方向上的像素，并且包括在第一像素区域中的首先找到的像素可被确定为第一像素1404。

根据实施例，可在从第二像素开始的预定方向上扫描像素，并且首先找到的像素和多个像素的加权和可被确定为第一像素的像素值，其中，首先找到的像素包括在第一像素区域中并且所述多个像素在第一像素区域中在预定方向上与首先找到的像素相邻。

图15是示出根据实施例的搜索第一像素的示图。

按照与图14相似的方法，参照图15，块1500可包含有包括在第二像素区域中的第二像素1502，可扫描在第二像素1502的左方向上的像素，并且可计算包括在第一像素区域中的首先找到的像素1504和在左方向上相邻的三个像素1506的加权和。可通过经由将像素1504和在左方向上相邻的三个像素1506的各个像素值乘以不同的系数获得的值进行求和来计算加权和。根据实施例，当第一像素区域中不存在预定数量的在预定方向上与首先找到的像素相邻的像素时，首先找到的像素可被确定为第一像素，或者可通过使用现有的相邻像素确定第一像素的像素值。

根据实施例，可在从第二像素开始的至少两个方向上扫描像素，并且可将包括在第一像素区域中并且在所述至少两个方向上被首先找到的像素中的一个像素确定为第一像素。

根据另一实施例，可在从第二像素开始的至少两个方向上扫描像素，并且可将包括在第一像素区域中并且在所述至少两个方向上被首先找到的多个像素的均值确定为第一像素。

图16是示出根据实施例的在两个方向上扫描像素的示图。

如图16所示，块1600可包含有包括在第二像素区域的第二像素1602，并且可扫描在从第二像素1602开始的左方向和下方向上的像素。根据实施例，像素1604和像素1606中的至少一个可被确定为第一像素(其中，像素1604在左方向上被首先找到并且包括在第一像素区域中，并且像素1606在下方向上被首先找到并且包括在第一像素区域中)，并且第二像素1602的像素值可用第一像素的像素值来替换。根据另一实施例，找到的像素1604和找到的像素1606的均值可被确定为第一像素的像素值，并且第二像素1602的像素值可被确定为该均值。

在下文中，参照图17和图18，现在将描述根据实施例的视频解码设备1700的操作和将由视频解码设备1700执行的视频解码方法。根据实施例的视频解码设备1700可执行与针对视频编码设备100的操作的前述各种实施例相似或相反的操作。

图17是示出根据实施例的视频解码设备的示图。

如图17所示，视频解码设备1700包括提取器1710、解码器1730和重建器1750。

根据实施例，提取器1710可从解析的比特流提取具有预定尺寸的每个块的已编码的图像数据。

根据实施例，解码器1730可对包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块的图像数据进行解码，并且可重建包括第一像素区域和第二像素区域的矩形图像。

根据实施例，解码器1730可跳过针对仅包括第二像素区域中的像素的块的解码和重建处理。因为未对关于仅包括第二像素区域中的像素的块的冗余信息进行解析，所以解码器1730可通过使用已发送的其它信息(诸如，相邻块选择信息、指示块类型的信息等)对仅包括第二像素区域中的像素的块进行解码。包括在仅包括第二像素区域中的像素的块中的像素可被处理为不具有值的空像素，或者可被设置为零或非零的预定值。仅包括第二像素区域中的像素的块被处理为跳过块，并且该块在时间轴上没有像素值的改变，因此，可在编码/解码中节省比特数。提取器1710可从解析的比特流提取指示块是否仅包括第二像素区域中的像素的信息。

根据实施例，重建器1750可通过渲染与包括在矩形图像中的第一像素区域相应的投影图像来重建三维图像。

根据实施例，重建器1750可通过基于预设信息指定第一像素区域来定义第一像素区域和第二像素区域，并且将第一像素区域外部的像素确定为第二像素区域。重建器1750可删除包括在重建的矩形图像中的第二像素区域，并且产生与第一像素区域相应的投影图像，然后可通过对产生的投影图像进行渲染来重建三维图像。

图18是示出根据实施例的视频解码方法的流程图。

参照图18，在操作S1810，视频解码设备1700的提取器1710可从解析的比特流提取具有预定尺寸的每个块的已编码的图像数据。

参照图18，在操作S1820，视频解码设备1700的解码器1730可对包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块的图像数据进行解码。

参照图18，在操作S1830，视频解码设备1700的解码器1730可重建包括第一像素区域和第二像素区域的矩形图像。

参照图18，在操作S1840，视频解码设备1700的重建器1750可通过对与包括在矩形图像中的第一像素区域相应的投影图像进行渲染来重建三维图像。

本公开的各种实施例已经被详细示出并且描述。各种实施例可以是各自独立的或者可相互组合。本领域中的普通技术人员将理解，在不脱离本公开的精神和范围的情况下，这里可对其进行形式和细节上的各种改变。实施例应被认为仅是描述性的而不是为了限制的目的。因此，本公开的范围不是通过本公开的详细描述被限定而是通过附加的权利要求被限定，并且本范围内的所有差异将被解释为包括在本公开中。

本公开的实施例可被写为计算机可执行程序，并且可在通过使用计算机可读记录介质执行程序的通用数字计算机中实现。计算机可读记录介质的示例包括磁性存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。

Claims (13)

1.一种视频编码方法，包括：

通过将三维图像投影到多面体上来获得投影图像；

产生包括第一像素区域和第二像素区域的矩形图像，其中，第一像素区域与投影图像相应；

选择包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，其中，所述块来自于从矩形图像分割的且每个块具有预定尺寸的多个块中；

搜索包括在第一像素区域中的第一像素，其中，第一像素位于从包括在选择的块中的第二像素区域中包括的第二像素开始的预定方向上；

用第一像素的像素值替换第二像素的像素值；并且

对选择的块进行编码，

其中，所述预定方向是基于包括在选择的块中的第一像素区域中的像素的分布或选择的块的相邻块的确定的扫描方向被确定的。

2.如权利要求1所述的视频编码方法，还包括：跳过针对仅包含有包括在第二像素区域中的像素的块的编码。

3.如权利要求1所述的视频编码方法，其中，仅针对选择的块来确定所述预定方向。

4.如权利要求1所述的视频编码方法，其中，搜索第一像素的步骤包括：顺序地扫描在从第二像素开始的预定方向上排列的多个像素，并且将第一像素区域中的首先找到的像素确定为第一像素。

5.如权利要求1所述的视频编码方法，其中，搜索第一像素的步骤包括：顺序地扫描在从第二像素开始的预定方向上排列的像素，并且将首先找到的像素和多个像素的加权和确定为第一像素的像素值，其中，首先找到的像素包括在第一像素区域中，并且所述多个像素在第一像素区域中在所述预定方向上与首先找到的像素相邻。

6.如权利要求1所述的视频编码方法，其中，搜索第一像素的步骤包括：扫描从第二像素开始的至少两个方向上的像素，并且将多个像素中的一个像素确定为第一像素，其中，所述多个像素在第一像素区域中在所述至少两个方向上被首先找到。

7.如权利要求1所述的视频编码方法，其中，搜索第一像素的步骤包括：扫描从第二像素开始的至少两个方向上的像素，并且将多个像素的均值确定为第一像素的像素值，其中，所述多个像素在第一像素区域中在所述至少两个方向上被首先找到。

8.如权利要求1所述的视频编码方法，其中，通过将三维图像投影到多面体上来获得投影图像的步骤包括：通过将三维图像投影到多面体的平面模式视图上来获得投影图像。

9.如权利要求1所述的视频编码方法，其中，通过将三维图像投影到多面体上来获得投影图像的步骤包括：通过将三维图像投影到多面体上并随后将投影到多面体上的多个图像投影到该多面体外部的至少一个平面上，获得投影图像。

10.如权利要求1所述的视频编码方法，其中，所述多面体包括由至少一个三角形组成的多面体。

11.一种视频编码设备，包括：

获取器，被配置为通过将三维图像投影到多面体上来获得投影图像；

产生器，被配置为产生包括第一像素区域和第二像素区域的矩形图像，其中，第一像素区域与投影图像相应；

编码器，被配置为：选择包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块，其中，所述块来自于从矩形图像分割的且每个块具有预定尺寸的多个块中；搜索包括在第一像素区域中的第一像素，其中，第一像素位于从包括在选择的块中的第二像素区域中包括的第二像素开始的预定方向上；用第一像素的像素值替换第二像素的像素值；并且对选择的块进行编码，

其中，所述预定方向是基于包括在选择的块中的第一像素区域中的像素的分布或选择的块的相邻块的确定的扫描方向被确定的。

12.如权利要求11所述的视频编码设备，其中，编码器还被配置为跳过针对仅包含有包括在第二像素区域中的像素的块的编码。

13.一种视频解码方法，包括：

从解析的比特流提取多个块中的每个块的已编码的图像数据，其中，所述多个块中的每个块具有预定尺寸；

对包含有包括在第一像素区域中的至少一个像素和包括在第二像素区域中的至少一个像素的块的图像数据进行解码；

重建包括第一像素区域和第二像素区域的矩形图像；

通过对与包括在矩形图像中的第一像素区域相应的投影图像进行渲染来重建三维图像，

其中，第二像素区域中的一个或更多个像素的像素值与第一像素区域中的一个或更多个像素的像素值相同，第一像素区域中的一个或更多个像素位于从第二像素区域中的一个或更多个像素开始的预定方向上，

其中，所述预定方向是基于包括在所述块中的第一像素区域中的像素的分布或所述块的相邻块的确定的扫描方向被确定的。

Images