CN109429062A - 金字塔模型的处理方法和装置、图像编码方法和装置 - Google Patents

Abstract

本申请实施例提供了一种金字塔模型的处理方法和装置、图像编码方法和装置，其中的方法具体包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。本申请实施例可以有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。

Description

金字塔模型的处理方法和装置、图像编码方法和装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种金字塔模型的处理方法、一种金字塔模型的处理装置、一种图像编码方法和一种图像编码装置。

背景技术

全景视频指的是超过一般视野的广角视频内容，例如，环形/柱形360度视频可以提供360度的视野。全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此能够很好地提高视觉体验。

目前，为了实现全景视频的传输，现有方案可以在发送端对全景视频进行转码，相应的转码过程可以包括：将全景视频图像映射至三维模型，将包含映射图像的三维模型展开为二维平面图像，并对该二维平面图像进行编码，以得到编码流；这样，接收端在接收到编码流后，可以对该编码流进行解码，以从中恢复出二维平面图像，并按照与发送端相应的方法，依据该二维平面图像进行三维模型的重构，进而利用重构得到的三维模型进行输出图像的渲染。

发明人在实施本申请实施例的过程中发现，现有方案在三维模型的重构过程中容易出现图像的不连续性问题，这将导致输出图像的渲染过程中产生缝隙效应，从而影响用户对于输出图像的观看体验。

发明内容

本申请实施例所要解决的技术问题是提供一种金字塔模型的处理方法，能够有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。

相应的，本申请实施例还提供了一种金字塔模型的处理装置、一种图像编码方法和一种图像编码装置，用以保证上述方法的实现及应用。

为了解决上述问题，本申请公开了一种金字塔模型的处理方法，包括：

根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。

本申请公开了一种图像编码方法，包括：

根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；

依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；

采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；

对滤波处理后的平面图像进行编码，以得到对应的编码流。

本申请公开了一种金字塔模型的处理装置，包括：

平面图像确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。

本申请公开了一种图像编码装置，包括：

确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；

划分模块，用于依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；

滤波模块，用于采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；

编码模块，用于对滤波处理后的平面图像进行编码，以得到对应的编码流。

本申请公开了一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行前述一个或多个所述的方法。

本申请公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述一个或多个所述的方法。

与现有技术相比，本申请实施例包括以下优点：

本申请实施例中，由于上述第二图像能够将所述三维模型侧面的多个图像对应的高频区域进行集聚，因此可以提高上述多个目标图像对应的多个第一映射图像在重构得到的目标三维模型中的连续性；进而因此能够有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。

附图说明

图1是示出了现有的一种三维模型的结构示意图；

图2是现有的一种三维模型的展开过程示意图；

图3是现有的一种二维平面图形的示意图；

图4是本申请一个实施例提供的一种全景视频在转码端和终端设备的处理流程图；

图5是本申请一个实施例提供的全景视频图像的处理方法的步骤流程图；

图6是本申请的一种圆柱展开图像的获取过程示意；

图7是本申请的一种预置三维模型的结构示意图；

图8、图9分别是基于图7所示预置三维模型建立第一映射关系的过程示意；

图10是本申请的一种平面图像的示意图；

图11是本申请的另一种平面图像的示意；

图12是本申请一个实施例提供的一种确定全景视频图像对应的平面图像的方法的步骤流程图；

图13是本申请的一种被定位至三维坐标系的预置三维模型的示意；

图14是本申请的一种包含投影图形的预置三维模型的示意；

图15是本申请的一种第一夹角和第二夹角的示意；

图16是本申请另一实施例提供的全景视频图像的处理方法的步骤流程图；

图17A、图17B、图17C是本申请实施例提供的滤波模板的示意图；

图18是本申请再一实施例提供的全景视频图像的处理方法的步骤流程图；

图19是本申请一实施例提供的图像编码方法的步骤流程图；

图20是本申请一个实施例提供的一种全景视频图像的处理装置实施例的结构框图；

图21是本申请另一实施例提供的一种全景视频图像的处理装置实施例的结构框图；

图22是本申请一个实施例提供的一种图像编码装置实施例的结构框图；

图23是本申请一实施例提供的设备的硬件结构示意图；以及

图24是本申请另一实施例提供的设备的硬件结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此全景视频是VR(Virtual Reality，虚拟现实)领域的一个热点业务，其能够提供给用户一种沉浸式的视频观看体验。

参照图4，示出了本申请一个实施例提供的一种全景视频在转码端和终端设备的处理流程图，全景视频在转码端和在终端设备的处理是对称的。其中，转码端可以建立预置三维模型，依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像，并对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流；进一步，转码端可以向终端设备发送该编码流，终端设备可以对接收到的编码流进行解码，以得到平面图像；然后可以根据该平面图像重构出与转码端相匹配的目标三维模型，并依据该目标三维模型进行输出图像的渲染，具体地，可以根据用户的实时观看视角，通过该目标三维模型进行输出图像的渲染，因此使得用户可观看全景视频。

本申请实施例中，终端设备可用于表示具有多媒体功能的终端设备，这些设备可以支持全景视频图像的显示功能和/或全景视频的播放功能。可选地，该终端设备可以包括但不限于：台式计算机、膝上型便携计算机、智能电视机、智能移动终端设备等，其中，该智能移动终端设备可以包括：智能手机、平板电脑、智能穿戴设备、VR设备等。

本申请实施例提供了一种全景视频图像的处理方案，该方案可以依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像，并对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流；其中，所述平面图像可以包括：组合图像，所述组合图像可以包括：多个目标图像；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像可以位于所述预置三维模型的侧面；由于本申请实施例的平面图像包含的多个目标图像相邻，故能够提高上述多个目标图像对应的多个第一映射图像在重构得到的目标三维模型中的连续性，因此能够有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。

参照图5，示出了本申请一个实施例提供的全景视频图像的处理方法的步骤流程图，具体可以包括：

步骤501、依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像；其中，所述平面图像可以包括：组合图像，所述组合图像可以包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；所述第一映射关系可以包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；

步骤502、对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流。

本申请实施例的步骤501至步骤502可由转码端设备执行，可选地，该转码端设备可以包括：服务器等需要进行全景视频传输的任意设备，本申请实施例对于具体的转码端设备不加以限制。

本申请实施例中，全景视频图像可以源自全景视频，例如，该全景视频图像可以为全景视频包含的帧图像。可选地，该全景视频图像可以为球型全景视频对应的圆柱(Equirectangular)展开图像。参照图6，示出了本申请的一种圆柱展开图像的获取过程示意，其中，可将输入的球型全景视频做圆柱形展开得到了最终的圆柱展开图像。可以理解，本申请实施例的全景视频图像还可以源自除了球型全景视频之外的全景视频，如立方体映射(Cubemap)模型全景视频等，本申请实施例对于该全景视频图像的具体来源不加以限制。

本申请实施例中，预置三维模型的表面所包含的映射图像可用于表示在将全景视频图像映射至预置三维模型时、预置三维模型的表面所包含的图像。平面图像与预置三维模型的表面所包含的映射图像之间可以具有第一映射关系，以及所述映射图像与全景视频图像之间可以具有第二映射关系，故预置三维模型可以作为全景视频图像与平面图像之间的媒介，因此可以依据该第一映射关系和该第二映射关系，确定全景视频图像对应的平面图像。

在本申请的一种可选实施例中，该预置三维模型的形状可以为四棱锥，该四棱锥对应的预置三维模型可以将一个全景视频根据用户不同的观看视角映射到多路VR视频，从而降低每路VR视频的分辨率和传输码率。其中，该四棱锥的底面所包含的第二映射图像可用于表征用户主视角，该四棱锥的侧面所包含的多个第一映射图像可分别表示逐步远离用户主视角的映射图像部分，该四棱锥的顶点可以代表最远离用户主视角的位置；这样，可在用户观看的主视角向用户呈现高分辨率的图像数据，而在远离用户主视角的地方呈现低分辨率的图像数据，从而能够使得用户在主视角观看到清晰度较高的内容，并且使得整体全景视频的压缩图像面积和码率较低。

现有方案中，该四棱锥的底面的形状通常为菱形。然而，终端设备侧在依据该目标三维模型进行输出图像的渲染的过程中，该输出图像通常对应有矩形渲染窗口，假设菱形面积和矩形面积一致，则菱形将有一部分无法覆盖住矩形，因此，菱形的底面将导致渲染给用户的主视角图像中存在一部分较低分辨率的图像，进而造成矩形渲染窗口中图像分辨率和清晰度之间的不一致，进一步影响用户的观看体验。

针对上述矩形渲染窗口中图像分辨率和清晰度之间的不一致的问题，在本申请的一种可选实施例中，该四棱锥的底面的形状可以为矩形，上述矩形的底面能够与终端设备侧的矩形渲染窗口相匹配，故可以在最终渲染出来的主视角图像保持相同的清晰度，因此能够提高矩形渲染窗口中图像分辨率和清晰度之间的相匹配，进一步提升用户的观看体验。

可以理解，上述四棱锥只是作为预置三维模型的形状的可选实施例，实际上，本领域技术人员可以根据实际应用需求，采用预置三维模型的其他形状，如三棱锥、五棱锥等，本申请实施例对于预置三维模型的具体形状不加以限制。

在本申请的一种可选实施例中，通过如下步骤建立上述第一映射关系：对预置三维模型的侧面所包含的多个第一映射图像进行压缩处理，以得到对应的多个目标图像；对所述多个目标图像进行组合，以得到对应的组合图像。

可选地，上述组合图像还可以包括：预置三维模型的底面所包含的第二映射图像。对所述预置三维模型的底面所包含的第二映射图像和所述组合图像进行拼接，可以得到所述预置三维模型的表面所包含的映射图像对应的平面图像。

参照图1，示出了现有的一种三维模型的结构示意图，现有方案可以按照图2所示的展开逻辑进行图1所示三维模型的展开，相应的展开过程可以包括：将图1所示三维模型中的菱形面、以及除了菱形面以外的四个三角形侧面，展开到同一个平面中，然后分别对四个三角形侧面对应的四个三角形进行压缩处理，直至该四个三角形最外面的四个顶点能够与菱形一起组成二维平面图形，该二维平面图形与前述的二维平面图像相应。

参照图3，示出了现有的一种二维平面图形的示意图，该二维平面图形为正方形，其中，中心的菱形301表示用户主视角，四周的四个三角形302分别表示逐步远离用户主视角的映射图像部分，并且，在该正方形的四条边中，从每条边的中心点慢慢过渡到正方形的顶点对应着图像分辨率的逐步降低，也即，接近正方形顶点的部分边(如图3中的321和322)的图像分辨率较低、且高频分量较多。而由于图像的高频分量越多，压缩损失效应也就越明显，因此，接近正方形顶点的部分边的压缩损失效应将非常明显；这样，图3中的321和322这两部分对应的图像的压缩损失，将导致三维模型的重构过程中出现图像的不连续性问题，因此导致输出图像的渲染过程中产生缝隙效应，从而影响用户对于输出图像的观看体验。

参照图7，示出了本申请的一种预置三维模型的结构示意图。该预置三维模型的形状可以为四棱锥，且该四棱锥的底面可以为矩形。参照图8、图9、图10分别示出了基于图7所示预置三维模型建立第一映射关系的过程示意。

其中，图8可以将四个第一映射图像和一个第二映射图像置于同一平面中，并对四个第一映射图像进行压缩处理，以得到对应的多个目标图像。具体地，可以将四个第一映射图像对应的四个三角形沿着底面矩形的四条边翻折到和底面矩形同一个平面中；并且，图8可以将四个第一映射图像对应的四个三角形沿着箭头方向进行压缩，直到四个三角形都成为等腰三角形1、2、3、4。这里，由于矩形的两条对角线相等，故此处的等腰三角形可用于作为矩形的组成部分，因此，此处的等腰三角形对应的图像可以作为本申请实施例的目标图像。

进一步，可以将图8所示的多个目标图像进行组合，以得到组合图像；具体地，可以将图8中位于第一映射图像对应矩形四周的四个等腰三角形1、2、3、4往矩形内部翻折，以得到图9所示矩形。图9中，第二映射图像对应的矩形上面又重叠了4个经过翻折的等腰三角形组成的组合图像对应的矩形，其中，组合图像中等腰三角形1、2、3、4对应的目标图像相互邻接：等腰三角形1、2对应的目标图像相互邻接、等腰三角形2、3对应的目标图像相互邻接，等腰三角形3、4对应的目标图像相互邻接、以及等腰三角形4、1对应的目标图像相互邻接，故能够提高上述多个目标图像对应的多个第一映射图像在重构得到的目标三维模型中的连续性，因此能够有效降低输出图像的渲染过程中产生的缝隙效应。并且，上述第二映射图像对应的矩形与组合图像对应的矩形的尺寸是相匹配的，故能够实现第二映射图像与组合图像之间的拼接。

进一步，可以将图9所示的组合图像与第二映射图像进行拼接，以得到对应的平面图像。例如，可以将图9中上层的那个由4个经过翻折的等腰三角形组成的矩形沿着第二映射图像对应矩形的某一条边做翻转以得到图10所示的平面图像对应形状。其中，图10为沿着第二映射图像对应矩形的右边翻转得到，可以理解，可以沿着第一映射图像对应矩形的其他边进行翻转。

可以理解，图8至图10只是作为本申请的一种建立第一映射关系的示例，实际上，本领域技术人员可以采用建立第一映射关系的其他过程，例如，相对于图8至图10所采用的翻转方式，还可以直接从预置三维模型的侧面获取其所包含的多个第一映射图像，并对该多个第一映射图像进行压缩处理和组合处理等，可以理解，本申请实施例对于建立第一映射关系的具体过程不加以限制。

另外，需要说明的是，图10可用于作为例如图7的矩形底面的预置三维模型对应的平面图像，在本申请的其他实施例中，对于菱形底面的预置三维模型(如图1所示的三维模型)，其对应的平面图像可以如图11所示。可选地，对于菱形底面的预置三维模型，由于菱形的两条对角线相互垂直，故为了实现多个第一映射图像对应多个目标图像的组合，该目标图像的形状可以为直角三角形。可以理解，本申请实施例对于预置三维模型对应的具体平面图像不加以限制。

本申请实施例中，由于全景视频图像可以源自球型全景视频、立方体映射全景视频等来源全景视频，故可以依据全景视频图像对应的来源全景视频的特点与预置三维模型的特点，建立映射图像与全景视频图像之间的第二映射关系。例如，可以将球型全景视频归一化为一个单位球，并且将预置映射模型的每一个表面点与该单位球的坐标原点相连接，得到的连线与该单位球的交点可以作为该预置三模型上的表面点与该交点之间可以具备第二映射关系，可以理解，本申请实施例对于第二映射关系的具体建立过程不加以限制。

在确定上述第一映射关系和上述第二映射关系之后，步骤501可以依据上述第一映射关系和上述第二映射关系，确定全景视频图像对应的平面图像。其中，全景视频图像对应的平面图像的确定过程可以为，依据上述第一映射关系和上述第二映射关系，从全景视频图像中获取与平面图像的第一像素点相对应的目标第三像素点的过程，这样，可以将目标第三像素点的像素信息赋予该第一像素点，由此可以得到全景视频图像对应的平面图像。

参照图12，示出了本申请一个实施例提供的一种确定全景视频图像对应的平面图像的方法的步骤流程图，其中，所述平面图像、所述映射图像、所述全景视频图像分别可以包括：第一像素点、第二像素点和第三像素点，该方法具体可以包括：

步骤1201、针对所述全景视频图像对应的平面图像包含的第一像素点，依据平面图像与预置三维模型的表面所包含的映射图像之间的所述第一映射关系，确定所述第一像素点对应的目标第二像素点；

步骤1202、依据所述映射图像与全景视频图像之间的第二映射关系，确定所述目标第二像素点对应的目标第三像素点；

步骤1203、将所述目标第三像素点的像素信息赋予所述第一像素点，以得到所述平面图像包含的第一像素点的像素信息。

本申请实施例中，第一像素点、第二像素点和第三像素点可分别表示二维/三维空间中的坐标点。

在实际应用中，可以将该预置三维模型定位到例如xyz的三维坐标系中。相应的定位过程可以包括：确定该预置三维模型所包含顶点的位置，如图13中五个顶点(a，b，c，d，e)的位置；并依据该预置三维模型所包含顶点的位置，确定该预置三维模型所包含的其他表面点的位置。可以理解，本领域技术人员可以根据实际应用需求，确定该预置三维模型所包含顶点的位置，例如，可以根据映射图像的质量要求，确定该预置三维模型所包含顶点的位置，可以理解，本申请实施例对于该预置三维模型所包含顶点的位置的具体确定过程不加以限制。

在本申请的一种可选实施例中，假设图10中位置点b的坐标为(0.0,1.0)，位置点g的坐标为(1.0,0.0)，参照表1，示出了此种情况下平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系的示意。

表1

(qx,qy,qz)	(x,y)
		(2x－0.5,y－0.5,0.5)	0≤x≤0.5
(1.5－2x,y－0.5,2.5－4x)	0.5＜x≤0.75，并且2x-1≤y≤-2x+2
		(1.5－2x,y－0.5,4x－3.5)	0.75＜x≤1，并且-2x+2≤y≤2x-1
(1.5－2x,y－0.5,2y－1.5)	0.5＜x≤1，并且y≥-2x+2或者y≥2x-1
		(1.5－2x,y－0.5,0.5－2y)	y≤-2x+2或者y≤2x-1

表1中，(x，y)表示平面图像中第一像素点的坐标，(qx，qy，qz)表示映射图像中第二像素点的坐标。

在本申请的另一种可选实施例中，映射图像与全景视频图像之间的第二映射关系可以表示为如下公式(1)：

公式(1)中，表示全景视频图像对应的极坐标，d＝sqrt(qx*qx+qy*qy+qz*qz).

假设全景视频图像对应的平面图像如图10所示，则可以针对图10包含的第一像素点(x，y)，确定其在图13所示预置三维模型中对应的目标第二像素点(x’，y’，z’)，然后，针对目标第二像素点(x’，y’，z’)，确定其在全景视频图像中对应的目标第三像素点(x”，y”)，并将目标第三像素点的像素信息赋予该第一像素点，由此可以得到全景视频图像对应的平面图像。可选地，上述像素信息可以为色彩空间的信息，例如，RGB(红绿蓝，Red GreenBlue)色彩空间中的R分量、G分量和B分量，又如，HSV(色调饱和度明度，Hue,Saturation,Value)色彩空间中的H分量、S分量和V分量等，可以理解，本申请实施例对于具体的像素信息不加以限制。

在本申请的一种可选实施例中，所述预置三维模型的形状可以包括：四棱锥，则所述确定所述第一像素点对应的目标第二像素点的步骤1201，可以确定第一像素点(x，y)对应的目标第二像素点(x’，y’，z’)，相应的确定过程可以包括：

步骤S1、若第一像素点位于所述平面图像的第二映射图像，则所述目标第二像素点的三维坐标中的第一维坐标和第二维坐标坐标与所述第一像素点的两维坐标相应，所述目标第二像素点的三维坐标中的第三维坐标为所述底面对应的预设坐标，所述第二映射图像位于所述预置三维模型的底面；和/或

步骤S2、若第一像素点位于所述平面图像的组合图像，则确定所述第一像素点对应的目标第一映射图像，并依据所述目标第一映射图像对应目标侧面在底面上的投影图形，确定所述第一像素点对应的目标第二像素点的坐标。

步骤S1可针对所述平面图像的第二映射图像中第一像素点，从预设三维模型的底面的第二映射图像中获取对应的目标第二像素点。如图13所示，其三维四边形abcd的y轴坐标y’可以为所述底面对应的预设坐标；并且，由于图13中三维四边形abcd与图10中第一映射图像对应的二维四边形abcd的形状是相匹配的，故二维四边形abcd的第一像素点与三维四边形abcd的第二像素点是一一对应的，因此，可以将二维四边形abcd的第一像素点(x,y)一一映射至三维四边形abcd的第二像素点的(x’，z’)，因此可以得到确定目标第二像素点(x’，y’，z’)。

步骤S2可针对所述平面图像的组合图像中第二像素点，确定所述第一像素点对应的目标第一映射图像，并从预设三维模型的目标侧面的第一映射图像中获取对应的目标第二像素点。

在此通过图10中二维三角形afe中第一像素点到图13中三维三角形abe的映射为例，对从预设三维模型的目标侧面的第一映射图像中获取对应的目标第二像素点的过程进行详细说明。具体地，可以将图13中顶点e向底面四边形abcd做垂直映射，得到图14中e’，进而得到三维三角形abe的投影三角形abe’，投影三角形abe’与xoz平面平行。

可选地，上述依据所述目标第一映射图像对应侧面在底面上的投影图形，确定所述第一像素点对应的目标第二像素点的坐标的步骤，可以包括：

依据所述投影图形与所述目标第一映射图像之间的映射关系，确定与所述第一像素点的坐标相应的所述目标第二像素点对应三维坐标中的第一维坐标和第二维坐标；和/或

依据所述投影图形与所述目标侧面之间的相似关系，确定所述第一像素点对应的目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系。

对于三维三角形abe的投影三角形abe’而言，由于其与xoz平面平行，故图10中二维三角形afe对应第一像素点的(x，y)与该投影三角形abe’对应第二像素点的(x’，z’)具有对应关系，并且，由于该投影三角形abe’对应第二像素点的(x’，z’)与三维三角形abe上的每个第二像素点的(x’，z’)也可以具有对应关系，具体地，三维三角形abe上的每个第二像素点的(x’，z’)与该投影三角形abe’对应第二像素点的(x’，z’)是相同的；这样，对于图14中三维三角形abe上的每个第二像素点，根据其(x,z)坐标，即可获得与二维三角形afe对应第一像素点的(x,y)之间的映射关系。

本申请实施例还可以依据所述投影图形与所述目标侧面之间的相似关系，确定所述第一像素点对应的目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系，例如，可以确定第二像素点对应的y’坐标与z’坐标之间的映射关系，这样，可以利用第二像素点对应的y’坐标与z’坐标之间的映射关系，根据已知的z’坐标求得y’坐标。

在此通过图14说明第二像素点对应的y’坐标与z’坐标之间的映射关系的确定过程。由于三维三角形abe与投影三角形abe’为相似三角形，而相似三角形的对应高线的比等于相似比；这样，可以从点e’向边ab做垂线得到e”，假设e’e”的长度为h1，ee’的长度为h2，进一步假设对于三维三角形abe中任意一点A垂直映射到abe’中的任意一点A’，A’到边ab的垂直距离为L1，而A到平面abcd的垂直距离为L2，那么L1和L2可以满足以下的关系：

L1/L2＝h1/h2 (2)

根据公式(1)，所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系可以包括：所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标的比值为预设值(如相似比)。因此，对于三维三角形abe上的任意一点，只要知道了z’坐标，也就能通过上述公式(2)求得y’坐标。

对于图10中二维三角形ade与图14中三维三角形ade之间的映射关系、图10中二维三角形efg与图14中三维三角形cbe之间的映射关系、以及图10中二维三角形deg与图14中三维三角形cde之间的映射关系而言，由于其确定过程与图10中二维三角形afe与图14中三维三角形abe之间的映射关系的确定过程类似，故在此不作赘述，相互参照即可。

在步骤1201得到第一像素点对应的目标第二像素点之后，步骤1202可以依据所述映射图像与全景视频图像之间的第二映射关系，确定所述目标第二像素点对应的目标第三像素点。例如，可以针对目标第二像素点(x’，y’，z’)，确定其在全景视频图像中对应的目标第三像素点(x”，y”)。

在本申请的一种可选实施例中，上述全景视频图像为球型全景视频对应的圆柱展开图像，则所述确定所述目标第二像素点对应的目标第三像素点的步骤1202，可以包括：

依据所述目标第二像素点与坐标原点的连线，确定所述目标第二像素点对应的第一夹角和第二夹角；

依据所述第一夹角和所述第二夹角，从所述全景视频图像中获取经纬度与所述第一夹角和所述第二夹角相匹配的目标第三像素点。

对于预置三维模型的表面点m(x’，y’，z’)，都可以通过m点与坐标圆点之间的连线om，求出对应的第一夹角Theta和第二夹角Phi。参照图15，对于点m来说，m’是点m在平面oxy中的投影，故可以定义om和om’之间的夹角为Phi，而om’与x轴的夹角为Theta。

由于上述全景视频图像为球型全景视频对应的圆柱展开图像，故可以依据上述第一夹角和所述第二夹角，定位到球体上的某个第三像素点。例如，按照图6所示圆柱展开图像的获取过程，可以采用经纬度表示圆柱展开图像的第三像素点(x”，y”)，这样，可以依据所述第一夹角和所述第二夹角，从所述全景视频图像中获取经纬度与所述第一夹角和所述第二夹角相匹配的目标第三像素点。

可以理解，上述依据第一夹角和第二夹角确定所述目标第二像素点对应的目标第三像素点的过程只是作为可选实施例，实际上，本领域技术人员可以根据实际应用需求，采用确定所述目标第二像素点对应的目标第三像素点的其他过程，例如，可以将球型全景视频归一化为一个单位球，并且将预置映射模型的每一个表面点与该单位球的坐标原点相连接，得到的连线与该单位球的交点可以作为该预置三模型上的表面点(第二像素点)与该交点之间可以具备映射关系，这样，可以依据该交点与全景视频图像之间的关系，从全景视频图像中确定第二像素点对应的目标第三像素点，可以理解，本申请实施例对于确定所述目标第二像素点对应的目标第三像素点的具体过程不加以限制。

在步骤501确定全景视频图像对应的平面图像之后，步骤502可以对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流。可选地，可以对一个全景视频所包含的多帧全景视频图像对应的多帧平面图像进行编码，也可以对多个全景视频所包含的多帧全景视频图像对应的多帧平面图像进行编码。或者，在对所述全景视频图像对应的平面图像进行编码之前，还可以对所述全景视频图像对应的平面图像进行滤波以平滑高频分等等，可以理解，本申请实施例对于具体的编码过程不加以限制。

综上，本申请实施例的全景视频图像的处理方法，由于全景视频图像对应的平面图像包含的多个目标图像相邻，而该目标图像与所述第二映射图像相应，故能够提高上述多个目标图像对应的多个第二映射图像在重构得到的目标三维模型中的连续性，因此能够有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。

参照图16，示出了本申请另一实施例提供的全景视频图像的处理方法的步骤流程图，具体可以包括：

步骤1601、依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像；其中，所述平面图像可以包括：组合图像，所述组合图像可以包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；所述第一映射关系可以包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；

步骤1602、依据所述目标图像中高频分量的分布信息，从所述目标图像中划分出至少两个子区域；

步骤1603、分别确定每个子区域的滤波模板，并采用所述滤波模板对所述子区域分别进行滤波处理；

步骤1604、对滤波处理后的平面图像进行编码，以得到对应的编码流。

相对于图5所示实施例，本实施例可以基于高频分量对平面图像中的目标图像进行分区域的处理，即确定每个子区域的滤波模板，采用所述滤波模板对子区域进行滤波处理；由于基于不同子区域的高频分量进行相应的滤波，可以平滑相应子区域的高频分量，因此可以在一定程度上缓解终端侧渲染出现的锯齿效应，提高图像质量，进而可以提升用户对于全景视频的观看体验。

在实际应用中，可以采用各种方式对全景视频图像进行映射，以得到上述映射图像。例如，其中一些方式是分区域映射，有些区域(如第二映射图像对应的区域)映射像素值多即分辨率高，有些区域(如第一映射图像对应的区域)映射像素值少即分辨率低。但是，分辨率低的区域在用户终端通过模型重构并且渲染图像时，由于映射得到的像素值少，相应映射图像的高频分量就多。其中，分辨率可用于表示单位英寸中所包含的像素点数。

在本申请的一种可选实施例中，所述目标图像中高频分量的分布信息可以为依据所述映射图像对应的分辨率得到。具体地，目标图像中越远离第二映射图像的位置区域其高频分量越多，反之目标图像中越靠近第二映射图像的位置区域其高频分量越少。

本申请实施例中，目标图像中的高频分量可以呈不均匀分布，因此可以确定出目标图像中高频分量的分布信息，依据该分布信息进行子区域的划分，从该目标图像中划分出至少两个子区域，以便于对不同的子区域进行不同的滤波处理。

在实际应用中，可以按照高频分量的数量、按照一定角度、按照下采样率从高到低的方向等因素，对目标图像进行子区域的划分。

在本申请的一种可选实施例中，所述分布信息可以包括：高频分量的数量。具体地，可以按照区域内高频分量的多少，从目标图像中划分出至少两个子区域，其中一个子区域的高频分量的数量多于另一个子区域。由于两个子区域内高频分量的数量不同，因此可以采用不同的滤波模板进行滤波，进而确定出每个子区域的滤波模板，然后分别采用各滤波模板对对应的子区域进行平滑滤波处理，通过平滑滤波能够有效平滑区域内的高频分量，得到滤波后的平面图像。然后可以对该滤波后的全景视频图像进行编码压缩，再传输给终端。

在本申请的另一种可选实施例中，所述依据所述目标图像中高频分量的分布信息，从所述目标图像中划分出至少两个子区域的过程，具体可以包括：以目标顶点为参考点，沿下采样率从高到低的方向，对所述目标图像进行划分，以得到至少两个子区域；其中，所述目标顶点可以包括高频分量最高区域所在的顶点。

例如，图10所示的平面图像可以包括：4个目标图像，该4个目标图像对应的三角形分别为：等腰三角形1、等腰三角形2、等腰三角形3和等腰三角形4，该4个等腰三角形共同的顶点e距离第二映射图像最远，因此可以作为高频分量最高区域所在的顶点。

在确定出目标图像中高频分量的分布信息后，可以依据该分布信息确定出该目标图像的各位置区域中高频分量的数量，依据高频分量的数量将所述目标图像划分出至少两个子区域。例如可以设置一个或多个门限值，基于门限和区域内的高频分量的数量的比较划分出两个或以上的子区域。

如图10中，依据分布信息确定的目标图像中高频分量的数量，即远离用户主视角的程度，可以将图10所示的一个等腰三角形划分为4个子区域，如等腰三角形3对应的子区域可以包括：子区域A1、子区域A2、子区域A3和子区域A4。其中，A1是最远离用户主视角的子区域，而A4是最接近用户主视角的子区域。例如按照门限和数量比较的方式中，可以设置高频分量的数量为N，并且门限包括T1、T2和T3，其中T1＞T2＞T3，则N＞T1的子区域即为A1，T1≥N＞T2的子区域即为A2，T2≥N＞T3的子区域即为A3，N≤T3的子区域记为A4。可选地，图10中，L1＝L2＝L3＝1/8L，其中，L为等腰三角形的底边边长也即正方形的边长如dg的长度。

可以理解，上述将图10所示的一个等腰三角形划分为4个子区域只是作为可选实施例，实际上本领域技术人员可以根据实际应用需求，确定一个等腰三角形所对应子区域的数量，实际上，子区域的数量可以为任意的大于或者等于2的数值。另外，图10中一个等腰三角形所对应子区域的形状为三角形只是作为可选实施例，实际上，本领域技术人员可以根据实际应用需求，确定一个等腰三角形所对应子区域的形状，如以4个等腰三角形共同的顶点e为圆心的扇形、或者扇形圆环等；这样，4个等腰三角形所对应子区域的形状可以为圆形或者圆环形。

在本申请的一种可选实施例中，上述分别确定每个子区域的滤波模板的过程，可以包括：依据子区域中的高频分量，分别确定所述子区域对应的滤波模板，其中，高频分量越多，滤波模板的平滑度越大。可选地，所述滤波模板的平滑度可以为依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。具体地，对于高频分量越多的子区域，采用模板尺寸和强度越大的滤波器(即滤波模板)，从而达到平滑高频分量的效果。其中，当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。

在本申请的另一种可选实施例中，上述采用所述滤波模板对所述子区域分别进行滤波处理的过程，可以包括：采用所述滤波模板对子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。在确定出子区域的滤波模板后，依据该滤波模板对该子区域进行滤波，其中平滑滤波包括以下至少一种：高斯滤波、中值滤波、均值滤波，还可以采用其他的低通滤波模板，如线性或非线性的平滑滤波方法等，本申请实施例不一一列举，不应理解为是对本申请的限制。因此对于目标图像划分出的子区域，采用滤波模板可以执行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。即对于目标图像划分出的子区域，可以依据含有的高频分量采用相同尺寸的模板执行不同的平滑滤波处理，也可以采用不同尺寸的模板执行相同或不同的平滑滤波处理。通过滤波获取滤波后的平面图像。其中通过滤波模板的系数可以确定其所对应的滤波处理类别。

例如对于图10的子区域，可以采用图11提供的三种不同的滤波模板进行滤波，其中，图17A示出了一种3×3的高斯滤波模板，图17B示出了一种3×3的均值滤波模板，图17C示出了一种5×5的均值滤波模板，这三者中图17C所示的均值滤波模板平滑度最大，而图17A所示的均值滤波模板平滑度最小。因此对于A1子区域，可采用图17C所示的5×5的均值滤波模板进行滤波，而对于A2子区域，可采用图17B所示的3×3的均值滤波模板进行滤波，对于A3子区域，可采用图17A所示的3×3的高斯滤波模板进行滤波，从而能够自适应的进行滤波。对于上述A4子区域，由于其距离用户的主视角较近，可采用平滑度较小的滤波模板，或者可不进行滤波处理。

可以理解，图17A至图17C所示的滤波模板、以及其对应的子区域只是作为应用示例，实际上，本领域技术人员可以根据实际应用需求，确定子区域对应的滤波模板。例如，对于具有复杂运动的视频，时间不稳定性会更加严重，故可以采用更平滑的自适应滤波策略，可以应用更大的过滤器模板和更平滑的滤波器内核等。

综上，本申请实施例的全景视频图像的处理方法，针对在自适应分辨率映射转码中在逐步远离用户主视角的区域会产生过多的映射采样高频分量，而导致编码码率的浪费以及渲染图像的锯齿感的问题，本申请实施例通过在这些远离主视角的目标图像，设置根据用户视角角度变化的自适应滤波方法，来使得这些包含高频分量的图像得到平滑，因此可以降低高频分量的强度。

参照图18，示出了本申请另一实施例提供的全景视频图像的处理方法的步骤流程图，具体可以包括：

步骤1801、对编码流进行解码，以得到平面图像；其中，所述平面图像可以包括：组合图像，所述组合图像包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；

步骤1802、依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系，对所述平面图像包含的多个目标图像进行重构，以得到对应的目标三维模型；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；

步骤1803、依据所述目标三维模型进行输出图像的渲染。

本申请实施例的步骤1801至步骤1803可由解码端设备执行，可选地，该解码端设备可以包括：终端设备等需要进行全景视频接收和输出的任意设备，本申请实施例对于具体的解码端设备不加以限制。

在实际应用中，步骤1801可以按照与转码端设备的步骤502可逆的处理过程，对编码流进行解码，以得到平面图像，可以理解，本申请实施例对于具体的解码过程不加以限制。

本申请实施例解码得到的平面图像可以包括第二映射图像和组合图像。可选地，可以对该平面图像进行拆分，以得到其所包含的第二映射图像和组合图像。例如，可以对图10或者图11所示的平面图像进行拆分，可以分别得到矩形形状的第二映射图像和组合图像，或者分别得到菱形形状的第二映射图像和组合图像。由于第一映射图像对应的多个目标图像相邻，故能够提高上述多个目标图像对应的多个第一映射图像在重构得到的目标三维模型中的连续性。

在本申请的一种可选实施例中，可以通过如下步骤获取所述平面图像包含的多个目标图像：依据所述组合图像的中心与顶点的连线，对所述组合图像进行切分，以得到相应的多个目标图像。可选地，该目标图像的数目可以与该组合图像对应多边形的边数相匹配。

在本申请的另一种可选实施例中，所述预置三维模型的形状可以包括：四棱锥，若所述预置三维模型对应底面的形状可以包括：菱形，则所述目标图像的形状可以包括：直角三角形；和/或，若所述预置三维模型对应底面的形状可以包括：矩形，则所述目标图像的形状可以包括：等腰三角形。

在步骤1801得到平面图像之后，步骤1802可以依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系，对所述平面图像包含的多个目标图像进行重构，以得到对应的目标三维模型。

在本申请的再一种可选实施例中，所述对所述第一映射图像和所述多个目标图像进行重构的步骤1802，可以包括：

针对所述平面图像包含的第一像素点，依据平面图像与预置三维模型的表面所包含的映射图像之间的所述第一映射关系，确定所述第一像素点对应的目标第二像素点；

将所述第一像素点的像素信息赋予所述目标第二像素点，以得到所述目标三维模型的映射图像包含的目标第二像素点的像素信息。

假设步骤1801得到的平面图像如图10所示，则可以针对图10包含的第一像素点(x，y)，确定其在图13所示预置三维模型中对应的目标第二像素点(x’，y’，z’)，并将第一像素点的像素信息赋予该目标第二像素点，由此可以得到平面图像对应的目标三维模型。

在本申请的另一种可选实施例中，所述预置三维模型的形状包括：四棱锥，则所述确定所述第一像素点对应的目标第二像素点的步骤，可以分别针对组合图像和/或第二映射图像包含的第一像素点，确定对应的目标第二像素点，相应的确定过程可以包括：

若第一像素点位于所述平面图像的第二映射图像，则所述目标第二像素点的三维坐标中的第一维坐标和第二维坐标与所述第一像素点的两维坐标相应，所述目标第二像素点的三维坐标中的第三维坐标为所述底面对应的预设坐标；以图10所示第一映射图像与图13所示底面四边形之间的映射为例，底面四边形中目标第二像素点(x’，y’，z’)与二维四边形中第一像素点之间的映射关系可以表示为：x’＝x，z’＝z，y’可以为预设坐标。和/或

若第一像素点位于所述平面图像的组合图像，则确定所述第一像素点对应的目标第一映射图像，并依据所述目标第一映射图像对应目标侧面在底面上的投影图形，确定所述第一像素点对应的目标第二像素点的坐标。

可选地，所述依据所述目标第一映射图像对应侧面在底面上的投影图形，确定所述第一像素点对应的目标第二像素点的坐标的步骤，可以包括：

依据所述投影图形与所述目标第一映射图像之间的映射关系，确定与所述第一像素点的坐标相应的所述目标第二像素点对应三维坐标中的第一维坐标和第二维坐标；和/或

依据所述投影图形与所述目标侧面之间的相似关系，确定所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系。

以图10中二维三角形afe中第一像素点到图14中三维三角形abe之间的映射为例，对于三维三角形abe的投影三角形abe’而言，由于其与xoz平面平行，故图10中二维三角形afe对应第一像素点的(x，y)与该投影三角形abe’对应第二像素点的(x’，z’)具有对应关系，并且，由于该投影三角形abe’对应第二像素点的(x’，z’)与三维三角形abe上的每个第二像素点的(x’，z’)也可以具有对应关系，具体地，三维三角形abe上的每个第二像素点的(x’，z’)与该投影三角形abe’对应第二像素点的(x’，z’)是相同的；这样，对于图14中三维三角形abe上的每个第二像素点，根据其(x,z)坐标，即可获得与二维三角形afe对应第一像素点的(x,y)之间的映射关系。

根据公式(1)，所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系可以包括：所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标的比值为预设值(如相似比)。因此，对于三维三角形abe上的任意一点，只要知道了z’坐标，也就能通过上述公式(1)求得y’坐标。

在步骤1802重构得到目标三维模型之后，步骤1803可以根据用户的实时观看视角，通过该目标三维模型进行输出图像的渲染。

综上，本申请实施例的全景视频图像的处理方法，由于解码得到的平面图像包含的多个目标图像相邻，而该目标图像与所述第二映射图像相应，故能够提高上述多个目标图像对应的多个第二映射图像在重构得到的目标三维模型中的连续性，因此能够有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。

本申请实施例提供了一种金字塔模型的处理方法，该方法具体可以包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像可以包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。

在实际应用中，所述三维模型底面的图像可以包括：用户主视角对应的图像。所述三维模型侧面的图像可以包括：远离用户主视角也即用户副视角对应的图像。三维模型的原理同前述预置三维模型的原理类似。可选地，所述三维模型底面的图像形状可以包括：正方形(如图7所示)或者菱形。

在本申请的一种可选实施例中，所述根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像的过程，可以包括：将所述三维模型侧面的多个图像对应的高频区域进行集聚，以得到第二图像。由于上述第二图像能够将所述三维模型侧面的多个图像对应的高频区域进行集聚，因此可以提高上述多个目标图像对应的多个第一映射图像在重构得到的目标三维模型中的连续性。

在本申请的另一种可选实施例中，所述将所述三维模型侧面的多个图像对应的高频区域进行集聚的过程，可以包括：将所述三维模型侧面的多个图像进行压缩处理，以得到对应的多个子图像；对所述多个子图像进行组合，得到的第二图像中至少部分子图像相邻。图8可以说明将所述三维模型侧面的多个图像进行压缩处理的过程，图9可以说明对所述多个子图像进行组合进行说明的过程，在此不作赘述。

可选地，所述第一图像和第二图像的形状可以相同。如图10所示，二者的形状可以均为正方形，或者，如图11所示，二者的形状可以均为菱形。

可选地，所述第二图像可以包括：四个分别对应三维模型四个侧面的子图像，如图8至图10所示的三角形1、2、3、4对应的子图像。

可选地，所述子图像的形状可以包括：等腰直角三角形。

可选地，所述子图像可以为对三维模型的一个侧面图像进行压缩得到。

参照图19，示出了本申请另一实施例提供的图像编码方法的步骤流程图，具体可以包括：

步骤1901、根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；

步骤1902、依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；

步骤1903、采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；

步骤1904、对滤波处理后的平面图像进行编码，以得到对应的编码流。

缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，其中，s为M和N的公约数，M、N、S均为正整数，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。

可选地，所述从所述第二图像中划分出至少两个子区域的过程，可以包括：以目标顶点为参考点，沿下采样率从高到低的方向，对所述第二图像进行划分，以得到至少两个子区域；其中，所述目标顶点可以包括高频分量最高区域所在的顶点。在实际应用中，子区域与目标顶点之间的距离可以表征全景视频图像到所述三维模型的下采样率，该距离越大，则对应的下采样率越低，该距离越小，则对应的下采样率越高。

可选地，所述第二图像和所述子区域的形状可以均为正方形，所述子区域的数量为4，如图10所示的A1、A2、A3和A4四个子区域。当然，本申请实施例对于子区域的具体数量不加以限制。

可选地，所述4个子区域对应正方形的边长相对于所述第二图像对应正方形的边长的比例可以分别为：1/4、2/4、3/4和4/4。

可选地，通过如下步骤确定所述子区域对应的滤波模板：依据子区域对应的下采样率，确定所述子区域对应的滤波模板，其中，下采样率越高，滤波模板的平滑度越大。

可选地，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。

综上，本申请实施例的图像编码方法，通过在这些远离主视角的第二图像，设置根据用户视角角度变化的自适应滤波方法，来使得这些包含高频分量的图像得到平滑，因此可以降低高频分量的强度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

在上述实施例的基础上，本实施例还提供了一种全景视频图像的处理装置，应用于例如服务器的转码端设备中。

参照图20，示出了本申请一个实施例提供的一种全景视频图像的处理装置实施例的结构框图，具体可以包括如下模块：

平面图像确定模块2001，用于依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像；其中，所述平面图像包括：组合图像，所述组合图像包括：多个目标图像；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；以及

图像编码模块2002，用于对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流。

可选地，所述装置还可以包括：

压缩模块，用于对预置三维模型的侧面所包含的多个第一映射图像进行压缩处理，以得到对应的多个目标图像；

组合模块，用于对所述多个目标图像进行组合，以得到对应的组合图像。

可选地，所述预置三维模型的形状可以包括：四棱锥，若所述底面的形状可以包括：菱形，则所述目标图像的形状可以包括：直角三角形；和/或，若所述底面的形状可以包括：矩形，则所述目标图像的形状可以包括：等腰三角形。

可选地，所述平面图像、所述映射图像、所述全景视频图像分别可以包括：第一像素点、第二像素点和第三像素点，则所述平面图像确定模块可以包括：

第二像素点确定子模块，用于针对所述全景视频图像对应的平面图像包含的第一像素点，依据平面图像与预置三维模型的表面所包含的映射图像之间的所述第一映射关系，确定所述第一像素点对应的目标第二像素点；

第三像素点确定子模块，用于依据所述映射图像与全景视频图像之间的第二映射关系，确定所述目标第二像素点对应的目标第三像素点；

像素信息赋予子模块，用于将所述目标第三像素点的像素信息赋予所述第一像素点，以得到所述平面图像包含的第一像素点的像素信息。

可选地，所述预置三维模型的形状可以包括：四棱锥，则所述第二像素点确定子模块可以包括：

第一确定单元，用于在第一像素点位于所述平面图像的第二映射图像时，确定所述目标第二像素点的三维坐标中的第一维坐标和第二维坐标与所述第一像素点的两维坐标相应，所述目标第二像素点的三维坐标中的第三维坐标为所述底面对应的预设坐标，所述第二映射图像位于所述预置三维模型的底面；和/或

第一确定单元，用于在第一像素点位于所述平面图像的组合图像时，确定所述第一像素点对应的目标第一映射图像，并依据所述目标第一映射图像对应目标侧面在底面上的投影图形，确定所述第一像素点对应的目标第二像素点的坐标。

可选地，所述第一确定单元可以包括：

第一确定子单元，用于依据所述投影图形与所述目标第一映射图像之间的映射关系，确定与所述第一像素点的坐标相应的所述目标第二像素点对应三维坐标中的第一维坐标和第二维坐标；和/或

第二确定子单元，用于依据所述投影图形与所述目标侧面之间的相似关系，确定所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系。

可选地，所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系可以包括：所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标的比值为预设值。

可选地，所述全景视频图像为球型全景视频对应的圆柱展开图像，则所述第三像素点确定子模块可以包括：

夹角确定单元，用于依据所述目标第二像素点与坐标原点的连线，确定所述目标第二像素点对应的第一夹角和第二夹角；

夹角匹配单元，用于依据所述第一夹角和所述第二夹角，从所述全景视频图像中获取经纬度与所述第一夹角和所述第二夹角相匹配的目标第三像素点。

可选地，所述装置还可以包括：

划分模块，用于在所述图像编码模块对所述全景视频图像对应的平面图像进行编码之前，依据所述目标图像中高频分量的分布信息，从所述目标图像中划分出至少两个子区域；

滤波模块，用于分别确定每个子区域的滤波模板，并采用所述滤波模板对所述子区域分别进行滤波处理。

可选地，所述目标图像中高频分量的分布信息可以为依据所述映射图像对应的分辨率得到。

可选地，所述分布信息可以包括：高频分量的数量。

可选地，所述划分模块具体可以包括：

划分子模块，用于按照以目标顶点为参考点，沿下采样率从高到低的方向，对所述目标图像进行划分，以得到至少两个子区域；其中，所述目标顶点包括高频分量最高区域所在的顶点。

可选地，所述滤波模块具体可以包括：

确定子模块，用于依据子区域中的高频分量，分别确定所述子区域对应的滤波模板，其中，高频分量越多，滤波模板的平滑度越大。

可选地，所述滤波模板的平滑度可以依据所述滤波模板的尺寸和强度确定，所述强度可以依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，可以依据所述滤波模板的系数确定平滑度。

在上述实施例的基础上，本实施例还提供了一种全景视频图像的处理装置，应用于例如终端设备的解码端设备中。

参照图21，示出了本申请另一实施例提供的一种全景视频图像的处理装置实施例的结构框图，具体可以包括如下模块：

解码模块2101，用于对编码流进行解码，以得到平面图像；其中，所述平面图像包括：第一映射图像、以及组合图像，所述组合图像包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；

模型重构模块2102，用于依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系，对所述平面图像包含的多个目标图像进行重构，以得到对应的目标三维模型；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；以及

图像渲染模块2103，用于依据所述目标三维模型进行输出图像的渲染。

可选地，所述装置还可以包括：

切分模块，用于依据所述组合图像的中心与顶点的连线，对所述组合图像进行切分，以得到相应的多个目标图像。

可选地，所述预置三维模型的形状可以包括：四棱锥，若所述预置三维模型对应底面的形状可以包括：菱形，则所述目标图像的形状可以包括：直角三角形；和/或，若所述预置三维模型对应底面的形状可以包括：矩形，则所述目标图像的形状可以包括：等腰三角形。

可选地，所述模型重构模块2102可以包括：

第二像素点确定子模块，用于针对所述全景视频图像对应的平面图像包含的第一像素点，依据平面图像与预置三维模型的表面所包含的映射图像之间的所述第一映射关系，确定所述第一像素点对应的目标第二像素点；

像素信息赋予子模块，用于将所述第一像素点的像素信息赋予所述目标第二像素点，以得到所述目标三维模型的映射图像包含的目标第二像素点的像素信息。

可选地，所述预置三维模型的形状可以包括：四棱锥，则所述第二像素点确定子模块可以包括：

第一确定单元，用于在第一像素点位于所述平面图像的第二映射图像时，确定所述目标第二像素点的三维坐标中的第一维坐标和第二维坐标与所述第一像素点的两维坐标相应，所述目标第二像素点的三维坐标中的第三维坐标为所述底面对应的预设坐标；和/或

第二确定单元，用于在第一像素点位于所述平面图像的组合图像时，确定所述第一像素点对应的目标第一映射图像，并依据所述目标第一映射图像对应目标侧面在底面上的投影图形，确定所述第一像素点对应的目标第二像素点的坐标。

可选地，所述第二确定单元可以包括：

第一确定子单元，用于依据所述投影图形与所述目标第一映射图像之间的映射关系，确定与所述第一像素点的坐标相应的所述目标第二像素点对应三维坐标中的第一维坐标和第二维坐标；和/或

第二确定子单元，用于依据所述投影图形与所述目标侧面之间的相似关系，确定所述目标第二像素点对应三维坐标中的第三维坐标与第一维坐标或者第二维坐标之间的映射关系。

本申请实施例还提供了一种金字塔模型的处理装置，该装置具体可以可以包括：

平面图像确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像可以包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。

可选地，所述平面图像确定模块可以包括：

集聚子模块，用于将所述三维模型侧面的多个图像对应的高频区域进行集聚，以得到第二图像。

可选地，所述集聚子模块可以包括：

压缩单元，用于将所述三维模型侧面的多个图像进行压缩处理，以得到对应的多个子图像；

组合子单元，用于对所述多个子图像进行组合，得到的第二图像中至少部分子图像相邻。

可选地，所述三维模型底面的图像形状可以包括：正方形。

可选地，所述第一图像和第二图像的形状相同。

可选地，所述第二图像可以包括：四个分别对应三维模型四个侧面的子图像。

可选地，所述子图像的形状可以包括：等腰直角三角形。

可选地，所述子图像为对三维模型的一个侧面图像进行压缩得到。

可选地，所述三维模型底面的图像可以包括：用户主视角对应的图像。

参照图22，示出了本申请一实施例提供的一种图像编码装置实施例的结构框图，具体可以包括如下模块：

确定模块2201，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像可以包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；

划分模块2202，用于依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；

滤波模块2203，用于采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；

编码模块2204，用于对滤波处理后的平面图像进行编码，以得到对应的编码流。

可选地，划分模块2202可以包括：

划分子模块，用于以目标顶点为参考点，沿下采样率从高到低的方向，对所述第二图像进行划分，以得到至少两个子区域；其中，所述目标顶点可以包括高频分量最高区域所在的顶点。

可选地，所述第二图像和所述子区域的形状均为正方形，所述子区域的数量为4。

可选地，所述4个子区域对应正方形的边长相对于所述第二图像对应正方形的边长的比例分别为：1/4、2/4、3/4和4/4。

可选地，所述装置还可以包括：

模板确定模块，用于依据子区域对应的下采样率，确定所述子区域对应的滤波模板，其中，下采样率越高，滤波模板的平滑度越大。

可选地，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1至图19所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1至图19所示方法所包含步骤的指令(instructions)。

图23为本申请一实施例提供的设备的硬件结构示意图。如图23所示，该设备可以包括服务器、用户的终端设备等，其中该设备可以包括输入设备2300、处理器2301、输出设备2302、存储器2303和至少一个通信总线2304。通信总线2304用于实现元件之间的通信连接。存储器2303可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，存储器2303中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述处理器2301例如可以为中央处理器(Central Processing Unit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器2301通过有线或无线连接耦合到上述输入设备2300和输出设备2302。

可选的，上述输入设备2300可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；可选的，上述收发信机可以是具有通信功能的射频收发芯片、基带处理芯片以及收发天线等。麦克风等音频输入设备可以接收语音数据。输出设备82可以包括显示器、音响等输出设备。

在本实施例中，该设备的处理器包括用于执行各设备中数据处理装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图24为本申请另一实施例提供的设备的硬件结构示意图。图24是对图21在实现过程中的一个具体的实施例。如图24所示，本实施例的设备包括处理器2401以及存储器2402。

处理器2401执行存储器2402所存放的计算机程序代码，实现上述实施例中图1至图18的处理方法。

存储器2402被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。存储器2402可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，处理器2401设置在处理组件2400中。该设备还可以包括：通信组件2403，电源组件2404，多媒体组件2405，音频组件2406，输入/输出接口2407和/或传感器组件2408。设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件2400通常控制设备的整体操作。处理组件2400可以包括一个或多个处理器2401来执行指令，以完成上述图1至图18方法的全部或部分步骤。此外，处理组件2400可以包括一个或多个模块，便于处理组件2400和其他组件之间的交互。例如，处理组件2400可以包括多媒体模块，以方便多媒体组件2405和处理组件2400之间的交互。

电源组件2404为设备的各种组件提供电力。电源组件2404可以包括电源管理系统，一个或多个电源，及其他与为设备生成、管理和分配电力相关联的组件。

多媒体组件2405包括在设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件2406被配置为输出和/或输入音频信号。例如，音频组件2406包括一个麦克风(MIC)，当设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器2402或经由通信组件2403发送。在一些实施例中，音频组件2406还包括一个扬声器，用于输出音频信号。

输入/输出接口2407为处理组件2400和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件2408包括一个或多个传感器，用于为设备提供各个方面的状态评估。例如，传感器组件2408可以检测到设备的打开/关闭状态，组件的相对定位，用户与设备接触的存在或不存在。传感器组件2408可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与设备间的距离。在一些实施例中，该传感器组件2408还可以包括摄像头等。

通信组件2403被配置为便于该设备和其他设备之间有线或无线方式的通信。设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图24实施例中所涉及的通信组件2403、音频组件2406以及输入/输出接口2407、传感器组件2408均可以作为图21实施例中的输入设备的实现方式。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在一个典型的配置中，所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种全景视频图像的处理方法、一种全景视频图像的处理装置和一种终端设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (30)

1.一种金字塔模型的处理方法，其特征在于，包括：

根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。

2.根据权利要求1所述的方法，其特征在于，所述根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，包括：

将所述三维模型侧面的多个图像对应的高频区域进行集聚，以得到第二图像。

3.根据权利要求2所述的方法，其特征在于，所述将所述三维模型侧面的多个图像对应的高频区域进行集聚，包括：

将所述三维模型侧面的多个图像进行压缩处理，以得到对应的多个子图像；

对所述多个子图像进行组合，得到的第二图像中至少部分子图像相邻。

4.根据权利要求1至3中任一所述的方法，其特征在于，所述三维模型底面的图像形状包括：正方形。

5.根据权利要求1至3中任一所述的方法，其特征在于，所述第一图像和第二图像的形状相同。

6.根据权利要求1至3中任一所述的方法，其特征在于，所述第二图像包括：四个分别对应三维模型四个侧面的子图像。

7.根据权利要求6所述的方法，其特征在于，所述子图像的形状包括：等腰直角三角形。

8.根据权利要求6所述的方法，其特征在于，所述子图像为对三维模型的一个侧面图像进行压缩得到。

9.根据权利要求1至3中任一所述的方法，其特征在于，所述三维模型底面的图像包括：用户主视角对应的图像。

10.一种图像编码方法，其特征在于，包括：

根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；

依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；

采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；

对滤波处理后的平面图像进行编码，以得到对应的编码流。

11.根据权利要求10所述的方法，其特征在于，所述从所述第二图像中划分出至少两个子区域，包括：

以目标顶点为参考点，沿下采样率从高到低的方向，对所述第二图像进行划分，以得到至少两个子区域；其中，所述目标顶点包括高频分量最高区域所在的顶点。

12.根据权利要求10或11所述的方法，其特征在于，所述第二图像和所述子区域的形状均为正方形，所述子区域的数量为4。

13.根据权利要求12所述的方法，其特征在于，所述4个子区域对应正方形的边长相对于所述第二图像对应正方形的边长的比例分别为：1/4、2/4、3/4和4/4。

14.根据权利要求10或11所述的方法，其特征在于，通过如下步骤确定所述子区域对应的滤波模板：

依据子区域对应的下采样率，确定所述子区域对应的滤波模板，其中，下采样率越高，滤波模板的平滑度越大。

15.根据权利要求14所述的方法，其特征在于，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。

16.一种金字塔模型的处理装置，其特征在于，包括：

平面图像确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。

17.根据权利要求16所述的装置，其特征在于，所述平面图像确定模块包括：

集聚子模块，用于将所述三维模型侧面的多个图像对应的高频区域进行集聚，以得到第二图像。

18.根据权利要求17所述的装置，其特征在于，所述集聚子模块包括：

压缩单元，用于将所述三维模型侧面的多个图像进行压缩处理，以得到对应的多个子图像；

组合子单元，用于对所述多个子图像进行组合，得到的第二图像中至少部分子图像相邻。

19.一种图像编码装置，其特征在于，包括：

确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；

划分模块，用于依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；

滤波模块，用于采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；

编码模块，用于对滤波处理后的平面图像进行编码，以得到对应的编码流。

20.根据权利要求19所述的装置，其特征在于，所述划分模块包括：

划分子模块，用于以目标顶点为参考点，沿下采样率从高到低的方向，对所述第二图像进行划分，以得到至少两个子区域；其中，所述目标顶点包括高频分量最高区域所在的顶点。

21.根据权利要求19或20所述的装置，其特征在于，所述装置还包括：

模板确定模块，用于依据子区域对应的下采样率，确定所述子区域对应的滤波模板，其中，下采样率越高，滤波模板的平滑度越大。

22.根据权利要求21所述的装置，其特征在于，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。

23.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如权利要求1-9中一个或多个所述的方法。

24.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-9中一个或多个所述的方法。

25.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如权利要求10-15中一个或多个所述的方法。

26.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求10-15中一个或多个所述的方法。

27.一种全景视频图像的处理方法，其特征在于，包括：

依据平面图像与三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像；其中，所述平面图像包括：组合图像，所述组合图像包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；

对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流。

28.一种全景视频图像的处理方法，其特征在于，包括：

对编码流进行解码，以得到平面图像；其中，所述平面图像包括：组合图像，所述组合图像包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；

依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系，对所述平面图像包含的多个目标图像进行重构，以得到对应的目标三维模型；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；

依据所述目标三维模型进行输出图像的渲染。

29.一种全景视频图像的处理装置，其特征在于，包括：

平面图像确定模块，用于依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像；其中，所述平面图像包括：组合图像，所述组合图像包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；以及

图像编码模块，用于对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流。

30.一种全景视频图像的处理装置，其特征在于，包括：

解码模块，用于对编码流进行解码，以得到平面图像；其中，所述平面图像包括：组合图像，所述组合图像包括：多个目标图像，所述多个目标图像中至少部分目标图像相邻；

模型重构模块，用于依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系，对所述平面图像包含的多个目标图像进行重构，以得到对应的目标三维模型；所述第一映射关系包括：所述目标图像与第一映射图像之间的映射关系，所述第一映射图像位于所述预置三维模型的侧面；以及

图像渲染模块，用于依据所述目标三维模型进行输出图像的渲染。