CN106780317B - 全景投影方法及装置 - Google Patents

Abstract

本申请提供了全景投影方法及装置，涉及图像处理技术领域，其中，该全景投影方法包括：首先，将假想球面进行正交等分，并得到多个子球面，之后，将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，然后，将各个相机画面的内容映射到全景球面，并将全景球面进行投影，得到平面展开图，最后，对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码，与现有方法相比，同等画质情况下上述投影变换的方法计算量小，并且，投影变换的编码效率高。

Description

全景投影方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及全景投影方法及装置。

背景技术

全景(Panorama))是把相机拍摄的一组或多组照片经过多种处理最后拼接成的一个全景图像或视频，分为虚拟现实和3D实景两种。虚拟现实利用虚拟相机在三维顶点软件中处理虚拟场景的画面；3D实景利用多个相机拍摄实景照片，经过特殊的拼合处理得到真实场景的画面。对于没有内容互动的应用，一般把以相机为球心的全景球面(经度-180°～+180°，纬度-90°～+90°)投影变换展开成矩形画面，再用H.264等常见标准编成码流，经过存储或传输，在客户端解码恢复矩形画面，然后投影变换还原回球面，在鼠标、触屏、陀螺仪等控制下，上下左右前后，展现不同方向和视角的视野，使观众感到处在现场环境当中，极具沉浸感。

球面与矩形平面之间的投影变换，通常采用等距圆柱投影、立方体投影或者四棱锥投影等。但针对同样的画质需求，上述投影方法计算量较大，实时处理的代价很高，并且，编码传输时占用带宽大，浪费了宝贵的网络资源。

发明内容

有鉴于此，本发明实施例的目的在于提供了全景投影方法及装置，通过设置三角形网格剖分等方法，使得全景球面的投影计算更加高效。

第一方面，本发明实施例提供了全景投影方法，包括：

将假想球面进行正交等分，得到多个子球面；

将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；

将各个相机画面的内容映射到全景球面；

将全景球面进行投影，得到平面展开图；

对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，将假想球面进行正交等分，得到多个子球面包括：

将假想球面进行正交等分，得到八个子球面。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中包括：

设定三角形的个数；

用设定好个数的三角形对各个子球面进行网格剖分；

计算所有三角形的顶点三维坐标；

根据空间几何关系，将三角形按照顶点三维坐标映射到各个相机画面中。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，将全景球面进行平面投影，得到平面展开图包括：

将全景球面进行桑逊投影变换，得到平面图；

将平面图按照经度进行四等分，得到平面展开图，其中，平面展开图中包括经线边界。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码包括：

将经线边界之间的区域进行颜色填充，其中，颜色与经线边界水平对应的平面展开图的颜色一致；

对颜色填充后的平面展开图和平面展开图经线边界之间的区域均进行编码。

第二方面，本发明实施例提供了全景投影装置，包括：

正交等分模块，用于将假想球面进行正交等分，得到多个子球面；

网格对应模块，用于将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；

映射模块，用于将各个相机画面的内容映射到全景球面；

投影模块，用于将全景球面进行投影，得到平面展开图；

编码模块，用于对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，正交等分模块包括：

正交等分单元，用于将假想球面进行正交等分；

子球面获得单元，用于得到八个子球面。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，网格对应模块包括：

个数设定单元，用于设定三角形的个数；

网格剖分单元，用设定好个数的三角形对各个子球面进行网格剖分；

坐标计算单元，用于计算所有三角形的三维顶点坐标；

空间对应单元，用于根据空间几何关系，将三角形按照顶点三维坐标映射到各个相机画面中。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，投影模块包括：

投影单元，用于将全景球面进行桑逊投影变换，得到平面图；

平面展开单元，用于将平面图按照经度进行四等分，得到平面展开图，其中，平面展开图中包括经线边界。

结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，编码模块包括：

填充单元，用于将经线边界之间的区域进行颜色填充，其中，颜色与经线边界水平对应的平面展开图的颜色一致；

编码单元，用于对颜色填充后的平面展开图和平面展开图经线边界之间的区域均进行编码。

本发明实施例提供的全景投影方法及装置，其中，该全景投影方法包括：首先，设置一个假想球面，并将假想球面进行正交等分，得到多个子球面，之后，将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，通过将各个相机画面的内容映射到全景球面，将全景球面进行投影，得到平面展开图，最后，对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码，上述方法使得投影变换的效率更高，并且，节省了传输时占用的带宽。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图包括本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了球面的等距圆柱投影变换的结构示意图；

图2示出了全景的立方体投影变换的结构示意图；

图3示出了全景的四棱锥投影变换的结构示意图；

图4示出了本发明实施例所提供的全景投影方法的结构连接图；

图5示出了本发明实施例所提供的全景投影方法的结构示意图；

图6示出了本发明实施例所提供的全景投影装置的结构框架图；

图7示出了本发明实施例所提供的全景投影装置的结构连接图。

图标：1-正交等分模块；2-网格对应模块；3-映射模块；4-投影模块；5-编码模块；21-个数设定单元；22-网格剖分单元；23-坐标计算单元；24-空间对应单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了能够解决现有全景图像或视频系统编码压缩效率低的问题，以便在带宽有限的情况下为用户提供更好的全景画质，一般把全景球面网格剖分成很多小的形状，这样，可以利用图形处理器GPU(Graphics Processing Unit)的并行计算能力进行高速、高质量的展开或还原。目前，常见的网格剖分和投影变换主要有三种：球面的等距圆柱投影变换、全景的立方体投影变换和全景的四棱锥投影变换。

如图1所示，为球面的等距圆柱投影变换展开，球面的等距圆柱投影变换是一种正轴圆柱投影变换，也是当前全景视频中最常用的变换方法。设置在球面上的纬线和经线分别在矩形画面上投影变换成水平和竖直的两组平行直线。并且，这里的经距和纬距相等，因此，经纬线在矩形画面上构成正方形网格。当球面上的内容投影变换到矩形画面上时，沿经线方向无长度变形，但沿纬线方向存在变形。因此，角度和面积的变化程度与纬度相关，由赤道向高纬逐渐增大。图1中的细线是这种投影变换展开常用的网格剖分方法示意(实际操作过程中，细线更密)，这些细线在球面上是三角形和四边形，在展开图上是正方形。球面的等距圆柱投影变换方法中，以相同范围的纬度带为单位进行考虑，虽然越接近极点面积越小，但是，其内设置的多边形(三角形、四边形)的数量没有变化。因此，与赤道附近的纬度带相比，高纬度地区网格剖分显然过密，这种不均匀会浪费GPU资源。

如图2所示，为全景的立方体投影变换展开，这是当前WEB全景系统最常用的变换方法。该方法把球面投影到最小外切立方体的6个面上，得到6幅图像，并放在一起用于编码压缩。图2中的细线是这种投影变换展开常用的网格剖分方法示意(实际操作过程中，线条更密)，在球面上是四边形(仅表示了1个面)，在展开图上是正方形。在该方法中，对于各向同性的全景球面来说，显然在8个顶点附近用了比6个面心附近更多的计算量。

如图3所示，为全景的四棱锥投影变换展开，这是一种声称节省带宽的变换方法。该方法把球面投影到外切四棱锥上(1个正方形和4个等腰三角形)，展开后沿箭头方向拉伸变形成1个大正方形。这样，投影出来的表面积据称“比equirectangular(圆柱)投影方式少80％，因此，编码传输时省80％带宽。”这种数据没有考虑等画质条件。事实上，该投影方法的畸变比立方体投影还严重，图3中的细线是这种投影变换展开的一种自然的网格剖分方法示意(实际使用过程中，细线更密)，在球面上是四边形(仅表示了1个正方形)，在展开图上是正方形。四棱锥投影变换投影展开后通过拉伸得到正方形展开图，从图3中可以看到，投影和拉伸都是不规则畸变，因此，展开图上均布的正方形网格分割在球面上是大小不等的四边形，网格剖分均匀性差。

基于此，本发明实施例提供了全景投影方法及装置，下面通过实施例进行描述。

实施例1

参见图4，本实施例提出的全景投影方法具体包括以下步骤：

步骤S101：将假想球面进行正交等分，得到多个子球面，具体过程为：将假想球面进行正交等分，得到八个子球面。

在实际操作过程中，比正二十面体更密的全等球面网格剖分是不存在的，因此只能使用近似的方法逼近对球面进行均匀网格剖分的目的。以三角形网格剖分球面的方法在1/20球面和1/8球面上有两种应用，当应用于1/20球面时，网格的均匀性较好，但由于没有贯穿的经线和赤道，不利于做球面展开；而应用于1/8球面时，网格的均匀性稍差(可以通过提高网格剖分个数改善)，它有南北极点、4条经线和1条纬线(赤道)，因此，有利于做球面展开。综合考虑，本发明选择对正交8等分的球面三角形进行三角网格剖分的方法来实现全景球的均匀网格剖分。

步骤S102：将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，具体通过以下步骤来实现：

参见图5，设定三角形的个数，用设定好个数的三角形对各个子球面进行网格剖分，之后，计算所有三角形的顶点三维坐标，根据空间几何关系，将三角形按照顶点三维坐标映射到各个相机画面中。即设定剖分个数后，基于最优三角网格剖分方法计算全景球面上所有三角形顶点的三维坐标。

步骤S103：将各个相机画面的内容映射到全景球面，即当根据上述空间几何关系，把各个相机捕捉的画面映射到预先设定的三角形上后，即可获得全景球面图像，为后面的展开动作做好准备。

步骤S104：将全景球面进行投影，得到平面展开图，并具体包括以下步骤：将全景球面进行桑逊投影变换，得到平面图，将平面图按照经度进行四等分，得到平面展开图，其中，平面展开图中包括经线边界。

在将球面进行投影的过程中，桑逊(Sanson)投影变换是比较简洁的一种。在桑逊投影变换中，纬线是平行直线，并且，间距相等，中央经线为直线，其它经线投影变换后为余弦曲线，并且，对称于中央经线分布。在每一条纬线上，经线间隔都相等。显然，赤道与中央经线没有变形。离赤道与中央经线这两条线越远，变形越大。

桑逊投影变换展开图虽然保证了面积不变，但由于极点唯一，在远离中心的位置变形严重，仍然不利于编码压缩。本发明把桑逊投影变换展开图按照经度分成4等分，所有经线仍然投影变换成余弦曲线，因此，仍然保持等面积特性。由于，每个等分都有自己的北极点和南极点，各部分的变形就比较折中了。这种展开方式的边缘恰好与上述1/8球面网格剖分的4条经线相对应，二者可以结合应用于全景系统，既能提高GPU利用率，也能提高编码压缩效率。在这里，经线边界即为上述展开图4等分的各份的边界，等分之间相邻边界对应球面上同一条经线。

步骤S105：对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码，具体包括以下步骤：

将经线边界之间的区域进行颜色填充，其中，颜色与经线边界水平对应的平面展开图的颜色一致，对颜色填充后的平面展开图和平面展开图经线边界之间的区域均进行编码。

在本发明中，在矩形展开图中引入了八条经线边界，这里，经线边界设置的具体数量可根据情况进行灵活设定。在经线边界的两侧，一侧是有效图案，另一侧没有内容。虽然，纯色无内容区比较好编码，但是，边界处的高频信息会影响编码效率。另外，编码引入的高频损失会在解码还原后显现这四个经线边界。由于，四对经线边界的图案像拉链一样有水平对应关系，本发明将平面展开图做水平延展。这样的处理能使GPU很容易实现，一方面，能保证无内容区比较省编码带宽，另一方面，又能避免解码还原后出现四条经线拼缝。

综上所述，本实施例提供的全景投影方法包括：首先，将假想球面进行正交等分处理，得到多个子球面，之后，将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，然后，将各个相机画面的内容映射到全景球面，并将全景球面进行投影，得到平面展开图，最后，对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码，该方法通过设置假想球面和更均匀的三角形网格剖分方法，能使球面剖分的计算更加均匀，并且，展开图与球面等面积，并使得畸变的程度大大减小，也使编码效率达到最高，等画质条件下接近等距圆柱投影的157％，从而有效提升投影变换的处理效率。

实施例2

参见图6和图7，本实施例提供了全景投影装置包括：依次相连的正交等分模块1、网格对应模块2、映射模块3、投影模块4和编码模块5，其中，正交等分模块1用于将假想球面进行正交等分，得到多个子球面，正交等分模块1包括正交等分单元和子球面获得单元，其中，正交等分单元用于将假想球面进行正交等分，子球面获得单元用于得到八个子球面。

网格对应模块2将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，网格对应模块2包括以下单元：个数设定单元21用于设定三角形的个数，网格剖分单元22用设定好个数的三角形对各个子球面进行网格剖分，坐标计算单元23用于计算所有三角形的顶点三维坐标，空间对应单元24用于根据空间几何关系，将三角形按照顶点三维坐标映射到各个相机画面中。

映射模块3用于将各个相机画面的内容映射到全景球面，即将各个相机画面的内容通过上述空间几何关系对应起来的三角形映射到全景球面中。

投影模块4用于将全景球面进行投影，得到平面展开图，这里，投影模块4包括投影单元和平面展开单元：投影单元用于将全景球面进行桑逊投影变换，得到平面图，平面展开单元用于将平面图按照经度进行四等分，得到平面展开图，其中，平面展开图中包括经线边界。

编码模块5用来对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码。编码模块5具体包括以下单元：填充单元用来将经线边界之间的区域进行颜色填充，其中，颜色与经线边界水平对应的平面展开图的颜色一致，之后，通过编码单元对颜色填充后的平面展开图和平面展开图经线边界之间的区域均进行编码。

综上所述，本实施例提供的全景投影装置包括：依次相连的正交等分模块1、网格对应模块2、映射模块3、投影模块4和编码模块5，其中，正交等分模块1用于将假想球面进行正交等分，得到多个子球面，网格对应模块2用于将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，映射模块3用于将各个相机画面的内容映射到全景球面，投影模块4用于将全景球面进行投影，得到平面展开图，编码模块5用于对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码，通过该装置的设置使得全景图片在进行剖分投影的过程中减少了畸变程度，能有效提高编码效率，从而节省了传输带宽。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.全景投影方法，其特征在于，包括：

将假想球面进行正交等分，得到多个子球面；

将各个所述子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；将各个所述子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，包括：

设定三角形的剖分个数，基于最优三角网格剖分方法计算全景球面上所有三角形顶点的三维坐标；

将所述各个相机画面的内容映射到全景球面；

将所述全景球面进行投影，得到平面展开图；

对所述平面展开图进行水平延展处理，并对处理后的所述平面展开图进行编码；

所述将假想球面进行正交等分，得到多个子球面包括：

将假想球面进行正交等分，得到八个子球面；

所述设定三角形的剖分个数，基于最优三角网格剖分方法计算全景球面上所有三角形顶点的三维坐标，包括：

设定所述三角形的个数；

用设定好个数的所述三角形对各个所述子球面进行网格剖分；

计算所有三角形的顶点三维坐标；

所述将假想球面按照剖分后的网格对应到各个相机画面中包括：

根据空间几何关系，将所述三角形按照所述顶点三维坐标映射到所述各个相机画面中。

2.根据权利要求1所述的全景投影方法，其特征在于，所述将所述全景球面进行平面投影，得到平面展开图包括：

将所述全景球面进行桑逊投影变换，得到平面图；

将所述平面图按照经度进行四等分，得到平面展开图，其中，所述平面展开图中包括经线边界。

3.根据权利要求2所述的全景投影方法，其特征在于，所述对所述平面展开图进行水平延展处理，并对处理后的所述平面展开图进行编码包括：

将所述经线边界之间的区域进行颜色填充，其中，所述颜色与经线边界水平对应的平面展开图的颜色一致；

对颜色填充后的所述平面展开图和所述平面展开图经线边界之间的区域均进行编码。

4.全景投影装置，其特征在于，包括：

正交等分模块，用于将假想球面进行正交等分，得到多个子球面；

网格对应模块，用于将各个所述子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；网格对应模块在将各个所述子球面用三角形进行网格剖分时，用于：设定三角形的剖分个数，基于最优三角网格剖分方法计算全景球面上所有三角形顶点的三维坐标；

映射模块，用于将所述各个相机画面的内容映射到全景球面；

投影模块，用于将所述全景球面进行投影，得到平面展开图；

编码模块，用于对所述平面展开图进行水平延展处理，并对处理后的所述平面展开图进行编码；

所述正交等分模块包括：

正交等分单元，用于将假想球面进行正交等分；

子球面获得单元，用于得到八个子球面；

所述网格对应模块包括：

个数设定单元，用于设定所述三角形的个数；

网格剖分单元，用设定好个数的所述三角形对各个所述子球面进行网格剖分；

坐标计算单元，用于计算所有三角形的顶点三维坐标；

空间对应单元，用于根据空间几何关系，将所述三角形按照所述顶点三维坐标映射到所述各个相机画面中。

5.根据权利要求4所述的全景投影装置，其特征在于，所述投影模块包括：

投影单元，用于将所述全景球面进行桑逊投影变换，得到平面图；

平面展开单元，用于将所述平面图按照经度进行四等分，得到平面展开图，其中，所述平面展开图中包括经线边界。

6.根据权利要求5所述的全景投影装置，其特征在于，所述编码模块包括：

填充单元，用于将所述经线边界之间的区域进行颜色填充，其中，所述颜色与经线边界水平对应的平面展开图的颜色一致；

编码单元，用于对颜色填充后的所述平面展开图和所述平面展开图经线边界之间的区域均进行编码。

Images