CN110349226A - 一种全景图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种全景图像处理方法及装置。从码流中提取格式信息，根据格式信息使用特殊的映射关系将解码的全景图像中的位置映射到球面上的位置，解码的全景图像中至少包括一个区域满足所述的特殊映射关系。本发明可以使解码的全景图像中的区域相对于球面分布更均匀，提高了表达效率，降低了转换失真。本发明在设计全景图像处理方法的同时，还设计了相应的装置。

Description

一种全景图像处理方法及装置

技术领域

本发明涉及全景图像处理领域，特别涉及全景图像处理方法及装置。

背景技术

360°全景图像指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成，球面可以描述观察点四周的所有场景。。由于球面图像难以存储以及目前的图像编解码器是针对普通的非全景图像设计的，对于球面图像的编码效果不够理想，所以需要将球面图像通过投影转换为全景图像格式，常见的投影格式有经纬图、六面体等。对于不同格式的全景图像可以采用现有的普通非全景图像的编码方式进行编码，例如HEVC、AVS2、AV1等，也可以针对不同的格式使用局部调整后的编码方法。

经纬图采样如图1所示，球面上的点可以用其所在的经度和纬度θ表示。将球面映射到坐标系下一个宽高比为2:1的矩形，然后对这个矩形进行均匀采样。经纬图格式在高纬度区域存在过采样和图像纹理拉伸过度问题。

如图2所示，六面体利用中心投影将球面投影到立方体的六个面上，然后在六面体上均匀采样。相对于经纬图六面体在球面上的采样更加均匀，编码效率更高，但由于中心投影的特性，立方体每个面的角落会比中心区域的采样密度更高，对应到球面来看，球面的采样均匀性不够。

确定球面和全景图像中的位置映射关系之后，可以对全景图像中进行采样，生成每个像素点位置的像素值，再对全景图像进行编解码；也可以利用球面和全景图像中的位置映射关系，进行全景图像的格式转换，可以将经纬图格式转换为六面体或者其他格式。

发明内容

本发明针对现有技术的不足，提出了一种新的全景图像处理方法及装置。

对于相同的面积，六面体格式下每个面的中心区域比边角区域对应到球面上的区域范围大，这导致了在球面的采样不均匀，六面体边角区域有冗余信息，降低了表达效率。

本发明的主要思想是通过调整全景图像和球面在不同位置的伸缩关系，使得全景图像中的每一纬度上的单位间隔在球面上尽可能的等弧长，从而减少六面体投影下边角区域的信息冗余，提高表达效率。

为此，本发明采用如下技术方案：

本发明第一目的是提供一种全景图像处理方法，包括：

从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。

作为优选，所述全景图像格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了解码的全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及解码的全景图像中所述区域的第一维坐标的方向信息。

本发明第二个目的是提供一种全景图像处理方法，包括如下步骤：

全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

对采用所述映射关系表达的所述全景图像进行编码并写入码流；

将所述映射关系的格式信息也写入所述码流。

作为优选，所述全景图像格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。

本发明第三个目的在于提供一种全景图像处理方法，包括：

从码流中解码获得全景图像编码格式信息；

解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置的映射关系，所述映射关系为：

x1和成线性关系，y1和成线性关系，

x2和成线性关系，y2和成线性关系，

其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。

本发明第四个目的在于提供一种全景图像处理装置，包括以下模块：

格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；

位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述的全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。

作为优选，所述全景图像格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。

本发明第五个目的在于提供一种全景图像处理装置，包括以下模块：

位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；

格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。

作为优选，所述全景图像格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。

与现有技术相比，本发明通过设计特殊的球面和全景图像位置映射关系，使得全景图像中的每一维度上的单位间隔在球面上尽可能的等弧长，全景图像在球面的分布更加均匀，提高了表达的球面均匀性、同样采样样本数的情况下降低采样损失、提高了编码效率。

附图说明

结合附图，可从下面举出的实施例来对本发明的原理进行解释。

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的各实施例仅用来解释本发明，只是其中的一些特例，本发明的适用范围并不仅限于这些实施例。在附图中：

图1为经纬图格式；

图2为将球面上的位置投影到六面体上的映射关系示意图；

图3为本发明一个实施例中六面体展开面的位置关系；

图4为本发明一个实施例中六面体一个面上的坐标系；

图5为本发明一个实施例中六面体一个面上的坐标系；

图6为本发明一个实施例中六面体一个面对应到球面上的有效区域；

图7为本发明一个实施例中在赤道上水平方向等弧长采样的示意图；

图8为本发明一个实施例中使用本专利的处理方法生成的一副六面体展开图像；

图9为本发明一个实施例中水平排布的两个相邻区域的示意图；

图10为本发明一个实施例中六面体展开面上六个面排布的示意图；

图11为本发明一个实施例中竖直排布的两个相邻区域的示意图；

图12为本发明一个实施例中用来生成六面体展开图像的源经纬图图像；

图13为本发明一个实施例中使用本专利的处理方法将源经纬图图像生成通过格式转换生成的六面体展开图像；

图14为本发明一个实施例中不同映射关系伸缩比例示意图；

图15为本发明一个实施例中的一个处理装置；

图16为本发明一个实施例中的一个处理装置；

图17为本发明一个实施例中的六面体格式各面排布以及有效区域示意图；

图18为本发明一个实施例中的六面体格式各面排布以及有效区域示意图。

具体实施方式

实施例1

本发明实施例提供了一种全景图像处理方法。

本实施例提供的全景图像处理方法包括：

从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：x和成线性关系，y和成线性关系，

其中x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。

本实施例中所述解码全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向为水平方向，如图4所示。

实施例2

本发明实施例提供了一种全景图像处理方法。

本实施例提供的全景图像处理方法包括：

从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。

本实施例中所述解码全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息包含格式编号以及所述区域的第一维坐标的方向信息，该方向信息指定全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。

实施例3

本发明实施例提供了一种全景图像处理方法。

本实施例提供的全景图像处理方法包括：

全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向为水平方向，如图4所示。

对采用所述映射关系表达的所述全景图像进行编码并写入码流；

将所述映射关系的格式信息也写入所述码流。

所述全景图像和所述格式信息写入码流的先后顺序可以任意，即可以先将所述全景图像进行编码并写入码流，然后将所述映射关系的格式信息也写入所述码流；也可以先所述映射关系的格式信息写入所述码流，然后将所述映射关系表达的所述全景图像进行编码并写入码流。

实施例4

本发明实施例提供了一种全景图像处理方法。

本实施例提供的全景图像处理方法包括：

全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

本实施例中所述全景图像为六面体格式，全景图像中所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息包含格式编号以及所述区域的第一维坐标的方向信息，该方向信息指定全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。

对采用所述映射关系表达的所述全景图像进行编码并写入码流；

将所述映射关系的格式信息也写入所述码流。

实施例5

本发明实施例提供了一种利用映射关系进行采样的方法。

本实施例提供的采样方法包括：

待生成全景图像中至少包含一个图像区域，所述图像区域中位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

本实施例中所述待生成全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

在竖直方向上的像素采样位置如图6所示，在每条经线上均为等弧长采样，但不同的经线上相邻采样点之间的弧长不相同，在水平方向上的像素采样位置如图7所示，在赤道上等弧长采样，在其他位置近似等弧长采样。

在采样时首先在赤道上对水平方向等弧长采样，然后对所有水平采样位置所对应的经线在竖直方向上进行等弧长采样。

根据待生成全景图像中的像素采样位置，对待生成全景图像中的每一个像素点在球面插值得到其对应的像素值。

图8给出了根据位置映射关系生成出来的一幅图像。

实施例6

本发明实施例提供了一种全景图像处理方法。

本实施例提供的全景图像处理方法包括：

从码流中解码获得全景图像编码格式信息；

解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置的映射关系，所述映射关系为：

x1和成线性关系，y1和成线性关系，

x2和成线性关系，y2和成线性关系，

其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。

本例中以图3的前向面和右向面作为所述的全景图像中相邻区域，前向面为区域1，右向面为区域2，其中(x1,y1)和的关系为：

(x2,y2)和的关系为：

本例中所述区域1和区域2的第一维方向均为水平方向，如图9所示。

实施例7

本发明实施例提供了一种全景图像处理方法。

本实施例提供的全景图像处理方法包括：

从码流中解码获得全景图像编码格式信息；

解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置的映射关系，所述映射关系为：

x1和成线性关系，y1和成线性关系，

x2和成线性关系，y2和成线性关系，

其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。

本例中以图10的前向面和右向面作为所述的全景视频的相邻区域，前向面为区域1，右向面为区域2，其中(x1,y1)和的关系为：

(x2,y2)和的关系为：

本例中所述区域1和区域2的第一维方向均为竖直方向，如图11所示。

实施例8

本发明实施例提供了一种全景图像格式转换方法。

本实施例提供的全景图像格式转换方法包括：

待生成全景图像中至少包含一个图像区域，所述图像区域中的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述第一维方向为水平方向，如图4所示。

将球面位置映射到源格式上；以经纬图为源格式，经纬图中的位置(u，v)和球面上的位置的映射关系为：

φ＝(u-0.5)*(2*π)

θ＝(0.5-v)*π

其中u和v的取值均在[0,1]。

在经纬图上插值生成待生成全景图像中的像素值。

图12给出了经纬度图的源格式图像，图13给出了六面体展开格式的全景图像。

实施例9

本发明实施例提供了一种全景图像处理方法。

本实施例提供的全景图像处理方法包括：

从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。

本例中所述全景图像中的区域为图3中六面体的后向面。在该面上建立图14所示的坐标系，在X-Y坐标系中当y＝-1时，当y＝1时则

其中(x,y)和的映射关系为：

在X’-Y’坐标系中当y’＝-1时，当y’＝1时(x’,y’)和关系的映射关系为：

在y＝±1的区域内为所述全景图像中对应到球面的有效内容，(x’,y’)和(x,y)之间的转换如下：

x＝x’

通过上述转换可以得到所述全景图像中的位置(x’,y’)和球面上的位置之间的映射关系：

实施例10

本发明实施例提供了一种全景图像处理装置。

本实施例提供的全景图像处理装置包括以下模块：

格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；

位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述全景图像中的所述区域的第一维坐标位置，y表示所述全景图像中的所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。

本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息为格式编号，且该格式编号默认地指定了所述全景图像中的所述区域的第一维坐标的方向为水平方向，如图4所示。

图15给出了该处理装置的示意图。

实施例11

本发明实施例提供了一种全景图像处理装置。

本实施例提供的全景图像处理装置包括以下模块：

格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；

位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述全景图像中的所述区域的第一维坐标位置，y表示所述全景图像中的所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。

本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息包含格式编号以及所述全景图像中所述区域的第一维坐标的方向信息，该方向信息指定所述全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。

图15给出了该处理装置的示意图。

实施例12

本发明实施例提供了一种全景图像处理装置。

本实施例提供的全景图像处理装置包括以下模块：

位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；

格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。

本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息为格式编号，且该格式编号默认地指定了所述全景图像中所述区域的第一维坐标的方向为水平方向，如图4所示。

图16给出了该处理装置的示意图。

实施例13

本发明实施例提供了一种全景图像处理装置。

本实施例提供的全景图像处理装置包括以下模块：

位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；

格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。

本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和的映射关系为：

本例中所述格式信息包含格式编号以及所述区域的第一维坐标的方向信息，该方向信息指定所述全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。

图16给出了该处理装置的示意图。

实施例14

本发明实施例提供了一种全景图像生成方法。

本实施例提供的全景图像生成方法包括：

待生成全景图像中至少包含一个图像区域，所述图像区域中位置(x,y)和球面上的位置的映射关系指定为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

本实施例中所述待生成全景图像为六面体格式，如图17所示，在六面体的六个面上分别建立坐标系，对于六面体格式第一行上的面即左、前以及右向的面，第一维方向为水平方向。当y＝-0.8且x＝0时，当y＝1且x＝0时则(x,y)和关系的映射关系为：

在图17上，粗线所围成的区域表示六面体面中的有效区域，该区域的高为L’,一个六面体面的边长为L。在前向面中粗线以外的区域为非有效区域，该区域中的像素使用y＝-0.8所在行的像素进行填充，左向面以及右向面的非有效区域中的像素也是用其对应区域中的y＝-0.8所在行的像素进行填充。

对于六面体格式第二行上的面即上、下以及后向的面，第一维方向为水平方向。当y＝0.8且x＝0时，当y＝-1且x＝0时则(x,y)和关系的映射关系为：

在后向面中粗线以外的区域为非有效区域，该区域中的像素使用y＝0.8所在行的像素进行填充，上面以及下面的非有效区域中的像素也是用其对应区域的y＝0.8所在行的像素进行填充。

实施例15

本发明实施例提供了一种全景图像生成方法。

本实施例提供的全景图像生成方法包括：

待生成全景图像中至少包含一个图像区域，所述图像区域中位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

本实施例中所述待生成全景图像为六面体格式，如图18所示，在六面体的六个面上分别建立坐标系，对于六面体格式第一行上的面即左、前以及右向的面，第一维方向为水平方向。当y＝-0.8且x＝0时，当y＝1且x＝0时则(x,y)和关系的映射关系为：

在图18上，粗线所围成的区域表示六面体面中的有效区域，该区域的高为L’,一个六面体面的边长为L。在前向面中粗线以外的区域为非有效区域，该区域中的像素按照和有效区域内相同的映射关系在球面上插值生成，此时y的取值小于-0.8。左向面以及右向面的非有效区域中的像素也是按照和其对应的有效区域内相同的映射关系在球面上插值生成。

对于六面体格式第二行上的面即上、下以及后向的面，第一维方向为竖直方向。当x＝-0.8时，当x＝1时则(x,y)和关系的映射关系为：

在后向面中粗线以外的区域为非有效区域，该区域中的像素按照和有效区域内相同的映射关系在球面上插值生成，此时x的取值小于-0.8。上面以及下面的非有效区域中的像素也是按照和其对应的有效区域内相同的映射关系在球面上插值生成。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种全景图像处理方法，其特征在于，包括：

从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。

2.根据权利要求1中的全景图像处理方法，其特征还在于，所述格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了解码的全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及解码的全景图像中所述区域的第一维坐标的方向信息。

3.一种全景图像处理方法，其特征在于包括如下步骤：

全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；

对采用所述映射关系表达的所述全景图像进行编码并写入码流；

将所述映射关系的格式信息也写入所述码流。

4.根据权利要求3中的全景图像处理方法，其特征还在于，所述格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。

5.一种全景图像处理方法，其特征在于，包括：

从码流中解码获得全景图像编码格式信息；

解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置 的映射关系，所述映射关系为：

x1和成线性关系，y1和成线性关系，

x2和成线性关系，y2和成线性关系，

其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。

6.一种全景图像处理装置，其特征在于，包括以下模块：

格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；

位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述的全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。

7.根据权利要求6中的全景图像处理装置，其特征还在于，所述格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。

8.一种全景图像处理装置，其特征在于，包括以下模块：

位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；

格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。

9.根据权利要求8中的全景图像处理装置，其特征还在于，所述格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。