CN116739885A - 一种全景图像的数据存储方法 - Google Patents

Abstract

本发明公开了一种全景图像的数据存储方法，其包括以下步骤：S1、构建足球模型，图像采集设备采集图片；S2、将第一张图片剪裁为正五边形或六边形；S3、将待剪裁的图片相邻的已剪裁图片映射到同一平面后，对待剪裁图片进行融合拼接剪裁，直至所有图片均剪裁完成；S4、对剪裁后的图片按面进行存储，每个面所存储的数据结构包括图片形状、边长、图片序号以及每个像素点的RGB值。本发明全景信息损失小，基本视野内不存在形变问题，适用于可穿戴技术应用、全景展示等领域。

Description

一种全景图像的数据存储方法

技术领域

本技术属于图像处理技术领域，尤其是一种全景图像的数据存储方法，可广泛应用于未来图像技术中的可穿戴技术应用，以及全景展示等领域。

背景技术

当前对于VR以及部分可穿戴娱乐设施的应用场景中，普遍采用的全景图像，全景视频的存储方式多见于圆柱体，立方体，以及球型等模型，人的视野处于这些形状的中心点，可进行360度旋转均可观看图像以及视频，可以让观察者有种置身其中的感觉。对于圆柱体全景模型全景信息损失较为严重，顶部和底部的展示内容存在形变的问题，而立方体对于平面接缝处的内容是无法呈现出来的，而球体模型有较好的呈现效果，但是也存在全景信息损失较高且视野变形的问题，并且曲面映射到平面时计算量较大。

发明内容

本发明主要是解决现有技术所存在的信息损失严重、视野变形等的技术问题，提供一种信息损失小且基本视野内不存在变形、计算量小的全景图像数据存储方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种全景图像的数据存储方法，包括以下步骤：

S1、构建足球模型，足球模型有32个面，包括20个正五边形的面和12个正六边形的面，对每个面按序进行标记；图像采集设备的中心为足球的球心，图像采集设备包括32个相机，每个相机的镜头中心线对准一个足球模型的面的中点，即相机和足球模型的面一一对应，图像采集设备同时进行采集，一次采集得到32张图片；

S2、选择一张图片进行剪裁，如果拍摄此图片的相机对应的足球模型的面为正五边形，则将此图片剪裁为五边形，如果拍摄此图片的相机对应的足球模型的面为正六边形，则将此图片剪裁为六边形；五边形或六边形的边长为L；

S3、将步骤S2得到的图片标记为P0’，将图片P0’映射到与图片P0’的第一条边P0’_1相邻的图片P1所在的平面上，采用特征融合的方式将图片P1拼接到图片P0’上，然后将图片P1依照拍摄P1的相机对应的足球模型的面的形状进行剪裁，所得到的正五边形或正六边形的图片P1’边长为L并且有一条边为P0_1；依次类推直至与P0’相邻的所有图片均剪裁完毕；如果待拼接的图片有至少两个已经完成剪裁的相邻图片，则将所有已经剪裁的图片均映射到待剪裁的图片所在的平面，然后进行拼接剪裁；不断重复此过程直至所有面均完成剪裁；

S4、对剪裁后的图片按面进行存储，每个面所存储的数据结构包括图片形状、边长、图片序号以及每个像素点的RGB值。

作为优选，正N边形的中心坐标为(x0, y0, z0)，边长为L，旋转轴与平面的夹角为α’，旋转轴与x轴的夹角为β’，则正N边形上第k个顶点的坐标可以表示为：

其中，k为顶点的序号，从0开始计数，设定足球多面体每个面的旋转轴和平面夹角是固定的，依次枚举计算出足球多面体的每个面的顶点坐标。

作为优选，读取图片数据并进行展示时，将图片数据映射到图像坐标系，进而合成一幅二维平面可视图象：

首先将图片数据从世界坐标系（X_W,Y_W,Z_W）转换为相机坐标系（X_c,Y_c,Z_c）:

其中R为3*3旋转矩阵，T为3*1平移向量；

相机俯仰角为α，偏转角β，绕相机光轴旋转角γ，则R可以表示为:

相机焦距为f，投影中心在图像中的位置为（C_x,C_y）,在相机坐标系（X_c,Y_c,Z_c）和图像平面坐标(x,y)有如下关系:

图像坐标系转换为像素坐标系(u,v)则存在如下关系:

其中dx，dy为像素点的宽度值；

由以上得到世界坐标系到像素坐标系的转换关系，也就是把足球体在空间中的坐标映射成一幅二维平面图。

作为优选，从可视平面坐标(x,y,z)到足球体全景图坐标(u,v)的投影根据重投影公式：

此处r是足球体面上的点到足球体中心的距离,通过(u,v)获取足球体全景图上的像素点进行填充。

本发明带来的实质性效果是，相较于现有的模型，本方法的全景信息损失较小，且基本视野内不存在形变问题，计算量小。

附图说明

图1是本发明的一种流程图；

图2是本发明的一种足球模型展开示意图；

图3和图4是本发明的一种足球模型序列标记示意图；

图5是本发明的一种空间中的正N边形示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种全景图像的数据存储方法，如图1所示，包括以下步骤：

S1、构建足球模型，足球模型有32个面，包括20个正五边形的面和12个正六边形的面，对每个面按序进行标记；图像采集设备的中心为足球的球心，图像采集设备包括32个相机，每个相机的镜头中心线对准一个足球模型的面的中点，即相机和足球模型的面一一对应，图像采集设备同时进行采集，一次采集得到32张图片；

S2、选择一张图片进行剪裁，如果拍摄此图片的相机对应的足球模型的面为正五边形，则将此图片剪裁为五边形，如果拍摄此图片的相机对应的足球模型的面为正六边形，则将此图片剪裁为六边形；五边形或六边形的边长为L；

S3、将步骤S2得到的图片标记为P0’，将图片P0’映射到与图片P0’的第一条边P0’_1相邻的图片P1所在的平面上，采用特征融合的方式将图片P1拼接到图片P0’上，然后将图片P1依照拍摄P1的相机对应的足球模型的面的形状进行剪裁，所得到的正五边形或正六边形的图片P1’边长为L并且有一条边为P0_1；依次类推直至与P0’相邻的所有图片均剪裁完毕；如果待拼接的图片有至少两个已经完成剪裁的相邻图片，则将所有已经剪裁的图片均映射到待剪裁的图片所在的平面，然后进行拼接剪裁；不断重复此过程直至所有面均完成剪裁；

S4、对剪裁后的图片按面进行存储，每个面所存储的数据结构包括图片形状、边长、图片序号以及每个像素点的RGB值。

1.已知足球是由32面组成(如图2所示)，其中12个是正5边形，20个为正6边形，所以要组成一个球形的全景图像则需要采集出32张图片，然后拼接形成一个球形。所以图像采集需要特殊的采集设备。如果按照目前现有图像采集设备来采集球形的图像，则需要图像采集设备在32个不同的方位一次采集出32张图像，然后对32张图像进行正5边形和正6变形的截取拼接形成球形。

在图像采集完成后，需要图片序列按照足球面进行序列标记（如图3和图4所示）。

2.足球各个平面所对应的图像存储对应关系：

如下表所示，这里存储的图像数据为足球各个面对应的序列，即存储了20张正五边形的图像数据和12个正六边形的图像数据。

图片形状（五边形、六边形）1Byte

边长 1Byte

图片序列号 1Byte

第1个像素点4Byte（RGBA）

....

第N个像素点4Byte(RGBA)

3.足球形状的坐标计算

足球是由20个正五边形和12个正六边形组成的多面体，每个多边形的顶点坐标可以通过极坐标系来计算。空间中正N边形的坐标可以通过极坐标系来计算。极坐标系是以原点为中心建立的坐标系，其中一个点可以用两个参数来表示，分别是极径和极角。

如图4所示，对于一个在空间中的正N边形，可以将其看作是一个在平面上的正N边形，然后再将其沿着垂直于该平面的轴旋转到空间中。假设正N边形的中心坐标为(x0, y0,z0)，边长为a，旋转轴与平面的夹角为α’，旋转轴与x轴的夹角β’，则正N边形上第k个顶点的坐标（x,y,z）可以表示为：

其中，k为顶点的序号，从0开始计数。我们可以设定足球多面体每个面的旋转轴和平面夹角是固定的，可以依次枚举计算出足球多面体的每个面的点坐标。

4.足球体坐标系通过一定的转换可以映射成图像坐标系，进而合成一幅二维平面可视图像，世界坐标系（X_W,Y_W,Z_W）转换为相机坐标系（X_c,Y_c,Z_c）:

其中R为3*3旋转矩阵，T为3*1平移向量。

假定相机俯仰角为α，偏转角β，绕相机光轴旋转角γ，则R可以表示为:

设定相机焦距为f，投影中心在图像中的位置为（C_x,C_y）,在相机坐标系（X_c,Y_c,Z_c）和图像平面坐标(x,y)有如下关系:

图像坐标系转换为像素坐标系(u,v)则存在如下关系:

其中dx，dy为像素点的宽度值。

由以上可以推导出世界坐标系到像素坐标系的转换关系，也就是把足球体在空间中的坐标映射成一幅二维平面图。

5.对于已拍摄的图片序列与足球体多个面进行了标记对应关系，这里采取的是对足球体多个面进行枚举映射的方法进行全景图的合成。但是在全景图合成的过程中仍然存在图像拼接过程中出现的图像接缝明显，图像融合不完全的问题，这里我们可以采用常见的特征点匹配的方式进行融合。

6.在进行全景图进行足球体表面投射，则可以观看对应的足球面全景图效果

从可视平面坐标(x,y,z)到足球体全景图坐标(u, v)的投影可以根据重投影公式：

此处r足球体面上的点到足球体中心的距离,这里r是一个变量，我们需要根据已标记好的各个面的坐标来计算r的值。通过(u,v)获取足球体全景图上的像素点进行填充。

基于现有的全景展示技术场景下，本技术提供了一种相较于圆柱体，立方体以及球形全景图像的另外一种形状的全景展示模型，即足球形状的模型。足球形状模型原理依然是将视野置于足球形状中心点，360度可旋转展示全景内容，可支持全景图像以及全景视频展示。相较于其他模型优点在于全景信息损失较小，切基本视野内不存在形变问题。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了足球模型、剪裁、拼接等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (4)

1.一种全景图像的数据存储方法，其特征在于，包括以下步骤：

S1、构建足球模型，足球模型有32个面，包括20个正五边形的面和12个正六边形的面，对每个面按序进行标记；图像采集设备的中心为足球的球心，图像采集设备包括32个相机，每个相机的镜头中心线对准一个足球模型的面的中点，即相机和足球模型的面一一对应，图像采集设备同时进行采集，一次采集得到32张图片；

S2、选择一张图片进行剪裁，如果拍摄此图片的相机对应的足球模型的面为正五边形，则将此图片剪裁为五边形，如果拍摄此图片的相机对应的足球模型的面为正六边形，则将此图片剪裁为六边形；五边形或六边形的边长为L；

S3、将步骤S2得到的图片标记为P0’，将图片P0’映射到与图片P0’的第一条边P0’_1相邻的图片P1所在的平面上，采用特征融合的方式将图片P1拼接到图片P0’上，然后将图片P1依照拍摄P1的相机对应的足球模型的面的形状进行剪裁，所得到的正五边形或正六边形的图片P1’边长为L并且有一条边为P0_1；依次类推直至与P0’相邻的所有图片均剪裁完毕；如果待拼接的图片有至少两个已经完成剪裁的相邻图片，则将所有已经剪裁的图片均映射到待剪裁的图片所在的平面，然后进行拼接剪裁；不断重复此过程直至所有面均完成剪裁；

S4、对剪裁后的图片按面进行存储，每个面所存储的数据结构包括图片形状、边长、图片序号以及每个像素点的RGB值。

2.根据权利要求1所述的一种全景图像的数据存储方法，其特征在于，正N边形的中心坐标为(x0, y0, z0)，边长为L，旋转轴与平面的夹角为α’，旋转轴与x轴的夹角为β’，则正N边形上第k个顶点的坐标可以表示为：

其中，k为顶点的序号，从0开始计数，设定足球多面体每个面的旋转轴和平面夹角是固定的，依次枚举计算出足球多面体的每个面的顶点坐标。

3.根据权利要求2所述的根据权利要求1所述的一种全景图像的数据存储方法，其特征在于，读取图片数据并进行展示时，将图片数据映射到图像坐标系，进而合成一幅二维平面可视图象：

首先将图片数据从世界坐标系（X_W,Y_W,Z_W）转换为相机坐标系（X_c,Y_c,Z_c）:

其中R为3*3旋转矩阵，T为3*1平移向量；

相机俯仰角为α，偏转角β，绕相机光轴旋转角γ，则R可以表示为:

相机焦距为f，投影中心在图像中的位置为（C_x,C_y）,在相机坐标系（X_c,Y_c,Z_c）和图像平面坐标(x,y)有如下关系:

图像坐标系转换为像素坐标系(u,v)则存在如下关系:

其中dx，dy为像素点的宽度值；

由以上得到世界坐标系到像素坐标系的转换关系，也就是把足球体在空间中的坐标映射成一幅二维平面图。

4.根据权利要求3所述的一种全景图像的数据存储方法，其特征在于，从可视平面坐标(x,y,z)到足球体全景图坐标(u,v)的投影根据重投影公式：

此处r是足球体面上的点到足球体中心的距离,通过(u,v)获取足球体全景图上的像素点进行填充。