CN110084740B - 一种基于规格化结构的球面图像生成及转换方法 - Google Patents

Abstract

本发明涉及一种基于规格化结构的球面图像生成及转换方法。传统图像利用基于规格化结构的数字化表示方式，简化图像处理操作，从而在很多应用中取得了成功。然而，对360°球面图像视频，目前还缺乏有效的规格化数字化表示方式。为解决现有球面数字化表示方法冗余大，几何关系复杂，不利于数字化采样和数值计算的缺点，本发明利用曲面三角作为图像像元，建立球面规格化结构，并以此为基础给出基于规格化结构的数字化球面图像的生成方法；更进一步，本发明将平面图像插值算法引入该数字化框架，提出从ERP图像到规格化球面图像的转换方法，可将ERP投影格式下的360°图像视频转化为高质量的规格化球面图像，为后续处理提供数据保障。

Description

一种基于规格化结构的球面图像生成及转换方法

技术领域

本发明涉及一种球面图像的生成及转换方法，特别是一种基于规格化结构的球面图像的生成和转化方法。

背景技术

球面图像信号应用领域包括球面显示、地球遥感以及360图像/视频处理等。球面图像信号的表示方式通常有平面表示和球面表示两种。目前，球面图像信号通常使用基于平面的方法来进行表达、存储和处理，即采用一幅或多幅2D图像表达球面图像信号。例如，常见的ERP格式的球面图像将球面信号投影到一幅2D图像来表示球面图像信号。基于平面的表示方法之所以较为流行，规格化的表示方法可以很好的组织图像数据，使处理图像数据时不考虑几何结构而只考虑图像像素之间的邻域关系。从而将几何关系隐含在邻域关系中，将数据组织成某种结构化的数据序列，数据处理简单，利于实现基于块的信号处理方法。然而，基于平面的方法改变了球面数据原有的几何特性，造成靠近球面两极区域拉伸和过采样，引入了较大的形变和冗余，破坏了球面信号的相关性。

基于球面的球面图像信号表示方法可以解决这些问题。但是球面几何结构复杂，找到一种类似平面图像的规格化的表示方法较为困难。因此，某些应用领域直接利用基于球面上的网格结构表达并处理球面信号以解决以上问题。在全球天气、地质、海洋变化的表示与处理等应用中，地球数据经常采用球面表示方法表示，该方法可以有效地保持地球数据的相关性，利于球面数据的处理。目前，球面四边形、六边形以及三角形格网是三种最常见的球面格网。HEALPix是基于四边形的表达方法之一，被经常用在天文学、地理信息学等研究领域中。在图像处理领域，最近的一项研究利用了球面六边形网格来表示球面信号。以上这两种方法中，四边形网格虽然面积相等但是形状有较大差异，六边形格网却不可避免的存在一定数量的五边形。因此，这两种网格都不完全是球面上的规格化结构，不利于形成统一的信号采样数值计算方法。QTM方法可以对球面进行形状、面积近似均匀的球面三角格网，生产球面均匀分布的像素点，可以结构化的表示格网单元，符合球面特性，是一种较好的球面规格化结构。该格网模型是一种较好的球面光栅模型，有利于统一的数值计算，可以作为球面图像数据的显示、分析和采样的技术基础。现已存在多种格网索引和地址转换方法，提供了快速索引球面数据的具体方法，可以作为邻域关系处理的基础。

球面三角网格形状及面积大小都近似相等，是一种较好的球面规格化表达。与平面上的规格化结构类似，规格化的球面数据表示方法不仅能更好的符合球面几何特性，还能将球面信号组织成类似于平面图像的结构化数据序列，从而可以很容易地将现有的基本图像处理扩展到球面上来，具有十分广阔的应用前景。不过，现有利用球面三角格网处理类似于图像数据的工作较少，仅有一些针对地球数据的一些可视化系统。球面规格化三角格网目前还没有被应用于自然球面全景图像，而以此为基础的球面图像信号的数字化生成方法以及从现有平面化球面图像转换为相应球面表达格式的转换方法也没有被研究和使用过。

发明内容

为了解决常见球面图像的非规格数字化表示方式带来的冗余大，几何关系处理复杂度高，不利于数字化采样、数值计算的问题，本发明提供一种基于规格化结构的球面图像生成及转换方法。

本发明利用QTM格网模型，以曲面三角刻画图像像元，建立规格化球面图像表示，利用其规格化结构，根据曲面单元间存在的解析关系，推导出基于规格化曲面三角像元的球面图像的新数字化方法；更进一步，在充分考虑曲面单元与平面单元的面积关系基础上，将平面图像插值算法引入该数字化框架中，本发明提出从ERP图像到规格化球面图像的转换方法，可将目前海量的ERP投影格式下的360°图像视频转化为高质量的规格化球面图像，为规格化球面图像的处理提供现实数据保障。

具体技术方案如下：

1.一种基于规格化结构的球面图像生成方法，包括以下步骤：

1)采用基于QTM的递归剖分的方法生成球面规格化的球面三角网格模型，递归剖分生成的每一个球面三角网格对应一个球面图像的像元；

2)以剖分后的每个球面三角网格作为像素采样区域，并继续进行递归三角网格剖分；

3)获取每个球面三角网格进一步剖分后得到的所有三角网格的重心点的球面图像函数值

其中所述的重心点的经纬度坐标/>

由基于QTM的地址转换方法得到；

4)采样生成球面数字化图像，其中数字化图像中第i个像素的值I(i)的计算公式如下：

其中，

表示经度，θ表示纬度，/>

表示球面图像函数值；θ_i表示第i个球面三角像元重心点纬度值，m_i表示对第i个球面三角网格进一步剖分得到的网格最终数量，i表示数字化后的图像像素在像素序列中的序号，j为该m_i小区域的索引编号。

5)量化，即将获取的像素值由浮点数转换成整数。

2.一种基于规格化结构的球面图像转换方法，用于将已经保存成等距投影ERP格式的球面图像转换成以球面三角规格化剖分为基础的球面图像，包括以下步骤：

1)采用基于QTM的递归剖分的方法，生成规格化的目标球面图像三角网格模型，递归剖分生成的每一个三角网格对应一个目标球面图像的像元；

2)对剖分后的每个目标球面三角网格继续进行递归三角网格剖分；

3)获取每个球面三角网格进一步剖分后得到的所有三角网格的重心点的目标球面图像函数值

重心点的经纬度坐标/>

由基于QTM的地址转换方法得到，该点的球面图像函数值，是对ERP格式球面图像离散数据的插值得到。插值方法采用常见的基于局部的平面多项式插值方法即可，如最邻近插值、双线性插值、三次插值等。

4)生成目标球面图像，其中目标球面图像中第i个像素的值

的计算公式如下：/>

其中，

表示经度，θ表示纬度，/>

表示采用插值法从ERP格式的数字球面图像上获取的函数值；θ_i表示第i个目标球面三角像元重心点纬度，m_i表示第i个目标球面三角网格进一步剖分得到的网格最终数量，i表示目标球面图像的像素序号,j为该m_i个小区域的索引编号。

5)像素值整数化，即将获取的像素值由浮点数转换成整数，保留原始图像的原始位深度。

有益效果

基于三角格网的规格化球面图像表达方式，能有效去除图像采样冗余；在数字化过程中，本发明所提的采样方法，在计算采样值时可以忽略球面几何关系，避免复杂的球面面积计算，以每个球面像素点所在位置的经纬度坐标作为计算依据，不仅精度高而且计算复杂度低。经过简单推广，该采样框架将球面问题与简单的局部平面插值方法结合在一起，实现从最普遍的ERP格式向本发明所提出的规格化球面图像格式的转换，不仅计算方便，而且使生成的球面图像具有较好的质量。

为了验证所提方案的有效性，我们使用可视化系统展示其主观图像的方式，比较该方法的有效性。主要有三个方面：

首先使用我们的采样公式对一模拟连续球面信号进行数字化，生成多个分辨率的规格化的球面三角图像。(如图4)不同的剖分层次n代表不同的分辨率，其像素点数量为2^{2n +3}，该数值即分辨率。

然后，将不同分辨率，不同场景的ERP格式的球面图像转换为规格化球面图像。对比使用我们采样公式以及不用采样公式只使用插值方法的两种情况下，比较相应的视觉质量。我们的方法可以有效减少失真。(如图6)

附图说明

图1、本发明所述的球面图像生成方法数据计算流程示例；

图2、本发明所述的球面图像转化方法数据计算流程示例；

图3a、球面三角格网剖分及数据组织方式；

图3b、平面图像的索引方法；

图4、本发明对同一球面连续图像信号不同采样分辨率下的显示效果(量化深度8-bits)

图5、采样点位置在经纬度平面中的位置分布(以512个点为例)；

图6a-d、从ERP格式转换为本发明规格化球面图像格式后的主观质量比较图，(a)(c)列表示使用本发明提出的采样公式时的显示效果，(b)(d)列为直接使用双线性插值生成的图像显示效果。

具体实施例

1、一种基于规格化结构的球面图像生成方法

1)球面规格化三角格网定义和生成

首先需要采用基于QTM的递归剖分的方法生成球面规格化的球面三角格网模型。

其递归方法可用公式表示为:

其中S²表示整个球面，

表示八分之一球面，即整个球面被分成八个完全对称的8个球面三角形，该三角形作为剖分的初始层次。n表示剖分层次，/>

以及/>

表示对/>

剖分后生成的左、中、右、上或下四个小球面三角形。该模型可以将球面数据组织为一个包含八个完全四叉树的森林，剖分层次n即为每个四叉树深度。(见图3a)

以上递归剖分方法可描述如下：

步骤1：球内接正八面体与球相交生成球面上的六个点，使用大圆连接这些点生成8个球面三角(即八分之一球面)；

步骤2：计算每个球面三角形的三个边的中点，使用大圆弧连接三个中点，生成四个更小的球面三角形；

步骤3：递归执行步骤2，对生成的每个球面三角形进行剖分，直至达到预先规定的层次。

通过以上步骤生成的球面三角格网，可以用深度为n的完全四叉树结构进行表示，通过固定完全四叉树中结点的位置，从而建立四叉树叶子与每一个三角单元的一一对应关系。这些球面三角单元就可以使用已有的QTM地址系统进行索引和寻址。每一个球面三角网格对应一个球面图像的像元。

如图3b所示，普通平面数字图像采用二维线性地址对像素进行索引，每个像素对应唯一索引。与其类似，图3a给出了球面三角格网剖分及数据组织的直观显示。本发明所用的球面规格化图像采用球面三角单元作为像元区域，使用树形结构进行索引。剖分时下层球面三角三个顶点位置的经纬度坐标由上层对应的两个顶点的经纬度平均后得到。可以由八个有序的四叉树组成一个森林，每一个三角单元可以规定某种顺序，固定其位置，从而生成唯一索引。

2)采样公式及球面图像的数字化方法

根据图像信号采样理论，每一个像素的值通常是利用一定区域所有信号值的积分计算出来的。在实际中，该区域与图像数字化时使用的网格小区域一致。因此，需要对每一个球面三角区域内的信号值积分来生成每一个基于规格化球面三角网格的球面图像的像素值。

若g(φ,θ)为定义在球面S²空间内的连续球面图像函数，对其进行数字化需要首先利用前面提到的递归剖分方法对其进行球面三角规格化剖分，确定像素采样区域，然后对每个球面三角像素单元格区域计算积分，最终获得像素值。本发明的生成方法将球面像素区域内进一步划分成面积相同的更小区域，利用更小区域包含的一系列抽样点的函数值，带入公式来计算最终的积分值。为此我们利用曲面积分公式推导如下积分公式。

其中f(x_i,y_i,z_i)是球面信号在三维空间域的函数，g(φ_ij,θ_ij)是球面信号在球面坐标域中的函数，φ表示经度，θ表示纬度。i表示数字化后的图像像素在像素序列中的序号。m_i是计算序号为i的像素时所在格网区域中最大积分取值数目，j∈[1,m_i]为计算积分时的取值序号。令f(x_i,y_i,z_i)＝I(i)，则可得到本方法采用的球面图像像素值采样生成公式：

该公式利用球面三角的规格化结构为基础，忽略了球面几何，即复杂的球面面积计算，只需要考虑每个球面三角像元中真正像素点所在位置的纬度，大大简化了像素值采样值计算。其具体生成计算方法如下：

步骤1.对某像素I(i)所在球面三角区域实施更细致的递归三角网格剖分。若进一步剖分的层次由n(n>0)确定，则每个三角像元可以剖分成4ⁿ个小区域，可以用mi来表示这些小区域的最终数量。

步骤2：获取步骤1中生成的m_i个小区域重心点函数值g(φ_ij,θ_ij)。其中j∈[1,m_i]，为该m_i小区域的索引编号。重心点的经纬度坐标可使用基于QTM的一种地址转换方法实现，该方法由Goodchild于1992年在文献“A hierarchical spatial data structure forglobal geographic information systems”中详细描述。

步骤3：代入公式进行计算，获取I(i)的值。

步骤4.重复以上过程获取全部的像素值。

步骤5.量化。获取的像素值为浮点数，需要转换成整数的像素值。此步骤采用传统图像的量化方法，如使用8-bits，16-bits等量化级别。这里不再详述。

图1展示了在增加一层子剖分情况下，利用本发明方法从连续球面图像信号进行采样的例子。剖分层次增加一层，则可使用4个点的函数值进行积分计算。每个点是剖分后小三角形的重心点。图中的I表示直接从球面图像信号采样的数字化图像。

2、从ERP格式向规格化结构的球面图像的格式转换方法

对已经保存成等距投影(ERP)格式的球面图像，我们可以采用之前提出的采样框架，结合平面插值方法对其进行格式转换，生成以球面三角规格化剖分为基础的球面图像。

ERP图像格式使用基于平面的规格化经纬度格网来对球面图像进行表示和数字化，已经是离散函数，并不是在整个定义域内都具有值，因此需要引入插值方法估算无值点的值。

其计算方法可以用解析的公式表达：

为格式转换后的球面图像，i表示图像像素的索引，/>

是球面信号在球面坐标域中的函数，φ表示经度，θ表示纬度。i表示数字化后的图像像素在像素序列中的序号。m_i是计算序号为i的像素时所在格网区域中最大积分取值数目，j∈[1,m_i]为计算积分时的取值序号。/>

的获取可以利用普通的基于平面的多项式插值方法进行计算。对每一个抽样点坐标(φ_ij,θ_ij)，可以借助ERP投影的方式获取其在ERP投影图像上的坐标(x,y)，然后可以使用常见的最近邻插值或多项式插值方法如双线性插值，三次插值等取得相应点的值。以最简单的双线性插值为例，对每一个抽样点以其周围的最邻近的四个ERP图像中的像素值以不同的权重进行估计，权重遵循某线性多项式进行计算。同理，三次插值等其他平面多项式插值也是以周围像素点进行估计，区别仅在于参考点数量及权重的确定方式不同。

其具体计算过程与采样方法中的步骤基本相同，其区别在于

的获取是利用普通基于平面的多项式插值方法计算得到。其计算公式及详细计算过成如下：，

步骤1.对某球面像素

所在球面三角区域实施更细致的递归三角网格剖分。若其继续剖分的层次由n(n>0)确定，则每个三角像元可以剖分成4ⁿ个小区域，可以用m_i来表示这些小区域的最终数量。

步骤2：使用插值方法(例如双线性、三次插值等插值方法)估算m_i个小区域重心点函数值

并取其纬度值θ_ij用以计算最后的积分。此时保留原始图像的深度(8-bit或16bit等)。重心点的经纬度坐标可使用基于QTM的一种地址转换方法实现。如上文所述，该方法已由Goodchild于1992年给出。

步骤3：代入公式(2)进行计算，获取

的值。

步骤4.重复以上过程获取全部的像素值。

Claims (2)

1.一种基于规格化结构的球面图像生成方法，其特征在于包括以下步骤：

1)采用基于QTM的递归剖分的方法生成球面规格化的球面三角网格模型，递归剖分生成的每一个球面三角网格对应一个球面图像的像元；

2)以剖分后的每个球面三角网格作为像素采样区域，并继续进行递归三角网格剖分；

3)获取每个球面三角网格进一步剖分后得到的所有三角网格的重心点的球面图像函数值

其中所述的重心点的经纬度坐标/>

由基于QTM的地址转换方法得到；

4)采样生成球面数字化图像，其中数字化图像中第i个像素的值I(i)的计算公式如下：

其中，

表示经度，θ表示纬度，/>

表示球面图像函数值，θ_i表示第i个球面三角像元重心点纬度，m_i表示第i个球面三角网格进一步剖分得到的网格最终数量，i表示数字化后的图像像素在像素序列中的序号，j为m_i小区域的索引编号；

5)量化，即将获取的像素值由浮点数转换成某范围内的整数。

2.一种基于规格化结构的球面图像转换方法，用于将已经保存成等距投影ERP格式的球面图像转换成以球面三角规格化剖分为基础的球面图像，其特征在于包括以下步骤：

1)采用基于QTM的递归剖分的方法，生成规格化的目标球面图像三角网格模型，递归剖分生成的每一个三角网格对应一个目标球面图像的像元；

2)对剖分后的每个目标球面三角网格继续进行递归三角网格剖分；

3)获取每个球面三角网格进一步剖分后得到的所有三角网格的重心点的目标球面图像函数值

其中，所述的重心点的经纬度坐标/>

由基于QTM的地址转换方法得到，所述的球面图像函数值/>

由ERP格式的球面图像的离散数据插值得到；

4)生成目标球面图像，其中目标球面图像中第i个像素的值

的计算公式如下：

其中，

表示经度，θ表示纬度，/>

表示采用插值法从ERP格式的数字球面图像上获取的函数值；θ_i表示第i个目标球面三角像元的重心点纬度，m_i表示第i个目标球面三角网格进一步剖分得到的网格最终数量，i表示目标球面图像的像素序号，j为m_i个小区域的索引编号；

5)像素值整数化，即将计算得到的浮点值由换成整数，生成最终的像素值，并保留原始ERP图像的深度。

Images