CN113506370A - 基于立体遥感影像的三维地理场景模型构建方法和装置 - Google Patents

Abstract

本申请实施例提供一种基于立体遥感影像的三维地理场景模型构建方法和装置，该方法包括：对原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像；按照预设影像切片规则进行切片，得到数字高程模型影像瓦片以及数字正射影像瓦片；利用不规则三角网构建技术建立三维地形模型，并基于纹理坐标映射技术将地貌纹理映射至三维地形模型，得到分块三维地理场景模型；最后将分块三维地理场景模型按照瓦片行列号存储，得到原始立体卫星遥感影像对应的三维地理场景模型。较之于传统的建模方法，本申请的技术方案具有建模规模大、效率高、自动化程度高的优点，在保证建模精度与真实感的同时，大大提升了模型构建的效率等。

Description

基于立体遥感影像的三维地理场景模型构建方法和装置

技术领域

本申请涉及三维建模技术领域，尤其涉及一种基于立体遥感影像的三维地理场景模型构建方法和装置。

背景技术

随着数字地球概念的提出，利用多分辨率、多时相的多源对地观测数据以及社会经济数据来构建虚拟地球成为当下的技术热点。摄影测量技术通过在飞行器上搭载多视角传感器，从垂直和倾斜等多种角度成像，既可以获取地面的高程信息，也可以获取地貌纹理特征。近几年，高分辨率光学卫星遥感技术得到发展，获取的影像经过辐射与几何校正之后有较高的精度，能够为构建高精度面向数字地球的三维真实地理场景模型提供重要的数据源。

然而，基于常用的SkectchUp、3dMax等软件平台难以快速实现大规模的三维场景建模，因此现有的三维场景模型构建多以数字校园、数字城市尺度为主。不仅如此，传统的建模方法利用数字高程模型数据生成灰度高度，由于高程数据在该过程中产生精度损失，导致难以实现三维真实地理场景建模。此外，面向数字地球的全国乃至全球尺度的三维场景模型，由于其立体遥感影像数据源具有海量特征，如何进行影像数据以及模型数据的管理与组织也是当前的技术瓶颈。

发明内容

有鉴于此，本申请的目的是为了克服现有技术中的至少一种不足，提供一种基于立体遥感影像的三维地理场景模型构建方法和装置。

本申请的实施例提供一种基于立体遥感影像的三维地理场景模型构建方法，包括：

对采集的原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像；

按照预设影像切片规则对所述数字高程模型影像和所述数字正射影像进行切片，分别得到具有相应行列号的若干数字高程模型影像瓦片和若干数字正射影像瓦片，每个所述数字高程模型影像瓦片包括具有真实高程值的若干个像元，每个所述数字正射影像瓦片包括相应像元的地貌纹理；

对包含像元真实高程值的所述数字高程模型影像瓦片构建不规则三角网，并基于所述不规则三角网中各个三角形的信息生成所述数字高程模型影像瓦片对应的三维地形模型；

通过纹理映射坐标将所述数字正射影像瓦片的地貌纹理映射至相应瓦片行列号的所述数字高程模型影像瓦片对应的三维地形模型上，得到对应的分块三维地理场景模型；

将所述分块三维地理场景模型按照数字正射影像的瓦片行列号依次存储，得到所述原始卫星遥感影像对应的三维地理场景模型。

在一种实施例中，所述原始卫星遥感影像包括正视全色影像、前视全色影像和后视全色影像，以及正视多光谱图像，所述对采集的原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像，包括：

将所述正视全色影像与所述前视全色影像或与所述后视全色影像进行立体影像匹配，生成包含真实高程信息的第一空间分辨率的数字高程模型影像；

将所述正视全色影像与所述正视多光谱图像进行影像融合，生成包含地貌纹理信息的第二空间分辨率的数字正射影像。

在一种实施例中，所述按照预设影像切片规则对所述数字高程模型影像和所述数字正射影像进行切片，包括：

以经纬度坐标为基准，按照不同层级多种分辨率生成由若干行和列网格所构成的矢量瓦片数据，其中，各地理位置的经纬度坐标与对应的各层级的所述矢量瓦片的行列号存在映射关系；

基于所述矢量瓦片数据对经过镶嵌处理后的数字高程模型影像与数字正射影像进行重采样，以分别得到相应分辨率的数字高程模型瓦片和数字正射影像瓦片。

在一种实施例中，地理位置的经纬度坐标与对应层级的所述矢量瓦片的行列号之间的所述映射关系为：

Res＝180°/2ⁿ；

X_Tile＝floor((L_ON-(-180°))/Res)；

Y_Tile＝floor((90°-L_AT)/Res)；

Res≥Res_image*Size_tile；

其中，floor表示向下取整的运算；Res表示第n层级的瓦片的分辨率大小；(L_AT，L_ON)表示目标地理位置的经纬度坐标；X_Tile和Y_Tile分别表示所述目标地理位置的经纬度坐标所对应的影像瓦片的行号和列号；Res_image为影像的原始分辨率；Size_tile为所述瓦片的尺寸。

在一种实施例中，所述不规则三角网包含像元的真实高程值，所述基于所述不规则三角网中各个三角形的信息生成所述数字高程模型影像瓦片对应的三维地形模型，包括：

对于所述数字高程模型影像瓦片中的所述不规则三角网中的三角形，获取每个所述三角形构成的面的三个顶点索引，基于所述三个顶点索引对应位置的像元的真实高程值生成所述数字高程模型影像瓦片对应的三维地形模型。

在一种实施例中，所述通过纹理映射坐标将所述数字正射影像瓦片的地貌纹理映射至相应瓦片行列号的所述数字高程模型影像瓦片对应的三维地形模型上，包括：

获取所述数字正射影像瓦片中的所述不规则三角网中的每个三角形的三个顶点的二维平面坐标，将所述二维平面坐标转换为二维纹理映射坐标；

利用具有相应瓦片行列号的所述数字正射影像瓦片中的三角形的所述三个顶点的所述二维纹理映射坐标依次分配到所述三维地形模型中的三个顶点索引的顶点位置，以实现所述三个顶点索引对应的面的地貌纹理映射。

在一种实施例中，生成所述数字高程模型影像和所述数字正射影像之前，所述影像预处理还包括：

从采集的所述原始卫星遥感影像中选取出云量少且成像清晰的卫星遥感影像，并利用所述选取的卫星遥感影像生成所述数字高程模型影像和所述数字正射影像。

本申请的实施例还提供一种虚拟现实三维场景模型构建装置，包括：

预处理模块，用于对采集的原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像；

瓦片切分模块，用于按照预设影像切片规则对所述数字高程模型影像和所述数字正射影像进行切片，分别得到具有相应行列号的若干数字高程模型影像瓦片和若干数字正射影像瓦片，每个所述数字高程模型影像瓦片包括具有真实高程值的若干个像元，每个所述数字正射影像瓦片包括相应像元的地貌纹理；

三维地形构建模块，用于包含像元真实高程值的对所述数字高程模型影像瓦片构建不规则三角网，并基于所述不规则三角网中各个三角形的信息生成所述数字高程模型影像瓦片对应的三维地形模型；

地貌纹理映射模块，用于通过纹理映射坐标将所述数字正射影像瓦片的地貌纹理映射至相应瓦片行列号的所述数字高程模型影像瓦片对应的三维地形模型上，得到对应的分块三维地理场景模型；

分块存储模块，用于将所述分块三维地理场景模型按照数字正射影像的瓦片行列号依次存储，得到所述原始卫星遥感影像对应的三维地理场景模型。

本申请的实施例还提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时，实施上述的基于立体遥感影像的三维地理场景模型构建方法。

本申请的实施例还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上执行时，实施上述的基于立体遥感影像的三维地理场景模型构建方法。

本申请的实施例具有如下有益效果：

本申请实施例的基于立体遥感影像的三维场景模型构建方法基于具有海量特征的原始卫星遥感影像，通过对其进行影像预处理，得到数字高程模型(Digital ElevationModel，DEM)影像和数字正射(Digital Othophoto Map，DOM)影像；通过采用影像切片规则对DEM影像和DOM影像进行切片，得到相应的影像瓦片数据；进行，利用不规则三角网构建技术建立三维地形模型，并基于纹理坐标的映射技术将地貌纹理映射至三维地形模型，从而得到分块三维地理场景模型；最后将分块三维地理场景模型按照瓦片行列号存储，得到原始立体卫星遥感影像对应的三维地理场景模型。较之于传统的三维场景建模方法，该方法具有建模规模大、效率高、自动化程度高的优点，在保证建模精度与真实感的同时，大大提升了三维场景模型构建的效率，能够为各行业应用提供三维地理场景的模型资源基础数据等。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例1的基于立体遥感影像的三维地理场景模型构建方法的第一流程示意图；

图2示出了本申请实施例1的基于立体遥感影像的三维地理场景模型构建方法的第二流程示意图；

图3示出了本申请实施例1的基于立体遥感影像的三维地理场景模型构建方法的预设影像切片规则切换的流程示意图；

图4示出了本申请实施例1的基于立体遥感影像的三维地理场景模型构建方法的不规则三角网构建的应用示意图；

图5示出了本申请实施例1的基于立体遥感影像的三维地理场景模型构建方法的三维地形模型示意图；

图6示出了本申请实施例1的基于立体遥感影像的三维地理场景模型构建方法的纹理映射的应用示意图；

图7示出了本申请实施例1的分块三维地理场景模型存储的示意图；

图8示出了本申请实施例2的虚拟现实三维场景加载与渲染方法的第一流程示意图；

图9示出了本申请实施例2的虚拟现实三维场景加载与渲染方法的计算实际加载三维场景的应用示意图；

图10示出了本申请实施例2的虚拟现实三维场景加载与渲染方法的第二流程示意图；

图11示出了本申请实施例2的虚拟现实三维场景加载与渲染方法的计算更新加载的三维场景的应用示意图；

图12示出了本申请实施例3的基于立体遥感影像的三维场景模型构建装置的结构示意图；

图13示出了本申请实施例4的虚拟现实三维场景加载与渲染装置的第一结构示意图；

图14示出了本申请实施例4的虚拟现实三维场景加载与渲染装置的第二结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

请参照图1，本实施例提出一种基于立体遥感影像的三维场景模型构建方法，可应用于面向数字地球的三维真实地理场景建模。示范性地，该基于立体遥感影像的三维场景模型构建方法包括：

步骤S110，对采集的原始卫星遥感影像进行影像预处理，得到DEM影像和DOM影像。

示范性地，在获取到全国或全球范围内的原始卫星遥感影像数据后，本实施例将通过影像预处理方法来获取用于建模所需的立体影像数据，例如，数字高程模型影像(以下简称DEM)可以提供描述地面点的位置坐标与表示地形起伏的真实高程信息，而数字正射影像(以下简称DOM)可以提供描述地表覆盖真实状况的地貌纹理信息。

在一种实施方式中，该原始卫星遥感影像主要包括高分辨率的正视全色影像、前视全色影像和后视全色影像，以及正视多光谱图像等，这些影像可采用具有高分辨率的卫星传感器装置拍摄得到。对于上述步骤S110，如图2所示，该影像预处理的过程，包括：

子步骤S111，将正视全色影像与前视全色影像或与后视全色影像进行立体影像匹配，生成包含真实高程信息的第一空间分辨率的DEM影像。

示范性地，可将正视全色影像与前视全色影像进行立体影像匹配，或者将正视全色影像与后视全色影像进行立体影像匹配，从而得到所需的空间分辨率的DEM影像数据。例如，该第一空间分辨率可为15m、30m等。可以理解，进行立体影像匹配时，可根据实际需求来选取相应的影像匹配算法，如基于灰度的影像匹配、基于特征的影像匹配方法等，针对影像匹配算法的描述可参见相应的已公开文献，在此将不展开描述。

子步骤S112，将正视全色影像与正视多光谱图像进行影像融合，生成包含地貌纹理信息的第二空间分辨率的DOM影像。

示范性地，将正视全色影像和多光谱图像作为预设算法的输入，如基于主成分变换(PCA)的图像融合技术等，经过相应运算处理后，可得到所需的空间分辨率的DOM影像数据。例如，可获得空间分辨率为2m且影像色彩模式为RGB的DOM影像数据等。可以理解，该影像融合可采用已公开的算法进行处理，在此并不展开描述。

进一步可选地，生成上述的DEM和DOM影像之前，该影像预处理还包括：从采集的原始卫星遥感影像中选取出云量少且成像清晰的卫星遥感影像，并利用选取的卫星遥感影像生成上述DEM和DOM数据。通过对采集到的原始卫星遥感影像数据进行筛选操作，从而利用拍摄到的一些成像清晰的影像进行模型构建，可以提高三维场景模型的准确性等。

于是，得到用于建模所需的DEM和DOM影像数据后，本实施例将对这两种数据进行影像切片，并基于Unity三维引擎平台进行三维真实地理场景模型的自动构建。

步骤S120，按照预设影像切片规则对该DEM影像和DOM影像进行切片，分别得到具有相应瓦片行列号的若干DEM影像瓦片和若干DOM影像瓦片。其中，每个DEM影像瓦片包括具有真实高程值的若干个像元，而每个DOM影像瓦片包括相应像元的地貌纹理。

示范性地，可分别构建DEM和DOM影像的栅格数据集或镶嵌数据集等，以便于海量遥感数据的存储与管理。在一种实施方式中，将利用预设影像切片规则进行影像切片，如图3所示，包括：

子步骤S121，以经纬度坐标为基准，按照不同层级多个分辨率生成由若干行和列的网格构成的矢量瓦片数据，其中，各地理位置的经纬度坐标与对应的各层级的矢量瓦片的行列号存在相应的映射关系。

示范性地，对于原始卫星遥感影像对应的平面地形图，例如，可按照OGC标准的WMTS服务的切片坐标系统和组织方式，以经纬度坐标为切片基准，按照不同的层级及不同的分辨率将其划分成由若干行和列的网格构成的矢量瓦片数据，通常地，该网格可为正方形等。其中，一个矢量瓦片包含多个大小均匀的网格，而每个网格将作为一个像元。每个矢量瓦片的行列号与相应地理位置的经纬度坐标之间存在一定的映射关系，而每个像元的位置同样可由矢量瓦片所在行号和列号计算得到。

可知，每个层级分辨率的矢量瓦片的行列号与对应的地理位置的经纬度坐标存在映射关系。在一种实施方式中，例如，定义矢量瓦片的坐标系的原点为(180°W，90°N)，即西经180°北纬90°，则第n层级的矢量瓦片的分辨率Res的计算公式为：

Res＝180°/2ⁿ；

Res≥Res_image*Size_tile。

其中，第n层级的矢量瓦片的分辨率Res和矢量瓦片的尺寸大小Size_tile满足上述约束条件。Res_image为影像的原始分辨率。此外，对于该瓦片的尺寸大小Size_tile，例如，可取值为256、512等，具体可根据实际需求来选取，在此并不限定。

进而，示范性地，矢量瓦片的行列号与对应的地理位置的经纬度坐标存在如下映射关系：

X_Tile＝floor((L_ON-(-180°))/Res)；

Y_Tile＝floor((90°-L_AT)/Res)；

其中，floor表示向下取整的运算；Res表示第n层级的瓦片的分辨率大小；(L_AT，L_ON)表示一个地理位置的经纬度坐标；X_Tile和Y_Tile分别表示该地理位置的经纬度坐标所对应的瓦片的行号和列号。

可以理解，当已知空间上某一点的瓦片行列号，可计算该点的经纬度；反之，当已知某个地理位置的经纬度坐标，则可通过上述公式计算出该地理位置所在瓦片的行列号。

可选地，该矢量瓦片中各个像元的行号和列号的计算公式，满足：

其中，X_pixel和Y_pixel分别表示相应地理位置对应的在瓦片中的像元的行号和列号；S_L表示第L层级的瓦片的尺寸大小。

子步骤S122，基于所述矢量瓦片数据对镶嵌处理后的DEM影像与DOM影像进行重采样，以分别得到相应分辨率的DEM影像瓦片和DOM影像瓦片。

示范性地，可对DEM影像和DOM影像进行拼接镶嵌等处理后，根据上述步骤划分得到的矢量瓦片数据对DEM和DOM的连续影像分别进行重采样，如最邻近内插法、双线性内插法或三次卷积法内插法等，从而得到相应分辨率的数量相等的DOM影像瓦片和DEM影像瓦片。

例如，通过重采样方式，可以使得DEM由第一空间分辨率到第二空间分辨率，以及DOM由第二空间分辨率到第四空间分辨率。在一种实施方式中，可得到第三空间分辨率第一尺寸的DEM影像瓦片和第四空间分辨率第二尺寸的DOM影像瓦片；其中，第三空间分辨率大小为第四空间分辨率大小的4倍，第一尺寸大小为第二尺寸大小的1/4。可以理解，DOM影像和DEM影像被切分成具有相同的经纬度范围且数量相同的瓦片数据，以便建立对应的分块三给场景模型。

步骤S130，对包含像元真实高程值的DEM影像瓦片构建不规则三角网，并基于该不规则三角网中各个三角形的信息生成DEM影像瓦片对应的三维地形模型。

示范性地，可对各个DEM瓦片进行三角化处理以建立不规则三角网，例如，对于DEM瓦片，由于DEM瓦片中包含各个像元的真实高程信息，在构建出由若干个二维平面三角形构成的不规则三角网后，进而，基于真实的高程值由二维平面三角形转换到三维的空间地形，从而生成该DEM瓦片对应的三维地形模型。

例如，如图4所示，在构建不规则三角网时，以左下角为起点，依据15个顶点，可按照顺时针(或逆时针)方向划分为16个三角形，并记录每个三角形的顶点坐标，即平面的位置坐标，以及以三角形的三个顶点所构成的面的属性，如该三角形的三个顶点索引等。而通过顶点索引可用于描述由各个三角形所形成的面的位置。其中，各个三角形的顶点坐标可组成一个集合，例如，这些顶点坐标可表示为{(0,0)，(1,0)，(2,0)…}。而所述的顶点索引，即指按照对应的索引方向，该三角形的顶点是15个顶点中的第几个顶点，以左下角的一个三角形为例，按照顺时针方向，该三角角的顶点索引值即可表示为(0，5，6)。通过该顶点索引值即可确定该三角形的位置。

于是，对于DEM瓦片对应的不规则三角网中的三角形，可通过获取每个三角形构成的面的三个顶点的索引值，进而结合该三个顶点索引(即面的位置)对应位置的像元的真实高程值生成三维的地形模型，得到如图5所示的三维地形模型。

值得注意的是，本实施例采用的是真实的高程值，相比于传统的利用高程值生成灰度高度以构建模型的方法，这样可以避免在灰度转换后产生精度损失，从而利于实现更为真实的地理场景，提高真实感等。

步骤S140，通过纹理映射坐标将DOM影像瓦片的地貌纹理映射至具有相应瓦片行列号的DEM影像瓦片对应的三维地形模型上，得到对应的分块三维地理场景模型。

其中，纹理映射坐标，也称为UV坐标，是一种二维的平面坐标，可表示为(u，v)。UV坐标是将二维的平面坐标归一化到[0，1]范围内，这样方便进行不同尺寸的图像的特征映射。

在一种实施方式中，示范性地，上述的纹理映射的过程，可包括：

对获取DOM瓦片中的不规则三角网中的每个三角形的三个顶点的二维平面坐标，将各个顶点的二维平面坐标转换为二维纹理映射坐标。例如，以图4所示，对于上述的三角形的顶点集合{(0,0)，(1,0)，(2,0)…}，通过坐标归一化，可转换为{(0,0)，(0.25,0)，(0.5,0)…}。

进而，利用具有相应瓦片行列号的DOM瓦片中的三角形的三个顶点的二维纹理映射坐标依次分配到DEM的三维地形模型中的三个顶点索引的位置，以实现该三个顶点索引对应的面的地貌纹理映射。

若DOM瓦片中的一个三角形的3个顶点对应的uv坐标依次为(u1，v1)，(u2,v2)，(u3,v3)，如图6所示，将其映射至对应的在三维空间坐标系中三个顶点依次为(x1,y1,z1)，(x2,y2,z2)，(x3,y3,z3)所构成的三角形所在的面上，其中，uv坐标与三维空间坐标系中的(x，y)存在对应关系，而坐标z与真实高程值相关。通过上述映射过程，即可将二维的DOM瓦片中的地貌纹理映射至DEM瓦片对应范围内的三角形所构成的面上，从而生成该当前DEM和DOM瓦片对应的分块三维真实地理场景模型。

步骤S150，将该分块三维地理场景模型按照DOM影像的瓦片行列号依次存储，得到该原始卫星遥感影像对应的三维地理场景模型。

示范性地，对于每个DEM和DOM瓦片，可通过上述步骤进行地貌纹理映射，从而得到对应的分块三维地理场景模型，在存储这些三维地理场景模型时，如图7所示，可按照DEM瓦片的行列号依次存储，从而得到该原始卫星遥感影像对应的真实地理的三维场景模型资源数据库。可以理解，通过上述步骤构建的三维场景模型，可以为构建虚拟现实地理场景提供模型资源基础，从而实现三维场景模型与虚拟现实场景之间的交互等。

本实施例基于高分辨率立体卫星遥感影像，通过相关影像切片技术对DOM、DEM影像进行切片处理，以得到若干DEM及DOM瓦片；进而，以Unity3D为平台进行二次开发，基于真实高程值构建不规则三角网以形成三维地形场景模型；以及，利用二维纹理映射坐标，将DOM数据纹理映射至对应的三维地形场景模型上，从而形成以分块形式存储的三维真实地理场景模型资源。该方法可以实现海量特征的大型三维地理场景模型的高精度快速构建，较之于传统的三维建模方法，具有建模规模大、效率高、精度高以及自动化程度高等特点。

实施例2

请参照图8，本实施例提出一种虚拟现实(VR)三维场景加载与渲染方法，应用于虚拟现实的交互场景，可实现海量高精度三维场景模型资源的实时加载与高效渲染，保证了三维地理场景漫游的真实感，突破了由于计算机内存的有限性而产生的模型加载技术瓶颈等。

本实施例中，以预先构建的高精度的面向数字地球的卫星影像三维地理场景模型资源为基础，基于Unity3D平台，实现在虚拟现实交互场景中的三维地理场景模型资源的动态加载。在一种实施方式中，可通过上述实施例1所述的方法构建得到该高精度的面向数字地球的卫星影像三维地理场景模型，可选地，每个Unity实例中包含若干个分块三维地理场景，而各个分块三维地理场景模型按照DEM瓦片行列号及在Unity实例中的顺序命名并存储于资源库中。

可以理解，每个分块三维地理场景模型具有各自的瓦片行列号，且单个分块三维地理场景模型的瓦片行列号与虚拟现实交互场景的平面地形(也称地形图)的经纬度坐标存在如上述实施例1中的映射关系。

示范性地，如图8所示，该虚拟现实三维场景加载与渲染方法包括：

步骤S210，获取用户当前在虚拟现实交互场景中的三维空间坐标，将该三维空间坐标在虚拟现实交互场景的平面地形进行投影以得到用户视点当前所在的经纬度坐标。

例如，用户可选择与该VR交互场景的配套虚拟现实设备，如可佩戴的HTC Vive显示设备、两个操纵手柄及两个定位器等来实现VR场景与三维场景模型之间的交互。其中，左、右操纵手柄可被分别设计成位移手柄与交互手柄，以分别用于提供用户在三维场景中进行位移与交互的功能。

通常地，系统会先对用户的初始位置进行初始化，例如，用户可使用右手柄在相应的二维用户界面(UI)或三维数字地球上选择欲浏览的区域，从而实现用户位置的初始化。以及，设置头戴式VR显示设备的方向为用户移动的正前方和相应的移动速度，以便通过监听左操纵手柄的位移键，触发用户的位移事件，实现用户在虚拟现实真实三维地理场景中的漫游。

示范性地，在VR交互场景中进行交互时，头戴式VR显示设备与操控手柄可以通过感应由定位器发射的红外线，实现对用户的位置与姿态的空间定位，从而获得用户位置，即用户在交互场景中的三维空间坐标，也称为用户的视点位置。

本实施例中，虚拟现实交互场景中的真实三维地理场景与平面的地形图存在对应关系，而地形图一般采用经纬度坐标进行位置描述。对于上述步骤S210，可将用户位置在真实三维地理场景对应的地形图进行平面投影，即将该三维空间坐标在平面地形投影，得到一个投影点，而该投影点在地形上的经纬度坐标即为视点当前所在的经纬度坐标。

步骤S220，根据所述经纬度坐标确定用户视点所在的目标分块三维场景，按照预设步长选取以该目标分块三维场景为中心的领域分块三维场景，将该目标分块三维场景和领域分块三维场景之和作为候选加载三维场景。

示范性地，得到当前视点所在的经纬度坐标后，可通过平面地形的经纬度坐标与分块三维地理场景模型的行列号之间的映射关系，计算出视点所在的目标分块三维场景的行列号，而该行列号则用于从资源库中加载相应的分块三维地理场景模型资源。

由于用户存在对应的视野范围，故还将用户视线能到达的其他区域进行三维场景模型资源加载及渲染，以保证用户的真实体验。本实施例中，以用户视点所在的目标分块三维场景为中心，选取围绕该目标分块三维场景的邻域三维场景，最终得到待加载的候选加载三维场景。为方便计算，例如，该候选加载三维场景可选取为正方形区域等。

在一种实施方式中，该候选加载三维场景的计算公式如下：

其中，R_Map表示候选加载三维场景；VR(x,y,z)表示用户在虚拟现实交互场景中的三维空间坐标；Vec(i*size_Map,0,j*size_Map)为选取领域分块三维场景的三维向量；Size_Map表示单个分块三维地理场景模型在平面地形投影的大小；Nrow和Ncol分别表示在行号和列号上的预设步长数。

例如，若用户视点在平面地形的投影点为P，如图9所示，则该目标分块三维场景为P点所在的小正方形块。进而，以该目标分块三维场景的投影点P为中心，若按照设定的行号和列号的步长数(如Nrow＝Ncol＝4)，可选取出环绕该目标分块三维场景的所有邻域三维场景，如图9所示，此时的候选加载三维场景为由P点所在的小正方形块和邻域三维场景构成的正方形区域S1。

步骤S230，以所述经纬度坐标为圆心，按照预设半径对该候选加载三维场景进行边缘场景裁剪，得到用户视点当前对应的实际加载三维场景。

为进一步减少分块三维地理场景模型的资源加载以减少计算机内存的压力，本实施例还将通过一个圆形边界对上述的候选场景范围进行裁剪，可以理解，通过圆形区域进行裁剪以将候选场景范围中的一些视点不能到达的边缘场景去除，达到优化加载目的。

示范性地，以用户当前所在的经纬度坐标为圆心，判断上述候选加载三维场景中的各个分块三维场景在平面地形投影的中心到圆心的距离是否小于或等于预设半径，并将满足该距离小于或等于预设半径的所有分块三维场景作为当前用户视点对应的实际加载三维场景，从而得到优化后的待加载资源队列。

在一种实施方式中，该实际加载三维场景的计算公式如下：

其中，R_MapL表示实际加载三维场景；

表示候选加载三维场景中的分块三维场景的总个数；R_Map[n]表示候选加载三维场景中的第n个分块三维场景；Dis tan c e()表示距离函数；Radius表示预设半径。

例如，如图9所示，若预设半径为Radius，对于位于候选加载三维场景S1内且其在平面地形投影的中心到圆心P的距离小于等于Radius的分块三维场景，如中心为a1的分块三维场景等，则被保留；而对于位于S1内且其中心到圆心P的距离大于Radius的分块三维场景，如中心为a2的分块三维场景等，则被裁剪。于是，最终被保留的所有分块三维场景则构成一待加载资源队列，该待加载资源队列中的每个分块三维场景的资源将被依次加载并渲染。

步骤S240，根据所述实际加载三维场景从预先存储的三维场景模型资源库中实时加载并渲染对应的分块三维地理场景模型。

示范性地，根据确定的当前待加载资源队列中各个分块三维场景的行列号以及其在Unity实例中的序号，可从预先存储的三维场景模型资源库中加载对应的分块三维地理场景模型。

可以理解，本实施例基于分块三维地理场景模型，通过对待加载的候选加载场景进行调整以得到优化的场景加载范围，可以保证三维场景模型的实时加载与渲染，保留三维真实地理场景漫游的真实感，对于用户而言，可大大提高用户体验等。

由于用户在三维场景中进行漫游时，其在虚拟现实场景中的位置会发生变化，为此，需要随着用户位置的移动而不断更新加载场景资源。进一步地，如图10所示，该方法还包括：

步骤S250，监测用户在虚拟现实交互场景中的移动轨迹以实时更新用户的三维空间坐标。

步骤S260，根据更新的三维空间坐标计算用户视点移动后对应的下一实际加载三维场景。

示范性地，通过动态监测用户在虚拟现实场景中的移动，判断是否需要加载新资源和释放旧资源，从而实现模型资源的动态加载与渲染。例如，若检测到用户在虚拟现实交互场景中的位置发生了变化，如图11所示，点P1与点P2之间的线段即为用户在虚拟现实交互场景中的运动轨迹，则可参见上述步骤S210-S230重新计算出用户视点在移动后对应的下一实际加载三维场景，即下一次待加载的三维场景资源队列。

步骤S270，根据已加载的所述实际加载三维场景与所述下一实际加载三维场景计算待卸载的分块三维地理场景模型和待加载的分块三维地理场景模型，以用于更新加载并渲染虚拟现实交互场景中的三维场景模型。

示范性地，可通过先计算当前已加载的实际加载三维场景与下一实际加载三维场景的区域交集；然后，将当前已加载的实际加载三维场景与该区域交集作差，得到待卸载的分块三维地理场景模型，即待释放的旧资源；同时，将下一实际加载三维场景与该区域交集作差，得到待加载的分块三维地理场景模型，即待加载的新资源。例如，如图11所示，若当前已加载的实际加载三维场景为U1，下一实际加载三维场景为U2，可计算出区域交集为U1∩U2。可知，交集中的这些分块三维场景始终位于加载队列中。进而，待卸载的旧资源则为U1-(U1∩U2)，以及待加载的新资源为U2-(U1∩U2)。

在一种实施方式中，待释放的旧资源和待加载的新资源的计算公式如下：

其中，R_MapFree和R_MapLoad分别表示待卸载的分块三维地理场景和待加载的分块三维地理场景的资源；R_{MapL_Old}表示当前已加载的实际加载三维场景的资源；N_{MapL_Old}表示该已加载的实际加载三维场景的模型总数量；R_{MapL_New}表示在发生位移更新后的下一实际加载三维地理场景的资源；N_{MapL_New}表示该下一实际加载三维场景的模型总数量。

可以理解，为了缓解系统的资源加载压力，该方法在已加载场景资源的基础上计算需要新增的资源加载范围及可以释放的资源范围，即当用户位置发生移动时，重新计算资源加载队列并在加载新的三维场景资源的同时，释放离开视域范围的三维场景资源，有效降低了三维场景渲染的运算成本，减少了对数据I/O端口的操作，实现了在有限的计算机内存下的海量三维场景模型的快速吞吐以及动态渲染等。

本实施例的虚拟现实三维场景加载与渲染方法基于面向数字地球的高精度三维真实地理场景模型，根据用户在交互场景中的相应位置，计算当前待加载的场景模型资源队列以进行加载及渲染，可以实现三维场景模型与虚拟现实场景的实时交互；此外，当用户在虚拟现实场景中发生位移时，通过该资源加载方法动态实时地加载新资源和释放旧资源，不仅保证了用户在三维地理场景漫游时的真实感，还有效降低了三维场景渲染的运算成本，实现了在有限计算机内存资源下的面向数字地球的海量三维场景模型的动态加载与渲染等。

实施例3

请参照图12，基于上述实施例1的方法，本实施例提出一种基于立体遥感影像的三维场景模型构建装置100，示范性地，该装置包括：

预处理模块110，用于对采集的原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像；

瓦片切分模块120，用于按照预设影像切片规则对所述数字高程模型影像和所述数字正射影像进行切片，分别得到具有相应行列号的若干数字高程模型影像瓦片和若干数字正射影像瓦片，每个所述数字高程模型影像瓦片包括具有真实高程值的若干个像元，每个所述数字正射影像瓦片包括相应像元的地貌纹理；

三维地形构建模块130，用于对包含像元真实高程值的所述数字高程模型影像瓦片构建不规则三角网，并基于所述不规则三角网中各个三角形的信息生成所述数字高程模型影像瓦片对应的三维地形模型；

地貌纹理映射模块140，用于通过纹理映射坐标将所述数字正射影像瓦片的地貌纹理映射至相应瓦片行列号的所述数字高程模型影像瓦片对应的三维地形模型上，得到对应的分块三维地理场景模型；

分块存储模块150，用于将所述分块三维地理场景模型按照数字正射影像的瓦片行列号依次存储，得到所述原始卫星遥感影像对应的三维地理场景模型。

可以理解，本实施例的装置对应于上述实施例1的方法，上述实施例1中的可选项同样适用于本实施例，故在此不再重复描述。

实施例4

请参照图13，基于上述实施例2的方法，本实施例提出一种虚拟现实三维场景加载与渲染装置200，示范性地，该装置包括：

获取模块210，用于获取用户当前在虚拟现实交互场景中的三维空间坐标，将所述三维空间坐标在所述虚拟现实交互场景的平面地形投影以得到用户视点所在的经纬度坐标。

计算模块220，用于根据所述经纬度坐标确定当前用户视点所在的目标分块三维场景，按照预设步长选取以所述目标分块三维场景为中心的领域分块三维场景，所述目标分块三维场景和所述领域分块三维场景之和作为候选加载三维场景。

选取模块230，用于以所述经纬度坐标为圆心，按照预设半径对所述候选加载三维场景进行边缘场景裁剪，得到当前用户视点对应的实际加载三维场景。

加载模块240，用于根据所述实际加载三维场景从预先存储的三维场景模型资源库中实时加载并渲染对应的分块三维地理场景模型。

进一步地，如图14所示，该虚拟现实三维场景加载与渲染装置200还包括监测模块250和更新模块260，以用于实现资源加载的动态更新等。

示范性地，监测模块250用于监测用户在所述虚拟现实交互场景中的移动轨迹以实时更新用户的三维空间坐标。

选取模块230还用于根据所述更新的三维空间坐标计算用户视点移动后对应的下一实际加载三维场景。

更新模块260用于根据当前已加载的所述实际加载三维场景与所述下一实际加载三维场景计算待卸载的分块三维地理场景模型和待加载的分块三维地理场景模型，以用于更新加载并渲染虚拟现实交互场景中的三维场景模型。

可以理解，本实施例的装置对应于上述实施例2的方法，上述实施例2中的可选项同样适用于本实施例，故在此不再重复描述。

本申请还提供了一种终端设备，例如，该终端设备可为计算机等。示范性地，该终端设备包括存储器和处理器，其中，存储器存储有计算机程序，处理器通过运行所述计算机程序，从而使终端设备执行上述方法或者上述装置中的各个模块的功能。

本申请还提供了一种可读存储介质，用于储存上述终端设备中使用的所述计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种基于立体遥感影像的三维地理场景模型构建方法，其特征在于，包括：

对采集的原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像；

按照预设影像切片规则对所述数字高程模型影像和所述数字正射影像进行切片，分别得到具有相应行列号的若干数字高程模型影像瓦片和若干数字正射影像瓦片，每个所述数字高程模型影像瓦片包括具有真实高程值的若干个像元，每个所述数字正射影像瓦片包括相应像元的地貌纹理；

对包含像元真实高程值的所述数字高程模型影像瓦片构建包含像元真实高程值的不规则三角网，并基于所述不规则三角网中各个三角形的信息生成所述数字高程模型影像瓦片对应的三维地形模型；

通过纹理映射坐标将所述数字正射影像瓦片的地貌纹理映射至相应瓦片行列号的所述数字高程模型影像瓦片对应的三维地形模型上，得到对应的分块三维地理场景模型；

将所述分块三维地理场景模型按照所述数字正射影像的瓦片行列号依次存储，得到所述原始卫星遥感影像对应的三维地理场景模型。

2.根据权利要求1所述的方法，其特征在于，所述原始卫星遥感影像包括正视全色影像、前视全色影像和后视全色影像，以及正视多光谱图像，所述对采集的原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像，包括：

将所述正视全色影像与所述前视全色影像或与所述后视全色影像进行立体影像匹配，生成包含真实高程信息的第一空间分辨率的数字高程模型影像；

将所述正视全色影像与所述正视多光谱图像进行影像融合，生成包含地貌纹理信息的第二空间分辨率的数字正射影像。

3.根据权利要求1或2所述的方法，其特征在于，所述按照预设影像切片规则对所述数字高程模型影像和所述数字正射影像进行切片，包括：

以经纬度坐标为基准，按照不同层级多种分辨率生成由若干行和列网格所构成的矢量瓦片数据，其中，各地理位置的经纬度坐标与对应的各层级的所述矢量瓦片的行列号存在映射关系；

基于所述矢量瓦片数据对经过镶嵌处理后的数字高程模型影像与数字正射影像进行重采样，以分别得到相应分辨率的数字高程模型瓦片和数字正射影像瓦片。

4.根据权利要求3所述的方法，其特征在于，地理位置的经纬度坐标与对应层级的所述矢量瓦片的行列号之间的所述映射关系为：

Res＝180°/2ⁿ；

X_Tile＝floor((L_ON-(-180°))/Res)；

Y_Tile＝floor(90°-L_AT)/Res)；

Res≥Res_image*Size_tile；

其中，floor表示向下取整的运算；Res表示第n层级的瓦片的分辨率大小；(L_AT，L_ON)表示目标地理位置的经纬度坐标；X_Tile和Y_Tile分别表示所述目标地理位置的经纬度坐标所对应的瓦片的行号和列号；Res_image为影像的原始分辨率；Size_tile为所述瓦片的尺寸。

5.根据权利要求1所述的方法，其特征在于，所述不规则三角网包含像元的真实高程值，所述基于所述不规则三角网中各个三角形的信息生成所述数字高程模型影像瓦片对应的三维地形模型，包括：

对于所述数字高程模型影像瓦片中的所述不规则三角网中的三角形，获取每个所述三角形构成的面的三个顶点索引，基于所述三个顶点索引对应位置的像元的真实高程值生成所述数字高程模型影像瓦片对应的三维地形模型。

6.根据权利要求5所述的方法，其特征在于，所述通过纹理映射坐标将所述数字正射影像瓦片的地貌纹理映射至相应瓦片行列号的所述数字高程模型影像瓦片对应的三维地形模型上，包括：

获取所述数字正射影像瓦片中的所述不规则三角网中的每个三角形的三个顶点的二维平面坐标，将所述二维平面坐标转换为二维纹理映射坐标；

利用具有相应瓦片行列号的所述数字正射影像瓦片中的三角形的所述三个顶点的所述二维纹理映射坐标依次分配到所述三维地形模型中的三个顶点索引的顶点位置，以实现所述三个顶点索引对应的面的地貌纹理映射。

7.根据权利要求1或2所述的方法，其特征在于，生成所述数字高程模型影像和所述数字正射影像之前，所述影像预处理还包括：

从采集的所述原始卫星遥感影像中选取出云量少且成像清晰的卫星遥感影像，并利用所述选取的卫星遥感影像生成所述数字高程模型影像和所述数字正射影像。

8.一种基于立体遥感影像的三维场景模型构建装置，其特征在于，包括：

预处理模块，用于对采集的原始卫星遥感影像进行影像预处理，得到数字高程模型影像和数字正射影像；

瓦片切分模块，用于按照预设影像切片规则对所述数字高程模型影像和所述数字正射影像进行切片，分别得到具有相应行列号的若干数字高程模型影像瓦片和若干数字正射影像瓦片，每个所述数字高程模型影像瓦片包括具有真实高程值的若干个像元，每个所述数字正射影像瓦片包括相应像元的地貌纹理；

三维地形构建模块，用于对包含像元真实高程值的所述数字高程模型影像瓦片构建不规则三角网，并基于所述不规则三角网中各个三角形的信息生成所述数字高程模型影像瓦片对应的三维地形模型；

地貌纹理映射模块，用于通过纹理映射坐标将所述数字正射影像瓦片的地貌纹理映射至相应瓦片行列号的所述数字高程模型影像瓦片对应的三维地形模型上，得到对应的分块三维地理场景模型；

分块存储模块，用于将所述分块三维地理场景模型按照数字正射影像的瓦片行列号依次存储，得到所述原始卫星遥感影像对应的三维地理场景模型。

9.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时，实施权利要求1-7中任一项所述的基于立体遥感影像的三维地理场景模型构建方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上执行时，实施根据权利要求1-7中任一项所述的基于立体遥感影像的三维地理场景模型构建方法。

Images