CN113742505A - 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法 - Google Patents

一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法 Download PDF

Info

Publication number
CN113742505A
CN113742505A CN202111002992.8A CN202111002992A CN113742505A CN 113742505 A CN113742505 A CN 113742505A CN 202111002992 A CN202111002992 A CN 202111002992A CN 113742505 A CN113742505 A CN 113742505A
Authority
CN
China
Prior art keywords
data
insar
point cloud
space
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111002992.8A
Other languages
English (en)
Other versions
CN113742505B (zh
Inventor
郑杰
成洪权
何小梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Shuqu Information Technology Co ltd
Original Assignee
Wuhan Shuqu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Shuqu Information Technology Co ltd filed Critical Wuhan Shuqu Information Technology Co ltd
Priority to CN202111002992.8A priority Critical patent/CN113742505B/zh
Publication of CN113742505A publication Critical patent/CN113742505A/zh
Application granted granted Critical
Publication of CN113742505B publication Critical patent/CN113742505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9023—SAR image post-processing techniques combined with interferometric techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，结合海量InSAR点云数据的特点，对矢量点云观测数据分布式构建金字塔瓦片模型，通过结合分布式存储与计算、矢量瓦片建模方法，实现InSAR点云数据的高效存储、计算与可视化建模，结合分布式存储与计算引擎的特点，设计实现的InSAR矢量瓦片分布式存储与运算模型，能够将InSAR点云观测数据按照金字塔分层的方式紧凑地存储在分布式NoSQL系统，能够适应不断增长的InSAR观测数据量和网络可视化服务需求，在实现的过程中结合分布式的空间索引编码为InSAR点云数据服务的在线检索加速提供可能。

Description

一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化 方法
技术领域
本发明涉及计算机领域，尤其是涉及一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法。
背景技术
合成孔径雷达干涉测量(InSAR)是一种全天候高精度、连续覆盖的地面高程和地标信息检测测量方法。现阶段，InSAR技术已经在变化检测、目标提取、灾害评估、地信测绘等领域取得广泛的应用成果。InSAR观测获取的大范围高精度对地观测数据均是以点的形式进行记录保存，其单幅观测影像中通常包含超过千万数据量的地表观测点。与传统的遥感影像数据处理方法一样，在进行InSAR点云数据处理前也需要对数据进行可视化预处理分析。针对海量的InSAR观测点数据，常规的离线可视化方法局限性大，无法实现多人同时浏览，降低了InSAR点云数据的协同分析能力，而基于WEB的在线可视化方法存在渲染能力弱，不能支撑海量InSAR观测数据的实时浏览的问题。
现有的InSAR点云数据可视化方法以离线方式为主，可针对较大规模观测数据的可视分析，然而随着数据共享与在线分析需求的增长，传统的离线InSAR点云数据可视化方法已无法满足数据扩展与数据共享的需求，为此需要探索可扩展、易共享的InSAR点云数据可视化方法。现阶段针对数据的可扩展需求典型的解决方案是采用分布式的数据存储方式，针对数据的共享性需求典型解决方案为基于WEB的在线可视化方法。目前，基于分布式的InSAR点云数据存储方案研究相对较少，仍需要进行探索。基于WEB的InSAR点云数据可视化方案随取得了较好的效果，但是现有的方法仅能处理小范围的观测数据，针对海量大规模InSAR点云数据的可视化展示能力仍较弱，无法满足区域级及以上范围的InSAR点云数据在线可视化需求。
随着合成孔径雷达干涉测量技术的发展，观测影像的分辨率越来越高，观测数据更新速度越来越快、数据量也越来越大。针对海量InSAR观测数据的可视化问题，目前也有许多相关的研究成果。李永鑫等人结合地质灾害InSAR技术工程化的需求，研究分析了应用新技术进行离线可视化InSAR制图的方法(李永鑫等，2019)。离线可视化方法虽然能够处理较大规模的InSAR影像数据，但是存在数据共享与协同处理等方面的问题。为解决该问题，研究者逐步在基于WEB的InSAR点云数据可视化方法上进行探索。SGehlot等人设计了一种基于WEB的合成孔径干涉测量时序数据的可视化方法，但是该方法能够实现的在线可视化区域相对较小(S Gehlot等，2012)。Dong等人基于WebGL实现了持续散射InSAR的在线可视化，通过3D交互式的方式提供可交互的合成孔径数据展示(DongLiang等，2016)。基于WEB的在线数据可视化解决方案为海量InSAR测量数据的浏览与协同分析带来了新的解决思路。
发明内容
本发明的目的是建立一种海量合成孔径雷达干涉测量数据在线可视化方法，在满足海量InSAR点云数据分布式存储需求的同时，实现数据的在线可视化，提升海量InSAR存储的可扩展性以及数据服务的灵活性，为InSAR点云数据的处理分析提供基础的可视化支撑。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，
步骤1、对已采集的InSAR点云数据进行预处理，基于可扩展标记语言模型构建原始InSAR点云数据的元信息模型与检索模型，对InSAR点云数据进行归一化入库；
步骤2、基于后端构建的分布式存储后端模型、分布式计算后端模型、以及分布式空间编码模型，对InSAR点云数据进行矢量瓦片分层切分，并结合数据空间索引将序列化后的矢量瓦片数据分层存储至存储后端中；
步骤3、加载存储后端存储的InSAR点云矢量瓦片数据进行服务发布，前端设置提供点云矢量瓦片的串接索引访问接口，在提供响应信息的基础上实现矢量瓦片的在线访问。
在上述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，所述步骤1中，所采集的元信息包括点云数据集名、数据条目数、数据采集时间、数据详情以及数据空间信息，在数据预处理中数据的检索模型采用以ID为基础的唯一标识模型。
在上述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，所述步骤1中，所述检索模型是结合InSAR点云数据创建数据集及服务、点云数据表，在数据集及点云服务创建中，对数据集名称、数据条目数、数据集瓦片服务、创建时间、数据详情、采集时间、空间信息进行数字化处理，结合PostGreSQL关系型数据库创建对应的字段分别为iSetName、iDataAmount、iTileUuid、iCreateTime、iFeatureJson、iTemporal、iGeom。
在上述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，所述步骤2中，分布式存储后端模型的构建基于以下方法：应用分布式键值NoSQL数据库存储冗余存储原始点云数据，其中分布式键值NoSQL数据库采用主从结构，主节点维护分布式NoSQL数据库的元数据信息，可以避免工作节点出现故障对系统造成影响，工作节点负责键值数据的实际存储可根据数据量的大小动态进行扩展，且各工作节点以备份数为三的方式实现数据的冗余备份存储；在存储的过程中以点云数据所在的空间范围为基础，按照Z-order的空间填充方法对该空间进行划分，构建空间索引，对区域内的点云数据通过ID串接的方式构建索引作为NoSQL数据库的Key，点云数据包含的具体数值作为Value，划分的粒度通过自定义参数设置。
在上述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，所述步骤2中，分布式计算后端模型的构建基于以下方法：采用分布式主从架构的模式部署分布式内存计算的管理与工作节点，其中管理节点负责任务的调度，工作节点分布式协同处理海量的InSAR点云数据，节点间通过以太网进行连接。
在上述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，所述步骤2中，分布式计算后端模型的构建采用了Apache Spark作为分布式计算的基框架，模型利用Spark进行分布式计算的具体方法包括：
采用Geohash或按行编码或希尔伯特空间编码作为基础的空间编码方法，结合Spark计算引擎将点云矢量索引建模任务分发至各工作节点，各工作节点通过递归构建的方式实现从0层到目标层次的索引编码；
Geohash空间编码方法包括：初始空间范围纬度[-90,90]、经度[-180,180]，判断目标对象的经度与纬度分别落在[0,0]左或右区间，在左区间则取0，在右区间则取1；对上一步得到的区间继续按照此方法对半查找，得到下一位二进制编码；当编码长度达到指定层级后，根据“偶数位放经度，奇数位放纬度”的规则，将得到的二进制编码进行组合，获得目标二进制串；最后，根据Base32对照表获得编码字符串，得到地理坐标对应的目标Geohash表示；
按行编码：按行编码以常规的行为主的方式进行瓦片数据的编码，从左至右，从上到下，以“Z”字型的方式实现瓦片的空间编码一维化，并在绝大部分区域保持数据访问的连续性；
希尔伯特空间编码：希尔伯特空间编码同样是一种填充曲线编码方法，类似Geohash空间编码方法；希尔伯特曲线依据自身空间填充曲线的特性，可以线性地贯穿二维或者更高维度每个离散单元，并且仅仅穿过一次，并对每个离散单元进行线性排序和编码，该编码作为该单元的唯一标识；空间填充曲线可以将高维空间中没有良好顺序的数据映射到一维空间，经过这种编码方式，空间上相邻的对象会邻近存储在一块，可以减少IO的时间，提高内存中数据处理效率。
在上述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，所述步骤2对InSAR点云数据进行矢量瓦片分层切分并存储的具体方法包括：
步骤2.1、构建矢量瓦片元信息并对其进行基础处理，具体是读取存储的InSAR点云数据空间位置与范围信息，利用分布式计算引擎Spark结合空间编码方法对InSAR点云数据进行全局分层切分与空间索引编码，切分时配置矢量瓦片方格的大小；
步骤2.2、构建InSAR矢量瓦片切分一体Pipeline，具体基于以下定义进行构建：
数据图层：矢量瓦片分层切分中各图层的抽象定义，包含空间范围信息、空间格网长宽、空间格网数据量、图层所处层级信息；
数据简化方法：定义矢量瓦片分层构建过程中，从细粒度层次到粗粒度层次的数据抽稀简化方法；实现过程中采用倍率为4的降采样，对细粒度的矢量瓦片进行抽稀，最终确保矢量瓦片在每一层次中覆盖256×256的图像范围；
对原始数据按定义的存储格式进行包装，定义矢量瓦片范围获取函数，即将矢量瓦片的空间栅格坐标转换为空间范围的方法，即输入为矢量瓦片栅格坐标(指定瓦片的方位位置)，在WEB墨卡托的基础上通过空间坐标转换，输出WGS-84坐标系下的空间二维坐标；
步骤2.3、构建矢量瓦片图层模型，具体基于以下定义进行构建：
矢量图层缩放布局ZoomLayout：向上和向下Zoom缩放，ZoomLayout指定矢量图层的数字化方法，即指定可缩放层级对应的范围、瓦片数等元信息；
最大缩放层级：矢量瓦片构建的深度，即矢量瓦片构建过程中能够切分的最大层级；
层级布局信息：图层的空间关联信息，包括每层瓦片的空间范围、空间索引及统计信息；
步骤2.4、进行矢量瓦片图坐标转换，具体是基于构建的有效矢量数据点过滤方法，对过滤后的空间点进行坐标转换处理，其中，过滤时根据指定空间区域、属性信息如测量点所在位置、测量时间，筛选目标InSAR测量点数据，转换基于以下定义：
数据空间位置：点云数据的真实空间坐标位置；
数据坐标系：点云数据当前所在的空间坐标系统；
数据字段及数据读取：点云数据的读取方法，包括：读取点云数据的ID、点云的具体测量值及各辅助元信息；
坐标系转换方法：将点云数据从一个坐标系统转换至另一坐标系统的方法，包括：从WGS-84坐标系转换为墨卡托坐标系，CGCS2000坐标系转换为墨卡托坐标系
步骤2.5、进行分布式矢量瓦片切分，结合数据简化方法逐层对待分层切分InSAR点数据进行数据抽稀、矢量瓦片裁剪，结合空间索引编码实现矢量瓦片的空间索引获取与矢量瓦片生成；
步骤2.6、基于自定义矢量瓦片存储后端，采用空间串接编码构建矢量瓦片空间索引，利用网络数据传输数据序列化方法对矢量瓦片数据进行序列化处理，基于构建的分布式点云数据存储后端，结合数据空间索引将序列化后的矢量瓦片数据分层存储至存储后端中。
在上述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，步骤3中，步骤1、2处理完成后的直接加载可视化。
因此，本发明具有如下优点：本发明结合海量InSAR点云数据的特点，对矢量点云观测数据分布式构建金字塔瓦片模型，通过结合分布式存储与计算、矢量瓦片建模方法，实现InSAR点云数据的高效存储、计算与可视化建模，结合分布式存储与计算引擎的特点，设计实现的InSAR矢量瓦片分布式存储与运算模型，能够将InSAR点云观测数据按照金字塔分层的方式紧凑地存储在分布式NoSQL系统，能够适应不断增长的InSAR观测数据量和网络可视化服务需求，在实现的过程中结合分布式的空间索引编码为InSAR点云数据服务的在线检索加速提供可能。
附图说明
附图1是本发明的一种方法流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
如图1所示为本发明实施例提供的海量合成孔径雷达干涉测量数据在线可视化方法的流程图，所述方法包括以下步骤：
步骤S101，对已采集的InSAR点云数据进行预处理，建立统一的初始化管理结构，基于可扩展标记语言模型构建原始InSAR点云数据的元信息模型与检索模型；
在本发明实施例中，所采集的元信息包括点云数据集名、数据条目数、数据采集时间、数据详情以及数据空间信息，在数据预处理中数据的检索模型采用以ID为基础的唯一标识模型；
步骤S102，结合InSAR点云数据创建数据集及服务、点云数据表，在数据集及点云服务创建中，对数据集名称、数据条目数、数据集瓦片服务、创建时间、数据详情、采集时间、空间信息进行数字化处理，结合PostGreSQL关系型数据库创建对应的字段分别为iSetName、iDataAmount、iTileUuid、iCreateTime、iFeatureJson、iTemporal、iGeom；
数据集名称 iSetName
数据条目数 iDataAmount
数据集瓦片服务 iTileUuid
创建时间 iCreateTime
数据详情 iFeatureJson
采集时间 iTemporal
空间信息 iGeom
在本发明实施例中，InSAR点云数据的主要的属性信息查询都是基于关系型数据实现，由于关系型数据库具备良好的检索响应能力，对元信息这类存储空间较小的数据具有极好的适应性，因此本发明将InSAR点云数据的元信息记录均存储在关系型数据库中，以实现快速检索查询，需要注意的是实施例中采用分布式的元数存储架构，所使用的元数据库能够基于数据量的增加进行节点扩展；
步骤S103，构建基于NoSQL为基础的分布式点云数据存储后端，应用分布式键值NoSQL数据库存储冗余存储原始点云数据，在存储的过程中以点云数据所在的空间范围为基础，按照Z-order的空间填充方法对该空间进行划分，划分的粒度可以通过自定义参数设置，在本实施例中采用18级作为基础划分层级，以空间填充划分为基础构建空间索引，对区域内的点云数据通过ID串接的方式构建索引作为NoSQL数据库的Key，点云数据包含的具体数值作为Value；
在本发明实施例中，InSAR点云数据的存储服务于矢量瓦片的构建，为充分利用分布式存储与计算的优化能力，InSAR点云数据在进行空间填充索引编码的基础后，通过时空串接编码的方式存储至分布式NoSQL数据库HBase中，需要注意的是本发明支持包括HBase在内的多种分布式键值NoSQL数据库；
实施例中采用的是分布式NoSQL数据库HBase，应当指出的是本发明的矢量瓦片底层存储支持不仅限于HBase，针对所有的键值分布式NoSQL存储系统有类似的存储能够与效果，均应包含在本发明的保护范围内。同时本发明中所采用的计算引擎为Spark，应当指出的是本发明的分布式计算引擎支持不仅限于Spark。本发明实施例中采用的空间索引填充方法可以是基于Morton规则而设计的一类空间索引方法。
步骤S104，构建基于分布式内存计算的数据处理环境，支撑对InSAR点云数据进行矢量瓦片建模，为大规模InSAR点云数据的并行切片处理做支撑，本实施例中采用分布式主从架构的模式部署分布式内存计算的管理与工作节点，其中管理节点负责任务的调度，工作节点分布式协同处理海量的InSAR点云数据，节点间通过高速以太网进行连接，实例中采用了ApacheSpark作为分布式计算的基框架；
在本发明实施例中，为实现海量InSAR点云观测数据的高效处理，采用分布式计算引擎，通过多节点并行的方式，实现大规模点云数据矢量瓦片的高效建模，在实施例中以Spark弹性分布式计算引擎为基础部署分布式内存计算数据处理环境，但本发明所支持的分布式计算引擎不仅限于Spark，可以采用任意主从结构的分布式内存处理引擎；
步骤S105，构建空间点云数据分布式存储模型，以空间填充二维编码为基础，在分布式内存计算环境下，通过地理空间分层格网划分，对InSAR点云数据进行空间索引编码建模，实例中采用Geohash作为基础的空间编码方法(初始空间范围纬度[-90,90]、经度[-180,180]，判断目标对象的经度与纬度分别落在[0,0]左或右区间，在左区间则取0，在右区间则取1。对上一步得到的区间继续按照此方法对半查找，得到下一位二进制编码。当编码长度达到指定层级后，根据“偶数位放经度，奇数位放纬度”的规则，将得到的二进制编码进行组合，获得目标二进制串。最后，根据Base32对照表获得编码字符串，得到地理坐标对应的目标Geohash表示)，结合Spark计算引擎将点云矢量索引建模任务分发至各工作节点，各工作节点通过递归构建的方式实现从0层到目标层次的索引编码，本发明所支持的空间点编码方法不仅限于Geohash，其它如按行编码、霍顿空间编码也同样能被计算环境支持；
在本发明实施例中，由于InSAR点云矢量数据的条目数巨大，在进行分层抽稀构建矢量瓦片后，仍需对各矢量瓦片进行空间索引的构建，以提高最终的服务索引效率，在实施例中采用Base32GeoHash编码，其计算方式如：
[xn-1xn-2…x0]32ghs＝[(xn-1×Bn-1)+(xn-2×Bn-1)+…+(x0×B0)]，其中32ghs代表采用Base32位的编码模式，x代表编码后的字符，编码可包括0-9和除“a”、“i”、“l”和“o”之外的所有小写字母，B＝32为编码空间的长度，下标0…，n-1代表位置；
步骤S106，读取步骤S102中存储的InSAR点云数据空间位置与范围信息，利用分布式计算引擎Spark结合步骤S105中的空间编码方法对InSAR点云数据进行全局分层切分与空间索引编码，切分时配置矢量瓦片方格的大小，实施例中矢量瓦片的大小为256；
在本发明实施例中，结合分布式计算引擎与空间索引方法对InSAR观测数据进行分层建模矢量瓦片构建，构建是配置的矢量瓦片大小为256×256，但本方案所支持的瓦片大小可以为任意256的整数倍数，构建的深度可以人工指定，如不进行指定则会产生深度为log2max{width,height}，width为InSAR图像的宽度，height为InSAR图像的高度；
步骤S107，定义分布式环境下InSAR矢量点云数据存储结构体，包括数据空间位置(点云数据的真实空间坐标位置)、数据坐标系(点云数据当前所在的空间坐标系统，如WGS-84、墨卡托等)数据字段及数据读取(点云数据的读取方法)、坐标系转换方法(将点云数据从一个坐标系统转换至另一坐标系统的方法)；
在本发明实施例中，需定义分布式环境下InSAR点云数据的逻辑存储结构，包括点云ID与具体数据信息，此外对InSAR点云数据还需要存储数据的空间位置信息、数据所属坐标系等，为便于计算需提前定义点云的读取与坐标转换方法；
步骤S108，构建矢量点处理Pipeline，定义数据图层(矢量瓦片分层切分中各图层的抽象定义，包含空间范围信息、空间格网长宽、空间格网数据量、图层所处层级信息)、数据简化方法(定义矢量瓦片分层构建过程中，从细粒度层次到粗粒度层次的数据抽稀简化方法)，对原始数据按定义的存储格式进行包装，定义矢量瓦片范围获取函数(将矢量瓦片的空间栅格坐标转换为空间范围的方法)；
在本发明实施例中，构建了一种矢量点云到瓦片图层的Pipeline一体化处理类，该类中包含矢量瓦片数据图层的定义及矢量数据在逐渐抽稀过程中所采用的简化方法，通过该Pipeline可以便捷地获取任意矢量瓦片的空间信息；
步骤S109，定义矢量图层缩放布局ZoomLayout(ZoomLayout指定矢量图层的数字化方法)、最大缩放层级(矢量瓦片构建过程中能够切分的最大层级)、层级布局(图层的空间关联信息)信息，图层缩放布局中定义了向上和向下Zoom缩放的功能，最大缩放层级代表矢量瓦片构建的深度，层级布局中定义每层瓦片的空间范围、空间索引及统计信息等；
在本发明实施例中，可通过预定于的矢量图层配置分层切分建模中可采用的最大图层与所有图层的层级布局，在图层布局中可以定义矢量瓦片缩放的最大最小Zoom能力；
步骤S110，构建有效矢量数据点过滤方法，过滤时可根据指定空间区域、属性信息如测量点所在位置、测量时间等，筛选目标InSAR测量点数据，结合步骤S107对过滤后的空间点进行坐标转换处理，通常转换的目标坐标系为WEB墨卡托坐标系；
在本发明实施例中，InSAR矢量数据自身具有冗余性，为获取指定区域内的有效InSAR点云数据需要先对原始数据进行过滤，对过滤后得到的目标点云数据也需要转换到可以进行网页展示的WEB墨卡托坐标系中；
步骤S111，构建分布式矢量瓦片金字塔分层切分模型，结合步骤S108中的数据简化方法逐层对待分层切分InSAR点数据进行数据抽稀、矢量瓦片裁剪，结合步骤S106实现矢量瓦片的空间索引获取与矢量瓦片生成等操作；
在本发明实施例中，结合前述数据模型与操作设计完成InSAR点云数据的金字塔分层矢量瓦片构建，在构建的过程中逐层对点云数据进行数据简化、矢量瓦片裁剪、空间索引获取、矢量瓦片生成等操作；
步骤S112，基于自定义矢量瓦片存储后端，结合步骤S105采用空间串接编码构建矢量瓦片空间索引，利用网络数据传输数据序列化方法对矢量瓦片数据进行序列化处理，通过类似步骤S103中的处理方式，结合数据空间索引将序列化后的矢量瓦片数据分层存储至NoSQL存储后端中；
在本发明实施例中，获取矢量瓦片数据后采用空间串接编码的方式对矢量瓦片进行空间索引赋值，在数据存储到NoSQL数据库之前需要保证矢量瓦片数据已被序列化处理，从而保证传输的高效性；
步骤S113，InSAR点云矢量瓦片数据服务发布后，以高并发服务器为基础，对外提供点云矢量瓦片的串接索引访问接口，与常规栅格地图服务类似，服务器提供由数据集标识、矢量瓦片层级、矢量瓦片的栅格空间坐标为基础的服务访问模式，前端可在提供响应信息的基础上实现矢量瓦片的访问，达到类似栅格地图服务的浏览效果，在实例中应用Node.js服务器，但本发明所支持的瓦片服务器不仅限于Node.js，同时构建矢量瓦片渲染颜色映射表，实现不同数值观测点云数据的差异设色，直观显示不同的InSAR点云数据结果。
在本发明实施例中，为实现海量InSAR点云数据的可视化需要结合高性能分布式后端系统与高并发前端系统，在进行点云数据的检索时可结合时空索引、空间位置等进行矢量瓦片的高速渲染，同时根据不同观测值的大小可以计算设定矢量瓦片的色彩渲染映射，更直观地可视化展示海量的InSAR点云数据。
本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，
步骤1、对已采集的InSAR点云数据进行预处理，基于可扩展标记语言模型构建原始InSAR点云数据的元信息模型与检索模型，对InSAR点云数据进行归一化入库；
步骤2、基于后端构建的分布式存储后端模型、分布式计算后端模型、以及分布式空间编码模型，对InSAR点云数据进行矢量瓦片分层切分，并结合数据空间索引将序列化后的矢量瓦片数据分层存储至存储后端中；
步骤3、加载存储后端存储的InSAR点云矢量瓦片数据进行服务发布，前端设置提供点云矢量瓦片的串接索引访问接口，在提供响应信息的基础上实现矢量瓦片的在线访问。
2.根据权利要求1所述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，所述步骤1中，所采集的元信息包括点云数据集名、数据条目数、数据采集时间、数据详情以及数据空间信息，在数据预处理中数据的检索模型采用以ID为基础的唯一标识模型。
3.根据权利要求1所述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，所述步骤1中，所述检索模型是结合InSAR点云数据创建数据集及服务、点云数据表，在数据集及点云服务创建中，对数据集名称、数据条目数、数据集瓦片服务、创建时间、数据详情、采集时间、空间信息进行数字化处理，结合PostGreSQL关系型数据库创建对应的字段分别为iSetName、iDataAmount、iTileUuid、iCreateTime、iFeatureJson、iTemporal、iGeom。
4.根据权利要求1所述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，所述步骤2中，分布式存储后端模型的构建基于以下方法：应用分布式键值NoSQL数据库存储冗余存储原始点云数据，其中分布式键值NoSQL数据库采用主从结构，主节点维护分布式NoSQL数据库的元数据信息，可以避免工作节点出现故障对系统造成影响，工作节点负责键值数据的实际存储可根据数据量的大小动态进行扩展，且各工作节点以备份数为三的方式实现数据的冗余备份存储；在存储的过程中以点云数据所在的空间范围为基础，按照Z-order的空间填充方法对该空间进行划分，构建空间索引，对区域内的点云数据通过ID串接的方式构建索引作为NoSQL数据库的Key，点云数据包含的具体数值作为Value，划分的粒度通过自定义参数设置。
5.根据权利要求1所述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，所述步骤2中，分布式计算后端模型的构建基于以下方法：采用分布式主从架构的模式部署分布式内存计算的管理与工作节点，其中管理节点负责任务的调度，工作节点分布式协同处理海量的InSAR点云数据，节点间通过以太网进行连接。
6.根据权利要求1所述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，所述步骤2中，分布式计算后端模型的构建采用了Apache Spark作为分布式计算的基框架，模型利用Spark进行分布式计算的具体方法包括：
采用Geohash或按行编码或希尔伯特空间编码作为基础的空间编码方法，结合Spark计算引擎将点云矢量索引建模任务分发至各工作节点，各工作节点通过递归构建的方式实现从0层到目标层次的索引编码；
Geohash空间编码方法包括：初始空间范围纬度[-90,90]、经度[-180,180]，判断目标对象的经度与纬度分别落在[0,0]左或右区间，在左区间则取0，在右区间则取1；对上一步得到的区间继续按照此方法对半查找，得到下一位二进制编码；当编码长度达到指定层级后，根据“偶数位放经度，奇数位放纬度”的规则，将得到的二进制编码进行组合，获得目标二进制串；最后，根据Base32对照表获得编码字符串，得到地理坐标对应的目标Geohash表示；
按行编码：按行编码以常规的行为主的方式进行瓦片数据的编码，从左至右，从上到下，以“Z”字型的方式实现瓦片的空间编码一维化，并在绝大部分区域保持数据访问的连续性；
希尔伯特空间编码：希尔伯特曲线依据自身空间填充曲线的特性，线性地贯穿二维或者更高维度每个离散单元，并且仅仅穿过一次，并对每个离散单元进行线性排序和编码，该编码作为该单元的唯一标识；空间填充曲线将高维空间中没有顺序的数据映射到一维空间。
7.根据权利要求1所述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，所述步骤2对InSAR点云数据进行矢量瓦片分层切分并存储的具体方法包括：
步骤2.1、构建矢量瓦片元信息并对其进行基础处理，具体是读取存储的InSAR点云数据空间位置与范围信息，利用分布式计算引擎Spark结合空间编码方法对InSAR点云数据进行全局分层切分与空间索引编码，切分时配置矢量瓦片方格的大小；
步骤2.2、构建InSAR矢量瓦片切分一体Pipeline，具体基于以下定义进行构建：
数据图层：矢量瓦片分层切分中各图层的抽象定义，包含空间范围信息、空间格网长宽、空间格网数据量、图层所处层级信息；
数据简化方法：定义矢量瓦片分层构建过程中，从细粒度层次到粗粒度层次的数据抽稀简化方法；实现过程中采用倍率为4的降采样，对细粒度的矢量瓦片进行抽稀，最终确保矢量瓦片在每一层次中覆盖256×256的图像范围；
对原始数据按定义的存储格式进行包装，定义矢量瓦片范围获取函数，即将矢量瓦片的空间栅格坐标转换为空间范围的方法，即输入为矢量瓦片栅格坐标(指定瓦片的方位位置)，在WEB墨卡托的基础上通过空间坐标转换，输出WGS-84坐标系下的空间二维坐标；
步骤2.3、构建矢量瓦片图层模型，具体基于以下定义进行构建：
矢量图层缩放布局ZoomLayout：向上和向下Zoom缩放，ZoomLayout指定矢量图层的数字化方法，即指定可缩放层级对应的范围、瓦片数等元信息；
最大缩放层级：矢量瓦片构建的深度，即矢量瓦片构建过程中能够切分的最大层级；
层级布局信息：图层的空间关联信息，包括每层瓦片的空间范围、空间索引及统计信息；
步骤2.4、进行矢量瓦片图坐标转换，具体是基于构建的有效矢量数据点过滤方法，对过滤后的空间点进行坐标转换处理，其中，过滤时根据指定空间区域、属性信息如测量点所在位置、测量时间，筛选目标InSAR测量点数据，转换基于以下定义：
数据空间位置：点云数据的真实空间坐标位置；
数据坐标系：点云数据当前所在的空间坐标系统；
数据字段及数据读取：点云数据的读取方法，包括：读取点云数据的ID、点云的具体测量值及各辅助元信息；
坐标系转换方法：将点云数据从一个坐标系统转换至另一坐标系统的方法，包括：从WGS-84坐标系转换为墨卡托坐标系，CGCS2000坐标系转换为墨卡托坐标系；
步骤2.5、进行分布式矢量瓦片切分，结合数据简化方法逐层对待分层切分InSAR点数据进行数据抽稀、矢量瓦片裁剪，结合空间索引编码实现矢量瓦片的空间索引获取与矢量瓦片生成；
步骤2.6、基于自定义矢量瓦片存储后端，采用空间串接编码构建矢量瓦片空间索引，利用网络数据传输数据序列化方法对矢量瓦片数据进行序列化处理，基于构建的分布式点云数据存储后端，结合数据空间索引将序列化后的矢量瓦片数据分层存储至存储后端中。
8.根据权利要求1所述的一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法，其特征在于，步骤3中，步骤1、2处理完成后的直接加载可视化。
CN202111002992.8A 2021-08-30 2021-08-30 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法 Active CN113742505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111002992.8A CN113742505B (zh) 2021-08-30 2021-08-30 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111002992.8A CN113742505B (zh) 2021-08-30 2021-08-30 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法

Publications (2)

Publication Number Publication Date
CN113742505A true CN113742505A (zh) 2021-12-03
CN113742505B CN113742505B (zh) 2024-05-14

Family

ID=78733871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111002992.8A Active CN113742505B (zh) 2021-08-30 2021-08-30 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法

Country Status (1)

Country Link
CN (1) CN113742505B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756253A (zh) * 2023-08-18 2023-09-15 北京四维纵横数据技术有限公司 关系型数据库的数据存储、查询方法、装置、设备和介质
CN117392331A (zh) * 2023-12-12 2024-01-12 天津市城市规划设计研究总院有限公司 基于矢量瓦片序列化的cad文件在三维场景下可视化方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693319A (zh) * 2012-05-31 2012-09-26 北京拓维思科技有限公司 基于金字塔的海量激光雷达点云存储方法
CN105069020A (zh) * 2015-07-14 2015-11-18 国家信息中心 自然资源数据三维可视化方法和系统
CN107271998A (zh) * 2017-07-01 2017-10-20 东华理工大学 一种集成D‑InSAR和GIS技术的地下非法采矿识别方法及系统
KR20190064050A (ko) * 2017-11-30 2019-06-10 (주)소프트힐스 대용량 포인트 클라우드 데이터 가시화 시스템
CN110502594A (zh) * 2019-07-10 2019-11-26 武汉数趣信息科技有限公司 一种遥感影像地图瓦片实时融合与在线更新方法
CN110766798A (zh) * 2019-11-30 2020-02-07 中铁一局集团有限公司 一种基于激光扫描数据的隧道监控量测成果可视化方法
CN111291016A (zh) * 2020-02-19 2020-06-16 江苏易图地理信息科技股份有限公司 一种海量遥感影像数据分层混合存储与索引方法
CN111354084A (zh) * 2020-02-26 2020-06-30 中国电建集团昆明勘测设计研究院有限公司 一种基于三维模型瓦片的网络地理信息服务系统
CN111723221A (zh) * 2020-06-19 2020-09-29 珠江水利委员会珠江水利科学研究院 基于分布式架构的海量遥感数据处理方法及系统
CN111782742A (zh) * 2020-06-06 2020-10-16 中国科学院电子学研究所苏州研究院 一种面向大规模地理空间数据的存储和检索方法及其系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693319A (zh) * 2012-05-31 2012-09-26 北京拓维思科技有限公司 基于金字塔的海量激光雷达点云存储方法
CN105069020A (zh) * 2015-07-14 2015-11-18 国家信息中心 自然资源数据三维可视化方法和系统
CN107271998A (zh) * 2017-07-01 2017-10-20 东华理工大学 一种集成D‑InSAR和GIS技术的地下非法采矿识别方法及系统
KR20190064050A (ko) * 2017-11-30 2019-06-10 (주)소프트힐스 대용량 포인트 클라우드 데이터 가시화 시스템
CN110502594A (zh) * 2019-07-10 2019-11-26 武汉数趣信息科技有限公司 一种遥感影像地图瓦片实时融合与在线更新方法
CN110766798A (zh) * 2019-11-30 2020-02-07 中铁一局集团有限公司 一种基于激光扫描数据的隧道监控量测成果可视化方法
CN111291016A (zh) * 2020-02-19 2020-06-16 江苏易图地理信息科技股份有限公司 一种海量遥感影像数据分层混合存储与索引方法
CN111354084A (zh) * 2020-02-26 2020-06-30 中国电建集团昆明勘测设计研究院有限公司 一种基于三维模型瓦片的网络地理信息服务系统
CN111782742A (zh) * 2020-06-06 2020-10-16 中国科学院电子学研究所苏州研究院 一种面向大规模地理空间数据的存储和检索方法及其系统
CN111723221A (zh) * 2020-06-19 2020-09-29 珠江水利委员会珠江水利科学研究院 基于分布式架构的海量遥感数据处理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756253A (zh) * 2023-08-18 2023-09-15 北京四维纵横数据技术有限公司 关系型数据库的数据存储、查询方法、装置、设备和介质
CN116756253B (zh) * 2023-08-18 2023-10-27 北京四维纵横数据技术有限公司 关系型数据库的数据存储、查询方法、装置、设备和介质
CN117392331A (zh) * 2023-12-12 2024-01-12 天津市城市规划设计研究总院有限公司 基于矢量瓦片序列化的cad文件在三维场景下可视化方法
CN117392331B (zh) * 2023-12-12 2024-03-12 天津市城市规划设计研究总院有限公司 基于矢量瓦片序列化的cad文件在三维场景下可视化方法

Also Published As

Publication number Publication date
CN113742505B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US11302072B2 (en) System for constructing urban design digital sand table
CN103049549B (zh) 一种海岛数据管理方法和系统
Eldawy et al. Shahed: A mapreduce-based system for querying and visualizing spatio-temporal satellite data
CN104008162B (zh) 一种基于模板的一键式专题地图自动成图方法及系统
CN102306180B (zh) 一种基于海量激光雷达栅格点云数据的建模方法
CN110442444A (zh) 一种面向海量遥感影像的并行数据访问方法与系统
CN104462258B (zh) 一种多版本的非结构化模型的组织管理方法
CN110781325A (zh) 一种高分辨率遥感数据格网精细化管理模型及其构建方法
CN113742505B (zh) 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法
CN103177103A (zh) 一种三维地理信息系统管理平台
CN114820975B (zh) 基于全要素参数符号化的三维场景仿真重构系统及方法
CN110633282A (zh) 一种空域资源多级三维网格化方法及工具
CN114373111A (zh) 一种基于孪生数据驱动的融合方法及引擎系统
CN116775661A (zh) 基于北斗网格技术的空间大数据存储与管理方法
CN113269870A (zh) 一种基于三维剖分网格的多分辨率数字地形集成方法
CN108875087B (zh) 一种描述事物空间属性并基于所述描述进行查找的方法
Karabegovic et al. Integration and interoperability of spatial data in spatial decision support system environment
WO2018196214A1 (zh) 一种地理影响民居建筑形态的统计系统及统计方法
Alkathiri et al. Geo-spatial big data mining techniques
CN114372034A (zh) 一种基于遥感影像地图服务的存取方法
Cocks et al. Evolution of a continental-scale geographical information system
Zhang Urban planning and design strategy based on ArcGIS and application method
CN117931978B (zh) 流域人居数据分析方法及系统、计算机设备
Ginanjar et al. Optimization of spatial visualization module in solap for indonesian agricultural commodities
Lang et al. Sites and monuments records in England—Theory and practice

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant