CN113987024A

CN113987024A - 一种基于遥感空间大数据的无感化智能检索方法

Info

Publication number: CN113987024A
Application number: CN202111286955.4A
Authority: CN
Inventors: 郭国龙; 金家栋; 张丽; 史经业
Original assignee: Zhongke Xingtu Intelligent Technology Co ltd
Current assignee: Zhongke Xingtu Intelligent Technology Co ltd
Priority date: 2021-11-02
Filing date: 2021-11-02
Publication date: 2022-01-28

Abstract

本发明提出一种基于遥感空间大数据的无感化智能检索方法，包括如下步骤：步骤1、首先通过MFS分布式文件系统对遥感图像数据实体进行存储和组织、共享管理，通过PostgreSQL对遥感图像的元数据和拇指图进行分布式存储，以保证数据的安全性；步骤2、将PostgreSQL中的元数据快速导入Elasticsearch集群并创建索引，通过ES搭建针对遥感图像元数据的分布式检索服务；步骤3、用户基于三维数字地球或二维GIS系统对遥感图像进行空间检索，系统提供无感化智能查询，具体包括使用Elasticsearch分布式检索集群对元数据数进行快速检索，此时用户并不需要进行大量操作交互，而是基于鼠标移动的坐标信息或简单绘制检索区域实时计算并返回查询的遥感图像信息结果。

Description

一种基于遥感空间大数据的无感化智能检索方法

技术领域

本发明涉及遥感数据检索领域，尤其是一种基于遥感空间大数据的无感化智能检索技术。

背景技术

Elasticsearch(ES)分布式全文检索引擎是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的对海量数据进行实时的存储、检索；同时，本身的扩展性很强，可以扩展到上百台服务器，用于处理PB级的数据。分布式检索服务集群分为两个层次：第一个层次是检索服务器组，每个检索服务器组都可以独立地提供检索服务；第二个层次是检索服务器组内部的分布式查询服务器和检索服务器，分布式查询服务器以并行的方式把检索请求发送到各个检索服务器，并把结果收集回来，经过整理合并后完成对检索请求的响应。负载均衡服务器负责将用户的检索请求分发给合适的检索服务器组，缓存服务器接受分布式查询服务器的查询请求，如果命中，直接返回查询结果，如下图所示。传统关系型和非关系型数据库在面对量数据和大并发时主要解决办法是先通过配置库检索分片信息，然后将请求发送到各个节点，最后由路由合并汇总结果，考虑到数据量和并发量越来越大，该方法并不能完全解决问题。

遥感图像数据是空间数据的一种，为了提高数据库管理系统(DBMS)对空间数据的管理能力，国内外先后出现过:文件与关系数据库混合管理系统、全关系型空间数据库管理系统、关系型数据库+空间数据引擎、扩展对象关系型数据库管理系统，以及面向对象空间数据库管理系统等多种解决方案。目前，国内外较为流行的主要集中在“关系型数据库+空间数据引擎”、“扩展对象关系型数据库”两方面。“关系型数据库+空间数据引擎”通常是近年来由GIS厂商研发的一种中间件解决方案。用户将自己的空间数据交给独立与数据库之外的空间数据引擎，有空间数据引擎来组织空间数据在关系型数据库种的存储；当用户需要访问数据的时候，再通知空间数据引擎，有引擎从关系型数据库中取出数据，并转化为客户可以使用的方式。如传统商业软件如Oracle+ArcSDE或Spatial Oracle等。

现有的遥感大数据服务平台存在以下几个问题或缺点：

(1)现有遥感大数据检索方面采用“文件存储(如FTP)+传统关系型数据库”方式，检索效率低；

(2)现有平台空间数据库大多采用Oracle、ArcSDE等商业数据库，不自主可控；

(3)现有大多数遥感大数据服务平台由于卫星遥感影像参数较多、专业性较强，平台设计层面查询过程复杂，未有多用户需求进行分层次分析，获取过程复杂、专业门槛高；

(4)现有遥感大数据服务平台检索过程未进行检索结果的空间计算和融合，用户只能通过列表方式查看每一景数据情况，用户看不到全局数据覆盖情况。

发明内容

针对以上问题，本发明以“遥感在行业应用和大众应用的普及”为出发点，目的是在技术层面解决用户获取遥感数据过程复杂、专业门槛高、遥感数据服务效率低的问题，基于新一代的信息技术(主要包括Elasticsearch分布式检索引擎和PostGIS空间分析引擎)来解决以上问题。本发明通过“PostgreSQL+PostGIS”模式实现针对遥感图像的空间无感化查询，一方面通过Elasticsearch(ES)分布式全文检索引擎提升检索效率，另一方面基于PostGIS的高效空间分析算法实现高效查询和遥感边界的融合。本发明的技术方案如下：一种基于遥感空间大数据的无感化智能检索方法，包括如下步骤：

步骤1、首先通过MFS分布式文件系统对遥感图像数据实体进行存储和组织、共享管理，通过PostgreSQL对遥感图像的元数据和拇指图进行分布式存储，以保证数据的安全性；

步骤2、将PostgreSQL中的元数据快速导入Elasticsearch集群并创建索引，通过ES搭建针对遥感图像元数据的分布式检索服务；

步骤3、用户基于三维数字地球或二维GIS系统对遥感图像进行空间检索，系统提供无感化智能查询，具体包括使用Elasticsearch分布式检索集群对元数据数进行快速检索，此时用户并不需要进行操作交互，而是基于鼠标移动的坐标信息实时计算并返回查询的遥感图像信息结果。

进一步的，所述步骤1，具体包括：

所述对遥感图像数据实体进行存储是指系统采用分布式文件系统+分布式空间数据库进行存储。MFS分布式文件系统完全符合Poxis语义；

进一步的，所述步骤1中对遥感图像数据实体进行组织是指，通过建立标准的卫星遥感数据元数据目录，通过二进制方式存储图像拇指图，基于分布式文件系统和空间数据库构建一套具备数据文件目录映射、分布式资源整合、和时空信息关联一系列针对分布式多源异构数据资源高效组织能力的数据组织管理体系，最终实现空间数据库中每一条元数据与分布式文件系统数据实体的映射。

进一步的，所述步骤1中对遥感图像数据实体进行遥感空间大数据共享是指数据共享分发基于统一的元数据同步、用户管理和授权机制，实现对数据的多用户同步共享；按照用户级别、用户权限、数据区域和时间等条件，生成数据分发共享的管理机制，提供多条件下的数据实时分发服务和多场景的分发任务实现模式，为用户提供高优先级、快速可靠的数据分发服务；通过定制数据分发策略，按照用户级别、用户权限、数据区域和时间相关关键字段设置数据分发共享的管理机制，以便为用户提供高优先级、快速可靠的数据分发服务。

进一步的，所述步骤2，包括如下步骤：

用户基于三维数字地球或二维GIS系统对遥感图像进行空间检索时，包括矩形、圆形、多边形和矢量检索，系统会基于PostGIS空间分析函数和构造方法，包括Union、Intersects和Contains方法，针对海量遥感图像的范围边界进行求交判断和海量多边形融合计算，系统能够基于鼠标移动的坐标信息实时计算并返回查询的遥感图像信息结果。

进一步的，所述系统会基于PostGIS空间分析函数和构造方法，包括Union、Intersects和Contains方法，具体的，

Union方法具体为：进行多边形叠合，输出层为保留原来两个输入图层的所有多边形；合并结果包含了两个多边形的交集部分和差异部分，所述差异部分即不同部分或非交集部分；

Intersects方法具体为：进行多边形相交分析，若有相交返回结果为真；

Contains方法具体为：进行多边形包含分析，若有包含关系返回结果为真。

进一步的，所述针对海量遥感图像的范围边界进行求交判断和海量多边形融合计算，具体包括如下过程：

(1)通过Intersects方法进行多边形对象的相交分析，筛选出与检索条件相交的多边形对象；

(2)通过Contains方法进行多边形包含分析，筛选出于检索条件相互包含的多边形对象；

(3)通过聚合函数将全部多边形对象聚合成为一条数据；

(4)通过Union方法将聚合后的结果进行融合，得到一个完整的几何对象，该对象为最后的融合结果。

有益效果：

本发明基于Elasticsearch检索引擎研制的分布式检索服务和基于PostGIS空间分析引擎研制的遥感图像范围智能融合技术，完成了基于三维数字地球的无感化遥感图像空间检索和查询，提高了遥感大数据平台的可用性，降低了用户交互的复杂度。发挥遥感对地观测技术对政府治理和“三产”升级的带动作用，解决当前政府、企业和公众用户在基于遥感大数据服务平台获取遥感数据时数据检索效率低、检索过程复杂、遥感数据专业门化槛高等问题。

本发明通过ES搭建针对遥感图像元数据的分布式检索服务，基于PostGIS空间分析函数和构造方法等(包括Union、Intersects和Contains方法等)，针对海量遥感图像的范围边界进行求交判断和海量多边形融合计算，可基于鼠标移动的坐标信息实时计算并返回查询的遥感图像信息结果，此时用户并不需要进行操作交互，最终实现了高效遥感大数据的无感化智能查询。

附图说明

图1分布式检索服务架构；

图2全球覆盖融合结果；

图3本发明的无感化查询及结果融合示意图；

图4本发明一个实施例的无感化检索查询过程流程图；

图5本发明一个数据入库实施例的过程流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的实施例，提出一种基于遥感空间大数据的无感化智能检索方法，包括如下步骤：

本发明首先通过MFS分布式文件系统对遥感图像数据实体进行存储，通过PostgreSQL对遥感图像的元数据和拇指图进行分布式存储，以保证数据的安全性，通过ES搭建针对遥感图像元数据的分布式检索服务。用户基于三维数字地球或二维GIS系统对遥感图像进行空间检索时(包括矩形、圆形、多边形和矢量检索)，系统会基于PostGIS空间分析函数和构造方法等(包括Union、Intersects和Contains方法等)，针对海量遥感图像的范围边界进行求交判断和海量多边形融合计算，由于效率较高，系统可基于鼠标移动的坐标信息实时计算并返回查询的遥感图像信息结果，此时用户并不需要进行操作交互，因此被称为无感化智能查询，如下图2-3所示。

基于遥感空间大数据的无感化智能检索系统旨在实现空天资源的“物理分布、逻辑统一”存储目标，按照“分布式存储、一体化查询”的设计理念，为海量多源遥感数据、成果等资源的引接、存储、访问、共享等环节提供全生命周期的数据管理支持，实现数据资源的高效存储组织、统一治理集成和一体访问共享，满足各类生态应用的数据需求。

遥感空间大数据检索系统由数据存储、数据组织、数据共享、数据检索四个层次。

数据存储层为各类数据的统一存储管理提供支持，平台现有数据存储在公有云(华为云)上，本层提供结构化数据、非结构化数据等多种数据存储方式支撑。

数据管理层对多源数据进行高效的组织管理，实现编目的全域协同，共同汇聚形成高分遥感数据湖，为上层应用提供数据服务。

数据共享层通过数据统一访问对底层的关系型数据库、分布式文件系统、分布式数据库等多种数据存储提供统一的服务化封装，屏蔽数据存储形式和数据存储物理位置的差异，实现数据的统一访问，并通过统一的数据访问检索视图实现数据产品的发布、订阅、同步与跨域交换。

数据检索层是与用户直接交互的模块，提供用户智能化、无感化的遥感数据查询能力。

遥感空间大数据存储具体为：系统主要采用“分布式文件系统(MFS)+分布式空间数据库(PostgreSQL+PostGIS)”进行存储。MFS分布式文件系统完全符合Poxis语义，可移植性较高，可以在不做修改或做少量修改的情况下，在Windows、Linux等主流操作系统上进行移植和迁移；此外，MFS提供了快照功能，并针对小文件和随机I/O进行了优化，考虑平台引接的海量遥感影像数据以及大量瓦片数据，因此使用MFS比较合适。基于”PostgreSQL+PostGIS”对遥感元数据进行存储，使得平台具备良好的空间数据分析能力。

遥感空间大数据组织具体为：通过建立标准的卫星遥感数据元数据目录，通过二进制方式存储图像拇指图，基于分布式文件系统和空间数据库构建一套具备数据文件目录映射、分布式资源整合、和时空信息关联等一系列针对分布式多源异构数据资源高效组织能力的数据组织管理体系，最终实现空间数据库中每一条元数据与分布式文件系统数据实体的映射。

遥感空间大数据共享具体为：数据共享分发基于统一的元数据同步、用户管理和授权机制，实现对数据的多用户同步共享。按照用户级别、用户权限、数据区域和时间等条件，生成数据分发共享的管理机制，提供多条件下的数据实时分发服务和多场景的分发任务实现模式，为用户提供高优先级、快速可靠的数据分发服务。通过定制数据分发策略，按照用户级别、用户权限、数据区域和时间等关键字段设置数据分发共享的管理机制，以便为用户提供高优先级、快速可靠的数据分发服务。

遥感空间大数据检索具体为：首先系统将PostgreSQL中的元数据快速导入Elasticsearch集群并创建索引。最后，使用Elasticsearch分布式检索集群可对元数据数进行快速检索。

根据本发明的实施例，遥感空间大数据检索在前端为用户提供四个层次的检索查询能力:

a)无感化(零交互)查询，面向小白用户，通过滑动鼠标进行实时智能查询，如图4所示，过程如下：

用户通过页面浏览数字地球；

系统自动获取鼠标位置的坐标(此过程无需用户输入查询条件，无需点击查询按钮，鼠标移动到哪里查到哪里，去掉了冗余的用户操作，完成实时检索，提高了检索效率)；

调用服务接口传入坐标；

服务接收坐标点信息；

通过Elasticsearch集群倒排索引的数据结构从任一节点对数据进行访问；

通过Intersects方法和Contains方法进行查询，查询出符合条件的全部多边形；

通过聚合函数将全部多边形对象聚合成为一条数据；

通过postGIS的Union方法将聚合后的结果进行融合，得到一个完整的几何对象，该对象为最后的融合结果；

最后将查询的全部数据结果与一个融合结果返回并显示。

b)模糊查询，面向初级用户，可任意输入地名、数据景号和位置坐标进行数据查询；

c)空间查询，面向初级用户，可通过绘制矩形、多边形、圆形或导入边界矢量文件进行区域查询，过程如下：

用户通过页面在数据地球上绘制矩形、多边形、圆形或导入矢量文件(此过程减少了用户的其他条件输入，只需绘制或导入多边形，无需点击查询按钮即可立即查询，减少了冗余的用户操作，从操作上提高了检索效率)；

调用服务接口传入多边形信息；

服务接收多边形信息；

通过聚合函数将全部多边形对象聚合成为一条数据；

最后将查询的全部数据结果与一个融合结果返回并显示。

d)高级查询，面向专业用户提供云盖量、成像时间、太阳高度角、像元分辨率、成像载荷等信息的输入和查询，检索流程图如图5所示。

本发明基于Elasticsearch(ES)分布式全文检索引擎实现了遥感图像元数据的分布式检索服务，提升了数据检索效率；

本发明基于PostGIS空间分析引擎研制的遥感图像范围智能融合技术，完成了基于三维数字地球的无感化遥感图像空间检索和查询，提高了遥感大数据平台的可用性，降低了用户交互的复杂度。

本发明经过试验证明可行，提高了遥感大数据平台的可用性，降低了用户交互的复杂度。为遥感的行业应用和大众普及提供了技术基础。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种基于遥感空间大数据的无感化智能检索方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于遥感空间大数据的无感化智能检索方法，其特征在于，所述步骤1，具体包括：

所述对遥感图像数据实体进行存储是指系统采用分布式文件系统+分布式空间数据库进行存储。MFS分布式文件系统完全符合Poxis语义。

3.根据权利要求1所述的一种基于遥感空间大数据的无感化智能检索方法，其特征在于，所述步骤1中对遥感图像数据实体进行组织是指，通过建立标准的卫星遥感数据元数据目录，通过二进制方式存储图像拇指图，基于分布式文件系统和空间数据库构建一套具备数据文件目录映射、分布式资源整合、和时空信息关联一系列针对分布式多源异构数据资源高效组织能力的数据组织管理体系，最终实现空间数据库中每一条元数据与分布式文件系统数据实体的映射。

4.根据权利要求1所述的一种基于遥感空间大数据的无感化智能检索方法，其特征在于，所述步骤1中对遥感图像数据实体进行遥感空间大数据共享是指数据共享分发基于统一的元数据同步、用户管理和授权机制，实现对数据的多用户同步共享；按照用户级别、用户权限、数据区域和时间等条件，生成数据分发共享的管理机制，提供多条件下的数据实时分发服务和多场景的分发任务实现模式，为用户提供高优先级、快速可靠的数据分发服务；通过定制数据分发策略，按照用户级别、用户权限、数据区域和时间相关关键字段设置数据分发共享的管理机制，以便为用户提供高优先级、快速可靠的数据分发服务。

5.根据权利要求1所述的一种基于遥感空间大数据的无感化智能检索方法，其特征在于，所述步骤2，包括如下步骤：

6.根据权利要求5所述的一种基于遥感空间大数据的无感化智能检索方法，其特征在于，所述系统会基于PostGIS空间分析函数和构造方法，包括Union、Intersects和Contains方法，具体的，

7.根据权利要求5所述的一种基于遥感空间大数据的无感化智能检索方法，其特征在于，所述针对海量遥感图像的范围边界进行求交判断和海量多边形融合计算，具体包括如下过程：

(3)通过聚合函数将全部多边形对象聚合成为一条数据；

(4)通过Union方法将聚合后的结果进行融合，得到一个完整的几何对象，该几何对象为最后的融合结果。