CN111723221A - 基于分布式架构的海量遥感数据处理方法及系统 - Google Patents
基于分布式架构的海量遥感数据处理方法及系统 Download PDFInfo
- Publication number
- CN111723221A CN111723221A CN202010564648.7A CN202010564648A CN111723221A CN 111723221 A CN111723221 A CN 111723221A CN 202010564648 A CN202010564648 A CN 202010564648A CN 111723221 A CN111723221 A CN 111723221A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- data
- sensing image
- tile
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000003860 storage Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000010276 construction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract description 5
- 238000013523 data management Methods 0.000 abstract description 3
- 238000013079 data visualisation Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 9
- 208000022417 sinus histiocytosis with massive lymphadenopathy Diseases 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及海量遥感应用服务技术领域，为基于分布式架构的海量遥感数据处理方法及系统。其方法包括：S1、获取所需查找信息；S2、进行海量遥感影像数据库检索，如检索的遥感影像文件没有关联的地图瓦片服务则转入步骤S3，否则转入步骤S6；S3、在线构建遥感影像数据金字塔，如选择保存遥感瓦片数据并发布地图瓦片服务，则转入步骤S4，如选择不保存，则转到步骤S6；S4、将遥感瓦片数据同步入库；S5、进行遥感瓦片数据空间索引存储；S6、对地图瓦片服务发布显示。本发明通过分布式架构，实现了大数据时代海量遥感数据存储、管理、可视化和数据服务一站式处理的需求。
Description
技术领域
本发明涉及海量遥感应用服务技术领域，尤其涉及基于分布式架构的海量遥感数据处理方法及系统。
背景技术
随着遥感数据获取手段的增加，遥感数据逐步呈现多源、多尺度、多时相等特征，然而数据量的爆炸性增长，使得需要处理的遥感数据信息急剧增加，导致海量遥感数据存放零散无序、数据安全没保障、数据检索查找困难等问题的出现。以栅格文件为主的海量遥感数据无法快速地共享和直接使用，而基于商业软件影像服务发布的技术，自动化程度低，服务提供不及时，难以快速可视化浏览，数据存储与数据服务脱节，无法将数据资源快速转为地图服务，造成海量遥感影像“存而无用”，数据资源大量闲置。
在现有技术中，对海量遥感管理、服务发布、在线可视化浏览的技术大多数是相互独立的，或为了解决海量遥感数据存储管理的需求，或为了解决遥感数据快速发布的需求，缺少一个将两者有机结合的方法和系统。如于2016年6月8日授权公告的发明名称为《一种遥感数据需求一站式处理方法》、授权公告号为CN 103559327B的发明专利，提供了一种整合在线数据服务、归档数据调用、数据生产调度和编程数据服务的遥感数据需求一站式处理方法，但该方法依然采用传统技术路线，偏重数据快速分发，对于海量遥感数据管理以及可视化显示则没有考虑；于2018年8月10日授权公告的发明名称为《一种基于Hadoop的大数据遥感卫星数据处理系统》、授权公告号为CN 105045856B的发明专利，主要是基于Hadoop的数据平台实现遥感卫星数据的分布式存储和管理，但没有将遥感数据转换为遥感地图服务，无法满足海量遥感影像数据在线可视化浏览；于2019年12月3日公开的发明名称为《一种海量影像服务快速发布与浏览方法及系统》、公开号为CN 110427446A的发明申请提出了一套影像服务发布流程，利用服务器集群对栅格数据进行分布式文件存储、分布式裁剪及更新，将数据进行压缩后存入分布式数据库，其影像服务发布主要是通过读取分布式数据库或直接原数据绘制来进行可视化显示，由于没有建立空间数据索引，查询浏览性能较低，此外，没有考虑利用分布式计算框架来提升影像服务计算处理能力。
因此，需要寻找一种更有序、更高效管理遥感数据，并快速提供遥感地图服务及可视化显示，实现“数据到服务”快速转化的技术方案。
发明内容
为解决现有技术所存在的技术问题，本发明提供基于分布式架构的海量遥感数据处理方法及系统，通过分布式架构，实现了海量遥感“从数据到服务”的快速转换，做到所见即所得，有效解决了用户对海量遥感数据处理及地图服务应用的高时效性需求问题，满足了大数据时代海量遥感数据存储、管理、可视化和数据服务一站式处理的需求。
本发明方法采用以下技术方案来实现：基于分布式架构的海量遥感数据处理方法，包括以下步骤：
S1、获取所需查找的信息，得到检索条件；
S2、对检索条件进行分析，查找影像数据文件元数据信息及其关联的地图服务元数据信息，将符合检索条件的结果反馈到交互界面，当检索的遥感影像数据文件没有关联的地图瓦片服务时转入步骤S3，否则转入步骤S6；
S3、在线构建遥感影像数据金字塔，对所检索的遥感影像数据文件进行遥感影像瓦片金字塔的在线构建；同时根据需要选择保存遥感影像瓦片数据并发布地图瓦片服务，则转入步骤S4，如果选择不保存遥感影像瓦片数据的实时动态地图服务，即将遥感瓦片数据存放在内存中时，则转到步骤S6；
S4、将遥感影像瓦片数据同步入库；
S5、进行遥感影像瓦片数据空间索引存储；
S6、对地图瓦片服务发布显示。
本发明系统采用以下技术方案来实现：基于分布式架构的海量遥感数据处理系统，包括：
遥感影像存储模块，用于提供原始遥感影像的解析入库以及原始影像的存储管理；
遥感影像检索模块，用于提供包括文本查询、图形查询在内的多种检索方式，根据自身需求进行综合查询检索，所查询检索的数据包括地理范围、时相、观测时间、云量、分辨率、传感器类型；
遥感影像服务发布模块，提供遥感影像瓦片服务，同时根据需要选择将相应的遥感影像瓦片数据同步保存到分布式数据库中；
遥感影像数据服务模块，提供遥感影像服务分发和权限控制功能。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明基于分布式框架，实现了海量遥感“从数据到服务”的快速转换，做到所见即所得，实现统一技术路线下，海量遥感数据从存储、检索管理，数据可视化以及数据服务的一键式操作，无需人工干预，实现从“数据到服务”的一站式处理。有效解决了用户对海量遥感数据处理及地图服务应用的高效、便捷的需求。
2、本发明采用基于Spark分布式架构进行遥感影像文件预处理和金字塔瓦片构建，并提供可配置的多任务同步执行，提高了遥感影像金字塔的构建速度。
3、本发明提供一种动态实时服务发布的服务模式，在没有预先进行影像金字塔瓦片构建的情况下，基于Spark分布式架构强大的计算能力，进行动态金字塔构建并直接发布为地图服务，实现“即时查看式”遥感影像数据的快速可视化。
4、本发明采用基于MongoDB的瓦片存储技术和基于Hibert曲线的空间索引技术，提供海量瓦片并行入库方法，提升了海量瓦片入库效率，实现瓦片在分布式数据库中的快速存储和检索。
5、本发明在逻辑层采用元数据管理的方式实现对遥感影像信息的管理，采用元数据模板的方式实现支持多种不同卫星的遥感影像产品及加工过后的影像产品的解析入库。在物理层，采用分布式文件系统HDFS和分布式数据库MongoDB相结合的方式对海量遥感影像文件和元数据进行存储管理，提升了数据存储的安全性和数据检索的高效。
6、本发明提供基于分布式框架的遥感数据服务，既提供遥感影像文件检索下载，也同时提供遥感地图服务的检索下载，实现遥感影像从数据到服务的提升。
附图说明
图1是本发明处理方法流程图；
图2是遥感影像金字塔在线构建流程图；
图3是多影像瓦片金字塔构建任务同步执行流程图；
图4是基于Spark的影像瓦片金字塔的构建流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本发明基于分布式架构的海量遥感数据处理方法，包括以下步骤：
S1、通过遥感影像数据检索入口，获取用户所需查找的信息，得到用户的检索条件：海量遥感数据处理系统提供的检索界面，提供文本查询、图形查询等多种检索方式，主要包括：地理范围、时相、观测时间、云量、分辨率、传感器类型等，用户可以根据自身需求进行综合查询检索。
其中，海量遥感数据处理系统通过综合运用分布式文件存储系统HDFS、分布式框架Spark、分布式数据库MongoDB等技术实现。
S2、进行海量遥感影像数据库检索：使用海量遥感数据处理系统对用户的检索条件进行分析，在遥感影像数据库查找影像数据文件元数据信息及其关联的地图服务元数据信息，将符合检索条件的结果反馈到交互界面，主要包括遥感影像文件的访问地址、浏览图、拇指图、影像数据元数据以及关联的地图服务的访问地址、地图服务元数据等。当检索的遥感影像文件没有关联的地图瓦片服务时转入步骤S3，否则转入步骤S6。
S3、进入遥感影像数据金字塔在线构建流程：通过海量遥感数据处理系统，对所检索的遥感影像数据文件进行遥感影像瓦片金字塔的在线构建；同时，根据用户的需求，如果需要选择保存遥感影像瓦片数据并发布地图瓦片服务，则转入步骤S4，如果选择不保存遥感影像瓦片数据(存放在内存中)的实时动态地图服务，则转到步骤S6。
S4、将遥感影像瓦片数据同步入库：运用分布式框架Spark的行动算子，采用“计算+输出”同步进行的策略，对每个分区Partion的元素进行迭代，将多个分区Partion并行执行，实现弹性分布式数据集RDD(Resilient Distributed Datasets)中元素的批量处理入库，将已生成好的遥感瓦片数据快速高效输出到分布式数据库MongoDB中，以减少遥感瓦片数据对节点服务器的占用时间。
S5、进行遥感影像瓦片数据空间索引存储：基于Hibert曲线编码，将瓦片层级和地图服务编号引入空间索引策略，该索引在保证同级瓦片数据物理存储邻近的同时，同级瓦片矩阵中空间相邻的瓦片在物理存储上亦相邻，从而减少海量瓦片的入库出库时间，提高海量瓦片数据检索的并行化性能。
S6、对地图瓦片服务发布显示：利用用户在前端通过openlayer、leaflet等地图数据访问或互动地图工具调用发布的地图瓦片服务访问地址，通过对访问地址的解析，获取到请求的地图服务编号sid，以及所请求地图瓦片的横坐标x、纵坐标y、层级z(分别简称为瓦片横坐标x、瓦片纵坐标y、瓦片层级z)，然后从分布式数据库MongoDB或内存中检索并获取地图瓦片，推送到前端，实现对地图瓦片服务的调用和可视化展示。
S7、用户根据需求进入数据服务流程下载数据文件：通过海量遥感数据处理系统，用户既可以下载所检索的遥感影像产品，包括遥感影像文件、浏览图、快速图和元数据文件，也可以下载地图服务产品，包括遥感瓦片数据和地图服务配置说明文件。
如图2所示，本实施例中，步骤S3的遥感影像数据金字塔在线构建的具体步骤如下：
S31、获取遥感影像数据文件：获取所检索的遥感影像文件的元信息，包括波段、坐标系、地理范围、像素类型、像元大小、分辨率等信息。将所检索到的遥感影像文件载入到分布式文件存储系统HDFS中后，遥感影像数据文件将被分块存储到不同的存储节点上。
S32、将遥感影像数据文件直方图均衡化：由于遥感影像数据来源多种多样，其波段值数据类型可以是byte、short、int、float、double等，其值可以是上述数据类型的任意值；而地图瓦片往往是以RGB或灰度方式呈现，其值范围为(0-255)。如果以简单线性缩放的方式，将波段值映射在0-255范围，将造成图像灰暗，影响效果。
直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法，其原理是把原始图的直方图变换为均匀分布的形式，增加像素灰度值的动态范围，从而达到增强图像整体对比度的效果，因此，适合对波段取值丰富的遥感影像数据进行处理。
将图像直方图定义为一个灰度级在[0,L-1]的图像，即图像直方图为一个离散函数，用公式(1)表达。
P(rk)＝nk/n (1)
其中，n是图像的像素总数，nk是第k个灰度级中的像素总数，rk是第k个灰度级，k＝0,1,2,3...L-1。
经过图像直方图计算后，取概率分布在(Min,Max)之间像素的阈值作为将波段值映射到RGB的门限值，其映射方法如公式(2)，式中Min代表像素的最小值，Max代表像素的最大值，Pnew为变换后的像素值，Pold为原始波段值。
从公式(1)可知，求图像直方图主要集中在求灰度级的像素个数nk上，这可以通过对影像中每个分块的像素进行分别统计，再通过对每个分块的像素统计值累加求和得到，运用Spark的并行框架进行处理，具体步骤如下：
S321、设定灰度等级L，构建[0,L-1]个灰度级区间；
S322、通过Spark的mapPartions算子分区迭代Spark的RDD数据集中的每个分块；
S323、对每个分块调用Spark的map算子，进行map变换后，针对遥感影像的波段值，形成(Rk,1)的元组对，其中Rk为第k个灰度级，1为固定值，跟每个像素对应；
S324、再通过Spark的reduce算子进行合并，可得[0,L-1]各灰度区间的像素个数nk；
S325、通过Spark的count算子，得到像素总数n；
S326、利用公式(1)计算可得出直方图概率分布。
S33、若不进行多任务启动，则直接转入步骤S34，否则，将多遥感影像金字塔在线构建任务同步执行。即依托服务器集群，根据用户需求，设置调度参数，为任务灵活配置服务器集群资源，多影像的瓦片金字塔构建可通过配置多进程任务的方式来同步执行，在任务执行的过程中可实时获取任务进度信息，实现任务监控。如图3所示，将多影像瓦片金字塔构建任务同步执行的具体步骤如下：
S331、进行任务构建。根据影像数据文件信息以及服务器集群信息，默认推荐任务参数配置，用户可根据自身需求，修改调整任务参数配置，并将任务参数存入MongoDB中。如果有多个影像文件需要进行金字塔构建，可重复本步骤；
S332、进行多任务进程启动。驻留在Spark集群上的任务启动器获取任务数量及任务参数，启动多个作为Spark Driver进程的Master进程；
S333、构建弹性分布式数据集和有向无环图。Spark Driver进程读取任务信息，构建影像瓦片金字塔任务的弹性分布式数据集(RDD)和有向无环图，并将任务提交到Worker中多个Executor进程并行执行；
S334、进行任务监控。Spark Executor进程根据分配的任务，调取指定的影像文件，在影像瓦片金字塔的构建过程中，以分区执行、批量插入方式将任务执行状态信息同步写入MongoDB数据集中，可实时动态查看任务进展状态。
S34、进行Spark的影像瓦片金字塔的构建：运用Spark的弹性数据集RDD内存计算的特性，搭建分布式集群，结合Hadoop中分布式文件系统HDFS，通过Spark实现对影像瓦片金字塔的快速构建过程。如图4所示，其具体步骤如下：
S341、进行RDD构建：不同节点的分块影像数据被Spark处理成不同的RDD，Spark会将不同的RDD数据合并成栅格弹性数据集RasterRDD；
S342、进行影像最大分层数计算：设定采样算子和影像瓦片的大小TileSize，计算影像的最大分层数Level；
S343、进行金字塔模型构建：调用Ingest对象下的SinkLevel函数建立分布式金字塔模型，从分辨率最小的最上层开始，影像瓦片会随着层级的值不断向上重构融合，不断递归调用SinkLevel函数，直到Level<＝1为止；
本实施例中，步骤S342求取影像的最大分层数Level的具体步骤包括：
S3421、获取遥感范围和像元值大小：Spark读取遥感影像数据，获得遥感影像的范围Extent，求得像素的宽度值Width、高度值Height，计算遥感影像像元值大小CellSize；
S3422、求取宽度的最大分层数：基于影像数据的宽度值Width，计算遥感影像的第w层的分辨率Resw＝Widthw/(2k*TileSize)，其中Widthw为第w层影像的宽度，TileSize为影像瓦片大小，若CellSize.width+constant>＝Resw，则停止计算，当前w值即为遥感影像最大分层数，式中constant为修正值常数。否则，重复步骤S3422，计算第w+1层；
S3423、求取高度的最大分层数：基于影像数据的高度值Height，将替换Widthw为Heighth，重新采用步骤S3422计算，求得h值为基于高度的最大分层数；
S3424、根据宽度和高度的最大分层数，获得最大分层数：求取w和h中的最大值，设为遥感影像最大分层数Level。
本实施例中，步骤S4的遥感瓦片数据同步入库的具体步骤如下：
S41、在执行影像瓦片金字塔任务时，多个分区Partion并行执行，每个分区创建一次MongoDB数据库连接，同时创建一个文档链表，用于存放MongoDB文档；
S42、迭代分区Partion中的瓦片Tile，判定是否迭代完成。如果完成，则执行步骤S45，否则执行步骤S43；
S43、获取RDD中每个瓦片Tile的二进制切片数据和计算空间索引键，创建MongoDB文档并加入链表；
S44、判定MongoDB文档的个数是否达到预先设定的阈值，如果达到，则全部存储到MongoDB数据库中，同时清空文档链表记录，并返回步骤S41，否则返回执行步骤S42；
S45、将文档链表中剩余的MongoDB文档存到MongoDB数据库中，关闭MongoDB数据库连接。
基于相同的发明构思，本发明还提出基于分布式架构的海量遥感数据处理系统，其包括：
遥感影像存储模块：提供原始遥感影像的解析入库以及原始影像的存储管理。系统自动定时扫描指定文件目录，将新接收的遥感影像或者制作的遥感影像成果入库到系统。系统支持多种不同卫星的遥感影像，入库时，将根据元数据模板解析得到的原始影像元数据、提取或生成的原始影像的快视图和拇指图数据保存到分布式数据库，同时，将遥感影像数据存储到分布式文件系统，实现海量影像数据的存储管理。
遥感影像检索模块：提供文本查询、图形查询等多种检索方式，用户可以根据自身需求进行综合查询检索，所查询检索的遥感影像数据主要包括：地理范围、时相、观测时间、云量、分辨率、传感器类型等。系统将符合检索条件的遥感影像信息通过地图和表格的形式展示在系统前端，方便用户快速地查找到符合要求的遥感影像。此外，提供根据瓦片检索原始遥感影像元数据功能，解决传统影像切片后元数据信息丢失的问题。
遥感影像服务发布模块：提供符合WMTS标准的遥感影像瓦片服务。如果所检索的影像已经构建地图瓦片，则系统根据请求的瓦片编号直接从数据库中读取指定区域的瓦片返回给用户进行可视化显示，否则对遥感影像文件进行遥感影像瓦片金字塔在线构建，根据请求的瓦片编号直接返回相应瓦片，同时，根据用户需求，可选择将相应的瓦片同步保存到分布式数据库中。
遥感影像数据服务模块：提供遥感影像服务分发和权限控制功能。根据用户的角色和权限开放遥感影像数据产品的下载获取功能，包括遥感影像文件、浏览图、快速图和元数据文件等内容，也提供对遥感影像地图服务产品的下载获取功能，包括遥感瓦片数据和地图服务配置说明文件。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.基于分布式架构的海量遥感数据处理方法，其特征在于，包括以下步骤：
S1、获取所需查找的信息，得到检索条件；
S2、对检索条件进行分析，查找影像数据文件元数据信息及其关联的地图服务元数据信息，将符合检索条件的结果反馈到交互界面，当检索的遥感影像数据文件没有关联的地图瓦片服务时转入步骤S3，否则转入步骤S6；
S3、在线构建遥感影像数据金字塔，对所检索的遥感影像数据文件进行遥感影像瓦片金字塔的在线构建；同时根据需要选择保存遥感影像瓦片数据并发布地图瓦片服务，则转入步骤S4，如果选择不保存遥感影像瓦片数据的实时动态地图服务，即将遥感瓦片数据存放在内存中时，则转到步骤S6；
S4、将遥感影像瓦片数据同步入库；
S5、进行遥感影像瓦片数据空间索引存储；
S6、对地图瓦片服务发布显示。
2.根据权利要求1所述的处理方法，其特征在于，步骤S3中在线构建遥感影像数据金字塔的步骤包括：
S31、获取遥感影像数据文件，将所检索到的遥感影像数据文件载入到分布式文件存储系统中后，遥感影像数据文件将被分块存储到不同的存储节点上；
S32、将遥感影像数据文件直方图均衡化；
S33、若不进行多任务启动，则直接转入步骤S34，否则，将多遥感影像数据金字塔在线构建任务同步执行；
S34、进行分布式框架Spark的影像瓦片金字塔的构建。
3.根据权利要求2所述的处理方法，其特征在于，步骤S32中遥感影像数据文件直方图均衡化的步骤包括：
S321、设定灰度等级L，构建[0,L-1]个灰度级区间；
S322、通过分布式框架Spark的mapPartions算子分区迭代弹性分布式数据集RDD中的每个分块；
S323、对每个分块调用分布式框架Spark的map算子，进行map变换后，针对遥感影像的波段值，形成(Rk,1)的元组对，其中Rk为第k个灰度级，1为固定值，跟每个像素对应；
S324、再通过分布式框架Spark的reduce算子进行合并，得到[0,L-1]各灰度区间的像素个数nk；
S325、通过分布式框架Spark的count算子，得到像素总数n；
S326、利用公式(1)计算可得出直方图概率分布：
P(rk)＝nk/n (1)
其中，n是图像的像素总数，nk是第k个灰度级中的像素总数，rk是第k个灰度级，k＝0,1,2,3...L-1。
4.根据权利要求2所述的处理方法，其特征在于，步骤S33中多遥感影像金字塔在线构建任务同步执行包括步骤：
S331、进行任务构建；
S332、进行多任务进程启动；
S333、构建弹性分布式数据集和有向无环图；
S334、进行任务监控。
5.根据权利要求2所述的处理方法，其特征在于，步骤S34中进行分布式框架Spark的影像瓦片金字塔的构建包括步骤：
S341、进行弹性分布式数据集RDD构建，不同节点的分块影像数据被分布式框架Spark处理成不同的弹性分布式数据集RDD，分布式框架Spark将不同的弹性分布式数据集RDD数据合并成栅格弹性数据集RasterRDD；
S342、设定采样算子和影像瓦片的大小TileSize，计算影像的最大分层数Level；
S343、进行金字塔模型构建，调用Ingest对象下的SinkLevel函数建立分布式金字塔模型，从分辨率最小的最上层开始，影像瓦片随着层级的值不断向上重构融合，不断递归调用SinkLevel函数，直到Level<＝1为止。
6.根据权利要求5所述的处理方法，其特征在于，步骤S342中求取影像的最大分层数Level的步骤包括：
S3421、获取遥感范围和像元值大小；
S3422、求取宽度的最大分层数；
S3423、求取高度的最大分层数；
S3424、求取宽度和高度的最大分层数中的最大值，作为影像的最大分层数Level。
7.根据权利要求5所述的处理方法，其特征在于，步骤S4中遥感瓦片数据同步入库的步骤包括：
S41、在执行影像瓦片金字塔任务时，多个分区并行执行，每个分区创建一次分布式数据库MongoDB数据库连接，同时创建一个文档链表，用于存放分布式数据库MongoDB文档；
S42、迭代分区中的瓦片Tile，判定是否迭代完成；如果完成，则执行步骤S45，否则执行步骤S43；
S43、获取弹性分布式数据集RDD中每个瓦片Tile的二进制切片数据和计算空间索引键，创建分布式数据库MongoDB文档并加入链表；
S44、判定分布式数据库MongoDB文档的个数是否达到预先设定的阈值，如果达到，则全部存储到分布式数据库MongoDB数据库中，同时清空文档链表记录，并返回步骤S41，否则返回执行步骤S42；
S45、将文档链表中剩余的分布式数据库MongoDB文档存到分布式数据库MongoDB数据库中，关闭分布式数据库MongoDB数据库连接。
8.基于分布式架构的海量遥感数据处理系统，其特征在于，包括：
遥感影像存储模块，用于提供原始遥感影像的解析入库以及原始影像的存储管理；
遥感影像检索模块，用于提供包括文本查询、图形查询在内的多种检索方式，根据自身需求进行综合查询检索，所查询检索的数据包括地理范围、时相、观测时间、云量、分辨率、传感器类型；
遥感影像服务发布模块，提供遥感影像瓦片服务，同时根据需要选择将相应的遥感影像瓦片数据同步保存到分布式数据库中；
遥感影像数据服务模块，提供遥感影像服务分发和权限控制功能。
9.根据权利要求8所述的处理系统，其特征在于，遥感影像数据服务模块根据用户的角色和权限开放遥感影像数据产品的下载获取功能，包括遥感影像文件、浏览图、快速图和元数据文件；也提供对遥感影像地图服务产品的下载获取功能，包括遥感瓦片数据和地图服务配置说明文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564648.7A CN111723221B (zh) | 2020-06-19 | 2020-06-19 | 基于分布式架构的海量遥感数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564648.7A CN111723221B (zh) | 2020-06-19 | 2020-06-19 | 基于分布式架构的海量遥感数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111723221A true CN111723221A (zh) | 2020-09-29 |
| CN111723221B CN111723221B (zh) | 2023-09-15 |
Family
ID=72567632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010564648.7A Active CN111723221B (zh) | 2020-06-19 | 2020-06-19 | 基于分布式架构的海量遥感数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723221B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131333A (zh) * | 2020-09-29 | 2020-12-25 | 中国船舶重工集团公司第七二四研究所 | 一种基于oracle数据文件的瓦片地图存储方法 |
| CN112380367A (zh) * | 2020-10-27 | 2021-02-19 | 中南大学 | 一种基于熵的遥感影像数据筛选方法 |
| CN112559534A (zh) * | 2020-12-24 | 2021-03-26 | 山东省国土测绘院 | 一种遥感影像数据归档管理系统及方法 |
| CN112561832A (zh) * | 2020-12-24 | 2021-03-26 | 山东省国土测绘院 | 一种遥感影像数据存储方法及系统 |
| CN112966134A (zh) * | 2021-03-26 | 2021-06-15 | 北京亿耘科技有限公司 | 一种遥感影像数据处理方法、系统和存储介质 |
| CN113157214A (zh) * | 2021-05-11 | 2021-07-23 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
| CN113220807A (zh) * | 2021-04-01 | 2021-08-06 | 辽宁工程技术大学 | 一种遥感数据自动化发布与在线流程监控方法 |
| CN113254568A (zh) * | 2021-06-29 | 2021-08-13 | 浙江大学 | 一种与地图服务结合的实时分析处理方法、装置及介质 |
| CN113626550A (zh) * | 2021-08-05 | 2021-11-09 | 生态环境部卫星环境应用中心 | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 |
| CN113742505A (zh) * | 2021-08-30 | 2021-12-03 | 武汉数趣信息科技有限公司 | 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法 |
| CN114529489A (zh) * | 2022-03-01 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| CN114692017A (zh) * | 2022-03-22 | 2022-07-01 | 江苏美育云信息科技有限公司 | 一种字帖图片在线内容检索方法 |
| CN114880132A (zh) * | 2021-03-25 | 2022-08-09 | 北京国电高科科技有限公司 | 卫星物联网大数据处理方法 |
| CN115208949A (zh) * | 2022-07-12 | 2022-10-18 | 自然资源部四川基础地理信息中心(自然资源部四川测绘资料档案馆) | 一种遥感影像数据管理分发方法、装置、系统和设备 |
| CN115576677A (zh) * | 2022-12-08 | 2023-01-06 | 中国科学院空天信息创新研究院 | 批量遥感数据快速处理的任务流程调度管理系统及方法 |
| CN116126500A (zh) * | 2023-02-13 | 2023-05-16 | 安徽理工大学 | 一种海量遥感影像调度效率优化的方法 |
| CN116309940A (zh) * | 2023-03-22 | 2023-06-23 | 浪潮智慧科技有限公司 | 一种基于动画弹窗组件的地图信息显示方法、设备及介质 |
| CN116341002A (zh) * | 2023-03-17 | 2023-06-27 | 南通创越时空数据科技有限公司 | 一种地图数据脱敏方法和系统 |
| WO2023138029A1 (zh) * | 2022-01-19 | 2023-07-27 | 上海商汤智能科技有限公司 | 一种遥感数据处理方法、装置、设备、存储介质和计算机程序产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100278423A1 (en) * | 2009-04-30 | 2010-11-04 | Yuji Itoh | Methods and systems for contrast enhancement |
| CN103559327A (zh) * | 2013-11-22 | 2014-02-05 | 中国电子科技集团公司第五十四研究所 | 一种遥感数据需求一站式处理方法 |
| CN106682110A (zh) * | 2016-12-06 | 2017-05-17 | 北京航天世景信息技术有限公司 | 一种基于哈希格网索引的影像文件存储和管理系统及方法 |
| CN107133365A (zh) * | 2017-06-07 | 2017-09-05 | 国家基础地理信息中心 | 一种剖分编码的时序影像动态服务方法及装置 |
| CN108805829A (zh) * | 2018-05-25 | 2018-11-13 | 浙江科澜信息技术有限公司 | 影像数据处理方法、装置、设备及计算机可读存储介质 |
| CN109493279A (zh) * | 2018-10-25 | 2019-03-19 | 河海大学 | 一种大规模无人机图像并行拼接方法 |
| CN109933565A (zh) * | 2019-01-31 | 2019-06-25 | 湖北省基础地理信息中心（湖北省北斗卫星导航应用技术研究院） | 一种多尺度海量遥感影像的快速切片方法及系统 |
| CN110555866A (zh) * | 2019-08-07 | 2019-12-10 | 北京首贝科技发展有限公司 | 一种改进kcf特征描述符的红外目标跟踪方法 |
| CN111291016A (zh) * | 2020-02-19 | 2020-06-16 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
-
2020
- 2020-06-19 CN CN202010564648.7A patent/CN111723221B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100278423A1 (en) * | 2009-04-30 | 2010-11-04 | Yuji Itoh | Methods and systems for contrast enhancement |
| CN103559327A (zh) * | 2013-11-22 | 2014-02-05 | 中国电子科技集团公司第五十四研究所 | 一种遥感数据需求一站式处理方法 |
| CN106682110A (zh) * | 2016-12-06 | 2017-05-17 | 北京航天世景信息技术有限公司 | 一种基于哈希格网索引的影像文件存储和管理系统及方法 |
| CN107133365A (zh) * | 2017-06-07 | 2017-09-05 | 国家基础地理信息中心 | 一种剖分编码的时序影像动态服务方法及装置 |
| CN108805829A (zh) * | 2018-05-25 | 2018-11-13 | 浙江科澜信息技术有限公司 | 影像数据处理方法、装置、设备及计算机可读存储介质 |
| CN109493279A (zh) * | 2018-10-25 | 2019-03-19 | 河海大学 | 一种大规模无人机图像并行拼接方法 |
| CN109933565A (zh) * | 2019-01-31 | 2019-06-25 | 湖北省基础地理信息中心（湖北省北斗卫星导航应用技术研究院） | 一种多尺度海量遥感影像的快速切片方法及系统 |
| CN110555866A (zh) * | 2019-08-07 | 2019-12-10 | 北京首贝科技发展有限公司 | 一种改进kcf特征描述符的红外目标跟踪方法 |
| CN111291016A (zh) * | 2020-02-19 | 2020-06-16 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
Non-Patent Citations (5)
| Title |
|---|
| YING XIA等: "Remote sensing image data storage and search method based on pyramid model in cloud", 《ACM》, pages 267 - 275 * |
| 李强等: "分布式地理数据高效可视化技术研究", 《地理空间信息》, vol. 15, no. 09, pages 63 - 65 * |
| 李诗卉: "基于深度学习的高光谱图像分类", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 02, pages 028 - 183 * |
| 胥飞迪等: "遥感影像网络发布的技术实现", 《人民珠江》, no. 02, pages 17 - 19 * |
| 黄冬梅等: "面向Spark的遥感影像金字塔模型的并行构建方法", 《计算机应用与软件》, vol. 34, no. 05, pages 175 - 181 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131333A (zh) * | 2020-09-29 | 2020-12-25 | 中国船舶重工集团公司第七二四研究所 | 一种基于oracle数据文件的瓦片地图存储方法 |
| CN112380367A (zh) * | 2020-10-27 | 2021-02-19 | 中南大学 | 一种基于熵的遥感影像数据筛选方法 |
| CN112380367B (zh) * | 2020-10-27 | 2023-01-10 | 中南大学 | 一种基于熵的遥感影像数据筛选方法 |
| CN112559534B (zh) * | 2020-12-24 | 2021-11-26 | 山东省国土测绘院 | 一种遥感影像数据归档管理系统及方法 |
| CN112559534A (zh) * | 2020-12-24 | 2021-03-26 | 山东省国土测绘院 | 一种遥感影像数据归档管理系统及方法 |
| CN112561832A (zh) * | 2020-12-24 | 2021-03-26 | 山东省国土测绘院 | 一种遥感影像数据存储方法及系统 |
| CN112561832B (zh) * | 2020-12-24 | 2023-12-01 | 山东省国土测绘院 | 一种遥感影像数据存储方法及系统 |
| CN114880132A (zh) * | 2021-03-25 | 2022-08-09 | 北京国电高科科技有限公司 | 卫星物联网大数据处理方法 |
| CN114880132B (zh) * | 2021-03-25 | 2023-08-22 | 北京国电高科科技有限公司 | 卫星物联网大数据处理方法 |
| CN112966134A (zh) * | 2021-03-26 | 2021-06-15 | 北京亿耘科技有限公司 | 一种遥感影像数据处理方法、系统和存储介质 |
| CN113220807A (zh) * | 2021-04-01 | 2021-08-06 | 辽宁工程技术大学 | 一种遥感数据自动化发布与在线流程监控方法 |
| CN113157214B (zh) * | 2021-05-11 | 2024-01-26 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
| CN113157214A (zh) * | 2021-05-11 | 2021-07-23 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
| CN113254568B (zh) * | 2021-06-29 | 2021-10-08 | 浙江大学 | 一种与地图服务结合的实时分析处理方法、装置及介质 |
| CN113254568A (zh) * | 2021-06-29 | 2021-08-13 | 浙江大学 | 一种与地图服务结合的实时分析处理方法、装置及介质 |
| CN113626550B (zh) * | 2021-08-05 | 2022-02-25 | 生态环境部卫星环境应用中心 | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 |
| CN113626550A (zh) * | 2021-08-05 | 2021-11-09 | 生态环境部卫星环境应用中心 | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 |
| CN113742505A (zh) * | 2021-08-30 | 2021-12-03 | 武汉数趣信息科技有限公司 | 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法 |
| CN113742505B (zh) * | 2021-08-30 | 2024-05-14 | 武汉数趣信息科技有限公司 | 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法 |
| WO2023138029A1 (zh) * | 2022-01-19 | 2023-07-27 | 上海商汤智能科技有限公司 | 一种遥感数据处理方法、装置、设备、存储介质和计算机程序产品 |
| CN114529489A (zh) * | 2022-03-01 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| CN114692017A (zh) * | 2022-03-22 | 2022-07-01 | 江苏美育云信息科技有限公司 | 一种字帖图片在线内容检索方法 |
| CN115208949A (zh) * | 2022-07-12 | 2022-10-18 | 自然资源部四川基础地理信息中心(自然资源部四川测绘资料档案馆) | 一种遥感影像数据管理分发方法、装置、系统和设备 |
| CN115576677A (zh) * | 2022-12-08 | 2023-01-06 | 中国科学院空天信息创新研究院 | 批量遥感数据快速处理的任务流程调度管理系统及方法 |
| CN116126500A (zh) * | 2023-02-13 | 2023-05-16 | 安徽理工大学 | 一种海量遥感影像调度效率优化的方法 |
| CN116126500B (zh) * | 2023-02-13 | 2024-03-29 | 安徽理工大学 | 一种海量遥感影像调度效率优化的方法 |
| CN116341002A (zh) * | 2023-03-17 | 2023-06-27 | 南通创越时空数据科技有限公司 | 一种地图数据脱敏方法和系统 |
| CN116341002B (zh) * | 2023-03-17 | 2023-12-12 | 南通创越时空数据科技有限公司 | 一种地图数据脱敏方法和系统 |
| CN116309940A (zh) * | 2023-03-22 | 2023-06-23 | 浪潮智慧科技有限公司 | 一种基于动画弹窗组件的地图信息显示方法、设备及介质 |
| CN116309940B (zh) * | 2023-03-22 | 2023-11-24 | 浪潮智慧科技有限公司 | 一种基于动画弹窗组件的地图信息显示方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111723221B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723221A (zh) | 基于分布式架构的海量遥感数据处理方法及系统 | |
| CN105786942A (zh) | 一种基于云平台的地理信息存储系统 | |
| CA2456033A1 (en) | Network image server | |
| CN110599490A (zh) | 一种遥感影像数据存储方法和系统 | |
| CN111125392B (zh) | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 | |
| CN113626550B (zh) | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 | |
| US20160299910A1 (en) | Method and system for querying and visualizing satellite data | |
| CN107590083B (zh) | 一种基于owga内存缓存的海量遥感瓦片数据快速发布方法 | |
| CN105045930B (zh) | 一种栅格数据切片生成的方法及系统 | |
| Guo et al. | A spatially adaptive decomposition approach for parallel vector data visualization of polylines and polygons | |
| CN112380302A (zh) | 基于轨迹数据的热力图生成方法、装置、电子设备以及存储介质 | |
| CN102156739A (zh) | 海量闪电数据的gis平台处理方法 | |
| CN115269893A (zh) | 基于湖仓一体的遥感影像存储系统及方法 | |
| US20210035265A1 (en) | Cloud computing flexible large area mosaic engine | |
| CN111914042A (zh) | 一种处理电力gis中矢量和栅格切片数据的方法 | |
| CN111061806A (zh) | 面向分布式的海量地理瓦片的存储方法与网络化访问方法 | |
| CN113792041B (zh) | 基于Hive和Spark的遥感数据服务离线批处理系统及方法 | |
| CN115587084A (zh) | 一种地理信息数据综合管理系统及方法 | |
| CN115689886A (zh) | 一种分幅影像的分布式切片方法及分布式切片装置 | |
| CN115408486A (zh) | 一种集成多源异构数据的gis系统及其管理方法 | |
| Hu et al. | Geospatial web service for remote sensing data visualization | |
| Yu et al. | Realtime Remote Sensing Image Publishing System Based on COG Technology | |
| AU2002322153B2 (en) | Network image server | |
| Bruhwiler et al. | Iris: Amortized, resource efficient visualizations of voluminous spatiotemporal datasets | |
| CN115878920B (zh) | 基于WebGL的动态高性能批量图片显示方法、系统及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |