CN110427446A - 一种海量影像服务快速发布与浏览方法及系统 - Google Patents
一种海量影像服务快速发布与浏览方法及系统 Download PDFInfo
- Publication number
- CN110427446A CN110427446A CN201910709559.4A CN201910709559A CN110427446A CN 110427446 A CN110427446 A CN 110427446A CN 201910709559 A CN201910709559 A CN 201910709559A CN 110427446 A CN110427446 A CN 110427446A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- service
- distributed
- caching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及影像地图可视化领域,尤其涉及一种海量影像服务快速发布与浏览方法及系统,其不同之处在于,其步骤包括:S1、影像服务发布:将影像地图数据文件上传至分布式文件系统,然后按照影像数据类型构建地图文档,使用地图文档直接发布影像服务;S2、影像服务缓存更新:通过访问服务器集群对影像服务进行分布式更新,再进行数据压缩,最后存入分布式数据库完成更新;S3、影像服务显示:用户向服务器集群发送显示请求,查找要显示的影像服务是否存在缓存,若存在则调取缓存,进行影像绘制;否则调取原始影像,进行影像绘制;最终实现影像服务的可视化。本发明能够大大提升遥感影像数据的浏览效率。
Description
技术领域
本发明涉及影像地图可视化领域,尤其涉及一种海量影像服务快速发布与浏览方法及系统。
背景技术
随着遥感、航测等诸多遥测手段的大规模应用,世界各国各行业获取的多源遥感影像数据量呈几何式激增,人类已迈入海量大数据时代。对于遥感数据而言,几百GB乃至TB级的数据也比较常见。
遥感数据包括采用航空摄影、航空扫描、微波雷达等成像方式获取的影像数据:航空摄影是指航空器上安置专用航空摄影仪,从空中对地面或空中目标所进行的摄影方式;航空扫描是指依靠探测元件和扫描镜对目标物体以瞬时视场为单位进行的逐点、逐行取样,以得到目标物的电磁辐射特性信息,形成一定谱段的图像;微波雷达是一种自备能源的主动传感器,微波具有穿透云雾的能力,所以微波雷达成像具有全天时、全天候的特点。遥感影像数据包括多平台、多层面、多种传感器、多时相、多光谱、多角度和多种分辨率的数据,构成多元海量数据。对于地理信息系统而言,如何快速地对这些遥感影像数据进行可视化是地理信息领域的一大难题。
目前地理信息系统中的影像数据主要采用瓦片服务发布的形式进行可视化,发布瓦片服务大多以单机的形式进行,即根据栅格数据,先创建镶嵌数据集,并利用镶嵌数据集进行瓦片裁剪,然后发布裁剪好的瓦片。这种方法整个过程复杂、周期长,很多情况下,瓦片裁剪需要耗费几天甚至更长的时间才可以完成;另一方面,直接浏览裁剪好的地图瓦片,无法对地图进行其他渲染方式的浏览,影响地图服务的可视化效果。对于海量影像数据而言,瓦片裁剪速度慢,存在浏览效率低、渲染方式不可更改等问题。
鉴于此,为克服上述技术缺陷,提供一种海量影像服务快速发布与浏览方法及系统成为本领域亟待解决的问题。
发明内容
本发明的目的在于克服现有技术的缺点,提供一种海量影像服务快速发布与浏览方法及系统,能够大大提升遥感影像数据的浏览效率。
为解决以上技术问题,本发明的技术方案为:一种海量影像服务快速发布与浏览方法,其不同之处在于,其步骤包括:
S1、影像服务发布:将影像地图数据文件上传至分布式文件系统,然后按照影像数据类型构建地图文档,使用地图文档直接发布影像服务;
S2、影像服务缓存更新:通过访问服务器集群对影像服务进行分布式更新,再进行数据压缩,最后存入分布式数据库完成更新;
S3、影像服务显示:用户向服务器集群发送显示请求,查找要显示的影像服务是否存在缓存,若存在则调取缓存,进行影像绘制;否则调取原始影像,进行影像绘制;最终实现影像服务的可视化。
按以上方案,所述步骤S1的影像服务发布的具体步骤包括:
S11、获取数据源:取得影像数据,包括栅格数据、栅格目录、镶嵌数据集,影像数据可通过步骤S12上载到分布式文件系统,也可直接转入步骤S17添加到地图文档;
S12、数据上载:将数据上载到分布式文件系统,然后依次执行云优化步骤S13、构建金字塔步骤S14、统计基本信息步骤S15;栅格数据、栅格目录上载到分布式文件系统并完成步骤S13、S14、S15后,可转入步骤S16添加到镶嵌数据集,或直接转入步骤S17添加到地图文档;
S13、云优化:使用云优化的tiff影像,通过优化tiff内部的数据组织方式,可在云上实现更高效的工作流;
S14、构建金字塔:通过影像数据生成由细到粗不同分辨率的影像集;
S15、统计基本信息:统计影像波段的各种数据,和影像数据一同上传到分布式文件系统;
S16、添加到镶嵌数据集:栅格数据、栅格目录可进入步骤S16添加到镶嵌数据集,或直接转入步骤S17添加到地图文档;
S17、添加到地图文档:栅格数据、栅格目录或镶嵌数据集添加到地图文档;
S18、发布影像服务。
按以上方案,所述步骤S18还包括:
S181、设置影像服务参数:设置发布影像服务的参数;
S182、影像服务缓存预裁:是影像服务发布的一个重要环节,利用服务器集群对影像缓存进行分布式裁剪,裁剪完成后采用可控精度的压缩方式来进行数据压缩,最后将裁剪和压缩过的数据存入分布式数据库,实现影像数据的海量分布式存储。
按以上方案,所述步骤S182影像服务缓存预裁的具体步骤包括:
S1821、发送到服务器集群:地图文档发送到服务器集群;
S1822、发送到服务器节点:地图文档通过服务器集群,分配到服务器节点,进行缓存预裁处理;
S1823、分布式裁剪:在不同的服务器节点对地图文档进行分布式裁剪;
S1824、数据压缩:采用可控精度的压缩方式,在满足DEM数据精度误差要求与影像显示精度要求的情况下,最大化地对数据进行压缩;
S1825、缓存存储:将裁剪、压缩后的影像数据存入分布式数据库,实现影像数据的分布式存储。
按以上方案,所述步骤S1823中,分布式裁剪分为两步:
A、前几级影像缓存快速裁剪,用户需等待此操作完成才能对影像服务进行浏览,以达到影像服务发布完成,即可快速预览影像的目的;
B、后几级影像缓存采用后台裁剪的方式,将耗时较长的操作隐藏在后台,在影像服务发布完成后操作。
按以上方案,所述步骤S1824中,DEM数据使用LERC压缩,影像数据选择使用ECW压缩。
按以上方案,所述步骤S2影像服务缓存更新的具体步骤包括:
S21、数据更新:将栅格数据、栅格目录更新到镶嵌数据集,或直接更新镶嵌数据集的数据;
S22、数据类型判断:判断待更新的数据格式是否为镶嵌数据集,若更新的数据格式不是镶嵌数据集,则无法对影像服务进行更新,直接跳转至结束;若更新的数据为镶嵌数据集,则进入下一步骤S23;
S23、发送到服务器集群:将更新后的镶嵌数据集发送到服务器集群;
S24、发送到服务器节点:将更新后的镶嵌数据集数据分配到服务器节点,进行缓存更新处理;
S25、缓存更新:根据镶嵌数据集栅格条目的增、删或者新的概视图,对新的镶嵌数据集进行分布式缓存更新;
S26、数据压缩:更新完成后,将新的缓存数据重新压缩;
S27、缓存存储:将压缩后的数据存入分布式数据库;
完成更新。
按以上方案,所述步骤S3影像服务显示的具体步骤包括:
S31、请求显示服务:用户向服务器集群请求影像服务显示;
S32、发送到服务器集群:将用户请求发送至服务器集群;
S33、发送到服务器节点:将用户请求发送至服务器节点;
S34、查询缓存:在分布式数据库中查询用户请求的显示服务是否存在缓存,若存在则进入步骤S36取缓存,若不存在则进入下一步骤S35获取原始影像;
S35、获取原始影像:若用户请求的显示服务不存在缓存,则获取原始影像;
S36、取缓存:若用户请求的显示服务存在缓存,则获取缓存;
S37、绘制:将获取的缓存或者原始影像根据用户的需求绘制,向用户返回显示数据;完成影像服务显示。
按以上方案,所述分布式文件系统为HDFS分布式文件系统,所述分布式数据库为基于分布式文件存储的MongoDB数据库。
一种海量影像服务快速发布与浏览系统,其特征在于:其包括
影像数据模块:包括栅格数据、栅格目录、镶嵌数据集,栅格数据、栅格目录可添加到镶嵌数据集构建地图文档,也可直接添加到地图文档进行发布;
数据存储模块:将栅格数据、栅格目录、镶嵌数据集上传到分布式文件系统,进行海量影像数据的管理;经过裁剪的影像数据存储在分布式数据库中,支持影像的海量存储与快速浏览;
影像服务发布模块:发布影像服务时,用户按照影像数据类型构建地图文档,然后使用地图文档发布影像服务,在发布影像服务时,进行缓存预裁和影像服务参数设置;
缓存预裁模块:通过服务器集群进行影像缓存预裁剪,前几级影像缓存快速裁剪,后几级影像缓存裁剪放置在后台执行,用户可在前几级影像裁剪完成后预览影像,实现影像服务的快速浏览;
缓存更新模块:由于栅格数据集可进行增、删栅格条目,或者重新定义概视图等操作,所以缓存更新只针对镶嵌数据集发布的服务;通过访问服务器集群对影像服务进行分布式更新,再进行数据压缩,最后存入分布式数据库完成更新;
影像服务显示模块:客户端向服务器集群发送显示请求,查询缓存是否存在,若存在则从分布式数据库中获取缓存进行绘制,否则直接从分布式文件系统获取原始影像,绘制显示。
对比现有技术,本发明的有益特点为:
本发明提供了一种利用服务器集群进行分布式影像缓存预裁的方式发布影像服务,具有以下几个优点:
1)支持海量影像文件存储在HDFS分布式文件系统中,对于镶嵌数据集,可做到一份数据,在不同操作系统之间共享;
2)支持影像服务分布式裁剪,前几级影像缓存快速裁剪,后几级影像缓存后台裁剪,从而实现影像服务的快速发布;
3)影像浏览与缓存裁剪同时进行,无需等待缓存裁剪完成后才能浏览影像,可实现高并发情况下快速浏览;
4)影像数据压缩采用可控精度的压缩方式,DEM选择使用lerc压缩,影像数据选择使用ecw压缩,在满足DEM精度误差要求与影像显示精度要求的情况下,最大化地提高数据的压缩比,解决传统的DEM无损压缩的压缩比低、数据压缩后依然很大的问题。
本发明通过对影像服务发布的流程以及影像数据存储、缓存预裁、影像数据压缩、影像数据更新、影像数据显示等多个环节的技术进行优化,提升海量影像数据的显示速度,达到快速的服务发布与浏览的目的。
附图说明
图1为本发明实施例的流程模块示意图;
图2为本发明实施例影像服务发布流程示意图;
图3为本发明实施例影像服务缓存预裁流程示意图;
图4为本发明实施例影像服务缓存更新流程示意图;
图5为本发明实施例影像服务显示流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在下文中,将参考附图来更好地理解本发明的许多方面。附图中的部件未必按照比例绘制。替代地,重点在于清楚地说明本发明的部件。此外,在附图中的若干视图中,相同的附图标记指示相对应零件。
如本文所用的词语“示例性”或“说明性”表示用作示例、例子或说明。在本文中描述为“示例性”或“说明性”的任何实施方式未必理解为相对于其它实施方式是优选的或有利的。下文所描述的所有实施方式是示例性实施方式,提供这些示例性实施方式是为了使得本领域技术人员做出和使用本公开的实施例并且预期并不限制本公开的范围,本公开的范围由权利要求限定。在其它实施方式中,详细地描述了熟知的特征和方法以便不混淆本发明。出于本文描述的目的,术语“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”和其衍生词将与如图1定向的发明有关。而且,并无意图受到前文的技术领域、背景技术、发明内容或下文的详细描述中给出的任何明示或暗示的理论限制。还应了解在附图中示出和在下文的说明书中描述的具体装置和过程是在所附权利要求中限定的发明构思的简单示例性实施例。因此,与本文所公开的实施例相关的具体尺寸和其他物理特征不应被理解为限制性的,除非权利要求书另作明确地陈述。
请参考图1至图5,本发明通过地图文档方式对栅格数据、栅格目录、栅格数据集进行发布,在发布影像服务时,利用服务器集群对影像服务进行分布式影像缓存预裁。缓存预裁分为2步:①前几级影像缓存快速裁剪,在发布影像服务时用户需等待此操作完成,以达到影像服务发布完成后,即可快速预览影像的目的;②后几级影像缓存采用后台裁剪的方式,将耗时较长的操作隐藏在后台,在裁剪过程中,用户如果想预览后几级的影像,则会判断是否已经缓存,如果未缓存,则使用原始数据绘制,如果已缓存,则使用缓存绘制。通过这种方式,可以大大提高影像服务发布与浏览的效率。
本发明所涉及到的技术如下:
(1)大数据
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
(2)云计算技术
云计算又称cloud computing,分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒种)完成对数以万计的数据的处理,从而达到强大的网络服务。
现阶段所说的云服务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。
(3)HDFS
HDFS(Hadoop Distributed File System)是Hadoop分布式文件系统,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利。
(4)MongoDB
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。MongoDB最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
本发明实施例的方法由影像服务发布、影像服务缓存预裁、影像服务缓存更新、影像服务显示四个部分组成:
(1)影像服务发布。首先将影像地图数据tiff文件上传至HDFS,包括对tiff文件云优化数据、构建栅格数据金字塔、统计影像波段的最值、平均值、方差、直方图等基本数据信息;然后按照影像数据类型(栅格数据、栅格目录、镶嵌数据集)构建地图文档,使用地图文档直接发布影像服务,包括缓存预裁和影像服务参数设置;
(2)影像服务缓存预裁。利用服务器集群进行分布式裁剪,前几级影像缓存快速裁剪,后几级影像缓存裁剪放置在后台执行,用户可在前几级影像裁剪完成后快速预览影像,替换以前所有瓦片裁剪完成后才能预览影像的方式。裁剪完成后,数据压缩采用可控精度的压缩方式:DEM选择使用lerc压缩,影像数据选择使用ecw压缩,在满足DEM精度误差要求与影像显示精度要求的情况下,最大化地提高数据的压缩比。最后将裁剪和压缩过的数据存入MongoDB,实现影像数据的海量分布式存储;
(3)影像服务缓存更新。由于栅格数据集可进行增、删栅格条目,或者重新定义概视图等操作,所以缓存更新只针对镶嵌数据集发布的服务。通过访问服务器集群对影像服务进行分布式更新,再进行数据压缩,最后存入MongoDB完成更新;
(4)影像服务显示。用户向服务器集群发送显示请求,查找要显示的影像服务是否存在缓存,若存在则调取缓存,进行影像绘制;否则调取原始影像,进行影像绘制。最后实现影像服务的可视化。
如图1所示,本发明实施例的系统包括:
影像数据模块101:包括栅格数据,栅格目录,镶嵌数据集,即单个、多个或海量tiff文件;栅格数据、栅格目录可添加到镶嵌数据集构建地图文档,也可直接添加到地图文档进行发布;
影像服务发布模块103:发布影像服务时,用户按照影像数据类型(栅格数据、栅格目录、镶嵌数据集)构建地图文档,然后使用地图文档发布影像服务,在发布影像服务时,进行影像服务参数设置并通过缓存预裁模块104进行缓存预裁;
缓存预裁模块104:通过服务器集群进行影像缓存预裁剪,前几级影像缓存快速裁剪,后几级影像缓存裁剪放置在后台执行,用户可在前几级影像裁剪完成后预览影像,替换以前所有瓦片裁剪完成后才能预览影像的方式,实现影像服务的快速浏览;
缓存更新模块105:由于栅格数据集可进行增、删栅格条目,或者重新定义概视图等操作,所以缓存更新只针对镶嵌数据集发布的服务。通过访问服务器集群对影像服务进行分布式更新,再进行数据压缩,最后存入MongoDB完成更新;
数据存储模块102:将栅格数据、栅格目录、镶嵌数据集上传到HDFS,进行海量影像数据的管理;经过裁剪的影像数据存储在MongoDB中,支持影像的海量存储与快速浏览;
影像服务显示模块106:客户端向服务器集群发送显示请求,查询缓存是否存在,若存在则从MongoDB中获取缓存进行绘制,否则直接从HDFS获取原始影像,绘制显示。
如图2所示,影像服务发布的具体步骤包括:
S11、获取数据源:取得影像数据,包括栅格数据、栅格目录、镶嵌数据集,影像数据可通过步骤S12上载到分布式文件系统,也可直接转入步骤S17添加到地图文档;
S12、数据上载:将数据上载到分布式文件系统,然后依次执行云优化步骤S13、构建金字塔步骤S14、统计基本信息步骤S15;栅格数据、栅格目录上载到分布式文件系统并完成步骤S13、S14、S15后,可转入步骤S16添加到镶嵌数据集,或直接转入步骤S17添加到地图文档;
S13、云优化:使用云优化的tiff影像,通过优化tiff内部的数据组织方式,可在云上实现更高效的工作流;
S14、构建金字塔:通过影像数据生成由细到粗不同分辨率的影像集;
S15、统计基本信息:统计影像波段的各种数据,和影像数据一同上传到分布式文件系统;
S16、添加到镶嵌数据集:栅格数据、栅格目录可进入步骤S16添加到镶嵌数据集,或直接转入步骤S17添加到地图文档;
S17、添加到地图文档:栅格数据、栅格目录或镶嵌数据集添加到地图文档;
S18、发布影像服务:
S181、设置影像服务参数:设置发布影像服务的参数;
S182、影像服务缓存预裁:是影像服务发布的一个重要环节,利用服务器集群对影像缓存进行分布式裁剪,裁剪完成后采用可控精度的压缩方式来进行数据压缩,最后将裁剪和压缩过的数据存入分布式数据库,实现影像数据的海量分布式存储。
如图3所示,影像服务缓存预裁的具体步骤包括:
S1821、发送到服务器集群:地图文档发送到服务器集群;
S1822、发送到服务器节点:地图文档通过服务器集群,分配到服务器节点,进行缓存预裁处理;
S1823、分布式裁剪:在不同的服务器节点对地图文档进行分布式裁剪;
A、前几级影像缓存快速裁剪,用户需等待此操作完成才能对影像服务进行浏览,以达到影像服务发布完成,即可快速预览影像的目的;
B、后几级影像缓存采用后台裁剪的方式,将耗时较长的操作隐藏在后台,在影像服务发布完成后操作。
S1824、数据压缩:采用可控精度的压缩方式,在满足DEM数据精度误差要求与影像显示精度要求的情况下,最大化地对数据进行压缩; DEM数据使用LERC压缩,影像数据选择使用ECW压缩。
S1825、缓存存储:将裁剪、压缩后的影像数据存入分布式数据库,实现影像数据的分布式存储。
如图4所示,影像服务缓存更新的具体步骤包括:
S21、数据更新:将栅格数据、栅格目录更新到镶嵌数据集,或直接更新镶嵌数据集的数据;
S22、数据类型判断:判断待更新的数据格式是否为镶嵌数据集,若更新的数据格式不是镶嵌数据集,则无法对影像服务进行更新,直接跳转至结束;若更新的数据为镶嵌数据集,则进入下一步骤S23;
S23、发送到服务器集群:将更新后的镶嵌数据集发送到服务器集群;
S24、发送到服务器节点:将更新后的镶嵌数据集数据分配到服务器节点,进行缓存更新处理;
S25、缓存更新:根据镶嵌数据集栅格条目的增、删或者新的概视图,对新的镶嵌数据集进行分布式缓存更新;
S26、数据压缩:更新完成后,将新的缓存数据重新压缩;
S27、缓存存储:将压缩后的数据存入分布式数据库;
完成更新。
如图5所示,影像服务显示的具体步骤包括:
S31、请求显示服务:用户向服务器集群请求影像服务显示;
S32、发送到服务器集群:将用户请求发送至服务器集群;
S33、发送到服务器节点:将用户请求发送至服务器节点;
S34、查询缓存:在分布式数据库中查询用户请求的显示服务是否存在缓存,若存在则进入步骤S36取缓存,若不存在则进入下一步骤S35获取原始影像;
S35、获取原始影像:若用户请求的显示服务不存在缓存,则获取原始影像;
S36、取缓存:若用户请求的显示服务存在缓存,则获取缓存;
S37、绘制:将获取的缓存或者原始影像根据用户的需求绘制,向用户返回显示数据;完成影像服务显示。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种海量影像服务快速发布与浏览方法,其特征在于,其步骤包括:
S1、影像服务发布:将影像地图数据文件上传至分布式文件系统,然后按照影像数据类型构建地图文档,使用地图文档直接发布影像服务;
S2、影像服务缓存更新:通过访问服务器集群对影像服务进行分布式更新,再进行数据压缩,最后存入分布式数据库完成更新;
S3、影像服务显示:用户向服务器集群发送显示请求,查找要显示的影像服务是否存在缓存,若存在则调取缓存,进行影像绘制;否则调取原始影像,进行影像绘制;最终实现影像服务的可视化。
2.根据权利要求1所述的海量影像服务快速发布与浏览方法,其特征在于:所述步骤S1的影像服务发布的具体步骤包括:
S11、获取数据源:取得影像数据,包括栅格数据、栅格目录、镶嵌数据集,影像数据可通过步骤S12上载到分布式文件系统,也可直接转入步骤S17添加到地图文档;
S12、数据上载:将数据上载到分布式文件系统,然后依次执行云优化步骤S13、构建金字塔步骤S14、统计基本信息步骤S15;栅格数据、栅格目录上载到分布式文件系统并完成步骤S13、S14、S15后,可转入步骤S16添加到镶嵌数据集,或直接转入步骤S17添加到地图文档;
S13、云优化:使用云优化的tiff影像,通过优化tiff内部的数据组织方式,可在云上实现更高效的工作流;
S14、构建金字塔:通过影像数据生成由细到粗不同分辨率的影像集;
S15、统计基本信息:统计影像波段的各种数据,和影像数据一同上传到分布式文件系统;
S16、添加到镶嵌数据集:栅格数据、栅格目录可进入步骤S16添加到镶嵌数据集,或直接转入步骤S17添加到地图文档;
S17、添加到地图文档:栅格数据、栅格目录或镶嵌数据集添加到地图文档;
S18、发布影像服务。
3.根据权利要求1所述的海量影像服务快速发布与浏览方法,其特征在于:所述步骤S18包括:
S181、设置影像服务参数:设置发布影像服务的参数;
S182、影像服务缓存预裁:是影像服务发布的一个重要环节,利用服务器集群对影像缓存进行分布式裁剪,裁剪完成后采用可控精度的压缩方式来进行数据压缩,最后将裁剪和压缩过的数据存入分布式数据库,实现影像数据的海量分布式存储。
4.根据权利要求3所述的海量影像服务快速发布与浏览方法,其特征在于:所述步骤S182影像服务缓存预裁的具体步骤包括:
S1821、发送到服务器集群:地图文档发送到服务器集群;
S1822、发送到服务器节点:地图文档通过服务器集群,分配到服务器节点,进行缓存预裁处理;
S1823、分布式裁剪:在不同的服务器节点对地图文档进行分布式裁剪;
S1824、数据压缩:采用可控精度的压缩方式,在满足DEM数据精度误差要求与影像显示精度要求的情况下,最大化地对数据进行压缩;
S1825、缓存存储:将裁剪、压缩后的影像数据存入分布式数据库,实现影像数据的分布式存储。
5.根据权利要求4所述的海量影像服务快速发布与浏览方法,其特征在于:所述步骤S1823中,分布式裁剪分为两步:
A、前几级影像缓存快速裁剪,用户需等待此操作完成才能对影像服务进行浏览,以达到影像服务发布完成,即可快速预览影像的目的;
B、后几级影像缓存采用后台裁剪的方式,将耗时较长的操作隐藏在后台,在影像服务发布完成后操作。
6.根据权利要求4所述的海量影像服务快速发布与浏览方法,其特征在于:所述步骤S1824中,DEM数据使用LERC压缩,影像数据选择使用ECW压缩。
7.根据权利要求1所述的海量影像服务快速发布与浏览方法,其特征在于:所述步骤S2影像服务缓存更新的具体步骤包括:
S21、数据更新:将栅格数据、栅格目录更新到镶嵌数据集,或直接更新镶嵌数据集的数据;
S22、数据类型判断:判断待更新的数据格式是否为镶嵌数据集,若更新的数据格式不是镶嵌数据集,则无法对影像服务进行更新,直接跳转至结束;若更新的数据为镶嵌数据集,则进入下一步骤S23;
S23、发送到服务器集群:将更新后的镶嵌数据集发送到服务器集群;
S24、发送到服务器节点:将更新后的镶嵌数据集数据分配到服务器节点,进行缓存更新处理;
S25、缓存更新:根据镶嵌数据集栅格条目的增、删或者新的概视图,对新的镶嵌数据集进行分布式缓存更新;
S26、数据压缩:更新完成后,将新的缓存数据重新压缩;
S27、缓存存储:将压缩后的数据存入分布式数据库;
完成更新。
8.根据权利要求1所述的海量影像服务快速发布与浏览方法,其特征在于:所述步骤S3影像服务显示的具体步骤包括:
S31、请求显示服务:用户向服务器集群请求影像服务显示;
S32、发送到服务器集群:将用户请求发送至服务器集群;
S33、发送到服务器节点:将用户请求发送至服务器节点;
S34、查询缓存:在分布式数据库中查询用户请求的显示服务是否存在缓存,若存在则进入步骤S36取缓存,若不存在则进入下一步骤S35获取原始影像;
S35、获取原始影像:若用户请求的显示服务不存在缓存,则获取原始影像;
S36、取缓存:若用户请求的显示服务存在缓存,则获取缓存;
S37、绘制:将获取的缓存或者原始影像根据用户的需求绘制,向用户返回显示数据;完成影像服务显示。
9.根据权利要求1所述的海量影像服务快速发布与浏览方法,其特征在于:所述分布式文件系统为HDFS分布式文件系统,所述分布式数据库为基于分布式文件存储的MongoDB数据库。
10.一种海量影像服务快速发布与浏览系统,其特征在于:其包括
影像数据模块:包括栅格数据、栅格目录、镶嵌数据集,栅格数据、栅格目录可添加到镶嵌数据集构建地图文档,也可直接添加到地图文档进行发布;
数据存储模块:将栅格数据、栅格目录、镶嵌数据集上传到分布式文件系统,进行海量影像数据的管理;经过裁剪的影像数据存储在分布式数据库中,支持影像的海量存储与快速浏览;
影像服务发布模块:发布影像服务时,用户按照影像数据类型构建地图文档,然后使用地图文档发布影像服务,在发布影像服务时,进行影像服务参数设置并通过缓存预裁模块进行缓存预裁;
缓存预裁模块:通过服务器集群进行影像缓存预裁剪,前几级影像缓存快速裁剪,后几级影像缓存裁剪放置在后台执行,用户可在前几级影像裁剪完成后预览影像,实现影像服务的快速浏览;
缓存更新模块:由于栅格数据集可进行增、删栅格条目,或者重新定义概视图等操作,所以缓存更新只针对镶嵌数据集发布的服务;通过访问服务器集群对影像服务进行分布式更新,再进行数据压缩,最后存入分布式数据库完成更新;
影像服务显示模块:客户端向服务器集群发送显示请求,查询缓存是否存在,若存在则从分布式数据库中获取缓存进行绘制,否则直接从分布式文件系统获取原始影像,绘制显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910709559.4A CN110427446B (zh) | 2019-08-02 | 2019-08-02 | 一种海量影像服务快速发布与浏览方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910709559.4A CN110427446B (zh) | 2019-08-02 | 2019-08-02 | 一种海量影像服务快速发布与浏览方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110427446A true CN110427446A (zh) | 2019-11-08 |
CN110427446B CN110427446B (zh) | 2023-05-16 |
Family
ID=68412154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910709559.4A Active CN110427446B (zh) | 2019-08-02 | 2019-08-02 | 一种海量影像服务快速发布与浏览方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110427446B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113132678A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
CN113190195A (zh) * | 2021-04-25 | 2021-07-30 | 中国电子科技集团公司第五十四研究所 | 一种大幅遥感影像可视化方法及系统 |
CN115203353A (zh) * | 2022-09-15 | 2022-10-18 | 吉奥时空信息技术股份有限公司 | 一种不同网络环境下地图服务自动同步发布方法和系统 |
CN117332179A (zh) * | 2023-12-01 | 2024-01-02 | 北京金恒博远科技股份有限公司 | 一种超大量数据曲线的网页展示方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103167036A (zh) * | 2013-01-28 | 2013-06-19 | 浙江大学 | 基于分布式多级缓存系统的栅格数据存取方法 |
CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
CN105045856A (zh) * | 2015-07-09 | 2015-11-11 | 中国资源卫星应用中心 | 一种基于Hadoop的大数据遥感卫星数据处理系统 |
CN106708993A (zh) * | 2016-12-16 | 2017-05-24 | 武汉中地数码科技有限公司 | 基于大数据技术的空间数据存储处理中间件框架实现方法 |
US9727623B1 (en) * | 2016-02-05 | 2017-08-08 | Accenture Global Solutions Limited | Integrated developer workflow for data visualization development |
US20180012382A1 (en) * | 2015-01-20 | 2018-01-11 | Koninklijke Philips N.V. | Image data segmentation and display |
CN109933565A (zh) * | 2019-01-31 | 2019-06-25 | 湖北省基础地理信息中心(湖北省北斗卫星导航应用技术研究院) | 一种多尺度海量遥感影像的快速切片方法及系统 |
CN109981740A (zh) * | 2019-02-25 | 2019-07-05 | 湖北金拓维信息技术有限公司 | 一种分布式影像数据多级缓存方法 |
-
2019
- 2019-08-02 CN CN201910709559.4A patent/CN110427446B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103167036A (zh) * | 2013-01-28 | 2013-06-19 | 浙江大学 | 基于分布式多级缓存系统的栅格数据存取方法 |
CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
US20180012382A1 (en) * | 2015-01-20 | 2018-01-11 | Koninklijke Philips N.V. | Image data segmentation and display |
CN105045856A (zh) * | 2015-07-09 | 2015-11-11 | 中国资源卫星应用中心 | 一种基于Hadoop的大数据遥感卫星数据处理系统 |
US9727623B1 (en) * | 2016-02-05 | 2017-08-08 | Accenture Global Solutions Limited | Integrated developer workflow for data visualization development |
CN106708993A (zh) * | 2016-12-16 | 2017-05-24 | 武汉中地数码科技有限公司 | 基于大数据技术的空间数据存储处理中间件框架实现方法 |
CN109933565A (zh) * | 2019-01-31 | 2019-06-25 | 湖北省基础地理信息中心(湖北省北斗卫星导航应用技术研究院) | 一种多尺度海量遥感影像的快速切片方法及系统 |
CN109981740A (zh) * | 2019-02-25 | 2019-07-05 | 湖北金拓维信息技术有限公司 | 一种分布式影像数据多级缓存方法 |
Non-Patent Citations (1)
Title |
---|
陈瑞霖: "福州市遥感影像数据库系统的设计与研究", 《福建建设科技》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113132678A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
CN113190195A (zh) * | 2021-04-25 | 2021-07-30 | 中国电子科技集团公司第五十四研究所 | 一种大幅遥感影像可视化方法及系统 |
CN115203353A (zh) * | 2022-09-15 | 2022-10-18 | 吉奥时空信息技术股份有限公司 | 一种不同网络环境下地图服务自动同步发布方法和系统 |
CN115203353B (zh) * | 2022-09-15 | 2022-12-13 | 吉奥时空信息技术股份有限公司 | 一种不同网络环境下地图服务自动同步发布方法和系统 |
CN117332179A (zh) * | 2023-12-01 | 2024-01-02 | 北京金恒博远科技股份有限公司 | 一种超大量数据曲线的网页展示方法 |
CN117332179B (zh) * | 2023-12-01 | 2024-02-06 | 北京金恒博远科技股份有限公司 | 一种超大量数据曲线的网页展示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110427446B (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427446A (zh) | 一种海量影像服务快速发布与浏览方法及系统 | |
CN106709067B (zh) | 一种基于Oracle数据库的多源异构空间数据流转方法 | |
CN111723221B (zh) | 基于分布式架构的海量遥感数据处理方法及系统 | |
CN105589951B (zh) | 一种海量遥感影像元数据分布式存储方法及并行查询方法 | |
CN106202447B (zh) | 一种具备生产与管理一体化的数字地图制图系统 | |
CN106909644A (zh) | 一种面向海量遥感影像的多级组织和索引方法 | |
CN112115198A (zh) | 一种城市遥感智能服务平台 | |
CN106383965A (zh) | 一种三维数值大气可视化支撑系统 | |
CN116089555B (zh) | 基于cim平台三维空间数据的采集与轻量化系统和方法 | |
US20140160281A1 (en) | Method and system for wide area motion imagery discovery using kml | |
CN105608222A (zh) | 一种大规模栅格数据集的瓦片金字塔快速构建方法 | |
CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及系统 | |
CN115238015A (zh) | 一种基于微服务的时空大数据平台 | |
CN110659369B (zh) | 在轨高精度轻量化全球影像控制点数据库构建方法及系统 | |
CN106934058A (zh) | 矢量数据读取方法及系统、矢量数据可视化方法及系统 | |
CN110413571A (zh) | 基于MongoDB大规模遥感影像数据分布式存储方法 | |
CN102012946A (zh) | 一种高效的安全监控视频/图像数据存储方法 | |
CN114820975B (zh) | 基于全要素参数符号化的三维场景仿真重构系统及方法 | |
CN102945270B (zh) | 并行化分布式网络舆情数据管理方法及系统 | |
CN103150348A (zh) | 一种gis数据库增量更新方法及其系统 | |
CN109189873A (zh) | 一种气象服务大数据监测分析系统平台 | |
CN109688223A (zh) | 生态环境数据资源共享方法及装置 | |
Rammer et al. | Small is beautiful: Distributed orchestration of spatial deep learning workloads | |
CN113486421A (zh) | 海上风电数字可视化展示方法、系统、介质及装置 | |
CN112632408A (zh) | 基于互联网与智能技术的环境地质调查系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |