CN114911886B - 一种遥感数据的切片方法、装置和云服务器 - Google Patents
一种遥感数据的切片方法、装置和云服务器 Download PDFInfo
- Publication number
- CN114911886B CN114911886B CN202210334503.7A CN202210334503A CN114911886B CN 114911886 B CN114911886 B CN 114911886B CN 202210334503 A CN202210334503 A CN 202210334503A CN 114911886 B CN114911886 B CN 114911886B
- Authority
- CN
- China
- Prior art keywords
- tile
- type
- tiles
- remote sensing
- sensing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种遥感数据的切片方法、装置和云服务器,涉及遥感数据处理技术领域。其中,所述方法在遥感数据合成之前,将遥感数据中每个图像直接进行切片,并识别出不同类型的瓦片,然后根据第二类型瓦片和第三类型瓦片的位置,对第二类型瓦片的元数据和第三类型瓦片的元数据进行更新,让第三类型瓦片过滤黑边,消除该类型的瓦片中黑边问题,让第二类型瓦片过滤重叠部分,消除该类型的瓦片中其它图像内容。相比较现有技术中,将在遥感数据合成过程中进行消除黑边和重叠,可以不需要对遥感图像进行合成,降低了遥感数据处理时间。
Description
技术领域
本发明涉及遥感数据处理技术领域,尤其涉及一种遥感数据的切片方法、装置和云服务器。
背景技术
遥感图像的切片是指根据特定的标准将遥感图像切割成具有相同尺寸、投影和分辨率的瓦片。瓦片的尺寸通常很小,例如256×256等。通常情况下,处理器会对低分辨率的图像建立额外的金字塔表示,以提高低分辨率下的遥感图像的访问速度。由于瓦片数据集可以用来提供延迟极低的地图服务,可以广泛地应用于基于网络的地图服务,如谷歌地球、必应地图等。
现有的切片工具有地图服务器(geoserver)、开源栅格空间数据转换库(geospatial data abstraction library,GDAL)等,只能在单机上处理单个MB级或GB级的图像。对于更大规模的遥感数据集,如TB级或PB级数据集,则需要使用分布式集群或高性能计算机(high performance computing,HPC)的并行处理技术。然而,大规模的数据集的切片情况更加复杂。一般来说,大规模的遥感数据集是由多个互相重叠的图像组成,而不是一个完整的文件。因此,位于图像边缘的部分瓦片数据可能需要从不同的图像中提取和合并。这种操作会产生大量的碎片化随机I/O,从而影响处理效率。
发明内容
为了解决上述的问题,本申请的实施例中提供了一种遥感数据的切片方法、装置和云服务器,由于遥感数据是由多个相互叠加的图像组成,每个图像是一个单独的文件,虚拟机可以直接对一组由多个文件组成的遥感数据集进行切片,并识别出不同类型的瓦片,然后对处在边缘、且不与其它图像在空间上有重叠的瓦片过滤黑边,消除该类型的瓦片中黑边问题,对处在边缘、且与其它图像在空间上有重叠的瓦片过滤重叠部分,保留该类型的瓦片中其它图像内容。从而避免了遥感图像合成的过程,而遥感图像合成是非常耗时的,因此可以降低了遥感数据的处理时间。同时,解决多个图像之间的黑边、重叠等复杂问题,适用于多种复杂的切片应用场景。
为此,本申请的实施例中采用如下技术方案:
第一方面,本申请实施例提供一种遥感数据的切片方法,所述方法由安装有虚拟机的终端设备执行,包括:获取遥感数据,所述遥感数据包括至少一个图像;对所述遥感数据中各个图像进行切片,得到多个瓦片,所述多个瓦片包括第一类型瓦片、第二类型瓦片和第三类型瓦片中至少一个,所述第一类型瓦片为处在图像中间、且不与其它图像在空间上有重叠的瓦片,所述第二类型瓦片为处在所述图像边缘、且与其它图像在空间上有重叠的瓦片,所述第三类型瓦片为处在所述图像的边缘、且不与其它图像在空间上有重叠的瓦片;根据所述第二类型瓦片和所述第三类型瓦片的位置,对所述第二类型瓦片的元数据和所述第三类型瓦片的元数据进行更新,所述元数据是用于记录瓦片的属性信息。
在该实施方式中,在遥感数据合成之前,将遥感数据中每个图像直接进行切片,并识别出不同类型的瓦片,然后根据第二类型瓦片和第三类型瓦片的位置,对第二类型瓦片的元数据和第三类型瓦片的元数据进行更新,让第三类型瓦片过滤黑边,消除该类型的瓦片中黑边问题,让第二类型瓦片过滤重叠部分,消除该类型的瓦片中其它图像内容。相比较现有技术中,将在遥感数据合成过程中进行消除黑边和重叠,可以不需要对遥感图像进行合成,降低了遥感数据处理时间。
在一种实施方式中,所述第一类型瓦片以键值对形式存储在HBase中。
在一种实施方式中,所述根据所述第三类型瓦片的位置,对所述第三类型瓦片的元数据进行更新,包括:将所述第三类型瓦片以随机行键形式存储在HBase中,并收集所述第三类型瓦片的元数据;按照所述第三类型瓦片的位置对根据所述第三类型瓦片的元数据进行更新;将所述第三类型瓦片以键值对形式存储在HBase中。
在一种实施方式中,所述根据所述第二类型瓦片,对所述第二类型瓦片的元数据进行更新,包括:将所述第二类型瓦片以随机行键形式存储在HBase中,并收集所述第二类型瓦片的元数据;按照所述第二类型瓦片的位置对根据所述第二类型瓦片的元数据进行更新;将所述第二类型瓦片以键值对形式存储在HBase中。
在一种实施方式中,当所述遥感数据中每个图像为一个单独文件时,所述第二类型瓦片包括至少两个文件,在所述按照所述第二类型瓦片的位置对根据所述第二类型瓦片的元数据进行更新之后,还包括:将所述第二类型瓦片中至少两个文件的元数据进行合并。
在一种实施方式中,还包括:判断所述多个瓦片所处的层级是否小于设定阈值;当所述多个瓦片所处的层级小于设定阈值是,构建所述多个瓦片上一层级的瓦片。
第二方面,本申请实施例提供一种遥感数据的切片装置,包括:至少一个处理器,所述处理器用于执行存储器中存储的指令,以使得终端执行如第一方面各个可能实现的方法。
第三方面,本申请实施例提供一种云服务器,包括:云存储端,处理端,包括多个虚拟机,所述虚拟机安装在各个终端设备上,可以执行如第一方面各个可能实现的方法。
在一种实施方式中,所述云存储端包括:云存储单元,用于存储遥感数据;多个块存储单元,为安装所述虚拟机的终端设备中存储器,用于接收所述云存储单元发送的待处理的遥感数据,以及所述虚拟机完成切片的多个瓦片;数据库,用于存储所述多个虚拟机完成切片后的遥感数据。
附图说明
下面对实施例或现有技术描述中所需使用的附图作简单地介绍。
图1为本申请实施例中提供的一种云服务器的架构示意图;
图2为本申请实施例中提供的云存储端划分成云存储单元、块存储单元和数据库的存储数据的示意图;
图3(a)为本申请实施例中提供的遥感数据中图像在空间上的分布示意图;
图3(b)为本申请实施例中提供的对遥感数据中图像进行切片后的各种类型的瓦片分布示意图;
图3(c)为本申请实施例中提供的第二类型瓦片和第三类型瓦片修复后的瓦片分布示意图;
图3(d)为本申请实施例中提供的构建上一层瓦片示意图;
图4为本申请实施例中提供的一种遥感数据并行切片方法的流程示意图;
图5为本申请实施例中提供的一种遥感数据并行切片装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本文中术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系,例如A/B表示A或者B。
本文中的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一响应消息和第二响应消息等是用于区别不同的响应消息,而不是用于描述响应消息的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或者两个以上,例如,多个处理单元是指两个或者两个以上的处理单元等;多个元件是指两个或者两个以上的元件等。
为了解决现有技术中遥感图像切片存在的处理效率低和处理过程复杂的问题,本申请实施例提出了一种基于云计算的并行化切片方法、装置和云服务器。本申请通过将遥感数据、中间处理数据和切片结果分别存储在云存储、块存储和分布式非关系型的结构化查询语言(not only structured query language,NoSQL)数据库中,充分利用不同存储技术的效率和技术特点,在尽可能的避免额外I/O的开销,同时降低不同类型I/O的成本,最终提升整体的处理效率。
图1为本申请实施例中提供的一种云服务器的架构示意图。如图1所示,该云服务器100包括云存储端110和处理端120,处理端120包括多个虚拟机120-N。其中,云服务器100依赖于云存储服务(data as a service,DaaS)和基础设计即服务(infrastructure as aservice,IaaS)。云服务器100可以为现有的服务器,如阿里云、华为云、百度云等,也可以为私有构建的云服务器。
虚拟机120-N是指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在虚拟机中都能够实现。云服务器100在创建虚拟机120-N时,需要将云服务器100中部分存储空间作为虚拟机的存储空间,将部分运行内存作为虚拟机的运行内存。每个虚拟机120-N都有独立的存储空间、运行内存和操作系统,可以像使用实体机一样对虚拟机120-N进行操作。本申请中虚拟机120-N的数量与对大规模的数据集进行处理的工作量相关。在一个例子中,大规模的数据集越大,虚拟机120-N的数量越多。
云存储端110用于存储遥感数据、切片过程中的中间数据、执行切片的算法等。如图2所示,本申请中,云存储端110根据存储数据的类型,可以划分为云存储单元111、块存储单元112和NoSQL数据库113。云存储单元111是一种共享型的存储单元,一般是指云服务器100上的存储服务器,用于存储待切片的原始遥感数据。云存储单元111的存储空间比较大,一般在TB级、PB级或更大存储空间,有利于存储大规模的遥感数据。云存储单元111可以是分布式存储系统,也可以为对象存储系统(object storage service,OSS)、分布式文件系统(distributed file system,DFS),以及其它系统,本申请在此不做限定。
块存储单元112为安装有虚拟机120-N的计算机中存储器,可以为半导体存储器,如可擦写可编程只读存储器(erasable programmable read-only memory,EPROM)、固态硬盘(solid state disk,SSD)、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)等等,可以为磁表面存储器,如软盘、硬盘、磁带等等,也可以为光存储器,如压缩盘(compact disc,CD)、数字通用盘(digital versatile disc,DVD)等等,以及其它类型存储器。块存储单元112是每个虚拟机120-N(单个计算节点)中配置的存储空间,用于存储每一个计算节点将要处理的遥感数据、切片过程中的中间数据等。本申请中,原始的遥感数据集一般可以由单个遥感数据文件组成,也可以由多个独立的小型文件组成。OSS、DFS等系统可以实现PB级数据的存储和高性能的顺序I/O访问。
为了提高I/O效率,在切片之前,每个单独的图像将被传输到处理节点的本地块存储中,也即虚拟机120-N配置的块存储单元112。遥感数据中图像切片过程中,虚拟机120-N可以直接从本地的块存储单元112中提取图片和瓦片。由于块存储单元112和虚拟机120位于同一台主机中,相比较云存储单元111具有更好的本地性。虚拟机120-N提取图像时,直接从同一主机的块存储单元112中提取,可以降低网络传输的成本。此外,云存储单元111将大量的遥感数据分散存储在各个块存储单元112中,避免云服务器100的I/O的拥塞。
NoSQL数据库113是云服务器100中一种非关系型特征的数据库,具有非常高的读写性能。本申请中,虚拟机120-N完成切片后,将瓦片数据存储到NoSQL数据库113中。可选地,NoSQL数据库113选用HBase,也可以为其它数据库。HBase是一个基于Hadoop HDFS的分布式NoSQL数据库。HBase支持数以亿计的非结构化数据的持久性存储,具有相当高的效率。
本申请实施例中,将云存储端110划分为云存储、块存储和NoSQL数据库,通过将遥感数据、中间处理数据和切片结果分别存储在云存储、块存储和分布式NoSQL数据库中,充分利用不同存储技术的效率和技术特点,在尽可能的避免额外I/O的开销,同时降低不同类型I/O的成本,最终提升整体的处理效率。
在一个实施例中,云服务器100中云存储端110是1PB的共享云存储空间,处理端120包括32台基于云计算的虚拟机(16核,64GB内存,10TB块存储)。云服务器100中32台虚拟机构建了一套分布式的计算和存储环境。云服务器100利用spark构建了分布式的计算环境,包括总计320核心的并行计算能力。云服务器100利用hadoop和HBase构建了分布式的存储系统和分布式NoSQL数据库。
本申请实施例中,对遥感数据进行并行切片,是基于云服务器100来实现的。通常情况下,遥感数据是由多个相互叠加的图像组成,每个图像是一个单独的文件。
图3(a)-3(d)为本申请实施例中提供的一种并行切片的具体实现图。如图3(a)所示,本申请以两个图像为例,虚拟机120-N从块存储单元112中获取“图像1”和“图像2”,然后将两个图像输入到并行切片算法中,实现遥感数据的并行切片。可选地,虚拟机120-N还可以获取其它数量的遥感数据中的图像。
如图3(b)所示,基础层级切片。基础层级的瓦片需要从原始的遥感数据集中抽取。每一个图像被传送到某个Spark执行节点后,该节点并启动一个任务。每一个任务单独执行一个图像的切片处理,因此不同的图像可以并行化的执行,每一个执行节点可以被分配多个任务。每个任务处理过程中相互没有影响,但是最终输出的瓦片会被上传到共享的HBase存储中。
一个Spark执行节点指一个虚拟机120-N。通常情况下,文件将被传送到虚拟机120-N所在宿主机器的块存储中。在物理上,计算的内存、CPU和图像的存储介质都存在同一个实体物理服务器中,因此I/O效率最为理想并且不会发生壅塞。一个实施例中,每个执行节点拥有16个核,所以该节点可以同时执行16个线程的任务,整个集群可以同时执行320线程的任务(16线程×30虚拟机)。
示例性地,虚拟机120-N按照基础层级的分辨率等标准,将单个图像切割为多个瓦片。根据瓦片的位置和特殊规定,虚拟机120-N可以将这些瓦片被区分为三种类型,如第一类型是指处在图像中间位置,且不与其它图像在空间上有重叠的瓦片,称之为“第一类型瓦片”;第二类型是指处在一个图像的边缘位置,且与其它图像在空间上有重叠的瓦片,称之为“第二类型瓦片”;第三类型是指处在一个图像的边缘位置,且不与其它图像在空间上有重叠的瓦片,称之为“第三类型瓦片”。
对于第一类型瓦片,虚拟机120-N不需要对其进行处理,可以将第一类型瓦片以键值对的形式直接存储在HBase中。其中,键值对的键(key)为每个瓦片的最终行键,如标注瓦片的层级、瓦片的空间位置x-y-z结构等,用于数据的检索;值(value)存储了瓦片的本体数据。瓦片的大小比图像小得多,所以切片后的第一类型瓦片的数量最多。
对于第二类型瓦片和第三类型瓦片这两种特殊的瓦片,虚拟机120-N需要对其进一步进行处理。虚拟机120-N可以将第二类型瓦片和第三类型瓦片以随机行键的形式独立地存储在HBase中,同时该瓦片的元数据将被记录,用于下一步的修复。其中,随机行键是随机数值,如UUID4等,并不是该瓦片的最终行键。所述元数据是所述瓦片数据的注释,所述瓦片数据的元数据包括:瓦片数据的种类描述、标题描述、数据来源描述和数据版本描述,用于记录所述瓦片数据的属性信息。
如图3(b)所示,第二类型瓦片的同一位置会有多个瓦片,这些瓦片分别来自不同的图像中。第二类型瓦片切片在不同部分有不同数值,所以需要在下一步中进行合并处理,将相同位置的瓦片进行合并,以消除该类型瓦片中的图像重叠问题。第三类型瓦片中不仅包括有图像内容,还包括有空白区域,由于该区域没有像素填充,又称为“黑边”,所以需要消除该类型瓦片中黑边。
如图3(c)所示,瓦片修复。第二类型瓦片和第三类型瓦片是被存储在HBase中,可以被集群中的任意一个计算节点访问,相比较文件系统、对象存储系统等等,HBase在高并发的瓦片应用场景下具有更高的效率。第二类型瓦片和第三类型瓦片中的元数据被收集后,将按照瓦片的位置进行整理。第二类型瓦片是有两个或两个以上的图像叠加,存在两个或两个以上的副本。虚拟机120-N需要将第二类型瓦片按照一定的规则进行处理。对于不同的数据集和不同应用场景下,处理的规则可能有所差别。一个可行的实施例中,来自不同的图像的瓦片可能会包含不同部分的数据,虚拟机120-N需要将不同副本中的存在值的数据进行合并,并输出为单个包含最多数据的瓦片。虚拟机120-N将处理后的瓦片输出,并以键值对的形式保存在HBase中。第三类型瓦片往往存在于整个数据集的边缘部分,无需进行进一步的处理。虚拟机120-N直接将第三类型瓦片以键值对的形式保存在HBase中。
如图3(d)所示,构建上面层级瓦片。按照瓦片金字塔的定义可知,上一层级(n-1层级)的瓦片空间范围对应于下一层级(n层级)的四个瓦片的空间范围,同时分辨率是下一层级的一半。因此可以直接由下一层级的瓦片重采样获得。因此,虚拟机120-N将从最低层级循环构建最高层级的瓦片。每一个层级的构建过程中,每一个瓦片的生成都是独立的,因此具有非常好的可并行性。
本申请实施例中,在遥感数据合成之前,将遥感数据中每个图像直接进行切片,并识别出不同类型的瓦片,然后第三类型瓦片过滤黑边,消除该类型的瓦片中黑边问题,对第二类型瓦片过滤重叠部分,消除该类型的瓦片中其它图像内容。相比较现有技术中,将在遥感数据合成过程中进行消除黑边和重叠,可以不需要对遥感图像进行合成,降低了遥感数据处理时间。
图4为本申请实施例中提供的一种遥感数据并行切片方法的流程示意图。如图4所示,具体实现过程如下:
步骤S401,获取遥感数据。其中,遥感数据包括至少一个图像。
具体地,遥感数据一般存储在云存储单元111中,为了提高I/O效率,在切片之前,云存储单元111可以将目标遥感数据发送给执行虚拟机120-N对应的块存储单元112中。虚拟机120-N将目标遥感数据中的一个或多个图像构成一个独立的任务,以便后续节点启动相应的任务。
步骤S402,对至少一个图像进行基础层级的切片,得到至少一个瓦片。
虚拟机120-N按照基础层级的分辨率等标准,将单个图像切割为多个瓦片。根据瓦片的位置和特殊规定,虚拟机120-N可以将这些瓦片被区分为三种类型,分别为第一类型瓦片、第二类型瓦片和第三类型瓦片。
在一种可能的实施例中,数据集只包含一个图像,此时可以考虑将该图像下载到每一个执行节点中,并且每个独立的任务切片该图像的一部分。也可以不下载到本地,直接在云存储单元111中抽取。这种应用情景下,数据集的体量一般不大,建议采用单机多线程的切片方案。
步骤S403,判断每个瓦片是否为第一类型瓦片,如果不是,执行步骤S404;如果是,执行步骤S408。
步骤S404,将基础层级的瓦片以随机行键形式存储在HBase中,并收集该瓦片的元数据。
对于第二类型瓦片和第三类型瓦片这两种特殊的瓦片,虚拟机120-N需要对其进一步进行处理。虚拟机120-N可以将第二类型瓦片和第三类型瓦片以随机行键的形式独立地存储在HBase中,同时该瓦片的元数据将被记录,用于下一步的修复。
步骤S405,按照瓦片的空间对瓦片的元数据进行重新整理。
步骤S406,判断每个瓦片是否为第二类型瓦片,如果不是,执行步骤S407;如果是,执行步骤S408。
步骤S407,将瓦片中多个副本合并。
具体地,第二类型瓦片和第三类型瓦片中的元数据被收集后,将按照瓦片的位置进行整理。第二类型瓦片是有两个或两个以上的图像叠加,存在两个或两个以上的副本。虚拟机120-N需要将第二类型瓦片按照一定的规则进行处理。对于不同的数据集和不同应用场景下,处理的规则可能有所差别。一个可行的实施例中,来自不同的图像的瓦片可能会包含不同部分的数据,虚拟机120-N需要将不同副本中的存在值的数据进行合并,并输出为单个包含最多数据的瓦片。虚拟机120-N将处理后的瓦片输出,并以键值对的形式保存在HBase中。
步骤S408,将基础层级的瓦片以键值对的形式存储在HBase中。
第一类型瓦片不需要对其进行处理,虚拟机120-N可以将第一类型瓦片以键值对的形式直接存储在HBase中。第三类型瓦片往往存在于整个数据集的边缘部分,无需进行进一步的处理。虚拟机120-N直接将第三类型瓦片以键值对的形式保存在HBase中。
步骤S409,构建M层级的瓦片。其中,M=1,2,…,当M=1时,表明在基础层级的上一层级;M=2时,表示在基础层级的上上一层级,以此类推。
步骤S410,将M层级的瓦片以键值对的形式存储在HBase中。
步骤S411,判断M是否小于设定阈值,如果是,执行步骤S409,如果不是,直接结束。
虚拟机120-N将从最低层级循环构建最高层级的瓦片。每一个层级的构建过程中,每一个瓦片的生成都是独立的,因此具有非常好的可并行性。
本申请实施例中,由于遥感数据是由多个相互叠加的图像组成,每个图像是一个单独的文件,虚拟机可以直接对一组由多个文件组成的遥感数据集进行切片,并识别出不同类型的瓦片,然后对处在边缘、且不与其它图像在空间上有重叠的瓦片过滤黑边,消除该类型的瓦片中黑边问题,对处在边缘、且与其它图像在空间上有重叠的瓦片过滤重叠部分,保留该类型的瓦片中其它图像内容。从而避免了遥感图像合成的过程,而遥感图像合成是非常耗时的,因此可以降低了遥感数据的处理时间。同时,解决多个图像之间的黑边、重叠等复杂问题,适用于多种复杂的切片应用场景。
图5为本申请实施例中提供的一种遥感数据的切片装置的结构示意图。如图5所示,该装置500包括收发单元501和处理单元502。其中,各个单元具体执行功能如下:
收发单元501用于获取遥感数据,所述遥感数据包括至少一个图像;处理单元502用于对所述遥感数据中各个图像进行切片,得到多个瓦片,所述多个瓦片包括第一类型瓦片、第二类型瓦片和第三类型瓦片中至少一个,所述第一类型瓦片为处在图像中间、且不与其它图像在空间上有重叠的瓦片,所述第二类型瓦片为处在所述图像边缘、且与其它图像在空间上有重叠的瓦片,所述第三类型瓦片为处在所述图像的边缘、且不与其它图像在空间上有重叠的瓦片;根据所述第二类型瓦片和所述第三类型瓦片的位置,对所述第二类型瓦片的元数据和所述第三类型瓦片的元数据进行更新,所述元数据是用于记录瓦片的属性信息。
在一种实施方式中,所述第一类型瓦片以键值对形式存储在HBase中。
在一种实施方式中,处理单元502具体用于将所述第三类型瓦片以随机行键形式存储在HBase中,并收集所述第三类型瓦片的元数据;按照所述第三类型瓦片的位置对根据所述第三类型瓦片的元数据进行更新;将所述第三类型瓦片以键值对形式存储在HBase中。
在一种实施方式中,处理单元502具体用于将所述第二类型瓦片以随机行键形式存储在HBase中,并收集所述第二类型瓦片的元数据;按照所述第二类型瓦片的位置对根据所述第二类型瓦片的元数据进行更新;将所述第二类型瓦片以键值对形式存储在HBase中。
在一种实施方式中,当所述遥感数据中每个图像为一个单独文件时,所述第二类型瓦片包括至少两个文件,处理单元502还用于将所述第二类型瓦片中至少两个文件的元数据进行合并。
在一种实施方式中,处理单元502还用于判断所述多个瓦片所处的层级是否小于设定阈值;当所述多个瓦片所处的层级小于设定阈值是,构建所述多个瓦片上一层级的瓦片。
本申请实施例中还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述图1-图4和相应描述内容中记载的任一项方法。
本申请实施例中还提供了一种计算机程序产品,所述计算机程序产品存储有指令,所述指令在由计算机执行时,使得所述计算机实施上述图1-图4和相应描述内容中记载的任一项方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
此外,本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如,计算机可读介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,压缩盘(compact disc,CD)、数字通用盘(digital versatiledisc,DVD)等),智能卡和闪存器件(例如,可擦写可编程只读存储器(erasableprogrammable read-only memory,EPROM)、卡、棒或钥匙驱动器等)。另外,本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
在上述实施例中,遥感数据的切片装置500可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digital video disc,DVD))、或者半导体介质(例如,固态硬盘(solid statedisk,SSD))等。
应当理解的是,在本申请实施例的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者接入网设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。
Claims (9)
1.一种遥感数据的切片方法,其特征在于,所述方法由安装有虚拟机的终端设备执行,包括:
获取遥感数据,所述遥感数据包括至少一个图像;
对所述遥感数据中各个图像进行切片,得到多个瓦片,所述多个瓦片包括第一类型瓦片、第二类型瓦片和第三类型瓦片中至少一个,所述第一类型瓦片为处在图像中间、且不与其它图像在空间上有重叠的瓦片,所述第二类型瓦片为处在所述图像边缘、且与其它图像在空间上有重叠的瓦片,所述第三类型瓦片为处在所述图像的边缘、且有黑边的瓦片,所述黑边是指没有像素的部分;
根据所述第二类型瓦片和所述第三类型瓦片的位置,对所述第二类型瓦片的元数据和所述第三类型瓦片的元数据进行更新,过滤所述第二类型瓦片的与其它图像在空间上有重叠的部分,以及过滤所述第三类型瓦片的有黑边的部分,所述元数据是用于记录瓦片的属性信息。
2.根据权利要求1所述的方法,其特征在于,所述第一类型瓦片以键值对形式存储在HBase中。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第三类型瓦片的位置,对所述第三类型瓦片的元数据进行更新,包括:
将所述第三类型瓦片以随机行键形式存储在HBase中,并收集所述第三类型瓦片的元数据;
按照所述第三类型瓦片的位置对根据所述第三类型瓦片的元数据进行更新;
将所述第三类型瓦片以键值对形式存储在HBase中。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第二类型瓦片,对所述第二类型瓦片的元数据进行更新,包括:
将所述第二类型瓦片以随机行键形式存储在HBase中,并收集所述第二类型瓦片的元数据;
按照所述第二类型瓦片的位置对根据所述第二类型瓦片的元数据进行更新;
将所述第二类型瓦片以键值对形式存储在HBase中。
5.根据权利要求4所述的方法,其特征在于,当所述遥感数据中每个图像为一个单独文件时,所述第二类型瓦片包括至少两个文件,
在所述按照所述第二类型瓦片的位置对根据所述第二类型瓦片的元数据进行更新之后,还包括:
将所述第二类型瓦片中至少两个文件的元数据进行合并。
6.根据权利要求1-5任意一项所述的方法,其特征在于,还包括:
判断所述多个瓦片所处的层级是否小于设定阈值;
当所述多个瓦片所处的层级小于设定阈值是,构建所述多个瓦片上一层级的瓦片。
7.一种遥感数据的切片装置,其特征在于,包括:
至少一个处理器,所述处理器用于执行存储器中存储的指令,以使得终端执行如权利要求1-6任一所述的方法。
8.一种云服务器,其特征在于,包括:
云存储端,
处理端,包括多个虚拟机,所述虚拟机安装在各个终端设备上,可以执行如权利要求1-6任一所述的方法。
9.根据权利要求8所述的云服务器,其特征在于,所述云存储端包括:
云存储单元,用于存储遥感数据;
多个块存储单元,为安装所述虚拟机的终端设备中存储器,用于接收所述云存储单元发送的待处理的遥感数据,以及所述虚拟机完成切片的多个瓦片;
数据库,用于存储所述虚拟机完成切片后的遥感数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334503.7A CN114911886B (zh) | 2022-03-31 | 2022-03-31 | 一种遥感数据的切片方法、装置和云服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334503.7A CN114911886B (zh) | 2022-03-31 | 2022-03-31 | 一种遥感数据的切片方法、装置和云服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114911886A CN114911886A (zh) | 2022-08-16 |
CN114911886B true CN114911886B (zh) | 2023-01-20 |
Family
ID=82762870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210334503.7A Active CN114911886B (zh) | 2022-03-31 | 2022-03-31 | 一种遥感数据的切片方法、装置和云服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114911886B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7746343B1 (en) * | 2005-06-27 | 2010-06-29 | Google Inc. | Streaming and interactive visualization of filled polygon data in a geographic information system |
CN106503093A (zh) * | 2016-10-13 | 2017-03-15 | 华东师范大学 | 一种适用于分布式计算环境的大型遥感影像重构方法 |
CN107705241A (zh) * | 2016-08-08 | 2018-02-16 | 国网新疆电力公司 | 一种基于瓦片地形建模和投影校正的沙盘构建方法 |
CN112084283A (zh) * | 2020-09-11 | 2020-12-15 | 广州南方智能技术有限公司 | 一种基于金字塔结构和层次细节模型的地形影像切片方法 |
CN113505139A (zh) * | 2021-09-10 | 2021-10-15 | 成都国星宇航科技有限公司 | 基于单服务的遥感影像自动化更新及历史回溯方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012094B (zh) * | 2020-11-30 | 2022-12-20 | 中国科学院空天信息创新研究院 | 一种卫星遥感数据的处理方法及相关装置 |
-
2022
- 2022-03-31 CN CN202210334503.7A patent/CN114911886B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7746343B1 (en) * | 2005-06-27 | 2010-06-29 | Google Inc. | Streaming and interactive visualization of filled polygon data in a geographic information system |
CN107705241A (zh) * | 2016-08-08 | 2018-02-16 | 国网新疆电力公司 | 一种基于瓦片地形建模和投影校正的沙盘构建方法 |
CN106503093A (zh) * | 2016-10-13 | 2017-03-15 | 华东师范大学 | 一种适用于分布式计算环境的大型遥感影像重构方法 |
CN112084283A (zh) * | 2020-09-11 | 2020-12-15 | 广州南方智能技术有限公司 | 一种基于金字塔结构和层次细节模型的地形影像切片方法 |
CN113505139A (zh) * | 2021-09-10 | 2021-10-15 | 成都国星宇航科技有限公司 | 基于单服务的遥感影像自动化更新及历史回溯方法及装置 |
Non-Patent Citations (1)
Title |
---|
面向无重叠区多源瓦片的拼接匀色技术研究;高小旭等;《测绘工程》;20180720(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114911886A (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9740706B2 (en) | Management of intermediate data spills during the shuffle phase of a map-reduce job | |
CN110442444B (zh) | 一种面向海量遥感影像的并行数据访问方法与系统 | |
CN111291016B (zh) | 一种海量遥感影像数据分层混合存储与索引方法 | |
JP2020038623A (ja) | データを記憶するための方法、装置及びシステム | |
EP3299972A1 (en) | Efficient query processing using histograms in a columnar database | |
CN104881466B (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
CN107301214B (zh) | 在hive中数据迁移方法、装置及终端设备 | |
CN103890709A (zh) | 基于缓存的键值数据库映射和复制 | |
CN112559481A (zh) | 一种基于分布式系统和关系数据库的数据存储方法及装置 | |
CN103092906A (zh) | 用于扩展节点的多客户通用保持 | |
CN108920540B (zh) | 一种基于Spark的并行栅格数据处理方法 | |
CN107451138A (zh) | 一种分布式文件系统存储方法和系统 | |
CN114329096A (zh) | 一种原生图数据库处理方法及系统 | |
US10789234B2 (en) | Method and apparatus for storing data | |
CN110134646B (zh) | 知识平台服务数据存储与集成方法及系统 | |
CN107798063A (zh) | 快照处理方法和快照处理装置 | |
CN112925792B (zh) | 数据存储控制方法、装置、计算设备及介质 | |
US10635672B2 (en) | Method and system for merging data | |
CN112596949B (zh) | 一种高效率的ssd删除数据恢复方法及系统 | |
CN115470235A (zh) | 一种数据处理方法、装置以及设备 | |
KR100901284B1 (ko) | 3d 모델 식별자를 이용한 랜더링 시스템 및 방법 | |
CN114911886B (zh) | 一种遥感数据的切片方法、装置和云服务器 | |
JP2008225686A (ja) | 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム | |
CN111026895B (zh) | 一种数据可视化处理方法、装置及存储介质 | |
Li et al. | Application and performance optimization of MapReduce model in image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |