CN110781325A - 一种高分辨率遥感数据格网精细化管理模型及其构建方法 - Google Patents
一种高分辨率遥感数据格网精细化管理模型及其构建方法 Download PDFInfo
- Publication number
- CN110781325A CN110781325A CN201911000624.2A CN201911000624A CN110781325A CN 110781325 A CN110781325 A CN 110781325A CN 201911000624 A CN201911000624 A CN 201911000624A CN 110781325 A CN110781325 A CN 110781325A
- Authority
- CN
- China
- Prior art keywords
- data
- grid
- remote sensing
- image
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 12
- 238000003860 storage Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 claims abstract description 25
- 230000008520 organization Effects 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 235000019580 granularity Nutrition 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 18
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 5
- 235000019587 texture Nutrition 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000004141 dimensional analysis Methods 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000013523 data management Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101000738901 Homo sapiens PMS1 protein homolog 1 Proteins 0.000 description 1
- 102100037482 PMS1 protein homolog 1 Human genes 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Library & Information Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种高分辨率遥感数据格网精细化管理模型及其构建方法,该模型包括:基于全球离散网格Google S2的遥感影像数据分块组织规范,将同一地区不同来源的遥感影像数据分级约束到离散格网中,产生标准的、同构的影像格网矩阵数据;切片数据的HBase三层存储模型,实现多个栅格层存储同一时间下、同一地理区域、同一传感器的不同层级信息;Kylin二级数据索引机制,用于重新组织不同维度数据间的线性关联,在HBase上进行二级索引构建。本发明利用地理空间格网、数据编码映射和信息多维分析的技术,对数据资源进行二次组织整理,统一了影像数据的标准,解决了异构数据源数据兼容难题,在大规模数据背景下提供数据分析服务,实现不同维度,不同粒度的数据观察。
Description
技术领域
本发明涉及数据库管理技术领域,尤其涉及一种高分辨率遥感数据格网精细化管理模型及其构建方法。
背景技术
在影像数据管理中,由于数据库系统的阶段性、技术性、经济性以及物理载荷和应用学科等因素影响,导致在遥感影像爆炸式增长的过程中积累了大量采用不同存储格式的影像数据,而采用的数据管理系统也大不相同,使得遥感影像数据呈现多样性、高维性和复杂性。遥感数据管理现状是采用BIP/BSQ/BIL组织的二进制栅格数据,随后以分景/分幅的形式将数据封装到HDF5、GeoTIFF、JPEG等多种图像格式中,最后采用不同数据存储方式对数据进行存储管理,常见的有文件、数据库以及文件和数据库混合的管理。这种数据的管理模式是一种相对粗犷的管理模式,体现在离散存储、捆绑推送和模糊定位三个方面。离散存储是指当前各个存储中心采用不同的数据管理方式,导致数据离散存储在全球范围内,交互困难。同时,大多采用波段捆绑形式,推送某一卫星携带相机拍摄的全部数据,如GF1的PMS1以无损压缩形式捆绑MSS和PAN共5个波段数据。同样,美国地球观测系统(EOS)提供的MODIS地表标准产品MOD09A1则以hdf形式捆绑了波段1-7的500米分辨率合成产品。这种捆绑推送形式一方面在推送时会造成资源浪费、网络堵塞,另一方面,大量额外数据的推送,数据安全性能降低。最后,用户对数据的检索类似于一种模糊查询,检索精度受限于数据本体的推送范围,在获取数据后往往需要采取一定的裁切和拼接。
遥感数据作为一种独特的数据资源,其数据价值的开发依旧处于较为初级的阶段,其中重要的因素来自于数据交流的不畅。遥感数据管理过于简化时造成数据“既多又少”。尤其是不同卫星系列及不同层承载平台之间存在有数据格式、结构标准不同且通用的转换协议等问题。这种管理模式的产生是计算机技术发展的历史责任。在数据大膨胀之前,上述管理模式解决了数据基本保存和查询要求,但随着对地观测技术的发展,传感器的时间、空间、光谱和辐射分辨率覆盖面更广,分级层次更细,从而使涉及到的组织和管理形式复杂化,但在面向数据服务时存在很多短板。主要包括:①数据管理精度低,提供以景/幅为单位,无法根据感兴趣区按需获取;②数据共享难,多个使用方对同一数据需要进行相同预处理操作,数据资源一次性使用;③带宽资源浪费,在一次数据传输中存在有大量的无效信息;④跨卫星体系的同类型卫星数据无法同层使用;⑤数据分析后信息无法直接还原的对应空间区域,需要另建数据库管理。
现有的影像数据格网切分在技术层面上更多地属于解决网格划分、空间索引、空间定位问题,对于解决海量遥感数据格网切分数据,如何建立统一、高效的管理模型,服务于当下海量数据检索与分析需求,并没有展开深入探讨。为此,我们提出的“分层分块结构”面向多级格网框架,除了继承三维经纬度坐标向一维编码转换、全球区域多层次同构化表达外,还具有空间跨度小、节省存储空间、区域覆盖精确和支持空间查询等优点,统一了影像数据的标准,解决了异构数据源数据兼容难题,在大规模数据背景下提供数据分析服务,实现不同维度,不同粒度的数据观察。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种高分辨率遥感数据格网精细化管理模型及其构建方法,如图1,保障了全球空间信息的全球关联性、多尺度性和属性描述的唯一性,支持了多源数据的快速查询和分析。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种高分辨率遥感数据格网精细化管理模型,包括:基于全球离散网格Google S2的遥感影像数据分块组织规范,切片数据的HBase三层存储模型和Kylin二级数据索引机制;其中:
基于全球离散网格Google S2的遥感影像数据分块组织规范,用于采用固定像素冗余切分策略切分遥感影像,设计遥感数据地理格网编码,在切分架构下根据地理位置信息检索出感兴趣区数据,并在获得的感兴趣区数据中定位到所需要的实体信息,实现全球遥感数据的快速获取;将同一地区不同来源的遥感影像数据分级约束到离散格网中,最终产生标准的、同构的影像格网矩阵数据;
切片数据的HBase三层存储模型,以GoogleS2格网为编码映射基础,根据不同等级将不同来源遥感数据在全球尺度上按块划分,以元数据标准为中介,作为数据分层标识,实现编码和分块、分层数据实体关联;实现多个栅格层存储同一时间下、同一地理区域、同一传感器的不同层级信息;
Kylin二级数据索引机制,用于重新组织不同维度数据间的线性关联,在HBase上进行二级索引构建,以满足遥感数据使用环境中复杂、多样的业务需求。
进一步地,本发明的该模型中的遥感影像数据分块组织规范,其具体为:
以GoogleS2格网中心点作为解构单元的中心的一维编码映射,以中心点分别向上、下、左、右四个方向读取256个像素,获取大小固定为512*512的像素矩阵;采用统一的uint16作为像素类型,在影像切分中,如果存在不足512*512像素的边缘块,则先补足再切分。
进一步地,本发明的该模型中512*512像素的切片所覆盖的范围满足以下条件:
512*512像素的切片所覆盖的经纬度范围大于格网所在级别的最大经纬度范围,其公式为:
Δλ_slice>Δλ_grid&&ΔΦ_slice>ΔΦ_grid
其中,λ_slice为切片经度,λ_grid为格网经度,Φ_slice为切片维度,Φ_slice为格网维度。
进一步地,本发明的该模型中采用的遥感数据地理格网编码包括全球影像格网索引码Geo_GridID和多源影像属性码RS_MetaID;其中:
全球影像格网索引码Geo_GridID,引用GoogleS2格网编码,采用uint64编码;
多源影像属性码RS_MetaID,包含以下影像属性信息:卫星源、传感器类型、分辨率,解决级别空间格网下影像信息的快速定位问题。
进一步地,本发明的该模型中采用的遥感数据地理格网编码,采用24字节编码,表示为“格网_卫星_传感器_分辨率_产品级别_拍摄时间戳_景号/产品号”。
进一步地,本发明的切片数据的HBase三层存储模型,采用“编码-属性-数据”三层存储结构存储到HBase库表列簇中;HBase库表列簇中,表中Rowkey定义为RS_GeoID编码,TimeStamp为影像入库时间戳,用于对影像入库、更新的控制;两组列族信息分别用于记录空间描述条件的Metadata Properties列族和记录图像波段_纹理信息的GEOimage Data列族。
进一步地,本发明的GEOimage Data列族,直接将带有地理信息的格网,作为数据存储文件,按像素组织方式,将该层下每个像元组成像元序列,每个像元存储相应的X、Y坐标和属性值。
进一步地,本发明的该模型中的Kylin二级数据索引机制的构建是在遥感分层切片数据库基础上,提取遥感影像元数据信息,包括且不限于卫星、传感器、分辨率、时间、网格的多个维度数据,每个维度又设计不同的维度粒度,以展示立方体对遥感切片数据进行上卷、钻取、切片、切块、旋转的支持。
本发明提供一种高分辨率遥感数据格网精细化管理模型的构建方法,包括以下步骤:
步骤1、基于Google S2全球离散格网的遥感数据切分规范,设计512*512固定像素的冗余切分,以GoogleS2格网中心点作为解构单元的中心的一维编码映射,以中心点分别向上、下、左、右四个方向读取256个像,获取大小固定为512*512的像素矩阵,实现遥感数据的格网化裁剪;
步骤2、设计遥感数据的地理格网编码,即为影像切片后在全球离散格网切分架构上的唯一编码,即RS_GeoID,包含全球影像格网索引码Geo_GridID和多源影像属性码RS_MetaID;每个切分面片在所在存储磁盘空间的键值由遥感数据地理格网编码映射;
步骤3、HBase数据库的三层存储模型设计,采用“编码-属性-数据”三层存储结构存储到HBase库表列簇中;HBase库表列簇中,表中Rowkey定义为RS_GeoID编码,TimeStamp为影像入库时间戳,用于对影像入库、更新的控制;两组列族信息分别用于记录空间描述条件的Metadata Properties列族和记录图像波段_纹理信息的GEOimage Data列族;
步骤4、在HBase数据库的基础上构建Kylin二级索引模型,在遥感分层切片数据库基础上,定义了包含卫星、传感器、分辨率、时间、网格的五维数据立方体,采用维度建模的方法实现数据仓库的抽象,通过维度视角对遥感数据考量值进行预计算,构建多维分析立方体。
进一步地,本发明的设计的遥感数据的地理格网编码,其编码原则为:
1)Geo_GridID:long型,8字节,取值为某级别切分面片中心点经纬度所对应的格网id;
2)卫星ID:byte型,1字节。根据我们设定的映射规范将GF1卫星标记为byte(1);
3)传感器ID:byte型,1字节。根据我们设定的映射规范将PMS传感器标记为byte(1);
4)分辨率ID:byte型,1字节,首位取0,表示低于1m分辨率,首位取1,表示高于1m分辨率;
5)产品级别ID:byte型,1字节,首位取0,表示影像数据Band层,首位取1,表示产品数据;
6)拍摄时间戳ID:long型,8字节,指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数。
7)景号/产品号ID:int型,4字节,表示源数据库中影像生产编码。
本发明产生的有益效果是:本发明的高分辨率遥感数据格网精细化管理模型及其构建方法,采用多源数据的格网空间约束,及数据统一规范化解构为多源遥感数据的交互、共享难题提供了新的思路;通过在三层存储方案下建立的分布式数据库,增强了数据的容纳能力;通过像素矩阵数据的多维立方体,支持多源数据的快速查询和分析。本发明利用地理空间格网、数据编码映射和信息多维分析的技术,对数据资源进行二次组织整理,统一了影像数据的标准,解决了异构数据源数据兼容难题,在大规模数据背景下提供数据分析服务,实现不同维度,不同粒度的数据观察。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明实施例的数据组织和管理示意图;
图2为本发明实施例的512*512固定像素切分示意图;
图3为本发明实施例的切分单元冗余数据示意图;
图4为本发明实施例的遥感数据地理格网编码结构图;
图5为本发明实施例的“编码-属性-数据”三层存储模型示意图;
图6为本发明实施例的Kylin二级索引;
图7为本发明实施例的立方体数据集结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例中,高分辨率遥感数据格网精细化管理模型,包括:基于全球离散网格Google S2的遥感影像数据分块组织规范,切片数据的HBase三层存储模型和Kylin二级数据索引机制;其中:
基于全球离散网格Google S2的遥感影像数据分块组织规范,用于采用固定像素冗余切分策略切分遥感影像,设计遥感数据地理格网编码,在切分架构下根据地理位置信息检索出感兴趣区数据,并在获得的感兴趣区数据中定位到所需要的实体信息,实现全球遥感数据的快速获取;将同一地区不同来源的遥感影像数据分级约束到离散格网中,最终产生标准的、同构的影像格网矩阵数据;
切片数据的HBase三层存储模型,以GoogleS2格网为编码映射基础,根据不同等级将不同来源遥感数据在全球尺度上按块划分,以元数据标准为中介,作为数据分层标识,实现编码和分块、分层数据实体关联;实现多个栅格层存储同一时间下、同一地理区域、同一传感器的不同层级信息;
Kylin二级数据索引机制,用于重新组织不同维度数据间的线性关联,在HBase上进行二级索引构建,以满足遥感数据使用环境中复杂、多样的业务需求。
本发明实施例的高分辨率遥感数据格网精细化管理模型的构建方法,包括以下步骤:
步骤1,基于Google S2全球离散格网的遥感数据切分规范。设计了512*512固定像素的冗余切分(图1),规避影像切片边界数据“缺失”现象。切片采用统一的uint16作为像素类型,在影像切分中,如果存在不足512×512像素的边缘块,则先补足再切分。
以GoogleS2格网中心点作为解构单元的中心的一维编码映射,以中心点分别向上、下、左、右四个方向读取256个像,获取大小固定为512*512的像素矩阵,如图2。
512*512像素的切片所覆盖的经纬度范围要大于格网所在级别的最大经纬度范围:即满足式(1):
△λ_slice>△λ_grid&&△Φ_slice>△Φ_grid (1)
式中,λ_slice为切片经度,λ_grid为格网经度,Φ_slice为切片维度,Φ_slice为格网维度。
求取GoogleS2每个级别的最大格网四角经纬度差,并得到该级别下格网最大角点经度差△λ_(grid.i)和最大角点纬度差△Φ_(grid.i)。当满足下列关系式时,获得影像切片等级S2level=[i,j]min。
Δλ_(grid.i)<Δλ_slice<Δλ_(grid.i+1)
ΔΦ_(grid.j)<ΔΦ_slice<ΔΦ_(grid.j+1)
根据上述流程,GoogleS2实现遥感数据的格网化裁剪,Google S2的多级格网与不同遥感影像的分辨率间的映射,如下表1所示。以GF1卫星PMS传感器为例,包含4个2m多光谱波段和1个8米全色波段,覆盖范围均为44km×43km,其中2m全色波段根据规则得到最匹配切分等级为14级别,一景影像被切分为3923块,而8m多光谱则被10级格网约束,切分为293块。
表1遥感影像分辨率与裁切级别对应表
步骤2,遥感数据的地理格网编码即为影像切片后在全球离散格网切分架构上的唯一编码,即RS_GeoID,包含全球影像格网索引码Geo_GridID和多源影像属性码RS_MetaID。
Geo_GridID引用GoogleS2格网编码,实现同一区域同一分辨率影像存储在不同切分面片,同一区域不同分辨率存储在上/下级切分面片中。
RS_MetaID包含卫星源、传感器类型、分辨率等影像属性编码,主要解决级别空间格网下影像信息的快速定位问题。
RS_GeoID采用24字节编码,表示为“格网_卫星_传感器_分辨率_产品级别_拍摄时间戳_景号/产品号”,如图3所示。根据RS_GeoID编码规则,对2018年1月12日上午12时获得的GF1的WFV1传感器的数据,影像产品号为25320,假设其中一块切分面片中心点经纬度所对应的12级Google S2切分面片的ID为3756900115348979712,则RS_GeoID=long(3756900115348979712)+byte(1)+byte(1)+byte(16)+byte(0)+long(1515731888000)+int(25320)
编码总采用的原则包括:
1)Geo_GridID:long型,8字节,取值为某级别切分面片中心点经纬度所对应的格网id;
2)卫星ID:byte型,1字节。根据我们设定的映射规范将GF1卫星标记为byte(1);
3)传感器ID:byte型,1字节。根据我们设定的映射规范将PMS传感器标记为byte(1);
4)分辨率ID:byte型,1字节,首位取0,表示低于1m分辨率,首位取1,表示高于1m分辨率;
5)产品级别ID:byte型,1字节,首位取0,表示影像数据Band层,首位取1,表示产品数据;
6)拍摄时间戳ID:long型,8字节,指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数。
7)景号/产品号ID:int型,4字节,表示源数据库中影像生产编码。
步骤3,HBase数据库的三层存储模型设计。“编码-属性-数据”三层存储模型如图4所示,设计影像数据的HBase存储库表结构。
表中Rowkey定义为RS_GeoID编码,TimeStamp为影像入库时间戳,用于对影像入库、更新的控制。两组列族信息分别用于记录空间描述条件的Metadata Properties列族和记录图像波段_纹理信息的GEOimage Data列族。用于记录空间描述条件的MetadataProperties中设定预先多个属性信息用于从多个维度描述空间信息,包括:属性名称包括遥感影像卫星生产ID(productID)、产品ID(sceneID)、影像源名称(FileName)、卫星来源(Satellite)、传感器来源(Sensor)、图像拍摄时间(centerTime)、波段名称(band name)、格网级别(grID level)、对应格网名称(GrIDID)、影像分辨率(ImageResolution)、影像云量(Cloud level)等描述信息。列族GEOimage Data以Layer为单位,将数据存放在列簇的各个列上。
表2层级数据存储结构
Geoimage Data采用T-Model组织形式,即在格网约束下的影像切分面片根据波段被分为若干层,每一层被分开存储在列族中的列簇中。
该组织模型直接将带有地理信息的格网,作为数据存储文件。图5中虚框为列簇检索入口,为某特定Band层下,特定区域的数据文件;虚框下方为解构单元数据的组织形式,分别为简化了分层的常规组织方式。解构单元数据组织方式则包括两种,简化分层的按像素组织和按多边形组织。该模型下的按像素组织方式,将该层下每个像元组成像元序列,每个像元存储相应的X、Y坐标和属性值。该模型下的按多边形组织方式,与常规的栅格数据按多边形组织方式相同,以格网内同一属性为记录序列,存储该属性下的X、Y坐标值,见图5中Band1分层格网组织方式。
步骤4,Kylin二级索引模型构建是在遥感分层切片数据库基础上,定义了包含卫星、传感器、分辨率、时间、网格的五维数据立方体。
数据立方体支持用户从多个角度、多个方向观察、分析立方体数据,从而对数据信息和内涵有个深入了解。从遥感应用角度抽取卫星、传感器、分辨率、时间、网格等维度建立维度表,采用维度建模的方法实现数据仓库的抽象,通过维度视角对遥感数据考量值进行预计算,构建多维分析立方体。下图6是基于遥感数据的一个五维数据立方体结构。表中设计时间、网格、云覆盖、卫星和分辨率五个维度的Cube。其中每个维度又设计不同的维度粒度,以展示立方体对遥感切片数据进行上卷、钻取、切片、切块、旋转等支持。
在对切片分层数据的立方体建模中,这五个数据集为:(1)时间数据集:包括年,月,日;(2)分辨率数据集:包括分辨率编码,分辨率值,分辨率等级;(3)卫星元数据集:包括卫星源编码,卫星名,相机名,传感器;(4)云覆盖度数据集,包括云覆盖度编码,云覆盖度百分值,云覆盖度等级;(5)空间数据集:包括格网ID,格网等级。事实表数据集则定义了对源数据属性描述,与上述各数据集之间通过外键连接,如图7。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种高分辨率遥感数据格网精细化管理模型,其特征在于,包括:基于全球离散网格Google S2的遥感影像数据分块组织规范,切片数据的HBase三层存储模型和Kylin二级数据索引机制;其中:
基于全球离散网格Google S2的遥感影像数据分块组织规范,采用固定像素冗余切分策略切分遥感影像,设计遥感数据地理格网编码,在切分架构下根据地理位置信息检索出感兴趣区数据,并在获得的感兴趣区数据中定位到所需要的实体信息,实现全球遥感数据的快速获取;将同一地区不同来源的遥感影像数据分级约束到离散格网中,最终产生标准的、同构的影像格网矩阵数据;
切片数据的HBase三层存储模型,以GoogleS2格网为编码映射基础,根据不同等级将不同来源遥感数据在全球尺度上按块划分,以元数据标准为中介,作为数据分层标识,实现编码和分块、分层数据实体关联;实现多个栅格层存储同一时间下、同一地理区域、同一传感器的不同层级信息;
Kylin二级数据索引机制,用于重新组织不同维度数据间的线性关联,在HBase上进行二级索引构建,以满足遥感数据使用环境中复杂、多样的业务需求。
2.根据权利要求1所述的高分辨率遥感数据格网精细化管理模型,其特征在于,该模型中的遥感影像数据分块组织规范,其具体为:
以GoogleS2格网中心点作为解构单元的中心的一维编码映射,以中心点分别向上、下、左、右四个方向读取256个像素,获取大小固定为512*512的像素矩阵;采用统一的uint16作为像素类型,在影像切分中,如果存在不足512*512像素的边缘块,则先补足再切分。
3.根据权利要求2所述的高分辨率遥感数据格网精细化管理模型,其特征在于,该模型中512*512像素的切片所覆盖的范围满足以下条件:
512*512像素的切片所覆盖的经纬度范围大于格网所在级别的最大经纬度范围,其公式为:
Δλ_slice>Δλ_grid&&ΔΦ_slice>ΔΦ_grid
其中,λ_slice为切片经度,λ_grid为格网经度,Φ_slice为切片维度,Φ_slice为格网维度。
4.根据权利要求1所述的高分辨率遥感数据格网精细化管理模型,其特征在于,该模型中采用的遥感数据地理格网编码包括全球影像格网索引码Geo_GridID和多源影像属性码RS_MetaID;其中:
全球影像格网索引码Geo_GridID,引用GoogleS2格网编码,采用uint64编码;
多源影像属性码RS_MetaID,包含以下影像属性信息:卫星源、传感器类型、分辨率,解决级别空间格网下影像信息的快速定位问题。
5.根据权利要求4所述的高分辨率遥感数据格网精细化管理模型,其特征在于,该模型中采用的遥感数据地理格网编码,采用24字节编码,表示为“格网_卫星_传感器_分辨率_产品级别_拍摄时间戳_景号/产品号”。
6.根据权利要求1所述的高分辨率遥感数据格网精细化管理模型,其特征在于,切片数据的HBase三层存储模型,采用“编码-属性-数据”三层存储结构存储到HBase库表列簇中;HBase库表列簇中,表中Rowkey定义为RS_GeoID编码,TimeStamp为影像入库时间戳,用于对影像入库、更新的控制;两组列族信息分别用于记录空间描述条件的Metadata Properties列族和记录图像波段_纹理信息的GEOimage Data列族。
7.根据权利要求6所述的高分辨率遥感数据格网精细化管理模型,其特征在于,GEOimage Data列族,直接将带有地理信息的格网,作为数据存储文件,按像素组织方式,将该层下每个像元组成像元序列,每个像元存储相应的X、Y坐标和属性值。
8.根据权利要求1所述的高分辨率遥感数据格网精细化管理模型,其特征在于,该模型中的Kylin二级数据索引机制的构建是在遥感分层切片数据库基础上,提取遥感影像元数据信息,包括且不限于卫星、传感器、分辨率、时间、网格的多个维度数据,每个维度又设计不同的维度粒度,以展示立方体对遥感切片数据进行上卷、钻取、切片、切块、旋转的支持。
9.一种高分辨率遥感数据格网精细化管理模型的构建方法,其特征在于,包括以下步骤:
步骤1、基于Google S2全球离散格网的遥感数据切分规范,设计512*512固定像素的冗余切分,以GoogleS2格网中心点作为解构单元的中心的一维编码映射,以中心点分别向上、下、左、右四个方向读取256个像,获取大小固定为512*512的像素矩阵,实现遥感数据的格网化裁剪;
步骤2、设计遥感数据的地理格网编码,即为影像切片后在全球离散格网切分架构上的唯一编码,即RS_GeoID,包含全球影像格网索引码Geo_GridID和多源影像属性码RS_MetaID;每个切分面片在所在存储磁盘空间的键值由遥感数据地理格网编码映射;
步骤3、HBase数据库的三层存储模型设计,采用“编码-属性-数据”三层存储结构存储到HBase库表列簇中;HBase库表列簇中,表中Rowkey定义为RS_GeoID编码,TimeStamp为影像入库时间戳,用于对影像入库、更新的控制;两组列族信息分别用于记录空间描述条件的Metadata Properties列族和记录图像波段_纹理信息的GEOimage Data列族;
步骤4、在HBase数据库的基础上构建Kylin二级索引模型,在遥感分层切片数据库基础上,定义了包含卫星、传感器、分辨率、时间、网格的五维数据立方体,采用维度建模的方法实现数据仓库的抽象,通过维度视角对遥感数据考量值进行预计算,构建多维分析立方体。
10.根据权利要求9所述的高分辨率遥感数据格网精细化管理模型的构建方法,其特征在于,设计的遥感数据的地理格网编码,其编码原则为:
1)Geo_GridID:long型,8字节,取值为某级别切分面片中心点经纬度所对应的格网id;
2)卫星ID:byte型,1字节;根据设定的映射规范将GF1卫星标记为byte(1);
3)传感器ID:byte型,1字节;根据设定的映射规范将PMS传感器标记为byte(1);
4)分辨率ID:byte型,1字节,首位取0,表示低于1m分辨率,首位取1,表示高于1m分辨率;
5)产品级别ID:byte型,1字节,首位取0,表示影像数据Band层,首位取1,表示产品数据;
6)拍摄时间戳ID:long型,8字节;
7)景号/产品号ID:int型,4字节,表示源数据库中影像生产编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911000624.2A CN110781325A (zh) | 2019-10-21 | 2019-10-21 | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911000624.2A CN110781325A (zh) | 2019-10-21 | 2019-10-21 | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110781325A true CN110781325A (zh) | 2020-02-11 |
Family
ID=69384325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911000624.2A Pending CN110781325A (zh) | 2019-10-21 | 2019-10-21 | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110781325A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460060A (zh) * | 2020-03-04 | 2020-07-28 | 华中科技大学 | 一种用户感兴趣区域遥感影像空间索引方法 |
CN111582102A (zh) * | 2020-04-28 | 2020-08-25 | 中国科学院空天信息创新研究院 | 一种遥感数据地物要素精细化分类方法及装置 |
CN112100130A (zh) * | 2020-09-09 | 2020-12-18 | 陕西师范大学 | 一种基于数据立方体模型的海量遥感变量多维聚合信息的计算方法 |
CN112148774A (zh) * | 2020-09-29 | 2020-12-29 | 华能新能源股份有限公司 | 一种高分辨率空间多区域气象数据处理系统及方法 |
CN112181980A (zh) * | 2020-09-16 | 2021-01-05 | 武汉大学 | 一种面向大规模分析的时空大数据立方体组织方法及系统 |
CN113064572A (zh) * | 2021-05-10 | 2021-07-02 | 国家基础地理信息中心 | 遥感影像数据的三维时空模拟方法和装置 |
CN113570560A (zh) * | 2021-07-15 | 2021-10-29 | 中国资源卫星应用中心 | 一种遥感影像几何模型错误的快速检测方法 |
CN113626550A (zh) * | 2021-08-05 | 2021-11-09 | 生态环境部卫星环境应用中心 | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 |
CN113722518A (zh) * | 2021-08-27 | 2021-11-30 | 中科星通(廊坊)信息技术有限公司 | 基于遥感影像元数据的存储方法、检索方法、设备及介质 |
CN114003755A (zh) * | 2021-10-25 | 2022-02-01 | 中国自然资源航空物探遥感中心 | 多源卫星分景影像数据组织存储与检索方法、系统及设备 |
CN114048279A (zh) * | 2021-11-23 | 2022-02-15 | 中科三清科技有限公司 | 生成预报信息的方法和装置 |
CN114079498A (zh) * | 2020-08-18 | 2022-02-22 | 西安艾可萨科技有限公司 | 一种时空网格化星载数据存储方法及其系统 |
CN116188997A (zh) * | 2023-04-24 | 2023-05-30 | 中铁城际规划建设有限公司 | 一种遥感影像元数据处理方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130332484A1 (en) * | 2012-06-06 | 2013-12-12 | Rackspace Us, Inc. | Data Management and Indexing Across a Distributed Database |
CN106599119A (zh) * | 2016-11-30 | 2017-04-26 | 广州极飞科技有限公司 | 一种影像数据的存储方法和装置 |
CN109783665A (zh) * | 2018-12-29 | 2019-05-21 | 武汉大学 | 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 |
-
2019
- 2019-10-21 CN CN201911000624.2A patent/CN110781325A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130332484A1 (en) * | 2012-06-06 | 2013-12-12 | Rackspace Us, Inc. | Data Management and Indexing Across a Distributed Database |
CN106599119A (zh) * | 2016-11-30 | 2017-04-26 | 广州极飞科技有限公司 | 一种影像数据的存储方法和装置 |
CN109783665A (zh) * | 2018-12-29 | 2019-05-21 | 武汉大学 | 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 |
Non-Patent Citations (1)
Title |
---|
眭冠男: "大数据环境下油气钻井信息分布式多维分析方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460060B (zh) * | 2020-03-04 | 2023-03-28 | 华中科技大学 | 一种用户感兴趣区域遥感影像空间索引方法 |
CN111460060A (zh) * | 2020-03-04 | 2020-07-28 | 华中科技大学 | 一种用户感兴趣区域遥感影像空间索引方法 |
CN111582102A (zh) * | 2020-04-28 | 2020-08-25 | 中国科学院空天信息创新研究院 | 一种遥感数据地物要素精细化分类方法及装置 |
CN111582102B (zh) * | 2020-04-28 | 2020-12-29 | 中国科学院空天信息创新研究院 | 基于多模态端到端网络的遥感数据精细化分类方法及装置 |
CN114079498A (zh) * | 2020-08-18 | 2022-02-22 | 西安艾可萨科技有限公司 | 一种时空网格化星载数据存储方法及其系统 |
CN112100130A (zh) * | 2020-09-09 | 2020-12-18 | 陕西师范大学 | 一种基于数据立方体模型的海量遥感变量多维聚合信息的计算方法 |
CN112100130B (zh) * | 2020-09-09 | 2022-08-16 | 陕西师范大学 | 一种基于数据立方体模型的海量遥感变量多维聚合信息的计算方法 |
CN112181980A (zh) * | 2020-09-16 | 2021-01-05 | 武汉大学 | 一种面向大规模分析的时空大数据立方体组织方法及系统 |
CN112181980B (zh) * | 2020-09-16 | 2024-02-02 | 武汉大学 | 一种面向大规模分析的时空大数据立方体组织方法及系统 |
CN112148774A (zh) * | 2020-09-29 | 2020-12-29 | 华能新能源股份有限公司 | 一种高分辨率空间多区域气象数据处理系统及方法 |
CN112148774B (zh) * | 2020-09-29 | 2023-08-11 | 华能新能源股份有限公司 | 一种高分辨率空间多区域气象数据处理系统及方法 |
CN113064572B (zh) * | 2021-05-10 | 2023-11-14 | 国家基础地理信息中心 | 遥感影像数据的三维时空模拟方法和装置 |
CN113064572A (zh) * | 2021-05-10 | 2021-07-02 | 国家基础地理信息中心 | 遥感影像数据的三维时空模拟方法和装置 |
CN113570560B (zh) * | 2021-07-15 | 2024-03-22 | 中国资源卫星应用中心 | 一种遥感影像几何模型错误的快速检测方法 |
CN113570560A (zh) * | 2021-07-15 | 2021-10-29 | 中国资源卫星应用中心 | 一种遥感影像几何模型错误的快速检测方法 |
CN113626550B (zh) * | 2021-08-05 | 2022-02-25 | 生态环境部卫星环境应用中心 | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 |
CN113626550A (zh) * | 2021-08-05 | 2021-11-09 | 生态环境部卫星环境应用中心 | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 |
CN113722518A (zh) * | 2021-08-27 | 2021-11-30 | 中科星通(廊坊)信息技术有限公司 | 基于遥感影像元数据的存储方法、检索方法、设备及介质 |
CN114003755A (zh) * | 2021-10-25 | 2022-02-01 | 中国自然资源航空物探遥感中心 | 多源卫星分景影像数据组织存储与检索方法、系统及设备 |
CN114048279B (zh) * | 2021-11-23 | 2022-06-17 | 中科三清科技有限公司 | 生成预报信息的方法和装置 |
CN114048279A (zh) * | 2021-11-23 | 2022-02-15 | 中科三清科技有限公司 | 生成预报信息的方法和装置 |
CN116188997A (zh) * | 2023-04-24 | 2023-05-30 | 中铁城际规划建设有限公司 | 一种遥感影像元数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781325A (zh) | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 | |
CN109992636B (zh) | 时空编码方法、时空索引及查询方法及装置 | |
US11874855B2 (en) | Parallel data access method and system for massive remote-sensing images | |
US7177882B2 (en) | Georaster physical data model for storing georeferenced raster data | |
CN111291016B (zh) | 一种海量遥感影像数据分层混合存储与索引方法 | |
CN109635068A (zh) | 云计算环境下的海量遥感数据高效组织及快速检索方法 | |
Vo et al. | Airborne laser scanning data storage and indexing: state-of-the-art review | |
CN110659369B (zh) | 在轨高精度轻量化全球影像控制点数据库构建方法及系统 | |
CN114820975B (zh) | 基于全要素参数符号化的三维场景仿真重构系统及方法 | |
CN111125392A (zh) | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 | |
CN116860905B (zh) | 一种城市信息模型的空间单元编码生成方法 | |
Baumann et al. | Putting pixels in place: A storage layout language for scientific data | |
Li et al. | Method for managing and querying geo-spatial data using a grid-code-array spatial index | |
CN116775661A (zh) | 基于北斗网格技术的空间大数据存储与管理方法 | |
CN113742505B (zh) | 一种海量合成孔径雷达干涉测量(InSAR)数据在线可视化方法 | |
Xu et al. | Spatial-feature data cube for spatiotemporal remote sensing data processing and analysis | |
Liu et al. | A remote sensing data management system for sea area usage management in China | |
Alvanaki et al. | GIS navigation boosted by column stores | |
Yang et al. | A Blocky and Layered Management Schema for Remote Sensing Data | |
Schön et al. | Storage, manipulation, and visualization of LiDAR data | |
Albrecht et al. | PAIRS (re) loaded: system design & benchmarking for scalable geospatial applications | |
CN114461826B (zh) | 一种基于改进的z曲线编码的切片检索方法及系统 | |
Wu et al. | a Management of Remote Sensing Big Data Base on Standard Metadata File and Database Management System | |
Xu et al. | GeoMapViz: a framework for distributed management and geospatial data visualization based on massive spatiotemporal data streams | |
CN104809217B (zh) | 一种gis栅格数据云存储方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |