CN109783665A - 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 - Google Patents
基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 Download PDFInfo
- Publication number
- CN109783665A CN109783665A CN201811639288.1A CN201811639288A CN109783665A CN 109783665 A CN109783665 A CN 109783665A CN 201811639288 A CN201811639288 A CN 201811639288A CN 109783665 A CN109783665 A CN 109783665A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- grid
- storage model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013461 design Methods 0.000 title claims abstract description 18
- 238000013500 data storage Methods 0.000 title claims abstract description 17
- 238000003860 storage Methods 0.000 claims abstract description 32
- 238000007726 management method Methods 0.000 claims abstract description 17
- 230000010354 integration Effects 0.000 claims abstract description 3
- 238000005520 cutting process Methods 0.000 claims description 10
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 2
- 239000012634 fragment Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，包括：通过Google S2算法实现遥感数据的格网化裁剪，用于将大范围整幅遥感影像进行分区、分片及地面空间离散化，方便影像数据的存储管理；Hbase数据库的表存储模型的建立，实现了对分区遥感影像在多个维度的属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合。本发明充分考虑了不同种类遥感影像数据的特点，实现了遥感大数据的高效存储，满足了用户不同应用场景下的需求，并有效地兼顾了系统的可扩展性和数据均衡。
Description
技术领域
本发明涉及数据库管理技术领域，尤其涉及一种基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法。
背景技术
遥感数据具有海量、多源、异构、分布式存储的特点，遥感数据的存储管理方式主要包括数据库管理方式、基于文件的管理方式以及基于文件和数据库的混合管理方式三种。国内外遥感影像存储管理系统的开发不断涌现，例如武汉大学研制的多分辨率无缝影像数据库系统Geo-ImageDB，采用文件管理方式来存储管理多尺度遥感影像数据；加拿大遥感图像中心(CCRS)建立的遥感影像数据库，利用数据库存储卫星图像的相关元数据信息，卫星图像则利用文件系统来管理。传统的基于文件管理和文件与关系数据库混合的遥感影像数据库管理方式中遥感影像都是以文件形式存在，不利于影像数据的管理、分发，且系统的安全性很低。
同时，获取遥感影像的途径各异，遥感影像的数据格式也是各式各样，多数基于数据库的遥感影像管理系统都没有一个统一的标准存储各类数据，其格式、种类、数目各异，这无疑加大了系统开发成本和建设周期。
面对海量数据的发展，遥感数据的管理精细化管理变得尤为重要，传统的元数据+图像文件形式的数据管理方式在海量数据面前变得越来越无法适用。其凸显出的问题包括：数据提供方式过于单一，数据管理精度不够；同一数据，多个使用方需要进行相同预处理操作，且无法有效共享；在一次数据传输中存在有大量的无效信息，浪费带宽资源；跨卫星体系的同类型卫星数据无法同层使用；数据分析后信息无法直接还原的对应空间区域，需要另建数据库管理。
因此，现在亟须一种利用Hbase分布式数据库系统，通过在对影像的分片、分层处理影像数据资源化，实现多源多格式遥感数据的精细化组织管理。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，该方法包括以下步骤：
遥感影像数据的格网化裁剪：
获取遥感影像，通过Google S2算法裁剪遥感影像；依据遥感影像的分辨率选取对应的格网级别，划定遥感影像的覆盖范围，计算影像覆盖范围内所覆盖的格网，根据网格裁剪遥感影像原图得到影像块，并对影像块进行序列化转化；
Hbase数据库表存储模型的建立：
创建Hbase表，不同卫星的遥感影像对应一张Hbase表，将卫星及其对应的传感器名称作为Hbase表名；建立包含RowKey的表存储模型，根据影像块属性计算对应的RowKey；通过对分区遥感影像在多个维度的属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合，将序列化后的影像块按照对应的Rowkey存储到Hbase数据库中。
进一步地，本发明的该方法中对遥感影像进行格网化裁剪的方法具体为：
格网化裁剪包括Google S2的多级格网与不同遥感影像的分辨率间的映射：当遥感影像分辨率为60米时，Google S2对应的裁切格网级别为9级；当遥感影像分辨率为30米时，Google S2对应的裁切格网级别为10级；当遥感影像分辨率范围为20-10米时，GoogleS2对应的裁切格网级别为11级；当遥感影像分辨率范围为8-5米时，Google S2对应的裁切格网级别为12级；当遥感影像分辨率范围为4-3.5米时，Google S2对应的裁切格网级别为13级；当遥感影像分辨率范围为2.5-2米时，Google S2对应的裁切格网级别为14级；当遥感影像分辨率为1米时，Google S2对应的裁切格网级别为15级。
进一步地，本发明的该方法中的裁剪遥感影像的覆盖范围为：
裁切影像范围为Google S2菱形格网的最大外接矩形，大于Google S2裁切的菱形格网范围，切分后的遥感影像将完整填充Google S2菱形格网空间，保证像素对格网的饱和填充，实现了对遥感大范围影像的空间离散化。
进一步地，本发明的该方法中Hbase数据库的表存储模型具体包括：1个RowKey、1个Time Stamp和2个Columns Family。
进一步地，本发明的该方法中的RowKey用于唯一标识一行记录，实现数据的快速定位和表达。
进一步地，本发明的该方法中的RowKey共由24个字节构成，其中前8个字节用于表述Google S2格网的ID，long 8字节；然后4个字节分别表达卫星id，short 2字节及传感器id，short 2字节；继续8个字节为遥感影像拍摄时间戳，long 8字节；最后剩余4字节用于记录影像唯一ID，int 4字节，RowKey通过将上述属性编译为不同的字节组成，从而实现对多源空间分块影像数据的唯一表达。
进一步地，本发明的该方法中的2个Columns Family包括Query Conditions和GEOimage information列族，并通过自由地控制列族中的Column属性信息量来实现对不同遥感数据信息的统一管理和多源空间分块影像数据的唯一表达。
进一步地，本发明的该方法中2个Columns Family中，两组列族信息分别用于记录空间描述条件的Query Conditions列族和记录图像波段及纹理信息的GEOimageinformation列族。
进一步地，本发明的该方法中的Query Conditions列族的属性包括以下描述信息：遥感影像卫星生产ID、产品ID、影像源名称、影像源描述xml名称、来源卫星、来源传感器、图像拍摄时间、波段名称、格网级别、对应格网名称、影像分辨率、影像云量，用于从多个维度描述空间信息。
进一步地，本发明的该方法中的GEOimage information列族的属性包括用于描述影像描述还原信息的影像头信息属性字段；影像本体信息以分波段形式记录在不同的数据属性字段中，每个波段使用独立的属性字段进行存储；记录影像属性字段的数量将根据影像数据属性的不同而调整。
本发明产生的有益效果是：本发明的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，结合了遥感影像数据的格网化裁剪和Hbase数据库表存储模型的建立的方法，充分考虑了不同种类遥感影像数据的特点，实现了遥感大数据的高效存储，满足了用户不同应用场景下的需求，并有效地兼顾了系统的可扩展性和数据均衡。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例的Google S2裁切流程图；
图2为本发明实施例的数据库表结构示意图；
图3为本发明实施例的RowKey结构图；
图4为本发明实施例的的方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例的基于Google S2实现Hbase数据库遥感大数据入库模型设计方法，适用于所用以空间描述信息+多层波段矩阵形式组成的影像结构，是一种通用的遥感影像数据存储管理方法，具体内容包括：遥感数据的格网化裁剪和Hbase数据库表存储模型的建立；
遥感数据的格网化裁剪，用于将大范围整幅遥感影像进行分区、分片及地面空间离散化，方便影像数据的存储管理；
Hbase数据库表存储模型，用于对分区遥感影像在多个维度进行属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合。
Hbase数据库表存储模型包含1个RowKey、1个Time Stamp和2个Columns Family。
RowKey包括Google S2格网的ID(long 8字节)、卫星id(short 2字节)、传感器id(short 2字节)、遥感影像拍摄时间戳(long 8字节Long.Max_Value-timestamp)、记录影像唯一ID(int 4字节)，一共24字节。
Columns Family包括存储遥感影像空间信息属性的Query Conditions列族和记录图像波段和纹理信息的GEOimage information列族。
Query Conditions列族包括遥感影像卫星生产ID(productID)、产品ID(sceneID)、影像源名称(FileName)、影像源描述xml名称(XmlName)、来源卫星(Satellite)、来源传感器(Sensor)、图像拍摄时间(centerTime)、波段名称(band name)、格网级别(grid level)、对应格网名称(GridID)、影像分辨率(ImageResolution)、影像云量(Cloud level)等信息。
GEOimage information列族包括用于描述影像描述还原信息的影像头信息(header information)属性字段，以及根据影像实际情况调整的影像属性字段。
图4是本发明的方法流程示意图，举例说明如下：
将影像输入数据库中；
对入库后的影像，进行Google S2的多级格网与不同遥感影像的分辨率间的映射，根据影像分辨率选取对应的Google S2格网级别；
根据格网级别及影像范围获取影像范围内所覆盖的格网，求取格网的最大外接矩形，使用外接矩形的目的是为了防止格网接缝处出现数据丢失，方便数据在后期存储、还原、拼接和分析计算；
依据上述结果，采用Google S2实现遥感数据的格网化裁剪，目的是将空间不确定性控制在一定范围内，形成规则多边形，每个多边形均称为格网单元，从而构成分级、分层次的多级格网体系，实现地面空间离散化，并赋予统一编码；
对裁剪和分片后的影像数据，赋予对应的Google S2格网编号；
裁剪和分片后的影像进行序列化转化，即对数据分割切片后，将其解构为符合Hbase存储的结构单元；
对裁剪和分片后的影像数据依据所包含的信息分为两个类别，分别是空间描述信息类和影像结构信息类；
空间描述信息类中存放有包括遥感影像卫星生产ID(productID)、产品ID(sceneID)、影像源名称(FileName)、影像源描述xml名称(XmlName)、来源卫星(Satellite)、来源传感器(Sensor)、图像拍摄时间(centerTime)、波段名称(band name)、格网级别(grid level)、对应格网名称(GridID)、影像分辨率(ImageResolution)、影像云量(Cloud level)等描述信息，且不限于上述描述类别，这些信息属性从不同角度描述所对应的影像数据，方便用户从不同维度查询数据信息；
影像结构信息类中主要包含了影像数据的基本还原信息，包括影像数据的长、宽、位深、来源名称、仿射变换参数、空间投影信息、分波段设置等遥感影像本体信息和相关参数，由于在遥感数据计算时并未使用全部波段数据进行计算，因此在存储影像数据波段矩阵时将不同波段层的数据存储在不同的属性列中，并用唯一的属性标识进行标注，这种设计可以方便用户在使用数据库时直接获取所需波段信息，实现数据资源的最有价值推送；
正是在上述思想的要求下，对于Hbase数据库表结构的设计采用的双列族的模式，列族Query Conditions用于记录空间描述信息类中的相关信息，列族GEOimageinformation用于记录影像结构信息类中的相关信息；
在数据进入Hbase数据库前需要对数据进行唯一编号，以方便对数据进行索引，也就是需要根据数据来源等信息建立HBase一行记录的唯一标识rowkey，rowkey规范化结构为：每个rowkey由24个byte组成，其中8个字节代表S2格网ID、8个字节代表影像的拍摄时间信息((Long.Max_Value-timestamp)、2个字节代表卫星id、2个字节代表传感器id(short 2字节)和4个字节代表影像在本系列产品中的唯一编号；
将序列化后的影像数据按照对应的RowKey存储到Hbase数据库中，利用上述rowkey结构可以实现在对分块影像数据的唯一索引，同时可以有效控制Hbase的分区规范，保证Hbase数据库后期优化的可控性。
将分块数据解构并与唯一Rowkey对应后，将数据存储到Hbase数据库中完成本次数据的存储管理任务。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法包括以下步骤：
遥感影像数据的格网化裁剪：
获取遥感影像，通过Google S2算法裁剪遥感影像；依据遥感影像的分辨率选取对应的格网级别，划定遥感影像的覆盖范围，计算影像覆盖范围内所覆盖的格网，根据网格裁剪遥感影像原图得到影像块，并对影像块进行序列化转化；
Hbase数据库表存储模型的建立：
创建Hbase表，不同卫星的遥感影像对应一张Hbase表，将卫星及其对应的传感器名称作为Hbase表名；建立包含RowKey的表存储模型，根据影像块属性计算对应的RowKey；通过对分区遥感影像在多个维度的属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合，将序列化后的影像块按照对应的Rowkey存储到Hbase数据库中。
2.根据权利要求1所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中对遥感影像进行格网化裁剪的方法具体为：
格网化裁剪包括Google S2的多级格网与不同遥感影像的分辨率间的映射：当遥感影像分辨率为60米时，Google S2对应的裁切格网级别为9级；当遥感影像分辨率为30米时，Google S2对应的裁切格网级别为10级；当遥感影像分辨率范围为20-10米时，Google S2对应的裁切格网级别为11级；当遥感影像分辨率范围为8-5米时，Google S2对应的裁切格网级别为12级；当遥感影像分辨率范围为4-3.5米时，Google S2对应的裁切格网级别为13级；当遥感影像分辨率范围为2.5-2米时，Google S2对应的裁切格网级别为14级；当遥感影像分辨率为1米时，Google S2对应的裁切格网级别为15级。
3.根据权利要求1所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中的裁剪遥感影像的覆盖范围为：
裁切影像范围为Google S2菱形格网的最大外接矩形，大于Google S2裁切的菱形格网范围，切分后的遥感影像将完整填充Google S2菱形格网空间，保证像素对格网的饱和填充，实现了对遥感大范围影像的空间离散化。
4.根据权利要求1所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中Hbase数据库的表存储模型具体包括：1个RowKey、1个TimeStamp和2个Columns Family。
5.根据权利要求4所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中的RowKey用于唯一标识一行记录，实现数据的快速定位和表达。
6.根据权利要求5所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中的RowKey共由24个字节构成，其中前8个字节用于表述GoogleS2格网的ID，long 8字节；然后4个字节分别表达卫星id，short 2字节及传感器id，short 2字节；继续8个字节为遥感影像拍摄时间戳，long 8字节；最后剩余4字节用于记录影像唯一ID，int 4字节，RowKey通过将上述属性编译为不同的字节组成，从而实现对多源空间分块影像数据的唯一表达。
7.根据权利要求4所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中的2个Columns Family包括Query Conditions和GEOimageinformation列族，并通过自由地控制列族中的Column属性信息量来实现对不同遥感数据信息的统一管理和多源空间分块影像数据的唯一表达。
8.根据权利要求7所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中2个Columns Family中，两组列族信息分别用于记录空间描述条件的Query Conditions列族和记录图像波段及纹理信息的GEOimage information列族。
9.根据权利要求8所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中的Query Conditions列族的属性包括以下描述信息：遥感影像卫星生产ID、产品ID、影像源名称、影像源描述xml名称、来源卫星、来源传感器、图像拍摄时间、波段名称、格网级别、对应格网名称、影像分辨率、影像云量，用于从多个维度描述空间信息。
10.根据权利要求8所述的基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中的GEOimage information列族的属性包括用于描述影像描述还原信息的影像头信息属性字段；影像本体信息以分波段形式记录在不同的数据属性字段中，每个波段使用独立的属性字段进行存储；记录影像属性字段的数量将根据影像数据属性的不同而调整。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811639288.1A CN109783665B (zh) | 2018-12-29 | 2018-12-29 | 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 |
| US16/729,244 US11194827B2 (en) | 2018-12-29 | 2019-12-27 | Method of storing remote sensing big data in Hbase database |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811639288.1A CN109783665B (zh) | 2018-12-29 | 2018-12-29 | 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109783665A true CN109783665A (zh) | 2019-05-21 |
| CN109783665B CN109783665B (zh) | 2022-10-14 |
Family
ID=66499097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811639288.1A Active CN109783665B (zh) | 2018-12-29 | 2018-12-29 | 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11194827B2 (zh) |
| CN (1) | CN109783665B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781325A (zh) * | 2019-10-21 | 2020-02-11 | 武汉大学 | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 |
| CN111427983A (zh) * | 2020-03-23 | 2020-07-17 | 携程旅游信息技术（上海）有限公司 | 基于地理信息检索的服务方法、系统、设备及存储介质 |
| CN111460060A (zh) * | 2020-03-04 | 2020-07-28 | 华中科技大学 | 一种用户感兴趣区域遥感影像空间索引方法 |
| CN112783895A (zh) * | 2021-01-11 | 2021-05-11 | 中国科学院软件研究所 | 面向软件定义卫星的数据库访问处理方法、装置及设备 |
| CN113946575A (zh) * | 2021-09-13 | 2022-01-18 | 中国电子科技集团公司第十五研究所 | 时空轨迹数据处理方法、装置、电子设备及存储介质 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110442444B (zh) * | 2019-06-18 | 2021-12-10 | 中国科学院计算机网络信息中心 | 一种面向海量遥感影像的并行数据访问方法与系统 |
| CN114079496A (zh) * | 2020-08-18 | 2022-02-22 | 西安艾可萨科技有限公司 | 一种时空网格化星载数据交互方法及其装置 |
| CN114079498A (zh) * | 2020-08-18 | 2022-02-22 | 西安艾可萨科技有限公司 | 一种时空网格化星载数据存储方法及其系统 |
| CN112181980B (zh) * | 2020-09-16 | 2024-02-02 | 武汉大学 | 一种面向大规模分析的时空大数据立方体组织方法及系统 |
| CN112561832B (zh) * | 2020-12-24 | 2023-12-01 | 山东省国土测绘院 | 一种遥感影像数据存储方法及系统 |
| CN112994780B (zh) * | 2021-02-24 | 2021-09-14 | 重庆市地理信息和遥感应用中心 | 多源卫星影像数据接收实时监控与信息推送方法 |
| CN113220807A (zh) * | 2021-04-01 | 2021-08-06 | 辽宁工程技术大学 | 一种遥感数据自动化发布与在线流程监控方法 |
| CN113094527B (zh) * | 2021-04-25 | 2022-09-27 | 华中师范大学 | 广义云控制时空谱大数据库及遥感影像处理方法 |
| CN113032604B (zh) * | 2021-05-28 | 2021-09-17 | 航天宏图信息技术股份有限公司 | 一种遥感影像处理方法、装置、电子设备及存储介质 |
| CN113486005B (zh) * | 2021-06-09 | 2024-04-19 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
| CN113407518B (zh) * | 2021-06-30 | 2024-02-23 | 中国银行股份有限公司 | Hbase数据库的Rowkey设计方法及装置 |
| CN113641765B (zh) * | 2021-10-13 | 2022-02-18 | 浙江大学 | 面向巨量多源遥感数据的统一逻辑模型组织方法及其装置 |
| CN114338718B (zh) * | 2021-12-21 | 2022-09-20 | 浙江大学 | 面向巨量遥感数据的分布式存储方法、装置及介质 |
| CN115080774B (zh) * | 2022-07-20 | 2022-11-04 | 北京数慧时空信息技术有限公司 | 基于可用域的遥感影像入库系统及方法 |
| CN116644202A (zh) * | 2023-06-06 | 2023-08-25 | 北京捷泰云际信息技术有限公司 | 大数据量遥感影像数据的存储方法和装置 |
| CN117171380B (zh) * | 2023-11-02 | 2024-01-23 | 北京观微科技有限公司 | 遥感影像确定方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103281376A (zh) * | 2013-05-31 | 2013-09-04 | 武汉大学 | 一种云环境下海量时序遥感影像的自动缓存构建方法 |
| CN103455624A (zh) * | 2013-09-16 | 2013-12-18 | 湖北文理学院 | 一种轻量级全球多维遥感影像网络地图服务实现方法 |
| CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
| ES2604807A2 (es) * | 2015-07-29 | 2017-03-09 | Neptune S.R.L. | Método y sistema para buscar fugas de agua a través de análisis de imágenes generadas mediante sistemas de detección remota |
| CN106909644A (zh) * | 2017-02-21 | 2017-06-30 | 中国科学院电子学研究所 | 一种面向海量遥感影像的多级组织和索引方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013106842A2 (en) * | 2012-01-13 | 2013-07-18 | The Charles Stark Draper Laboratory, Inc. | Stem cell bioinformatics |
| US9741150B2 (en) * | 2013-07-25 | 2017-08-22 | Duelight Llc | Systems and methods for displaying representative images |
| US11164038B2 (en) * | 2018-08-16 | 2021-11-02 | Uber Technologies, Inc. | Imagery evidence matching system |
-
2018
- 2018-12-29 CN CN201811639288.1A patent/CN109783665B/zh active Active
-
2019
- 2019-12-27 US US16/729,244 patent/US11194827B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103281376A (zh) * | 2013-05-31 | 2013-09-04 | 武汉大学 | 一种云环境下海量时序遥感影像的自动缓存构建方法 |
| CN103455624A (zh) * | 2013-09-16 | 2013-12-18 | 湖北文理学院 | 一种轻量级全球多维遥感影像网络地图服务实现方法 |
| CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
| ES2604807A2 (es) * | 2015-07-29 | 2017-03-09 | Neptune S.R.L. | Método y sistema para buscar fugas de agua a través de análisis de imágenes generadas mediante sistemas de detección remota |
| CN106909644A (zh) * | 2017-02-21 | 2017-06-30 | 中国科学院电子学研究所 | 一种面向海量遥感影像的多级组织和索引方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李继园: ""集成遥感信息的SOLAP多维聚集与分析模型"", 《中国博士学位论文全文数据库（电子期刊）基础科学辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781325A (zh) * | 2019-10-21 | 2020-02-11 | 武汉大学 | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 |
| CN111460060A (zh) * | 2020-03-04 | 2020-07-28 | 华中科技大学 | 一种用户感兴趣区域遥感影像空间索引方法 |
| CN111460060B (zh) * | 2020-03-04 | 2023-03-28 | 华中科技大学 | 一种用户感兴趣区域遥感影像空间索引方法 |
| CN111427983A (zh) * | 2020-03-23 | 2020-07-17 | 携程旅游信息技术（上海）有限公司 | 基于地理信息检索的服务方法、系统、设备及存储介质 |
| CN112783895A (zh) * | 2021-01-11 | 2021-05-11 | 中国科学院软件研究所 | 面向软件定义卫星的数据库访问处理方法、装置及设备 |
| CN112783895B (zh) * | 2021-01-11 | 2023-11-10 | 中国科学院软件研究所 | 面向软件定义卫星的数据库访问处理方法、装置及设备 |
| CN113946575A (zh) * | 2021-09-13 | 2022-01-18 | 中国电子科技集团公司第十五研究所 | 时空轨迹数据处理方法、装置、电子设备及存储介质 |
| CN113946575B (zh) * | 2021-09-13 | 2022-10-14 | 中国电子科技集团公司第十五研究所 | 时空轨迹数据处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11194827B2 (en) | 2021-12-07 |
| CN109783665B (zh) | 2022-10-14 |
| US20200210421A1 (en) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783665A (zh) | 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 | |
| CN101339570B (zh) | 一种高效的海量遥感数据分布式组织管理方法 | |
| US8458188B2 (en) | Voxel approach to terrain repositories for modeling and simulation | |
| CN111052105B (zh) | 可缩放的空间-时间密度数据融合 | |
| CN106909644A (zh) | 一种面向海量遥感影像的多级组织和索引方法 | |
| CN105045820A (zh) | 一种处理海量级数据的视频图像信息的方法及数据库系统 | |
| CN108804602A (zh) | 一种基于spark的分布式空间数据存储计算方法 | |
| CN110781325A (zh) | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 | |
| DE202009019138U1 (de) | Architekturen zur Erstellung und Darstellung von zeitabhängigen Bildern | |
| US20120191723A1 (en) | Query system for a hybrid voxel and feature database | |
| CN115758522A (zh) | 一种数字孪生城市管理系统及方法 | |
| CN109829021A (zh) | 一种地图展示方法及装置 | |
| CN106372256A (zh) | 一种面向海量Argo数据的分布式存储方法 | |
| CN110209714A (zh) | 报表生成方法、装置、计算机设备及计算机可读存储介质 | |
| CN112113544A (zh) | 一种基于无人机影像的遥感数据处理方法及系统 | |
| CN111914041B (zh) | 一种电网地图矢量数据提供方法 | |
| CN104301354B (zh) | 一种基于云计算的空间类业务数据gis化服务的实现方法和系统 | |
| Zeng et al. | Design and implementation of a web interactive thematic cartography method based on a web service chain | |
| Liu et al. | Study on disaster information management system compatible with VGI and crowdsourcing | |
| KR101293770B1 (ko) | 자료 표출 시스템 및 자료 표출 방법 | |
| Weng et al. | Efficient visualization techniques for high resolution remotely sensed data in a network environment | |
| CN111815495B (zh) | 基于混合现实的cim平台决策方法、系统、设备及存储介质 | |
| Zhao et al. | Research on the way of Sharing Geographic Information Data in Disaster Management | |
| Wang et al. | Design and Application of GIS Software Platform Integrating with DSS Oriented to E-Government | |
| Agosto et al. | Ithaca worldwide flood alert system: the web framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |