CN110909186B - 高光谱遥感数据存储、检索方法及系统、存储介质及终端 - Google Patents
高光谱遥感数据存储、检索方法及系统、存储介质及终端 Download PDFInfo
- Publication number
- CN110909186B CN110909186B CN201811428913.8A CN201811428913A CN110909186B CN 110909186 B CN110909186 B CN 110909186B CN 201811428913 A CN201811428913 A CN 201811428913A CN 110909186 B CN110909186 B CN 110909186B
- Authority
- CN
- China
- Prior art keywords
- data
- remote sensing
- hyperspectral remote
- rowkey
- sensing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013500 data storage Methods 0.000 title claims abstract description 43
- 230000003595 spectral effect Effects 0.000 claims abstract description 73
- 238000001228 spectrum Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种高光谱遥感数据存储、检索方法及系统、存储介质及终端,包括以下步骤:将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。本发明的高光谱遥感数据存储、检索方法及系统、存储介质及终端基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求。
Description
技术领域
本发明涉及数据管理的技术领域,特别是涉及一种高光谱遥感数据存储、检索方法及系统、存储介质及终端。
背景技术
ElasticSearch是一个建立在全文搜索引擎Apache Lucene(TM)基础上的搜索引擎,可以进行分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索;是一个实时分析的分布式搜索引擎,可以扩展到上百台服务器上,处理PB级别的结构化或非结构化数据,实现对海量数据进行近实时的检索。但是,ElasticSearch不支持存储大量的数据。
Hbase是一个分布式的、面向列的开源数据库,适合于非结构化数据存储,且当数据量越来越大时,采用HBase数据库只需要增加服务器即可。HBase会自动水平切分扩展。但是,Hbase仅支持按Rowkey查询,不支持条件查询,数据的检索效率不高。
遥感影像是指记录各种地物电磁波大小的胶片或照片,主要分为航空像片和卫星相片。光谱分辨率指遥感器接受目标辐射时能分辨的最小波长间隔。间隔越小,分辨率越高。所选用的波段数量的多少、各波段的波长位置、及波长间隔的大小,这三个因素共同决定光谱分辨率。光谱分辨率越高,专题研究的针对性越强,对物体的识别精度越高,遥感应用分析的效果也就越好。但是,面对大量多波段信息以及它所提供的这些微小的差异,人们要直接地将它们与地物特征联系起来,综合解译是比较困难的,而多波段的数据分析,可以改善识别和提取信息特征的概率和精度。
高光谱分辨率遥感是用很窄而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级,通常具有波段多的特点,光谱通道数多达数十甚至数百个以上,而且各光谱通道间往往是连续的,因此高光谱遥感又通常被称为成像光谱遥感。高光谱分辨率遥感在电磁波谱的可见光、近红外、中红外和热红外波段范围内,获取许多非常窄的光谱连续的影像数据的技术,其成像光谱仪可以收集到上百个非常窄的光谱波段信息。
现有技术中,高光谱遥感数据的存储和检索较为繁琐,不便于用户操作,且不支持遥感数据的来源追溯。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种高光谱遥感数据存储、检索方法及系统、存储介质及终端,基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求。
为实现上述目的及其他相关目的,本发明提供一种高光谱遥感数据存储方法,包括以下步骤:将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
于本发明一实施例中,在所述ElasticSearch中构建metainfo表,将所述元数据存储至所述metainfo表中。
对应地,本发明提供一种高光谱遥感数据存储系统,包括第一存储模块、第二存储模块和标识模块;
所述第一存储模块用于将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述第二存储模块用于将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
所述标识模块用于通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
对应地,本发明提供一种高光谱遥感数据检索方法,所述高光谱遥感数据根据上述的高光谱遥感数据存储方法进行存储;所述高光谱遥感数据检索方法包括以下步骤:
获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
根据所述查询条件生成Rowkey前缀;
基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
对应地,本发明提供一种高光谱遥感数据检索系统,所述高光谱遥感数据根据上述的高光谱遥感数据存储系统进行存储;所述高光谱遥感数据检索系统包括第一获取模块、生成模块、第二获取模块和第三获取模块;
所述第一获取模块用于获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
所述生成模块用于根据所述查询条件生成Rowkey前缀;
所述第二获取模块用于基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
所述第三获取模块用于根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
本发明提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的高光谱遥感数据存储方法或上述的高光谱遥感数据检索方法。
本发明提供一种终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行上述的高光谱遥感数据存储方法。
本发明提供一种终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行上述的高光谱遥感数据检索方法。
本发明提供一种高光谱遥感数据存储系统,包括ElasticSearch、Hbase数据库和上述用于高光谱遥感数据存储的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
最后,本发明提供一种高光谱遥感数据检索系统,包括ElasticSearch、Hbase数据库和上述用于高光谱遥感数据检索的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
如上所述,本发明所述的高光谱遥感数据存储、检索方法及系统、存储介质及终端,具有以下有益效果:
(1)基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求;
(2)支持任何条件组合的数据检索,通过Rowkey与ElasticSearch索引结合的方式,使得数据查询更高效;
(3)支持对高光谱遥感数据的来源进行追溯,方便用户在查看光谱数据的同时查看该光谱数据的区域坐标、数据帧数、数据来源等信息。
附图说明
图1显示为本发明的高光谱遥感数据存储方法于一实施例中的流程图;
图2显示为本发明的高光谱遥感数据于一实施例中的组成结构示意图;
图3显示为本发明的高光谱遥感数据存储系统于一实施例中的结构示意图;
图4显示为本发明的高光谱遥感数据检索方法于一实施例中的流程图;
图5显示为本发明的高光谱遥感数据检索系统于一实施例中的结构示意图;
图6显示为本发明的终端于第一实施例中的结构示意图;
图7显示为本发明的终端于第二实施例中的结构示意图;
图8显示为本发明的高光谱遥感数据存储系统于另一实施例中的结构示意图;
图9显示为本发明的高光谱遥感数据检索系统于另一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明的高光谱遥感数据存储、检索方法及系统、存储介质及终端基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,便于光谱数据的追溯,从而满足不同用户对数据存储和检索的需求。
如图1和图2所示,于一实施例中,本发明的高光谱遥感数据存储方法包括以下步骤:
步骤S11、将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息。
具体地,将高光谱遥感数据的元数据作为索引信息存储至ElasticSearch中,从而便于充分利用ElasticSearch的实时检索功能。
具体地,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息,从而详细地描述了光谱数据的特征,以便于快速定位要检索的光谱数据以及后续的光谱数据的溯源。
于本发明一实施例中,在所述ElasticSearch中构建metainfo表,将所述元数据存储至所述metainfo表中。具体地,在所述ElasticSearch中新建metainfo表,用于存储高光谱遥感数据的元数据。所述数据序号表示数据数目,即一条metainfo记录包含的一组光谱数据的个数。
步骤S12、将所述高光谱遥感数据的光谱数据存储至Hbase数据库中。
具体地,基于Hbase数据库的自动水平切分扩展功能,将所述高光谱遥感数据的光谱数据存储至Hbase数据库中。具体地,所述Hbase数据库中的每一行对应一个光谱数据。
步骤S13、通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
具体地,每一行的光谱数据由Rowkey进行标识,从而能够基于Rowkey实现Hbase数据中的光谱数据检索。具体地,所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。其中高光谱载荷ID表示获取遥感数据的载荷ID;数据级别表示当前遥感数据的级别及地物特征分类;观测任务号表示当前遥感数据所属的观测任务的编号;数据帧号表示每次拍摄任务得到的多个光谱数据的序号。由于每一行光谱数据可由Rowkey唯一标识,故可基于Rowkey前缀查询具有相同特点的一组光谱数据。同时,每个光谱数据的一列表示一个像素点中包含的160个光谱谱段信息。在数据存储时,在Rowkey前缀上加上光谱数据的数据帧号即可形成光谱数据唯一的Rowkey。
如图3所示,于一实施例中,本发明的高光谱遥感数据存储系统包括第一存储模块31、第二存储模块32和标识模块33。
所述第一存储模块31用于将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述第二存储模块32用于将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
所述标识模块33用于通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
需要说明的是,上述第一存储模块31、第二存储模块32和标识模块33的结构和原理与前述高光谱遥感数据存储方法中的步骤一一对应,故在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现,也可以全部以硬件的形式实现,还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如:x模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现。此外,x模块也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),一个或多个微处理器(Digital Singnal Processor,简称DSP),一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起,以片上系统(System-on-a-chip,简称SOC)的形式实现。
如图4所示,于一实施例中,本发明提的高光谱遥感数据检索方法中,所述高光谱遥感数据根据上述的高光谱遥感数据存储方法进行存储;所述高光谱遥感数据检索方法包括以下步骤:
步骤S41、获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围。
具体地,当用户需要检索所述高光谱遥感数据时,首先输入光谱数据的查询条件。所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围。
步骤S42、根据所述查询条件生成Rowkey前缀。
具体地,根据Rowkey生成规则,基于所述查询条件生成Rowkey前缀。
步骤S43、基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表。
具体地,根据所述Rowkey前缀在ElasticSearch中的metainfo表中查找具有相同Rowkey前缀的一组光谱数据;再根据所述区域坐标范围计算出要检索的一组光谱数据对应的Rowkey列表。
步骤S44、根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
具体地,在所述Hbase数据库中,根据所述Rowkey列表查找对应的光谱数据,从而完成光谱数据的减速。因此,本发明通过Rowkey将索引信息和光谱数据关联起来,实现了快速、精准地检索。
如图5所示,于一实施例中,本发明的高光谱遥感数据检索系统中所述高光谱遥感数据根据上述的高光谱遥感数据存储系统进行存储;所述高光谱遥感数据检索系统包括第一获取模块51、生成模块52、第二获取模块53和第三获取模块54。
所述第一获取模块51用于获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
所述生成模块52与所述第一获取模块51相连,用于根据所述查询条件生成Rowkey前缀;
所述第二获取模块53与所述第一获取模块51和所述生成模块52相连,用于基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
所述第三获取模块54与所述第二获取模块53相连,用于根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
需要说明的是,上述第一获取模块51、生成模块52、第二获取模块53和第三获取模块54的结构和原理与前述高光谱遥感数据检索方法的步骤一一对应,故在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现,也可以全部以硬件的形式实现,还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如:x模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现。此外,x模块也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),一个或多个微处理器(Digital Singnal Processor,简称DSP),一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起,以片上系统(System-on-a-chip,简称SOC)的形式实现。
本发明的存储介质其上存储有计算机程序,该程序被处理器执行时实现上述的高光谱遥感数据存储方法或上述的高光谱遥感数据检索方法。优选地,所述存储介质包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图6所示,于第一实施例中,本发明的终端包括:处理器61及存储器62。
所述存储器62用于存储计算机程序。
所述存储器62包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器61与所述存储器62相连,用于执行所述存储器62存储的计算机程序,以使所述终端执行上述的高光谱遥感数据存储方法。
优选地,所述处理器61可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图7所示,于第二实施例中,本发明的终端包括:处理器71及存储器72。
所述存储器72用于存储计算机程序。
所述存储器72包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器71与所述存储器72相连,用于执行所述存储器62存储的计算机程序,以使所述终端执行上述的高光谱遥感数据检索方法。
优选地,所述处理器71可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图8所示,于一实施例中,本发明的高光谱遥感数据存储系统包括ElasticSearch81、Hbase数据库82和上述用于高光谱遥感数据存储的终端83。
所述ElasticSearch81与所述终端83相连,用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库82与所述终端83相连,用于存储所述高光谱遥感数据的光谱数据。
如图9所示,于一实施例中,本发明的高光谱遥感数据检索系统包括ElasticSearch91、Hbase数据库92和上述用于高光谱遥感数据检索的终端93。
所述ElasticSearch91与所述终端93相连,用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库92与所述终端93相连,用于存储所述高光谱遥感数据的光谱数据。
综上所述,本发明的高光谱遥感数据存储、检索方法及系统、存储介质及终端基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求;支持任何条件组合的数据检索,通过Rowkey与ElasticSearch索引结合的方式,使得数据查询更高效;支持对高光谱遥感数据的来源进行追溯,方便用户在查看光谱数据的同时查看该光谱数据的区域坐标、数据帧数、数据来源等信息。因此,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种高光谱遥感数据存储方法,其特征在于,包括以下步骤:
将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号;
基于Rowkey前缀查询具有相同特点的一组光谱数据;每个光谱数据的一列表示一个像素点中包含的160个光谱谱段信息;
数据存储时,在Rowkey前缀上加上光谱数据的数据帧号即可形成光谱数据唯一的Rowkey。
2.根据权利要求1所述的高光谱遥感数据存储方法,其特征在于,在所述ElasticSearch中构建metainfo表,将所述元数据存储至所述metainfo表中。
3.一种高光谱遥感数据存储系统,其特征在于,包括第一存储模块、第二存储模块和标识模块;
所述第一存储模块用于将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述第二存储模块用于将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
所述标识模块用于通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号;
基于Rowkey前缀查询具有相同特点的一组光谱数据;每个光谱数据的一列表示一个像素点中包含的160个光谱谱段信息;
数据存储时,在Rowkey前缀上加上光谱数据的数据帧号即可形成光谱数据唯一的Rowkey。
4.一种高光谱遥感数据检索方法,其特征在于,所述高光谱遥感数据根据权利要求1或2所述的高光谱遥感数据存储方法进行存储;所述高光谱遥感数据检索方法包括以下步骤:
获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
根据所述查询条件生成Rowkey前缀;
基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
5.一种高光谱遥感数据检索系统,其特征在于,所述高光谱遥感数据根据权利要求3所述的高光谱遥感数据存储系统进行存储;所述高光谱遥感数据检索系统包括第一获取模块、生成模块、第二获取模块和第三获取模块;
所述第一获取模块用于获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
所述生成模块用于根据所述查询条件生成Rowkey前缀;
所述第二获取模块用于基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
所述第三获取模块用于根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
6.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至2中任一项所述的高光谱遥感数据存储方法或权利要求4所述的高光谱遥感数据检索方法。
7.一种终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行权利要求1至2中任一项所述的高光谱遥感数据存储方法。
8.一种终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行权利要求4所述的高光谱遥感数据检索方法。
9.一种高光谱遥感数据存储系统,其特征在于,包括ElasticSearch、Hbase数据库和权利要求7所述的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
10.一种高光谱遥感数据检索系统,其特征在于,包括ElasticSearch、Hbase数据库和权利要求8所述的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018110712320 | 2018-09-14 | ||
CN201811071232 | 2018-09-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110909186A CN110909186A (zh) | 2020-03-24 |
CN110909186B true CN110909186B (zh) | 2023-08-22 |
Family
ID=69814360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811428913.8A Active CN110909186B (zh) | 2018-09-14 | 2018-11-27 | 高光谱遥感数据存储、检索方法及系统、存储介质及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110909186B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417199B (zh) * | 2020-12-03 | 2024-07-26 | 深圳前海微众银行股份有限公司 | 遥感影像的检索方法、装置、系统及存储介质 |
CN112967067A (zh) * | 2021-02-08 | 2021-06-15 | 中科谱光(郑州)应用科学技术研究院有限公司 | 一种食品安全光谱码的生成和验证的方法、装置和系统 |
CN116303628B (zh) * | 2023-05-25 | 2023-09-22 | 南京中孚信息技术有限公司 | 基于Elasticsearch的告警数据查询方法、系统及设备 |
CN116881308A (zh) * | 2023-07-31 | 2023-10-13 | 北京和德宇航技术有限公司 | 一种卫星遥测数据的显示方法、装置、设备及存储介质 |
CN118779360A (zh) * | 2024-07-11 | 2024-10-15 | 自然资源部国土卫星遥感应用中心 | 一种地物光谱数据多维度检索方法、设备、介质及产品 |
CN118820281B (zh) * | 2024-09-19 | 2024-12-31 | 之江实验室 | 光谱数据库查询模型构建方法以及光谱数据库查询方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1776453A (zh) * | 2005-12-05 | 2006-05-24 | 牛铮 | 星载成像光谱仪遥感影像的模拟技术 |
WO2013129988A2 (en) * | 2012-02-29 | 2013-09-06 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for storage of data records |
CN107515952A (zh) * | 2017-09-21 | 2017-12-26 | 北京星闪世图科技有限公司 | 点云数据存储、并行计算和实时检索的方法及其系统 |
CN108319665A (zh) * | 2018-01-18 | 2018-07-24 | 努比亚技术有限公司 | Hbase列值查找方法、终端及存储介质 |
CN108509437A (zh) * | 2017-02-24 | 2018-09-07 | 南京烽火星空通信发展有限公司 | 一种ElasticSearch查询加速方法 |
-
2018
- 2018-11-27 CN CN201811428913.8A patent/CN110909186B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1776453A (zh) * | 2005-12-05 | 2006-05-24 | 牛铮 | 星载成像光谱仪遥感影像的模拟技术 |
WO2013129988A2 (en) * | 2012-02-29 | 2013-09-06 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for storage of data records |
CN104145472A (zh) * | 2012-02-29 | 2014-11-12 | 瑞典爱立信有限公司 | 存储数据记录的方法和装置 |
CN108509437A (zh) * | 2017-02-24 | 2018-09-07 | 南京烽火星空通信发展有限公司 | 一种ElasticSearch查询加速方法 |
CN107515952A (zh) * | 2017-09-21 | 2017-12-26 | 北京星闪世图科技有限公司 | 点云数据存储、并行计算和实时检索的方法及其系统 |
CN108319665A (zh) * | 2018-01-18 | 2018-07-24 | 努比亚技术有限公司 | Hbase列值查找方法、终端及存储介质 |
Non-Patent Citations (1)
Title |
---|
满旺 ; 张杰林 ; 曹代勇 ; .基于Oracle的高光谱数据管理平台设计与应用.世界核地质科学.2007,(04),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110909186A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110909186B (zh) | 高光谱遥感数据存储、检索方法及系统、存储介质及终端 | |
Molinari et al. | Source extraction and photometry for the far-infrared and sub-millimeter continuum in the presence of complex backgrounds | |
JP6740457B2 (ja) | 商標画像のコンテンツ・ベースの検索及び取得 | |
CN113536019B (zh) | 一种图像检索方法、装置及计算机可读存储介质 | |
CN109657081B (zh) | 高光谱卫星遥感数据的分布式处理方法、系统及介质 | |
US20150055879A1 (en) | Method, Server and System for Setting Background Image | |
US9349152B2 (en) | Image identifiers and methods and systems of presenting image identifiers | |
US8467613B2 (en) | Automatic retrieval of object interaction relationships | |
CN109918594B (zh) | 一种信息显示方法及装置 | |
CN104321802A (zh) | 图像分析装置、图像分析系统、图像分析方法 | |
WO2018171412A1 (zh) | 一种行人检索方法及装置 | |
Ran et al. | Hyperspectral image classification for mapping agricultural tillage practices | |
CN112508720A (zh) | 保险客户身份属性的筛选方法、筛选装置及电子设备 | |
KR20130038547A (ko) | 관심영역 설정을 이용한 이미지 이중 검색 시스템 | |
US20220012277A1 (en) | Image based target analysis | |
Zhang et al. | A comparison of histogram distance metrics for content-based image retrieval | |
CN103198115B (zh) | 一种目标地物数据处理装置 | |
Chu et al. | A news picture geo-localization pipeline based on deep learning and street view images | |
Ghasemi et al. | LCAV-31: a dataset for light field object recognition | |
Fierro-Radilla et al. | Dominant color correlogram descriptor for content-based image retrieval | |
Qi et al. | A 3D-CNN based video hashing method | |
Dravyakar et al. | Private content based multimedia information retrieval using map-reduce | |
Yao et al. | Photometric redshift estimation of quasars with fused features from photometric data and images | |
TW201712579A (zh) | 資料分析方法與裝置 | |
Xia et al. | Quantitative analysis on lossy compression in remote sensing image classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |