CN110909186B - 高光谱遥感数据存储、检索方法及系统、存储介质及终端 - Google Patents

高光谱遥感数据存储、检索方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN110909186B
CN110909186B CN201811428913.8A CN201811428913A CN110909186B CN 110909186 B CN110909186 B CN 110909186B CN 201811428913 A CN201811428913 A CN 201811428913A CN 110909186 B CN110909186 B CN 110909186B
Authority
CN
China
Prior art keywords
data
remote sensing
hyperspectral remote
rowkey
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811428913.8A
Other languages
English (en)
Other versions
CN110909186A (zh
Inventor
王茂华
黄永健
顾倩荣
戴橙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Advanced Research Institute of CAS
Original Assignee
Shanghai Advanced Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Advanced Research Institute of CAS filed Critical Shanghai Advanced Research Institute of CAS
Publication of CN110909186A publication Critical patent/CN110909186A/zh
Application granted granted Critical
Publication of CN110909186B publication Critical patent/CN110909186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供一种高光谱遥感数据存储、检索方法及系统、存储介质及终端,包括以下步骤:将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。本发明的高光谱遥感数据存储、检索方法及系统、存储介质及终端基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求。

Description

高光谱遥感数据存储、检索方法及系统、存储介质及终端
技术领域
本发明涉及数据管理的技术领域,特别是涉及一种高光谱遥感数据存储、检索方法及系统、存储介质及终端。
背景技术
ElasticSearch是一个建立在全文搜索引擎Apache Lucene(TM)基础上的搜索引擎,可以进行分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索;是一个实时分析的分布式搜索引擎,可以扩展到上百台服务器上,处理PB级别的结构化或非结构化数据,实现对海量数据进行近实时的检索。但是,ElasticSearch不支持存储大量的数据。
Hbase是一个分布式的、面向列的开源数据库,适合于非结构化数据存储,且当数据量越来越大时,采用HBase数据库只需要增加服务器即可。HBase会自动水平切分扩展。但是,Hbase仅支持按Rowkey查询,不支持条件查询,数据的检索效率不高。
遥感影像是指记录各种地物电磁波大小的胶片或照片,主要分为航空像片和卫星相片。光谱分辨率指遥感器接受目标辐射时能分辨的最小波长间隔。间隔越小,分辨率越高。所选用的波段数量的多少、各波段的波长位置、及波长间隔的大小,这三个因素共同决定光谱分辨率。光谱分辨率越高,专题研究的针对性越强,对物体的识别精度越高,遥感应用分析的效果也就越好。但是,面对大量多波段信息以及它所提供的这些微小的差异,人们要直接地将它们与地物特征联系起来,综合解译是比较困难的,而多波段的数据分析,可以改善识别和提取信息特征的概率和精度。
高光谱分辨率遥感是用很窄而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级,通常具有波段多的特点,光谱通道数多达数十甚至数百个以上,而且各光谱通道间往往是连续的,因此高光谱遥感又通常被称为成像光谱遥感。高光谱分辨率遥感在电磁波谱的可见光、近红外、中红外和热红外波段范围内,获取许多非常窄的光谱连续的影像数据的技术,其成像光谱仪可以收集到上百个非常窄的光谱波段信息。
现有技术中,高光谱遥感数据的存储和检索较为繁琐,不便于用户操作,且不支持遥感数据的来源追溯。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种高光谱遥感数据存储、检索方法及系统、存储介质及终端,基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求。
为实现上述目的及其他相关目的,本发明提供一种高光谱遥感数据存储方法,包括以下步骤:将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
于本发明一实施例中,在所述ElasticSearch中构建metainfo表,将所述元数据存储至所述metainfo表中。
对应地,本发明提供一种高光谱遥感数据存储系统,包括第一存储模块、第二存储模块和标识模块;
所述第一存储模块用于将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述第二存储模块用于将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
所述标识模块用于通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
对应地,本发明提供一种高光谱遥感数据检索方法,所述高光谱遥感数据根据上述的高光谱遥感数据存储方法进行存储;所述高光谱遥感数据检索方法包括以下步骤:
获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
根据所述查询条件生成Rowkey前缀;
基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
对应地,本发明提供一种高光谱遥感数据检索系统,所述高光谱遥感数据根据上述的高光谱遥感数据存储系统进行存储;所述高光谱遥感数据检索系统包括第一获取模块、生成模块、第二获取模块和第三获取模块;
所述第一获取模块用于获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
所述生成模块用于根据所述查询条件生成Rowkey前缀;
所述第二获取模块用于基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
所述第三获取模块用于根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
本发明提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的高光谱遥感数据存储方法或上述的高光谱遥感数据检索方法。
本发明提供一种终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行上述的高光谱遥感数据存储方法。
本发明提供一种终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行上述的高光谱遥感数据检索方法。
本发明提供一种高光谱遥感数据存储系统,包括ElasticSearch、Hbase数据库和上述用于高光谱遥感数据存储的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
最后,本发明提供一种高光谱遥感数据检索系统,包括ElasticSearch、Hbase数据库和上述用于高光谱遥感数据检索的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
如上所述,本发明所述的高光谱遥感数据存储、检索方法及系统、存储介质及终端,具有以下有益效果:
(1)基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求;
(2)支持任何条件组合的数据检索,通过Rowkey与ElasticSearch索引结合的方式,使得数据查询更高效;
(3)支持对高光谱遥感数据的来源进行追溯,方便用户在查看光谱数据的同时查看该光谱数据的区域坐标、数据帧数、数据来源等信息。
附图说明
图1显示为本发明的高光谱遥感数据存储方法于一实施例中的流程图;
图2显示为本发明的高光谱遥感数据于一实施例中的组成结构示意图;
图3显示为本发明的高光谱遥感数据存储系统于一实施例中的结构示意图;
图4显示为本发明的高光谱遥感数据检索方法于一实施例中的流程图;
图5显示为本发明的高光谱遥感数据检索系统于一实施例中的结构示意图;
图6显示为本发明的终端于第一实施例中的结构示意图;
图7显示为本发明的终端于第二实施例中的结构示意图;
图8显示为本发明的高光谱遥感数据存储系统于另一实施例中的结构示意图;
图9显示为本发明的高光谱遥感数据检索系统于另一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明的高光谱遥感数据存储、检索方法及系统、存储介质及终端基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,便于光谱数据的追溯,从而满足不同用户对数据存储和检索的需求。
如图1和图2所示,于一实施例中,本发明的高光谱遥感数据存储方法包括以下步骤:
步骤S11、将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息。
具体地,将高光谱遥感数据的元数据作为索引信息存储至ElasticSearch中,从而便于充分利用ElasticSearch的实时检索功能。
具体地,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息,从而详细地描述了光谱数据的特征,以便于快速定位要检索的光谱数据以及后续的光谱数据的溯源。
于本发明一实施例中,在所述ElasticSearch中构建metainfo表,将所述元数据存储至所述metainfo表中。具体地,在所述ElasticSearch中新建metainfo表,用于存储高光谱遥感数据的元数据。所述数据序号表示数据数目,即一条metainfo记录包含的一组光谱数据的个数。
步骤S12、将所述高光谱遥感数据的光谱数据存储至Hbase数据库中。
具体地,基于Hbase数据库的自动水平切分扩展功能,将所述高光谱遥感数据的光谱数据存储至Hbase数据库中。具体地,所述Hbase数据库中的每一行对应一个光谱数据。
步骤S13、通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
具体地,每一行的光谱数据由Rowkey进行标识,从而能够基于Rowkey实现Hbase数据中的光谱数据检索。具体地,所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。其中高光谱载荷ID表示获取遥感数据的载荷ID;数据级别表示当前遥感数据的级别及地物特征分类;观测任务号表示当前遥感数据所属的观测任务的编号;数据帧号表示每次拍摄任务得到的多个光谱数据的序号。由于每一行光谱数据可由Rowkey唯一标识,故可基于Rowkey前缀查询具有相同特点的一组光谱数据。同时,每个光谱数据的一列表示一个像素点中包含的160个光谱谱段信息。在数据存储时,在Rowkey前缀上加上光谱数据的数据帧号即可形成光谱数据唯一的Rowkey。
如图3所示,于一实施例中,本发明的高光谱遥感数据存储系统包括第一存储模块31、第二存储模块32和标识模块33。
所述第一存储模块31用于将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述第二存储模块32用于将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
所述标识模块33用于通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号。
需要说明的是,上述第一存储模块31、第二存储模块32和标识模块33的结构和原理与前述高光谱遥感数据存储方法中的步骤一一对应,故在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现,也可以全部以硬件的形式实现,还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如:x模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现。此外,x模块也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),一个或多个微处理器(Digital Singnal Processor,简称DSP),一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起,以片上系统(System-on-a-chip,简称SOC)的形式实现。
如图4所示,于一实施例中,本发明提的高光谱遥感数据检索方法中,所述高光谱遥感数据根据上述的高光谱遥感数据存储方法进行存储;所述高光谱遥感数据检索方法包括以下步骤:
步骤S41、获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围。
具体地,当用户需要检索所述高光谱遥感数据时,首先输入光谱数据的查询条件。所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围。
步骤S42、根据所述查询条件生成Rowkey前缀。
具体地,根据Rowkey生成规则,基于所述查询条件生成Rowkey前缀。
步骤S43、基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表。
具体地,根据所述Rowkey前缀在ElasticSearch中的metainfo表中查找具有相同Rowkey前缀的一组光谱数据;再根据所述区域坐标范围计算出要检索的一组光谱数据对应的Rowkey列表。
步骤S44、根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
具体地,在所述Hbase数据库中,根据所述Rowkey列表查找对应的光谱数据,从而完成光谱数据的减速。因此,本发明通过Rowkey将索引信息和光谱数据关联起来,实现了快速、精准地检索。
如图5所示,于一实施例中,本发明的高光谱遥感数据检索系统中所述高光谱遥感数据根据上述的高光谱遥感数据存储系统进行存储;所述高光谱遥感数据检索系统包括第一获取模块51、生成模块52、第二获取模块53和第三获取模块54。
所述第一获取模块51用于获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
所述生成模块52与所述第一获取模块51相连,用于根据所述查询条件生成Rowkey前缀;
所述第二获取模块53与所述第一获取模块51和所述生成模块52相连,用于基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
所述第三获取模块54与所述第二获取模块53相连,用于根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
需要说明的是,上述第一获取模块51、生成模块52、第二获取模块53和第三获取模块54的结构和原理与前述高光谱遥感数据检索方法的步骤一一对应,故在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现,也可以全部以硬件的形式实现,还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如:x模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现。此外,x模块也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),一个或多个微处理器(Digital Singnal Processor,简称DSP),一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起,以片上系统(System-on-a-chip,简称SOC)的形式实现。
本发明的存储介质其上存储有计算机程序,该程序被处理器执行时实现上述的高光谱遥感数据存储方法或上述的高光谱遥感数据检索方法。优选地,所述存储介质包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图6所示,于第一实施例中,本发明的终端包括:处理器61及存储器62。
所述存储器62用于存储计算机程序。
所述存储器62包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器61与所述存储器62相连,用于执行所述存储器62存储的计算机程序,以使所述终端执行上述的高光谱遥感数据存储方法。
优选地,所述处理器61可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图7所示,于第二实施例中,本发明的终端包括:处理器71及存储器72。
所述存储器72用于存储计算机程序。
所述存储器72包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器71与所述存储器72相连,用于执行所述存储器62存储的计算机程序,以使所述终端执行上述的高光谱遥感数据检索方法。
优选地,所述处理器71可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图8所示,于一实施例中,本发明的高光谱遥感数据存储系统包括ElasticSearch81、Hbase数据库82和上述用于高光谱遥感数据存储的终端83。
所述ElasticSearch81与所述终端83相连,用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库82与所述终端83相连,用于存储所述高光谱遥感数据的光谱数据。
如图9所示,于一实施例中,本发明的高光谱遥感数据检索系统包括ElasticSearch91、Hbase数据库92和上述用于高光谱遥感数据检索的终端93。
所述ElasticSearch91与所述终端93相连,用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库92与所述终端93相连,用于存储所述高光谱遥感数据的光谱数据。
综上所述,本发明的高光谱遥感数据存储、检索方法及系统、存储介质及终端基于ElasticSearch、Hbase数据库和高光谱遥感数据的特征,进行高光谱遥感数据存储和检索,极大地提高了数据应用效率,满足不同用户对数据存储和检索的需求;支持任何条件组合的数据检索,通过Rowkey与ElasticSearch索引结合的方式,使得数据查询更高效;支持对高光谱遥感数据的来源进行追溯,方便用户在查看光谱数据的同时查看该光谱数据的区域坐标、数据帧数、数据来源等信息。因此,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种高光谱遥感数据存储方法,其特征在于,包括以下步骤:
将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号;
基于Rowkey前缀查询具有相同特点的一组光谱数据;每个光谱数据的一列表示一个像素点中包含的160个光谱谱段信息;
数据存储时,在Rowkey前缀上加上光谱数据的数据帧号即可形成光谱数据唯一的Rowkey。
2.根据权利要求1所述的高光谱遥感数据存储方法,其特征在于,在所述ElasticSearch中构建metainfo表,将所述元数据存储至所述metainfo表中。
3.一种高光谱遥感数据存储系统,其特征在于,包括第一存储模块、第二存储模块和标识模块;
所述第一存储模块用于将高光谱遥感数据的元数据存储至ElasticSearch;所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述第二存储模块用于将所述高光谱遥感数据的光谱数据存储至Hbase数据库中;
所述标识模块用于通过Rowkey唯一标识一个光谱数据;所述Rowkey包括Rowkey前缀和数据帧号;所述Rowkey前缀包括高光谱载荷ID、数据级别和观测任务号;
基于Rowkey前缀查询具有相同特点的一组光谱数据;每个光谱数据的一列表示一个像素点中包含的160个光谱谱段信息;
数据存储时,在Rowkey前缀上加上光谱数据的数据帧号即可形成光谱数据唯一的Rowkey。
4.一种高光谱遥感数据检索方法,其特征在于,所述高光谱遥感数据根据权利要求1或2所述的高光谱遥感数据存储方法进行存储;所述高光谱遥感数据检索方法包括以下步骤:
获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
根据所述查询条件生成Rowkey前缀;
基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
5.一种高光谱遥感数据检索系统,其特征在于,所述高光谱遥感数据根据权利要求3所述的高光谱遥感数据存储系统进行存储;所述高光谱遥感数据检索系统包括第一获取模块、生成模块、第二获取模块和第三获取模块;
所述第一获取模块用于获取光谱数据的查询条件,所述查询条件包括高光谱载荷ID、数据级别、时间范围和区域坐标范围;
所述生成模块用于根据所述查询条件生成Rowkey前缀;
所述第二获取模块用于基于所述Rowkey前缀和所述区域坐标范围在ElasticSearch中获取所要检索的光谱数据对应的Rowkey列表;
所述第三获取模块用于根据所述Rowkey列表在Hbase数据库中获取对应的光谱数据。
6.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至2中任一项所述的高光谱遥感数据存储方法或权利要求4所述的高光谱遥感数据检索方法。
7.一种终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行权利要求1至2中任一项所述的高光谱遥感数据存储方法。
8.一种终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行权利要求4所述的高光谱遥感数据检索方法。
9.一种高光谱遥感数据存储系统,其特征在于,包括ElasticSearch、Hbase数据库和权利要求7所述的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
10.一种高光谱遥感数据检索系统,其特征在于,包括ElasticSearch、Hbase数据库和权利要求8所述的终端;
所述ElasticSearch用于高光谱遥感数据的元数据,所述元数据包括光谱数据的数据来源、数据获取时间、数据级别、数据序号、数据区域坐标、载荷信息和任务信息;
所述Hbase数据库用于存储所述高光谱遥感数据的光谱数据。
CN201811428913.8A 2018-09-14 2018-11-27 高光谱遥感数据存储、检索方法及系统、存储介质及终端 Active CN110909186B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811071232 2018-09-14
CN2018110712320 2018-09-14

Publications (2)

Publication Number Publication Date
CN110909186A CN110909186A (zh) 2020-03-24
CN110909186B true CN110909186B (zh) 2023-08-22

Family

ID=69814360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811428913.8A Active CN110909186B (zh) 2018-09-14 2018-11-27 高光谱遥感数据存储、检索方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN110909186B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417199B (zh) * 2020-12-03 2024-07-26 深圳前海微众银行股份有限公司 遥感影像的检索方法、装置、系统及存储介质
CN112967067A (zh) * 2021-02-08 2021-06-15 中科谱光(郑州)应用科学技术研究院有限公司 一种食品安全光谱码的生成和验证的方法、装置和系统
CN116303628B (zh) * 2023-05-25 2023-09-22 南京中孚信息技术有限公司 基于Elasticsearch的告警数据查询方法、系统及设备
CN116881308A (zh) * 2023-07-31 2023-10-13 北京和德宇航技术有限公司 一种卫星遥测数据的显示方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1776453A (zh) * 2005-12-05 2006-05-24 牛铮 星载成像光谱仪遥感影像的模拟技术
WO2013129988A2 (en) * 2012-02-29 2013-09-06 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for storage of data records
CN107515952A (zh) * 2017-09-21 2017-12-26 北京星闪世图科技有限公司 点云数据存储、并行计算和实时检索的方法及其系统
CN108319665A (zh) * 2018-01-18 2018-07-24 努比亚技术有限公司 Hbase列值查找方法、终端及存储介质
CN108509437A (zh) * 2017-02-24 2018-09-07 南京烽火星空通信发展有限公司 一种ElasticSearch查询加速方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1776453A (zh) * 2005-12-05 2006-05-24 牛铮 星载成像光谱仪遥感影像的模拟技术
WO2013129988A2 (en) * 2012-02-29 2013-09-06 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for storage of data records
CN104145472A (zh) * 2012-02-29 2014-11-12 瑞典爱立信有限公司 存储数据记录的方法和装置
CN108509437A (zh) * 2017-02-24 2018-09-07 南京烽火星空通信发展有限公司 一种ElasticSearch查询加速方法
CN107515952A (zh) * 2017-09-21 2017-12-26 北京星闪世图科技有限公司 点云数据存储、并行计算和实时检索的方法及其系统
CN108319665A (zh) * 2018-01-18 2018-07-24 努比亚技术有限公司 Hbase列值查找方法、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
满旺 ; 张杰林 ; 曹代勇 ; .基于Oracle的高光谱数据管理平台设计与应用.世界核地质科学.2007,(04),全文. *

Also Published As

Publication number Publication date
CN110909186A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110909186B (zh) 高光谱遥感数据存储、检索方法及系统、存储介质及终端
US9053386B2 (en) Method and apparatus of identifying similar images
AU2016402555B2 (en) Content based search and retrieval of trademark images
ES2898868T3 (es) Método y dispositivo para la búsqueda de imágenes
CN112988863A (zh) 一种基于Elasticsearch的异构多数据源的高效搜索引擎方法
CN109918594B (zh) 一种信息显示方法及装置
JP6862531B2 (ja) ガイド付きデータ探索
CN108536739B (zh) 元数据敏感信息字段识别方法、装置、设备及存储介质
JP6670097B2 (ja) 関係型データベース表の列横断的検索
CN109657080B (zh) 高分卫星遥感数据的分布式处理方法/系统和介质
CN114356851B (zh) 数据文件的存储方法、装置、电子设备及存储介质
Corral et al. XMMFITCAT: The XMM-Newton spectral-fit database
CN113934869A (zh) 一种数据库构建方法、多媒体文件的检索方法及装置
CN116881287A (zh) 一种数据查询方法及相关设备
JP2013041385A (ja) 文献検索方法、文献検索装置及び文献検索プログラム
Dai et al. MDC-Net: A multi-directional constrained and prior assisted neural network for wood and leaf separation from terrestrial laser scanning
CN116340390A (zh) 一种针对多维快速射电暴数据的知识库系统、装置及存储介质
US20200218748A1 (en) Multigram index for database query
CN109241208B (zh) 地址定位、地址监测、信息处理方法及装置
CN112131215B (zh) 自底向上的数据库信息获取方法及装置
CN106776654B (zh) 一种数据搜索方法及装置
Chu et al. A news picture geo-localization pipeline based on deep learning and street view images
CN110928868B (zh) 车辆数据检索方法、装置及计算机可读存储介质
CN111460325B (zh) Poi搜索方法、装置与设备
TW201712579A (zh) 資料分析方法與裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant