CN113722518A - 基于遥感影像元数据的存储方法、检索方法、设备及介质 - Google Patents
基于遥感影像元数据的存储方法、检索方法、设备及介质 Download PDFInfo
- Publication number
- CN113722518A CN113722518A CN202110998749.XA CN202110998749A CN113722518A CN 113722518 A CN113722518 A CN 113722518A CN 202110998749 A CN202110998749 A CN 202110998749A CN 113722518 A CN113722518 A CN 113722518A
- Authority
- CN
- China
- Prior art keywords
- metadata
- partition
- data
- remote sensing
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005192 partition Methods 0.000 claims abstract description 133
- 238000003780 insertion Methods 0.000 claims description 21
- 230000037431 insertion Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000012217 deletion Methods 0.000 abstract description 7
- 230000037430 deletion Effects 0.000 abstract description 7
- 238000007726 management method Methods 0.000 description 21
- 238000000638 solvent extraction Methods 0.000 description 13
- 101000738901 Homo sapiens PMS1 protein homolog 1 Proteins 0.000 description 8
- 102100037482 PMS1 protein homolog 1 Human genes 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 101001002193 Homo sapiens Putative postmeiotic segregation increased 2-like protein 1 Proteins 0.000 description 1
- 102100020953 Putative postmeiotic segregation increased 2-like protein 1 Human genes 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了基于遥感影像元数据的存储方法、检索方法、设备及介质。元数据包括遥感影像的若干特征数据,其中存储方法包括:创建元数据存储表;以第一特征数据作为一级分区键,将元数据存储表分为若干一级元数据分区;每个一级元数据分区具有相同的分区粒度;建立特征数据的索引。本申请使得对于遥感元数据的存储按第一特征分类进行一级分区存储,使得对数据进行管理的时候,可以先锁定数据区,表分区技术的应用对已有数据的存储管理、删除、移动等管理操作直接定位到元数据存储区,改善了传统数据库存储管理方式进行数据库管理操作时响应时间过长的问题,提高了管理效率。
Description
技术领域
本公开一般涉及数据存储技术领域,尤其涉及基于遥感影像元数据的存储方法、检索方法、设备及介质。
背景技术
随着卫星遥感技术的发展日益迅速,我国航天工业体系取得的成就日益突出,构建了门类齐全的通信、导航、遥感等卫星系统,形成了具有一定规模的军民应用体系。目前,我国对地观测遥感卫星密集发射,采集的卫星遥感影像呈幂指数爆炸式地向地面传送,仅高分系列卫星遥感影像数据已达到数百万条甚至上千万条。可见高分系列卫星遥感影像数据量巨大。遥感影像数据急剧增加,对于各类卫星遥感影像数据的存储管理与检索提出了新的挑战。如何高效准确地检索获取到用户感兴趣的数据,已成为目前空间信息科学领域迫切需要解决的问题之一。
遥感影像数据的检索效率在一定程度上受到遥感影像数据的存储组织结构影响,传统遥感影像元数据存储管理方式是对原始影像数据入库信息以一张表的方式存储管理数百万条甚至上千万条元数据记录信息的描述。原始影像元数据的存储管理相当于对原始影像数据存储管理的目录信息,用于快速查找确定对应检索条件下是否存在满足需求的数据。
传统遥感影像元数据存储管理方式主要有以下几个方面的不足:
1、目前遥感原始影像数据量大,利用率低。
2、传统一张表对遥感影像元数据进行存储的方式在海量数百万甚至上千万数量原始影像数据背景下,面对的是对超大数据表进行数据存储管理,存在对旧数据的删除移动操作响应时间长、大范围或复杂条件检索时检索效率低下问题,将会严重影响遥感影像元数据的存储管理效率及查询效率。
3、传统遥感影像数据检索方式在海量遥感影像数据大背景下,对元数据大表查询会造成数据表响应时间过长,从而影响原始影像数据的检索效率。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种基于遥感影像元数据的存储方法,所述元数据包括遥感影像的若干特征数据;所述方法包括:
创建元数据存储表;
以第一特征数据作为一级分区键,将所述元数据存储表分为若干一级元数据分区;每个所述一级元数据分区具有相同的分区粒度;
建立所述特征数据的索引。
根据本申请实施例提供的技术方案,还包括:
以第二特征数据作为二级分区键,将每个所述一级元数据分区分成若干二级元数据分区。
根据本申请实施例提供的技术方案,所述特征数据包括卫星类型、传感器类型、影像成像开始时间、影像成像结束时间、遥感影像经纬度坐标、云量;所述第一特征数据为影像成像开始时间;所述第二特征数据为传感器类型。
根据本申请实施例提供的技术方案,还包括:
接收插入元数据;
从所述插入元数据中提取第一特征数据;
根据所述遥感影像元数据的第一特征数据确定对应的一级元数据分区;
设置对应所述插入元数据的自增ID;
将所述插入元数据即对应的自增ID存入对应的一级元数据分区中。
根据本申请实施例提供的技术方案,还包括:
从所述插入元数据中提取第二特征数据;
根据所述遥感影像元数据的第二特征数据在确定的一级元数据分区中确定对应的二级元数据分区;
将所述插入元数据即对应的自增ID存入对应的二级元数据分区中。
第二方面,本申请提供一种遥感影像元数据的检索方法,包括以下步骤:
获取查询条件,所述查询条件包括若干与所述特征数据对应的检索字段;
判断所述检索字段包含第一特征数据且在元数据存储表分区范围内时,确定与所述查询条件对应的一级元数据分区;
用检索字段在确定的一级元数据分区中并行依据所述索引检索出遥感影像元数据。
根据本申请实施例提供的技术方案,还包括,
判断所述检索字段包含第二特征数据时,在确定元数据分区中确定与所述查询条件对应的二级元数据分区;
用检索字段在确定的二级元数据分区中并行依据所述索引检索出遥感影像元数据。
根据本申请实施例提供的技术方案,还包括,
将检索出的遥感影像元数据从确定的一级元数据分区中删除或修改。
第三方面,本申请提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,,所述处理器执行所述计算机程序时实现如上述检索方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质有计算机程序,所述计算机程序被处理器执行时实现如上述检索方法的步骤。
本申请的技术方案中,对于遥感影像元数据的存储,以遥感影像元数据中的第一特征数据作为分区键,将元数据存储表分为若干一级元数据分区,使得对于遥感元数据的存储按第一特征分类进行分区存储,使得对数据进行管理的时候,可以先锁定一级数据区,表分区技术的应用对已有数据的存储管理、删除、移动等管理操作直接定位到元数据存储区,因此改善了传统数据库存储管理方式进行数据库管理操作时响应时间过长的问题,提高了管理效率。
相应的,本申请的技术方案对应面对超大数据表、多传感器、宽时间区间、大区域面积等复杂查询条件下进行数据查询时可以通过元数据存储区直接定位,逐步锁定要查询的数据区,仅对相关分区数据块进行查询。通过缩小数据检索范围,提高查询吞吐量,实现数据的高效检索,解决数据库响应时间较长查询效率低下的问题。
在本申请的优选方案中,进一步地通过第二特征数据对元数据二级分区,进一步提高了数据的定位和管理效果。也相应地提高了检索效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请实施例1中未分区的元数据存储表示例;
图2为本申请实施例1中分区后的元数据存储表示例
图3为本申请实施例1的流程示意图;
图4本申请实施例2的流程示意图;
图5为本申请实施例3的原理框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例1
请参考图3,本实施例提供一种基于遥感影像元数据的存储方法,所述元数据包括遥感影像的若干特征数据;所述方法包括:
S10:创建元数据存储表;
根据原始遥感影像数据的元数据信息,创建关于这些元数据信息属性的数据表,设置自增ID为主键。
例如数据库表dataTableA包含1百万条数据信息,数据库表的自增ID就是根据插入数据的先后顺序自动编排的数据属性信息。如果在数据插入过程中有对数据的删除操作,那么数据的自增ID是不会动态更新的,会出产被删除的数据自增ID空缺的情况。如:100万条数据,删除了自增ID为“1、2、3、4、5”的数据,那么数据库中数据的自增ID为6-1000000,若要保证数据库中数据依然是100万条数据,再向数据库中插入5条数据,数据库表中的数据自增ID为6-1000005。
遥感影像元数据是指用于描述卫星遥感影像数据的特征数据,主要包括卫星类型、传感器类型、影像开始时间、影像结束时间、经纬度坐标、分辨率、云量等。
创建元数据存储表的核心SQL语句如下:
CREATE TABLE IF NOT EXISTS TABLENAME(FIELDS,PRIMARY KEY,KEY)ENGINE;
表TABLENAME用于存放卫星遥感影像元数据信息;FIELDS指遥感元数据具体字段信息(也就是遥感影像的特征数据);PRIMARY KEY指表TABLENAME的主键,包含分区字段,如影像时间、传感器类型;KEY指索引字段,其他常作为检索条件的字段,如卫星类型、经纬坐标。
S20:以第一特征数据作为一级分区键,将所述元数据存储表分为若干一级元数据分区;每个所述一级元数据分区具有相同的分区粒度;
首先,选择常作为检索条件的特征数据作为分区键;其次,根据选择的分区键确定分区粒度;接着根据确定的分区粒度对数据表进行表分区,实现表中元数据分区存储。
根据遥感影像数据的特征数据,常作为检索条件的特征数据有:卫星类型、传感器类型、影像开始时间、影像结束时间、经纬度坐标、分辨率、云量。
根据常作为检索条件的字段选择较优分区的分区键,根据选择的分区键确定分区粒度,接着进行表分区,实现元数据的一级分区存储。本申请以成像开始时间为一级分区键进行一级分区,以传感器类型进行二级分区。要注意的是,具有主键或唯一索引的表,主键或唯一索引必须是分区键的一部分,所以设置影像时间为主键之一。
分区的核心SQL语句如下:
CREATE TABLE IF NOT EXISTS TABLENAME(FIELDS,PRIMARY KEY,KEY)ENGINE
PARTITION BY RANGE(Starttime)
SUBPARTITION BY LIST(SensorID)
PARTITION PNAME_0VALUES LESS THAN(StarttimeCondition_0)
(SUBPARTITION SUBPNAME_0VALUES IN(SensorIDCondition_0),
…,
SUBPARTITION SUBPNAME_N VALUES IN(SensorIDCondition_N)),
…,
PARTITION PNAME_N VALUES LESS THAN(StarttimeCondition_N)(…));
表TABLENAME用于存放卫星遥感影像元数据信息;Starttime是指影像成像时间,依照Starttime对元数据存储表中数据进行一级表分区,实现数据一级分区存储;SensorID是指传感器类型,依照SensorID对一级表分区中数据块进行二级表分区,对数据块进行二次分段;StarttimeCondition、SensorIDCondition是指每个分块数据的数据分段范围。
如图1所示为未分区签的元数据存储表截图,图2为分区后的元数据存储表截图,图1、图2中均有扩展名为“.frm”、“.MYD”、“.MYI”的文件,其中“.frm”文件为表定义文件,“.MYD”为数据文件,“.MYI”为索引文件。图1未分区表分别由1个“.frm”1个、一个“.MYD”和1个“.MYI”文件组成,.MYD数据文件相对较大,达到GB级,相对影响数据的迁移效率;图2分区表分别由1个“.frm”、分区数个“.MYD”和“.MYI”文件组成,所有分区数据公用一个表结构,“.MYD”数据文件存储的数据量整体上均值化,相对未分区表数据文件平均小60倍左右,因此本申请对数据分区进行管理,提高管理效率。
根据目前进行遥感影像数据的查询、浏览、下载需求,大多是对一个周内、一个月内的数据进行检索,偶尔对几个月内或者一年内数据进行检索,这种情况下对全表进行扫描的话就显得有些冗余,浪费资源。因此,所述第一特征数据为影像成像开始时间,采用时间范围分区方式对数据库表进行分区操作,使得进行数据检索时候,仅需要对相应分区进行数据检索,避免了全表扫描的资源浪费,从而提高数据检索效率。
由于遥感影像数据主要用于数据分析、各个领域预测的需求,以及对旧数据管理便捷性需求、多传感器数据分析准确性需求。
根据上述需求,本实施例以影像开始时间为分区键进行分区,分区粒度为一个月。
要注意的是,具有主键或唯一索引的表,主键或唯一索引必须是分区键的一部分,所以设置影像时间为主键之一。
S30:建立所述特征数据的索引;
对常作为检索条件的特征数据建立索引。本实施例以数据名称、卫星类型、传感器类型、数据入库时间、影像开始时间、影像结束时间、经纬坐标、云量等字段建立索引,其中经纬坐标及数据ID采用BTREE索引。根据用户需要的元数据信息字段,创建与用户检索条件一致的文字信息,与视图对应表中的字段进行映射,实现表中字段信息的安全保护。
建立索引的核心SQL语句如下:
ALTER TABLE TABLENAME ADD INDEX INDEX_NAME(FIELDS);
CREATE VIEW TABLENAMEVIEW AS SELECT CONDITIONS FROM TABLENEME;
表TABLENAME用于存放卫星遥感影像元数据信息;FIELDS指创建索引的组合字段信息,如KEY SatSen(SatelliteID,SensorID);TABLENAMEVIEW指根据表TABLENAME中常用数据字段组成的新的临时表;CONDITIONS指表TABLENAME中常用查询字段,如卫星类型、传感器类型、成像开始时间、经纬度坐标、景序列号等。
基于本实施例上述步骤建立的数据存储方法,对遥感影像元数据做插入、删除、移动数据等操作时就可以提高效率。
例如,要插入新的遥感影像元数据时,先给该新数据给予一个自增ID,每个数据都有一个自增ID;该自增ID为根据数据的入库的先后顺序自增设定得到;然后从该新的遥感影像元数据中提取其第一特征数据,根据该第一特征数据的数值查找对应的元数据存储区;最后将其插入到该元数据存储区的末尾即可。
例如,要对指定条件下的数据进行删除或修改,先判断该指定条件是否为第一特征数据,若是,则从该新的遥感影像元数据中提取其第一特征数据,根据该第一特征数据的数值查找对应的一级元数据分区;从查询到的一级元数据分区中查到与该第一特征数据的数值符合的数据,进行删除或修改即可。若判断该指定条件不是第一特征数据,则逐个遍历各个一级元数据分区,查询到与该指定条件中的特征数据符合数据,进行删除或修改即可。
例如原始元数据表如下表1所示,其中,ID即为自增ID,sattliteID即为卫星类型,sensorID为传感器类型,receiveTime为影像成像开始时间。
表1
则以第一特征数据-“receiveTime”设计的分区粒度为一个月的时候,则上述元数据存储表中的数据可以划分为以月为分区粒度的若干一级元数据分区;由于上述表中ID为2和4的元数据属于同一个月份,因此归属于同一个一级元数据分区,因此对上述表格重新进行存储得到下述表2:
表2
基于上述分区存储方法,本实施例还包括:
S41.接收插入元数据;
S42.从所述插入元数据中提取第一特征数据;
S43.根据所述遥感影像元数据的第一特征数据确定对应的一级元数据分区;
S44.设置对应所述插入元数据的自增ID;
S45.将所述插入元数据即对应的自增ID存入对应的一级元数据分区中。
例如基于上述调整后的存储表格插入数据时,例如当需要插入一条元数据信息:sattliteID为GF3,sensorID为PMS3,receiveTime为2019-01-27时,由于现有的元数据存储表表2中的自增ID目前为4,因此给插入元数据设置自增ID=4+1=5;由于为新插入数据第一特征数据为2019-01-27,归属的一级分区数据区为2019年1月份,因此更新后的数据库表如下表3所示:
表3
例如基于上述元数据存储表表3进行数据删除的时候,例如需要删除的数据为第一特征数据为2019-05-25的数据,则删除后的数据表如下表4所示:
表4
从上述示例可以看出,本实施例按分区进行数据删除、修改操作,减少数据库查找响应时间,提高相关操作响应效率。
从上述示例可以看出,指定条件下的数据进行删除、移动操作,首先根据筛选条件找到对应所属分区,按分区进行数据删除、移动操作,减少数据库查找响应时间,提高相关操作响应效率。
其核心SQL语句如下:
INTER INTO TABLENAME(FIELDS)VALUES(FIELDS_VALUES);
DELETE FROM TABLENAME WHERE CONDITIONS;
表TABLENAME用于存放卫星遥感影像元数据信息;FIELDS指所有遥感元数据信息;FIELDS_VALUES指要录入表TABLENAME中的遥感影像对应完整遥感元数据信息;CONDITIONS指删除条件,包括表TABLENAME中的卫星名称、数据名称、传感器名称、影像时间等字段。
对数据表进行插入、删除、修改、移动数据操作后,对数据进行规整,只对涉及到的相关数据分区进行规整,但对于删除的数据ID号会缺失。
其核心SQL语句如下:
UPDATE TABLENAME SET CONDITIONS WHERE CONDITIONS;
表TABLENAME用于存放高分系列卫星遥感影像元数据信息;OTHERCONDITIONS指表TABLENAME中相应字段的旧数据信息,想反,CONDITIONS指表TABLENAME中相应字段的要修改成的新数据信息,包括表TABLENAME中的卫星类型、数据名称、传感器类型、成像开始时间等字段。
从上述存储管理方式的操作流程来看,较传统遥感影像数据元数据存储管理方式对数据表进行了分区管理,在海量数百万甚至上千万数量遥感原始影像数据背景下,面对超大数据表、多传感器、宽时间区间、大区域面积等复杂查询条件下进行数据查询时直接定位,逐步锁定要查询的数据块,仅对相关分区数据块进行查询。通过缩小数据检索范围,提高查询吞吐量,实现数据的高效检索,解决数据库响应时间较长查询效率低下的问题。表分区技术的应用对大数据表中旧数据的存储管理、删除、移动等管理操作直接定位到操作数据块,改善传统数据库存储管理方式进行数据库管理操作时响应时间过长的问题。
实施例2
本实施例在实施例1的基础上,还包括以下步骤:
S51:以第二特征数据作为二级分区键,将将每个所述一级元数据分区分成若干二级元数据分区;在本实施例中,所述第二特征数据为传感器类型。
相应地,在插入新的元数据的时候,根据以下步骤执行:
S52:从所述插入元数据中提取第二特征数据;
S53:根据所述遥感影像元数据的第二特征数据在确定的一级元数据分区中确定对应的二级元数据分区;
S54:将所述插入元数据即对应的自增ID存入对应的二级元数据分区中。
例如基于上述表3的元数据存储表,例如当需要插入一条元数据信息:sattliteID为GF3,sensorID为PMS1,receiveTime为2019-01-17时,由于现有的元数据存储表表2中的自增ID目前为5,因此给插入元数据设置自增ID=5+1=6;由于为新插入数据第一特征数据为2019-01-17,归属的一级分区数据区为2019年1月份,由于为新插入数据第二特征数据为PMS1,归属的二级分区数据区为PMS1的二级元数据分区,因此更新后的数据库表如下表5所示:
表5
因此本实施例提供的存储方法根据如图4所示的方法进行操作。
本实施例对遥感影像元数据以影像开始时间为分区字段按月进行一级范围分区,以传感器字段按类型进行二级分区,进行数据二级分区存储。根据数据二级分区字段渐进式缩小数据检索范围,实现数据渐进式二级分区高效检索。本发明的实现对我国海量遥感影像数据的存储管理、高效利用及广泛应用。
实施例3
与实施例2对应的,本实施例提供一种基于上述的存储方法的遥感影像元数据的检索方法,包括以下步骤:
Sa:获取查询条件,所述查询条件包括若干与所述特征数据对应的检索字段;
用户根据需求,提取影像开始时间、卫星类型、传感器类型、目标区域、云量百分比等检索条件。
例如用户输入的查询条件为GF1,PMS1;则根据查询条件组织检索方法。根据检索条件拼接组织查询语句:为select*from tableName where‘卫星’=’GF1’and‘传感器’=‘PMS1’。
Sb:判断所述检索字段包含第一特征数据且在元数据存储表分区范围内时,确定与所述查询条件对应的一级元数据分区;
用检索字段在确定的元数据分区中并行根据所述索引检索出遥感影像元数据。
例如,根据上述查询语句确定查询条件中没有第一特征数据,因此逐个遍历所有一级元数据分区。
例如在遍历到第一特征数据为2019年1月这个一级元数据分区时,根据以下步骤再继续检索:
Sc:判断所述检索字段包含第二特征数据时,在确定一级元数据分区中确定与所述查询条件对应的二级元数据分区;
用检索字段在确定的元数据二级分区中并行根据所述索引检索出遥感影像元数据。
例如在2019年1月这个一级元数据分区内确定传感器类型为PMS1的二级元数据分区,在该二级元数据分区中检索符合条件的只有下述一条元数据:
1 GF1 PMS1 2019-01-23...
接着在在2019年2月这个一级元数据分区内确定传感器类型为PMS1的二级元数据分区,在该二级元数据分区中检索符合条件的只有下述一条元数据:
2 GF1 PMS1 2019-02-23...
接着在在2019年5月这个一级元数据分区内确定传感器类型为PMS1的二级元数据分区,在该二级元数据分区中检索没有符合条件元数据,检索完成。
引用表分区技术、索引技术对元数据数据库表按二分查找算法思想,根据分区键渐进式地对数据按段检索,逐渐缩小检索范围,且检索中若遇到涉及多个数据段检索,对数据进行分散并行检索,提高检索吞吐量,从而快速、高效地检索到覆盖目标区域、时间范围等检索条件的全部遥感影像数据元数据信息。
如图4所示的流程图所示,首先,根据步骤Sa中组织的检索条件,判断查询的影像时间范围是否存在,若不存在,检索失败;
若存在,根据影像时间范围确定涉及时间分区数量,获取涉及时间分区的影像数据块,根据传感器二级分区确定该时间分区中数据块内涉及的有效数据块。
若涉及单个传感器,在一级分区下直接定位涉及传感器类型,根据其它约束条件查询需求数据;若涉及多个传感器,在一级时间范围分区逐个一级分区数据块下对二级分区内传感器数据块并行检索,获得满足所有约束条件的遥感影像数据。
根据上述检索方式的操作流程来看,较传统遥感影像数据检索方式,基于遥感影像元数据二级分区存储的渐进式检索策略,面对数百万甚至上千万数量遥感原始影像数据,在超大数据表、多传感器、宽时间范围、大空间区域等复杂检索条件下进行元数据查询,能够准确定位要查询的数据块,涉及多个数据块查询时可对数据分散查询,提高查询吞吐量,提高元数据查询效率,从而实现原始影像数据的高效检索。
实施例4
本实施例提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任意一项目所述目标检测方法的步骤。如图5所示,终端设备例如为计算机,计算机系统包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中,还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明的实施例,上实施例1和实施例2描述的过程可以被实现为计算机软件程序。例如,本发明的实施例一包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例二的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一生成模块、获取模块、查找模块、第二生成模块及合并模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,输入模块还可以被描述为“用于在该基础表中获取多个待探测实例的获取模块”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的目标检测方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于遥感影像元数据的存储方法,所述元数据包括遥感影像的若干特征数据;其特征在于,所述方法包括:
创建元数据存储表;
以第一特征数据作为一级分区键,将所述元数据存储表分为若干一级元数据分区;每个所述一级元数据分区具有相同的分区粒度;
建立所述特征数据的索引。
2.根据权利要求1所述的存储方法,其特征在于,还包括:
以第二特征数据作为二级分区键,将每个所述一级元数据分区分成若干二级元数据分区。
3.根据权利要求1或2所述的存储方法,其特征在于,所述特征数据包括卫星类型、传感器类型、影像成像开始时间、影像成像结束时间、遥感影像经纬度坐标、云量;所述第一特征数据为影像成像开始时间;所述第二特征数据为传感器类型。
4.根据权利要求2所述的存储方法,其特征在于,还包括:
接收插入元数据;
从所述插入元数据中提取第一特征数据;
根据所述遥感影像元数据的第一特征数据确定对应的一级元数据分区;
设置对应所述插入元数据的自增ID;
将所述插入元数据即对应的自增ID存入对应的一级元数据分区中。
5.根据权利要求4所述的存储方法,其特征在于,还包括:
从所述插入元数据中提取第二特征数据;
根据所述遥感影像元数据的第二特征数据在确定的一级元数据分区中确定对应的二级元数据分区;
将所述插入元数据即对应的自增ID存入对应的二级元数据分区中。
6.一种基于权利要求1所述的存储方法的遥感影像元数据的检索方法,其特征在于,包括以下步骤:
获取查询条件,所述查询条件包括若干与所述特征数据对应的检索字段;
判断所述检索字段包含第一特征数据且在元数据存储表分区范围内时,确定与所述查询条件对应的一级元数据分区;
用检索字段在确定的一级元数据分区中并行依据所述索引检索出遥感影像元数据。
7.根据权利要求6所述的检索方法,其特征在于,还包括,
判断所述检索字段包含第二特征数据时,在确定元数据分区中确定与所述查询条件对应的二级元数据分区;
用检索字段在确定的二级元数据分区中并行依据所述索引检索出遥感影像元数据。
8.根据权利要求7所述的检索方法,其特征在于,还包括,
将检索出的遥感影像元数据从确定的一级元数据分区中删除或修改。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求6-8任意一项目所述检索方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求6-8任意一项目所述检索方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110998749.XA CN113722518A (zh) | 2021-08-27 | 2021-08-27 | 基于遥感影像元数据的存储方法、检索方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110998749.XA CN113722518A (zh) | 2021-08-27 | 2021-08-27 | 基于遥感影像元数据的存储方法、检索方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113722518A true CN113722518A (zh) | 2021-11-30 |
Family
ID=78678724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110998749.XA Pending CN113722518A (zh) | 2021-08-27 | 2021-08-27 | 基于遥感影像元数据的存储方法、检索方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113722518A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188997A (zh) * | 2023-04-24 | 2023-05-30 | 中铁城际规划建设有限公司 | 一种遥感影像元数据处理方法及系统 |
CN117725095A (zh) * | 2024-02-07 | 2024-03-19 | 北京四维纵横数据技术有限公司 | 面向数据集的数据存储和查询方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105589951A (zh) * | 2015-12-18 | 2016-05-18 | 中国科学院计算机网络信息中心 | 一种海量遥感影像元数据分布式存储方法及并行查询方法 |
CN109726177A (zh) * | 2018-12-29 | 2019-05-07 | 北京赛思信安技术股份有限公司 | 一种基于HBase的海量文件分区索引方法 |
CN110781325A (zh) * | 2019-10-21 | 2020-02-11 | 武汉大学 | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 |
CN111563125A (zh) * | 2020-05-08 | 2020-08-21 | 中国工商银行股份有限公司 | 数据存储系统、数据查询方法及装置 |
-
2021
- 2021-08-27 CN CN202110998749.XA patent/CN113722518A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105589951A (zh) * | 2015-12-18 | 2016-05-18 | 中国科学院计算机网络信息中心 | 一种海量遥感影像元数据分布式存储方法及并行查询方法 |
CN109726177A (zh) * | 2018-12-29 | 2019-05-07 | 北京赛思信安技术股份有限公司 | 一种基于HBase的海量文件分区索引方法 |
CN110781325A (zh) * | 2019-10-21 | 2020-02-11 | 武汉大学 | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 |
CN111563125A (zh) * | 2020-05-08 | 2020-08-21 | 中国工商银行股份有限公司 | 数据存储系统、数据查询方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188997A (zh) * | 2023-04-24 | 2023-05-30 | 中铁城际规划建设有限公司 | 一种遥感影像元数据处理方法及系统 |
CN117725095A (zh) * | 2024-02-07 | 2024-03-19 | 北京四维纵横数据技术有限公司 | 面向数据集的数据存储和查询方法、装置、设备及介质 |
CN117725095B (zh) * | 2024-02-07 | 2024-05-03 | 北京四维纵横数据技术有限公司 | 面向数据集的数据存储和查询方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10360146B2 (en) | Group garbage collection for multi-version concurrency control in database systems | |
CN107885873B (zh) | 用于输出信息的方法和装置 | |
US20150347492A1 (en) | Representing an outlier value in a non-nullable column as null in metadata | |
CN109885632B (zh) | 一种空间科学与应用数据检索方法、系统、介质及设备 | |
CN113722518A (zh) | 基于遥感影像元数据的存储方法、检索方法、设备及介质 | |
CN110928903A (zh) | 数据提取方法及装置、设备和存储介质 | |
CN114780485A (zh) | 一种电子档案管理方法、系统、可读存储介质及设备 | |
CN114936269A (zh) | 文档搜索平台、搜索方法、装置、电子设备及存储介质 | |
CN114168540A (zh) | 文件索引信息处理方法、装置、电子设备及存储介质 | |
CN110795397B (zh) | 一种地质资料包目录与文件类型自动识别方法 | |
CN114138558A (zh) | 一种对象存储方法、装置、电子设备和存储介质 | |
CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
CN110795520B (zh) | 一种数字化地质资料包目录与文件关联关系自动识别方法 | |
CN112632303A (zh) | 一种影像数据的分布式存储方法、分析方法及装置 | |
CN117493333A (zh) | 数据归档方法、装置、电子设备及存储介质 | |
CN113177169B (zh) | 网络地址的类别获取方法、装置、设备及存储介质 | |
CN106528590B (zh) | 一种查询方法及设备 | |
CN111367500A (zh) | 数据的处理方法和装置 | |
KR20000040270A (ko) | 전자지도상에서의 사용자 레이어 관리 장치 및 그 방법 | |
JPH08123713A (ja) | データベース用ファイル格納管理システム | |
CN110321435B (zh) | 一种数据源划分方法、装置、设备和存储介质 | |
CN114969114A (zh) | 水利信息快速检索方法、系统、计算机可读介质 | |
KR100667917B1 (ko) | 웹사이트 검색 서비스 제공 방법 및 그 시스템 | |
CN110928868B (zh) | 车辆数据检索方法、装置及计算机可读存储介质 | |
CN112835905A (zh) | 一种数组类型列的索引方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211130 |