CN112100525B - 多源异构航天信息资源存储方法、检索方法和装置 - Google Patents

多源异构航天信息资源存储方法、检索方法和装置 Download PDF

Info

Publication number
CN112100525B
CN112100525B CN202011200418.9A CN202011200418A CN112100525B CN 112100525 B CN112100525 B CN 112100525B CN 202011200418 A CN202011200418 A CN 202011200418A CN 112100525 B CN112100525 B CN 112100525B
Authority
CN
China
Prior art keywords
space
information
key value
source heterogeneous
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011200418.9A
Other languages
English (en)
Other versions
CN112100525A (zh
Inventor
张翀
邵天阳
王俊兴
何春辉
葛斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011200418.9A priority Critical patent/CN112100525B/zh
Publication of CN112100525A publication Critical patent/CN112100525A/zh
Application granted granted Critical
Publication of CN112100525B publication Critical patent/CN112100525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种多源异构航天信息资源存储方法、检索方法和装置。所述存储方法包括：根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；根据剖片中预先获取的多源异构航天信息资源，确定有效时间区间；根据剖片、多源异构航天信息资源和有效时间区间，确定键值树；根据剖片、键值树以及有效时间区间，构建航天信息时空元结构；将航天信息时空元结构存入分布式存储数据库。采用上述存储方法能够提高多源异构航天信息资源的检索效率。

Description

多源异构航天信息资源存储方法、检索方法和装置
技术领域
本申请涉及数据存储与索引技术领域，特别是涉及一种多源异构航天信息资源存储方法、检索方法和装置。
背景技术
随着航天技术水平不断发展，越来越多的卫星升空进行相关探测，有的卫星携带照相机对地球进行拍照，产生成像类航天信息资源；有的携带雷达装置，产生电子类航天信息资源；有的携带测绘装置，产生测绘类航天信息资源；有的产生气象类航天信息资源；有的产生海洋类航天信息资源。每一类航天信息资源的信息结构和内容不尽相同，这构成了多源异构航天信息资源。
然而，每种航天信息资源目前依靠元数据进行资源描述，目的是便于检索。由于元数据格式不统一，这种依靠元数据描述的方法只是针对每一种类的检索，并不便于统一检索。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决多源异构航天信息资源不便于检索问题的多源异构航天信息资源存储方法、检索方法和装置。
一种多源异构航天信息资源存储方法，所述方法包括：
根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；
根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入所述存储库。
在其中一个实施例中，还包括：根据预先设置的多个剖分策略，对参考空间进行不同粒度的剖分，得到包含多个剖分子集的剖分集合为：
Figure 896968DEST_PATH_IMAGE001
其中，
Figure 419216DEST_PATH_IMAGE002
表示粒度为r的剖分子集，
Figure 727838DEST_PATH_IMAGE003
、
Figure 411760DEST_PATH_IMAGE004
表示粒度为r的子剖分集合中的剖片，S表示参考空间，
Figure 173042DEST_PATH_IMAGE005
表示粒度为r的剖分子集中剖片的数量，对于任意
Figure 295719DEST_PATH_IMAGE006
，
Figure 458847DEST_PATH_IMAGE007
，存在
Figure 313671DEST_PATH_IMAGE008
中满足
Figure 827829DEST_PATH_IMAGE009
。
在其中一个实施例中，还包括：根据所述剖片和所述有效时间区间，组成时空片段，将所述时空片段确定为根节点根据多源异构航天信息资源对应分类的文本数据，确定为中间节点；根据多源异构航天信息资源构建的键值对，确定为叶节点；根据所述根节点、中间节点和叶节点，确定键值树。
在其中一个实施例中，还包括：确定所述多源异构航天信息资源的描述信息；所述描述信息包括：编目信息和应用拓展信息；所述编目信息为多级编目，所述多级编目的每一级包含所述多源异构航天信息资源中对应的多个键值对；所述应用拓展信息为所述编目信息中拓展得到的多个键值对；根据所述键值对，确定为叶节点。
在其中一个实施例中，还包括：对所述航天信息时空元结构进行全局编码。
在其中一个实施例中，还包括：将航天信息时空元结构中的剖片对应的空间编码存入分布式存储数据库的元数据表中；根据有效时间区间和剖片对应的细分空间区间，构建时空元结构；将所述时空元结构对应的时空编码在分布式存储数据库的内存库中进行结构存储；所述元数据表与所述内存库对应，所述元数据表中的所述剖片与所述内存库中的时空元结构对应；将航天信息时空元结构中的多源异构航天信息资源存储在分布式存储数据库的存储库中；所述存储库与所述内存库对应，所述存储库中的多源异构航天信息资源与所述内存库中的时空元结构对应。
一种多源异构航天信息资源检索方法，所述方法包括：
根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；
根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入所述存储库；
获取预先设置的检索条件，根据所述检索条件、所述一级索引和所述二级索引，进行多源异构航天信息资源的检索。
在其中一个实施例中，包括：将所述查询条件按照时间和空间进行划分，得到空间检索条件；对所述空间检索条件进行转换，得到编码集合；根据所述编码集合，进行一级索引的检索，得到对应的区域服务器位置；将所述查询条件进行编码，得到时空查询条件；根据所述时空查询条件，进行二级索引的检索，得到对应的查询结果。
一种多源异构航天信息资源存储装置，所述装置包括：
剖分模块，用于根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
键值树构建模块，用于根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
时空元构建模块，用于根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
存储模块，用于将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入所述存储库。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；
根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入所述存储库。
上述多源异构航天信息资源存储方法、检索方法、装置和存储介质，从统一管理和利用多源异构航天信息资源的目的出发，针对各类航天信息资源，设计通用的空间剖分方法，利用所提出的“航天信息时空元结构”来表示具有时间和空间特性的部分航天信息资源描述体，并综合考虑分布式存储数据库内在结构特点，设计面向时空元结构的存储和检索机制，提供时空两个维度的过滤检索。本发明实施例可以提高多源异构航天信息资源的检索效率。
附图说明
图1为一个实施例中多源异构航天信息资源存储方法的流程示意图；
图2为一个实施例中航天信息时空元结构的示意图；
图3为一个实施例中分布式存储数据库的示意图；
图4为一个实施例中多源异构航天信息资源检索方法的流程示意图；
图5为一个实施例中多源异构航天信息资源存储装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种多源异构航天信息资源存储方法，包括以下步骤：
步骤102，根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合。
参考空间即获取多源异构航天信息资源的空间，考虑到多源异构航天信息资源具备空间性，通过对空间的剖分，可以对多源异构航天信息资源进行划分，便于索引。
剖分策略可以是等分，等分的间隔可以自行设置，本发明不限定具体的剖分策略。
剖分集合中包括多个剖分后的剖片。
步骤104，根据剖片中预先获取的多源异构航天信息资源，确定有效时间区间。
多源异构航天信息资源具有时间性，即通过时间区间，可以对剖片中的多源异构航天信息资源进行划分，便于检索。
步骤106，根据剖片、多源异构航天信息资源和有效时间区间，确定键值树。
键值树为一种树结构，包含根节点、叶节点等，通过将剖片、多源异构航天信息资源和有效时间区间与根节点、叶节点对应，可以确定键值树，即多源异构航天信息资源的存储是通过键值树确定的。
键值指的是key-value，即数据是采用key-value的方式进行存储。
步骤108，根据剖片、键值树以及有效时间区间，构建航天信息时空元结构。
步骤110，将航天信息时空元结构存入分布式存储数据库。
分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；航天信息时空元结构中的剖片存入元数据表中，以及将键值树通过内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入存储库。
上述多源异构航天信息资源存储方法中，从统一管理和利用多源异构航天信息资源的目的出发，针对各类航天信息资源，设计通用的空间剖分方法，利用所提出的“航天信息时空元结构”来表示具有时间和空间特性的部分航天信息资源描述体，并综合考虑分布式存储数据库内在结构特点，设计面向时空元结构的存储和检索机制，提供时空两个维度的过滤检索。本发明实施例可以提高多源异构航天信息资源的检索效率。
在其中一个实施例中，根据预先设置的多个剖分策略，对参考空间进行不同粒度的剖分，得到包含多个剖分子集的剖分集合为：
Figure 691880DEST_PATH_IMAGE010
其中，
Figure 709514DEST_PATH_IMAGE011
表示粒度为r的剖分子集，
Figure 63135DEST_PATH_IMAGE012
、
Figure 799010DEST_PATH_IMAGE013
表示粒度为r的子剖分集合中的剖片，S表示参考空间，
Figure 201172DEST_PATH_IMAGE014
表示粒度为r的剖分子集中剖片的数量，对于任意
Figure 335963DEST_PATH_IMAGE015
，
Figure 63748DEST_PATH_IMAGE016
，存在
Figure 490181DEST_PATH_IMAGE017
中满足
Figure 696034DEST_PATH_IMAGE018
。
具体的，上述剖分为多尺度空间剖分，可以实现不同粒度下的分级，便于进行索引。对于不同粒度的剖面，设置的有效时间区间也可以不同。
在其中一个实施例中，根据剖片和所述有效时间区间，组成时空片段，将时空片段确定为根节点；根据多源异构航天信息资源对应分类的文本数据，确定为中间节点；根据多源异构航天信息资源构建的键值对，确定为叶节点；根据根节点、中间节点和叶节点，确定键值树。
在另一个实施例中，确定多源异构航天信息资源的描述信息；描述信息包括：编目信息和应用拓展信息；编目信息为多级编目，多级编目的每一级包含多源异构航天信息资源中对应的多个键值对；应用拓展信息为编目信息中拓展得到的多个键值对；根据键值对，确定为叶节点。
具体的，如图2所示，在其中一个实施例中，构建键值对的步骤如下：
A）根结点为
Figure 688261DEST_PATH_IMAGE019
和
Figure 586947DEST_PATH_IMAGE020
构成的时空片段，中间结点仅具有名称，叶结点为键值对。
B）第二层按照航天信息资源种类进行分支，分成像类、电子类、测绘类、气象类和海洋类等。
C）接下来的一层为具体某类航天信息资源的描述信息，分为编目信息与应用拓展信息。
D）编目信息可以按照生产加工级别分为0~6级，每一级都包含若干键值对（key-value）。
E）应用拓展信息有的从编目信息二次挖掘生成，有的面向应用直接生成，也是以键值对形式存在。
具体的，键值对中的值可以是整型、浮点型、字符型等。级数较高（即粒度较细）的元结构可以描述分辨率较高的卫星产品信息，反之亦然。
具体在构建航天信息时空元结构时，采用如下步骤实现：
S1：设剖分级数为m，确定一种多尺度空间剖分方法，对地球空间进行剖分；
S2：针对每一级r剖分，确定时间粒度
Figure 828572DEST_PATH_IMAGE021
；
S3：确定时空元结构表示的初始时间
Figure 838117DEST_PATH_IMAGE022
；
S4：针对每一级r剖分的每一个剖片
Figure 950429DEST_PATH_IMAGE023
，从时间
Figure 488858DEST_PATH_IMAGE024
开始，每隔
Figure 686621DEST_PATH_IMAGE025
时间，构建一个航天信息时空元结构；
S41：针对该时空元结构所表示的空间范围和时间范围，按照成像类、电子类、测绘类、气象类和海洋类等类别，在时间上和空间上从所有航天信息资源产品中寻找对应的产品并进行适应性切割或拼接；
S42：针对切割或拼接后的产品，分产品级别进行编目描述；
S43：针对切割或拼接后的产品，面向特定应用需求进行应用拓展信息的挖掘并描述；
S44：按照元结构定义的层级树形结构将上述信息形成树形结构；
S5：在实际利用航天信息资源时，面向特定应用会不断产生应用拓展信息，将此新挖掘的信息更新至对应的航天信息元结构中。
在其中一个实施例中，对航天信息时空元结构进行全局编码。
全局编码需要满足如下条件：
1、全局唯一性。对于不同级的、不同空间范围的面片，编码方法要提供唯一的全局编码。
2、层次可辨性。空间编码要能够体现出所标示的面片位于哪个层级。
3、局部保持性。将原始空间从多维变换至1维进行表示，必然会有信息损失。所采用的空间编码要尽量保持原始空间的邻近性。
在其中一个实施例中，将航天信息时空元结构中的剖片对应的空间编码存入分布式存储数据库的元数据表中；根据有效时间区间和剖片对应的细分空间区间，构建时空元结构；将时空元结构对应的时空编码在分布式存储数据库的内存库中进行结构存储；元数据表与所述内存库对应，元数据表中的剖片与内存库中的时空元结构对应；将航天信息时空元结构中的多源异构航天信息资源存储在分布式存储数据库的存储库中；存储库与内存库对应，存储库中的多源异构航天信息资源与内存库中的时空元结构对应。
具体的，如图3所示，分布式存储数据库可以采用HBase，HBase具备两级结构特点，即meta table（元数据表）是第一级存储（一级索引），region server（区域服务器）中的MemStore（内存库）和StoreFile（存储库）是第二级存储（二级索引），将时空元结构的空间编码作为meta table的内容，将时空元结构的具体的内容存储到region server上，并且依靠MemStore这种结构存储作为时空索引，具体指向存储时空元结构的StoreFile。
一级索引的设计如下：
S1：将所有的时空元结构按照空间编码进行排序，设共有M个时空元结构；
S2：设定Region server的数量N；
S3：从起始Meta table表项开始，每个表项中空间编码的索引范围为：上个空间编码结束值至上个空间编码结束值
Figure 234277DEST_PATH_IMAGE026
，对应的时空元结构内容存入Meta table索引对应的Region server中。
二级索引的设计如下：
S1：将该Region server中所涉及到的空间编码范围进一步细分，划分为更小的空间范围，这个更小的空间范围对应的所有时空元结构存入指向的StoreFile中的某部分；
S2：同时，也将该Region server中所涉及到的时间部分进一步细分，划分为更新的时间空间，这个更小的时间范围对应的所有时空元结构存入指向的StoreFile中的某部分。
本发明充分考虑Region server中的MemStore这一内存结构，利用MemStore在内存中的作用通过索引空间和时间进行快速对StoreFile进行定位。以上存储会出现重复存储，但这在检索时会根据时间和空间的选择率自动判断是利用时间索引还是空间索引，这可以大大提高检索效率。
StoreFile存储设计：
StoreFile是一种Key-Value（键值）形式的外存结构，本发明利用StoreFile对时空元结构进行存储。整个时空元结构是一种树状结构，本发明利用JSON形式对时空元结构进行表示，由于JSON也是Key-Value形式，因此时空元结构以JSON形式存入StoreFile。针对多个时空元结构，由于JSON本身具备数组表示能力，因此可以利用JSON数组存入StoreFile。
在其中一个实施例中，如图4所示，提供一种多源异构航天信息资源检索方法，步骤如下：
步骤402，根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合。
剖片集合中包括多个剖片。
步骤404，根据剖片中预先获取的多源异构航天信息资源，确定有效时间区间。
步骤406，根据剖片、多源异构航天信息资源和有效时间区间，确定键值树。
步骤408，根据剖片、键值树以及有效时间区间，构建航天信息时空元结构。
步骤410，将航天信息时空元结构存入分布式存储数据库。
分布式存储数据库中包括元数据表的一级索引和区域服务器中内存库和存储库构成的二级索引；航天信息时空元结构中的剖片存入元数据表中，以及将键值树通过内存库和存储库按照有效时间区间和剖片对应的细分空间区间，分别存入存储库。
步骤412，获取预先设置的检索条件，根据检索条件、一级索引和二级索引，进行多源异构航天信息资源的检索。
在其中一个实施例，将查询条件按照时间和空间进行划分，得到空间检索条件；对空间检索条件进行转换，得到编码集合；根据编码集合，进行一级索引的检索，得到对应的区域服务器位置；将查询条件进行编码，得到时空查询条件；根据时空查询条件，进行二级索引的检索，得到对应的查询结果。
具体的，给定时空查询条件
Figure 201096DEST_PATH_IMAGE027
，基于本发明的航天信息资源时空检索如下：
S1：将空间检索条件
Figure 972743DEST_PATH_IMAGE028
依据空间剖分方法进行转换为一系列1维编码值集合
Figure 657802DEST_PATH_IMAGE029
；
S2：将集合
Figure 9149DEST_PATH_IMAGE029
中的逐个编码查询第一级索引结构Meta table，过滤出对应region server集合
Figure 830475DEST_PATH_IMAGE030
；
S3：针对集合
Figure 233075DEST_PATH_IMAGE031
中的每个region server，通过MemStore中的空间索引和时间索引评估对应的空间选择率和时间选择率；
S31：若空间选择率低，则利用MemStore中的空间索引检索StoreFile，再具体查看StoreFile中的时空元结构是否满足时空查询条件
Figure 874272DEST_PATH_IMAGE032
；
S311：若满足则加入结果列表R，否则丢弃；
S32：若时间选择率低，则利用MemStore中的时间索引检索StoreFile，再具体查看StoreFile中的时空元结构是否满足时空查询条件
Figure 763731DEST_PATH_IMAGE033
；
S321：若满足则加入结果列表R，否则丢弃；
S4：返回结果列表R。
应该理解的是，虽然图1和4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种多源异构航天信息资源存储装置，包括：剖分模块502、键值树构建模块504、时空元构建模块506和存储模块508，其中：
剖分模块502，用于根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
键值树构建模块504，用于根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
时空元构建模块506，用于根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
存储模块508，用于将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入所述存储库。
在其中一个实施例中，剖分模块502还用于根据预先设置的多个剖分策略，对参考空间进行不同粒度的剖分，得到包含多个剖分子集的剖分集合为：
Figure 501880DEST_PATH_IMAGE034
其中，
Figure 818591DEST_PATH_IMAGE035
表示粒度为r的剖分子集，
Figure 212664DEST_PATH_IMAGE036
、
Figure 905813DEST_PATH_IMAGE037
表示粒度为r的子剖分集合中的剖片，S表示参考空间，
Figure 701731DEST_PATH_IMAGE038
表示粒度为r的剖分子集中剖片的数量，对于任意
Figure 454923DEST_PATH_IMAGE039
，
Figure 70712DEST_PATH_IMAGE040
，存在
Figure 301974DEST_PATH_IMAGE041
中满足
Figure 952398DEST_PATH_IMAGE042
。
在其中一个实施例中，键值树构建模块504还用于根据所述剖片和所述有效时间区间，组成时空片段，将所述时空片段确定为根节点；根据多源异构航天信息资源对应分类的文本数据，确定为中间节点；根据多源异构航天信息资源构建的键值对，确定为叶节点；根据所述根节点、中间节点和叶节点，确定键值树。
在其中一个实施例中，键值树构建模块504还用于确定所述多源异构航天信息资源的描述信息；所述描述信息包括：编目信息和应用拓展信息；所述编目信息为多级编目，所述多级编目的每一级包含所述多源异构航天信息资源中对应的多个键值对；所述应用拓展信息为所述编目信息中拓展得到的多个键值对；根据所述键值对，确定为叶节点。
在其中一个实施例中，还包括编码模块，用于对所述航天信息时空元结构进行全局编码。
在其中一个实施例中，存储模块508还用于将航天信息时空元结构中的剖片对应的空间编码存入分布式存储数据库的元数据表中；根据有效时间区间和剖片对应的细分空间区间，构建时空元结构；将所述时空元结构对应的时空编码在分布式存储数据库的内存库中进行结构存储；所述元数据表与所述内存库对应，所述元数据表中的所述剖片与所述内存库中的时空元结构对应；将航天信息时空元结构中的多源异构航天信息资源存储在分布式存储数据库的存储库中；所述存储库与所述内存库对应，所述存储库中的多源异构航天信息资源与所述内存库中的时空元结构对应。
关于多源异构航天信息资源存储装置的具体限定可以参见上文中对于多源异构航天信息资源存储方法的限定，在此不再赘述。上述多源异构航天信息资源存储装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多源异构航天信息资源。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多源异构航天信息资源存储与检索方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种多源异构航天信息资源存储方法，其特征在于，所述方法包括：
根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；
根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照所述有效时间区间和剖片对应的细分空间区间，存入所述存储库；
根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树，包括：
根据所述剖片和所述有效时间区间，组成时空片段，将所述时空片段确定为根节点；
根据多源异构航天信息资源对应分类的文本数据，确定为中间节点；
根据多源异构航天信息资源构建的键值对，确定为叶节点；
根据所述根节点、中间节点和叶节点，确定键值树；
所述根据多源异构航天信息资源构建的键值对，确定为叶节点，包括：
确定所述多源异构航天信息资源的描述信息；所述描述信息包括：编目信息和应用拓展信息；所述编目信息为多级编目，所述多级编目的每一级包含所述多源异构航天信息资源中对应的多个键值对；所述应用拓展信息为所述编目信息中拓展得到的多个键值对；
根据所述键值对，确定为叶节点。
2.根据权利要求1所述的方法，其特征在于，所述根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合，包括：
根据预先设置的多个剖分策略，对参考空间进行不同粒度的剖分，得到包含多个剖分子集的剖分集合为：
Figure 544096DEST_PATH_IMAGE001
其中，
Figure 51301DEST_PATH_IMAGE002
表示粒度为r的剖分子集，
Figure 592004DEST_PATH_IMAGE003
、
Figure 376420DEST_PATH_IMAGE004
表示粒度为r的子剖分集合中的剖片，S表示参考空间，
Figure 977166DEST_PATH_IMAGE005
表示粒度为r的剖分子集中剖片的数量，对于任意
Figure 971667DEST_PATH_IMAGE006
，
Figure 316060DEST_PATH_IMAGE007
，存在
Figure 949124DEST_PATH_IMAGE008
中满足
Figure 986350DEST_PATH_IMAGE009
。
3.根据权利要求1所述的方法，其特征在于，在将所述航天信息时空元结构存入分布式存储数据库之前，所述方法还包括：
对所述航天信息时空元结构进行全局编码。
4.根据权利要求3所述的方法，其特征在于，所述将所述航天信息时空元结构存入分布式存储数据库，包括：
将航天信息时空元结构中的剖片对应的空间编码存入分布式存储数据库的元数据表中；
根据有效时间区间和剖片对应的细分空间区间，构建时空元结构；
将所述时空元结构对应的时空编码在分布式存储数据库的内存库中进行结构存储；所述元数据表与所述内存库对应，所述元数据表中的所述剖片与所述内存库中的时空元结构对应；
将航天信息时空元结构中的多源异构航天信息资源存储在分布式存储数据库的存储库中；所述存储库与所述内存库对应，所述存储库中的多源异构航天信息资源与所述内存库中的时空元结构对应。
5.一种多源异构航天信息资源检索方法，其特征在于，所述方法包括：
根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；
根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入所述存储库；
获取预先设置的检索条件，根据所述检索条件、所述一级索引和所述二级索引，进行多源异构航天信息资源的检索；
根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树，包括：
根据所述剖片和所述有效时间区间，组成时空片段，将所述时空片段确定为根节点；
根据多源异构航天信息资源对应分类的文本数据，确定为中间节点；
根据多源异构航天信息资源构建的键值对，确定为叶节点；
根据所述根节点、中间节点和叶节点，确定键值树；
所述根据多源异构航天信息资源构建的键值对，确定为叶节点，包括：
确定所述多源异构航天信息资源的描述信息；所述描述信息包括：编目信息和应用拓展信息；所述编目信息为多级编目，所述多级编目的每一级包含所述多源异构航天信息资源中对应的多个键值对；所述应用拓展信息为所述编目信息中拓展得到的多个键值对；
根据所述键值对，确定为叶节点。
6.根据权利要求5所述的方法，其特征在于，所述获取预先设置的检索条件，根据所述检索条件、所述一级索引和所述二级索引，进行多源异构航天信息资源的检索，包括：
将所述检索条件按照时间和空间进行划分，得到空间检索条件；
对所述空间检索条件进行转换，得到编码集合；
根据所述编码集合，进行一级索引的检索，得到对应的区域服务器位置；
将所述检索条件进行编码，得到时空查询条件；
根据所述时空查询条件，进行二级索引的检索，得到对应的查询结果。
7.一种多源异构航天信息资源存储装置，其特征在于，所述装置包括：
剖分模块，用于根据预先设置的剖分策略，对参考空间进行划分，得到剖片集合；所述剖片集合中包括多个剖片；
键值树构建模块，用于根据所述剖片中预先获取的多源异构航天信息资源，确定有效时间区间；根据所述剖片、所述多源异构航天信息资源和所述有效时间区间，确定键值树；
时空元构建模块，用于根据所述剖片、所述键值树以及所述有效时间区间，构建航天信息时空元结构；
存储模块，用于将所述航天信息时空元结构存入分布式存储数据库；其中，所述分布式存储数据库中包括元数据表的一级索引以及区域服务器中内存库和存储库构成的二级索引；所述航天信息时空元结构中的剖片存入所述元数据表中，以及将所述键值树通过所述内存库和存储库按照有效时间区间和剖片对应的细分空间区间，存入所述存储库；
所述键值树构建模块还用于根据所述剖片和所述有效时间区间，组成时空片段，将所述时空片段确定为根节点；根据多源异构航天信息资源对应分类的文本数据，确定为中间节点；根据多源异构航天信息资源构建的键值对，确定为叶节点；根据所述根节点、中间节点和叶节点，确定键值树；
所述键值树构建模块还用于确定所述多源异构航天信息资源的描述信息；所述描述信息包括：编目信息和应用拓展信息；所述编目信息为多级编目，所述多级编目的每一级包含所述多源异构航天信息资源中对应的多个键值对；所述应用拓展信息为所述编目信息中拓展得到的多个键值对；
根据所述键值对，确定为叶节点。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202011200418.9A 2020-11-02 2020-11-02 多源异构航天信息资源存储方法、检索方法和装置 Active CN112100525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011200418.9A CN112100525B (zh) 2020-11-02 2020-11-02 多源异构航天信息资源存储方法、检索方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011200418.9A CN112100525B (zh) 2020-11-02 2020-11-02 多源异构航天信息资源存储方法、检索方法和装置

Publications (2)

Publication Number Publication Date
CN112100525A CN112100525A (zh) 2020-12-18
CN112100525B true CN112100525B (zh) 2021-02-12

Family

ID=73785156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011200418.9A Active CN112100525B (zh) 2020-11-02 2020-11-02 多源异构航天信息资源存储方法、检索方法和装置

Country Status (1)

Country Link
CN (1) CN112100525B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN106534257A (zh) * 2016-09-29 2017-03-22 国家电网公司 一种多层次集群式架构的多源安全日志采集系统及方法
CN107193967A (zh) * 2017-05-25 2017-09-22 南开大学 一种多源异构行业领域大数据处理全链路解决方案

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108637B2 (en) * 2016-03-08 2018-10-23 International Business Machines Corporation Spatial-temporal storage system, method, and recording medium
CN108614836A (zh) * 2016-12-13 2018-10-02 上海仪电（集团）有限公司中央研究院 一种基于Hbase的时空数据管理方法
CN107590250A (zh) * 2017-09-18 2018-01-16 广州汇智通信技术有限公司 一种时空轨迹生成方法及装置
CN110765331B (zh) * 2019-07-08 2024-03-26 中国人民解放军战略支援部队信息工程大学 一种时空数据的检索方法及系统
CN111666370B (zh) * 2020-07-28 2022-04-22 中国人民解放军国防科技大学 面向多源异构航天数据的语义索引方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN106534257A (zh) * 2016-09-29 2017-03-22 国家电网公司 一种多层次集群式架构的多源安全日志采集系统及方法
CN107193967A (zh) * 2017-05-25 2017-09-22 南开大学 一种多源异构行业领域大数据处理全链路解决方案

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hbase中半结构化时空数据存储与查询处理;封孝生等;《国防科技大学学报》;20160630;正文第174-181页 *
Hbase时空查询算法研究;张翀等;《小型微型计算机系统》;20161230;正文第2409-2415页 *
spatio-temporal queries in HBase;chenxiaoying;《Proceedings of the International conference on computational intelligence & communication Technology》;20151231;正文第1868-1876页 *

Also Published As

Publication number Publication date
CN112100525A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
US9710493B2 (en) Approximate K-means via cluster closures
CN107391502B (zh) 时间间隔的数据查询方法、装置及索引构建方法、装置
CN109726664B (zh) 一种智能表盘推荐方法、系统、设备及存储介质
Song et al. Solutions for processing k nearest neighbor joins for massive data on mapreduce
CN107241414B (zh) 一种基于zigzag解码的私人信息检索方法及系统
CN104408163A (zh) 一种数据分级存储方法和装置
Yang et al. A scalable data chunk similarity based compression approach for efficient big sensing data processing on cloud
CN104778182A (zh) 基于HBase的数据导入方法和系统
CN112070550A (zh) 基于搜索平台的关键词确定方法、装置、设备及存储介质
Zhu et al. SciCSM: novel contrast set mining over scientific datasets using bitmap indices
CN112100525B (zh) 多源异构航天信息资源存储方法、检索方法和装置
CN110888872A (zh) 数据存储方法、装置、计算机设备和存储介质
JP2010277329A (ja) 近傍探索装置
CN112699195B (zh) 地理空间数据处理方法、装置、计算机设备及存储介质
Yan et al. An improved coverage-oriented retrieval algorithm for large-area remote sensing data
Wang et al. Data mining applications in big data
CN109460500B (zh) 热点事件发现方法、装置、计算机设备和存储介质
CN111178024B (zh) 数据表拼接方法、装置、计算机设备和存储介质
WO2017065795A1 (en) Incremental update of a neighbor graph via an orthogonal transform based indexing
WO2020142251A1 (en) Prediction for time series data using a space partitioning data structure
CN110245151B (zh) 数据点组查询方法、装置、计算机设备和存储介质
CN110781310A (zh) 目标概念图谱的构建方法、装置、计算机设备和存储介质
CN114648279A (zh) 候选装卸货点位推荐方法、装置、计算机设备和存储介质
CN104794237A (zh) 网页信息处理方法及装置
Xue et al. A contiguous column coherent evolution biclustering algorithm for time-series gene expression data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant