CN109241211A - 基于分布式数据库的遥感影像空间信息存储管理方法 - Google Patents
基于分布式数据库的遥感影像空间信息存储管理方法 Download PDFInfo
- Publication number
- CN109241211A CN109241211A CN201810745556.1A CN201810745556A CN109241211A CN 109241211 A CN109241211 A CN 109241211A CN 201810745556 A CN201810745556 A CN 201810745556A CN 109241211 A CN109241211 A CN 109241211A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- download
- resource
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于分布式数据库的遥感影像空间信息存储管理方法，具体步骤如下：步骤一，客户端调用路由进程向资源端发送遥感影像空间信息请求，资源端读取数据与分片的对应关系信息；步骤二，资源端读取分片中存储的数据，并经由路由进程将读取的数据集合返回客户端；步骤三，客户端通过分布式数据库将集合的数据切分成小块，并分散存储到分布式数据库的若干分片中。本发明由于分布式数据库具有无模式的特性，无需定义表结构，可在用户需要时对表结构进行设计，分布式数据库易于支持多用户环境下不同格式及属性的数据存储。基于分布式数据库可扩展系统结构的优势，分担存储负荷，利用定位存储信息，从而提高系统的可靠性、可用性和存取效率，还易于扩展。
Description
技术领域
本发明涉及遥感影像数据存储管理方法的技术领域，特别涉及一种基于分布式数据库的遥感影像空间信息存储管理方法。
背景技术
利用遥感数据和融合技术，对区域进行监测、预警和分析，以及制定具体的防灾方案和采取有效的防治措施都具有重大意义。而如何有效地管理区域的多时相、精细化的海量地形地貌历史数据，航空遥感和卫星遥感技术实时获取最新数据，支持高效存储和调度，以及满足应急救灾的科学决策和应用需要，都已成为遥感影像空间信息数据库数据管理的难点。遥感影像数据的存取满足长尾理论，即大部分的数据库存取集中在少部分的现势性数据上，显然，应该使活跃的现势性地形数据能更便于有效存取。
然而，传统的关系型数据模型和数据组织结构，只是在概念和逻辑层面实现数据组织的完整性，包括序列快照模型、基图修正模型、空间-时间组合体模型和空间-时间立方体模型等，并没有考虑遥感影像数据的存取权重，而且物理实现统一采用磁盘存储，导致磁盘I/O成为数据库调度性能的瓶颈，极大地增加了磁盘I/O负荷和数据调度时间。
发明内容
本发明为了解决上述技术问题，而提供一种基于分布式数据库的遥感影像空间信息存储管理方法。
本发明所采取的技术方案是：
本发明的基于分布式数据库的遥感影像空间信息存储管理方法，具体步骤如下：
步骤一，客户端调用路由进程向资源端发送遥感影像空间信息请求，资源端读取数据与分片的对应关系信息；
步骤二，资源端读取分片中存储的数据，并经由路由进程将读取的数据集合返回客户端；
步骤三，客户端通过分布式数据库将集合的数据切分成小块，并分散存储到分布式数据库的若干分片中。
所述的步骤一中，客户端向资源端发送遥感影像空间信息请求，每发送一次请求，资源端在数据申请信息记录日志表中增加一条日志信息，记录请求发送时间、查询开始时间、查询结束时间以及查询结果总记录数据，并将从查询结果保存到数据申请信息记录日志表中，在数据申请信息记录日志表中标记该遥感影像下载状态为未下载。
所述的步骤二中，资源端查询遥感影像下载状态为未下载的遥感影像在数据申请信息记录日志表中的记录，并将未下载的遥感影像记录存放到下载队列中，在数据申请信息记录日志表中更新遥感影像下载状态为等待下载。
所述的步骤二中，资源端从下载队列中获取遥感影像下载地址并下载遥感影像缩略图，判断遥感影像缩略图下载是否成功，若成功，在数据申请信息记录日志表中更新遥感影像下载状态为下载成功，若失败，判断遥感影像下载次数是否超出指定下载次数，若是，在数据申请信息记录日志表中更新遥感影像下载状态为下载失败，存储状态异常，并在数据申请信息记录日志表中记录下载失败原因，若否，将未下载的遥感影像记录重新存放到下载队列中。
所述的步骤二中，资源端查询下载状态为下载成功的遥感影像缩略图，将遥感影像缩略图存放到向分布式数据库发送请求的队列中。
所述的步骤三中，客户端从向分布式数据库发送请求的队列中读取遥感影像缩略图，向分布式数据库发送存储请求，调用分布式数据库的交叉接口和内部接口区分该遥感影像缩略图所处的空间位置，并存储至相应的遥感影像空间信息表中，存储成功后，在资源端的数据申请信息记录日志表中记录存储状态为存储成功，并记录存储请求发送时间。
本发明具有的优点和积极效果是：
本发明由于分布式数据库具有无模式的特性，无需定义表结构，可在用户需要时对表结构进行设计，分布式数据库易于支持多用户环境下不同格式及属性的数据存储。基于分布式数据库可扩展系统结构的优势，分担存储负荷，利用定位存储信息，从而提高系统的可靠性、可用性和存取效率，还易于扩展。
附图说明
图1是本发明的流程示意图。
具体实施方式
以下参照附图及实施例对本发明进行详细的说明。
如图1所示，本发明的基于分布式数据库的遥感影像空间信息存储管理方法，具体步骤如下：
步骤一，客户端调用路由进程向资源端发送遥感影像空间信息请求，资源端读取数据与分片的对应关系信息；
步骤二，资源端读取分片中存储的数据，并经由路由进程将读取的数据集合返回客户端；
步骤三，客户端通过分布式数据库，即MongoDB数据库，将集合的数据切分成小块，并分散存储到分布式数据库的若干分片中。
所述的步骤一中，客户端向资源端发送遥感影像空间信息请求，每发送一次请求，资源端在数据申请信息记录日志表中增加一条日志信息，记录请求发送时间、查询开始时间、查询结束时间以及查询结果总记录数据，并将从查询结果保存到数据申请信息记录日志表中，在数据申请信息记录日志表中标记该遥感影像下载状态为未下载。
所述的步骤二中，资源端查询遥感影像下载状态为未下载的遥感影像在数据申请信息记录日志表中的记录，并将未下载的遥感影像记录存放到下载队列中，在数据申请信息记录日志表中更新遥感影像下载状态为等待下载。
所述的步骤二中，资源端从下载队列中获取遥感影像下载地址并下载遥感影像缩略图，判断遥感影像缩略图下载是否成功，若成功，在数据申请信息记录日志表中更新遥感影像下载状态为下载成功，若失败，判断遥感影像下载次数是否超出指定下载次数，若是，在数据申请信息记录日志表中更新遥感影像下载状态为下载失败，存储状态异常，并在数据申请信息记录日志表中记录下载失败原因，若否，将未下载的遥感影像记录重新存放到下载队列中。
所述的步骤二中，资源端查询下载状态为下载成功的遥感影像缩略图，将遥感影像缩略图存放到向分布式数据库发送请求的队列中。
所述的步骤三中，客户端从向分布式数据库发送请求的队列中读取遥感影像缩略图，向分布式数据库发送存储请求，调用分布式数据库的交叉接口和内部接口区分该遥感影像缩略图所处的空间位置，并存储至相应的遥感影像空间信息表中，存储成功后，在资源端的数据申请信息记录日志表中记录存储状态为存储成功，并记录存储请求发送时间。
本发明在扩展性方面，分布式数据库即MongoDB数据库提供主从复制和副本集复制2种方式，满足了冗余备份与高可用性，相对于主从复制，副本集复制在保证自动故障转移方面更具有优势。同时，MongoDB数据库还提供自动切片功能，易于实现横向扩展。而且多用户存储带来较大数据量和频繁的I/O操作，可采用自动切片与副本集复制相结合的方式，将不同的数据集合放在不同的分片，每一个分片都有多个副本分布在不同机器中，实现数据库服务器的自动故障转移、负载均衡以及自动扩展。
本发明将存取频率高的现势性地形数据存储在内存上，将历时数据存储在磁盘上，现势性地形数据的调取就可以消除内外存的磁盘I/O。这样不仅可以降低用户并发环境下服务器端磁盘的吞吐压力，也可以保证客户端的调度和绘制效率，充分挖掘了分布式数据库即MongoDB数据库的性能优势。
Claims (6)
1.一种基于分布式数据库的遥感影像空间信息存储管理方法，其特征在于：具体步骤如下：
步骤一，客户端调用路由进程向资源端发送遥感影像空间信息请求，资源端读取数据与分片的对应关系信息；
步骤二，资源端读取分片中存储的数据，并经由路由进程将读取的数据集合返回客户端；
步骤三，客户端通过分布式数据库将集合的数据切分成小块，并分散存储到分布式数据库的若干分片中。
2.根据权利要求1所述的基于分布式数据库的遥感影像空间信息存储管理方法，其特征在于：所述的步骤一中，客户端向资源端发送遥感影像空间信息请求，每发送一次请求，资源端在数据申请信息记录日志表中增加一条日志信息，记录请求发送时间、查询开始时间、查询结束时间以及查询结果总记录数据，并将从查询结果保存到数据申请信息记录日志表中，在数据申请信息记录日志表中标记该遥感影像下载状态为未下载。
3.根据权利要求1所述的基于分布式数据库的遥感影像空间信息存储管理方法，其特征在于：所述的步骤二中，资源端查询遥感影像下载状态为未下载的遥感影像在数据申请信息记录日志表中的记录，并将未下载的遥感影像记录存放到下载队列中，在数据申请信息记录日志表中更新遥感影像下载状态为等待下载。
4.根据权利要求3所述的基于分布式数据库的遥感影像空间信息存储管理方法，其特征在于：所述的步骤二中，资源端从下载队列中获取遥感影像下载地址并下载遥感影像缩略图，判断遥感影像缩略图下载是否成功，若成功，在数据申请信息记录日志表中更新遥感影像下载状态为下载成功，若失败，判断遥感影像下载次数是否超出指定下载次数，若是，在数据申请信息记录日志表中更新遥感影像下载状态为下载失败，存储状态异常，并在数据申请信息记录日志表中记录下载失败原因，若否，将未下载的遥感影像记录重新存放到下载队列中。
5.根据权利要求4所述的基于分布式数据库的遥感影像空间信息存储管理方法，其特征在于：所述的步骤二中，资源端查询下载状态为下载成功的遥感影像缩略图，将遥感影像缩略图存放到向分布式数据库发送请求的队列中。
6.根据权利要求1所述的基于分布式数据库的遥感影像空间信息存储管理方法，其特征在于：所述的步骤三中，客户端从向分布式数据库发送请求的队列中读取遥感影像缩略图，向分布式数据库发送存储请求，调用分布式数据库的交叉接口和内部接口区分该遥感影像缩略图所处的空间位置，并存储至相应的遥感影像空间信息表中，存储成功后，在资源端的数据申请信息记录日志表中记录存储状态为存储成功，并记录存储请求发送时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810745556.1A CN109241211A (zh) | 2018-07-09 | 2018-07-09 | 基于分布式数据库的遥感影像空间信息存储管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810745556.1A CN109241211A (zh) | 2018-07-09 | 2018-07-09 | 基于分布式数据库的遥感影像空间信息存储管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109241211A true CN109241211A (zh) | 2019-01-18 |
Family
ID=65071824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810745556.1A Pending CN109241211A (zh) | 2018-07-09 | 2018-07-09 | 基于分布式数据库的遥感影像空间信息存储管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109241211A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413571A (zh) * | 2019-07-01 | 2019-11-05 | 中国科学院遥感与数字地球研究所 | 基于MongoDB大规模遥感影像数据分布式存储方法 |
| CN114996600A (zh) * | 2022-08-03 | 2022-09-02 | 成都经纬达空间信息技术有限公司 | 一种多时相影像管理数据库数据写入、读取方法及装置 |
| CN116842029A (zh) * | 2023-09-01 | 2023-10-03 | 天津理工大学 | 一种资产管理方法、装置、计算机设备和存储介质 |
-
2018
- 2018-07-09 CN CN201810745556.1A patent/CN109241211A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413571A (zh) * | 2019-07-01 | 2019-11-05 | 中国科学院遥感与数字地球研究所 | 基于MongoDB大规模遥感影像数据分布式存储方法 |
| CN114996600A (zh) * | 2022-08-03 | 2022-09-02 | 成都经纬达空间信息技术有限公司 | 一种多时相影像管理数据库数据写入、读取方法及装置 |
| CN116842029A (zh) * | 2023-09-01 | 2023-10-03 | 天津理工大学 | 一种资产管理方法、装置、计算机设备和存储介质 |
| CN116842029B (zh) * | 2023-09-01 | 2023-11-17 | 天津理工大学 | 一种资产管理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11086545B1 (en) | Optimizing a storage system snapshot restore by efficiently finding duplicate data | |
| US11755415B2 (en) | Variable data replication for storage implementing data backup | |
| US6857001B2 (en) | Multiple concurrent active file systems | |
| US10678452B2 (en) | Distributed deletion of a file and directory hierarchy | |
| US7234077B2 (en) | Rapid restoration of file system usage in very large file systems | |
| EP1782289B1 (en) | Metadata management for fixed content distributed data storage | |
| US6604118B2 (en) | File system image transfer | |
| US7284150B2 (en) | System and method for reliably storing data and providing efficient incremental backup and asynchronous mirroring by preferentially handling new data | |
| US7546486B2 (en) | Scalable distributed object management in a distributed fixed content storage system | |
| US8935211B2 (en) | Metadata management for fixed content distributed data storage | |
| US7840539B2 (en) | Method and system for building a database from backup data images | |
| US20020049718A1 (en) | File system image transfer | |
| CN109241211A (zh) | 基于分布式数据库的遥感影像空间信息存储管理方法 | |
| JP2010102738A (ja) | ハードウェアベースのファイルシステムのための装置および方法 | |
| KR20140026515A (ko) | 분산 저장 환경에서의 동기 복제 기법 | |
| US11934280B2 (en) | Use of cluster-level redundancy within a cluster of a distributed storage management system to address node-level errors | |
| US20230145784A1 (en) | Combined garbage collection and data integrity checking for a distributed key-value store | |
| CN101901173A (zh) | 一种灾备系统及灾备方法 | |
| CN110046270A (zh) | 基于MongoDB的信息存储管理方法 | |
| CN108023914B (zh) | 一种内存数据共享系统、内存数据的写入以及读取方法 | |
| CN111309794A (zh) | 一种数据存储引擎 | |
| CN115268801B (zh) | 块设备的备份系统和方法 | |
| US20200250147A1 (en) | Managing replica unavailibility in a distributed file system | |
| Devi et al. | Architecture for Hadoop Distributed File Systems | |
| AU2011265370A1 (en) | Metadata management for fixed content distributed data storage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 300384 South 2-202 industrial incubation, No. 18, Haitai West Road, Huayuan Industrial Zone, Binhai New Area, Tianjin Applicant after: Zhongke remote sensing science and Technology Group Co Ltd Address before: 300384 Tianjin Xiqing Binhai High-tech Zone Huayuan Industrial Zone No. 18 Haitai West Road South 2-202 Industrial Incubation Applicant before: Zhongke remote sensing science and Technology Group Co Ltd |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190118 |