CN103530203B - 遥感卫星数据的异地备份系统及方法 - Google Patents

遥感卫星数据的异地备份系统及方法 Download PDF

Info

Publication number
CN103530203B
CN103530203B CN201310475923.8A CN201310475923A CN103530203B CN 103530203 B CN103530203 B CN 103530203B CN 201310475923 A CN201310475923 A CN 201310475923A CN 103530203 B CN103530203 B CN 103530203B
Authority
CN
China
Prior art keywords
data
satellite
unit
filing
catalogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310475923.8A
Other languages
English (en)
Other versions
CN103530203A (zh
Inventor
冯旭祥
冯钟葵
唐梦辉
李安
屈国栋
陈俊
孙晓瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH CHINESE ACADEMY OF SCIENCES
Original Assignee
CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH CHINESE ACADEMY OF SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH CHINESE ACADEMY OF SCIENCES filed Critical CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH CHINESE ACADEMY OF SCIENCES
Priority to CN201310475923.8A priority Critical patent/CN103530203B/zh
Publication of CN103530203A publication Critical patent/CN103530203A/zh
Application granted granted Critical
Publication of CN103530203B publication Critical patent/CN103530203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种遥感卫星数据的异地备份系统及方法,其中的系统包括数据交换单元、数据质量管理单元、数据备份单元和管理调度单元,其中,数据交换单元将本地所发送的卫星归档数据和编目数据的压缩数据进行解压,在异地获得解压后的卫星归档数据和编目数据,然后数据质量管理单元进行数据传输的完整性和一致性检查;利用数据备份单元将卫星归档数据和编目数据分别存入异地的文件库和数据库中进行备份,并在异地对编目数据进行发布;管理调度单元对数据交换单元、数据质量管理单元和数据备份单元进行管理和调度。通过本发明能够完成对卫星数据在本地和异地的互备份、互检索和快速恢复,实现卫星数据管理的高效性与数据传输的一致性。

Description

遥感卫星数据的异地备份系统及方法
技术领域
本发明涉及遥感卫星信息处理技术领域,更为具体地,涉及一种遥感卫星数据的异地备份方法及系统。
背景技术
随着遥感技术的广泛应用,遥感卫星数据为人们发现并动态跟踪事物或者物体的变化提供了重要依据。遥感卫星将采集到的数据进行下传,通过接收系统对数据进行接收和记录,然后将接收和记录的数据保存到磁盘或者磁带等介质中进行存档,同时交由遥感卫星数据处理系统进行编目处理,生成编目信息,并通过编目注入将编目信息存入数据库中。存档的卫星数据与其编目信息构成了卫星归档数据的内容。
由于遥感卫星数据的存储方式采用本地存储和单介质保存,因此给数据存储的安全性带来了隐患,而简单的多介质保存又不能从根本上解决数据的安全存储问题。为了有效地保护国家珍贵的遥感卫星数据资源,需要通过建立一套机制和系统,在与本地相距较远的异地建立卫星数据的备份、存储和管理,以有效解决卫星数据的安全存储问题。即通过建立的数据异地备份系统来保证卫星数据的长久安全保存。
传统的遥感卫星数据异地备份,一般是利用交通工具将载有遥感卫星数据的移动介质从本地站点运送到异地站点进行保存。此种方法虽然能够保证数据的异地备份,但其具有明显的弊端,主要体现在:
1、备份周期较长,选择的异地站点一般距本地站点较远,使用交通工具进行运送的时间开销会较大且备份费用高。
2、备份管理难度大,由于备份的移动介质处于离线状态,因此无法获取备份数据的状态,也不便对已备份数据的检索。
3、备份数据恢复过程复杂且恢复速度较慢。
4、备份数据的存储质量难以保证,如果一旦移动介质出现问题,所备份的数据也将难以恢复。
目前,随着网络技术的发展,越来越多的数据异地备份采用了基于网络的备份方法,但是由于遥感卫星数据具有数据量大、卫星归档数据构成复杂以及备份的建立过程也复杂等特点,从而造成遥感卫星数据的异地备份在初始建立、数据一致性保持和数据管理方面都存在困难,进而无法满足遥感卫星数据异地备份的需求。
发明内容
鉴于上述问题,本发明的目的是提供一种遥感卫星数据的异地备份系统及方法,通过网络传输方式完成对卫星数据的异地备份,以保证数据管理的高效性与数据传输的一致性。
根据本发明的一个方面,提供一种遥感卫星数据的异地备份系统,包括:数据交换单元、数据质量管理单元数据备份单元和管理调度单元,其中,
数据交换单元用于通过网络接收本地发送的备份请求以及需要备份的卫星归档数据和编目数据的压缩数据,然后将卫星归档数据和编目数据的压缩数据进行解压,在异地获得解压后的卫星归档数据和编目数据;
数据质量管理单元用于获取在数据交换单元中所获得的解压后的卫星归档数据和编目数据,并对所获取的卫星归档数据和编目数据进行数据传输的完整性和一致性检查;
数据备份单元用于将卫星归档数据和编目数据分别存入异地的文件库和数据库中进行备份,并在异地对编目数据进行发布;
管理调度单元用于对数据交换单元、数据质量管理单元和数据备份单元进行管理和调度。
其中,管理调度单元进一步包括:分配单元,用于对卫星归档数据和编目数据进行备份、恢复和一致性检查并提供用户界面;调度单元,用于对卫星归档数据和编目数据的备份过程与恢复过程进行调度。
其中,本发明提供的遥感卫星的异地备份系统进一步包括:
备份请求发起单元,用于在本地向异地发起数据备份请求;
数据准备单元,用于在本地将所述卫星归档数据和所述编目数据转换成适用于进行数据传输的数据形式;
数据压缩单元,用于在本地将待传输的所述卫星归档数据和所述编目数据进行数据压缩;
数据传输单元,用于在本地将数据压缩单元所压缩的所述卫星归档数据和所述编目数据传输到异地。
其中,本发明提供的遥感卫星的异地备份系统进一步包括,数据恢复单元,用于通过管理调度单元的管理调度对数据备份单元中备份的卫星归档数据和编目数据进行恢复。
另一方面,本发明提供一种遥感卫星数据的异地备份方法,包括:
异地通过网络接收本地发送的备份请求;
异地通过网络接收本地所发送的卫星归档数据和编目数据的压缩数据,然后将获取的压缩数据进行解压,在异地获得解压后的卫星归档数据和编目数据,并对解压后的卫星归档数据和编目数据进行数据传输的完整性和一致性检查;
将解压后的卫星归档数据和编目数据分别存入异地系统的文件库和数据库中进行备份,并在异地对编目数据进行发布。
其中,本发明提供的遥感卫星数据的异地备份方法还包括:本地向异地发起数据备份请求;
本地将所述卫星归档数据和所述编目数据转换成适用于进行数据传输的数据形式;
本地将待传输的所述卫星归档数据和所述编目数据进行数据压缩;
本地将压缩的所述卫星归档数据和所述编目数据传输到异地。
利用上述根据本发明的遥感卫星数据的异地备份系统及方法,能够完成对卫星数据在本地和异地的互备份、互检索和快速恢复,实现卫星数据管理的高效性与数据传输的一致性。
为了实现上述以及相关目的,本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而,这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外,本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明及权利要求书的内容,并且随着对本发明的更全面理解,本发明的其它目的及结果将更加明白及易于理解。在附图中:
图1为根据本发明实施例的遥感卫星数据的异地备份系统的逻辑结构图;
图2为根据本发明实施例的遥感卫星数据的异地备份流程示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
以下将结合附图对本发明的具体实施例进行详细描述。
针对前述的现有的遥感卫星数据的异地备份方法卫星归档数据在建立备份、数据一致性保持和数据管理方面存在困难,无法满足异地备份需求的问题,本发明通过网络传输方式完成对卫星数据的异地备份,实现数据的高效一致性传输,并在本地与异地完成对备份数据的检索与管理,有效实现卫星数据的恢复。
为了详细描述本发明提供的遥感卫星数据的异地备份系统,图1示出了根据本发明实施例的遥感卫星数据的异地备份系统的逻辑结构。
需要说明的是,本发明提供的遥感卫星数据的异地备份系统中的所有逻辑结构都与本地系统的逻辑结构相同。在进行卫星数据的备份时,本地系统通过本地系统的逻辑结构将本地的数据传送到异地系统,异地系统通过异地系统的逻辑结构将本地系统所传送的数据进行存储,从而实现本地数据在异地的备份。
如图1所示,本发明提供的遥感卫星数据的异地备份系统100包括数据交换单元110、数据质量管理单元120、数据备份单元130和管理调度单元140。
其中,数据交换单元110用于通过网络接收本地发送的备份请求以及需要备份的卫星归档数据和编目数据的压缩数据,然后将本地所发送的卫星归档数据和编目数据的压缩数据进行解压,在异地获得解压后的卫星归档数据和编目数据。
数据交换单元110包括数据准备单元、数据压缩单元、数据传输单元和数据解压单元。其中,数据准备单元用于将卫星归档数据和编目数据转换成适用于进行数据传输的数据形式;数据压缩单元用于将待传输的卫星归档数据和编目数据进行压缩;数据传输单元用于在本地与异地之间进行数据传输;数据解压单元用于将接收的压缩数据进行解压,恢复出卫星归档数据和编目数据。
数据质量管理单元120用于获取在数据交换单元110中所获得的解压后的卫星归档数据和编目数据,并对所获取的卫星归档数据和编目数据进行数据传输的完整性和一致性检查。
数据质量管理单元120包括数据检验单元、数据质量检查单元和数据一致性检查单元,数据检验单元用于在异地对本地所发送的卫星归档数据和编目数据进行校验,将校验值与本地所发送的校验值进行比对,判断卫星归档数据和编目数据的完整性;数据质量检查单元用于在异地对本地所发送的卫星归档数据进行重新校验,将校验码与异地的数据库中保存的校验码进行核对,如果不符,则在异地对卫星归档数据进行恢复;数据一致性检查单元,用于在异地对编目数据与本地所发送的编目数据进行条目比对,如果不同,则在异地对编目数据进行恢复。
数据备份单元130用于将卫星归档数据和编目数据分别存入异地的文件库和数据库中进行备份,并在异地对编目数据进行发布。
数据备份单元130包括存储管理单元、编目数据的注入管理单元和编目数据互检索单元。其中,存储管理单元用于通过采用并行共享文件的模式对卫星归档数据进行管理;编目数据的注入管理单元用于通过采用数据库管理的模式对编目数据进行管理;编目数据互检索单元,用于通过基于B/S的检索模式完成对编目数据的发布与检索。
管理调度单元140用于对数据交换单元110、数据质量管理单元120和数据备份单元130进行管理和调度。
管理调度单元140包括分配单元和调度单元。其中,分配单元用于对卫星归档数据和编目数据进行备份、恢复和一致性检查并提供用户界面;调度单元用于对卫星归档数据和编目数据的备份过程与恢复过程进行调度。
具体地,本地系统的数据准备单元将卫星归档数据和编目数据准备成适用于进行数据传输的形式,主要包括将卫星归档数据从本地存储库中读出,即将卫星归档数据读入到高速磁盘准备传输,以及将编目数据从本地的数据库中读取出来存为文本文件,以便于进行网络传输。在数据准备单元准备传输数据的同时,管理调度单元调用数据质量管理单元中的数据检验单元计算卫星归档数据的CRC校验值,并将计算出的校验值存入编目数据的文本文件中。
为了提高数据传输的效率,数据压缩单元将待传输的卫星归档数据和编目数据进行压缩,以减少数据传输所需的时间,达到节省数据传输时间,提高传输效率的目的。在待传输的数据压缩完成时,通过数据传输单元完成待传输数据在本地系统与异地系统之间的数据传输,其中,待传输数据(即传输的内容)包含了进行压缩的卫星归档数据和编目数据以及数据校验值。数据传输单元的数据传输基于TCP/IP协议,在本地系统与异地系统之间的以太网之间进行传输。
在异地系统接收到本地系统传送过来的压缩数据之后,异地系统的数据交换单元对压缩数据进行解压,以恢复出卫星归档数据和编目数据。异地系统的数据质量管理单元的数据检验单元对数据交换单元接收的数据进行CRC校验,在校验的过程中,数据检验单元将计算的CRC校验值与接收的CRC校验值进行比对,又完成对接收数据的完整性进行判断。
另外,数据质量检查单元还会对接收的卫星归档数据重新作CRC校验,并与在数据库存中保存的最初的校验码进行核对,如果不符则说明数据有误,然后启动数据恢复过程,然后再从本地系统中把相应的数据传到异地系统,覆盖原来的数据。
为了保证本地系统与异地系统的数据库中的内容一致,利用数据一致性检查单元将本地系统中待检查范围内的数据的编目数据从数据库中提取出来存为文本文件,并通过网络传送到异地,异地系统将编目数据从异地系统的数据库中提取出来进行条目比对,如果在比对时发现数据不同,则启动数据恢复过程,对缺失的数据进行恢复。
需要说明的是,在数据进行传输前,本地系统的数据检验单元会对待传输的数据进行CRC校验,并将CRC检验的校验值与数据文件一并传输到接收端(即异地系统),然后异地系统再对接收的数据进行CRC校验。
在本发明中,管理调度单元140的分配单元完成对数据的备份、数据的恢复和数据一致性检查的增、删、改、查,并提供用户界面,使用户可以直观的对数据进行管理及分配。调度单元完成对卫星归档数据和编目数据的备份过程与恢复过程进行调度。具体地,调度单元完成对系统中各个单元的调度,其中,任务的调度包含单个单元的调度又及数据整体备份与恢复过程的多个单元的调度。
其中,调度单元通过将每个单元所执行的任务进行细分,分别完成对数据准备、数据压缩、数据传输、数据解压缩、数据注入和数据发布等过程,被细分的任务之间使用消息中间件进行通信。为了完成对大量数据的备份和恢复过程,因此需要设立对多个单元的调度。对于备份过程而言,通过设定已有卫星归档数据优先备份或者新增数据优先备份来建立备份的自动化运行过程;对于恢复过程,通过设定已有卫星归档数据优先恢复或者新增数据优先恢复来建立数据的自动化恢复过程。通过图1所示的逻辑结构可以看出,本发明提供的遥感卫星数据的异地备份系统,根据遥感卫星数据的特点,通过数据交换单元、数据质量管理单元、数据备份单元和管理调度单元,实现卫星数据在本地系统与异地系统之间的数据自动化互备份、互检索和快速恢复,有效解决遥感卫星数据的异地备份问题。
在本发明的一个具体实施例中,数据备份单元完成对卫星归档数据和编目数据的注入、管理和发布,包含卫星归档数据的存储管理单元,编目数据的注入管理单元和编目数据互检索单元。其中,卫星归档数据采用StorNextFile System并行共享文件系统进行管理,以方便对卫星归档数据的并行、快速、共享访问。编目数据采用数据库管理系统来进行管理,并通过SQL完成对编目数据的查询、提取和注入。
数据库管理系统采用Oracle结合Oracle Spatial来完成,Oracle数据用于完成对常规数据库数据的管理,Oracle Spatial用于完成对空间数据信息的数据库管理。通过基于B/S的检索系统来完成对编目信息的发布和检索,采用基于B/S的方式进行发布,使得本地系统与异地系统之间可以实现编目数据的互检索。其中,检索系统使用Java Web技术进行开发,并结合ArcGIS Server提供空间数据检索和显示功能。
另外,需要说明的是,本发明提供的遥感卫星的异地备份系统还包括数据恢复单元,用于通过管理调度单元140的管理调度对数据备份单元130中所备份的卫星归档数据和编目数据进行恢复。
在本发明的一个示例中,假设本地系统中的数据不慎丢失,此时,通过数据恢复单元将异地备份系统中的备份数据恢复到本地系统中,实现本地数据和异地数据的一致性。
具体地,本地系统的管理调度单元发起数据恢复任务,由本地系统的数据交换单元与异地系统的数据交换单元进行通信,并由异地系统的数据交换单元经数据准备、数据压缩和数据传输,将数据从异地系统传输到本地系统,然后由本地系统经数据解压缩、数据校验、将卫星归档数据存储入文件系统和将编目数据注入数据库,编目数据互检索单元进行发布以完成本地系统的卫星数据的恢复。
从上述的实施例可以看出,异地系统的数据交换单元、数据质量管理单元、数据备份单元和管理调度单元既可以作为数据备份的备份端,接收本地系统传输的数据进行异地备份,也可以作为数据备份的发起端,从异地系统向本地系统传输数据进行本地数据备份或者数据恢复。同样,本地系统的数据交换单元、数据质量管理单元、数据备份单元和管理调度单元也可以作为数据备份的发起端,也可以作为数据备份的备份端,以实现本地数据与异地数据的互备份。
当本地作为数据备份的发起端时,本发明提供的遥感卫星数据的异地备份系统,还需要在本地对数据进行一系列的处理。也就是说,本发明提供的遥感卫星数据的异地备份系统进一步包括:备份请求发起单元用于在本地向异地发起数据备份请求;数据准备单元用于在本地将卫星归档数据和编目数据转换成适用于进行数据传输的数据形式;数据压缩单元用于在本地将待传输的卫星归档数据和编目数据进行数据压缩;数据传输单元用于在本地将数据压缩单元所压缩的卫星归档数据和编目数据传输到异地。
同样,当异地作为数据备份的发起端时,此时异地即相当于上述的本地,因此同样需要对数据作一系列的处理。
与上述系统相对应,本发明提供一种遥感卫星数据的异地备份方法。图2示出了根据本发明实施例的遥感卫星数据的异地备份流程。
如图2所示,本发明提供的遥感卫星数据的异地备份方法包括:
S210:异地通过网络接收本地发送的备份请求;
S220:异地通过网络接收本地所发送的卫星归档数据和编目数据的压缩数据,然后将获取的压缩数据进行解压,在异地获得解压后的卫星归档数据和编目数据,并对解压后的卫星归档数据和编目数据进行数据传输的完整性和一致性检查;
S230:将恢复的卫星归档数据和编目数据分别存入异地系统的文件库和数据库中进行备份,并在异地对编目数据进行发布。
其中,本发明提供的遥感卫星数据的异地备份方法还包括:本地向异地发起数据备份请求;本地将卫星归档数据和编目数据转换成适用于进行数据传输的数据形式;本地将待传输的卫星归档数据和编目数据进行数据压缩;本地将压缩的卫星归档数据和编目数据传输到异地。
另外,在异地对恢复的所述卫星归档数据和所述编目数据进行数据传输的完整性和一致性检查的过程中,首先对本地所发送的所述卫星归档数据和所述编目数据进行校验,将校验值与本地所发送的校验值进行比对,判断所述卫星归档数据和所述编目数据的完整性;然后,对本地所发送的所述卫星归档数据进行重新校验,将校验码与所述异地的数据库中保存的校验码进行核对,如果不符,则在异地对所述卫星归档数据进行恢复;最后,对所述编目数据与本地所发送的编目数据进行条目比对,如果不同,则在异地对所述编目数据进行恢复。
通过本发明提供的遥感卫星数据的异地备份系统及方法,能够完成对卫星数据在本地和异地的互备份、互检索以及数据丢失后的快速恢复,实现卫星数据管理的高效性与数据传输的一致性。
如上参照附图以示例的方式描述了根据本发明的遥感卫星数据的异地备份系统及方法。但是,本领域技术人员应当理解,对于上述本发明所提出的遥感卫星数据的异地备份系统及方法,还可以在不脱离本发明内容的基础上做出各种改进。因此,本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种遥感卫星数据的异地备份系统,包括:备份请求发起单元、数据准备单元、数据压缩单元、数据传输单元、数据交换单元、数据质量管理单元、数据备份单元和管理调度单元;其中,
所述备份请求发起单元用于在本地向异地发起数据备份请求;
所述数据准备单元用于在本地将卫星归档数据和编目数据转换成适用于进行数据传输的数据形式,包括将所述卫星归档数据从本地存储库中读出,以及将所述编目数据从本地的数据库中读取出来存为文本文件;
所述数据压缩单元用于在本地将待传输的所述卫星归档数据和所述编目数据进行数据压缩;
所述数据传输单元用于在本地将数据压缩单元所压缩的所述卫星归档数据和所述编目数据传输到异地;
所述数据交换单元用于通过网络接收本地发送的备份请求以及需要备份的卫星归档数据和编目数据的压缩数据,然后将所述卫星归档数据和编目数据的压缩数据进行解压,在异地获得解压后的所述卫星归档数据和所述编目数据;其中,所述编目数据中包含所述卫星归档数据的CRC校验值;
所述数据质量管理单元用于获取在所述数据交换单元中所获得的解压后的所述卫星归档数据和所述编目数据,并对所获取的所述卫星归档数据和所述编目数据进行数据传输的完整性和一致性检查;其中,通过将所计算的CRC校验值与接收的CRC校验值进行比对,判断所述卫星归档数据的完整性,通过在异地对所述编目数据与本地所发送的编目数据进行条目对比,判断所述卫星归档数据的一致性;
所述数据备份单元用于将所述卫星归档数据和所述编目数据分别存入异地的文件库和数据库中进行备份,并在异地对所述编目数据进行发布;
所述管理调度单元用于对所述数据交换单元、所述数据质量管理单元和所述数据备份单元进行管理和调度;其中,在所述数据准备单元准备传输数据的同时,所述管理调度单元调用所述数据质量管理单元计算所述卫星归档数据的CRC校验值,并将所述卫星归档数据的CRC校验值存入所述文本文件中。
2.如权利要求1所述的遥感卫星数据的异地备份系统,其中,所述数据交换单元进一步包括:
数据准备单元,用于将所述卫星归档数据和所述编目数据转换成适用于进行数据传输的数据形式;
数据压缩单元,用于将待传输的所述卫星归档数据和所述编目数据进行数据压缩;
数据传输单元,用于在本地与异地之间进行数据传输;
数据解压单元,用于将接收的压缩数据进行解压,获得解压后的所述卫星归档数据和所述编目数据。
3.如权利要求1所述的遥感卫星数据的异地备份系统,其中,所述数据质量管理单元进一步包括,
数据检验单元,用于在异地对本地所发送的所述卫星归档数据和所述编目数据进行校验,将校验值与本地所发送的校验值进行比对,判断所述卫星归档数据和所述编目数据的完整性;
数据质量检查单元,用于在异地对本地所发送的所述卫星归档数据进行重新校验,将校验码与所述异地的数据库中保存的校验码进行核对,如果不符,则在异地对所述卫星归档数据进行恢复;
数据一致性检查单元,用于在异地对所述编目数据与本地所发送的编目数据进行条目比对,如果不同,则在异地对所述编目数据进行恢复。
4.如权利要求1所述的遥感卫星数据的异地备份系统,其中,所述数据备份单元进一步包括:
存储管理单元,用于通过采用并行共享文件的模式对所述卫星归档数据进行管理;
编目数据的注入管理单元,用于通过采用数据库管理的模式对所述编目数据进行注入和管理;
编目数据互检索单元,用于通过基于B/S的检索模式完成对所述编目数据的发布与检索。
5.如权利要求1所述的遥感卫星数据的异地备份系统,其中,所述管理调度单元进一步包括:
分配单元,用于对所述卫星归档数据和所述编目数据进行备份、恢复和一致性检查并提供用户界面;
调度单元,用于对所述卫星归档数据和所述编目数据的备份过程与恢复过程进行调度。
6.如权利要求1所述的遥感卫星数据的异地备份系统,进一步包括,数据恢复单元,用于通过所述管理调度单元的管理调度对所述数据备份单元中备份的所述卫星归档数据和所述编目数据进行恢复。
7.一种遥感卫星数据的异地备份方法,包括:
本地向异地发起数据备份请求;
异地通过网络接收本地发送的备份请求;
本地将卫星归档数据和编目数据转换成适用于进行数据传输的数据形式,包括将所述卫星归档数据从本地存储库中读出,以及将所述编目数据从本地的数据库中读取出来存为文本文件;其中,在准备传输数据的同时,计算所述卫星归档数据的CRC校验值,并将所述卫星归档数据的CRC校验值存入所述文本文件中;
本地将待传输的所述卫星归档数据和所述编目数据进行数据压缩;
本地将压缩的所述卫星归档数据和所述编目数据传输到异地;
异地通过网络接收本地所发送的卫星归档数据和编目数据的压缩数据,然后将所述压缩数据进行解压,在异地获得解压后的所述卫星归档数据和所述编目数据,并对解压后的所述卫星归档数据和所述编目数据进行数据传输的完整性和一致性检查;其中,所述编目数据中包含所述卫星归档数据的CRC校验值,通过将所计算的CRC校验值与接收的CRC校验值进行比对,判断所述卫星归档数据的完整性,通过在异地对所述编目数据与本地所发送的编目数据进行条目对比,判断所述卫星归档数据的一致性;
将解压后的所述卫星归档数据和所述编目数据分别存入异地系统的文件库和数据库中进行备份,并在异地对所述编目数据进行发布。
8.如权利要求7所述的遥感卫星数据的异地备份方法,其中,在异地对解压后的所述卫星归档数据和所述编目数据进行数据传输的完整性和一致性检查的过程中,
对本地所发送的所述卫星归档数据和所述编目数据进行校验,将校验值与本地所发送的校验值进行比对,判断所述卫星归档数据和所述编目数据的完整性;
对本地所发送的所述卫星归档数据进行重新校验,将校验码与所述异地的数据库中保存的校验码进行核对,如果不符,则在异地对所述卫星归档数据进行恢复;
对所述编目数据与本地所发送的编目数据进行条目比对,如果不同,则在异地对所述编目数据进行恢复。
CN201310475923.8A 2013-10-12 2013-10-12 遥感卫星数据的异地备份系统及方法 Active CN103530203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310475923.8A CN103530203B (zh) 2013-10-12 2013-10-12 遥感卫星数据的异地备份系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310475923.8A CN103530203B (zh) 2013-10-12 2013-10-12 遥感卫星数据的异地备份系统及方法

Publications (2)

Publication Number Publication Date
CN103530203A CN103530203A (zh) 2014-01-22
CN103530203B true CN103530203B (zh) 2017-01-11

Family

ID=49932236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310475923.8A Active CN103530203B (zh) 2013-10-12 2013-10-12 遥感卫星数据的异地备份系统及方法

Country Status (1)

Country Link
CN (1) CN103530203B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104868924A (zh) * 2015-05-07 2015-08-26 广东电网有限责任公司电力科学研究院 用于Nucleus系统PowerPC架构新型远动装置的文件压缩及解压方法
CN110377455A (zh) * 2019-06-26 2019-10-25 苏州浪潮智能科技有限公司 数据备份方法、装置及系统
CN111597074A (zh) * 2020-04-07 2020-08-28 国家卫星气象中心(国家空间天气监测预警中心) 一种基于数字指纹的碳卫星多中心数据备份方法
CN113297006A (zh) * 2020-08-31 2021-08-24 阿里巴巴集团控股有限公司 数据备份方法、装置、电子设备及计算机可读存储介质
CN113467990B (zh) * 2021-05-31 2022-03-18 上海卫星工程研究所 深空探测重要数据备份与恢复方法、系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1091304A2 (en) * 1999-09-30 2001-04-11 Ricoh Company, Ltd. Method and apparatus for electronic document management
CN102236588A (zh) * 2010-04-23 2011-11-09 阿里巴巴集团控股有限公司 数据远程备份方法、设备及系统
CN103179371A (zh) * 2012-08-23 2013-06-26 潘良满 一种数字硬盘录像机远程备份系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201491037U (zh) * 2009-03-27 2010-05-26 深圳市迈科龙电子有限公司 异地冗余备份系统
CN103269302A (zh) * 2012-12-07 2013-08-28 北京奇虎科技有限公司 用于即时通信的共享文件管理方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1091304A2 (en) * 1999-09-30 2001-04-11 Ricoh Company, Ltd. Method and apparatus for electronic document management
CN102236588A (zh) * 2010-04-23 2011-11-09 阿里巴巴集团控股有限公司 数据远程备份方法、设备及系统
CN103179371A (zh) * 2012-08-23 2013-06-26 潘良满 一种数字硬盘录像机远程备份系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《遥感数据异地归档方法研究与实现》;冯钟葵;《遥感应用》;20110228;第86-90页 *

Also Published As

Publication number Publication date
CN103530203A (zh) 2014-01-22

Similar Documents

Publication Publication Date Title
CN103530203B (zh) 遥感卫星数据的异地备份系统及方法
CN107728941B (zh) 一种区块链数据压缩方法及系统
CN101699439B (zh) 一种数据库的事务提交方法和装置
US10698866B2 (en) Synchronizing updates across cluster filesystems
US20170235754A1 (en) De-Duplication-Based Remote Replication Method, and Apparatus
US20070226269A1 (en) Method and system for an update synchronization of a domain information file
CN102880854B (zh) 基于分布式和哈希映射的室外海量物体识别方法和系统
CN104317926A (zh) 一种持久化的数据存储和查询方法及对应的装置和系统
CN105824846B (zh) 数据迁移方法及装置
CN106407463A (zh) 一种基于Hadoop的图像处理方法及系统
CN110188103A (zh) 数据对账方法、装置、设备和存储介质
CN103685343A (zh) 文件传输方法和系统
CN111241094B (zh) 一种基于日志解析的数据库删除列同步方法和装置
CN112416960A (zh) 多场景下的数据处理方法、装置、设备及存储介质
CN103023996A (zh) 一种云数据存储系统
CN101901173A (zh) 一种灾备系统及灾备方法
CN106250501A (zh) 报表处理方法及报表系统
CN104731827B (zh) 快速分布式文件系统文件元数据的生成方法及装置
US9015116B2 (en) Consistent replication of transactional updates
US10339010B1 (en) Systems and methods for synchronization of backup copies
CN103617099A (zh) 一种实时的用户文件内容审计方法及系统
CN103902577A (zh) 一种资源查找定位的方法和系统
CN204046648U (zh) 基于云计算的客栈管理平台
US10599666B2 (en) Data provisioning for an analytical process based on lineage metadata
CN115098537B (zh) 事务执行方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant