CN103530168B - 基于虚拟化技术的多卫星遥感数据处理系统和方法 - Google Patents

基于虚拟化技术的多卫星遥感数据处理系统和方法 Download PDF

Info

Publication number
CN103530168B
CN103530168B CN201310478399.XA CN201310478399A CN103530168B CN 103530168 B CN103530168 B CN 103530168B CN 201310478399 A CN201310478399 A CN 201310478399A CN 103530168 B CN103530168 B CN 103530168B
Authority
CN
China
Prior art keywords
satellite
data processing
remote sensing
unit
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310478399.XA
Other languages
English (en)
Other versions
CN103530168A (zh
Inventor
冯旭祥
冯钟葵
李安
张洪群
陈勃
陈俊
吴业炜
李山山
郭擎
孙晓瑶
李宇
宋泽亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Satellite Shandong Technology Group Co ltd
Aerospace Information Research Institute of CAS
Original Assignee
CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH CHINESE ACADEMY OF SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH CHINESE ACADEMY OF SCIENCES filed Critical CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH CHINESE ACADEMY OF SCIENCES
Priority to CN201310478399.XA priority Critical patent/CN103530168B/zh
Publication of CN103530168A publication Critical patent/CN103530168A/zh
Application granted granted Critical
Publication of CN103530168B publication Critical patent/CN103530168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于虚拟化技术的多卫星遥感数据处理系统和方法,其中系统包括:虚拟化管理单元,用于基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;数据处理单元,用于完成卫星遥感数据的编目处理与产品生产;任务管理单元,用于管理和调度卫星遥感数据处理任务,并根据卫星遥感数据处理任务对所述计算节点进行管理和调度;存储管理单元,用于提供对存储资源进行访问的通道,并对存储资源的卫星遥感数据及结构化数据进行保存。利用上述系统和方法,实现在高速存储设备上和基于虚拟化环境的多卫星遥感数据处理系统达到高性能、高可用性和高可扩展能力,并且具有对新增卫星遥感数据处理系统和计算节点的扩展能力。

Description

基于虚拟化技术的多卫星遥感数据处理系统和方法
技术领域
本发明涉及卫星信息处理技术领域,更为具体地,涉及一种基于虚拟化技术的多卫星遥感数据处理系统和方法。
背景技术
随着空间运载工具和现代化电子、光学仪器的发展,探测和识别远距离研究对象的技术也得到了越来越广泛的应用。在这种情况下,遥感卫星利用遥感技术和遥感设备对地球各种现象进行观测的数据的传输和处理成为远距离探测识别实现的关键环节之一。
遥感卫星的下行卫星遥感数据在由接收系统完成数据的接收、记录以后,将保存到磁盘或磁带等介质中进行存档,同时交由卫星遥感数据处理系统进行编目处理、编目注入以建立卫星遥感数据的编目信息,之后再由卫星遥感数据处理系统进行辐射校正、几何校正等处理以生成用户所需的产品数据。
卫星遥感数据处理系统是一个复杂的系统,包含了数据处理单元、数据管理单元、任务管理单元和存储管理单元。由于卫星遥感数据的差异,在传统的卫星遥感数据处理系统中,一般采用专用的方式,即一套处理系统及其设备只能给特定的卫星遥感数据处理使用,如图1所示的传统卫星遥感数据处理系统结构示意图。
这样,对于新发射卫星遥感数据的处理,就需要引入一套新的卫星遥感数据处理系统,并因此带来了以下问题:
1)设备使用率较低,系统资源没有得到充分利用;
2)系统扩展性很差,无法在原有系统上进行扩展以适应新发卫星遥感数据的处理;
3)多套处理系统之间,由于专星专用,无法做到互为备份,造成系统可用性低,当系统出现故障时,没有可替换资源可用;
4)多套数据处理系统之间相互隔离,管理不便。
发明内容
鉴于上述问题,本发明的目的是提供基于虚拟化技术的多卫星遥感数据处理系统和方法,以实现在高速存储设备上和基于虚拟化环境的多卫星遥感数据处理系统达到高性能、高可用性和高可扩展能力,特别是具有对新增卫星遥感数据处理系统和计算节点的扩展能力。
根据本发明的一个方面,提供了一种基于虚拟化技术的多卫星遥感数据处理系统,包括:
虚拟化管理单元,用于基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
数据处理单元,用于在各计算节点完成卫星遥感数据的编目处理与产品生产;其中,计算节点包括用于卫星遥感数据处理的编目处理单元和产品生产单元;
任务管理单元,用于管理和调度卫星遥感数据处理任务,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
存储管理单元,用于提供对存储资源进行访问的通道,并对存储资源的卫星遥感数据及结构化数据进行保存。
此外,优选的方案是,虚拟资源池通过虚拟化构成,其中,虚拟资源池至少由一台服务器构成,虚拟资源池通过一台服务器或者一台虚拟机进行管理。
此外,优选的方案是,数据处理单元包括:编目处理单元、0级数据产品生成单元、辐射校正单元、系统级几何校正单元、几何精较正单元和正射校正单元;其中,
编目处理单元,用于读取0级数据文件,并将0级数据文件处理生成编目元数据文件注入到编目数据库中对其进行管理;
0级数据产品生成单元,用于根据卫星遥感数据确定的任务参数,对0级数据文件进行分解和参数信息提取,生成0级数据产品文件;
辐射校正单元,用于根据任务参数,对0级数据产品文件进行辐射校正;
系统级几何校正单元,用于根据任务参数,对经过辐射校正的0级数据产品文件进行系统级几何校正;
几何精校正单元,用于根据任务参数,对经过辐射校正和系统级几何校正的2级数据产品文件加入地面控制点,进行几何精校正;
正射校正单元,用于根据任务参数,对经过辐射校正和几何精校正的2级数据产品文件加入地面控制点及数字高程数据,并进行正射校正。
此外,优选的方案是,任务管理单元包括调度管理单元、资源管理单元和任务模板管理单元;
调度管理单元,用于完成对卫星遥感数据处理任务的管理和调度;
资源管理单元,用于对计算节点和数据处理能力的管理;
任务模板管理单元,用于对任务流程模板和任务输入参数模板进行管理。
此外,优选的方案是,存储管理单元包括:设备存储单元、文件并行单元和关系数据库存储单元;其中,
设备存储单元,用于基于SAN存储网络,提供服务器对存储资源的高速访问通道,并完成对卫星遥感数据的保存;
文件并行单元,用于实现对设备存储单元的管理,使所述计算节点对卫星遥感数据进行并行和共享访问;
关系数据库存储单元,用于实现对卫星编目信息、日志和用户信息关系结构化数据的保存。
根据本发明的另一方面,提供了一种基于虚拟化技术的多卫星遥感数据处理方法,包括:
基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
计算节点包括卫星遥感数据处理系统的编目处理单元和产品生产单元,完成对卫星遥感数据的编目处理与产品生产;
对卫星遥感数据进行管理和调度,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
对卫星遥感数据及结构化数据进行保存,并提供对卫星存储资源进行访问的通道。
根据本发明的另一方面,提供了一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,包括:
根据新增卫星数据,开发对新增卫星的卫星数据处理工具;
新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据;
将新增卫星的卫星数据处理工具,部署在各虚拟机节点上;
通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
此外,优选的方案是,处理工具包括卫星数据处理的编目处理单元和产品生产单元。
根据本发明的另一方面,提供了一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统,包括:
新增卫星数据处理工具开发单元,用于根据新增卫星数据,开发对新增卫星的卫星数据处理工具;
新增卫星数据处理工具分配单元,用于新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据;
虚拟机计算节点部署单元,用于将新增卫星的卫星数据处理工具,部署在各虚拟机计算节点上;
虚拟机计算节点任务管理单元,用于通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
利用上述根据本发明的基于虚拟化技术的多卫星遥感数据处理系统和方法,通过良好的系统架构设计,能够实现在高速存储设备上和基于虚拟化环境的多卫星遥感数据处理系统,并且多卫星遥感数据处理系统能够达到性能高、可用性高和可扩展性高,特别对新增加的卫星遥感数据处理系统具有的扩展能力和对计算节点有扩展能力。
为了实现上述以及相关目的,本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而,这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外,本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明及权利要求书的内容,并且随着对本发明的更全面理解,本发明的其它目的及结果将更加明白及易于理解。在附图中:
图1为传统卫星遥感数据处理系统结构示意图;
图2为根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统框图;
图3为根据本发明实施例的虚拟机与池化服务器关系图;
图4为根据本发明实施例的服务器池化结构示意图;
图5为根据本发明实施例的数据处理单元框图;
图6为根据本发明实施例的任务管理单元框图;
图7为根据本发明实施例的存储管理单元框图;
图8为根据本发明实施例的SNFS文件系统结构示意图;
图9为根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理方法流程图;
图10为根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法流程图;
图11为根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统结构示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中,出于说明的目的,为了提供对一个或多个实施例的全面理解,阐述了许多具体细节。然而,很明显,也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中,为了便于描述一个或多个实施例,公知的结构和设备以方框图的形式示出。
随着IT技术的发展,基于服务器的虚拟化技术得到了较快的发展。一方面,基于虚拟化技术可以按卫星遥感数据系统需求来分配计算能力,充分的利用服务器的计算资源;另一方面,带来了设备管理的便利性。利用虚拟化技术结合优秀的任务管理技术,可以在基于虚拟化的环境中,实现多卫星遥感数据处理系统,从而解决前述问题。
以下将结合附图对本发明的具体实施例进行详细描述。
图2示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统,如图2所示,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统,包括:
虚拟化管理单元210,用于基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
数据处理单元220,用于在各计算节点完成卫星遥感数据的编目处理与产品生产;其中,计算节点包括用于卫星遥感数据处理的编目处理单元和产品生产单元;
任务管理单元230,用于管理和调度卫星遥感数据处理任务,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
存储管理单元240,用于提供对存储资源进行访问的通道,并对存储资源的卫星遥感数据及结构化数据进行保存。
具体地,在上述虚拟化管理单元210中,本发明基于虚拟化技术,图3示出了根据本发明实施例的虚拟机与池化服务器关系,如图3所示,基于虚拟资源池创建虚拟机,供各应用使用,各应用将虚拟机作为计算节点;由N+1台服务器实现虚拟化,其中,N(N>1)台服务器由虚拟化软件进行池化,构成虚拟资源池,另1台服务器安装虚拟化管理软件对虚拟资源池的服务器进行管理。
图4为根据本发明实施例的服务器池化结构示意图,如图4所示,由N+1台服务器实现虚拟化。其中,N台服务器由虚拟化软件进行池化,另1台服务器作为池化管理服务器,安装虚拟化管理软件对N个虚拟资源池的服务器进行管理。在本发明中,基于虚拟化技术可以按卫星遥感数据系统通过1台服务器对虚拟资源进行管理;根据需要也可以通过1台虚拟机对虚拟资源池进行管理。
在本发明实施例中,基于虚拟化技术,由6台服务器通过虚拟化构成虚拟资源池,另由1台服务器安装虚拟化管理软件实现对池化服务器的管理。其中,对服务器的池化,使用VMware vSphere 5.0软件来实现,对池化服务器的管理使用VMware vCenter Server 5.0软件来实现。
虚拟化管理单元210,实现对计算节点计算能力的扩展和对计算节点数的扩展等。
在上述数据处理单元220中,图5为根据本发明实施例的数据处理单元框图,如图5所示,数据处理单元220包括编目处理单元221、0级数据产品生成单元222、辐射校正单元223、系统级几何校正单元224、几何精较正单元225和正射校正单元226。
编目处理单元231,用于读取0级数据文件,0级数据文件经过处理生成编目元数据文件,并注入到编目数据库中对其进行管理。
0级数据产品生成单元232,用于根据卫星遥感数据确定的任务参数,对0级数据文件进行分解和参数信息提取,生成0级数据产品文件。
辐射校正单元233,用于根据任务参数,对0级数据产品文件进行辐射校正。
系统级几何校正单元234,用于根据任务参数,对经过辐射校正的0级数据产品文件进行系统级几何校正。
几何精校正单元235,用于根据任务参数,对经过辐射校正和系统级几何校正的2级数据产品文件加入地面控制点,进行几何精校正。
正射校正单元236,用于根据任务参数,对经过辐射校正和几何精校正的所述2级数据产品文件加入地面控制点及数字高程数据,并进行正射校正。
在本发明实施例中,对不同的卫星遥感数据有不同的处理单元,各处理单元以任务的形式由调度管理单元进行调度和管理。
在上述任务管理单元230中,图6为根据本发明实施例的任务管理单元框图。
如图6所示,任务管理单元包括调度管理单元231、资源管理单元232和任务模板管理单元233。
具体地,调度管理单元231,用于完成对卫星遥感数据处理任务的管理和调度。其中,任务的管理包括对任务的创建、暂停和删除。
任务的调度,按照指定策略对对卫星遥感数据处理任务进行调度,其中,调度的内容包括次序调度和资源调度。
次序调度指从待执行任务中挑选下一个执行的任务。资源调度指根据卫星遥感数据处理系统的硬件资源条件以及应用软件部署信息,将任务分配给指定的硬件资源运行。
资源管理单元232包括卫星遥感数据处理系统的硬件资源管理和软件资源管理。其中,硬件资源管理指对计算节点的管理;软件资源管理指对数据处理能力的管理。通过资源管理单元232可以方便实现对新增卫星遥感数据处理系统的扩展。
任务模板管理单元233用于对任务流程模板和任务输入参数模板进行管理,实现对卫星遥感数据处理系统的扩展。其中,任务流程模板的用途是定义任务流程,其中,其内容包括任务流程中的所有步骤的描述信息,以及实现各个步骤所用的应用软件的调用方式等信息。任务输入参数的用途是用于定义任务的各个步骤的输入参数。
在上述存储管理单元240中,图7为根据本发明实施例的存储管理单元框图。如图7所示,存储管理单元240包括:设备存储单元241、文件并行单元242和关系数据库存储单元243。
其中,设备存储单元241,用于基于SAN存储网络,提供服务器对存储资源的并行高速和并行共享访问通道,并完成对卫星遥感数据的保存。
文件并行单元242,用于实现对所述设备存储单元的管理,使所述计算节点通过文件并行单元对卫星遥感数据进行并行和共享访问。
关系数据库存储单元243,用于实现对卫星编目信息、日志和用户信息关系结构化数据的保存。
具体地,设备存储单元241主要包含一台磁盘阵列设备、两台光纤交换机以及连接服务器、磁盘阵列设备和光纤交换机之间的连接设备。
文件并行单元242用于实现卫星遥感数据处理系统对卫星遥感数据的快速、并行和共享访问。
本发明的一个具体实施例中,文件并行单元使用StorNext File System。包含StorNext File System文件系统客户端和MDC元数据管理服务两部分,图8示出了根据本发明实施例的SNFS文件系统结构,如图8所示,StorNext FileSystem文件系统客户包括N个虚拟机,本发明实施中StorNext File System文件系统客户端包括4个虚拟机,终端包括2个MDC虚拟机。在本发明的实施例中,文件系统客户端包括N(N>1,可根据具体情况而定)个虚拟机,终端包括2个MDC虚拟机。
StorNext File System文件系统客户端与MDC元数据管理服务通过以太网络进行通信。StorNext File System文件系统客户端部署于需要进行文件访问的虚拟机上,MDC元数据管理服务部署于独立的MDC虚拟机上,用于完成文件并行单元中元数据信息的管理。
上述为本发明提供的基于虚拟化技术的多卫星遥感数据处理系统,与基于虚拟化技术的多卫星遥感数据处理系统相对应,本发明还提供一种基于虚拟化技术的多卫星遥感数据处理方法。
图9示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理方法,如图9所示,本发明的基于虚拟化技术的多卫星遥感数据处理方法包括:
S910:基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
S920:计算节点包括卫星遥感数据处理系统的编目处理单元和产品生产单元,完成对卫星遥感数据的编目处理与产品生产;
S930:对卫星遥感数据进行管理和调度,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
S940:对卫星遥感数据及结构化数据进行保存,并提供对卫星存储资源进行访问的通道。
针对本发明提供的基于虚拟化技术的多卫星遥感数据处理系统,本发明还提供了一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法。
图10示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法流程,如图10所示,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,具体包括:
S110:根据新增卫星数据,开发对新增卫星的卫星数据处理工具;
S120:新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据;
S130:将新增卫星的卫星数据处理工具,部署在各虚拟机节点上;
S140:通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
本发明中的新增卫星系统并不是确定的,可以根据需要来扩展。根据需要,可以为Landsat-5、Landsat-8等卫星数据处理系统。
本发明的扩展方法要说明的问题是在基于虚拟化技术的多卫星遥感数据处理系统中增加对新增卫星数据的处理能力。这种处理能力包含硬件处理能力和软件处理能力,硬件处理能力是指完成卫星数据处理所需的计算资源和存储资源,软件处理能力是指卫星数据处理工具和任务管理。
卫星数据处理工具包括:卫星数据处理的编目处理单元和产品生产单元,具体包括:编目处理单元、0级数据产品生成单元、辐射校正单元、系统级几何校正单元、几何精校正单元和正射校正单元;卫星数据任务管理包括:对新的卫星数据处理任务的调度管理、资源管理和任务管理。
在上述步骤S110中,针对新增卫星数据的特点,编程开发实现针对新增卫星的卫星数据处理工具。
在上述步骤S120中,针对新增卫星数据处理工具的能力要求,通过虚拟化管理单元为此新增卫星数据处理软件分配所需的硬件处理能力,即虚拟机和数据存储。
在以上方法过程中,除了由于卫星数据特点未知而需要新开发一套卫星数据处理工具(软件)外,所需的计算能力和任务管理能力的扩展,都可以通过本系统来完成,而不需要进行额外的软件编程开发工作。
上述为本发明提供的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,与基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法相对应,本发明还提供一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统。
图11示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统结构,如图11所示,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统300结构包括:新增卫星数据处理工具开发单元310、新增卫星数据处理工具分配单元320、虚拟机计算节点部署单元330和虚拟机计算节点任务管理单元340。
其中,新增卫星数据处理工具开发单元310,用于根据新增卫星数据,开发对新增卫星的卫星数据处理工具。
新增卫星数据处理工具分配单元320,用于新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据。
虚拟机计算节点部署单元330,用于将新增卫星的卫星数据处理工具,部署在各虚拟机计算节点上。
虚拟机计算节点任务管理单元340,用于通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
通过上述实施方式可以看出,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统和方法,通过系统架构设计,实现了在高速存储设备上和基于虚拟化环境的多卫星遥感数据处理系统,多卫星遥感数据处理系统达到了高性能、高可用性和高可扩展性,并且对新增卫星遥感数据处理系统和计算节点都具有扩展能力。
如上参照附图以示例的方式描述了根据本发明提出的基于虚拟化技术的多卫星遥感数据处理系统和方法。但是,本领域技术人员应当理解,对于上述本发明所提出的基于虚拟化技术的多卫星遥感数据处理系统和方法,还可以在不脱离本发明内容的基础上做出各种改进。因此,本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (9)

1.一种基于虚拟化技术的多卫星遥感数据处理系统,包括:
虚拟化管理单元,用于基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,所述虚拟资源池通过虚拟化构成;
数据处理单元,用于在各计算节点完成卫星遥感数据的编目处理与产品生产;其中,所述计算节点包括用于卫星遥感数据处理的编目处理单元和产品生产单元;
任务管理单元,用于管理和调度卫星遥感数据处理任务,并根据所述卫星遥感数据处理任务对所述计算节点进行管理和调度;其中,对所述计算节点进行调度的内容包括次序调度和资源调度;
所述次序调度指从待执行任务中挑选下一个执行的任务,所述资源调度指根据卫星遥感数据处理系统的硬件资源条件以及应用软件部署信息,将任务分配给指定的硬件资源运行;
存储管理单元,用于提供对存储资源进行访问的通道,并对所述存储资源的卫星遥感数据及结构化数据进行保存。
2.如权利要求1所述的基于虚拟化技术的多卫星遥感数据处理系统,
所述虚拟资源池通过虚拟化构成,其中,所述虚拟资源池至少由一台服务器构成,所述虚拟资源池通过一台服务器或者一台虚拟机进行管理。
3.如权利要求1所述的基于虚拟化技术的多卫星遥感数据处理系统,所述数据处理单元包括:编目处理单元、0级数据产品生成单元、辐射校正单元、系统级几何校正单元、几何精较正单元和正射校正单元;其中,
所述编目处理单元,用于读取0级数据文件,并将所述0级数据文件处理生成编目元数据文件注入到编目数据库中对其进行管理;
所述0级数据产品生成单元,用于根据所述卫星遥感数据确定的任务参数,对0级数据文件进行分解和参数信息提取,生成0级数据产品文件;
所述辐射校正单元,用于根据所述任务参数,对所述0级数据产品文件进行辐射校正;
所述系统级几何校正单元,用于根据所述任务参数,对经过辐射校正的所述0级数据产品文件进行系统级几何校正;
所述几何精校正单元,用于根据所述任务参数,对经过辐射校正和系统级几何校正的2级数据产品文件加入地面控制点,进行几何精校正;
所述正射校正单元,用于根据所述任务参数,对经过辐射校正和几何精校正的3级数据产品文件加入地面控制点及数字高程数据,并进行正射校正。
4.如权利要求1所述的基于虚拟化技术的多卫星遥感数据处理系统,所述任务管理单元包括调度管理单元、资源管理单元和任务模板管理单元,其中,
所述调度管理单元,用于完成对卫星遥感数据处理任务的管理和调度;
所述资源管理单元,用于对所述计算节点和数据处理能力的管理;
所述任务模板管理单元,用于对任务流程模板和任务输入参数模板进行管理。
5.如权利要求1所述的基于虚拟化技术的多卫星遥感数据处理系统,所述存储管理单元包括:设备存储单元、文件并行单元和关系数据库存储单元;其中,
所述设备存储单元,用于基于SAN存储网络,提供服务器对存储资源的高速访问通道,并完成对卫星遥感数据的保存;
所述文件并行单元,用于实现对所述设备存储单元的管理,使所述计算节点对卫星遥感数据进行并行和共享访问;
所述关系数据库存储单元,用于实现对卫星编目信息、日志和用户信息关系结构化数据的保存。
6.一种基于虚拟化技术的多卫星遥感数据处理方法,包括:
基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,所述虚拟资源池通过虚拟化构成;
所述计算节点包括卫星遥感数据处理系统的编目处理单元和产品生产单元,完成对所述卫星遥感数据的编目处理与产品生产;
对所述卫星遥感数据进行管理和调度,并根据所述卫星遥感数据处理任务对所述计算节点进行管理和调度;其中,对所述计算节点进行调度的内容包括次序调度和资源调度;
所述次序调度指从待执行任务中挑选下一个执行的任务,所述调度指根据卫星遥感数据处理系统的硬件资源条件以及应用软件部署信息,将任务分配给指定的硬件资源运行;
对所述卫星遥感数据及结构化数据进行保存,并提供对卫星存储资源进行访问的通道。
7.一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,包括:
根据新增卫星数据,开发对所述新增卫星的卫星数据处理工具;
所述新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
所述虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;所述数据存储存放所述新增卫星的数据及其各级卫星数据;
将所述新增卫星的卫星数据处理工具,部署在各虚拟机计算节点上;
通过任务管理单元的任务模板管理单元,完成对所述新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对所述新增卫星数据处理工具的任务管理。
8.如权利要求7所述的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,其中,
所述处理工具包括卫星数据处理的编目处理单元、0级数据产品生成单元、辐射校正单元、系统级几何校正单元、几何精校正单元和正射校正单元。
9.一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统,包括:
新增卫星数据处理工具开发单元,用于根据新增卫星数据,开发对所述新增卫星的卫星数据处理工具;
新增卫星数据处理工具分配单元,用于所述新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
所述虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;所述数据存储存放所述新增卫星的数据及其各级卫星数据;
虚拟机计算节点部署单元,用于将所述新增卫星的卫星数据处理工具,部署在各虚拟机计算节点上;
虚拟机计算节点任务管理单元,用于通过任务管理单元的任务模板管理单元,完成对所述新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对所述新增卫星数据处理工具的任务管理。
CN201310478399.XA 2013-10-14 2013-10-14 基于虚拟化技术的多卫星遥感数据处理系统和方法 Active CN103530168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310478399.XA CN103530168B (zh) 2013-10-14 2013-10-14 基于虚拟化技术的多卫星遥感数据处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310478399.XA CN103530168B (zh) 2013-10-14 2013-10-14 基于虚拟化技术的多卫星遥感数据处理系统和方法

Publications (2)

Publication Number Publication Date
CN103530168A CN103530168A (zh) 2014-01-22
CN103530168B true CN103530168B (zh) 2017-01-11

Family

ID=49932208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310478399.XA Active CN103530168B (zh) 2013-10-14 2013-10-14 基于虚拟化技术的多卫星遥感数据处理系统和方法

Country Status (1)

Country Link
CN (1) CN103530168B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943765A (zh) * 2017-12-15 2018-04-20 航天恒星科技有限公司 基于多源异构遥感数据自动存档控制系统及其控制方法
CN110647289A (zh) * 2018-06-27 2020-01-03 北京市环境保护监测中心 卫星遥感云计算平台及系统
CN109936619B (zh) * 2019-01-18 2021-07-20 中国科学院空间应用工程与技术中心 一种基于雾计算的空间信息网络架构、方法和可读存储介质
CN109818669B (zh) * 2019-01-18 2021-04-27 中国科学院空间应用工程与技术中心 一种基于虚拟化的卫星业务处理方法、系统和存储介质
CN109714098B (zh) * 2019-01-31 2021-02-09 西南电子技术研究所(中国电子科技集团公司第十研究所) 遥感卫星地面站分布式监控管理方法
CN111026503B (zh) * 2019-11-26 2023-05-30 中国科学院空天信息创新研究院 一种基于虚拟化的遥感卫星地面站监控方法和系统
CN111547270A (zh) * 2020-04-22 2020-08-18 中国电子科技集团公司电子科学研究院 一种卫星电子一体化处理系统及微纳卫星
CN114461357B (zh) * 2021-12-22 2022-11-11 中国科学院空天信息创新研究院 一种遥感卫星原始数据实时处理流程调度系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081584B2 (en) * 1996-08-20 2011-12-20 Invensys Systems, Inc. Control system apparatus and systems using value-based transfers
CN102662610A (zh) * 2012-04-20 2012-09-12 中国科学院遥感应用研究所 一种遥感影像数据管理系统及方法
CN103019803A (zh) * 2012-11-20 2013-04-03 中国资源卫星应用中心 一种用于遥感卫星地面数据处理网格节点的虚拟环境系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081584B2 (en) * 1996-08-20 2011-12-20 Invensys Systems, Inc. Control system apparatus and systems using value-based transfers
CN102662610A (zh) * 2012-04-20 2012-09-12 中国科学院遥感应用研究所 一种遥感影像数据管理系统及方法
CN103019803A (zh) * 2012-11-20 2013-04-03 中国资源卫星应用中心 一种用于遥感卫星地面数据处理网格节点的虚拟环境系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
新一代遥感数据中心建设的关键技术;施进明等;《气象科技》;20100831;第38卷(第4期);第475页、图1 *

Also Published As

Publication number Publication date
CN103530168A (zh) 2014-01-22

Similar Documents

Publication Publication Date Title
CN103530168B (zh) 基于虚拟化技术的多卫星遥感数据处理系统和方法
US10585691B2 (en) Distribution system, computer, and arrangement method for virtual machine
CN109032803B (zh) 数据处理方法和装置、客户端
CN103744724A (zh) 定时任务集群方法及其装置
CN107786593A (zh) 任务部署方法、实例部署方法、装置及设备
CN103473277A (zh) 文件系统的快照方法和装置
CN102932415A (zh) 一种镜像文件存储方法及装置
CN109933338B (zh) 区块链部署方法、装置、计算机设备和存储介质
CN109145053B (zh) 数据处理方法和装置、客户端、服务器
CN104348793A (zh) 存储服务器系统及数据信息的存储方法
CN105224244A (zh) 一种文件存储的方法和装置
JP2022182577A (ja) ストレージリストアシステム、ストレージリストア方法、及びストレージリストアプログラム
CN107656796B (zh) 一种虚拟机冷迁移方法、系统及设备
CN113760847A (zh) 日志数据处理方法、装置、设备及存储介质
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN104793981A (zh) 一种虚拟机集群的在线快照管理方法及装置
US10592493B1 (en) Spot-instanced bulk data uploading
CN104517067A (zh) 访问数据的方法、装置及系统
CN109788013B (zh) 分布式系统中作业资源分配方法、装置及设备
KR101780534B1 (ko) 이미지 기반 검색을 위한 맵리듀스 기반의 이미지 특징 추출 방법 및 시스템
CN112398892B (zh) 服务分配方法、装置及设备
CN111431951B (zh) 一种数据处理方法、节点设备、系统及存储介质
CN104618414A (zh) 一种分布式服务的实现方法、服务代理装置及分布式系统
US10860433B1 (en) Directional consistency in capture and recovery of cloud-native applications
CN107015883A (zh) 一种动态数据备份方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211012

Address after: 250000 floor 24, block B, No. 188, Xiaoqinghe North Road, Tianqiao District, Jinan City, Shandong Province

Patentee after: Zhongke satellite (Shandong) Technology Group Co.,Ltd.

Address before: 100089 No.19, Beisihuan West Road, Haidian District, Beijing

Patentee before: Aerospace Information Research Institute,Chinese Academy of Sciences

Effective date of registration: 20211012

Address after: 100089 No.19, Beisihuan West Road, Haidian District, Beijing

Patentee after: Aerospace Information Research Institute,Chinese Academy of Sciences

Address before: Earth observation center of Chinese Academy of Sciences, No. 9, Dengzhuang South Road, Haidian District, Beijing 100094

Patentee before: CENTER FOR EARTH OBSERVATION AND DIGITAL EARTH,CHINESE ACADEMY OF SCIENCES