发明内容
鉴于上述问题,本发明的目的是提供基于虚拟化技术的多卫星遥感数据处理系统和方法,以实现在高速存储设备上和基于虚拟化环境的多卫星遥感数据处理系统达到高性能、高可用性和高可扩展能力,特别是具有对新增卫星遥感数据处理系统和计算节点的扩展能力。
根据本发明的一个方面,提供了一种基于虚拟化技术的多卫星遥感数据处理系统,包括:
虚拟化管理单元,用于基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
数据处理单元,用于在各计算节点完成卫星遥感数据的编目处理与产品生产;其中,计算节点包括用于卫星遥感数据处理的编目处理单元和产品生产单元;
任务管理单元,用于管理和调度卫星遥感数据处理任务,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
存储管理单元,用于提供对存储资源进行访问的通道,并对存储资源的卫星遥感数据及结构化数据进行保存。
此外,优选的方案是,虚拟资源池通过虚拟化构成,其中,虚拟资源池至少由一台服务器构成,虚拟资源池通过一台服务器或者一台虚拟机进行管理。
此外,优选的方案是,数据处理单元包括:编目处理单元、0级数据产品生成单元、辐射校正单元、系统级几何校正单元、几何精较正单元和正射校正单元;其中,
编目处理单元,用于读取0级数据文件,并将0级数据文件处理生成编目元数据文件注入到编目数据库中对其进行管理;
0级数据产品生成单元,用于根据卫星遥感数据确定的任务参数,对0级数据文件进行分解和参数信息提取,生成0级数据产品文件;
辐射校正单元,用于根据任务参数,对0级数据产品文件进行辐射校正;
系统级几何校正单元,用于根据任务参数,对经过辐射校正的0级数据产品文件进行系统级几何校正;
几何精校正单元,用于根据任务参数,对经过辐射校正和系统级几何校正的2级数据产品文件加入地面控制点,进行几何精校正;
正射校正单元,用于根据任务参数,对经过辐射校正和几何精校正的2级数据产品文件加入地面控制点及数字高程数据,并进行正射校正。
此外,优选的方案是,任务管理单元包括调度管理单元、资源管理单元和任务模板管理单元;
调度管理单元,用于完成对卫星遥感数据处理任务的管理和调度;
资源管理单元,用于对计算节点和数据处理能力的管理;
任务模板管理单元,用于对任务流程模板和任务输入参数模板进行管理。
此外,优选的方案是,存储管理单元包括:设备存储单元、文件并行单元和关系数据库存储单元;其中,
设备存储单元,用于基于SAN存储网络,提供服务器对存储资源的高速访问通道,并完成对卫星遥感数据的保存;
文件并行单元,用于实现对设备存储单元的管理,使所述计算节点对卫星遥感数据进行并行和共享访问;
关系数据库存储单元,用于实现对卫星编目信息、日志和用户信息关系结构化数据的保存。
根据本发明的另一方面,提供了一种基于虚拟化技术的多卫星遥感数据处理方法,包括:
基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
计算节点包括卫星遥感数据处理系统的编目处理单元和产品生产单元,完成对卫星遥感数据的编目处理与产品生产;
对卫星遥感数据进行管理和调度,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
对卫星遥感数据及结构化数据进行保存,并提供对卫星存储资源进行访问的通道。
根据本发明的另一方面,提供了一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,包括:
根据新增卫星数据,开发对新增卫星的卫星数据处理工具;
新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据;
将新增卫星的卫星数据处理工具,部署在各虚拟机节点上;
通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
此外,优选的方案是,处理工具包括卫星数据处理的编目处理单元和产品生产单元。
根据本发明的另一方面,提供了一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统,包括:
新增卫星数据处理工具开发单元,用于根据新增卫星数据,开发对新增卫星的卫星数据处理工具;
新增卫星数据处理工具分配单元,用于新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据;
虚拟机计算节点部署单元,用于将新增卫星的卫星数据处理工具,部署在各虚拟机计算节点上;
虚拟机计算节点任务管理单元,用于通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
利用上述根据本发明的基于虚拟化技术的多卫星遥感数据处理系统和方法,通过良好的系统架构设计,能够实现在高速存储设备上和基于虚拟化环境的多卫星遥感数据处理系统,并且多卫星遥感数据处理系统能够达到性能高、可用性高和可扩展性高,特别对新增加的卫星遥感数据处理系统具有的扩展能力和对计算节点有扩展能力。
为了实现上述以及相关目的,本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而,这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外,本发明旨在包括所有这些方面以及它们的等同物。
具体实施方式
在下面的描述中,出于说明的目的,为了提供对一个或多个实施例的全面理解,阐述了许多具体细节。然而,很明显,也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中,为了便于描述一个或多个实施例,公知的结构和设备以方框图的形式示出。
随着IT技术的发展,基于服务器的虚拟化技术得到了较快的发展。一方面,基于虚拟化技术可以按卫星遥感数据系统需求来分配计算能力,充分的利用服务器的计算资源;另一方面,带来了设备管理的便利性。利用虚拟化技术结合优秀的任务管理技术,可以在基于虚拟化的环境中,实现多卫星遥感数据处理系统,从而解决前述问题。
以下将结合附图对本发明的具体实施例进行详细描述。
图2示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统,如图2所示,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统,包括:
虚拟化管理单元210,用于基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
数据处理单元220,用于在各计算节点完成卫星遥感数据的编目处理与产品生产;其中,计算节点包括用于卫星遥感数据处理的编目处理单元和产品生产单元;
任务管理单元230,用于管理和调度卫星遥感数据处理任务,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
存储管理单元240,用于提供对存储资源进行访问的通道,并对存储资源的卫星遥感数据及结构化数据进行保存。
具体地,在上述虚拟化管理单元210中,本发明基于虚拟化技术,图3示出了根据本发明实施例的虚拟机与池化服务器关系,如图3所示,基于虚拟资源池创建虚拟机,供各应用使用,各应用将虚拟机作为计算节点;由N+1台服务器实现虚拟化,其中,N(N>1)台服务器由虚拟化软件进行池化,构成虚拟资源池,另1台服务器安装虚拟化管理软件对虚拟资源池的服务器进行管理。
图4为根据本发明实施例的服务器池化结构示意图,如图4所示,由N+1台服务器实现虚拟化。其中,N台服务器由虚拟化软件进行池化,另1台服务器作为池化管理服务器,安装虚拟化管理软件对N个虚拟资源池的服务器进行管理。在本发明中,基于虚拟化技术可以按卫星遥感数据系统通过1台服务器对虚拟资源进行管理;根据需要也可以通过1台虚拟机对虚拟资源池进行管理。
在本发明实施例中,基于虚拟化技术,由6台服务器通过虚拟化构成虚拟资源池,另由1台服务器安装虚拟化管理软件实现对池化服务器的管理。其中,对服务器的池化,使用VMware vSphere 5.0软件来实现,对池化服务器的管理使用VMware vCenter Server 5.0软件来实现。
虚拟化管理单元210,实现对计算节点计算能力的扩展和对计算节点数的扩展等。
在上述数据处理单元220中,图5为根据本发明实施例的数据处理单元框图,如图5所示,数据处理单元220包括编目处理单元221、0级数据产品生成单元222、辐射校正单元223、系统级几何校正单元224、几何精较正单元225和正射校正单元226。
编目处理单元231,用于读取0级数据文件,0级数据文件经过处理生成编目元数据文件,并注入到编目数据库中对其进行管理。
0级数据产品生成单元232,用于根据卫星遥感数据确定的任务参数,对0级数据文件进行分解和参数信息提取,生成0级数据产品文件。
辐射校正单元233,用于根据任务参数,对0级数据产品文件进行辐射校正。
系统级几何校正单元234,用于根据任务参数,对经过辐射校正的0级数据产品文件进行系统级几何校正。
几何精校正单元235,用于根据任务参数,对经过辐射校正和系统级几何校正的2级数据产品文件加入地面控制点,进行几何精校正。
正射校正单元236,用于根据任务参数,对经过辐射校正和几何精校正的所述2级数据产品文件加入地面控制点及数字高程数据,并进行正射校正。
在本发明实施例中,对不同的卫星遥感数据有不同的处理单元,各处理单元以任务的形式由调度管理单元进行调度和管理。
在上述任务管理单元230中,图6为根据本发明实施例的任务管理单元框图。
如图6所示,任务管理单元包括调度管理单元231、资源管理单元232和任务模板管理单元233。
具体地,调度管理单元231,用于完成对卫星遥感数据处理任务的管理和调度。其中,任务的管理包括对任务的创建、暂停和删除。
任务的调度,按照指定策略对对卫星遥感数据处理任务进行调度,其中,调度的内容包括次序调度和资源调度。
次序调度指从待执行任务中挑选下一个执行的任务。资源调度指根据卫星遥感数据处理系统的硬件资源条件以及应用软件部署信息,将任务分配给指定的硬件资源运行。
资源管理单元232包括卫星遥感数据处理系统的硬件资源管理和软件资源管理。其中,硬件资源管理指对计算节点的管理;软件资源管理指对数据处理能力的管理。通过资源管理单元232可以方便实现对新增卫星遥感数据处理系统的扩展。
任务模板管理单元233用于对任务流程模板和任务输入参数模板进行管理,实现对卫星遥感数据处理系统的扩展。其中,任务流程模板的用途是定义任务流程,其中,其内容包括任务流程中的所有步骤的描述信息,以及实现各个步骤所用的应用软件的调用方式等信息。任务输入参数的用途是用于定义任务的各个步骤的输入参数。
在上述存储管理单元240中,图7为根据本发明实施例的存储管理单元框图。如图7所示,存储管理单元240包括:设备存储单元241、文件并行单元242和关系数据库存储单元243。
其中,设备存储单元241,用于基于SAN存储网络,提供服务器对存储资源的并行高速和并行共享访问通道,并完成对卫星遥感数据的保存。
文件并行单元242,用于实现对所述设备存储单元的管理,使所述计算节点通过文件并行单元对卫星遥感数据进行并行和共享访问。
关系数据库存储单元243,用于实现对卫星编目信息、日志和用户信息关系结构化数据的保存。
具体地,设备存储单元241主要包含一台磁盘阵列设备、两台光纤交换机以及连接服务器、磁盘阵列设备和光纤交换机之间的连接设备。
文件并行单元242用于实现卫星遥感数据处理系统对卫星遥感数据的快速、并行和共享访问。
本发明的一个具体实施例中,文件并行单元使用StorNext File System。包含StorNext File System文件系统客户端和MDC元数据管理服务两部分,图8示出了根据本发明实施例的SNFS文件系统结构,如图8所示,StorNext FileSystem文件系统客户包括N个虚拟机,本发明实施中StorNext File System文件系统客户端包括4个虚拟机,终端包括2个MDC虚拟机。在本发明的实施例中,文件系统客户端包括N(N>1,可根据具体情况而定)个虚拟机,终端包括2个MDC虚拟机。
StorNext File System文件系统客户端与MDC元数据管理服务通过以太网络进行通信。StorNext File System文件系统客户端部署于需要进行文件访问的虚拟机上,MDC元数据管理服务部署于独立的MDC虚拟机上,用于完成文件并行单元中元数据信息的管理。
上述为本发明提供的基于虚拟化技术的多卫星遥感数据处理系统,与基于虚拟化技术的多卫星遥感数据处理系统相对应,本发明还提供一种基于虚拟化技术的多卫星遥感数据处理方法。
图9示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理方法,如图9所示,本发明的基于虚拟化技术的多卫星遥感数据处理方法包括:
S910:基于虚拟资源池创建虚拟机,作为各应用使用的计算节点;其中,虚拟资源池通过虚拟化构成;
S920:计算节点包括卫星遥感数据处理系统的编目处理单元和产品生产单元,完成对卫星遥感数据的编目处理与产品生产;
S930:对卫星遥感数据进行管理和调度,并根据卫星遥感数据处理任务对计算节点进行管理和调度;
S940:对卫星遥感数据及结构化数据进行保存,并提供对卫星存储资源进行访问的通道。
针对本发明提供的基于虚拟化技术的多卫星遥感数据处理系统,本发明还提供了一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法。
图10示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法流程,如图10所示,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,具体包括:
S110:根据新增卫星数据,开发对新增卫星的卫星数据处理工具;
S120:新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,
虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据;
S130:将新增卫星的卫星数据处理工具,部署在各虚拟机节点上;
S140:通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,
包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
本发明中的新增卫星系统并不是确定的,可以根据需要来扩展。根据需要,可以为Landsat-5、Landsat-8等卫星数据处理系统。
本发明的扩展方法要说明的问题是在基于虚拟化技术的多卫星遥感数据处理系统中增加对新增卫星数据的处理能力。这种处理能力包含硬件处理能力和软件处理能力,硬件处理能力是指完成卫星数据处理所需的计算资源和存储资源,软件处理能力是指卫星数据处理工具和任务管理。
卫星数据处理工具包括:卫星数据处理的编目处理单元和产品生产单元,具体包括:编目处理单元、0级数据产品生成单元、辐射校正单元、系统级几何校正单元、几何精校正单元和正射校正单元;卫星数据任务管理包括:对新的卫星数据处理任务的调度管理、资源管理和任务管理。
在上述步骤S110中,针对新增卫星数据的特点,编程开发实现针对新增卫星的卫星数据处理工具。
在上述步骤S120中,针对新增卫星数据处理工具的能力要求,通过虚拟化管理单元为此新增卫星数据处理软件分配所需的硬件处理能力,即虚拟机和数据存储。
在以上方法过程中,除了由于卫星数据特点未知而需要新开发一套卫星数据处理工具(软件)外,所需的计算能力和任务管理能力的扩展,都可以通过本系统来完成,而不需要进行额外的软件编程开发工作。
上述为本发明提供的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法,与基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展方法相对应,本发明还提供一种基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统。
图11示出了根据本发明实施例的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统结构,如图11所示,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统数据处理能力的扩展系统300结构包括:新增卫星数据处理工具开发单元310、新增卫星数据处理工具分配单元320、虚拟机计算节点部署单元330和虚拟机计算节点任务管理单元340。
其中,新增卫星数据处理工具开发单元310,用于根据新增卫星数据,开发对新增卫星的卫星数据处理工具。
新增卫星数据处理工具分配单元320,用于新增卫星的卫星数据处理工具通过虚拟化管理单元分配虚拟机和数据存储;其中,虚拟机中包括遥感数据处理能力所需的CPU、内存和网络资源;数据存储存放新增卫星的数据及其各级卫星数据。
虚拟机计算节点部署单元330,用于将新增卫星的卫星数据处理工具,部署在各虚拟机计算节点上。
虚拟机计算节点任务管理单元340,用于通过任务管理单元的任务模板管理单元,完成对新增卫星的任务管理;其中,包括对新增虚拟机计算节点的资源管理和调度管理,以及对新增卫星数据处理工具的任务管理。
通过上述实施方式可以看出,本发明提供的基于虚拟化技术的多卫星遥感数据处理系统和方法,通过系统架构设计,实现了在高速存储设备上和基于虚拟化环境的多卫星遥感数据处理系统,多卫星遥感数据处理系统达到了高性能、高可用性和高可扩展性,并且对新增卫星遥感数据处理系统和计算节点都具有扩展能力。
如上参照附图以示例的方式描述了根据本发明提出的基于虚拟化技术的多卫星遥感数据处理系统和方法。但是,本领域技术人员应当理解,对于上述本发明所提出的基于虚拟化技术的多卫星遥感数据处理系统和方法,还可以在不脱离本发明内容的基础上做出各种改进。因此,本发明的保护范围应当由所附的权利要求书的内容确定。