CN109150938A - 基于云服务的卫星应用公共服务平台 - Google Patents

Abstract

本发明适用于卫星应用技术领域，提供了一种基于云服务的卫星应用公共服务平台。该基于云服务的卫星应用公共服务平台包括软件系统和硬件系统；软件系统包括并行处理分系统、数据管理分系统和应用服务分系统；数据管理分系统管理关系数据库中存储的所有应用示范的资源编目信息、遥感数据和多源载荷应用示范产品数据；并行处理分系统将生产任务指派到不同的数据处理节点实现任务的并行处理；应用服务分系统用于数据分发及产品生产任务的定制；硬件系统包括瘦客户端、专线接入路由器、核心交换机、接入交换机、虚拟化服务器和系统服务器。该基于云服务的卫星应用公共服务平台，能够保证海量数据吞吐量，能够增加系统的可扩展性和可用性。

Description

基于云服务的卫星应用公共服务平台

技术领域

本申请涉及卫星应用技术领域，具体涉及一种基于云服务的卫星应用公共服务平台。

背景技术

遥感技术凭借其具有的全球性、高动态、连续性、全天候、全天时、多样化数据获取特点，已被广泛应用于农业、林业、水利、测绘、交通、气象、海洋等领域。经过多年的发展，我国遥感信息获取、处理及应用技术取得了显著的成绩，逐步形成了气象、资源、海洋、环境减灾四大民用遥感卫星系列。我国遥感应用研究进入了大型化、快速化的发展阶段。与此同时，各种遥感平台和遥感器无论种类、数量还是质量都在不断提升。我国卫星遥感地面站接收的数据目前已经超过300TB，很快将会达到PB级，并将以TB/天的速率增长。

卫星遥感数据庞大的数据量，需要借助海量数据存储系统进行归档存储。海量不仅包括大容量的数据存储能力，还包括大规模的数据吞吐能力。随着业务量的增长，数据存储量和存储性能急速增长，还要求整套存储系统具有极高的动态可扩展性能，避免存储扩容对业务系统造成长时间中断。另一方面，以监测、灾害应急等为目的的遥感应用对于时效性的需求越来越高，给遥感数据处理带来了新的挑战。面对接收的海量数据，系统要具备高效的数据处理能力，才能满足面向农情、火情、灾情、环境、气象等多行业的应用需求。此外，常规的集群并行处理解决方案要保证最高计算需求的资源使用率，在小计算需求的时段大部分资源处于无负荷运转状态，导致现有平台存在严重的资源浪费。

发明内容

有鉴于此，本发明实施例提供基于云服务的卫星应用公共服务平台，解决现有技术中海量遥感数据条件下难以保证海量数据吞吐量、难以动态无限扩容且造价高的问题。

本发明实施例提供一种基于云服务的卫星应用公共服务平台，包括软件系统和硬件系统；

所述软件系统包括并行处理分系统、数据管理分系统和应用服务分系统；所述数据管理分系统，用于统一管理关系数据库中存储的所有应用示范的资源编目信息、遥感数据和多源载荷应用示范产品数据；所述并行处理分系统，用于根据各个节点资源情况动态分配处理节点，通过将生产任务指派到不同的数据处理节点实现任务的并行处理；所述应用服务分系统，用于数据分发及产品生产任务的定制；

所述硬件系统包括依次连接的权属单位瘦客户端、专线接入路由器、核心交换机和接入交换机，以及与所述接入交换机相连的虚拟化服务器和系统服务器。

可选的，所述关系数据库用于存储遥感数据和算法运维配置管理数据；所述遥感数据包括GF1\GF2\ZY遥感数据，为平台的应用服务提供数据基础；所述算法运维配置管理数据包括用户与角色、算法信息。

可选的，所述应用服务分系统具体用于：生产订单、数据提取任务单的下达，并行处理系统对任务进行处理，反馈成产结果并在所述数据管理分系统中进行归档。

可选的，所述并行处理分系统与所述关系数据库网络连接，通过读取遥感数据生成可视化遥感专题数据，用以对外提供包括多源遥感数据间辐射校正、国产遥感影像正射校正、多源空间数据融合、高分辨率光学影像的无云产品生产、作物面积监测、森林火灾综合监测、土壤含水量协同反演、地理数据动态更新、海洋灾害监测与应急、土地变化信息提取和应急安全监测中的至少一种信息处理操作。

可选的，所述并行处理分系统包括业务管理、算法推送、任务管理、任务调度和产品推送，具体用于提供应用示范软件集成，实现对已集成应用示范软件的多任务并行处理。

可选的，所述权属单位瘦客户端在用B/S模式与后台的虚拟机进行通信，所述虚拟机与所述权属单位瘦客户端之间传递桌面图片数据；所述权属单位通过所述权属单位瘦客户端在所述虚拟机上使用账号进行登录，实现相应的权限。

可选的，所述专线接入路由器用于将各个用户单位专线接入数据中心，提供数据通信链路；所述专线接入路由器下行与各个所述权属单位瘦客户端相连，上行与数据中心的核心交换机相连。

可选的，所述核心交换机为后台虚拟机与平台系统通信提供高速的包交换能力；所述核心交换机下行与数据中心的接入路由器相连，上行与所述接入交换机相连。

可选的，所述接入交换机设置有预设个数的接口，为所述虚拟化服务器和后台系统服务器提供接入能力；所述接入交换机上行与所述虚拟化服务器和所述并行处理系统服务器相连，下行与所述核心交换机相连。

可选的，所述系统服务器为系统提供基础硬件支撑环境，与所述接入交换机相连。

采用上述技术方案，本发明至少可取得下述技术效果：本发明实施例，能够实现从遥感产品生产、归档、订购、质量评价、查询为一体的自动化生产流程，生产过程使用Hadoop调度算子，实现并行化生产，有效地增强生产的效率，降低人为操作出错的可能性；用户可以将自己的遥感算法进行注册，系统自动生成页面参数填写页面，流程调度配置文件，有效地增加系统的可扩展性和可用性。

另外，上述基于云服务的卫星应用公共服务平台采用桌面虚拟化技术为权属单位用户提供卫星应用公共服务平台系统的访问，保证数据只在数据中心内部流转，能够有效的保证数据的安全。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本实施例所述的基于云服务的卫星应用公共服务平台的软件系统的结构框图；

图2是本实施例所述的基于云服务的卫星应用公共服务平台的硬件系统的结构框图。

具体实施方式

提供以下参照附图的描述来帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。以下描述包括帮助理解的各种具体细节，但是这些细节将被视为仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所述的各种实施例进行各种改变和修改。另外，为了清晰和简洁，公知功能和构造的描述可被省略。

以下描述和权利要求书中所使用的术语和词汇不限于文献含义，而是仅由发明人用来使本公开能够被清晰和一致地理解。因此，对于本领域技术人员而言应该明显的是，提供以下对本公开的各种实施例的描述仅是为了示例性目的，而非限制由所附权利要求及其等同物限定的本公开的目的。

应该理解，除非上下文明确另外指示，否则单数形式也包括复数指代。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。

参见图1和图2，一个实施例中，该基于云服务的卫星应用公共服务平台可以包括软件系统100和硬件系统200。

所述软件系统100包括并行处理分系统101、数据管理分系统102和应用服务分系统103。所述数据管理分系统102，用于统一管理关系数据库中存储的所有应用示范的资源编目信息、遥感数据和多源载荷应用示范产品数据。所述并行处理分系统101，用于根据各个节点资源情况动态分配处理节点，通过将生产任务指派到不同的数据处理节点实现任务的并行处理。所述应用服务分系统103，用于数据分发及产品生产任务的定制。

所述硬件系统200包括依次连接的权属单位瘦客户端201、专线接入路由器202、核心交换机203和接入交换机204，以及与所述接入交换机204相连的虚拟化服务器205和系统服务器206。

所述关系数据库用于存储遥感数据和算法运维配置管理数据。所述遥感数据包括GF1\GF2\ZY遥感数据，为平台的应用服务提供数据基础。所述算法运维配置管理数据包括用户与角色、算法信息。

其中，所述数据管理分系统102提供分布式数据管理能力，提供对结构化数据、非结构化数据等海量数据的归档、检索及提取服务，并对云服务原型系统中其他模块屏蔽存储方式等信息，能够降低数据处理及各类典型应用模块的开发难度，提高原型系统的扩展性。而且数据管理分系统102可存储多个数据源提供的原始数据，提供TB级以上数据的存储服务能力，在系统运行过程中，数据管理分系统102需要统一管理所有应用示范的各类资源编目信息、各类遥感数据产品、多源载荷应用示范产品等数据。

可选的，所述并行处理分系统101实现对已集成多源载荷应用示范软件的多任务并行处理功能。具体的，并行处理分系统101根据各个节点资源情况动态分配处理节点，通过将生产任务指派到不同的数据处理节点实现任务的并行处理。同时，并行处理分系统101能够实现分布式文件存储位置感知功能，将生产任务尽可能的指派给数据所在节点，减少计算节点之间数据的迁移，从而达到降低整体数据I/O(input/output，输入/输出)量提高生产效率的目的。例如，所述并行处理分系统具体用于检测分布式文件存储位置，并将生产任务指派给数据所在节点进行处理。

其中，所述并行处理分系统101与所述关系数据库网络连接，通过读取遥感数据生成可视化遥感专题数据，用以对外提供包括多源遥感数据间辐射校正、国产遥感影像正射校正、多源空间数据融合、高分辨率光学影像的无云产品生产、作物面积监测、森林火灾综合监测、土壤含水量协同反演、地理数据动态更新、海洋灾害监测与应急、土地变化信息提取和应急安全监测中的至少一种信息处理操作。

可选的，所述应用服务分系统103是基于云服务的原型系统各类产品的分发与订制门户。应用服务分系统103主要任务是数据分发及产品生产任务定制。数据分发功能完成多源遥感数据产品以及农业、林业、水利、测绘、海洋、区域等综合应用示范产品的分发，为用户提供产品数据的查询检索、浏览等服务。产品生产任务定制提供对农业、林业、水利、测绘、海洋、区域等综合应用示范产品的生产任务定制服务，同时应用服务分系统103还提供算法注册功能，实现多源载荷数据处理应用的集成功能。

一个实施例中，所述应用服务分系统103具体用于：生产订单、数据提取任务单的下达，并行处理系统对任务进行处理，反馈成产结果并在所述数据管理分系统中进行归档。

可选的，瘦客户端201是各个权属单位访问卫星应用公共服务平台的媒介。瘦客户端201在用B/S模式与后台的虚拟机进行通信，虚拟机与瘦客户端之间传递的是桌面图片数据，不含遥感数据，这样可以保护遥感数据的安全。权属单位通过瘦客户端201在虚拟机上使用自己的账号进行系统的登录，实现相应的权限。

其中，所述瘦客户端201在用B/S模式(Browser/Server，浏览器/服务器模式)与后台的虚拟机进行通信，所述虚拟机与所述瘦客户端201之间传递桌面图片数据；所述瘦客户端201在所述虚拟机上使用账号进行登录，实现相应的权限。本实施例中，瘦客户端201的个数为多个。

可选的，所述专线接入路由器202负责各个权属单位专线接入数据中心，提供数据通信链路。其中，专线接入路由器202向下与各个权属单位的瘦客户端201相连，向上与数据中心的核心交换机203相连。所述专线接入路由器202用于将各个用户单位专线接入数据中心，提供数据通信链路；所述专线接入路由器202下行与各个所述瘦客户端201相连，上行与数据中心的核心交换机203相连。

可选的，核心交换机203为数据中心数据通信的核心，为后台虚拟机与系统通信提供高速的遥感数据交换能力。核心交换机203向下与数据中心的接入路由器202相连，向上与接入交换机204相连。

一个实施例中，所述核心交换机203为后台虚拟机与平台系统通信提供高速的包交换能力；所述核心交换机203下行与数据中心的接入路由器202相连，上行与所述接入交换机204相连。

可选的，所述接入交换机204设置有足够的接口，为虚拟化服务器205和系统服务器206提供接入能力。接入交换机204向上与虚拟化服务器205、应用公共服务平台系统服务器206相连，向下与核心交换机203相连。

例如，所述接入交换机204设置有预设个数的接口，为所述虚拟化服务器205和后台系统服务器206提供接入能力。所述接入交换机204上行与所述虚拟化服务器205和所述并行处理系统服务器206相连，下行与所述核心交换机203相连。

可选的，虚拟化服务器205负责运行权属单位的虚拟机，权属单位通过虚拟化服务器205使用自己的账号登录卫星应用公共服务平台系统获取服务。虚拟化服务器205向下与接入交换机204相连。

可选的，所述系统服务器206为系统提供基础硬件支撑环境，与所述接入交换机204相连。

上述基于云服务的卫星应用公共服务平台，能够实现从遥感产品生产、归档、订购、质量评价、查询为一体的自动化生产流程，生产过程使用Hadoop调度算子，实现并行化生产，有效地增强生产的效率，降低人为操作出错的可能性。用户可以将自己的遥感算法进行注册，系统自动生成页面参数填写页面，流程调度配置文件，有效地增加系统的可扩展性和可用性。另外，上述基于云服务的卫星应用公共服务平台采用桌面虚拟化技术为权属单位用户提供卫星应用公共服务平台系统的访问，保证数据只在数据中心内部流转，有效的保证数据的安全。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云服务的卫星应用公共服务平台，其特征在于，包括软件系统和硬件系统；

所述软件系统包括并行处理分系统、数据管理分系统和应用服务分系统；所述数据管理分系统，用于统一管理关系数据库中存储的所有应用示范的资源编目信息、遥感数据和多源载荷应用示范产品数据；所述并行处理分系统，用于根据各个节点资源情况动态分配处理节点，通过将生产任务指派到不同的数据处理节点实现任务的并行处理；所述应用服务分系统，用于数据分发及产品生产任务的定制；

所述硬件系统包括依次连接的瘦客户端、专线接入路由器、核心交换机和接入交换机，以及与所述接入交换机相连的虚拟化服务器和系统服务器。

2.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述关系数据库用于存储遥感数据和算法运维配置管理数据；所述遥感数据包括GF1\GF2\ZY遥感数据，为平台的应用服务提供数据基础；所述算法运维配置管理数据包括用户与角色、算法信息。

3.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述应用服务分系统具体用于：生产订单、数据提取任务单的下达，并行处理系统对任务进行处理，反馈成产结果并在所述数据管理分系统中进行归档。

4.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述并行处理分系统与所述关系数据库网络连接，通过读取遥感数据生成可视化遥感专题数据，用以对外提供包括多源遥感数据间辐射校正、国产遥感影像正射校正、多源空间数据融合、高分辨率光学影像的无云产品生产、作物面积监测、森林火灾综合监测、土壤含水量协同反演、地理数据动态更新、海洋灾害监测与应急、土地变化信息提取和应急安全监测中的至少一种信息处理操作。

5.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述并行处理分系统具体用于检测分布式文件存储位置，并将生产任务指派给数据所在节点进行处理。

6.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述瘦客户端在用B/S模式与后台的虚拟机进行通信，所述虚拟机与所述瘦客户端之间传递桌面图片数据；所述瘦客户端在所述虚拟机上使用账号进行登录，实现相应的权限。

7.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述专线接入路由器用于将各个用户单位专线接入数据中心，提供数据通信链路；所述专线接入路由器下行与各个所述瘦客户端相连，上行与数据中心的核心交换机相连。

8.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述核心交换机为后台虚拟机与平台系统通信提供高速的包交换能力；所述核心交换机下行与数据中心的接入路由器相连，上行与所述接入交换机相连。

9.如权利要求1所述的基于云服务的卫星应用公共服务平台，其特征在于，所述接入交换机设置有预设个数的接口，为所述虚拟化服务器和后台系统服务器提供接入能力；所述接入交换机上行与所述虚拟化服务器和所述并行处理系统服务器相连，下行与所述核心交换机相连。

10.如权利要求1至9任一项所述的基于云服务的卫星应用公共服务平台，其特征在于，所述系统服务器为系统提供基础硬件支撑环境，与所述接入交换机相连。