CN114489957B - 遥感卫星数据处理方法、装置和电子设备 - Google Patents

Abstract

本申请提出了一种遥感卫星数据处理方法、装置和电子设备。其中，该方法包括：通过获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中，再获取遥感卫星的再定标流程，其中，再定标流程包括多个处理节点，并将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上，以根据再定标流程，确定多个容器中可并行执行的目标容器，从而控制目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，由此，基于可并行执行的目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，从而快速完成整个遥感卫星数据的再定标过程，提高了遥感卫星数据的处理速度。

Description

遥感卫星数据处理方法、装置和电子设备

技术领域

本申请涉及遥感卫星数据处理技术领域，尤其涉及一种遥感卫星数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着遥感卫星的在轨运行，遥感卫星数据会源源不断的产生。相关技术中，可基于感卫星数据进行卫星再定标处理时，再定标的业务流程通常达到二十几个环节，最多需要上百个算法组件，系统需要处理的数据量达到千万级数据文件，若单机运行将需要可能长达10年时间才能完成卫星再定标的过程，故快速完成整个卫星数据再定标过程是亟需解决的问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种遥感卫星数据处理方法。

本申请的第二个目的在于提出一种遥感卫星数据处理装置。

本申请的第三个目的在于提出一种电子设备。

为达上述目的，本申请第一方面实施例提出了一种遥感卫星数据处理方法，应用在分布式集群中，所述方法包括：

获取遥感卫星的再定标遥感卫星数据，并将所述再定标遥感卫星数据存储到所述分布式集群的对象存储服务节点中；

获取所述遥感卫星的再定标流程，其中，所述再定标流程包括多个处理节点；

将各个所述处理节点所对应的算法组件部署在所述分布式集群的不同的容器上；

根据所述再定标流程，确定多个所述容器中可并行执行的目标容器；

控制所述目标容器对所述对象存储服务节点中的再定标遥感卫星数据进行并行处理。

可选地，作为第一方面的第一种可能的实现方式，所述获取遥感卫星的再定标遥感卫星数据，并将所述再定标遥感卫星数据存储到所述分布式集群的对象存储服务节点中，包括：

从所述遥感卫星的存储桶中获取再定标遥感卫星数据；

确定所述再定标遥感卫星数据对应的元数据；

将所述元数据存储到所述分布式集群的对象存储服务节点中。

可选地，作为第一方面的第二种可能的实现方式，所述方法还包括：

获取所述分布式集群的对象存储服务节点的http服务；

根据所述对象存储服务节点的http服务，创建所述对象存储服务节点的应用程序接口API，使所述目标容器通过所述API访问所述对象存储服务节点中的遥感卫星数据。

可选地，作为第一方面的第三种可能的实现方式，所述将各个所述处理节点所对应的算法组件部署在所述分布式集群的不同的容器上，包括：

对各个所述处理节点所对应的算法组件进行容器化，以得到所述算法组件对应的容器化描述文件；

根据所述容器化描述文件，生成所述算法组件对应的容器镜像，并将所述容器镜像保存到镜像库；

将所述镜像库中的容器镜像部署到所述分布式集群的不同的容器上。

可选地，作为第一方面的第四种可能的实现方式，在所述控制所述目标容器对所述对象存储服务节点中的再定标遥感卫星数据进行并行处理之前，所述方法还包括：

获取所述目标容器所需要的资源信息；

根据所述资源信息，为所述目标容器分配对应的资源。

本申请提出了一种遥感卫星数据处理方法，通过获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中，再获取遥感卫星的再定标流程，其中，再定标流程包括多个处理节点，并将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上，以根据再定标流程，确定多个容器中可并行执行的目标容器，从而控制目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，由此，基于可并行执行的目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，从而快速完成整个遥感卫星数据再定标过程，提高了遥感卫星数据的处理速度。

为达上述目的，本发明第二方面实施例提出了一种遥感卫星数据处理装置，应用在分布式集群中，所述装置包括：

存储模块，用于获取遥感卫星的再定标遥感卫星数据，并将所述再定标遥感卫星数据存储到所述分布式集群的对象存储服务节点中；

第一获取模块，用于获取所述遥感卫星的再定标流程，其中，所述再定标流程包括多个处理节点；

部署模块，用于将各个所述处理节点所对应的算法组件部署在所述分布式集群的不同的容器上；

确定模块，用于根据所述再定标流程，确定多个所述容器中可并行执行的目标容器；

处理模块，用于控制所述目标容器对所述对象存储服务节点中的再定标遥感卫星数据进行并行处理。

可选地，作为第二方面的第一种可能的实现方式，所述存储模块，具体用于：

从所述遥感卫星的存储桶中获取再定标遥感卫星数据；

确定所述再定标遥感卫星数据对应的元数据；

将所述元数据存储到所述分布式集群的对象存储服务节点中。

可选地，作为第二方面的第二种可能的实现方式，所述装置还包括：

第二获取模块，用于获取所述分布式集群的对象存储服务节点的http服务；

创建模块，用于据所述对象存储服务节点的http服务，创建所述对象存储服务节点的应用程序接口API，使所述目标容器通过所述API访问所述对象存储服务节点中的遥感卫星数据。

可选地，作为第二方面的第三种可能的实现方式，所述部署模块，具体用于：

对各个所述处理节点所对应的算法组件进行容器化，以得到所述算法组件对应的容器化描述文件；

根据所述容器化描述文件，生成所述算法组件对应的容器镜像，并将所述容器镜像保存到镜像库；

将所述镜像库中的容器镜像部署到所述分布式集群的不同的容器上。

可选地，作为第二方面的第四种可能的实现方式，所述装置还包括：

第三获取模块，用于获取所述目标容器所需要的资源信息；

分配模块，用于根据所述资源信息，为所述目标容器分配对应的资源。

本申请提出了一种遥感卫星数据处理装置，通过获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中，再获取遥感卫星的再定标流程，其中，再定标流程包括多个处理节点，并将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上，以根据再定标流程，确定多个容器中可并行执行的目标容器，从而控制目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，由此，基于可并行执行的目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，从而快速完成整个遥感卫星数据再定标过程，提高了遥感卫星数据的处理速度。

为达上述目的，本申请第三方面实施例提出了一种电子设备，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求第一方面中任一所述的遥感卫星数据处理方法。

为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求第一方面中任一所述的遥感卫星数据处理方法。

为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如权利要求第一方面中任一所述的遥感卫星数据处理方法。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例所提供的一种遥感卫星数据处理方法的流程示意图；

图2是本申请所提供一个遥感卫星数据再定标的业务场景示例图；

图3是本申请实施例所提供的另一种遥感卫星数据处理方法的流程示意图；

图4是本申请实施例提供的一种遥感卫星数据处理装置的结构示意图；

图5是本申请实施例提供的另一种遥感卫星数据处理装置的结构示意图；

图6是本申请电子设备一个实施例的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的遥感卫星数据处理方法和、装置、电子设备。

图1为本申请实施例所提供的一种遥感卫星数据处理方法的流程示意图，其中，遥感卫星数据处理方法应用在分布式集群中。

如图1所示，方法包括以下步骤：

步骤101，获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中。

其中，需要说明的是，遥感卫星数据处理方法，由遥感卫星数据处理装置执行。遥感卫星数据处理装置可以由分布式集群进行管理的系统实现，也就是说，遥感卫星数据处理装置可以为分布式集群管理系统，例如，遥感卫星数据处理装置可以为对分布式集群进行管理的集群管理系统K8S（Kuberne tes)。其中，可以理解的是，本实施例中的分布式集群管理系统可以管理分布式集群中的对象存储服务节点和容器。

在一些实施例中，遥感卫星的再定标遥感卫星数据可以为海洋光学卫星的再定标遥感卫星数据，但不仅限于此。

在一些实施例中，获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中的一种实施方式为，从遥感卫星的存储桶中获取再定标遥感卫星数据，确定再定标遥感卫星数据对应的元数据，将元数据存储到分布式集群的对象存储服务节点中，从而减轻对象存储服务通过获取文件获取数据描述信息的压力，提高对象存储服务存储数据的效率。

其中，元数据可以是对再定标遥感卫星数据的重要信息进行提前编目预存的数据。

其中，再定标遥感卫星数据的重要信息可以包括但不限于地理空间范围、时间范围、轨道号、获取时间以及云量的检索。

在另一些实施例中，可以将再定标遥感卫星数据存储到分布式集群的对象存储服务节点的数据桶中，但不仅限于此。

步骤102，获取遥感卫星的再定标流程，其中，再定标流程包括多个处理节点。

在一些实施例中，以获取的海洋光学卫星的再定标流程为例，如图2所示，再定标流程包括多个处理节点，其中，再定标流程每一个处理步骤都可以为一个处理节点。具体地，可以从海洋光学卫星中获取L0级卫星数据，并确定该卫星数据的数据格式与对象存储服务节点所支持的数据格式是否一致，如果不一致，则根据对象存储服务节点所支持的数据格式对卫星数据进行格式转换。然后，对格式转换后的卫星数据进行数据合规性筛选、均匀性分析以及质量评价，再进行集合纠正，从而得到待定标数据集，再将交叉定标的中分辨率成像光谱仪（Moderate-resolution Imaging Spectroradiometer，MODIS）数据与待定标数据集的时空匹配、过境时间、过境地点、去云、太阳高度角进行参考，以得到交叉定标卫星数据集，还可以结合辅助数据匹配对映的时空，得到对映的辅助数据集，将待定表数据集、交叉定标卫星数据集和辅助数据集进行条带消除、总辐亮度的替代定标、总辐亮度的交叉定标、MODIS相关通道图像匹配的深度学习算法处理，在得到L1B再定标数据集，从而将L1B再定标数据集细化为对映的海温产品、地球物理化学产品和大气矫正产品，从而实现了对海洋光学卫星数据的再定标处理过程。

其中，L0、L1B为海洋卫星数据的产品分类。

步骤103，将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上。

在一些实施例中，各个处理节点所对应的算法组件可以为单个，也可以为多个但不仅限于此。

在一些实施例中，将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上的一种实施方式可以为，对各个处理节点所对应的算法组件进行容器化（docket），以得到算法组件对应的容器化描述文件，根据容器化描述文件，生成算法组件对应的容器镜像，并将容器镜像保存到镜像库,再将镜像库中的容器镜像部署到分布式集群的不同的容器上，由此，通过对各个处理节点所对应的算法组件容器化，降低多个算法组件之间耦合产生影响，实现更轻量级的虚拟化，方便快速部署。

其中，容器化描述文件可以是由算法组件的命令和参数构成的脚本。

其中，镜像库为整个分布式集群环境提供容器的拉取服务。

其中，镜像库可以包括但不仅限于为Harbor，其中，Harbor为构建私有容器（docker）镜像的仓库。

其中，镜像库管理端需提供对算法组件描述信息的提取应用程序接口（Application Programming Interface，API），以使容器通过API访问对象存储服务节点中的遥感卫星数据。

在另一些实施例中，可以将算法组件按照载荷、任务命名、版本等指定命名规范进行命名。

其中，各个处理节点所对应的算法组件可以是各个处理节点所对应的处理程序，但不仅限于此。

步骤104，根据再定标流程，确定多个容器中可并行执行的目标容器。

在一些实施例中，可根据再定标流程中各个处理节点的执行顺序，对各个处理节点的算法组件所对应的容器的执行顺序进行编排，并根据编排结果，确定出多个容器中可并行执行的目标容器，从而确定多个容器的最优编排方式，以加快再定标流程的处理速度。

在另一些实施例中，为了可以方便地访问对象存储服务节点中的卫星数据，本申请的目标容器可通过应用程序接口API访问对象存储服务节点中的遥感卫星数据。

在一些实施例中，为了使得对应容器可通过应用程序接口API访问对象存储服务节点中的遥感卫星数据，可以获取分布式集群的对象存储服务节点的超文本传输协议（Hyper Text Transfer Protocol，HTTP）服务，以根据对象存储服务节点的http服务，创建对象存储服务节点的应用程序接口API。对应地，将该API对应的接口信息通知各个容器，从而方便对应容器基于接口信息对该API接口进行访问，进而通过该API接口从对象存储服务节点中获取遥感卫星数据。

步骤105，控制目标容器对对象存储服务节点中的再定标遥感卫星数据进行并行处理。

可以理解的是，本实施例可通过并行化集群调度的方式，控制可并行执行的目标容器对对象存储服务节点中的再定标遥感卫星数据进行并行处理，从而实现了并行处理再定标遥感卫星数据，提高遥感卫星数据的处理速度。

在一些实施例中，为了目标容器可以对再定标遥感卫星数据进行处理之前，还可以获取目标容器的所需要的资源信息，并根据资源信息，为目标容器分配对应的资源。由此，可以动态对目标容器实现资源分配，使得所分配的资源满足目标容器的需求的同时，可以实现分布式集群中的资源的合理利用。

本申请提出了一种遥感卫星数据处理方法，通过获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中，再获取遥感卫星的再定标流程，其中，再定标流程包括多个处理节点，并将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上，以根据再定标流程，确定多个容器中可并行执行的目标容器，从而控制目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，由此，基于可并行执行的目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，从而快速完成整个遥感卫星数据再定标过程，提高了遥感卫星数据的处理速度。

此外，本申请的遥感卫星数据处理方法还可以应用在大规模卫星数据产品生产场景，但不仅限于此。

基于上述实施例的基础上，以海洋光学卫星数据为例，实现分布式集群的并行化调度，以提高遥感卫星数据的处理时效，如图3所示，图3是本申请所提供的另一个具体实施例的遥感卫星数据处理方法的流程示意图。

步骤301，将再定标数据从海洋光学卫星存储中导入到分布式集群的对象存储服务节点中。

在一些实施例中，对象存储服务的存储格式支持海洋光学卫星数据的geotiff和hdf两种影像数据格式，但不仅限于此。

在一些实施例中，海洋光学卫星数据的再定标数据可以划分为L0、L1A、L1B、L2A、L2B级数据，并以存储桶（bucket）的形式存放在对象存储服务中,且对再定标数据采用规范编码命名，以通过命名定位数据存储桶、目录和文件。

在一些实施例中，为提高数据检索效率，可以将光学海洋卫星数据对应的元数据存储到分布式集群的对象存储服务节点中。

此外，分布式集群的对象存储服务节点还提供了基于http统一访问的应用程序接口API,从而简化了数据服务访问难度，同时保证了对象存储服务节点存储数据的安全性。

步骤302，对再定标算法组件容器化（dockers），并部署在分布式集群的不同的容器上。

在一些实施例中，再定标算法组件容器是可以独立运行的，每个再定标算法组件容器是完成海洋卫星数据再定标流程的特定单一任务，例如，条带消除算法组件，是由特定的研制单位研制。

在一些实施例中，在对再定标算法组件容器化之前，还可以对算法组件进行管理，例如，算法组件上传、算法组件合规性检查和算法组件兼容性测试。

在另一些实施例中，对再定标算法组件进行容器化，将算法组件容器化后的容器镜像上传到镜像库，并填写算法组件资源约束等描述信息，再对算法组件容器化后的容器镜像进行合规性检查，再合规性检查结果为正常的情况下，将容器镜像部署在分布式集群的不同的容器上进行兼容性测试，在测试结果正常情况下，人工确认算法组件容器化后的容器镜像，以存储到私有镜像库中，并部署在分布式集群的不同的容器上。

步骤303，基于容器化再定标流程调度，生成作业任务。

在一些实施例中，可将K8S作为容器集群管理系统，K8S根据再定标流程中各个处理节点的执行顺序，对各个处理节点的算法组件所对应的容器进行编排，并将编排结果作为作业任务，以提高遥感卫星数据的处理时效。

其中，作业任务可以采用标记语言（Yet Another Markup Language，yaml）方式进行描述，其中，yaml可以提供各个处理节点的算法组件所对应的容器的顺序、分支、循环、有向无环图、事件触发、定时触发、完成触发继续等作业流程规范，提供对复杂的再定标流程脚本编写。

在另一些实施例中，K8S容器集群管理系统，可以根据作业任务的脚本定义的镜像库中算法组件的位置，以从镜像库中拉取算法组件的容器镜像部署到分布式集群的不同的容器上，引导完成作业任务。

在另一些实施例中，K8S容器集群管理系统还可以在线监控各个处理节点的算法组件所对应的容器的执行环节、容器镜像的节点信息、容器镜像的占用资源，以动态调度资源。

步骤304，容器并行化集群的动态调度。

在一些实施例中，可以通过并行的容器对再定标遥感卫星数据进行并行处理，以实现基于容器并行化集群的动态调度。

具体地，可以基于K8S容器集群管理系统的有限计算资源，动态分配容器的计算资源，当容器所需要的计算资源不满足容器镜像的执行，对容器镜像进行排队，并按照队列进行等待。

其中，有限计算资源可以包括算法组件执行所需要的CPU线程内核数、内存、GPU资源，但不仅限于此。

本申请提出了一种遥感卫星数据处理方法，通过将再定标数据从海洋光学卫星存储中导入到分布式集群的对象存储服务节点中，并对再定标算法组件进行容器化，且存入到私有镜像库中，再基于容器化再定标流程调度，生成作业任务，以实现容器并行化集群的动态调度，由此，基于容器并行化集群的动态调度，减少处理遥感卫星数据的等待时长，提高遥感卫星数据再定标流程的处理时效。

为实现上述实施例，本发明还提出一种遥感卫星数据处理装置。

图4为本发明实施例提供的一种遥感卫星数据处理装置的结构示意图。

如图4所示，该遥感卫星数据处理装置包括：存储模块401、第一获取模块402、部署模块403、确定模块404和处理模块405。

存储模块401，用于获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中。

第一获取模块402，用于获取遥感卫星的再定标流程，其中，再定标流程包括多个处理节点。

部署模块403，用于将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上。

确定模块404，用于根据再定标流程，确定多个容器中可并行执行的目标容器。

处理模块405，用于控制目标容器对对象存储服务节点中的再定标遥感卫星数据进行并行处理。

在一些实施例中，如图5所示，存储模块401，具体用于：

从遥感卫星的存储桶中获取再定标遥感卫星数据。

确定再定标遥感卫星数据对应的元数据。

将元数据存储到分布式集群的对象存储服务节点中。

在一些实施例中，如图5所示，装置还包括：

第二获取模块406，用于获取分布式集群的对象存储服务节点的http服务。

创建模块407，用于据对象存储服务节点的http服务，创建对象存储服务节点的应用程序接口API，使目标容器通过API访问对象存储服务节点中的遥感卫星数据。

在一些实施例中，如图5所示，部署模块403，具体用于：

对各个处理节点所对应的算法组件进行容器化，以得到算法组件对应的容器化描述文件。

根据容器化描述文件，生成算法组件对应的容器镜像，并将容器镜像保存到镜像库。

将镜像库中的容器镜像部署到分布式集群的不同的容器上。

在一些实施例中，如图5所示，装置还包括：

第三获取模块408，用于获取目标容器所需要的资源信息。

分配模块409，用于根据资源信息，为目标容器分配对应的资源。

其中，需要说明的是，前述对遥感卫星数据处理方法实施例的解释说明也适用于本实施例的遥感卫星数据处理装置，此处不再赘述。

本申请提出了一种遥感卫星数据处理装置，通过获取遥感卫星的再定标遥感卫星数据，并将再定标遥感卫星数据存储到分布式集群的对象存储服务节点中，再获取遥感卫星的再定标流程，其中，再定标流程包括多个处理节点，并将各个处理节点所对应的算法组件部署在分布式集群的不同的容器上，以根据再定标流程，确定多个容器中可并行执行的目标容器，从而控制目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，由此，基于可并行执行的目标容器对对象存储服务节点中的再定标遥感卫星数据进行处理，从而快速完成整个遥感卫星数据再定标过程，提高了遥感卫星数据的处理速度。

本申请实施例还提供电子设备，电子设备包含前述任一实施例的装置。

图6为本申请电子设备一个实施例的结构示意图。

如图6所示，上述电子设备可以包括：壳体601、处理器602、存储器603、电路板604和电源电路605，其中，电路板604安置在壳体601围成的空间内部，处理器602和存储器603设置在电路板604上；电源电路605，用于为上述电子设备的各个电路或器件供电；存储器603用于存储可执行程序代码；处理器602通过读取存储器603中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的遥感卫星数据处理方法。

处理器602对上述步骤的具体执行过程以及处理器602通过运行可执行程序代码来进一步执行的步骤，可以参见本申请图1-2所示实施例的描述，在此不再赘述。

该电子设备以多种形式存在，包括但不限于：

（1） 超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能， 一般也具备连网特性。这类终端一般是处理计算数据的计算机。

（2） 服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

（3） 其他具有数据计算和处理的电子设备。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种遥感卫星数据处理方法，其特征在于，应用在分布式集群中，所述方法包括：

获取遥感卫星的再定标遥感卫星数据，并将所述再定标遥感卫星数据存储到所述分布式集群的对象存储服务节点中；

获取所述遥感卫星的再定标流程，其中，所述再定标流程包括多个处理节点；

将各个所述处理节点所对应的算法组件部署在所述分布式集群的不同的容器上，其中，包括：对各个处理节点对应的算法组件进行容器化，得到算法组件对应的容器化描述文件，其中,包括:填写算法组件资源约束描述信息，根据容器化描述文件，生成算法组件对应的容器镜像，并将容器镜像保存在镜像库中，将所述镜像库中的容器镜像部署到所述分布式集群的不同的容器上；

根据所述再定标流程，确定多个所述容器中可并行执行的目标容器,其中，包括：根据再定标流程中各个处理节点的执行顺序，对各个处理节点的算法组件所对应的容器的执行顺序进行编排，并根据编排结果，确定出多个容器中可并行执行的目标容器，并将编排结果作为作业任务，其中，作业任务采用标记语言方式yaml进行描述，其中，yaml可以提供各个处理节点的算法组件所对应的容器的顺序、分支、循环、有向无环图、事件触发、定时触发、完成触发继续作业流程规范，提供对复杂的再定标流程脚本编写；

通过并行化集群调度的方式，获取目标容器的所需要的资源信息，并根据资源信息，为目标容器分配对应的资源，控制所述目标容器对所述对象存储服务节点中的再定标遥感卫星数据进行并行处理；其中，所述并行化集群调度的方式包括：根据作业任务的脚本定义的镜像库中算法组件的位置，从镜像库中拉取算法组件的容器镜像部署到分布式集群的不同的容器上，引导完成作业任务；容器集群管理系统在线监控数据各个处理节点的算法组件所对应的容器的执行、容器镜像的节点信息、容器镜像的占用资源，基于算法组件的资源约束，动态分配容器的调度资源，当容器所需要的计算资源不满足容器镜像的执行，对容器镜像进行排队，并按照队列进行等待。

2.如权利要求1所述的方法，其特征在于，所述获取遥感卫星的再定标遥感卫星数据，并将所述再定标遥感卫星数据存储到所述分布式集群的对象存储服务节点中，包括：

从所述遥感卫星的存储桶中获取再定标遥感卫星数据；

确定所述再定标遥感卫星数据对应的元数据；

将所述元数据存储到所述分布式集群的对象存储服务节点中。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述分布式集群的对象存储服务节点的http服务；

根据所述对象存储服务节点的http服务，创建所述对象存储服务节点的应用程序接口API，使所述目标容器通过所述API访问所述对象存储服务节点中的遥感卫星数据。

4.如权利要求1所述的方法，其特征在于，在所述控制所述目标容器对所述对象存储服务节点中的再定标遥感卫星数据进行并行处理之前，所述方法还包括：

获取所述目标容器所需要的资源信息；

根据所述资源信息，为所述目标容器分配对应的资源。

5.一种遥感卫星数据处理装置，其特征在于，应用在分布式集群中，所述装置包括：

存储模块，用于获取遥感卫星的再定标遥感卫星数据，并将所述再定标遥感卫星数据存储到所述分布式集群的对象存储服务节点中；

第一获取模块，用于获取所述遥感卫星的再定标流程，其中，所述再定标流程包括多个处理节点；

部署模块，用于将各个所述处理节点所对应的算法组件部署在所述分布式集群的不同的容器上；

确定模块，用于根据所述再定标流程，确定多个所述容器中可并行执行的目标容器，其中，包括：根据再定标流程中各个处理节点的执行顺序，对各个处理节点的算法组件所对应的容器的执行顺序进行编排，并根据编排结果，确定出多个容器中可并行执行的目标容器，并将编排结果作为作业任务，其中，作业任务采用标记语言方式yaml进行描述，其中，yaml可以提供各个处理节点的算法组件所对应的容器的顺序、分支、循环、有向无环图、事件触发、定时触发、完成触发继续作业流程规范，提供对复杂的再定标流程脚本编写；

处理模块，用于控制所述目标容器对所述对象存储服务节点中的再定标遥感卫星数据进行并行处理；

所述存储模块，还用于：将再定标数据从海洋光学卫星存储中导入到分布式集群的对象存储服务节点中；

所述部署模块，还用于对各个处理节点对应的算法组件进行容器化，得到算法组件对应的容器化描述文件，其中,包括:填写算法组件资源约束描述信息，根据容器化描述文件，生成算法组件对应的容器镜像，并将容器镜像保存在镜像库中，将所述镜像库中的容器镜像部署到所述分布式集群的不同的容器上；

所述确定模块，还用于通过并行化集群调度的方式，获取目标容器的所需要的资源信息，并根据资源信息，为目标容器分配对应的资源；

调度模块：还用于根据作业任务的脚本定义的镜像库中算法组件的位置，从镜像库中拉取算法组件的容器镜像部署到分布式集群的不同的容器上，引导完成作业任务；容器集群管理系统在线监控数据各个处理节点的算法组件所对应的容器的执行、容器镜像的节点信息、容器镜像的占用资源，基于算法组件的资源约束，动态分配容器的调度资源，当容器所需要的计算资源不满足容器镜像的执行，对容器镜像进行排队，并按照队列进行等待。

6.如权利要求5所述的装置，其特征在于，所述存储模块，具体用于：

从所述遥感卫星的存储桶中获取再定标遥感卫星数据；

确定所述再定标遥感卫星数据对应的元数据；

将所述元数据存储到所述分布式集群的对象存储服务节点中。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取所述分布式集群的对象存储服务节点的http服务；

创建模块，用于据所述对象存储服务节点的http服务，创建所述对象存储服务节点的应用程序接口API，使所述目标容器通过所述API访问所述对象存储服务节点中的遥感卫星数据。

8.如权利要求5所述的装置，其特征在于，所述装置还包括：

第三获取模块，用于获取所述目标容器所需要的资源信息；

分配模块，用于根据所述资源信息，为所述目标容器分配对应的资源。

9.一种电子设备，其特征在于，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的遥感卫星数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的遥感卫星数据处理方法。

Images