CN114510297A - 卫星数据重处理方法、装置和电子设备 - Google Patents

卫星数据重处理方法、装置和电子设备 Download PDF

Info

Publication number
CN114510297A
CN114510297A CN202210332541.9A CN202210332541A CN114510297A CN 114510297 A CN114510297 A CN 114510297A CN 202210332541 A CN202210332541 A CN 202210332541A CN 114510297 A CN114510297 A CN 114510297A
Authority
CN
China
Prior art keywords
algorithm component
satellite data
container
processing node
recalibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210332541.9A
Other languages
English (en)
Other versions
CN114510297B (zh
Inventor
宋庆君
宋新改
刘建强
马超飞
林明森
张熙川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanghai Xingkong Technology Co ltd
NATIONAL SATELLITE OCEAN APPLICATION SERVICE
Original Assignee
Beijing Hanghai Xingkong Technology Co ltd
NATIONAL SATELLITE OCEAN APPLICATION SERVICE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hanghai Xingkong Technology Co ltd, NATIONAL SATELLITE OCEAN APPLICATION SERVICE filed Critical Beijing Hanghai Xingkong Technology Co ltd
Priority to CN202210332541.9A priority Critical patent/CN114510297B/zh
Publication of CN114510297A publication Critical patent/CN114510297A/zh
Application granted granted Critical
Publication of CN114510297B publication Critical patent/CN114510297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请提出了一种卫星数据重处理方法、装置和电子设备。其中，该方法包括：获取卫星的再定标卫星数据，以及再定标卫星数据的再定标流程，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件，再控制处理节点对应的目标算法组件对再定标卫星数据进行重处理，由此，在卫星数据的重处理过程中，基于再定标流程中处理节点对应容器的目标算法组件对再定标卫星数据进行重处理，从而优化再定标流程中处理节点的算法组件，提高对再定标卫星数据的处理速度。

Description

卫星数据重处理方法、装置和电子设备
技术领域
本申请涉及卫星数据处理技术领域，尤其涉及一种卫星数据重处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
卫星数据的再定流程通常涉及到多个处理节点，通常不同处理节点的算法组件一般是由不同单位开发的，所用的开发技术和开发平台各异，在某个处理节点的算法组件发生升级或则变更，可能会导致卫星数据处理系统瘫痪，故如何稳定的优化处理流程软件，并提高卫星数据的处理速度是亟需解决的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种卫星数据重处理方法。
本申请的第二个目的在于提出一种卫星数据重处理装置。
本申请的第三个目的在于提出一种电子设备。
为达上述目的，本申请第一方面实施例提出了一种卫星数据重处理方法，应用在分布式集群中，所述方法包括：
获取卫星的再定标卫星数据；
获取所述再定标卫星数据的再定标流程；
在检测到所述再定标流程中任意一个处理节点的算法组件变更的情况下，则获取所述处理节点的变更后的目标算法组件；
确定所述分布式集群中用来部署所述处理节点的算法组件的容器，并将所述容器中所述处理节点的算法组件替换为所述目标算法组件；
控制所述处理节点对应的目标算法组件对所述再定标卫星数据进行重处理。
可选地，作为第一方面的第一种可能的实现方式，所述获取所述处理节点的变更后的目标算法组件，包括：
获取所述处理节点对应的算法组件变更信息，其中，所述算法组件变更信息包括任务配置表和作业单；
根据所述任务配置表中所述处理节点的配置信息定位到所述处理节点对应的算法组件；
根据所述作业单中所述算法组件的变更配置信息，对所述算法组件进行调整，以确定所述处理节点对应的目标算法组件。
可选地，作为第一方面的第二种可能的实现方式，在所述控制所述目标处理节点对应的目标算法组件对所述再定标卫星数据进行重处理之后，包括：
获取所述目标算法组件对所述再定标卫星数据进行重处理所得到的处理结果；
根据所述处理结果，调整所述作业单中所述算法组件的变更配置信息。
可选地，作为第一方面的第三种可能的实现方式，所述控制所述处理节点对应的目标算法组件对再定标卫星数据进行重处理，包括：
对所述容器的执行状态进行检测；
在检测到所述容器的执行状态为提交状态下，将所述再定标卫星数据提交到所述容器，以通过所述容器上的所述目标算法组件对所述再定标卫星数据进行重处理。
可选地，作为第一方面的第四种可能的实现方式，在检测到所述容器的执行状态为提交状态下，将所述再定标卫星数据提交到所述容器，以通过所述容器上的所述目标算法组件对所述再定标卫星数据进行重处理之前，所述方法还包括：
获取所述容器所需要的资源信息；
根据所述资源信息，为所述容器分配对应的资源。
本申请提出了一种卫星数据重处理方法，获取卫星的再定标卫星数据，以及再定标卫星数据的再定标流程，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件，再控制处理节点对应的目标算法组件对再定标卫星数据进行重处理，由此，在卫星数据的重处理过程中，基于再定标流程中处理节点对应容器的目标算法组件对再定标卫星数据进行重处理，从而优化再定标流程中处理节点的算法组件，提高对再定标卫星数据的处理速度。
为达上述目的，本发明第二方面实施例提出了一种卫星数据重处理装置，应用在分布式集群中，所述装置包括：
第一获取模块，用于获取卫星的再定标卫星数据；
第二获取模块，用于获取所述再定标卫星数据的再定标流程；
第三获取模块，用于在检测到所述再定标流程中任意一个处理节点的算法组件变更的情况下，则获取所述处理节点的变更后的目标算法组件；
替换模块，用于确定所述分布式集群中用来部署所述处理节点的算法组件的容器，并将所述容器中所述处理节点的算法组件替换为所述目标算法组件；
控制模块，用于控制所述处理节点对应的目标算法组件对所述再定标卫星数据进行重处理。
可选地，作为第二方面的第一种可能的实现方式，所述第三获取模块，具体用于：
获取所述处理节点对应的算法组件变更信息，其中，所述算法组件变更信息包括任务配置表和作业单；
根据所述任务配置表中所述处理节点的配置信息定位到所述处理节点对应的算法组件；
根据所述作业单中所述算法组件的变更配置信息，对所述算法组件进行调整，以确定所述处理节点对应的目标算法组件。
可选地，作为第二方面的第二种可能的实现方式，所述装置还包括：
第四获取模块，用于获取所述目标算法组件对所述再定标卫星数据进行重处理所得到的处理结果；
调整模块，用于根据所述处理结果，调整所述作业单中所述算法组件的变更配置信息。
可选地，作为第二方面的第三种可能的实现方式，所述控制模块，具体用于：
对所述容器的执行状态进行检测；
在检测到所述容器的执行状态为提交状态下，将所述再定标卫星数据提交到所述容器，以通过所述容器上的所述目标算法组件对所述再定标卫星数据进行重处理。
可选地，作为第二方面的第四种可能的实现方式，所述装置还包括：
第五获取模块，用于获取所述容器所需要的资源信息；
分配模块，用于根据所述资源信息，为所述容器分配对应的资源。
本申请提出了一种卫星数据重处理装置，获取卫星的再定标卫星数据，以及再定标卫星数据的再定标流程，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件，再控制处理节点对应的目标算法组件对再定标卫星数据进行重处理，由此，在卫星数据的重处理过程中，基于再定标流程中处理节点对应容器的目标算法组件对再定标卫星数据进行重处理，从而优化再定标流程中处理节点的算法组件，提高对再定标卫星数据的处理速度。
为达上述目的，本申请第三方面实施例提出了一种电子设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求第一方面中任一所述的卫星数据重处理方法。
为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求第一方面中任一所述的卫星数据重处理方法。
为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如权利要求第一方面中任一所述的卫星数据重处理方法。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请实施例所提供的一种卫星数据重处理方法的流程示意图；
图2是本申请实施例所提供的另一种卫星数据重处理方法的流程示意图；
图3是本申请实施例所提供的另一种卫星数据重处理方法的流程示意图；
图4是本申请所提供一个卫星数据处理流程的执行状态转换图；
图5是本申请实施例提供的一种卫星数据重处理装置的结构示意图；
图6是本申请实施例提供的另一种卫星数据重处理装置的结构示意图；
图7是本申请电子设备一个实施例的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的卫星数据重处理方法和、装置、电子设备。
图1为本申请实施例所提供的一种卫星数据重处理方法的流程示意图，其中，卫星数据重处理方法应用在分布式集群中。
如图1所示，方法包括以下步骤：
步骤101，获取卫星的再定标卫星数据。
其中，需要说明的是，卫星数据重处理方法，由卫星数据重处理装置执行。卫星数据重处理装置可以由分布式集群进行管理的系统实现，也就是说，卫星数据重处理装置可以为分布式集群管理系统，其中，可以理解的是，本实施例中的分布式集群管理系统可以管理分布式集群中的容器。
在一些实施例中，卫星的再定标卫星数据可以为海洋光学卫星的再定标遥感卫星数据，但不仅限于此。
步骤102，获取再定标卫星数据的再定标流程。
在一些实施例中，再定标卫星数据的再定标流程是一个长流程，是由多个流程组成的，例如，空间配准、条带消除、定轨、海上总辐射亮度不同用途和目标的算法组件，但不仅限于此。
步骤103，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件。
其中，可以理解的是，本实施例中的再定标流程中包括多个处理节点，本实施例中可同时对多个处理节点的算法节点是否变更进行检测，以确定再定标流程中的处理节点的算法组件是否发生变更。
在一些实施例中，任意一个处理节点所对应的算法组件可以为单个，也可以为多个，但不仅限于此。
在一些实施例中，再定标流程中任意一个处理节点的算法组件主要是卫星数据的某个单一处理环节的算法组件，例如，大气校正算法组件，主要是为了对卫星数据进行大气矫正。
其中，可以理解的是，再定标流程中任意一个处理节点的算法组件是一个可独立执行的程序。在一些实施例中，可基于可扩展标记语言（Extensible Markup Language，XML）的约束描述对算法组件进行描述。
其中，可以理解的是，由于算法组件是一个可独立执行的程序，因此，任意一个处理节点的算法组件可以只关注其本身的算法、输入和输出，对分布式集群管理系统没有影响。
在一些实施例中，其中，任意一个处理节点所对应的算法组件可以是各个处理节点所对应的处理程序，但不仅限于此。
在另一些实施例中，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，可以获取到处理节点的变更后的目标算法组件，并替换该算法组件的执行程序，由此，由于算法组件是独立运行的，在变更算法组件时，只需关注本身的输入和输出，从而减小了算法组件变更对卫星数据再定标流程的影响，提高卫星数据再定标流程的稳定性。
步骤104，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件。
在一些实施例中，在获取到处理节点的变更后的目标算法组件之后，可以将处理节点的目标算法组件对应的容器镜像部署到分布式集群的容器上，以供分布式集群系统调用。
步骤105，控制处理节点对应的目标算法组件对再定标卫星数据进行重处理。
在一些实施例中，基于控制处理节点对应的目标算法组件对再定标卫星数据进行重处理，更新处理节点对应的算法组件的同时，减小算法组件变更带来的影响，且优化了处理节点对应的算法组件，从而加快再定标卫星数据的处理速度。
本申请提出了一种卫星数据重处理方法，获取卫星的再定标卫星数据，以及再定标卫星数据的再定标流程，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件，再控制处理节点对应的目标算法组件对再定标卫星数据进行重处理，由此，在卫星数据的重处理过程中，基于再定标流程中处理节点对应容器的目标算法组件对再定标卫星数据进行重处理，从而优化再定标流程中处理节点的算法组件，提高对再定标卫星数据的处理速度。
此外，本申请的卫星数据重处理方法还可以应用在大规模卫星数据产品生产场景，但不仅限于此。
图2是本申请实施例所提供的另一种卫星数据重处理方法的流程示意图；
步骤201，获取卫星的再定标卫星数据。
步骤202，获取再定标卫星数据的再定标流程。
其中，需要说明的是，关于步骤201至步骤202的具体实现方式，可参见上述实施例中的相关描述。
步骤203，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，获取处理节点对应的算法组件变更信息，其中，算法组件变更信息包括任务配置表和作业单。
在一些实施例中，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，可以增加一个任务配置表（TaskTable）和作业单(JobOrder)，以实现处理节点的算法组件的自动驱动，且不增加再定标流程的工作量。
步骤204，根据任务配置表中处理节点的配置信息定位到处理节点对应的算法组件。
在一些实施例中，任务配置表中处理节点的配置信息可以包括处理节点的名称、版本、参数和文件参数，但不仅限于此。
此外，任务配置表中处理节点的配置信息，可以以XML文件的形式保存在分布式集群的共享存储服务器的指定目录中，同时将处理节点的配置信息存放在分布式集群的配置库中。
步骤205，根据作业单中算法组件的变更配置信息，对算法组件进行调整，以确定处理节点对应的目标算法组件。
在一些实施例中，作业单是一种强制接口，可以以XML文件的形式与处理节点进行交互。
其中，作业单对应的XML文件可以包括算法组件的变更配置信息、动态处理参数、作业单的文件路径以及处理节点的输入、输出中间文件列表和存储路径，但不仅限于此。
其中，作业单的文件路径可以包括作业单的绝对路径和相对路径。
在另一些实施例中，除了根据作业单中算法组件的变更配置信息，对算法组件进行调整，以确定处理节点对应的目标算法组件的方式外，针对再定标流程中的每个处理节点的算法组件，可接收服务器发送的算法组件版本信息，如果确定本地中该算法组件的组件版本信息与所接收到的算法组件版本信息不一致，则确定该算法组件存在更新，此时，可从该服务器中下载最新版本的算法组件，并将所下载的最新版本的算法组件作为对应处理节点的目标算法组件。
其中，可以直接调用目标算法组件对再定标卫星数据进行重处理，具体地，目标算法组件可以通过版本管理库github的方式管理，分布式集群系统可以直接请求github，从github上下载目标算法组件，并配置到对应的处理节点上，以重新计算卫星数据。
步骤206，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件。
步骤207，控制处理节点对应的目标算法组件对再定标卫星数据进行重处理。
本申请提出了一种卫星数据重处理方法，获取卫星的再定标卫星数据，以及再定标卫星数据的再定标流程，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，获取处理节点对应的算法组件变更信息，其中，算法组件变更信息包括任务配置表和作业单，以根据任务配置表中处理节点的配置信息定位到处理节点对应的算法组件，并根据作业单中算法组件的变更配置信息，对算法组件进行调整，以确定处理节点对应的目标算法组件，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件，再控制处理节点对应的目标算法组件对再定标卫星数据进行重处理，由此，在卫星数据的重处理过程中，基于再定标流程中处理节点对应容器的目标算法组件对再定标卫星数据进行重处理，从而可以灵活的变更处理节点的算法组件，且减小再定标流程中算法组件变更对处理再定标卫星数据带来的影响。
图3是本申请实施例所提供的另一种卫星数据重处理方法的流程示意图；
步骤301，获取卫星的再定标卫星数据。
步骤302，获取再定标卫星数据的再定标流程。
步骤303，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件。
步骤304，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件。
其中，需要说明的是，关于步骤301至步骤304的具体实现方式，可参见上述实施例中的相关描述。
步骤305，对容器的执行状态进行检测。
在一些实施例中，如图4所示，容器的执行状态是可以相互转换的。在一些实施例中，可根据不同的调度指令对容器的执行状态进行转换。
其中，容器的执行状态可以包括完成状态（complete）、排队状态(Queued)、挂起状态（Suspended）、终止状态（Abort）、提交状态（Submitted）和激活状态（Active），但不仅限于此。
其中，可以理解的是，根据调度指令转换容器的执行状态，调度指令可以如表1所示。
表1 调度指令
trigger 用于定义两个任务之间的依赖关系
complete 类似触发器语法，设置任务完成而不执行它。
event 任务在运行过程中报告给服务Server端的消息
meter 与event类似，但与event只能取布尔值（开/关）不同，它能取一系列的整数值，当meter达到一定值时可以触发其他任务。
label 与任务关联的字符串
repeat 重复执行某个任务或家族
limit 通过限定提交任务的数量达到负载管理
具体地，在卫星数据的再定标作业流程中，接收到再定标的载入命令时，处理节点的算法组件的容器的执行状态是未知的，当容器内的算法组件开始处理卫星数据时，容器的执行状态可以为排队状态、完成状态、中止状态或挂起状态其中之一，在容器有所需的计算资源时，容器的执行状态为提交状态，以控制容器内的算法组件处理卫星数据，同时容器会运行进程init命令，进入激活状态，在处理完成后，容器的执行状态会变成完成状态或终止状态，并会向分布式集群发出对应调度指令，以控制容器执行其他作业流程或结束当前作业流程。
其中，再定标流程的每个处理节点对应的容器都是独立的，此时，独立的容器的执行状态为提交状态或终止状态，并将容器的执行状态提交到分布式集群。
另外，用户可以随时暂停当前作业流程，此时当前作业流程处于挂起状态，并保存该挂起状态，直至用户先恢复后才能进入提交状态。
步骤306，在检测到容器的执行状态为提交状态下，将再定标卫星数据提交到容器，以通过容器上的目标算法组件对再定标卫星数据进行重处理。
在一些实施例中，可以获取容器所需要的资源信息，并根据资源信息，为容器分配对应的资源，从而让在容器的执行状态为提交状态。
具体地，按照容器所需的计算资源向分布式集群管理系统进行资源申请，由分布式集群管理系统进行资源匹配，一旦计算资源池满足资源即可进行资源分配，计算完成后再由分布式集群管理系统负责资源回收，从而最大化的利用计算资源，提高计算效率。
其中，计算资源池可以由多台服务器构成，由分布式集群管理系统负责对计算资源池的管理。
在另一些实施例中，在检测到容器的执行状态为排队状态下，获取计算资源池的资源，若计算资源池中的计算单元（服务器）可以重新归入可调度资源池，则控制分布式集群管理系统进行资源分配，以控制容器的执行状态转换为提交状态。
本申请提出了一种卫星数据重处理方法，获取卫星的再定标卫星数据，以及再定标卫星数据的再定标流程，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件，对容器的执行状态进行检测，在检测到容器的执行状态为提交状态下，将再定标卫星数据提交到容器，以通过容器上的目标算法组件对再定标卫星数据进行重处理。由此，在卫星数据的重处理过程中，基于容器所需要的资源信息，为容器配置资源，以使得容器的执行状态为提交状态，并在容器的执行状态为提交状态的情况下，控制再定标流程中处理节点对应容器的目标算法组件对再定标卫星数据进行重处理，从而灵活的分配容器所需的资源，最大化利用计算资源，提高卫星数据重处理效率。
为实现上述实施例，本发明还提出一种卫星数据重处理装置。
图5为本发明实施例提供的一种卫星数据重处理装置的结构示意图。
如图5所示，该卫星数据重处理装置包括：第一获取模块501、第二获取模块502、第三获取模块503、替换模块504和控制模块505。
第一获取模块501，用于获取卫星的再定标卫星数据。
第二获取模块502，用于获取再定标卫星数据的再定标流程。
第三获取模块503，用于在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件。
替换模块504，用于确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件。
控制模块505，用于控制处理节点对应的目标算法组件对再定标卫星数据进行重处理。
在一些实施例中，第三获取模块503，具体用于：
获取处理节点对应的算法组件变更信息，其中，算法组件变更信息包括任务配置表和作业单。
根据任务配置表中处理节点的配置信息定位到处理节点对应的算法组件。
根据作业单中算法组件的变更配置信息，对算法组件进行调整，以确定处理节点对应的目标算法组件。
在一些实施例中，在图5所示的装置实施例的基础上，如图6所示，该装置还可以包括：
第四获取模块506，用于获取目标算法组件对再定标卫星数据进行重处理所得到的处理结果。
调整模块507，用于根据处理结果，调整作业单中算法组件的变更配置信息。
在一些实施例中，上述控制模块505，具体用于：对容器的执行状态进行检测；在检测到容器的执行状态为提交状态下，将再定标卫星数据提交到容器，以通过容器上的目标算法组件对再定标卫星数据进行重处理。
在一些实施例中，如图6所示，装置还包括：
第五获取模块508，用于获取容器所需要的资源信息。
分配模块509，用于根据资源信息，为容器分配对应的资源。
其中，需要说明的是，前述对卫星数据重处理方法实施例的解释说明也适用于本实施例的卫星数据重处理装置，此处不再赘述。
本申请提出了一种卫星数据重处理装置，获取卫星的再定标卫星数据，以及再定标卫星数据的再定标流程，在检测到再定标流程中任意一个处理节点的算法组件变更的情况下，则获取处理节点的变更后的目标算法组件，确定分布式集群中用来部署处理节点的算法组件的容器，并将容器中处理节点的算法组件替换为目标算法组件，再控制处理节点对应的目标算法组件对再定标卫星数据进行重处理，由此，在卫星数据的重处理过程中，基于再定标流程中处理节点对应容器的目标算法组件对再定标卫星数据进行重处理，从而优化再定标流程中处理节点的算法组件，提高对再定标卫星数据的处理速度。
本申请实施例还提供电子设备，电子设备包含前述任一实施例的装置。
图7为本申请电子设备一个实施例的结构示意图。
如图7所示，上述电子设备可以包括：壳体701、处理器702、存储器703、电路板704和电源电路705，其中，电路板704安置在壳体701围成的空间内部，处理器702和存储器703设置在电路板704上；电源电路705，用于为上述电子设备的各个电路或器件供电；存储器703用于存储可执行程序代码；处理器702通过读取存储器703中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的卫星数据重处理方法。
处理器702对上述步骤的具体执行过程以及处理器702通过运行可执行程序代码来进一步执行的步骤，可以参见本申请图1-2所示实施例的描述，在此不再赘述。
该电子设备以多种形式存在，包括但不限于：
（1） 超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能， 一般也具备连网特性。这类终端一般是处理计算数据的计算机。
（2） 服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
（3） 其他具有数据计算和处理的电子设备。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种卫星数据重处理方法，其特征在于，应用在分布式集群中，所述方法包括：
获取卫星的再定标卫星数据；
获取所述再定标卫星数据的再定标流程；
在检测到所述再定标流程中任意一个处理节点的算法组件变更的情况下，则获取所述处理节点的变更后的目标算法组件；
确定所述分布式集群中用来部署所述处理节点的算法组件的容器，并将所述容器中所述处理节点的算法组件替换为所述目标算法组件；
控制所述处理节点对应的目标算法组件对所述再定标卫星数据进行重处理。
2.如权利要求1所述的方法，其特征在于，所述获取所述处理节点的变更后的目标算法组件，包括：
获取所述处理节点对应的算法组件变更信息，其中，所述算法组件变更信息包括任务配置表和作业单；
根据所述任务配置表中所述处理节点的配置信息定位到所述处理节点对应的算法组件；
根据所述作业单中所述算法组件的变更配置信息，对所述算法组件进行调整，以确定所述处理节点对应的目标算法组件。
3.如权利要求2所述的方法，其特征在于，在所述控制所述目标处理节点对应的目标算法组件对所述再定标卫星数据进行重处理之后，包括：
获取所述目标算法组件对所述再定标卫星数据进行重处理所得到的处理结果；
根据所述处理结果，调整所述作业单中所述算法组件的变更配置信息。
4.如权利要求1所述的方法，其特征在于，所述控制所述处理节点对应的目标算法组件对再定标卫星数据进行重处理，包括：
对所述容器的执行状态进行检测；
在检测到所述容器的执行状态为提交状态下，将所述再定标卫星数据提交到所述容器，以通过所述容器上的所述目标算法组件对所述再定标卫星数据进行重处理。
5.如权利要求4所述的方法，其特征在于，在检测到所述容器的执行状态为提交状态下，将所述再定标卫星数据提交到所述容器，以通过所述容器上的所述目标算法组件对所述再定标卫星数据进行重处理之前，所述方法还包括：
获取所述容器所需要的资源信息；
根据所述资源信息，为所述容器分配对应的资源。
6.一种卫星数据重处理装置，其特征在于，应用在分布式集群中，所述装置包括：
第一获取模块，用于获取卫星的再定标卫星数据；
第二获取模块，用于获取所述再定标卫星数据的再定标流程；
第三获取模块，用于在检测到所述再定标流程中任意一个处理节点的算法组件变更的情况下，则获取所述处理节点的变更后的目标算法组件；
替换模块，用于确定所述分布式集群中用来部署所述处理节点的算法组件的容器，并将所述容器中所述处理节点的算法组件替换为所述目标算法组件；
控制模块，用于控制所述处理节点对应的目标算法组件对所述再定标卫星数据进行重处理。
7.如权利要求6所述的装置，其特征在于，所述第三获取模块，具体用于：
获取所述处理节点对应的算法组件变更信息，其中，所述算法组件变更信息包括任务配置表和作业单；
根据所述任务配置表中所述处理节点的配置信息定位到所述处理节点对应的算法组件；
根据所述作业单中所述算法组件的变更配置信息，对所述算法组件进行调整，以确定所述处理节点对应的目标算法组件。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
第四获取模块，用于获取所述目标算法组件对所述再定标卫星数据进行重处理所得到的处理结果；
调整模块，用于根据所述处理结果，调整所述作业单中所述算法组件的变更配置信息。
9.如权利要求6所述的装置，其特征在于，所述控制模块，具体用于：
对所述容器的执行状态进行检测；
在检测到所述容器的执行状态为提交状态下，将所述再定标卫星数据提交到所述容器，以通过所述容器上的所述目标算法组件对所述再定标卫星数据进行重处理。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
第五获取模块，用于获取所述容器所需要的资源信息；
分配模块，用于根据所述资源信息，为所述容器分配对应的资源。
11.一种电子设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的卫星数据重处理方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的卫星数据重处理方法。
13.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令处理器执行时实现如权利要求1-5中任一所述的卫星数据重处理方法。
CN202210332541.9A 2022-03-31 2022-03-31 卫星数据重处理方法、装置和电子设备 Active CN114510297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210332541.9A CN114510297B (zh) 2022-03-31 2022-03-31 卫星数据重处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210332541.9A CN114510297B (zh) 2022-03-31 2022-03-31 卫星数据重处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN114510297A true CN114510297A (zh) 2022-05-17
CN114510297B CN114510297B (zh) 2022-07-01

Family

ID=81555195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210332541.9A Active CN114510297B (zh) 2022-03-31 2022-03-31 卫星数据重处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114510297B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115495225A (zh) * 2022-11-21 2022-12-20 福瑞泰克智能系统有限公司 数据的处理方法和装置、存储介质及电子装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521687A (zh) * 2011-12-01 2012-06-27 中国资源卫星应用中心 遥感卫星数据预处理小型化通用平台
CN102736520A (zh) * 2011-04-13 2012-10-17 北京邮电大学 一种卫星导航系统原理仿真方法和卫星信号模拟器
FR3006528A1 (fr) * 2013-05-29 2014-12-05 Univ Pau Et Des Pays De L Adour Systeme et procede de supervision de communication entre composants applicatifs
US20150127312A1 (en) * 2012-01-24 2015-05-07 United States Government, As Represented By The Secretary Of The Navy Modular Model and simulation architecture
CN105866811A (zh) * 2016-03-24 2016-08-17 中国电子科技集团公司第二十七研究所 一种基于地面合作信号的双星座定位方法
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理系统及方法
CN108921913A (zh) * 2018-06-29 2018-11-30 上海联影医疗科技有限公司 图像重建的系统及方法
CN109657081A (zh) * 2018-09-29 2019-04-19 中国科学院上海高等研究院 高光谱卫星遥感数据的分布式处理方法、系统及介质
CN110096668A (zh) * 2019-05-06 2019-08-06 国家卫星气象中心 一种可见光遥感图像反射率获取方法
CN111143075A (zh) * 2019-12-30 2020-05-12 北京航天宏图信息技术股份有限公司 海洋卫星数据定标检验方法、装置、电子设备及存储介质
CN111766644A (zh) * 2020-06-29 2020-10-13 北京华云星地通科技有限公司 基于rest服务的多源卫星数据接收处理方法
CN112416414A (zh) * 2019-08-20 2021-02-26 南京南瑞信息通信科技有限公司 一种基于状态机的微服务架构容器化轻量级工作流系统
CN113254175A (zh) * 2021-05-27 2021-08-13 航天宏图信息技术股份有限公司 一种算法调度方法、数据处理流程驱动方法及装置
CN113254499A (zh) * 2021-05-21 2021-08-13 国家卫星气象中心(国家空间天气监测预警中心) 基于长序列历史资料再定标的气候数据集生产方法
CN113656348A (zh) * 2021-08-25 2021-11-16 北京微纳星空科技有限公司 一种卫星应用大数据的分布式集群管理系统及方法
CN113810230A (zh) * 2021-09-16 2021-12-17 广州虎牙科技有限公司 对容器集群中的容器进行网络配置的方法、装置及系统
CN113923057A (zh) * 2021-12-15 2022-01-11 北京航天驭星科技有限公司 卫星测运控平台的数据处理方法、装置、电子设备及介质
CN114090537A (zh) * 2022-01-20 2022-02-25 北京航天驭星科技有限公司 卫星在轨状态的实时分析方法、装置、系统、设备及介质
CN114119939A (zh) * 2021-11-30 2022-03-01 国网北京市电力公司 数据轻量化处理方法、装置、存储介质及电子设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102736520A (zh) * 2011-04-13 2012-10-17 北京邮电大学 一种卫星导航系统原理仿真方法和卫星信号模拟器
CN102521687A (zh) * 2011-12-01 2012-06-27 中国资源卫星应用中心 遥感卫星数据预处理小型化通用平台
US20150127312A1 (en) * 2012-01-24 2015-05-07 United States Government, As Represented By The Secretary Of The Navy Modular Model and simulation architecture
FR3006528A1 (fr) * 2013-05-29 2014-12-05 Univ Pau Et Des Pays De L Adour Systeme et procede de supervision de communication entre composants applicatifs
CN105866811A (zh) * 2016-03-24 2016-08-17 中国电子科技集团公司第二十七研究所 一种基于地面合作信号的双星座定位方法
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理系统及方法
CN108921913A (zh) * 2018-06-29 2018-11-30 上海联影医疗科技有限公司 图像重建的系统及方法
CN109657081A (zh) * 2018-09-29 2019-04-19 中国科学院上海高等研究院 高光谱卫星遥感数据的分布式处理方法、系统及介质
CN110096668A (zh) * 2019-05-06 2019-08-06 国家卫星气象中心 一种可见光遥感图像反射率获取方法
CN112416414A (zh) * 2019-08-20 2021-02-26 南京南瑞信息通信科技有限公司 一种基于状态机的微服务架构容器化轻量级工作流系统
CN111143075A (zh) * 2019-12-30 2020-05-12 北京航天宏图信息技术股份有限公司 海洋卫星数据定标检验方法、装置、电子设备及存储介质
CN111766644A (zh) * 2020-06-29 2020-10-13 北京华云星地通科技有限公司 基于rest服务的多源卫星数据接收处理方法
CN113254499A (zh) * 2021-05-21 2021-08-13 国家卫星气象中心(国家空间天气监测预警中心) 基于长序列历史资料再定标的气候数据集生产方法
CN113254175A (zh) * 2021-05-27 2021-08-13 航天宏图信息技术股份有限公司 一种算法调度方法、数据处理流程驱动方法及装置
CN113656348A (zh) * 2021-08-25 2021-11-16 北京微纳星空科技有限公司 一种卫星应用大数据的分布式集群管理系统及方法
CN113810230A (zh) * 2021-09-16 2021-12-17 广州虎牙科技有限公司 对容器集群中的容器进行网络配置的方法、装置及系统
CN114119939A (zh) * 2021-11-30 2022-03-01 国网北京市电力公司 数据轻量化处理方法、装置、存储介质及电子设备
CN113923057A (zh) * 2021-12-15 2022-01-11 北京航天驭星科技有限公司 卫星测运控平台的数据处理方法、装置、电子设备及介质
CN114090537A (zh) * 2022-01-20 2022-02-25 北京航天驭星科技有限公司 卫星在轨状态的实时分析方法、装置、系统、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TINGWEI CUI 等: ""Assessment of satellite ocean color products of MERIS,MODIS and SeaWiFS along the East China Coast(in the Yellow Sea and East China Sea)"", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
刘建强 等: ""我国海洋卫星发展历程、现状与建议"", 《卫星应用》 *
刘建强 等: ""我国海洋卫星遥感大数据及其应用服务"", 《大数据》 *
李恒杰 等: ""支持算法组件自动替换的编程范式及编译框架"", 《高技术通讯》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115495225A (zh) * 2022-11-21 2022-12-20 福瑞泰克智能系统有限公司 数据的处理方法和装置、存储介质及电子装置
CN115495225B (zh) * 2022-11-21 2023-03-10 福瑞泰克智能系统有限公司 数据的处理方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN114510297B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US11431563B1 (en) Intelligent management of cloud infrastructures using a cloud management platform
US20150100961A1 (en) Operating Programs on a Computer Cluster
CN114510297B (zh) 卫星数据重处理方法、装置和电子设备
US8612963B2 (en) Guided problem resolution in deploying an application
CN114490062A (zh) 一种本地磁盘的调度方法、装置、电子设备及存储介质
US20210232438A1 (en) Serverless lifecycle management dispatcher
CN115357257B (zh) 一种安装文件生成方法、系统、计算设备及存储介质
CN113296902A (zh) 任务编排方法、设备、装置及系统、计算机可读存储介质
US9323509B2 (en) Method and system for automated process distribution
CN115167874B (zh) 自动驾驶软件镜像部署方法、装置、电子设备和可读介质
CN111767126A (zh) 分布式批量处理的系统和方法
US8707307B2 (en) Creating jobs by replacing execution attributes within job definition when a job activation request is received with execution attributes based on predetermined conditions being satisfied
CN110659125A (zh) 一种分析任务执行方法、装置、系统及电子设备
CN111352664A (zh) 分布式机器学习任务启动方法、系统、设备及存储介质
CN115220908A (zh) 资源调度方法、装置、电子设备及存储介质
CN111858234A (zh) 一种任务执行方法、装置、设备、介质
CN112363819A (zh) 大数据任务动态编排调度方法、装置及计算设备
CN112612600A (zh) 基于dcu的资源调度方法、装置和计算机设备
US11604632B2 (en) Development environment deployment for multiple developer types
CN116401262B (zh) 数据库升级方法及装置
CN108206745B (zh) 业务的操作方法、装置及云计算系统
US11503124B1 (en) Managing resource utilization in edge-computing systems
CN114615144B (zh) 网络优化方法及系统
CN115022317B (zh) 基于云平台的应用管理方法、装置、电子设备及存储介质
US11977922B2 (en) Resource reuse for pipeline workloads

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant