CN114461357B - 一种遥感卫星原始数据实时处理流程调度系统 - Google Patents

一种遥感卫星原始数据实时处理流程调度系统 Download PDF

Info

Publication number
CN114461357B
CN114461357B CN202111581951.9A CN202111581951A CN114461357B CN 114461357 B CN114461357 B CN 114461357B CN 202111581951 A CN202111581951 A CN 202111581951A CN 114461357 B CN114461357 B CN 114461357B
Authority
CN
China
Prior art keywords
execution unit
execution
module
flow
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111581951.9A
Other languages
English (en)
Other versions
CN114461357A (zh
Inventor
孙晓瑶
吴业炜
张洪群
李安
石璐
初庆伟
李宇
刘璐娇
陈俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202111581951.9A priority Critical patent/CN114461357B/zh
Publication of CN114461357A publication Critical patent/CN114461357A/zh
Application granted granted Critical
Publication of CN114461357B publication Critical patent/CN114461357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Radio Relay Systems (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种遥感卫星原始数据实时处理流程调度引擎，解决了遥感卫星原始数据实时处理任务的通用调度问题。具体包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块。本发明针对遥感卫星原始数据流的实时处理特点与需求，提出了满足实时数据流处理的流程调度引擎，实现遥感卫星原始数据流实时处理的流程可配置化，满足了对多星、多任务类型以及个性化定制的处理流程。

Description

一种遥感卫星原始数据实时处理流程调度系统
技术领域
本发明属于遥感卫星地面处理技术领域，尤其涉及一种遥感卫星原始数据实时处理流程调度系统。
背景技术
目前主流的工作流调度引擎主要用于办公、审批等场景，执行单元是依次或分支执行的，同一个分支中的执行单元是依次执行，即前面单元执行完毕才会执行后面单元，不能满足遥感卫星原始数据处理的特殊需求。遥感卫星原始数据处理是由多个执行单元对数据流进行实时传输处理的，任务流程依据数据流的流向进行分支处理，但同一个分支中的多个单元如果是实时处理数据流，则多个执行单元也要同时工作，对数据流进行逐帧的传输和处理。
因此，之前的遥感卫星原始数据实时处理一般是针对特定流程进行开发，若流程有变动或增加新的流程，则需要重新进行开发，不能实现流程定制的通用平台。
发明内容
本发明提供一种遥感卫星原始数据实时处理流程调度系统，解决了遥感卫星原始数据实时处理任务的通用调度问题。
本发明通过以下技术方案实现。
一种遥感卫星原始数据实时处理流程调度系统，包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块；其中：
所述执行单元注册模块根据组成任务流程的执行单元的调度约束在调度引擎中进行注册，为后述流程调度模块和资源分配模块进行调度和资源分配时提供依据和约束；
所述流程模板定制模块根据业务需求以及注册的执行单元的工作组合关系，定制每个任务类型的流程模板，为后述流程调度模块进行任务流程调度提供依据和约束；
所述流程调度模块根据原始数据处理任务的时间和优先级对待调度的任务进行调度，对于已调度的任务根据所述流程模板定制模块定制的流程执行顺序及每个执行单元的节点属性对任务流程进行调度；同时根据所述执行单元状态监控模块反馈的已调度执行单元的执行结果，对后续执行单元的调度进行相应处理，直至流程执行完成，反馈任务执行结果；
所述资源分配模块根据执行单元注册模块注册时的资源限制以及系统中可用的资源情况对执行单元进行资源分配，使得分配的资源使执行单元能顺利执行完成；
所述执行单元状态监控模块根据流程调度模块已调度的执行单元，对已启动的执行单元进行状态实时监控，支持通过消息中间件的实时执行进度状态监控和通过文件的执行结果的状态监控，根据监控情况判断执行单元执行成功与否，进而为流程调度模块后续调度与任务执行状态提供依据。
本发明的有益效果：
本发明针对遥感卫星原始数据流的实时处理特点与需求，提出了满足实时数据流处理的流程调度引擎，实现遥感卫星原始数据流实时处理的流程可配置化，满足了对多星、多任务类型以及个性化定制的处理流程。
附图说明
图1为本发明遥感卫星原始数据实时处理流程调度系统结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，本实施方式中的一种遥感卫星原始数据实时处理流程调度系统，包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块；其中：
所述执行单元注册模块根据组成任务流程的执行单元的调度约束在调度系统中进行注册，为后述流程调度模块和资源分配模块进行调度和资源分配时提供依据和约束；
本实施例中，所述在调度引擎中进行注册时，进一步标注执行单元标识、执行路径、可用资源池、资源限制、端口使用范围，具体解释如下：
执行单元标识：执行单元的唯一标识；
执行路径：执行单元的部署路径；
可用资源池：对所有硬件节点进行资源的池化管理，定义该执行单元可用的资源池；
资源限制：定义每个执行单元执行所需的最小资源，如CPU、内存等，为资源的分配提供依据；
端口使用范围：实时数据传输是通过socket进行数据传输，需要进行实时传输的执行单元需要定义其可使用的端口范围。
所述流程模板定制模块根据业务需求以及注册的执行单元的工作组合关系，定制每个任务类型的流程模板，为后述流程调度模块进行任务流程调度提供依据和约束；
本实施例中，所述每个任务类型的流程模板具体如下：
StartProcess：第一个执行单元；
Entry:一个执行单元实体；
Id：执行单元标识；
Status：执行单元的执行状态，在任务执行过程中，该状态也会实时更新，执行状态有：Undispatch(待调度)、Running(执行中)、Success(执行成功)、Fail(执行失败)；
Type：执行单元的开发语言类型，如C、C++、Java、Python等，不同语言需要的启动方式不同；
nextProcessId：下一执行单元，定制了模块执行的先后顺序；
nextProcessorStart：下一执行单元是否立即启动，若为“Y”，则启动完该执行单元立即启动下一执行单元；若为“N”，则需等待该执行单元执行完毕再启动下一执行单元；若前后模块传输实时数据流进行处理，则置为“Y”；若前后模块间是传输文件进行事后处理，则置为“N”；
testPar：执行到此处需要检查的参数名；
testValue：参数的值；
jumpTo：若testPar指定的参数值等于testValue中配置的值，则直接跳到jumpTo所指定的模块去执行。实现根据前面模块的执行结果或者配置参数，跳过中间某些执行单元，继续执行后面的执行单元，满足配置实现卫星是否做质量分析的需求；
dependsubProcess：依赖的前面某一或某些执行单元；只有依赖的前面执行单元执行成功，本执行单元才启动执行，可以根据业务需求灵活指定依赖的执行单元，而不是必须依赖紧挨着的前一个执行单元；例如：数据转储依赖的是数据记录的成功；
sameResource：遥感卫星原始数据处理为了满足性能要求，记录下来的数据是先落盘在服务器本地，事后再从本地转储到共享存储；有些模块间是通过数据文件进行交互，为了能访问到本地数据，后面模块必须要跟前面数据落盘的执行单元在同一台物理服务器执行；例如：数据转储必须跟数据记录在同一台服务器；
Ending：流程结束。
所述流程调度模块依据原始数据处理任务的时间和优先级对待调度的任务进行调度，对于已调度的任务根据所述流程模板定制模块定制的流程执行顺序及每个执行单元的节点属性对任务流程进行调度；同时根据所述执行单元状态监控模块反馈的已调度执行单元的执行结果，对后续执行单元的调度进行相应处理，直至流程执行完成，反馈任务执行结果；
所述资源分配模块根据执行单元注册模块注册时的资源限制以及系统中可用的资源情况对执行单元进行资源分配，使得分配的资源使执行单元能顺利执行完成；
具体实施时，由于卫星原始数据实时处理流程的执行单元为了实现高IO性能，经常将数据直接落盘在服务器本地，这样使得后面有些需要读取数据的执行单元需要调度到同一台服务器。因此在资源分配时，所述资源分配模块进一步查看流程节点中的sameResource属性值，当为null时，按照执行单元注册时可用的资源池以及资源使用限制进行资源的分配，否则，则分配与sameResource中指定执行单元相同的服务器。
所述执行单元状态监控模块根据流程调度模块已调度的执行单元，对已启动的执行单元进行状态实时监控，支持通过消息中间件的实时执行进度状态监控和通过文件的执行结果的状态监控，根据监控情况判断执行单元执行成功与否，进而为流程调度模块后续调度与任务执行状态提供依据。
综上所述，以上仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种遥感卫星原始数据实时处理流程调度系统，其特征在于，包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块；其中：
所述执行单元注册模块根据组成任务流程的执行单元的调度约束在调度引擎中进行注册，为后述流程调度模块和资源分配模块进行调度和资源分配时提供依据和约束；
所述流程模板定制模块根据业务需求以及注册的执行单元的工作组合关系，定制每个任务类型的流程模板，为后述流程调度模块进行任务流程调度提供依据和约束；所述每个任务类型的流程模板具体如下：
StartProcess：第一个执行单元；
Entry:一个执行单元实体；
Id：执行单元标识；
Status：执行单元的执行状态，在任务执行过程中，该状态也会实时更新；
Type：执行单元的开发语言类型；
nextProcessId：下一执行单元，定制了模块执行的先后顺序；
nextProcessorStart：下一执行单元是否立即启动；
testPar：执行到此处需要检查的参数名；
testValue：参数的值；
jumpTo：若testPar指定的参数值等于testValue中配置的值，则直接跳到jumpTo所指定的模块去执行，实现根据前面模块的执行结果或者配置参数，跳过中间某些执行单元，继续执行后面的执行单元，满足配置实现卫星是否做质量分析的需求；
dependsubProcess：依赖的前面某一或某些执行单元；只有依赖的前面执行单元执行成功，本执行单元才启动执行，根据业务需求灵活指定依赖的执行单元，而不是必须依赖紧挨着的前一个执行单元；
sameResource：遥感卫星原始数据处理为了满足性能要求，记录下来的数据是先落盘在服务器本地，事后再从本地转储到共享存储；有些模块间是通过数据文件进行交互，为了能访问到本地数据，后面模块必须要跟前面数据落盘的执行单元在同一台物理服务器执行；
Ending：流程结束；
所述流程调度模块根据原始数据处理任务的时间和优先级对待调度的任务进行调度，对于已调度的任务根据所述流程模板定制模块定制的流程执行顺序及每个执行单元的节点属性对任务流程进行调度；同时根据所述执行单元状态监控模块反馈的已调度执行单元的执行结果，对后续执行单元的调度进行相应处理，直至流程执行完成，反馈任务执行结果；
所述资源分配模块根据执行单元注册模块注册时的资源限制以及系统中可用的资源情况对执行单元进行资源分配，使得分配的资源使执行单元能顺利执行完成；
所述执行单元状态监控模块根据流程调度模块已调度的执行单元，对已启动的执行单元进行状态实时监控，支持通过消息中间件的实时执行进度状态监控和通过文件的执行结果的状态监控，根据监控情况判断执行单元执行成功与否，进而为流程调度模块后续调度与任务执行状态提供依据。
2.如权利要求1所述的一种遥感卫星原始数据实时处理流程调度系统，其特征在于，所述在调度引擎中进行注册时，进一步标注执行单元标识、执行路径、可用资源池、资源限制、端口使用范围，具体解释如下：
执行单元标识：执行单元的唯一标识；
执行路径：执行单元的部署路径；
可用资源池：对所有硬件节点进行资源的池化管理，定义该执行单元可用的资源池；
资源限制：定义每个执行单元执行所需的最小资源，为资源的分配提供依据；
端口使用范围：实时数据传输是通过socket进行数据传输，需要进行实时传输的执行单元需要定义其可使用的端口范围。
3.如权利要求1或2所述的一种遥感卫星原始数据实时处理流程调度系统，其特征在于，所述nextProcessorStart判断下一执行单元是否立即启动时，若为“Y”，则启动完该执行单元立即启动下一执行单元；若为“N”，则需等待该执行单元执行完毕再启动下一执行单元；若前后模块传输实时数据流进行处理，则置为“Y”；若前后模块间是传输文件进行事后处理，则置为“N”。
4.如权利要求1或2所述的一种遥感卫星原始数据实时处理流程调度系统，其特征在于，在资源分配时，所述资源分配模块进一步查看流程节点中的sameResource属性值，当为null时，按照执行单元注册时可用的资源池以及资源使用限制进行资源的分配，否则，则分配与sameResource中指定执行单元相同的服务器。
CN202111581951.9A 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统 Active CN114461357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111581951.9A CN114461357B (zh) 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111581951.9A CN114461357B (zh) 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统

Publications (2)

Publication Number Publication Date
CN114461357A CN114461357A (zh) 2022-05-10
CN114461357B true CN114461357B (zh) 2022-11-11

Family

ID=81406717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111581951.9A Active CN114461357B (zh) 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统

Country Status (1)

Country Link
CN (1) CN114461357B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095664B (zh) * 2023-04-10 2023-06-16 商飞软件有限公司 一种新增北斗用户机在系统中实现服务注册的方法
CN116225667B (zh) * 2023-05-08 2023-08-01 中国科学院空天信息创新研究院 面向高轨多星定位的实时流式并行调度处理系统
CN117649108B (zh) * 2024-01-29 2024-04-16 中国科学院空天信息创新研究院 遥感卫星数据预处理监控方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099657A (ja) * 2004-09-30 2006-04-13 Fujitsu Ltd 解析プログラム実行用プログラム及び装置
CN105094984A (zh) * 2014-11-25 2015-11-25 航天恒星科技有限公司 资源调度的方法及系统
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理系统及方法
CN108985709A (zh) * 2018-06-26 2018-12-11 中国科学院遥感与数字地球研究所 面向多卫星数据中心协同遥感产品生产的工作流管理方法
CN109086033A (zh) * 2018-07-06 2018-12-25 航天星图科技（北京）有限公司 一种遥感数据处理的流程调度方法
CN111754073A (zh) * 2020-05-19 2020-10-09 北京吉威空间信息股份有限公司 空间数据业务的集中式处理与分布式作业框架构建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530168B (zh) * 2013-10-14 2017-01-11 中国科学院对地观测与数字地球科学中心 基于虚拟化技术的多卫星遥感数据处理系统和方法
CN105094982A (zh) * 2014-09-23 2015-11-25 航天恒星科技有限公司 一种多星遥感数据处理系统
CN113112421A (zh) * 2021-04-02 2021-07-13 长江大学 一种遥感数据处理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099657A (ja) * 2004-09-30 2006-04-13 Fujitsu Ltd 解析プログラム実行用プログラム及び装置
CN105094984A (zh) * 2014-11-25 2015-11-25 航天恒星科技有限公司 资源调度的方法及系统
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理系统及方法
CN108985709A (zh) * 2018-06-26 2018-12-11 中国科学院遥感与数字地球研究所 面向多卫星数据中心协同遥感产品生产的工作流管理方法
CN109086033A (zh) * 2018-07-06 2018-12-25 航天星图科技（北京）有限公司 一种遥感数据处理的流程调度方法
CN111754073A (zh) * 2020-05-19 2020-10-09 北京吉威空间信息股份有限公司 空间数据业务的集中式处理与分布式作业框架构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Optimal Download of Dynamically Generated Data by Using ISL Offloading in LEO Networks;Jiajing Wang等;《2019 15th International Conference on Mobile Ad-Hoc and Sensor Networks (MSN)》;20200416;第157 - 163页 *
空间科学卫星数据快速处理方法;孙小涓等;《计算机工程与科学》;20180815(第08期);第1351-1357页 *
面向多星多任务的大数据处理系统设计;马福利等;《大数据》;20210805(第05期);第3-16页 *

Also Published As

Publication number Publication date
CN114461357A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN114461357B (zh) 一种遥感卫星原始数据实时处理流程调度系统
CN108229686B (zh) 模型训练、预测方法、装置、电子设备及机器学习平台
CN109445944B (zh) 一种基于dpdk的网络数据采集处理系统及其方法
CN112532413B (zh) 基于微服务架构的业务支撑Saas系统、方法、介质及设备
CN109684057A (zh) 任务处理方法、装置和存储介质
US20110289354A1 (en) Distributed Batch Runner
CN1331052C (zh) 用于管理多系统群集中资源争用的方法和装置
US20100121904A1 (en) Resource reservations in a multiprocessor computing environment
CN112732227B (zh) 一种工作流引擎及其配置方法、装置
CN106557470A (zh) 数据提取方法和装置
CN112395736A (zh) 一种分布交互仿真系统的并行仿真作业调度方法
CN109508912A (zh) 一种业务调度方法、装置、设备和存储介质
US20200310828A1 (en) Method, function manager and arrangement for handling function calls
CN116661978B (zh) 一种分布式的流程处理方法、装置及分布式业务流程引擎
CN117435324B (zh) 基于容器化的任务调度方法
EP1293893A2 (en) State-Transition-Matrix based generation of a computer program
US20100122261A1 (en) Application level placement scheduler in a multiprocessor computing environment
CN115495140A (zh) 一种基于k8s的服务创建方法及系统
Heineman et al. Component technology and QoS management
US20100122254A1 (en) Batch and application scheduler interface layer in a multiprocessor computing environment
CN116501477B (zh) 一种数据自动化处理方法、装置和设备
CN112422349A (zh) 面向nfv的网管系统、方法、设备及介质
CN114546670A (zh) 一种基于协程的函数式异步数据分发系统及方法
CN117591132B (zh) 一种服务的发布方法和发布系统
US20220266849A1 (en) A method for developing a remote command data package for a motor vehicle by a central electronic computing device, as well as a central electronic computing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant