CN114461357A - 一种遥感卫星原始数据实时处理流程调度引擎 - Google Patents

一种遥感卫星原始数据实时处理流程调度引擎 Download PDF

Info

Publication number
CN114461357A
CN114461357A CN202111581951.9A CN202111581951A CN114461357A CN 114461357 A CN114461357 A CN 114461357A CN 202111581951 A CN202111581951 A CN 202111581951A CN 114461357 A CN114461357 A CN 114461357A
Authority
CN
China
Prior art keywords
execution unit
execution
module
flow
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111581951.9A
Other languages
English (en)
Other versions
CN114461357B (zh
Inventor
孙晓瑶
吴业炜
张洪群
李安
石璐
初庆伟
李宇
刘璐娇
陈俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202111581951.9A priority Critical patent/CN114461357B/zh
Publication of CN114461357A publication Critical patent/CN114461357A/zh
Application granted granted Critical
Publication of CN114461357B publication Critical patent/CN114461357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Radio Relay Systems (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种遥感卫星原始数据实时处理流程调度引擎，解决了遥感卫星原始数据实时处理任务的通用调度问题。具体包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块。本发明针对遥感卫星原始数据流的实时处理特点与需求，提出了满足实时数据流处理的流程调度引擎，实现遥感卫星原始数据流实时处理的流程可配置化，满足了对多星、多任务类型以及个性化定制的处理流程。

Description

一种遥感卫星原始数据实时处理流程调度引擎
技术领域
本发明属于遥感卫星地面处理技术领域，尤其涉及一种遥感卫星原始数据实时处理流程调度引擎。
背景技术
目前主流的工作流调度引擎主要用于办公、审批等场景，执行单元是依次或分支执行的，同一个分支中的执行单元是依次执行，即前面单元执行完毕才会执行后面单元，不能满足遥感卫星原始数据处理的特殊需求。遥感卫星原始数据处理是由多个执行单元对数据流进行实时传输处理的，任务流程依据数据流的流向进行分支处理，但同一个分支中的多个单元如果是实时处理数据流，则多个执行单元也要同时工作，对数据流进行逐帧的传输和处理。
因此，之前的遥感卫星原始数据实时处理一般是针对特定流程进行开发，若流程有变动或增加新的流程，则需要重新进行开发，不能实现流程定制的通用平台。
发明内容
本发明提供一种遥感卫星原始数据实时处理流程调度引擎，解决了遥感卫星原始数据实时处理任务的通用调度问题。
本发明通过以下技术方案实现。
一种遥感卫星原始数据实时处理流程调度引擎，包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块；其中：
所述执行单元注册模块根据组成任务流程的执行单元的调度约束在调度引擎中进行注册，为后述流程调度模块和资源分配模块进行调度和资源分配时提供依据和约束；
所述流程模板定制模块根据业务需求以及注册的执行单元的工作组合关系，定制每个任务类型的流程模板，为后述流程调度模块进行任务流程调度提供依据和约束；
所述流程调度模块根据原始数据处理任务的时间和优先级对待调度的任务进行调度，对于已调度的任务根据所述流程模板定制模块定制的流程执行顺序及每个执行单元的节点属性对任务流程进行调度；同时根据所述执行单元状态监控模块反馈的已调度执行单元的执行结果，对后续执行单元的调度进行相应处理，直至流程执行完成，反馈任务执行结果；
所述资源分配模块根据执行单元注册模块注册时的资源限制以及系统中可用的资源情况对执行单元进行资源分配，使得分配的资源使执行单元能顺利执行完成；
所述执行单元状态监控模块根据流程调度模块已调度的执行单元，对已启动的执行单元进行状态实时监控，支持通过消息中间件的实时执行进度状态监控和通过文件的执行结果的状态监控，根据监控情况判断执行单元执行成功与否，进而为流程调度模块后续调度与任务执行状态提供依据。
本发明的有益效果：
本发明针对遥感卫星原始数据流的实时处理特点与需求，提出了满足实时数据流处理的流程调度引擎，实现遥感卫星原始数据流实时处理的流程可配置化，满足了对多星、多任务类型以及个性化定制的处理流程。
附图说明
图1为本发明遥感卫星原始数据实时处理流程调度引擎结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，本实施方式中的一种遥感卫星原始数据实时处理流程调度引擎，包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块；其中：
所述执行单元注册模块根据组成任务流程的执行单元的调度约束在调度引擎中进行注册，为后述流程调度模块和资源分配模块进行调度和资源分配时提供依据和约束；
本实施例中，所述在调度引擎中进行注册时，进一步标注执行单元标识、执行路径、可用资源池、资源限制、端口使用范围，具体解释如下：
执行单元标识：执行单元的唯一标识；
执行路径：执行单元的部署路径；
可用资源池：对所有硬件节点进行资源的池化管理，定义该执行单元可用的资源池；
资源限制：定义每个执行单元执行所需的最小资源，如CPU、内存等，为资源的分配提供依据；
端口使用范围：实时数据传输是通过socket进行数据传输，需要进行实时传输的执行单元需要定义其可使用的端口范围。
所述流程模板定制模块根据业务需求以及注册的执行单元的工作组合关系，定制每个任务类型的流程模板，为后述流程调度模块进行任务流程调度提供依据和约束；
本实施例中，所述每个任务类型的流程模板具体如下：
StartProcess：第一个执行单元；
Entry:一个执行单元实体；
Id：执行单元标识；
Status：执行单元的执行状态，在任务执行过程中，该状态也会实时更新，执行状态有：Undispatch(待调度)、Running(执行中)、Success(执行成功)、Fail(执行失败)；
Type：执行单元的开发语言类型，如C、C++、Java、Python等，不同语言需要的启动方式不同；
nextProcessId：下一执行单元，定制了模块执行的先后顺序；
nextProcessorStart：下一执行单元是否立即启动，若为“Y”，则启动完该执行单元立即启动下一执行单元；若为“N”，则需等待该执行单元执行完毕再启动下一执行单元；若前后模块传输实时数据流进行处理，则置为“Y”；若前后模块间是传输文件进行事后处理，则置为“N”；
testPar：执行到此处需要检查的参数名；
testValue：参数的值；
jumpTo：若testPar指定的参数值等于testValue中配置的值，则直接跳到jumpTo所指定的模块去执行。实现根据前面模块的执行结果或者配置参数，跳过中间某些执行单元，继续执行后面的执行单元，满足配置实现卫星是否做质量分析的需求；
dependsubProcess：依赖的前面某一或某些执行单元；只有依赖的前面执行单元执行成功，本执行单元才启动执行，可以根据业务需求灵活指定依赖的执行单元，而不是必须依赖紧挨着的前一个执行单元；例如：数据转储依赖的是数据记录的成功；
sameResource：遥感卫星原始数据处理为了满足性能要求，记录下来的数据是先落盘在服务器本地，事后再从本地转储到共享存储；有些模块间是通过数据文件进行交互，为了能访问到本地数据，后面模块必须要跟前面数据落盘的执行单元在同一台物理服务器执行；例如：数据转储必须跟数据记录在同一台服务器；
Ending：流程结束。
所述流程调度模块依据原始数据处理任务的时间和优先级对待调度的任务进行调度，对于已调度的任务根据所述流程模板定制模块定制的流程执行顺序及每个执行单元的节点属性对任务流程进行调度；同时根据所述执行单元状态监控模块反馈的已调度执行单元的执行结果，对后续执行单元的调度进行相应处理，直至流程执行完成，反馈任务执行结果；
所述资源分配模块根据执行单元注册模块注册时的资源限制以及系统中可用的资源情况对执行单元进行资源分配，使得分配的资源使执行单元能顺利执行完成；
具体实施时，由于卫星原始数据实时处理流程的执行单元为了实现高IO性能，经常将数据直接落盘在服务器本地，这样使得后面有些需要读取数据的执行单元需要调度到同一台服务器。因此在资源分配时，所述资源分配模块进一步查看流程节点中的sameResource属性值，当为null时，按照执行单元注册时可用的资源池以及资源使用限制进行资源的分配，否则，则分配与sameResource中指定执行单元相同的服务器。
所述执行单元状态监控模块根据流程调度模块已调度的执行单元，对已启动的执行单元进行状态实时监控，支持通过消息中间件的实时执行进度状态监控和通过文件的执行结果的状态监控，根据监控情况判断执行单元执行成功与否，进而为流程调度模块后续调度与任务执行状态提供依据。
综上所述，以上仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种遥感卫星原始数据实时处理流程调度引擎，其特征在于，包括：执行单元注册模块、流程模板定制模块、流程调度模块、资源分配模块、执行单元状态监控模块；其中：
所述执行单元注册模块根据组成任务流程的执行单元的调度约束在调度引擎中进行注册，为后述流程调度模块和资源分配模块进行调度和资源分配时提供依据和约束；
所述流程模板定制模块根据业务需求以及注册的执行单元的工作组合关系，定制每个任务类型的流程模板，为后述流程调度模块进行任务流程调度提供依据和约束；
所述流程调度模块根据原始数据处理任务的时间和优先级对待调度的任务进行调度，对于已调度的任务根据所述流程模板定制模块定制的流程执行顺序及每个执行单元的节点属性对任务流程进行调度；同时根据所述执行单元状态监控模块反馈的已调度执行单元的执行结果，对后续执行单元的调度进行相应处理，直至流程执行完成，反馈任务执行结果；
所述资源分配模块根据执行单元注册模块注册时的资源限制以及系统中可用的资源情况对执行单元进行资源分配，使得分配的资源使执行单元能顺利执行完成；
所述执行单元状态监控模块根据流程调度模块已调度的执行单元，对已启动的执行单元进行状态实时监控，支持通过消息中间件的实时执行进度状态监控和通过文件的执行结果的状态监控，根据监控情况判断执行单元执行成功与否，进而为流程调度模块后续调度与任务执行状态提供依据。
2.如权利要求1所述的一种遥感卫星原始数据实时处理流程调度引擎，其特征在于，所述在调度引擎中进行注册时，进一步标注执行单元标识、执行路径、可用资源池、资源限制、端口使用范围，具体解释如下：
执行单元标识：执行单元的唯一标识；
执行路径：执行单元的部署路径；
可用资源池：对所有硬件节点进行资源的池化管理，定义该执行单元可用的资源池；
资源限制：定义每个执行单元执行所需的最小资源，如CPU、内存等，为资源的分配提供依据；
端口使用范围：实时数据传输是通过socket进行数据传输，需要进行实时传输的执行单元需要定义其可使用的端口范围。
3.如权利要求1或2所述的一种遥感卫星原始数据实时处理流程调度引擎，其特征在于，所述每个任务类型的流程模板具体如下：
StartProcess：第一个执行单元；
Entry:一个执行单元实体；
Id：执行单元标识；
Status：执行单元的执行状态，在任务执行过程中，该状态也会实时更新；
Type：执行单元的开发语言类型；
nextProcessId：下一执行单元，定制了模块执行的先后顺序；
nextProcessorStart：下一执行单元是否立即启动；
testPar：执行到此处需要检查的参数名；
testValue：参数的值；
jumpTo：若testPar指定的参数值等于testValue中配置的值，则直接跳到jumpTo所指定的模块去执行，实现根据前面模块的执行结果或者配置参数，跳过中间某些执行单元，继续执行后面的执行单元，满足配置实现卫星是否做质量分析的需求；
dependsubProcess：依赖的前面某一或某些执行单元；只有依赖的前面执行单元执行成功，本执行单元才启动执行，根据业务需求灵活指定依赖的执行单元，而不是必须依赖紧挨着的前一个执行单元；
sameResource：遥感卫星原始数据处理为了满足性能要求，记录下来的数据是先落盘在服务器本地，事后再从本地转储到共享存储；有些模块间是通过数据文件进行交互，为了能访问到本地数据，后面模块必须要跟前面数据落盘的执行单元在同一台物理服务器执行；
Ending：流程结束。
4.如权利要求3所述的一种遥感卫星原始数据实时处理流程调度引擎，其特征在于，所述nextProcessorStart判断下一执行单元是否立即启动时，若为“Y”，则启动完该执行单元立即启动下一执行单元；若为“N”，则需等待该执行单元执行完毕再启动下一执行单元；若前后模块传输实时数据流进行处理，则置为“Y”；若前后模块间是传输文件进行事后处理，则置为“N”。
5.如权利要求1或2所述的一种遥感卫星原始数据实时处理流程调度引擎，其特征在于，在资源分配时，所述资源分配模块进一步查看流程节点中的sameResource属性值，当为null时，按照执行单元注册时可用的资源池以及资源使用限制进行资源的分配，否则，则分配与sameResource中指定执行单元相同的服务器。
CN202111581951.9A 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统 Active CN114461357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111581951.9A CN114461357B (zh) 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111581951.9A CN114461357B (zh) 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统

Publications (2)

Publication Number Publication Date
CN114461357A true CN114461357A (zh) 2022-05-10
CN114461357B CN114461357B (zh) 2022-11-11

Family

ID=81406717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111581951.9A Active CN114461357B (zh) 2021-12-22 2021-12-22 一种遥感卫星原始数据实时处理流程调度系统

Country Status (1)

Country Link
CN (1) CN114461357B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095664A (zh) * 2023-04-10 2023-05-09 商飞软件有限公司 一种新增北斗用户机在系统中实现服务注册的方法
CN116225667A (zh) * 2023-05-08 2023-06-06 中国科学院空天信息创新研究院 面向高轨多星定位的实时流式并行调度处理系统
CN117649108A (zh) * 2024-01-29 2024-03-05 中国科学院空天信息创新研究院 遥感卫星数据预处理监控方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099657A (ja) * 2004-09-30 2006-04-13 Fujitsu Ltd 解析プログラム実行用プログラム及び装置
CN103530168A (zh) * 2013-10-14 2014-01-22 中国科学院对地观测与数字地球科学中心 基于虚拟化技术的多卫星遥感数据处理系统和方法
CN105094982A (zh) * 2014-09-23 2015-11-25 航天恒星科技有限公司 一种多星遥感数据处理系统
CN105094984A (zh) * 2014-11-25 2015-11-25 航天恒星科技有限公司 资源调度的方法及系统
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理系统及方法
CN108985709A (zh) * 2018-06-26 2018-12-11 中国科学院遥感与数字地球研究所 面向多卫星数据中心协同遥感产品生产的工作流管理方法
CN109086033A (zh) * 2018-07-06 2018-12-25 航天星图科技（北京）有限公司 一种遥感数据处理的流程调度方法
CN111754073A (zh) * 2020-05-19 2020-10-09 北京吉威空间信息股份有限公司 空间数据业务的集中式处理与分布式作业框架构建方法
CN113112421A (zh) * 2021-04-02 2021-07-13 长江大学 一种遥感数据处理系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099657A (ja) * 2004-09-30 2006-04-13 Fujitsu Ltd 解析プログラム実行用プログラム及び装置
CN103530168A (zh) * 2013-10-14 2014-01-22 中国科学院对地观测与数字地球科学中心 基于虚拟化技术的多卫星遥感数据处理系统和方法
CN105094982A (zh) * 2014-09-23 2015-11-25 航天恒星科技有限公司 一种多星遥感数据处理系统
CN105094984A (zh) * 2014-11-25 2015-11-25 航天恒星科技有限公司 资源调度的方法及系统
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理系统及方法
CN108985709A (zh) * 2018-06-26 2018-12-11 中国科学院遥感与数字地球研究所 面向多卫星数据中心协同遥感产品生产的工作流管理方法
CN109086033A (zh) * 2018-07-06 2018-12-25 航天星图科技（北京）有限公司 一种遥感数据处理的流程调度方法
CN111754073A (zh) * 2020-05-19 2020-10-09 北京吉威空间信息股份有限公司 空间数据业务的集中式处理与分布式作业框架构建方法
CN113112421A (zh) * 2021-04-02 2021-07-13 长江大学 一种遥感数据处理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAJING WANG等: "Optimal Download of Dynamically Generated Data by Using ISL Offloading in LEO Networks", 《2019 15TH INTERNATIONAL CONFERENCE ON MOBILE AD-HOC AND SENSOR NETWORKS (MSN)》 *
孙小涓等: "空间科学卫星数据快速处理方法", 《计算机工程与科学》 *
马福利等: "面向多星多任务的大数据处理系统设计", 《大数据》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095664A (zh) * 2023-04-10 2023-05-09 商飞软件有限公司 一种新增北斗用户机在系统中实现服务注册的方法
CN116095664B (zh) * 2023-04-10 2023-06-16 商飞软件有限公司 一种新增北斗用户机在系统中实现服务注册的方法
CN116225667A (zh) * 2023-05-08 2023-06-06 中国科学院空天信息创新研究院 面向高轨多星定位的实时流式并行调度处理系统
CN117649108A (zh) * 2024-01-29 2024-03-05 中国科学院空天信息创新研究院 遥感卫星数据预处理监控方法、装置及存储介质
CN117649108B (zh) * 2024-01-29 2024-04-16 中国科学院空天信息创新研究院 遥感卫星数据预处理监控方法、装置及存储介质

Also Published As

Publication number Publication date
CN114461357B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN114461357B (zh) 一种遥感卫星原始数据实时处理流程调度系统
CN108229686B (zh) 模型训练、预测方法、装置、电子设备及机器学习平台
CN109445944B (zh) 一种基于dpdk的网络数据采集处理系统及其方法
EP2482192B1 (en) Testing lifecycle
CN112532413B (zh) 基于微服务架构的业务支撑Saas系统、方法、介质及设备
CN109656782A (zh) 可视化调度监控方法、装置及服务器
CN109684057A (zh) 任务处理方法、装置和存储介质
CN111682973B (zh) 一种边缘云的编排方法及系统
CN112732227B (zh) 一种工作流引擎及其配置方法、装置
US20100121904A1 (en) Resource reservations in a multiprocessor computing environment
CN106557470A (zh) 数据提取方法和装置
US20200310828A1 (en) Method, function manager and arrangement for handling function calls
CN116661978B (zh) 一种分布式的流程处理方法、装置及分布式业务流程引擎
CN114968272A (zh) 一种算法运行方法、装置、设备、存储介质
CN117435324B (zh) 基于容器化的任务调度方法
US20030046660A1 (en) Computer program for generating another computer program based on STM
CN101488903A (zh) 基于统一分类接口的数据中心自动化资源管理系统及方法
US20100122261A1 (en) Application level placement scheduler in a multiprocessor computing environment
CN115712572A (zh) 任务的测试方法、装置、存储介质及电子装置
CN110298630A (zh) 一种工作流引擎
CN115495140A (zh) 一种基于k8s的服务创建方法及系统
CN110659125A (zh) 一种分析任务执行方法、装置、系统及电子设备
CN115664988A (zh) 一种面向Kubernetes的复杂服务部署和调度方法
US11113105B1 (en) Computer implemented system and method for generating platform agnostic digital worker
US20100122254A1 (en) Batch and application scheduler interface layer in a multiprocessor computing environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant