CN114493373A - 一种遥感卫星处理系统中应急任务处理方法及装置 - Google Patents

一种遥感卫星处理系统中应急任务处理方法及装置 Download PDF

Info

Publication number
CN114493373A
CN114493373A CN202210330966.6A CN202210330966A CN114493373A CN 114493373 A CN114493373 A CN 114493373A CN 202210330966 A CN202210330966 A CN 202210330966A CN 114493373 A CN114493373 A CN 114493373A
Authority
CN
China
Prior art keywords
processing
emergency
task
priority
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210330966.6A
Other languages
English (en)
Other versions
CN114493373B (zh
Inventor
赵灵军
李景山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210330966.6A priority Critical patent/CN114493373B/zh
Publication of CN114493373A publication Critical patent/CN114493373A/zh
Application granted granted Critical
Publication of CN114493373B publication Critical patent/CN114493373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供一种遥感卫星处理系统中应急任务处理方法及装置。该方法包括:预先确定遥感卫星处理系统的处理队列优先机制;预先分解遥感卫星数据的任务处理过程,确定相应的处理子流程;基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;基于处理队列优先机制和优先级队列标识,将处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。本发明提供的方法,能够在不影响当前批量遥感卫星处理任务的情况下,实现应急任务的优先处理,有效提高了应急任务的处理效率。

Description

一种遥感卫星处理系统中应急任务处理方法及装置
技术领域
本发明涉及遥感卫星数据处理技术领域,具体涉及一种遥感卫星处理系统中应急任务处理方法及装置。另外,还涉及一种电子设备及处理器可读存储介质。
背景技术
近年来,遥感卫星对地观测技术取得了飞速发展。随着卫星布局以及遥感应用商业化发展的不断深入,各种商业卫星等越来越多,为突发灾害提供重要的数据保障。但是由于目前卫星处理系统应对突发重大自然灾害事件反应滞后, 往往难以及时准确提供第一手数据和信息,这对遥感卫星预处理系统的应急生产发起了挑战。针对应急任务,卫星处理系统、预处理系统、卫星应用系统主要从自动化流程方面、硬件方面、以及处理算法方面进行改进,以提高处理能力,优化算法的执行效率。
但是上述方式未考虑对日常处理任务的影响。在日常生产状态下,当前的预处理系统很难对应急任务进行优先处理,以实现快速满足应急要求。当前卫星预处理系统在日常运行时,在应急任务处理上主要存在的问题有:应急事务具有突发性强的特点,这使得遥感卫星应急任务具有不定时、不定量的特征,其发起时段、数据量无法预先估计;应急任务具有时效性高的要求,但遥感卫星应急任务在在发起时,一般卫星处理系统都处于正在生产状态,大批量的任务都已经进行调度,应急任务如果现在提交的话,只能排在队尾执行,如果强行停止正常任务,则会导致业务中断。因此,如何设计一种遥感卫星处理系统中应急任务处理方案实现应急任务的优先处理成为亟待解决的技术问题。
发明内容
为此,本发明提供一种遥感卫星处理系统中应急任务处理方法及装置,以解决现有技术中存在的遥感卫星处理系统中应急任务处理方案局限性较高,导致应急任务的处理效率较差的缺陷。
第一方面,本发明提供一种遥感卫星处理系统中应急任务处理方法,包括:预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;
预先分解遥感卫星数据的任务处理过程,确定相应的处理子流程;
基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;
基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
进一步的,所述预先分解遥感卫星数据的任务处理过程,确定相应的处理子流程,具体包括:
预先分解遥感卫星数据的完整任务处理过程,以确定相应的至少两个处理子流程;每个所述处理子流程包含若干个处理功能不同的任务处理模块;所述处理子流程之间设置有相应的应急响应控制模块;其中,所述任务处理模块用于对待处理的遥感卫星数据进行实际处理,所述应急响应控制模块用于提交下游处理子流程的应急任务,并对下游处理子流程的处理应急任务的优先级进行控制;所述应急任务包含相应的待处理的遥感卫星数据。
进一步的,所述基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,具体包括:若应急任务的当前执行状态为已计划未接收状态,则根据预设的模糊信息对处于已计划未接收的应急任务进行标识,若应急任务的当前执行状态为已接收未处理状态,则根据相应任务的统一接收流水号对处于已接收未处理的应急任务进行标识,以使得所述已计划未接收的应急任务和所述已接收未处理的应急任务从进入第一个处理子流程开始就得到优先处理;若应急任务的当前执行状态为正在处理状态,则根据相应任务的统一接收流水号对正在处理的应急任务进行标识,以使得所述正在处理的应急任务从下一个处理子流程开始得到优先处理。
进一步的,基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行,具体包括:
利用预处理系统获得提交的应急任务,并解析所述应急任务对应的队列信息,以得到相应的优先级队列标识;根据所述应急任务的优先级队列标识生成相应的作业脚本;
将所述作业脚本提交到作业调度系统;利用所述作业调度系统根据所述优先级队列标识将所述应急任务分配到相应的优先级队列上进行执行。
进一步的,所述根据所述应急任务的优先级队列标识生成相应的作业脚本,具体包括:
利用所述预处理系统获得队列信息时,根据所述队列信息中的优先级队列标识去预设的处理模块模板目录下查找对应的脚本模板,并补充与优先级队列关联的目标参数,生成相应的作业脚本。
第二方面,本发明还提供一种遥感卫星处理系统中应急任务处理装置,包括:
处理队列优先机制确定单元,用于预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;
任务处理过程分解单元,用于预先分解遥感卫星数据的任务处理过程,确定相应的处理子流程;
应急任务标识单元,用于基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;
应急任务分级处理单元,用于基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
进一步的,所述任务处理过程分解单元,具体用于:
预先分解遥感卫星数据的完整任务处理过程,以确定相应的至少两个处理子流程;每个所述处理子流程包含若干个处理功能不同的任务处理模块;所述处理子流程之间设置有相应的应急响应控制模块;其中,所述任务处理模块用于对待处理的遥感卫星数据进行实际处理,所述应急响应控制模块用于提交下游处理子流程的应急任务,并对下游处理子流程的处理应急任务的优先级进行控制;所述应急任务包含相应的待处理的遥感卫星数据。
进一步的,所述应急任务标识单元,具体用于:若应急任务的当前执行状态为已计划未接收状态,则根据预设的模糊信息对处于已计划未接收的应急任务进行标识,若应急任务的当前执行状态为已接收未处理状态,则根据相应任务的统一接收流水号对处于已接收未处理的应急任务进行标识,以使得所述已计划未接收的应急任务和所述已接收未处理的应急任务从进入第一个处理子流程开始就得到优先处理;若应急任务的当前执行状态为正在处理状态,则根据相应任务的统一接收流水号对正在处理的应急任务进行标识,以使得所述正在处理的应急任务从下一个处理子流程开始得到优先处理。
进一步的,所述应急任务分级处理单元,具体用于:
利用预处理系统获得提交的应急任务,并解析所述应急任务对应的队列信息,以得到相应的优先级队列标识;根据所述应急任务的优先级队列标识生成相应的作业脚本;
将所述作业脚本提交到作业调度系统;利用所述作业调度系统根据所述优先级队列标识将所述应急任务分配到相应的优先级队列上进行执行。
进一步的,所述根据所述应急任务的优先级队列标识生成相应的作业脚本,具体包括:
利用所述预处理系统获得队列信息时,根据所述队列信息中的优先级队列标识去预设的处理模块模板目录下查找对应的脚本模板,并补充与优先级队列关联的目标参数,生成相应的作业脚本。
第三方面,本发明还提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行所述计算机程序时实现如上述任意一项所述遥感卫星处理系统中应急任务处理方法的步骤。
第四方面,本发明还提供一种处理器可读存储介质,所述处理器可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如上述任意一项所述遥感卫星处理系统中应急任务处理方法的步骤。
本发明提供的遥感卫星处理系统中应急任务处理方法,通过预先确定遥感卫星处理系统对应的处理队列优先机制以实现分配到高优先级队列上的应急任务优先进行处理,并分解遥感卫星数据的任务处理过程确定相应的至少处理子流程;然后,基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;最后,基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。其能够在不影响当前批量遥感卫星处理任务的情况下,实现应急任务的优先处理,有效提高了应急任务的处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的遥感卫星处理系统中应急任务处理方法的流程示意图;
图2是本发明实施例提供的遥感卫星处理系统中应急任务处理方法的实现流程图;
图3是本发明实施例提供的不同执行状态的应急任务匹配标识策略的处理示意图;
图4是本发明实施例提供的应急任务按优先级调度执行的流程示意图;
图5是本发明实施例提供的处理模块对应的作业脚本生成与执行的流程示意图;
图6是本发明实施例提供的遥感卫星处理系统中应急任务处理装置的结构示意图;
图7是本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
下面基于本发明所述遥感卫星处理系统中应急任务处理方法,对其实施例进行详细描述。如图1和2所示,其分别为本发明实施例提供的遥感卫星处理系统中应急任务处理方法的流程示意图和实现流程图,具体实现过程包括以下步骤:
步骤101:预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理。
在本发明实施例中,需要预先制定遥感卫星处理系统对应的处理队列优先机制,其区别于现有技术中将不同的队列对应不同的资源,本申请制定的处理队列优先机制是将相同的资源分配给不同优先级别的队列,实现相同资源的队列执行权限差别化。该处理队列优先机制中,高优先队列的作用是:不影响正在执行的处理任务,但对于正在排队的应急任务,无论提交应急任务的先后,高优先队列的应急任务比较优于普通队列的处理任务率先执行。在具体实施过程中,同一资源对应不同优先级别的队列。比如:两个队列process_H(高优先队列)和process(普通队列)所配置的资源完全相同,只是队列的优先级不同,即process_H的优先级高于process的优先级。
步骤102:预先分解遥感卫星数据的任务处理过程,确定相应的至少两个处理子流程。其中,所述处理子流程是位于整轨处理流程和单位处理流程之间划分粒度的子流程,所述整轨处理流程包含至少一个所述处理子流程,所述处理子流程包含至少一个所述单位处理流程。
在本发明实施例中,预先分解遥感卫星数据的完整任务处理过程,以确定相应的至少两个处理子流程;每个所述处理子流程包含若干个处理功能不同的任务处理模块;所述处理子流程之间设置有相应的应急响应控制模块。其中,所述任务处理模块用于对待处理的遥感卫星数据进行实际处理,所述应急响应控制模块用于提交下游处理子流程的应急任务,并对下游处理子流程的处理应急任务的优先级进行控制。在具体实施过程中,通过将完整预处理过程分解为多个处理子流程,每个处理子流程包含多个任务处理模块,以实现增加处理粒度,并在关键的处理子流程中间增加应急响应控制模块。该应急响应控制模块不参与遥感卫星数据的实际处理,只负责按需提交下游任务处理模块的处理任务,并指示下游任务处理模块的处理应急任务的优先级状态。
例如:根据遥感卫星任务处理过程的不同,将遥感卫星完整预处理过程可大致分为原始数据处理、条带数据处理、产品生产处理等多个处理子流程,每个处理子流程用应急响应控制模块结束,比如在原始数据处理的子流程和条带数据处理的子流程之间设置应急响应控制模块,该应急响应控制模块用于提交下游处理子流程(即条带数据处理的子流程)的应急任务,并对下游处理子流程的处理应急任务的优先级进行控制。也就是,对于已经进入预处理过程中的正在处理的应急任务,当该应急任务处于原始数据处理的子流程时,接收到该应急任务需要优先处理的知识信息后,通过应急响应控制模块将条带数据处理的子流程的优先级状态进行调整,在条带数据处理的子流程中将该应急任务的处理优先级确定为高优先级,从而实现更细粒度的在处理过程中的处理任务优先级调整。需要说明的是,所述不同的处理子流程并不是最低粒度的运行程序,而是介于整轨处理流程和单位处理流程(即单独运行程序或最小单位的处理流程)之间的处理子流程。通过合适的划分粒度,可以更加方便的实现对应急任务的优先级的控制,同时也不会导致因应急响应控制模块的增多而增加额外的开销。
每个所述处理子流程包含若干个处理功能不同的任务处理模块。以包含四个任务处理模块为例,所述原始数据处理的子流程描述如下:“><ARCHIVE/><GF06_UNPACK/><GF06_UNZIP/><ARCHIVE/><GF06AUTOPRODUCT/>”。其中,ARCHIVE 、GF06_UNPACK 、GF06_UNZIP分别为该处理子流程包含的多个任务处理模块,负责对遥感卫星数据的实际处理;而GF06AUTOPRODUCT为应急响应控制模块,可以控制下一处理子流程处理应急任务的优先级。ARCHIVE为两个归档任务处理模块,GF06_UNPACK为解格式任务处理模块,所述GF06_UNZIP为解压缩任务处理模块。所述任务处理模块(处理模块)即为相应的任务运行处理程序。
步骤103:基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识。
在本发明实施例中,可基于应急任务的当前执行状态匹配相应的标识策略。若应急任务的当前执行状态为已计划未接收状态,则根据预设的模糊信息对处于已计划未接收的应急任务进行标识,若应急任务的当前执行状态为已接收未处理状态,则根据相应任务的统一接收流水号对处于已接收未处理的应急任务进行标识,以使得所述已计划未接收的应急任务和所述已接收未处理的应急任务从进入第一个处理子流程开始就得到优先处理;若应急任务的当前执行状态为正在处理状态,则根据相应任务的统一接收流水号对正在处理的应急任务进行标识,以使得所述正在处理的应急任务从下一个处理子流程开始得到优先处理。所述已计划未接收的应急任务和所述已接收未处理的应急任务是指未进入所述处理子流程中进行处理的应急任务;所述正在处理的应急任务为当前已在所述处理子流程中进行处理的应急任务。
如图3所示,收到应急任务处理通知之后,根据应急任务的执行状态,将应急任务分三类进行处理:对于已计划未接收的应急任务,根据预设的模糊信息进行标识;对于已接收未处理(即已接收未发起)的应急任务,根据该轨任务的统一接收流水号进行标识;对于上述两类任务,将在完整预处理过程伊始就优先处理。对于正在处理(即已经开始处理)的应急任务,同样根据该轨任务的统一接收流水号进行标识,该任务将从下一处理子流程开始优先处理。预处理系统接收到的原始码流数据信息包含:统一接收流水号,原始码流文件,原始数据传输描述信息。原始码流文件中包括了卫星名、接收时间、轨道号、记录器编号、天线编号等信息。
需要说明的是,对于已计划未接收的应急任务,此时因数据为接收,未分配统一流水号,所以本发明通过模糊匹配的形式来表示,如GF06_014984_YF-H.sd表示,其中“_”为关键字分隔符,而“-”之后为队列标示。如上述文件名“GF06_014984_YF-H.sd”包含了卫星名(GF06),轨道号(014984),接收站(YF),以及优先队列标志(H)。另外,对于已接收未处理的应急任务和正在处理的应急任务两类,因统一流水号已经分配,因此在本发明实施例中使用统一流水号进行标志,比如JOB202201104085200_H表示用高优先队列处理,JOB202201104086800表示用普通队列处理,JOB202201104096800_L则表示用低优先队列处理。
步骤104:基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
在本发明实施例中,通过预处理系统获得提交的应急任务,并解析所述应急任务对应的队列信息,以得到相应的优先级队列标识;然后根据所述应急任务的优先级队列标识生成相应的作业脚本;将所述作业脚本提交到作业调度系统;利用所述作业调度系统根据所述优先级队列标识将所述应急任务分配到相应的优先级队列上进行执行。其中,所述根据所述应急任务的优先级队列标识生成相应的作业脚本,对应的具体实现过程包括:利用所述预处理系统获得队列信息时,根据所述队列信息中的优先级队列标识去预设的处理模块模板目录下查找对应的脚本模板,并补充与优先级队列关联的目标参数,生成相应的作业脚本。所述处理队列优先机制为在所述遥感卫星处理系统中将分配到高优先级队列上的应急任务优先进行执行的处理策略。所述作业调度系统包括但不限于以下任一项:便携式批处理系统(Portable Batch System,PBS)、加载共享设施(Load Sharing Facility,LSF)、用于资源管理的简单Linux实用程序(Simple Linux Utility for ResourceManagement,SLURM)。
需要说明的是,如图4和5所示,通过应急响应控制模块(即控制模块)发起下一处理子流程时,需要首先判断自身是否应急任务,以此判断下一处理子流程所在的队列,并提交队列信息到预处理系统中,比如将任务紧急度作为一个参数,一并提交到预处理系统。而下一处理子流程被预处理系统解析时,预处理系统会解析到队列信息,并根据其中解析到的队列标识去处理模块模板目录下查找对应的脚本模板,并补充与优先级队列关联的目标参数,生成相应的作业脚本。然后,将该作业脚本提交作业调度系统,通过作业调度系统根据优先级分配到不同的优先级队列上进行处理。执行模块包含控制模块和处理模块。其中,上述包含队列信息的脚本模板命名以模块名“_”队列标识为名称,如上述模块GF06_UNPACKD的高优先级队列(即高队列)的脚本模板文件名为GF06_UNPACK_H.sh,其内容如下所示:
“#!/bin/bash
#PBS -p 30
#PBS -o /public/VRS//work/<vrsID/>/Log/pbs/
#PBS -e /public/VRS//work/<vrsID/>/Log/pbs/
#PBS -q process_H
……
mpirun -np 2 -perhost 1 -hostfile $PBS_NODEFILE -env I_MPI_DEVICEsock /public/VRS//main/modules/bin/GF06_UNPACK /public/VRS//work/<vrsID/>/Parameter/GF06_UNPACK.xml”
预处理系统根据脚本模板,将相关的目标参数实例化,生成可运行的脚本提交到作业调度系统。如按上述优先级任务的脚本模板生成的脚本文件如下所示:
“#!/bin/bash
#PBS -p 30
#PBS -o /public/VRS//work/vrs20220228023335/Log/pbs/
#PBS -e /public/VRS//work/vrs20220228023335/Log/pbs/
#PBS -q process_H
……
mpirun -np 2 -perhost 1 -hostfile $PBS_NODEFILE -env I_MPI_DEVICEsock /public/VRS//main/modules/bin/GF06_UNPACK /public/VRS//work/vrs20220228023335/Parameter/GF06_UNPACK.xml”
若是常规处理任务,则生成的脚本中,其它的信息不变,而队列信息将变为:
“……
#PBS -q process
……”
综上所述,本发明实施例所述的遥感卫星处理系统中应急任务处理方法,通过预先确定遥感卫星处理系统对应的处理队列优先机制以实现分配到高优先级队列上的应急任务优先进行处理,并分解遥感卫星数据的任务处理过程确定相应的处理子流程;然后,基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;最后,基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。其能够在不影响当前批量遥感卫星处理任务的情况下,实现应急任务的优先处理,有效提高了应急任务的处理效率。
与上述提供的一种遥感卫星处理系统中应急任务处理方法相对应,本发明还提供一种遥感卫星处理系统中应急任务处理装置。由于该装置的实施例相似于上述方法实施例,所以描述得比较简单,相关之处请参见上述方法实施例部分的说明即可,下面描述的遥感卫星处理系统中应急任务处理装置的实施例仅是示意性的。请参考图6所示,其为本发明实施例提供的一种遥感卫星处理系统中应急任务处理装置的结构示意图。
本发明所述的遥感卫星处理系统中应急任务处理装置,具体包括:
处理队列优先机制确定单元601,用于预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;
任务处理过程分解单元602,用于预先分解遥感卫星数据的任务处理过程,确定相应的至少两个处理子流程;其中,所述处理子流程是位于整轨处理流程和单位处理流程之间划分粒度的子流程,所述整轨处理流程包含至少一个所述处理子流程,所述处理子流程包含至少一个所述单位处理流程;
应急任务标识单元603,用于基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;
应急任务分级处理单元604,用于基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
进一步的,所述任务处理过程分解单元,具体用于:
预先分解遥感卫星数据的完整任务处理过程,以确定相应的至少两个处理子流程;每个所述处理子流程包含若干个处理功能不同的任务处理模块;所述处理子流程之间设置有相应的应急响应控制模块;其中,所述任务处理模块用于对待处理的遥感卫星数据进行实际处理,所述应急响应控制模块用于提交下游处理子流程的应急任务,并对下游处理子流程的处理应急任务的优先级进行控制;所述应急任务包含相应的待处理的遥感卫星数据。
进一步的,所述应急任务标识单元,具体用于:若应急任务的当前执行状态为已计划未接收状态,则根据预设的模糊信息对处于已计划未接收的应急任务进行标识,若应急任务的当前执行状态为已接收未处理状态,则根据相应任务的统一接收流水号对处于已接收未处理的应急任务进行标识,以使得所述已计划未接收的应急任务和所述已接收未处理的应急任务从进入第一个处理子流程开始就得到优先处理;若应急任务的当前执行状态为正在处理状态,则根据相应任务的统一接收流水号对正在处理的应急任务进行标识,以使得所述正在处理的应急任务从下一个处理子流程开始得到优先处理;
其中,所述已计划未接收的应急任务和所述已接收未处理的应急任务是指未进入所述处理子流程中进行处理的应急任务;所述正在处理的应急任务为当前已在所述处理子流程中进行处理的应急任务。
进一步的,所述应急任务分级处理单元,具体用于:
利用预处理系统获得提交的应急任务,并解析所述应急任务对应的队列信息,以得到相应的优先级队列标识;根据所述应急任务的优先级队列标识生成相应的作业脚本;
将所述作业脚本提交到作业调度系统;利用所述作业调度系统根据所述优先级队列标识将所述应急任务分配到相应的优先级队列上进行执行。
进一步的,所述根据所述应急任务的优先级队列标识生成相应的作业脚本,具体包括:
利用所述预处理系统获得队列信息时,根据所述队列信息中的优先级队列标识去预设的处理模块模板目录下查找对应的脚本模板,并补充与优先级队列关联的目标参数,生成相应的作业脚本。
进一步的,所述处理队列优先机制为在所述遥感卫星处理系统中将分配到高优先级队列上的应急任务优先进行执行的处理策略。
本发明实施例所述的遥感卫星处理系统中应急任务处理装置,通过预先确定遥感卫星处理系统对应的处理队列优先机制以实现分配到高优先级队列上的应急任务优先进行处理,并分解遥感卫星数据的任务处理过程确定相应的处理子流程;然后,基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;最后,基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。其能够在不影响当前批量遥感卫星处理任务的情况下,实现应急任务的优先处理,有效提高了应急任务的处理效率。
与上述提供的遥感卫星处理系统中应急任务处理方法相对应,本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例,所以描述得比较简单,相关之处请参见上述方法实施例部分的说明即可,下面描述的电子设备仅是示意性的。如图7所示,其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括:处理器(processor)701、存储器(memory)702和通信总线703,其中,处理器701,存储器702通过通信总线703完成相互间的通信,通过通信接口704与外部进行通信。处理器701可以调用存储器702中的逻辑指令,以执行遥感卫星处理系统中应急任务处理方法,该方法包括:预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;预先分解遥感卫星数据的任务处理过程,确定相应的至少两个处理子流程;其中,所述处理子流程是位于整轨处理流程和单位处理流程之间划分粒度的子流程,所述整轨处理流程包含至少一个所述处理子流程,所述处理子流程包含至少一个所述单位处理流程; 基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
此外,上述的存储器702中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:存储芯片、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在处理器可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的遥感卫星处理系统中应急任务处理方法。该方法包括:预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;预先分解遥感卫星数据的任务处理过程,确定相应的至少两个处理子流程;其中,所述处理子流程是位于整轨处理流程和单位处理流程之间划分粒度的子流程,所述整轨处理流程包含至少一个所述处理子流程,所述处理子流程包含至少一个所述单位处理流程; 基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
又一方面,本发明实施例还提供一种处理器可读存储介质,所述处理器可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的遥感卫星处理系统中应急任务处理方法。该方法包括:预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;预先分解遥感卫星数据的任务处理过程,确定相应的至少两个处理子流程;其中,所述处理子流程是位于整轨处理流程和单位处理流程之间划分粒度的子流程,所述整轨处理流程包含至少一个所述处理子流程,所述处理子流程包含至少一个所述单位处理流程; 基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种遥感卫星处理系统中应急任务处理方法,其特征在于,包括:
预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;
预先分解遥感卫星数据的任务处理过程,确定相应的处理子流程;
基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;
基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
2.根据权利要求1所述的遥感卫星处理系统中应急任务处理方法,其特征在于,所述预先分解遥感卫星数据的任务处理过程,确定相应的处理子流程,具体包括:
预先分解遥感卫星数据的完整任务处理过程,以确定相应的至少两个处理子流程;每个所述处理子流程包含若干个处理功能不同的任务处理模块;所述处理子流程之间设置有相应的应急响应控制模块;其中,所述任务处理模块用于对待处理的遥感卫星数据进行实际处理,所述应急响应控制模块用于提交下游处理子流程的应急任务,并对下游处理子流程的处理应急任务的优先级进行控制。
3.根据权利要求1所述的遥感卫星处理系统中应急任务处理方法,其特征在于,所述基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,具体包括:若应急任务的当前执行状态为已计划未接收状态,则根据预设的模糊信息对处于已计划未接收的应急任务进行标识,若应急任务的当前执行状态为已接收未处理状态,则根据相应任务的统一接收流水号对处于已接收未处理的应急任务进行标识,以使得所述已计划未接收的应急任务和所述已接收未处理的应急任务从进入第一个处理子流程开始就得到优先处理;若应急任务的当前执行状态为正在处理状态,则根据相应任务的统一接收流水号对正在处理的应急任务进行标识,以使得所述正在处理的应急任务从下一个处理子流程开始得到优先处理。
4.根据权利要求1所述的遥感卫星处理系统中应急任务处理方法,其特征在于,基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行,具体包括:
利用预处理系统获得提交的应急任务,并解析所述应急任务对应的队列信息,以得到相应的优先级队列标识;根据所述应急任务的优先级队列标识生成相应的作业脚本;
将所述作业脚本提交到作业调度系统;利用所述作业调度系统根据所述优先级队列标识将所述应急任务分配到相应的优先级队列上进行执行。
5.根据权利要求4所述的遥感卫星处理系统中应急任务处理方法,其特征在于,所述根据所述应急任务的优先级队列标识生成相应的作业脚本,具体包括:
利用所述预处理系统获得队列信息时,根据所述队列信息中的优先级队列标识去预设的处理模块模板目录下查找对应的脚本模板,并补充与优先级队列关联的目标参数,生成相应的作业脚本。
6.一种遥感卫星处理系统中应急任务处理装置,其特征在于,包括:
处理队列优先机制确定单元,用于预先确定遥感卫星处理系统对应的处理队列优先机制,以实现分配到高优先级队列上的应急任务优先进行处理;
任务处理过程分解单元,用于预先分解遥感卫星数据的任务处理过程,确定相应的处理子流程;
应急任务标识单元,用于基于应急任务的当前执行状态匹配相应的标识策略,以对处于不同执行状态的应急任务分别按照相应的标识策略进行标识,确定不同执行状态下应急任务对应的优先级队列标识;
应急任务分级处理单元,用于基于所述处理队列优先机制和所述优先级队列标识,将所述处理子流程对应的应急任务分配到不同的优先级队列上进行处理,以实现对目标应急任务的优先执行。
7.根据权利要求6所述的遥感卫星处理系统中应急任务处理装置,其特征在于,所述任务处理过程分解单元,具体用于:
预先分解遥感卫星数据的完整任务处理过程,以确定相应的至少两个处理子流程;每个所述处理子流程包含若干个处理功能不同的任务处理模块;所述处理子流程之间设置有相应的应急响应控制模块;其中,所述任务处理模块用于对待处理的遥感卫星数据进行实际处理,所述应急响应控制模块用于提交下游处理子流程的应急任务,并对下游处理子流程的处理应急任务的优先级进行控制;所述应急任务包含相应的待处理的遥感卫星数据。
8.根据权利要求6所述的遥感卫星处理系统中应急任务处理装置,其特征在于,所述应急任务标识单元,具体用于:若应急任务的当前执行状态为已计划未接收状态,则根据预设的模糊信息对处于已计划未接收的应急任务进行标识,若应急任务的当前执行状态为已接收未处理状态,则根据相应任务的统一接收流水号对处于已接收未处理的应急任务进行标识,以使得所述已计划未接收的应急任务和所述已接收未处理的应急任务从进入第一个处理子流程开始就得到优先处理;若应急任务的当前执行状态为正在处理状态,则根据相应任务的统一接收流水号对正在处理的应急任务进行标识,以使得所述正在处理的应急任务从下一个处理子流程开始得到优先处理。
9.一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述遥感卫星处理系统中应急任务处理方法的步骤。
10.一种处理器可读存储介质,所述处理器可读存储介质上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任意一项所述遥感卫星处理系统中应急任务处理方法的步骤。
CN202210330966.6A 2022-03-31 2022-03-31 一种遥感卫星处理系统中应急任务处理方法及装置 Active CN114493373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210330966.6A CN114493373B (zh) 2022-03-31 2022-03-31 一种遥感卫星处理系统中应急任务处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210330966.6A CN114493373B (zh) 2022-03-31 2022-03-31 一种遥感卫星处理系统中应急任务处理方法及装置

Publications (2)

Publication Number Publication Date
CN114493373A true CN114493373A (zh) 2022-05-13
CN114493373B CN114493373B (zh) 2022-07-12

Family

ID=81488080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330966.6A Active CN114493373B (zh) 2022-03-31 2022-03-31 一种遥感卫星处理系统中应急任务处理方法及装置

Country Status (1)

Country Link
CN (1) CN114493373B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081936A (zh) * 2022-07-21 2022-09-20 之江实验室 面向应急条件下多遥感卫星观测任务调度的方法和装置
CN116131909A (zh) * 2022-12-28 2023-05-16 中国电信股份有限公司卫星通信分公司 多维度卫星一体的应急调度方法及装置
CN116996112A (zh) * 2023-09-22 2023-11-03 中国科学院空天信息创新研究院 一种遥感卫星数据实时预处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278420A1 (en) * 2012-04-24 2013-10-24 Susan Araiz-Boys Remote Evacuation Reporting Interface for First Responder Duty Optimization in the Field
CN107315629A (zh) * 2017-06-14 2017-11-03 北京小米移动软件有限公司 任务处理方法、装置及存储介质
CN107346263A (zh) * 2017-06-29 2017-11-14 上海联影医疗科技有限公司 任务执行方法、存储介质以及计算机设备
CN109814988A (zh) * 2017-11-22 2019-05-28 深圳竹云科技有限公司 任务处理方法及系统
CN112099935A (zh) * 2020-09-25 2020-12-18 北京奇艺世纪科技有限公司 一种任务处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278420A1 (en) * 2012-04-24 2013-10-24 Susan Araiz-Boys Remote Evacuation Reporting Interface for First Responder Duty Optimization in the Field
CN107315629A (zh) * 2017-06-14 2017-11-03 北京小米移动软件有限公司 任务处理方法、装置及存储介质
CN107346263A (zh) * 2017-06-29 2017-11-14 上海联影医疗科技有限公司 任务执行方法、存储介质以及计算机设备
CN109814988A (zh) * 2017-11-22 2019-05-28 深圳竹云科技有限公司 任务处理方法及系统
CN112099935A (zh) * 2020-09-25 2020-12-18 北京奇艺世纪科技有限公司 一种任务处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈亮 等: ""遥感卫星数据预处理系统复杂任务"", 《遥感信息》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081936A (zh) * 2022-07-21 2022-09-20 之江实验室 面向应急条件下多遥感卫星观测任务调度的方法和装置
CN115081936B (zh) * 2022-07-21 2022-11-18 之江实验室 面向应急条件下多遥感卫星观测任务调度的方法和装置
CN116131909A (zh) * 2022-12-28 2023-05-16 中国电信股份有限公司卫星通信分公司 多维度卫星一体的应急调度方法及装置
CN116996112A (zh) * 2023-09-22 2023-11-03 中国科学院空天信息创新研究院 一种遥感卫星数据实时预处理方法
CN116996112B (zh) * 2023-09-22 2023-12-26 中国科学院空天信息创新研究院 一种遥感卫星数据实时预处理方法

Also Published As

Publication number Publication date
CN114493373B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114493373B (zh) 一种遥感卫星处理系统中应急任务处理方法及装置
CN110727512B (zh) 集群资源调度方法、装置、设备及储存介质
CN107291545B (zh) 计算集群中多用户的任务调度方法及设备
CN108632365B (zh) 服务资源调整方法、相关装置和设备
CN112181621B (zh) 一种任务调度系统、方法、设备及存储介质
CN112052082B (zh) 任务属性优化方法、装置、服务器及存储介质
CN111400011A (zh) 一种实时任务调度方法、系统、设备及可读存储介质
CN111651595A (zh) 一种异常日志处理方法及装置
CN115543577A (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN114625533A (zh) 分布式任务调度方法、装置、电子设备及存储介质
CN114461357A (zh) 一种遥感卫星原始数据实时处理流程调度引擎
CN112181645A (zh) 一种资源调度的方法、装置、设备及存储介质
US12014210B2 (en) Dynamic resource allocation in a distributed system
CN112671923B (zh) 一种统一接口服务通讯调度方法及装置
CN113010310B (zh) 作业数据的处理方法、装置和服务器
CN112256418B (zh) 一种大数据任务调度方法
CN117076096A (zh) 任务流程的执行方法、装置、计算机可读介质及电子设备
CN110928659B (zh) 一种具有自适应功能的数值水池系统远程多平台接入方法
CN117234733A (zh) 一种分布式系统任务分配方法、系统、存储介质及设备
US20230030161A1 (en) Query-response system for identifying application priority
CN112527486B (zh) 调度优化方法及装置
CN115437766A (zh) 一种任务处理方法和装置
CN111538491B (zh) 数据事件处理方法、装置、设备和存储介质
CN114697328A (zh) NiFi高可用集群模式的实现方法及系统
CN115220908A (zh) 资源调度方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant