CN115081936B - 面向应急条件下多遥感卫星观测任务调度的方法和装置 - Google Patents
面向应急条件下多遥感卫星观测任务调度的方法和装置 Download PDFInfo
- Publication number
- CN115081936B CN115081936B CN202210856415.3A CN202210856415A CN115081936B CN 115081936 B CN115081936 B CN 115081936B CN 202210856415 A CN202210856415 A CN 202210856415A CN 115081936 B CN115081936 B CN 115081936B
- Authority
- CN
- China
- Prior art keywords
- task
- emergency
- network
- scheduling
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 11
- 230000008901 benefit Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 239000010410 layer Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Radio Relay Systems (AREA)
Abstract
本发明公开一种面向应急条件下多遥感卫星观测任务调度的方法和装置,方法包括:步骤一,构建初始任务需求信息表和卫星资源信息表,再创建任务队列;步骤二,调度系统接收到当前应急任务需求,将当前应急任务插入到新到任务队列进行任务调度,判断和决策当前应急任务是否执行,若执行则插入到等待任务队列,反之拒绝执行,后对下一新到任务进行任务调度;步骤三,开始执行应急任务时,将应急任务加入正在执行任务队列,应急任务执行完成后,再将应急任务加入已执行任务队列;步骤四,当所有任务均执行完成后,汇总出任务调度结果表,形成最终任务调度方案。本发明可以为多卫星组的任务规划提供参考,大幅降低时间复杂度,达到更高的任务规划效率。
Description
技术领域
本发明属于信息技术领域,涉及一种面向应急条件下多遥感卫星观测任务调度的方法和装置。
背景技术
通过遥感卫星实现对地观测已经成为一种重要的获取地表信息资源的手段。近几年,随着突发事件和地区热点时间的频繁出现,对卫星集群进行应急条件下的任务调整和规划成为迫切需要解决的难题。特别是应急任务条件下,要求卫星的任务调度能够快速生成决策方案,遥感卫星作为先进对地观测技术的产物,一直在对地观测任务中扮演极为重要的角色。同时,遥感卫星已经成为应急条件下获取地面信息的重要手段。应急环境(例如地震、洪涝、火灾、恐怖袭击和局部战争等)下,事件发生具有突然性,时间、地点和规模具有不确定性。此时,为及时开展救援行动,遥感卫星需要在几小时、甚至几十分钟内提供服务。
目前,各国学者针对卫星静态调度问题开展了大量研究。现有将卫星调度问题描述为无环图上的多准则路径问题,其算法是对标签设置最短路径算法的一种改进,用于生成所有有效路径,用一个交互式会话来选择最佳序列。还有提出了一种动态规划算法,它通过拉格朗日松弛或某些约束的松弛来实现一个边界过程。还有采用拉格朗日松弛技术,并结合禁忌搜索、线性搜索来求解成像卫星静态调度问题。还有设计了进化算法,并将进化算法同爬山法、模拟退火、遗传等算法进行了比较。上述静态调度方法调度周期是固定的,调度决策下达后,无法修改,不符合应急条件下的任务调度需求。
对于成像卫星动态调度问题,有学者认识到过约束调度问题,卫星调度问题便是其中一种,对于约束规划方法来说是一个挑战。已有的提出了一种基于滚动视界的启发式算法来解决敏捷卫星的动态调度问题。启发式是贪婪的,其中排名函数包括动态问题和等待时间。还有提出了一种禁忌搜索元启发式算法,用于解决光学敏捷卫星的多星多轨图像采集调度问题。还有建立综合考虑应急任务响应时间和任务总收益的多星成像规划模型,将规划问题分解为任务时间窗选择和单轨动态规划两部分,分别设计自适应免疫算法和前向动态规划算法,取得了较好的效果,但算法耗时较长。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提出了一种面向应急条件下多遥感卫星观测任务调度的方法和装置,基于强化学习对多星应急任务进行规划,利用决策网络对是否接受应急任务进行决策,并采用启发式规则选择执行任务的卫星及时间窗口,生成有效的应急任务规划方案,其具体技术方案如下:
一种面向应急条件下多遥感卫星观测任务调度的方法,包括以下步骤:
步骤一,构建初始任务需求信息表和卫星资源信息表,再创建任务队列,任务队列包括:已完成任务队列、正在执行任务队列、等待任务队列和新到任务队列;
步骤二,调度系统接收到当前应急任务需求,将当前应急任务插入到新到任务队列进行任务调度,判断当前应急任务需求是否有效,若有效则决策该应急任务是否执行,若执行则再插入到等待任务队列等待执行;反之拒绝需求和执行该应急任务,后对下一新到任务进行任务调度;
步骤三,当开始执行应急任务时,将应急任务加入正在执行任务队列,更新卫星资源信息,执行时间窗口被永久占用,应急任务执行完成后,再将应急任务加入已执行任务队列;
步骤四,当所有任务均执行完成后,汇总出包含任务编号、卫星编号、完成的时间窗口的信息的任务调度结果表,形成最终的任务调度方案。
进一步地,所述初始任务需求信息表的属性包含优先级、到达时间、有效完成时间、分辨率要求及成像类型,则设任务集合,其中任意一个任务可表示为,、、、和分别为任务的优先级、到达时间、有效完成时间、分辨率要求和成像类型,;
卫星资源信息表的属性包含任务执行时间、视场角、成像分辨率、成像类型、任务转换时间、侧摆速率和最大侧摆角度,则设卫星资源集合:
进一步地,所述步骤二具体为:
当调度系统接收到当前应急任务需求即该应急任务的观测需求,判断观测需求是否有效,首先计算该应急任务可执行的时间窗口,检查各个时间窗口与当前已执行任务的约束情况,构造该应急任务的可选时间窗口集合S,若可选时间窗口集合S为空即判断观测需求无效,则拒绝该应急任务的观测需求,进入下一新到任务的判断过程;若判断观测需求有效,则通过A3C-S算法网络根据给出接受/拒绝任务执行的决策,若A3C-S算法网络给出决策结果为拒绝任务执行,则进入下一新到任务的决策过程,若A3C-S算法网络给出决策结果为接受任务执行,则将应急任务插入等待任务队列,安排可执行的时间窗口,并更新卫星资源信息,进入下一新到任务的决策过程。
进一步地,所述应急任务的决策,在其到达后立即开始,每完成一个任务的决策记为一步,采用N步采样法,进行任务决策策略的更新,决策策略更新的公式如下:
进一步地,所述计算该应急任务可执行的时间窗口,检查各个时间窗口与当前已执行任务的约束情况,具体为:
每个任务只能分配到一个卫星资源上,并且最多执行一次,因此,有如下任务约束:
进一步地,所述安排可执行的时间窗口具体为:首先计算等待任务队列中任务需求度,任务需求度表示任务需要调度的紧迫程度,对具有高优先级和少遥感机会的任务优先调度,任务需求度表达式为:
通过计算任务需求度,在等待任务队列中选择任务,同时在所有可以用于任务完成的时间窗口中,选择最小的时间窗口。
进一步地,所述A3C-S算法网络的结构是基于A3C算法网络,在策略网络和评价网络之前增加了一层全连接网络;所述A3C-S算法网络采用异步更新的方法,在异步训练过程中,存在一个包括策略网络和评价网络两部分功能的公共的全局神经网络,并运行多个线程,每个线程中都有一个局部网络,局部网络的结构与全局神经网络结构一致,每个局部网络独立的和环境进行交互,从而得到经验数据,当各个局部网络学习后,计算其损失函数梯度,并且更新全局神经网络,每隔一段时间,局部网络将自己的参数更新为公共的全局神经网络参数,进而指导之后的环境交互学习,最终得到学习完成后的全局神经网络。
进一步地,所述策略网络的网络参数梯度计算公式如下:
一种面向应急条件下多遥感卫星观测任务调度的装置,包括一个或多个处理器,用于实现所述的面向应急条件下多遥感卫星观测任务调度的方法。
一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现所述的面向应急条件下多遥感卫星观测任务调度的方法。
有益效果:
本发明方法可以用于应急条件下的多星任务调度场景,可根据卫星的参数、类型等属性进行扩充,也可以满足不同数量的任务调度,在有限的时间内形成任务规划方案,为多卫星组的任务规划提供参考,在保证任务调度总收益的前提下,大幅降低时间复杂度,达到更高的任务规划效率。
附图说明
图1是本发明的面向应急条件下多遥感卫星观测任务调度的方法的整体流程示意图;
图2是本发明的提出的A3C-S网络的结构概览图;
图3是本发明的面向应急条件下多遥感卫星观测任务调度的方法的详细流程示意图;
图4是本发明的面向应急条件下多遥感卫星观测任务调度的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白,以下结合说明书附图和实施例,对本发明作进一步详细说明。
多遥感卫星的观测任务调度是实现高效信息获取的核心技术,特别是在应急条件下,卫星遥感任务的高效调度是一个重要的研究方向,不同于一般的卫星任务调度过程,应急任务调度对时效性的要求更高,同时还存在应急任务与一般任务的取舍问题。在多星任务规划问题中,计算复杂度会随着卫星及任务数量的增加而迅速增大,使得传统的算法无法满足应急任务的时效性要求。
因此,如图1和图3所示,本发明提出了一种面向应急条件下多遥感卫星观测任务调度的方法,包括以下步骤:
步骤一,构建初始任务需求信息表和卫星资源信息表,再创建任务队列,任务队列包括:已完成任务队列、正在执行任务队列、等待任务队列和新到任务队列;
所述初始任务需求信息表的属性包含优先级、到达时间、有效完成时间、分辨率要求及成像类型,卫星资源信息表的属性包含任务执行时间、视场角、成像分辨率、成像类型、任务转换时间、侧摆速率和最大侧摆角度。
在本发明实施例中,定义任务均为点目标任务,则任务集合:
步骤二,调度系统接收到当前应急任务需求,将当前应急任务插入到新到任务队列进行任务调度,判断当前应急任务需求是否有效,若有效则决策该应急任务是否执行,若执行则再插入到等待任务队列等待执行;反之拒绝需求和执行该应急任务,后对下一新到任务进行任务调度。
所述任务调度的策略为:已完成任务和正在执行任务不可被取消,因此任务调度的目标为等待任务队列和新到任务队列中的遥感任务。
具体的,当调度系统接收到应急任务需求时,首先计算该应急任务可执行的时间窗口,检查各个时间窗口与当前已执行任务的约束情况,构造该应急任务的可选时间窗口集合S;应急任务即应急条件下的卫星观测任务;
若接收到的应急任务可选时间窗口集合S为空,则拒绝该应急任务的观测需求,进入下一新到任务的判断过程;
若该应急任务的观测需求有效,则由A3C-S算法网络根据卫星资源信息及任务需求信息给出接受/拒绝任务执行的决策,如果A3C-S算法网络给出决策结果为拒绝任务执行,则进入下一新到任务的决策过程;
若决策A3C-S算法网络给出决策结果为接受任务执行,则按规则将应急任务插入等待任务队列,安排可执行的时间窗口,并更新卫星资源信息,进入下一新到任务的决策过程;
其中,为应急任务安排可执行的时间窗口,首先计算任务需求度,任务需求度表示任务需要调度的紧迫程度,对具有较高优先级和较少遥感机会的任务优先调度,任务需求度表达式为:
通过计算任务需求度,在等待任务队列中选择新任务,同时在所有可以用于任务完成的时间窗口中,选择最小的时间窗口。
每个任务只能分配到一个卫星资源上,并且最多执行一次,因此,有如下任务约束:
准备就绪时间约束描述为:
优先考虑调度收益,由于设定为优先级越小,任务收益越高,故最大化任务收益,即最小化调度任务优先级:
由于在卫星应急任务调度问题中,调度方案是在每个观测需求到达后即刻给出的,每个调度时刻仅知道该时刻及以前的观测需求信息,是一种不完备信息条件下调度决策问题,提高了任务规划的难度。此外,卫星应急任务调度问题产生于战时、应急等动态场景,具有极高的时效性要求。
强化学习的优化目标是多步决策之后的最终奖励,每一步的行动最多可以获得一个即时反馈,最终奖励是在一次完整迭代之后才会获得。两相比较,可以发现卫星调度问题与强化学习的模式不谋而合,因此,强化学习的算法策略符合应急任务动态调度场景的需求。
强化学习的输入是当前的任务属性和卫星资源状态。由于卫星的资源状态和观测需求的状态属性都包含多维信息,且这些状态属性中有的是连续变量,因此,适合采用多层神经网络来描述和表征决策策略。
神经网络作为值策略函数的逼近器有以下优势:第一,经典强化学习采用值表(例如,Q-Table)的形式只能表达有限的少量状态,而在实际问题中,状态的数目往往不可数,若仍然采用值表,将随着迭代的次数的增加,而需要维护一个庞大的值表。第二,有的问题中状态值是连续的,而神经网络可以很好处理这种连续的状态情况。第三,在实际条件下,状态到决策一般是非线性映射,神经网络可以很好的拟合这种映射关系。
本发明采用的强化学习方法为使用面向任务规划的异步优势行动者评论家算法网络(A3C-S, Asynchronous Advantage Actor-Critic for Schedule) ,所述A3C-S算法网络参考了A3C算法网络的框架,并在A3C算法网络基础上做了改进。因此本发明的A3C-S算法网络是 Actor-Critic 架构,网络共分为两部分,包括:Actor 部分,称为策略网络,主要用于更新策略梯度;Critic 部分,称为评价网络,类似于一个评价器,对策略的参数调整幅度进行评价。
所述A3C-S算法网络的结构如图2所示,其中,网络的输入是系统的状态,主要包括系统中各卫星的资源状态和当前提交观测需求(任务需求)的状态。网络的输出层有两个神经元,分别对应接受与拒绝两个决策动作,激活函数采用softmax函数;输出层的每个单元的输出是选择该动作的概率,依据概率来随机选择拒绝或者接受观测需求。
A3C算法网络使用两个单层的全连接网络分别作为策略网络和评价网络,A3C-S的改进在于,在策略网络和评价网络之前增加了一层全连接网络,用于提取系统中各卫星资源的状态特征和当前提交观测需求的状态特征,从而提取出方便后续网络层学习的特征,加快网络收敛。
采用神经网络可以有效拟合强化学习的策略函数和值函数,在神经网络的训练过程中,要求输入的数据具有独立同分布的特性,否则难以进行稳定的训练。
然而,强化学习中的数据样本是智能体通过与环境进行交互所得,并不满足独立同分布假设。
解决数据样本不满足独立同分布假设的一种方法是采用经验回放机制,其做法是将强化学习算法采样所得经验数据放到一个经验池中,并采用随机采样方式来获得打破数据之间的前后关联。然而经验回放机制存在两个问题,一是智能体每次与环境进行交互所得的经验都需要存储在经验池中,训练时在通过随机采样的方式提取,这就消耗不少的内存和处理能力,二是由于采用回放的方式,算法只能基于旧数据生成策略,学习效率相对较低。
A3C-S 算法网络采用异步更新的方法来打破数据之间的关联性。在异步训练过程中,存在一个公共的全局神经网络模型,包括Actor策略网络和Critic评价网络两部分的功能,并运行多个线程,每个线程中都有一个局部网络,该局部网络的结构与全局网络结构一致,每个网络会独立和环境进行交互,从而得到经验数据。当各个局部网络学习到一定程度后,将计算自己的损失函数梯度,并且更新全局网络。另外,每隔一段时间,局部网络将自己的参数更新为公共的全局网络参数,进而指导之后的环境交互,最终学习完成后,全局网络模型就是训练的目标产物。线程中的局部网络主要用于和环境的交互,这些线程里的模型可以更好地和环境交互,拿到高质量的数据帮助全局网络模型更快收敛。
在卫星应急任务调度问题中,一系列应急观测任务序贯到达,每个任务的决策在其到达后立即开始,每完成一个任务的决策记为一步,采用N步采样法,进行任务决策策略的更新,决策策略更新的公式如下:
其中,代表状态下的价值函数,表示t时刻的卫星资源和任务状态信息,代表长期累积收益的真实值,代表即时收益。每一次决策中,网络对观测需求进行决策,并获得即时奖赏。训练中,网络参数每隔N个决策步更新收集1次梯度并用来更新主网络。采用N步采样的优势在于,可以加速收敛,如果采用单步更新的方式,值函数在每次迭代中只会缓慢地向后改变一步,会带来训练过慢的问题。
对于参数化的策略网络(Actor),网络参数梯度计算公式如下:
对值函数网络,采用监督学习的方法,通过最小化估计值函数估计偏差的方式来更新,公式如下:
在决策过程中,如果到达观测需求是无效需求即无可用时间窗口,那么由于它在进入决策网络决策流程之前已被回绝,不作为一步决策,故而不计入网络参数梯度的计算。
步骤三,当任务开始执行应急任务时,将任务加入正在执行任务队列,更新卫星资源信息,执行时间窗口被永久占用,任务执行完成后,再将任务加入已执行任务队列。
步骤四,当所有任务均执行完成后,调度流程结束,将任务编号、卫星编号、完成的时间窗口汇总为调度结果表,形成最终的任务调度方案。
综上,本发明的核心创新点在于将强化学习的算法引入到多星应急任务规划的应用场景中,对A3C算法网络结构进行了改进,设计了A3C-S算法网络,对应急任务的安排进行决策,保证了应急任务调度的时效性和准确性。
与前述一种面向应急条件下多遥感卫星观测任务调度的方法的实施例相对应,本发明还提供了一种面向应急条件下多遥感卫星观测任务调度的装置的实施例。
参见图4,本发明实施例提供的一种面向应急条件下多遥感卫星观测任务调度的装置,包括一个或多个处理器,用于实现上述实施例中的一种面向应急条件下多遥感卫星观测任务调度的方法。
本发明一种面向应急条件下多遥感卫星观测任务调度的装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本发明一种面向应急条件下多遥感卫星观测任务调度的装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的一种面向应急条件下多遥感卫星观测任务调度的方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述,仅为本发明的优选实施案例,并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明,对于熟悉本领域的人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种面向应急条件下多遥感卫星观测任务调度的方法,其特征在于,包括以下步骤:
步骤一,构建初始任务需求信息表和卫星资源信息表,再创建任务队列,任务队列包括:已完成任务队列、正在执行任务队列、等待任务队列和新到任务队列;
所述初始任务需求信息表的属性包含优先级、到达时间、有效完成时间、分辨率要求及成像类型,则设任务集合,其中任意一个任务可表示为,、、、和分别为任务的优先级、到达时间、有效完成时间、分辨率要求和成像类型,;
卫星资源信息表的属性包含任务执行时间、视场角、成像分辨率、成像类型、任务转换时间、侧摆速率和最大侧摆角度,则设卫星资源集合:
步骤二,调度系统接收到当前应急任务需求,将当前应急任务插入到新到任务队列进行任务调度,判断当前应急任务需求是否有效,若有效则决策该应急任务是否执行,若执行则再插入到等待任务队列等待执行;反之拒绝需求和执行该应急任务,后对下一新到任务进行任务调度,具体为:
当调度系统接收到当前应急任务需求即该应急任务的观测需求,判断观测需求是否有效,首先计算该应急任务可执行的时间窗口,检查各个时间窗口与当前已执行任务的约束情况,构造该应急任务的可选时间窗口集合S,若可选时间窗口集合S为空即判断观测需求无效,则拒绝该应急任务的观测需求,进入下一新到任务的判断过程;若判断观测需求有效,则通过A3C-S算法网络根据给出接受/拒绝任务执行的决策,若A3C-S算法网络给出决策结果为拒绝任务执行,则进入下一新到任务的决策过程,若A3C-S算法网络给出决策结果为接受任务执行,则将应急任务插入等待任务队列,安排可执行的时间窗口,并更新卫星资源信息,进入下一新到任务的决策过程;
所述应急任务的决策,在其到达后立即开始,每完成一个任务的决策记为一步,采用N步采样法,进行任务决策策略的更新,决策策略更新的公式如下:
所述计算该应急任务可执行的时间窗口,检查各个时间窗口与当前已执行任务的约束情况,具体为:
每个任务只能分配到一个卫星资源上,并且最多执行一次,因此,有如下任务约束:
所述安排可执行的时间窗口具体为:首先计算等待任务队列中任务需求度,任务需求度表示任务需要调度的紧迫程度,对具有高优先级和少遥感机会的任务优先调度,任务需求度表达式为:
通过计算任务需求度,在等待任务队列中选择任务,同时在所有可以用于任务完成的时间窗口中,选择最小的时间窗口;
所述A3C-S算法网络的结构是基于A3C算法网络,在策略网络和评价网络之前增加了一层全连接网络;所述A3C-S算法网络采用异步更新的方法,在异步训练过程中,存在一个包括策略网络和评价网络两部分功能的公共的全局神经网络,并运行多个线程,每个线程中都有一个局部网络,局部网络的结构与全局神经网络结构一致,每个局部网络独立的和环境进行交互,从而得到经验数据,当各个局部网络学习后,计算其损失函数梯度,并且更新全局神经网络,每隔一段时间,局部网络将自己的参数更新为公共的全局神经网络参数,进而指导之后的环境交互学习,最终得到学习完成后的全局神经网络;
所述策略网络的网络参数梯度计算公式如下:
步骤三,当开始执行应急任务时,将应急任务加入正在执行任务队列,更新卫星资源信息,执行时间窗口被永久占用,应急任务执行完成后,再将应急任务加入已执行任务队列;
步骤四,当所有任务均执行完成后,汇总出包含任务编号、卫星编号、完成的时间窗口的信息的任务调度结果表,形成最终的任务调度方案。
2.一种面向应急条件下多遥感卫星观测任务调度的装置,其特征在于,包括一个或多个处理器,用于实现权利要求1所述的面向应急条件下多遥感卫星观测任务调度的方法。
3.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1所述的面向应急条件下多遥感卫星观测任务调度的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210856415.3A CN115081936B (zh) | 2022-07-21 | 2022-07-21 | 面向应急条件下多遥感卫星观测任务调度的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210856415.3A CN115081936B (zh) | 2022-07-21 | 2022-07-21 | 面向应急条件下多遥感卫星观测任务调度的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115081936A CN115081936A (zh) | 2022-09-20 |
CN115081936B true CN115081936B (zh) | 2022-11-18 |
Family
ID=83259520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210856415.3A Active CN115081936B (zh) | 2022-07-21 | 2022-07-21 | 面向应急条件下多遥感卫星观测任务调度的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115081936B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167541B (zh) * | 2023-04-19 | 2023-09-29 | 南京邮电大学 | 一种基于突发应急情况下自适应配送策略的路径规划方法 |
CN116957311A (zh) * | 2023-09-21 | 2023-10-27 | 交通运输部水运科学研究所 | 一种应急策略的智能分配方法及系统 |
CN117076135B (zh) * | 2023-10-13 | 2024-02-02 | 之江实验室 | 一种资源调度方法、装置、存储介质及电子设备 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5257375A (en) * | 1991-08-23 | 1993-10-26 | International Business Machines Corp. | Method and apparatus for dispatching tasks requiring short-duration processor affinity |
US6597892B1 (en) * | 2000-04-18 | 2003-07-22 | Ses Americom | Automated ground system with telemetry initiated command assistance |
CN102867107A (zh) * | 2012-08-16 | 2013-01-09 | 中国人民解放军国防科学技术大学 | 一种多成像卫星应急任务动态调度方法 |
CN109409775A (zh) * | 2018-11-14 | 2019-03-01 | 中国电子科技集团公司第五十四研究所 | 一种卫星联合观测任务规划方法 |
CN109829636A (zh) * | 2019-01-22 | 2019-05-31 | 中国人民解放军国防科技大学 | 基于动态优先级的应急任务调度规划方法 |
CN110705775A (zh) * | 2019-09-27 | 2020-01-17 | 中国电子科技集团公司第五十四研究所 | 一种面向应急任务的星地资源快速配置方法 |
CN110825510A (zh) * | 2019-11-05 | 2020-02-21 | 中国人民解放军国防科技大学 | 任务驱动的多星协同任务分配方法及系统 |
CN111311074A (zh) * | 2020-01-20 | 2020-06-19 | 中国人民解放军国防科技大学 | 面向应急任务的多星分布式协同重调度方法 |
CN111340868A (zh) * | 2020-02-26 | 2020-06-26 | 大连海事大学 | 基于视觉深度估计的无人水下航行器自主决策控制方法 |
US10756809B1 (en) * | 2018-11-21 | 2020-08-25 | Beijing Yuritan Technology Co.Ltd | Emergency communication satellite terminal management system |
WO2020233262A1 (zh) * | 2019-07-12 | 2020-11-26 | 之江实验室 | 一种基于Spark的多中心数据协同计算的流处理方法 |
CN112308374A (zh) * | 2020-09-27 | 2021-02-02 | 北京控制工程研究所 | 一种基于多级队列的卫星自主任务规划指令序列执行方法 |
CN112884126A (zh) * | 2021-02-26 | 2021-06-01 | 深圳蓝胖子机器智能有限公司 | 深度强化学习网络系统 |
CN113269386A (zh) * | 2021-03-02 | 2021-08-17 | 北京市遥感信息研究院 | 基于合成策略的成像卫星应急任务规划方法和系统 |
CN113313356A (zh) * | 2021-04-30 | 2021-08-27 | 合肥工业大学 | 遥感卫星对地观测应急任务合成方法与装置 |
CN113327030A (zh) * | 2021-05-27 | 2021-08-31 | 北京和德宇航技术有限公司 | 一种多星任务规划方法、系统、设备及存储介质 |
CN113537782A (zh) * | 2021-07-19 | 2021-10-22 | 福州大学 | 基于合同网的多卫星态势感知系统分布式任务规划方法 |
CN113919122A (zh) * | 2021-08-05 | 2022-01-11 | 合肥工业大学 | 基于模拟退火算法的多星任务调度方法和系统 |
CN114143882A (zh) * | 2021-11-29 | 2022-03-04 | 华东师范大学 | 基于强化组织控制的多智体系统自组织方法及系统 |
CN114493373A (zh) * | 2022-03-31 | 2022-05-13 | 中国科学院空天信息创新研究院 | 一种遥感卫星处理系统中应急任务处理方法及装置 |
CN114612019A (zh) * | 2022-05-12 | 2022-06-10 | 北京开运联合信息技术集团股份有限公司 | 一种多卫星任务统筹规划方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961539B2 (en) * | 2001-08-09 | 2005-11-01 | Hughes Electronics Corporation | Low latency handling of transmission control protocol messages in a broadband satellite communications system |
-
2022
- 2022-07-21 CN CN202210856415.3A patent/CN115081936B/zh active Active
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5257375A (en) * | 1991-08-23 | 1993-10-26 | International Business Machines Corp. | Method and apparatus for dispatching tasks requiring short-duration processor affinity |
US6597892B1 (en) * | 2000-04-18 | 2003-07-22 | Ses Americom | Automated ground system with telemetry initiated command assistance |
CN102867107A (zh) * | 2012-08-16 | 2013-01-09 | 中国人民解放军国防科学技术大学 | 一种多成像卫星应急任务动态调度方法 |
CN109409775A (zh) * | 2018-11-14 | 2019-03-01 | 中国电子科技集团公司第五十四研究所 | 一种卫星联合观测任务规划方法 |
US10756809B1 (en) * | 2018-11-21 | 2020-08-25 | Beijing Yuritan Technology Co.Ltd | Emergency communication satellite terminal management system |
CN109829636A (zh) * | 2019-01-22 | 2019-05-31 | 中国人民解放军国防科技大学 | 基于动态优先级的应急任务调度规划方法 |
WO2020233262A1 (zh) * | 2019-07-12 | 2020-11-26 | 之江实验室 | 一种基于Spark的多中心数据协同计算的流处理方法 |
CN110705775A (zh) * | 2019-09-27 | 2020-01-17 | 中国电子科技集团公司第五十四研究所 | 一种面向应急任务的星地资源快速配置方法 |
CN110825510A (zh) * | 2019-11-05 | 2020-02-21 | 中国人民解放军国防科技大学 | 任务驱动的多星协同任务分配方法及系统 |
CN111311074A (zh) * | 2020-01-20 | 2020-06-19 | 中国人民解放军国防科技大学 | 面向应急任务的多星分布式协同重调度方法 |
CN111340868A (zh) * | 2020-02-26 | 2020-06-26 | 大连海事大学 | 基于视觉深度估计的无人水下航行器自主决策控制方法 |
CN112308374A (zh) * | 2020-09-27 | 2021-02-02 | 北京控制工程研究所 | 一种基于多级队列的卫星自主任务规划指令序列执行方法 |
CN112884126A (zh) * | 2021-02-26 | 2021-06-01 | 深圳蓝胖子机器智能有限公司 | 深度强化学习网络系统 |
CN113269386A (zh) * | 2021-03-02 | 2021-08-17 | 北京市遥感信息研究院 | 基于合成策略的成像卫星应急任务规划方法和系统 |
CN113313356A (zh) * | 2021-04-30 | 2021-08-27 | 合肥工业大学 | 遥感卫星对地观测应急任务合成方法与装置 |
CN113327030A (zh) * | 2021-05-27 | 2021-08-31 | 北京和德宇航技术有限公司 | 一种多星任务规划方法、系统、设备及存储介质 |
CN113537782A (zh) * | 2021-07-19 | 2021-10-22 | 福州大学 | 基于合同网的多卫星态势感知系统分布式任务规划方法 |
CN113919122A (zh) * | 2021-08-05 | 2022-01-11 | 合肥工业大学 | 基于模拟退火算法的多星任务调度方法和系统 |
CN114143882A (zh) * | 2021-11-29 | 2022-03-04 | 华东师范大学 | 基于强化组织控制的多智体系统自组织方法及系统 |
CN114493373A (zh) * | 2022-03-31 | 2022-05-13 | 中国科学院空天信息创新研究院 | 一种遥感卫星处理系统中应急任务处理方法及装置 |
CN114612019A (zh) * | 2022-05-12 | 2022-06-10 | 北京开运联合信息技术集团股份有限公司 | 一种多卫星任务统筹规划方法及装置 |
Non-Patent Citations (14)
Title |
---|
A DQN-based hyperheuristic algorithm for emergency scheduling of Earth observation satellites;Zheng Liu;《2021 2nd International Conference on Electronics, Communications and Information Technology (CECIT)》;20210928;56-68 * |
Dynamic Scheduling for Emergency Tasks in Space Data Relay Network;Cui-Qin Dai;《IEEE Transactions on Vehicular Technology》;20210205;1203-1208 * |
Dynamic Scheduling for Emergency Tasks on Distributed Imaging Satellites with Task Merging;Jianjiang Wang;《IEEE Transactions on Parallel and Distributed Systems》;20141125;69-72 * |
Earth observation satellite scheduling for emergency tasks;Sun Haiquan;《Journal of Systems Engineering and Electronics》;20190530;57-62 * |
Source Number Estimation Method of Multi-Antenna system for Multi-Satellite TT& C;Peijie Liu;《2020 IEEE 9th Joint International Information Technology and Artificial Intelligence Conference (ITAIC)》;20200916;1-9 * |
卫星数传应急任务调度模型;闫华等;《计算机工程》;20120520(第10期);12-17 * |
卫星移动通信系统在应急行业应用的思考;邸高高;《电信网技术》;20170615(第06期);2301-2308 * |
基于本体技术的遥感卫星资源调度方法研究;巫震宇;《无线电工程》;20150205;23-29 * |
基于策略的遥感卫星管控方法研究;刘伯阳;《中国空间科学技术》;20200305;102-106 * |
基于规则引擎的通讯卫星应急任务调度;刘永等;《计算机工程与设计》;20200116(第01期);3-7 * |
对地观测卫星任务规划的启发式动态调整算法;张利宁;《计算机工程与应用》;20111021;69-74 * |
组网成像卫星应急自主任务规划模型与算法研究;李燕;《中国优秀硕士学位论文全文库》;20200607;5-62 * |
遥感卫星应用系统的一种多任务并行调度方法;李颖等;《航天器工程》;20100715(第04期);3-9 * |
针对应急任务的敏捷成像卫星规划方法研究;张思锐;《中国优秀硕士学位论文全文库》;20200401;52-59 * |
Also Published As
Publication number | Publication date |
---|---|
CN115081936A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115081936B (zh) | 面向应急条件下多遥感卫星观测任务调度的方法和装置 | |
Lin et al. | An efficient deep reinforcement learning model for urban traffic control | |
CN109388484B (zh) | 一种基于Deep Q-network算法的多资源云作业调度方法 | |
CN112465151A (zh) | 一种基于深度强化学习的多智能体联邦协作方法 | |
CN109884897B (zh) | 一种基于深度强化学习的无人机任务匹配与计算迁移方法 | |
EP3692473A1 (en) | Machine learning system | |
CN110852448A (zh) | 一种基于多智能体强化学习的合作型智能体的学习方法 | |
CN110443284B (zh) | 人工智能ai模型的训练方法、调用方法、服务器及可读存储介质 | |
CN111401557B (zh) | 智能体决策制定方法、ai模型训练方法、服务器及介质 | |
CN114741886B (zh) | 一种基于贡献度评价的无人机集群多任务训练方法及系统 | |
CN115237581A (zh) | 一种面向异构算力的多策略智能调度方法和装置 | |
CN114415735B (zh) | 面向动态环境的多无人机分布式智能任务分配方法 | |
CN114896899B (zh) | 一种基于信息交互的多智能体分散式决策方法及系统 | |
CN113641192A (zh) | 一种基于强化学习的无人机群智感知任务的路径规划方法 | |
CN112990485A (zh) | 基于强化学习的知识策略选择方法与装置 | |
CN115951989B (zh) | 一种基于严格优先级的协同流量调度数值模拟方法与系统 | |
CN115099606A (zh) | 一种电网调度模型的训练方法及终端 | |
CN114757362A (zh) | 一种基于边缘增强的多智能体系统通信方法及相关装置 | |
CN112749041A (zh) | 虚拟化网络功能备份策略自决策方法、装置及计算设备 | |
CN116932198A (zh) | 资源调度方法、装置、电子设备及可读存储介质 | |
CN113205220B (zh) | 一种面向实时订单数据的无人机物流配送全局规划方法 | |
CN113947022B (zh) | 一种基于模型的近端策略优化方法 | |
Qu et al. | Dynamic scheduling in modern processing systems using expert-guided distributed reinforcement learning | |
CN117193992B (zh) | 模型训练方法、任务调度方法、装置以及计算机存储介质 | |
CN113887708A (zh) | 基于平均场的多智能体学习方法、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |