CN114692890A - 基于模型的权值组合规划值扩展的方法 - Google Patents
基于模型的权值组合规划值扩展的方法 Download PDFInfo
- Publication number
- CN114692890A CN114692890A CN202111598164.5A CN202111598164A CN114692890A CN 114692890 A CN114692890 A CN 114692890A CN 202111598164 A CN202111598164 A CN 202111598164A CN 114692890 A CN114692890 A CN 114692890A
- Authority
- CN
- China
- Prior art keywords
- strategy
- network
- value
- planning
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004088 simulation Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 14
- 230000003993 interaction Effects 0.000 abstract description 6
- 241000282813 Aepyceros melampus Species 0.000 abstract description 4
- 238000013480 data collection Methods 0.000 abstract description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 230000002787 reinforcement Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于模型的权值组合规划值扩展的方法，包含如下步骤：创建并行的执行单元，创建策略网络，并行的执行单元使用策略网络的当前策略与模拟环境交互，采集一整幕经验数据；将一整幕经验数据存入策略网络的缓存组件中；策略网络从缓存组件中取出定量的经验数据；待策略网络对定量的经验数据都进行评估后，通过策略梯度的方法更新策略网络的当前策略，获得新策略；待并行的执行单元与模拟环境进行新一轮交互时，无需等待策略网络进行策略更新，直接同步新策略即可。我们的方法结合了Impala架构，引入内部奖励值，同时对展开值H进行权值组合。不仅提高了算法的样本效率，同时大幅提高了方法收集数据的效率，提升了学习速度。
Description
技术领域
本发明涉及智能体与模拟环境的交互技术领域，特别涉及一种基于模型的权值组合规划值扩展的方法。
背景技术
前强化学习算法难以落地的一个重要问题在于样本效率过低，样本效率指的是智能体在一个任务上达到指定学习效果所需样本的大小，所需样本越多则样本效率越低，反之所需样本越少则，样本效率越高。当前，样本效率低下是阻碍强化学习在实际场景应用的一大障碍。样本效率的低下使得训练所需要的样本数量增加，但是与监督学习等范式不同，强化学习的数据源于智能体与环境的交互。所以所需样本的增加，使得智能体与环境交互的次数增加，当前强化学习在游戏、推荐系统的领域大放异彩的原因在于，这类任务的采样代价很低，游戏可以通过采集玩家对战数据，或使用智能体在游戏中反复试错收集经验数据。而推荐系统领域，每天有大量用户在为智能体提供交互数据，在这些采样代价较低的领域，强化学习样本效率低的问题被掩盖了。但是在许多实际场景中，如机器人控制、自动驾驶、智能城市等采样代价高的领域，无法接受智能体通过上万次的交互试错来收集数据，所以强化学习在上述领域并没有取得较好的成果。
当前为了提高算法样本效率，主要有以下几种方法：
1.基于价值函数类的算法中，会使用经验回放的方法提高样本效率。即将采集到的数据存入缓存，在训练过程中按照均匀采样或优先级采样的方式，抽取样本数据进行学习。这种方法可以重复利用之前采集的数据，从而降低采样成本，典型的利用就是DQN、APE-X等算法。但是缺陷在于，基于值函数的方法在连续动作空间任务上会出现维度灾难问题，并且收敛性较差。2.基于策略梯度类算法中，会使用off-policy方法提高样本效率。即利用行动策略加大探索力度，收集多样性样本，通过重要性采样的方法将行动策略采样得到的数据在目标策略中进行学习。典型的算法就是DDPG、TD3、Impala等方法。但是缺陷在于算法方差较大，学习过程波动性大，容易收敛到局部最优策略。
3.基于模型（model-based）的强化学习算法，除了会利用智能体采样得到的数据进行策略训练，同时还会利用其对模型的状态概率转移函数进行学习。得到了较为准确的状态转移函数之后，便可以通过规划的方法自己产生大量数据进行学习，或利用学到的状态转移概率函数得到对于价值函数更准确的估计，以此达到用小样本实现高效学习的效果。当前Model-based方法最大的挑战就是模型误差，数据量很少的情况下，学到的到的模型不准确，而使用不准确的模型预测就会产生更大的误差。
发明内容
根据本发明实施例，提供了一种基于模型的权值组合规划值扩展的方法，包含如下步骤：
创建并行的执行单元，创建策略网络，并行的执行单元使用策略网络的当前策略与模拟环境交互，采集一整幕经验数据；
将一整幕经验数据存入策略网络的缓存组件中；
策略网络从缓存组件中取出定量的经验数据；
使用目标网络对定量的经验数据进行评估，得到奖励值；
使用预测网络对预设个数的规划值进行预测，得到规划值的均值和方差；
根据规划值的均值和方差，通过逆方差权重法得到经验数据在加权后的预设步数规划值；
对经验数据的状态价值函数进行评估，得到总的预设步数后的状态价值函数；
利用V-trace方法对总的预设步数后的状态价值函数通过重要性采样的方式进行改写，得到可供策略网络学习的近似值状态价值函数；
对预设步数规划值和近似值状态价值函数求和得到最终价值函数；
待策略网络对定量的经验数据都进行评估后，通过策略梯度的方法更新策略网络的当前策略，获得新策略；
待并行的执行单元与模拟环境进行新一轮交互时，无需等待策略网络进行策略更新，直接同步新策略即可。
进一步，一整幕数据包含：若干个五元组数据。
进一步，五元组数据包含：动作初始观测到的状态、依照策略做出的动作、外部奖励值、环境转移到的下一个状态以及是否触发终止条件导致任务终止
进一步，使用目标网络对定量的经验数据的每个动作初始观测到的状态下的内部奖励进行评估，得到奖励值。
进一步，通过逆方差权重法得到经验数据在加权后的预设步数规划值的计算公式为：
其中，
代表最终得到的加权后的预设步数规划值，H代表规划扩展的步数，
代表
，得到的规划值的方差的倒数，
代表将对H取从0至H的值后，规划值的方差的倒数之和，
H取i时，规划值的均值。
进一步，利用奖励值对经验数据的状态价值函数进行评估，得到预设步数后的状态价值函数。
进一步，待策略网络对定量的经验数据都进行评估后，利用目标网络与预测网络的预测均方误差作为损失函数，优化预测网络的参数。
进一步，待策略网络对定量的经验数据都进行评估后，利用最终价值函数与奖励值计算的时序差分结果之差作为损失函数，更新价值评估网络，以及规划模型用的奖励值估计网络、状态转移预测网络。
根据本发明实施例的基于模型的权值组合规划值扩展的方法，相比传统的基于模型的方法，我们的方法结合了Impala架构，引入内部奖励值，同时对展开值H进行权值组合。不仅提高了算法的样本效率，同时大幅提高了方法收集数据的效率，提升了学习速度。并且内在奖励的引入可以成功引导智能体对环境进行高效探索，避免了由于探索效能不够，导致价值函数估计不准确，进而收敛到局部最优策略的问题。且本方法相比其他基于模型的算法，有着更高的单位时隙吞吐率、更好的性能、更快的学习速度以及更高的鲁棒性。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
图1为根据本发明实施例基于模型的权值组合规划值扩展的方法的流程图。
图2为根据本发明实施例基于模型的权值组合规划值扩展的方法的架构原理图。
图3为根据本发明实施例基于模型的权值组合规划值扩展的方法的性能对比图。
图4为根据本发明实施例基于模型的权值组合规划值扩展的方法的鲁棒性对比图。
具体实施方式
以下将结合附图，详细描述本发明的优选实施例，对本发明做进一步阐述。
首先，将结合图1~4描述根据本发明实施例的基于模型的权值组合规划值扩展的方法，用于智能体与模拟环境的交互实现数据的收集使用，其应用场景很广。
如图1~4所示，本发明实施例的基于模型的权值组合规划值扩展的方法，包含如下步骤：
在S1中，如图1所示，创建并行的执行单元（worker），创建策略网络（Learner），并行的执行单元使用策略网络的当前策略与模拟环境交互，采集一整幕经验数据。在本实施例中，一整幕数据包含：若干个五元组数据（st，at，
，st+1，done），五元组数据包含：动作初始观测到的状态st、依照策略做出的动作at、外部奖励值
、环境转移到的下一个状态st+1以及是否触发终止条件导致任务终止done，其中t代表个数。
在S2中，如图1所示，将一整幕经验数据存入策略网络的缓存组件中。
在S3中，如图1所示，策略网络从缓存组件中取出定量的经验数据。
在S4中，如图1所示，使用目标网络对定量的经验数据的每个动作初始观测到的状态st下的内部奖励进行评估，得到奖励值
。
在S5中，如图1所示，使用预测网络对预设个数的规划值进行预测，得到规划值的均值和方差。在本实施例中，针对每个状态st，综合考量H+1个不同预测步长的MVE形式的TD目标值，来计算得到一个合适的TD目标值。设置H+1个候选的TD目标：
，
，……，
，即考量从0步规划到H步规划的H+1种不同TD目标值。针对每个候选的TD目标
的，其在规划中有三个重要参数，分别为Q函数预测参数
，奖励函数预测参数
，状态转换函数预测参数
，它们共同作用组成一个H=i步的TD目标
，为了增强算法的鲁棒性，设置一个候选的TD目标中有L个预测参数
，N个奖励函数预测参数
，M个状态转移预测参数
。可知每个候选目标会有M×N×L个不同计算结果，对这些结果求均值和方差，得到候选目标
的均值
和方差
。
在S6中，如图1所示，根据规划值的均值和方差，通过逆方差权重法得到经验数据在加权后的预设步数规划值T。在本实施例中，通过逆方差权重法得到经验数据在加权后的预设步数规划值的计算公式为：
其中，
代表最终得到的加权后的预设步数规划值，H代表规划扩展的步数，
代表
，得到的规划值的方差的倒数，
代表将对H取从0至H的值后，规划值的方差的倒数之和，
H取i时，规划值的均值。
在S7中，如图1所示，利用奖励值
对经验数据的状态价值函数进行评估，得到总的预设步数后的状态价值函数
。在本实施例中，总的预设步数后的状态价值函数
分别为内部状态价值函数
和外部状态价值函数
，总的预设步数后的状态价值函数
为内部状态价值函数
与外部状态价值函数
求和。
在S8中，如图1所示，利用V-trace方法对总的预设步数后的状态价值函数
通过重要性采样的方式进行改写，得到可供策略网络学习的近似值状态价值函数
。
在S9中，如图1所示，对预设步数规划值T和近似值状态价值函数
求和得到最终价值函数
。
在S10中，如图1所示，待策略网络对定量的经验数据都进行评估后，通过策略梯度的方法更新策略网络的当前策略，获得新策略。在本实施例中，利用策略梯度的方法计算新策略的公式为：
其中，Π为新策略，Πw为当前策略，
为时隙t中，行动策略（当前策略）与目标策略（新策略）的重要性采样系数。
为时隙t中的状态，
为时隙t中智能体的动作，
为时隙t中智能体的奖励值，
为折扣系数，
为状态
的状态价值函数，
为预测的状态
的状态价值函数。
进一步，待策略网络对定量的经验数据都进行评估后，利用目标网络与预测网络的预测均方误差作为损失函数，优化预测网络的参数。
进一步，待策略网络对定量的经验数据都进行评估后，利用最终价值函数与奖励值计算的时序差分结果之差作为损失函数，更新价值评估网络，以及规划模型用的奖励值估计网络、状态转移预测网络。
在S11中，如图1所示，待并行的执行单元与模拟环境进行新一轮交互时，无需等待策略网络进行策略更新，直接同步新策略即可。
以上，参照图1~4描述了根据本发明实施例的基于模型的权值组合规划值扩展的方法，相比传统的基于模型的方法，我们的方法结合了Impala架构，引入内部奖励值，同时对展开值H进行权值组合。不仅提高了算法的样本效率，同时大幅提高了方法收集数据的效率，提升了学习速度。并且内在奖励的引入可以成功引导智能体对环境进行高效探索，避免了由于探索效能不够，导致价值函数估计不准确，进而收敛到局部最优策略的问题。且本方法相比其他基于模型的算法，有着更高的单位时隙吞吐率、更好的性能、更快的学习速度以及更高的鲁棒性。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包含……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (8)
1.一种基于模型的权值组合规划值扩展的方法，其特征在于，包含如下步骤：
创建并行的执行单元，创建策略网络，所述并行的执行单元使用所述策略网络的当前策略与模拟环境交互，采集一整幕经验数据；
将所述一整幕经验数据存入策略网络的缓存组件中；
所述策略网络从所述缓存组件中取出定量的所述经验数据；
使用目标网络对所述定量的经验数据进行评估，得到奖励值；
使用预测网络对所述预设个数的规划值进行预测，得到规划值的均值和方差；
根据所述规划值的均值和方差，通过逆方差权重法得到所述经验数据在加权后的预设步数规划值；
对所述经验数据的状态价值函数进行评估，得到总的预设步数后的状态价值函数；
利用V-trace方法对所述总的预设步数后的状态价值函数通过重要性采样的方式进行改写，得到可供所述策略网络学习的近似值状态价值函数；
对所述预设步数规划值和所述近似值状态价值函数求和得到最终价值函数；
待所述策略网络对所述定量的经验数据都进行评估后，通过策略梯度的方法更新所述策略网络的当前策略，获得新策略；
待所述并行的执行单元与所述模拟环境进行新一轮交互时，无需等待所述策略网络进行策略更新，直接同步所述新策略即可。
2.如权利要求1所述基于模型的权值组合规划值扩展的方法，其特征在于，所述一整幕数据包含：若干个五元组数据。
3.如权利要求2所述基于模型的权值组合规划值扩展的方法，其特征在于，所述五元组数据包含：动作初始观测到的状态、依照策略做出的动作、外部奖励值、环境转移到的下一个状态以及是否触发终止条件导致任务终止。
4.如权利要求3所述基于模型的权值组合规划值扩展的方法，其特征在于，所述使用目标网络对所述定量的经验数据的每个动作初始观测到的状态下的内部奖励进行评估，得到奖励值。
5.如权利要求3所述基于模型的权值组合规划值扩展的方法，其特征在于，所述通过逆方差权重法得到所述经验数据在加权后的预设步数规划值的计算公式为：
其中，
代表最终得到的加权后的预设步数规划值，H代表规划扩展的步数，
代
表
，得到的规划值的方差的倒数，
代表将对H取从0至H的值后，规划值的
方差的倒数之和，
H取i时，规划值的均值。
6.如权利要求3所述基于模型的权值组合规划值扩展的方法，其特征在于，所述利用奖励值对所述经验数据的状态价值函数进行评估，得到预设步数后的状态价值函数。
7.如权利要求1所述基于模型的权值组合规划值扩展的方法，其特征在于，待所述策略网络对所述定量的经验数据都进行评估后，利用所述目标网络与所述预测网络的预测均方误差作为损失函数，优化预测网络的参数。
8.如权利要求1所述基于模型的权值组合规划值扩展的方法，其特征在于，待所述策略网络对所述定量的经验数据都进行评估后，利用最终价值函数与所述奖励值计算的时序差分结果之差作为损失函数，更新价值评估网络，以及规划模型用的奖励值估计网络、状态转移预测网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111598164.5A CN114692890B (zh) | 2021-12-24 | 2021-12-24 | 基于模型的权值组合规划值扩展的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111598164.5A CN114692890B (zh) | 2021-12-24 | 2021-12-24 | 基于模型的权值组合规划值扩展的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114692890A true CN114692890A (zh) | 2022-07-01 |
| CN114692890B CN114692890B (zh) | 2024-06-25 |
Family
ID=82135816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111598164.5A Active CN114692890B (zh) | 2021-12-24 | 2021-12-24 | 基于模型的权值组合规划值扩展的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114692890B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112362066A (zh) * | 2020-11-20 | 2021-02-12 | 西北工业大学 | 一种基于改进的深度强化学习的路径规划方法 |
| JP2021034050A (ja) * | 2019-08-21 | 2021-03-01 | 哈爾浜工程大学 | 強化学習に基づくａｕｖ行動計画及び動作制御方法 |
| CN112668235A (zh) * | 2020-12-07 | 2021-04-16 | 中原工学院 | 基于离线模型预训练学习的ddpg算法的机器人控制方法 |
| WO2021103834A1 (zh) * | 2019-11-27 | 2021-06-03 | 初速度（苏州）科技有限公司 | 换道决策模型生成方法和无人车换道决策方法及装置 |
| CN113377030A (zh) * | 2021-08-12 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 一种路口信号控制模型的确定方法和相关装置 |
-
2021
- 2021-12-24 CN CN202111598164.5A patent/CN114692890B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021034050A (ja) * | 2019-08-21 | 2021-03-01 | 哈爾浜工程大学 | 強化学習に基づくａｕｖ行動計画及び動作制御方法 |
| WO2021103834A1 (zh) * | 2019-11-27 | 2021-06-03 | 初速度（苏州）科技有限公司 | 换道决策模型生成方法和无人车换道决策方法及装置 |
| CN112362066A (zh) * | 2020-11-20 | 2021-02-12 | 西北工业大学 | 一种基于改进的深度强化学习的路径规划方法 |
| CN112668235A (zh) * | 2020-12-07 | 2021-04-16 | 中原工学院 | 基于离线模型预训练学习的ddpg算法的机器人控制方法 |
| CN113377030A (zh) * | 2021-08-12 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 一种路口信号控制模型的确定方法和相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 祁文凯;桑国明;: "基于延迟策略的最大熵优势演员评论家算法", 小型微型计算机系统, no. 08, 15 August 2020 (2020-08-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114692890B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112685165B (zh) | 一种基于联合强化学习策略的多目标云工作流调度方法 | |
| CN112311578B (zh) | 基于深度强化学习的vnf调度方法及装置 | |
| CN112734014A (zh) | 基于置信上界思想的经验回放采样强化学习方法及系统 | |
| CN113784410B (zh) | 基于强化学习td3算法的异构无线网络垂直切换方法 | |
| CN114896899B (zh) | 一种基于信息交互的多智能体分散式决策方法及系统 | |
| CN114261400B (zh) | 一种自动驾驶决策方法、装置、设备和存储介质 | |
| JP7448683B2 (ja) | マルチタスク強化学習におけるメタ勾配を用いたアクション選択のための学習オプション | |
| CN111352419B (zh) | 基于时序差分更新经验回放缓存的路径规划方法及系统 | |
| JP7315007B2 (ja) | 学習装置、学習方法および学習プログラム | |
| CN118365099B (zh) | 一种多agv调度方法、装置、设备及存储介质 | |
| CN115860107A (zh) | 一种基于多智能体深度强化学习的多机探寻方法及系统 | |
| CN113778123B (zh) | 面向异构无人机集群的耦合多任务分配方法及装置 | |
| CN112297012B (zh) | 一种基于自适应模型的机器人强化学习方法 | |
| CN112668697B (zh) | 一种无人机飞控控制参数的模糊测试方法及系统 | |
| CN118153658A (zh) | 离线强化学习训练方法、动作预测方法、装置及介质 | |
| CN111767991B (zh) | 一种基于深度q学习的测控资源调度方法 | |
| CN117271838A (zh) | 车载有向无环图任务调度方法及系统 | |
| CN114692890A (zh) | 基于模型的权值组合规划值扩展的方法 | |
| Asadi et al. | Accellerating Action Dependent Hierarchical Reinforcement Learning through Autonomous Subgoal Discovery | |
| CN113377884A (zh) | 基于多智能体增强学习的事件语料库提纯方法 | |
| CN117750436B (zh) | 一种移动边缘计算场景中的安全服务迁移方法及系统 | |
| CN114970714B (zh) | 一种考虑移动目标不确定行为方式的轨迹预测方法及系统 | |
| CN118297357B (zh) | 一种基于图注意力神经网络的飞机保障作业调度方法和装置 | |
| CN112966641B (zh) | 一种对多传感器多目标的智能决策方法及存储介质 | |
| CN115033343B (zh) | 一种云环境下遥感数据流程调度模型的建立方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |