CN116339130A - 基于模糊规则的飞行任务数据获取方法、装置及设备 - Google Patents

基于模糊规则的飞行任务数据获取方法、装置及设备 Download PDF

Info

Publication number
CN116339130A
CN116339130A CN202310600164.7A CN202310600164A CN116339130A CN 116339130 A CN116339130 A CN 116339130A CN 202310600164 A CN202310600164 A CN 202310600164A CN 116339130 A CN116339130 A CN 116339130A
Authority
CN
China
Prior art keywords
network
value
aerial vehicle
unmanned aerial
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310600164.7A
Other languages
English (en)
Other versions
CN116339130B (zh
Inventor
冯旸赫
国子婧
胡星辰
梁星星
张龙飞
杜航
吴克宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310600164.7A priority Critical patent/CN116339130B/zh
Publication of CN116339130A publication Critical patent/CN116339130A/zh
Application granted granted Critical
Publication of CN116339130B publication Critical patent/CN116339130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Fuzzy Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种基于模糊规则的飞行任务数据获取方法、装置及设备，所述方法包括：获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络；通过知识推理模块对状态观测值进行处理，输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值；将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值；根据第一权重值与第二权重值确定无人机飞行任务的执行动作；通过策略网络与价值网络共同进行模糊策略网络的参数更新，得到真实的飞行任务数据。采用本方法能够获取高精度的无人机飞行任务数据，同时减少硬件消耗。

Description

基于模糊规则的飞行任务数据获取方法、装置及设备
技术领域
本申请涉及无人机飞行任务数据处理技术领域，特别是涉及一种基于模糊规则的飞行任务数据获取方法、装置及设备。
背景技术
随着无人机飞行任务数据处理技术领域的发展，出现了近端优化策略(ProximalPolicy Optimization）PPO算法，无人机通过获取和分析数据采用PPO算法来完成任务目标的执行动作策略分析，随着其在军事、民用、科研等领域的广泛应用，对其性能和效率的要求也越来越高。无人机的飞行控制和路径规划等飞行任务是无人机性能和效率的重要体现，因此需要引入更加先进的数据处理方法来获取无人机的飞行任务数据。目前，无人机飞行任务数据的获取方法主要包括PID控制、模糊控制、神经网络控制、遗传算法等。虽然这些方法在一定程度上可以满足无人机的飞行任务需求，但是也存在一些问题，例如，PID控制方法的参数需要手动调整，难以适应复杂多变的环境，数据获取过程的灵活度较差；模糊控制方法需要建立大量的规则库，难以实现自主学习，获取的飞行任务数据精度较差；神经网络控制方法需要大量的训练数据，训练时间长，飞行任务数据的处理对硬件要求较高；遗传算法方法需要大量的计算资源，计算效率低下。近年来，深度强化学习算法在无人机控制和规划领域得到了广泛应用。其中，PPO算法是一种较为先进的深度强化学习算法，具有训练效率高、收敛速度快等优点，被广泛应用于无人机飞行任务数据获取与飞行状态控制中。
然而，目前PPO算法采用基于采样的策略优化方法，需要大量的采样数据来训练模型，在无人机任务执行中，采样数据的获取需要进行实际飞行测试或者仿真模拟，这需要消耗大量的时间和资源。因此，PPO算法的深度强化学习采样效率低可能会导致训练时间长、计算资源消耗大等问题，限制了PPO算法在无人机任务执行中的应用，其次在无人机任务执行中，需要考虑多种复杂的环境因素，如天气、地形、风力等，这些因素可能会导致无人机的性能和效率发生变化，PPO算法需要进行大量的环境探索来学习适应不同的环境因素，这可能会增加算法的训练难度和时间，并且由于无人机任务执行需要高度精准的控制和规划，这就导致PPO算法在进行大量训练的时候，学习进程相对缓慢，对于无人机任务执行方面，PPO算法存在采样效率低、环境探索量大以及学习进程缓慢等缺陷，导致飞行任务数据的获取精度较差，硬件消耗较大。
发明内容
基于此，有必要针对上述技术问题，提供一种能够改善上述PPO算法处理无人机飞行任务数据时的缺陷的基于模糊规则的飞行任务数据获取方法、装置及设备。
一种基于模糊规则的飞行任务数据获取方法，所述方法包括：
获取无人机飞行任务的状态观测值，将状态观测值输入模糊策略网络。模糊策略网络包括：知识推理模块、策略网络以及价值网络。
通过知识推理模块对状态观测值进行处理，输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
根据第一权重值与第二权重值确定无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器。
从存储器中提取飞行任务决策过程，并分别输入至策略网络与价值网络，通过策略网络与价值网络共同进行模糊策略网络的参数更新，得到真实的飞行任务数据。
在其中一个实施例中，还包括：通过无人机传感器获取无人机飞行任务的状态观测值，将状态观测值分别输入处理器的模糊策略网络中的知识推理模块与策略网络。
在其中一个实施例中，知识推理模块包括：隶属度函数网络与模糊规则。隶属度函数网络包括模糊化层、模糊推理层以及去模糊化层。还包括：知识推理模块通过无人机飞行环境获取状态观测值，将状态观测值输入至处理器的隶属度函数网络获取前提条件真值，根据前提条件真值与模糊规则计算连接算子。根据连接算子输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
在其中一个实施例中，还包括：将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，根据模糊策略网络的参数构建动作偏好向量的最大化目标函数。根据最大化目标函数输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
在其中一个实施例中，还包括：根据第一权重值与第二权重值确定无人机飞行任务的执行动作：
Figure SMS_1
；
其中，
Figure SMS_2
为无人机飞行任务的执行动作，/>
Figure SMS_3
、/>
Figure SMS_4
分别为第一权重值与第二权重值，
Figure SMS_5
，/>
Figure SMS_6
为动作偏好向量，/>
Figure SMS_7
为动作概率向量，/>
Figure SMS_8
为锐化动作分布的参数。将执行动作与执行动作对应的飞行任务决策过程存入存储器。飞行任务决策过程包括：当前时刻状态观测值、当前时刻状态观测值对应的当前时刻执行动作、当前时刻执行动作的奖励值以及下一时刻的状态观测值。
在其中一个实施例中，还包括：从存储器中提取飞行任务决策过程，并分别输入至处理器的策略网络与价值网络，通过价值网络输出策略网络的优势函数与价值网络的价值函数。根据优势函数计算目标函数更新策略网络，并更新知识推理模块，以及价值函数更新价值网络。根据更新后的知识推理模块、策略网络以及价值网络进行模糊策略网络的参数更新，得到真实的飞行任务数据。
在其中一个实施例中，还包括：策略网络的优化器根据更新后的模糊策略网络与更新前的模糊策略网络重构最大化目标函数，将重构最大化目标函数输入至知识推理模块进行更新。
在其中一个实施例中，还包括：根据当前时刻期望值与下一时刻期望值生成均方误差，通过均方误差更新价值函数，根据更新后的价值函数更新价值网络。
一种基于模糊规则的飞行任务数据获取装置，所述装置包括：
状态获取模块，用于获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络。模糊策略网络包括：知识推理模块、策略网络以及价值网络。
第一权重值获取模块，用于通过知识推理模块对状态观测值进行处理，输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
第二权重值获取模块，用于将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
存储模块，用于根据第一权重值与第二权重值确定无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器。
任务数据获取模块，用于用于从存储器中提取飞行任务决策过程，并分别输入至策略网络与价值网络，通过策略网络与价值网络共同进行模糊策略网络的参数更新，得到真实的飞行任务数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络。模糊策略网络包括：知识推理模块、策略网络以及价值网络。
通过知识推理模块对状态观测值进行处理，输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
根据第一权重值与第二权重值确定无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器。
从存储器中提取飞行任务决策过程，并分别输入至策略网络与价值网络，通过策略网络与价值网络共同进行模糊策略网络的参数更新，得到真实的飞行任务数据。
上述基于模糊规则的飞行任务数据获取方法、装置及设备，通过获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络，通过知识推理模块预处理状态观测值，为模糊策略网络提供先验知识信息，可以提高处理器对环境的理解，从而提高采样率和学习进程，与此同时，基于动作偏好向量获取第一权重值，可以激励处理器更好的学习无人机飞行任务执行策略，加之，策略网络可以自动学习最优动作概率向量，因此通过第二权重值来调整策略，可以提高处理器通过模糊策略网络对无人机飞行任务的探索量，并将历史决策过程和当下决策过程均储存至存储器，使得处理器在模糊策略网络中利用学习到的以前的经验知识，应用到以后的无人机飞行任务动作的决策中，结合策略网络和价值网络进行参数更新，策略网络和价值网络会因参数变化小而变得更加稳定、更好地收敛，可以更好的调整模糊策略网络，从而可以时时获取更高精度、更准确的无人机飞行任务数据。
附图说明
图1为一个实施例中一种基于模糊规则的飞行任务数据获取方法的流程示意图；
图2为一个实施例中知识推理模块的结构框图；
图3为一个实施例中Policy-based Reinforcement Learning with Fuzzy Rules（基于策略的模糊规则强化学习）方法步骤的流程示意图；
图4为一个实施例中一个状态变量的隶属度函数网络的结构框图
图5为一个实施例中一种基于模糊规则的飞行任务数据获取装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于模糊规则的飞行任务数据获取方法，在一个实施例中，如图1所示，提供了一种基于模糊规则的飞行任务数据获取方法，具体包括以下步骤：
步骤102，获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络。
模糊策略网络包括：知识推理模块、策略网络以及价值网络。通过无人机传感器获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络中的知识推理模块和策略网络中，其中无人机飞行任务的状态观测值由多个状态变量组成，每一个状态变量代表一个无人机在执行飞行任务时对应的某一个时刻的飞行状态，可以是无人机姿态、航线偏离状态等。
步骤104，通过知识推理模块对状态观测值进行处理，输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
知识推理模块包括：隶属度函数网络与模糊规则。隶属度函数网络包括模糊化层、模糊推理层以及去模糊化层。具体的，由于无人机飞行任务的状态空间中包括不同的状态变量
Figure SMS_9
，包括/>
Figure SMS_10
分别对应状态观测值
Figure SMS_11
，每一个状态观测值均构建有各自的模糊集，每一个模糊集代表一种逻辑判断，/>
Figure SMS_12
是/>
Figure SMS_13
对应的三个模糊集合，但一条模糊规则中一个状态变量只涉及一个模糊集，因此状态观测值输入模糊化层，将状态观测值按照模糊集为一个神经单元进行逻辑分离处理，输出每个模糊集各自对应的隶属度函数至隶属度函数网络，另外，网络的隐藏层为该状态变量不同模糊集的隶属度函数，即模糊推理层，该层包括的神经元个数和激活函数由隶属度函数的形态和模糊集的数量共同决定，当神经元的数量与模糊集的数量一致时，通过去模糊化层输出当前状态变量观测值隶属于不同模糊集的隶属值，即模糊规则中各前提条件的真值，根据具体的无人机飞行任务类型，定义多条模糊规则，同一模糊规则中的所有前提条件都应满足，对同一条模糊规则中不同前提条件的真值取最小算子作为连接算子；根据具体的无人机飞行任务类型定义的多条模糊规则，对应同一动作的不同规则起到相互补充的作用，因此，对不同规则得出的动作偏好向量取最大算子(并集)作为连接算子，通过对整个模糊规则得到的所有动作选择概率进行/>
Figure SMS_14
运算，输出当前状态变量观测值执行目标任务的动作偏好向量。
进一步的，以Rule
Figure SMS_16
的第一个前提条件为例，针对环境状态空间有k个状态变量，共设计了k个隶属度函数网络，对于/>
Figure SMS_18
对应的/>
Figure SMS_21
模糊集，其隶属度网络输入层输入具体观测值/>
Figure SMS_17
，模糊推理层的初始参数和权重在训练前为人类设计的
Figure SMS_20
函数，随着无人机处理器装载的智能体与环境不断互动，各隶属度函数不断得到优化即改进模糊推理层的权重和偏置，输出层输出m个元素，最终只选取对应的数值即该前提条件的真值。/>
Figure SMS_23
的最终输出为k个前提条件取最小算子的概率值即/>
Figure SMS_24
的偏好向量，针对离散动作空间有/>
Figure SMS_15
个动作，L条规则对同一动作取最大算子最终输出动作偏好向量即/>
Figure SMS_19
，将输出的最大算子对应的动作偏好向量进行奖励函数运算，得到第一权重值/>
Figure SMS_22
。
步骤106，将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
离散动作空间下，无人机处理器装载的智能体与执行飞行任务时的环境交互的过程中，策略（actor）网络以当前状态观测值和当前状态观测值下知识推理模块输出的动作偏好向量
Figure SMS_25
为输入，将状态观测值与动作偏好向量输入策略（actor）网络中，具体的，actor网络的输入层以当前状态观测值作为输入，并根据状态观测值为隐藏层网络生成权重和偏置，定义模糊策略网络的参数与梯度更新参数分别计算的概率之比为重要性权重系数/>
Figure SMS_26
，按照重要性权重系数构建actor网络的最大化目标函数：
Figure SMS_27
；
其中，
Figure SMS_29
为超参数，/>
Figure SMS_32
为模糊策略网络的参数，/>
Figure SMS_34
为模糊策略网络的更新参数，
Figure SMS_30
为当前状态观测值下某一动作与时间步长t的平均值相比的优势估计值，/>
Figure SMS_31
为更新参数对应的执行策略，/>
Figure SMS_33
为智能体在actor网络中获取当前动作概率向量的奖励回报。进一步的，通过PPO算法求解得到目标任务的动作概率向量/>
Figure SMS_35
，并基于动作概率向量获取第二权重值/>
Figure SMS_28
。
步骤108，根据第一权重值与第二权重值确定无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器。
根据第一权重值
Figure SMS_36
与第二权重值/>
Figure SMS_37
确定无人机飞行任务的执行动作：
Figure SMS_38
；
其中，
Figure SMS_41
为无人机飞行任务的执行动作，/>
Figure SMS_43
、/>
Figure SMS_45
分别为第一权重值与第二权重值，
Figure SMS_40
，/>
Figure SMS_44
为动作偏好向量，/>
Figure SMS_46
为动作概率向量，/>
Figure SMS_47
为锐化动作分布的参数，将执行动作/>
Figure SMS_39
与执行动作对应的飞行任务决策过程存入存储器，在模糊策略网络内，飞行任务的决策过程包括当前时刻状态观测值、当前时刻状态观测值对应的当前时刻执行动作、当前时刻执行动作的奖励值以及下一时刻的状态观测值，由四个维度的参数组成的存储单元为
Figure SMS_42
，将该存储单元存入无人机装载的存储器中。
步骤110，从存储器中提取飞行任务决策过程，并分别输入至策略网络与价值网络，通过策略网络与价值网络共同进行模糊策略网络的参数更新，得到真实的飞行任务数据。
无人机处理器装载的智能体从存储器中提取飞行任务决策过程，将存储单元输入至价值（critic）网络，得到当前时刻的期望值标量，同时得到最大化目标函数中对应的优势估计值
Figure SMS_48
，采用广义优势估计GAE计算：
Figure SMS_49
；
其中，
Figure SMS_50
为当前时刻状态观测值下根据策略/>
Figure SMS_51
选择某一动作得到的累计奖励的期望值，/>
Figure SMS_52
为/>
Figure SMS_53
的期望值。进一步的，通过critic网络输出的优势估计值更新模糊策略网络的参数/>
Figure SMS_54
，actor网络的优化器根据更新参数/>
Figure SMS_55
更新动作概率向量，根据更新后的动作概率向量梯度更新知识推理模块，同时根据更新参数/>
Figure SMS_56
采用误差运算更新价值网络，其中，误差运算可以是蒙特卡洛误差运算或者时序差分误差运算，进而利用优化更新后的模糊策略网络处理无人机飞行任务中的环境、状态信息，由此训练出无人机飞行任务中的真实动作信息，即真实的无人机飞行任务数据。
上述基于模糊规则的飞行任务数据获取方法、装置及设备，通过获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络，通过知识推理模块预处理状态观测值，为模糊策略网络提供先验知识信息，可以提高处理器对环境的理解，从而提高采样率和学习进程，与此同时，基于动作偏好向量获取第一权重值，可以激励处理器更好的学习无人机飞行任务执行策略，加之，策略网络可以自动学习最优动作概率向量，因此通过第二权重值来调整策略，可以提高处理器通过模糊策略网络对无人机飞行任务的探索量，并将历史决策过程和当下决策过程均储存至存储器，使得处理器在模糊策略网络中利用学习到的以前的经验知识，应用到以后的无人机飞行任务动作的决策中，结合策略网络和价值网络进行参数更新，策略网络和价值网络会因参数变化小而变得更加稳定、更好地收敛，可以更好的调整模糊策略网络，从而可以时时获取更高精度、更准确的无人机飞行任务数据。
在其中一个实施例中，通过无人机传感器获取无人机飞行任务的状态观测值，将状态观测值分别输入处理器的模糊策略网络中的知识推理模块与策略网络。
值得说明的是，如图2所示，知识推理模块是将模糊规则各前提条件的真值进行运算，得到无人机飞行任务中当前时刻状态下的动作偏好向量，无人机通过传感器在执行飞行任务时与环境交互的过程中，向无人机处理器装载的智能体实时发送具体观测值
Figure SMS_57
，通过各自状态变量的隶属度函数网络，得到前提条件的真值。同一模糊规则中的所有前提条件都应满足，因此对同一条模糊规则中不同前提条件的真值取最小算子作为连接算子，根据具体任务定义的多条模糊规则，关于对应同一动作的不同规则起到相互补充的作用，故对不同规则得出的动作偏好向量取最大算子(并集)作为连接算子，知识推理模块通过对整个模糊规则得到的所有动作选择概率进行/>
Figure SMS_58
运算，最终输出当前状态下动作偏好向量。
在其中一个实施例中，以
Figure SMS_60
的第一个前提条件为例，针对环境状态空间有k个状态变量，共设计了k个隶属度函数网络。对于/>
Figure SMS_65
对应的/>
Figure SMS_68
，/>
Figure SMS_61
，…/>
Figure SMS_63
模糊集，其隶属度网络输入层输入具体无人机飞行过程中获取的状态观测值/>
Figure SMS_66
，模糊推理层的初始参数和权重在训练前为人类设计的/>
Figure SMS_69
函数，随着无人机传感器与环境不断互动，状态观测值传送至智能体过程中，各状态观测值对应的隶属度函数不断得到优化，即改进模糊推理层的权重和偏置，输出层输出m个元素，最终只选取对应的数值即该前提条件的真值。/>
Figure SMS_59
的最终输出为k个前提条件取最小算子的概率值即/>
Figure SMS_64
的偏好向量，针对离散动作空间有/>
Figure SMS_67
个动作，L条规则对同一动作取最大算子最终输出动作偏好向量/>
Figure SMS_70
，即
Figure SMS_62
。
在其中一个实施例中，知识推理模块包括：隶属度函数网络与模糊规则。知识推理模块通过无人机飞行环境获取状态观测值，将状态观测值输入至处理器的隶属度函数网络获取前提条件真值，根据前提条件真值与模糊规则计算连接算子。根据连接算子输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
值得说明的是，如图4所示，状态空间的每一个状态变量均有一个隶属度函数网络，网络的输入层以该状态变量的具体观测值为输入，神经元为1，这一层也被称为模糊化层，网络的隐藏层为该状态变量不同模糊集的隶属度函数，神经元的个数和激活函数由隶属度函数的形态和模糊集的数量共同决定，这一层也被称为模糊推理层；输出层也被称为去模糊化层，神经元的数量与模糊集的数量一致，输出当前状态变量观测值隶属于不同模糊集的隶属值，即模糊规则中各前提条件的真值。隶属度函数网络的初始权重和偏置均由先验知识确定，在训练过程中随着actor网络的梯度下降进行优化。
具体的，为状态空间中的状态变量设计模糊集，然后对每一个状态变量的每一个模糊集设计隶属度函数，同时形成模糊规则：
Figure SMS_71
；
Figure SMS_72
；
其中，
Figure SMS_74
是状态空间中的不同状态变量，包括/>
Figure SMS_78
分别对应观测值/>
Figure SMS_80
。/>
Figure SMS_75
的每一个状态变量均有各自的模糊集，每一个模糊集代表一种逻辑判断。/>
Figure SMS_76
是/>
Figure SMS_79
对应的三个模糊集合，但一条模糊规则中一个状态变量只涉及一个模糊集，每个模糊集均有各自对应的隶属度函数，例如，/>
Figure SMS_81
对应/>
Figure SMS_73
的隶属度函数，经过隶属度函数的计算，取得每个前提条件的真值，通过对每一条模糊规则中的多个前提条件进行最小运算符(交集)计算，获得该条模糊规则对应动作/>
Figure SMS_77
的概率，即执行无人机飞行任务的行动偏好。
在其中一个实施例中，将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，根据模糊策略网络的参数构建动作偏好向量的最大化目标函数。根据最大化目标函数输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
值得说明的是，如图3所示，将知识推理模块与近端优化策略（Proximal PolicyOptimization，PPO）算法相结合，构建基于模糊规则的策略网络方法（Proximal PolicyOptimization Algorithm with Fuzzy Rules，PPOFR），通过重要性采样的学习方法，采用优势演员-评论员(AC)框架，包括actor网络和critic网络，将无人机传感器捕捉无人机飞行任务的某一个轨迹，用当前时刻的参数
Figure SMS_82
计算的概率与下一时刻的参数/>
Figure SMS_83
计算的概率之比，生成重要性权重系数/>
Figure SMS_84
，使得处理器装载的智能体接收到无人机与环境互动的数据可以提高样本采样的利用率，实现异策略情况下的学习。
在其中一个实施例中，根据第一权重值与第二权重值确定无人机飞行任务的执行动作：
Figure SMS_85
；
其中，
Figure SMS_86
为无人机飞行任务的执行动作，/>
Figure SMS_87
、/>
Figure SMS_88
分别为第一权重值与第二权重值，
Figure SMS_89
，/>
Figure SMS_90
为动作偏好向量，/>
Figure SMS_91
为动作概率向量，/>
Figure SMS_92
为锐化动作分布的参数。将执行动作与执行动作对应的飞行任务决策过程存入存储器。飞行任务决策过程包括：当前时刻状态观测值、当前时刻状态观测值对应的当前时刻执行动作、当前时刻执行动作的奖励值以及下一时刻的状态观测值。
值得说明的是，采用消除KL散度的信任域修正方法，通过对重要性权重系数
Figure SMS_93
进行剪裁，使得处理器装载的智能体学习的模糊策略网络在每一次优化后的差距不会过大，同时根据重要性权重系数构建最大化目标函数：
Figure SMS_94
；
其中，
Figure SMS_97
为超参数，超参数可以根据实际需要自行设置数值，/>
Figure SMS_99
为模糊策略网络的参数，/>
Figure SMS_101
为模糊策略网络的更新参数，/>
Figure SMS_96
为当前状态观测值下某一动作与时间步长t的平均值相比的优势估计值，/>
Figure SMS_98
为更新参数对应的执行策略，/>
Figure SMS_100
为智能体在actor网络中获取当前动作概率向量的奖励回报。进一步的，通过PPO算法求解得到目标任务的动作概率向量/>
Figure SMS_102
，并基于动作概率向量获取第二权重值/>
Figure SMS_95
。
在其中一个实施例中，从存储器中提取飞行任务决策过程，并分别输入至处理器的策略网络与价值网络，通过价值网络输出策略网络的优势函数与价值网络的价值函数。根据优势函数计算目标函数更新策略网络，并更新知识推理模块，以及价值函数更新价值网络。根据更新后的知识推理模块、策略网络以及价值网络进行模糊策略网络的参数更新，得到真实的飞行任务数据。
在其中一个实施例中，策略网络的优化器根据更新后的模糊策略网络与更新前的模糊策略网络重构最大化目标函数，将重构最大化目标函数输入至知识推理模块进行更新。
值得说明的是，如图3所示，虚线表示actor网络、知识推理模块中隶属度函数网络以及critic网络的梯度流，目标任务决策过程作为存储单元存入存储器，可以扩大处理器装载的智能体在学习过程中的环境探索量，在模糊策略网络中通过调取存储器中的存储单元，输入至critic网络进行广义优势估计计算：
Figure SMS_103
；
并输出一个标量
Figure SMS_105
，同时得到目标函数中关于优势函数的优势估计值
Figure SMS_108
，其中，/>
Figure SMS_110
表示当前状态下根据策略/>
Figure SMS_106
选择某一动作得到的累计奖励的期望值。特别的，critic网络中参数/>
Figure SMS_107
的更新可以基于蒙特卡洛误差或时序差分误差，以基于时序差分误差计算为例，首先对/>
Figure SMS_109
与/>
Figure SMS_111
求均方误差，然后以均方误差作为目标函数进行梯度下降完成对critic网络中参数/>
Figure SMS_104
的更新。
在其中一个实施例中，根据当前时刻期望值与下一时刻期望值生成均方误差，通过均方误差更新价值函数，根据更新后的价值函数更新价值网络。
在其中一个实施例中，PPOFR方法的训练过程如下所示：
方法 1: PPOFR
输入：状态观测值
Figure SMS_112
；
输出：优化后的知识推理模块；
动作
Figure SMS_113
；
1：基于先验知识初始化每一个状态变量的隶属度函数网络并设计模糊规则；
2：初始化actor网络和critic网络；
3：初始化
Figure SMS_114
并规范/>
Figure SMS_115
的衰减率；
4：foreach episode in PPOFR:
5：初始化状态
Figure SMS_116
；
6：foreach step in one episode:
7：通过知识推理模块计算得出
Figure SMS_117
；
8：通过PPO计算得出
Figure SMS_118
；
9：根据
Figure SMS_119
选择动作；
10：执行动作并获得奖励
Figure SMS_120
进入下一状态/>
Figure SMS_121
；
11： 在memory中存储
Figure SMS_122
；
12： 对
Figure SMS_123
进行衰减；
13： 在满足更新时间步数后更新actor网络、隶属度函数网络以及critic网络；
14： end if；
15：end for
值得说明的是，PPOFR方法中
Figure SMS_124
基于知识推理模块的隶属度函数网络和actor网络进行计算，同样为获得更多奖励值最大化/>
Figure SMS_125
，actor网络的优化器可同时更新优化知识推理模块和actor网络的参数，并选择软更新作为隶属度函数网络更新方式，即以一定的权值对更新后的模糊策略网络参数和原有的模糊策略网络参数加权求和并复制给当前时刻的隶属度函数网络。模糊策略网络会因参数变化小而变得更加稳定，更好地收敛。隶属度函数网络和actor网络同时进行优化，知识推理模块得到更新使得先验知识更适应当前无人机飞行任务，同时加速了处理器装载的智能体的学习进程。
actor网络和critic网络采用硬更新的方式进行优化，在此过程中
Figure SMS_126
的权重会线性地衰减到一个较小的值，处理器装载的智能体更多依靠自身的探索选择动作，获得更高的奖励。
应该理解的是，虽然图1、图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于模糊规则的飞行任务数据获取装置，包括：状态获取模块502、第一权重值获取模块504、第二权重值获取模块506、存储模块508和任务数据获取模块510，其中：
状态获取模块502，用于获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络。模糊策略网络包括：知识推理模块、策略网络以及价值网络。
第一奖励获取值模块504，用于通过知识推理模块对状态观测值进行处理，输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
第二权重值获取模块506，用于将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
存储模块508，用于根据第一权重值与第二权重值确定无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器。
任务数据获取模块510，用于从存储器中提取飞行任务决策过程，并分别输入至策略网络与价值网络，通过策略网络与价值网络共同进行模糊策略网络的参数更新，得到真实的飞行任务数据。
关于一种基于模糊规则的飞行任务数据获取装置的具体限定可以参见上文中对于一种基于模糊规则的飞行任务数据获取方法的限定，在此不再赘述。上述一种基于模糊规则的飞行任务数据获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于模糊规则的飞行任务数据获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图2和图4-图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取无人机飞行任务的状态观测值，将状态观测值输入处理器的模糊策略网络。模糊策略网络包括：知识推理模块、策略网络以及价值网络。
通过知识推理模块对状态观测值进行处理，输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
根据第一权重值与第二权重值确定无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器。
从存储器中提取飞行任务决策过程，并分别输入至策略网络与价值网络，通过策略网络与价值网络共同进行模糊策略网络的参数更新，得到真实的飞行任务数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过无人机传感器获取无人机飞行任务的状态观测值，将状态观测值分别输入处理器的模糊策略网络中的知识推理模块与策略网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：知识推理模块包括：隶属度函数网络与模糊规则。隶属度函数网络包括模糊化层、模糊推理层以及去模糊化层。知识推理模块通过无人机飞行环境获取状态观测值，将状态观测值输入至处理器的隶属度函数网络获取前提条件真值，根据前提条件真值与模糊规则计算连接算子。根据连接算子输出执行无人机飞行任务的动作偏好向量，基于动作偏好向量获取第一权重值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将状态观测值与动作偏好向量通过处理器加载并输入策略网络中，根据模糊策略网络的参数构建动作偏好向量的最大化目标函数。根据最大化目标函数输出无人机飞行任务的动作概率向量，基于动作概率向量获取第二权重值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一权重值与第二权重值确定无人机飞行任务的执行动作：
Figure SMS_127
；
其中，
Figure SMS_128
为无人机飞行任务的执行动作，/>
Figure SMS_129
、/>
Figure SMS_130
分别为第一权重值与第二权重值，
Figure SMS_131
，/>
Figure SMS_132
为动作偏好向量，/>
Figure SMS_133
为动作概率向量，/>
Figure SMS_134
为锐化动作分布的参数。将执行动作与执行动作对应的飞行任务决策过程存入存储器。飞行任务决策过程包括：当前时刻状态观测值、当前时刻状态观测值对应的当前时刻执行动作、当前时刻执行动作的奖励值以及下一时刻的状态观测值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从存储器中提取飞行任务决策过程，并分别输入至处理器的策略网络与价值网络，通过价值网络输出策略网络的优势函数与价值网络的价值函数。根据优势函数计算目标函数更新策略网络，并更新知识推理模块，以及价值函数更新价值网络。根据更新后的知识推理模块、策略网络以及价值网络进行模糊策略网络的参数更新，得到真实的飞行任务数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：策略网络的优化器根据更新后的模糊策略网络与更新前的模糊策略网络重构最大化目标函数，将重构最大化目标函数输入至知识推理模块进行更新。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据当前时刻期望值与下一时刻期望值生成均方误差，通过均方误差更新价值函数，根据更新后的价值函数更新价值网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于模糊规则的飞行任务数据获取方法，其特征在于，所述方法包括：
获取无人机飞行任务的状态观测值，将所述状态观测值输入处理器的模糊策略网络；所述模糊策略网络包括：知识推理模块、策略网络以及价值网络；
通过所述知识推理模块对所述状态观测值进行处理，输出执行所述无人机飞行任务的动作偏好向量，基于所述动作偏好向量获取第一权重值；
将所述状态观测值与所述动作偏好向量通过所述处理器加载并输入所述策略网络中，输出所述无人机飞行任务的动作概率向量，基于所述动作概率向量获取第二权重值；
根据所述第一权重值与所述第二权重值确定所述无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器；
从所述存储器中提取所述飞行任务决策过程，并分别输入至所述策略网络与所述价值网络，通过所述策略网络与所述价值网络共同进行所述模糊策略网络的参数更新，得到真实的飞行任务数据。
2.根据权利要求1所述的方法，其特征在于，获取无人机飞行任务的状态观测值，将所述状态观测值输入处理器的模糊策略网络，包括：
通过无人机传感器获取无人机飞行任务的状态观测值，将所述状态观测值分别输入处理器的所述模糊策略网络中的所述知识推理模块与所述策略网络。
3.根据权利要求2所述的方法，其特征在于，所述知识推理模块包括：隶属度函数网络与模糊规则；所述隶属度函数网络包括模糊化层、模糊推理层以及去模糊化层；
通过所述知识推理模块对所述状态观测值进行处理，输出执行所述无人机飞行任务的动作偏好向量，基于所述动作偏好向量获取第一权重值，包括：
所述知识推理模块通过无人机飞行环境获取所述状态观测值，将所述状态观测值输入至所述处理器的所述隶属度函数网络获取前提条件真值，根据所述前提条件真值与所述模糊规则计算连接算子；
根据所述连接算子输出执行所述无人机飞行任务的动作偏好向量，基于所述动作偏好向量获取第一权重值。
4.根据权利要求3所述的方法，其特征在于，将所述状态观测值与所述动作偏好向量通过所述处理器加载并输入所述策略网络中，输出所述无人机飞行任务的动作概率向量，基于所述动作概率向量获取第二权重值，包括：
将所述状态观测值与所述动作偏好向量通过所述处理器加载并输入所述策略网络中，根据所述模糊策略网络的参数构建所述动作偏好向量的最大化目标函数；
根据所述最大化目标函数输出所述无人机飞行任务的动作概率向量，基于所述动作概率向量获取第二权重值。
5.根据权利要求4所述的方法，其特征在于，根据所述第一权重值与所述第二权重值确定所述无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器，包括：
根据所述第一权重值与所述第二权重值确定所述无人机飞行任务的执行动作：
Figure QLYQS_1
；
其中，
Figure QLYQS_2
为所述无人机飞行任务的执行动作，/>
Figure QLYQS_3
、/>
Figure QLYQS_4
分别为所述第一权重值与所述第二权重值，/>
Figure QLYQS_5
，/>
Figure QLYQS_6
为所述动作偏好向量，/>
Figure QLYQS_7
为所述动作概率向量，/>
Figure QLYQS_8
为锐化动作分布的参数；将所述执行动作与所述执行动作对应的飞行任务决策过程存入存储器；
所述飞行任务决策过程包括：当前时刻状态观测值、所述当前时刻状态观测值对应的当前时刻执行动作、所述当前时刻执行动作的奖励值以及下一时刻的状态观测值。
6.根据权利要求5所述的方法，其特征在于，从所述存储器中提取所述飞行任务决策过程，并分别输入至所述策略网络与所述价值网络，通过所述策略网络与所述价值网络共同进行所述模糊策略网络的参数更新，得到真实的飞行任务数据，包括：
从所述存储器中提取所述无人机飞行任务决策过程，并分别输入至所述处理器的所述策略网络与所述价值网络，通过所述价值网络输出所述策略网络的优势函数与所述价值网络的价值函数；
根据所述优势函数计算目标函数更新所述策略网络，并更新所述知识推理模块，以及所述价值函数更新所述价值网络；
根据更新后的所述知识推理模块、所述策略网络以及所述价值网络进行所述模糊策略网络的参数更新，得到真实的飞行任务数据。
7.根据权利要求6所述的方法，其特征在于，更新所述知识推理模块，包括：
所述策略网络的优化器根据更新后的所述模糊策略网络与更新前的所述模糊策略网络重构最大化目标函数，将所述重构最大化目标函数输入至所述知识推理模块进行更新。
8.根据权利要求7所述的方法，其特征在于，根据更新后的参数采用误差运算更新所述价值网络，包括：
根据当前时刻期望值与下一时刻期望值生成均方误差，通过所述均方误差更新所述价值函数，根据更新后的所述价值函数更新所述价值网络。
9.一种基于模糊规则的飞行任务数据获取装置，其特征在于，所述装置包括：
状态获取模块，用于获获取无人机飞行任务的状态观测值，将所述状态观测值输入处理器的模糊策略网络；所述模糊策略网络包括：知识推理模块、策略网络以及价值网络；
第一权重值获取模块，用于通过所述知识推理模块对所述状态观测值进行处理，输出执行所述无人机飞行任务的动作偏好向量，基于所述动作偏好向量获取第一权重值；
第二权重值获取模块，用于将所述状态观测值与所述动作偏好向量通过所述处理器加载并输入所述策略网络中，输出所述无人机飞行任务的动作概率向量，基于所述动作概率向量获取第二权重值；
存储模块，用于根据所述第一权重值与所述第二权重值确定所述无人机飞行任务的执行动作，并将飞行任务决策过程存入存储器；
任务数据获取模块，用于从所述存储器中提取所述飞行任务决策过程，并分别输入至所述策略网络与所述价值网络，通过所述策略网络与所述价值网络共同进行所述模糊策略网络的参数更新，得到真实的飞行任务数据。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
CN202310600164.7A 2023-05-25 2023-05-25 基于模糊规则的飞行任务数据获取方法、装置及设备 Active CN116339130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310600164.7A CN116339130B (zh) 2023-05-25 2023-05-25 基于模糊规则的飞行任务数据获取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310600164.7A CN116339130B (zh) 2023-05-25 2023-05-25 基于模糊规则的飞行任务数据获取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116339130A true CN116339130A (zh) 2023-06-27
CN116339130B CN116339130B (zh) 2023-09-15

Family

ID=86888001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310600164.7A Active CN116339130B (zh) 2023-05-25 2023-05-25 基于模糊规则的飞行任务数据获取方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116339130B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319286A (zh) * 2018-03-12 2018-07-24 西北工业大学 一种基于强化学习的无人机空战机动决策方法
WO2019120174A1 (zh) * 2017-12-22 2019-06-27 华为技术有限公司 动作控制方法及装置
CN111353606A (zh) * 2020-02-29 2020-06-30 中国电子科技集团公司第五十二研究所 一种基于模糊决策树的深度强化学习空战博弈解释方法和系统
WO2021082864A1 (zh) * 2019-10-30 2021-05-06 武汉理工大学 一种基于深度强化学习的群无人艇智能避碰方法
KR102266184B1 (ko) * 2021-04-08 2021-06-18 국방과학연구소 항공기의 조종을 위한 제어 장치 및 그의 동작 방법
CN113625753A (zh) * 2021-08-07 2021-11-09 中国航空工业集团公司沈阳飞机设计研究所 一种由专家规则引导神经网络学习无人机机动飞行的方法
CN114492805A (zh) * 2021-12-17 2022-05-13 南京航空航天大学 一种基于模糊推理的空战机动决策设计方法
CN115618924A (zh) * 2022-10-25 2023-01-17 天津大学 一种基于模糊规则和决策树的策略强化学习方法
KR20230032309A (ko) * 2021-08-30 2023-03-07 주식회사 클로버스튜디오 강화학습을 이용한 비행 공역 내 무인이동체 경로 결정 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019120174A1 (zh) * 2017-12-22 2019-06-27 华为技术有限公司 动作控制方法及装置
CN108319286A (zh) * 2018-03-12 2018-07-24 西北工业大学 一种基于强化学习的无人机空战机动决策方法
WO2021082864A1 (zh) * 2019-10-30 2021-05-06 武汉理工大学 一种基于深度强化学习的群无人艇智能避碰方法
CN111353606A (zh) * 2020-02-29 2020-06-30 中国电子科技集团公司第五十二研究所 一种基于模糊决策树的深度强化学习空战博弈解释方法和系统
KR102266184B1 (ko) * 2021-04-08 2021-06-18 국방과학연구소 항공기의 조종을 위한 제어 장치 및 그의 동작 방법
CN113625753A (zh) * 2021-08-07 2021-11-09 中国航空工业集团公司沈阳飞机设计研究所 一种由专家规则引导神经网络学习无人机机动飞行的方法
KR20230032309A (ko) * 2021-08-30 2023-03-07 주식회사 클로버스튜디오 강화학습을 이용한 비행 공역 내 무인이동체 경로 결정 방법
CN114492805A (zh) * 2021-12-17 2022-05-13 南京航空航天大学 一种基于模糊推理的空战机动决策设计方法
CN115618924A (zh) * 2022-10-25 2023-01-17 天津大学 一种基于模糊规则和决策树的策略强化学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI SHI: "Efcient hierarchical policy network with fuzzy rules", INTERNATIONAL JOURNAL OF MACHINE LEARNING AND CYBERNETICS, pages 447 - 459 *
施伟: "基于深度强化学习的多机协同空战方法研究", 自动化学报, vol. 47, no. 7, pages 1610 - 1623 *

Also Published As

Publication number Publication date
CN116339130B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Moerland et al. A0c: Alpha zero in continuous action space
Guo et al. Robust echo state networks based on correntropy induced loss function
CN111598213B (zh) 网络训练方法、数据识别方法、装置、设备和介质
Skolik et al. Robustness of quantum reinforcement learning under hardware errors
CN114781692A (zh) 短期电力负荷预测方法、装置及电子设备
Abubakar et al. Modified election algorithm in hopfield neural network for optimal random k satisfiability representation
Regazzoni et al. A physics-informed multi-fidelity approach for the estimation of differential equations parameters in low-data or large-noise regimes
Gángó et al. Learning based approximate model predictive control for nonlinear systems
El-Laham et al. Policy gradient importance sampling for Bayesian inference
Guo et al. Dynamic neural network structure: A review for its theories and applications
CN117709393A (zh) 一种短期电力负荷预测方法
Zhang et al. A hierarchical multivariate denoising diffusion model
CN116339130B (zh) 基于模糊规则的飞行任务数据获取方法、装置及设备
CN116805384A (zh) 自动搜索方法、自动搜索的性能预测模型训练方法及装置
Tang et al. Deep sparse representation via deep dictionary learning for reinforcement learning
Thomas et al. Inverse Reinforcement Learning for Generalized Labeled Multi-Bernoulli Multi-Target Tracking
Gottwald et al. Analysis and optimisation of bellman residual errors with neural function approximation
Miao et al. Implicit neural network for implicit data regression problems
CN118313277B (zh) 动态数据驱动的无人机干扰链路规划方法、装置及设备
Jia et al. Complex Network Optimization for Fixed-Time Continuous Action Iteration Dilemma by using Reinforcement Learning
CN114872040B (zh) 基于小脑预测与修正的肌肉骨骼机器人控制方法及装置
Miroszewski et al. Quantum machine learning for remote sensing: exploring potential and challenges
Kahraman et al. Comparison of the Effect of Regularization Techniques and Lookback Window Length on Deep Learning Models in Short Term Load Forecasting
CN116432690B (zh) 基于马尔科夫的智能决策方法、装置、设备及存储介质
Ravela et al. Dynamic Data-Driven Applications Systems and Information-Inference Couplings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant