CN115061371A - 一种防止策略抖动的无人机控制策略强化学习生成方法 - Google Patents

一种防止策略抖动的无人机控制策略强化学习生成方法 Download PDF

Info

Publication number
CN115061371A
CN115061371A CN202210701895.6A CN202210701895A CN115061371A CN 115061371 A CN115061371 A CN 115061371A CN 202210701895 A CN202210701895 A CN 202210701895A CN 115061371 A CN115061371 A CN 115061371A
Authority
CN
China
Prior art keywords
strategy
control strategy
aerial vehicle
unmanned aerial
vehicle control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210701895.6A
Other languages
English (en)
Other versions
CN115061371B (zh
Inventor
彭宣淇
朴海音
詹光
孙阳
冯勇明
杨晟琦
于津
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC
Original Assignee
Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC filed Critical Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC
Priority to CN202210701895.6A priority Critical patent/CN115061371B/zh
Publication of CN115061371A publication Critical patent/CN115061371A/zh
Application granted granted Critical
Publication of CN115061371B publication Critical patent/CN115061371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请提供了一种防止策略抖动的无人机控制策略强化学习生成方法，包括：初始化无人机控制策略网络及值网络；无人机控制策略在环境中的采样；采用GAE方法，根据样本估计优势函数；在优势函数上叠加防止无人机操控策略抖动的规范化项；更新无人机控制策略网络与值网络；重复上述步骤直至收敛，从而完成无人机控制策略的强化学习。本申请提供的方法基于行为者‑评论家强化学习方法架构，将当前状态下、当前执行动作情况下切换动作所带来的收益附加值作为评价动作切换的规范化项，用以抑制不必要的动作切换，实现不改变原有最优策略情况下，有效降低强化学习方法生成策略的抖动，使强化学习生成的策略更容易应用于真实环境中。

Description

一种防止策略抖动的无人机控制策略强化学习生成方法
技术领域
本申请涉及飞行控制技术领域，特别涉及一种防止策略抖动的无人机控制策略强化学习生成方法。
背景技术
近年来，随着机器学习在智能控制领域上的应用，基于神经网络构成的深度强化学习方法已被用于解决自动驾驶、无人机控制、机器人控制等领域问题。
由于强化学习算法基于对环境的自主探索与环境给出的奖励函数生成策略，并且将最大化累计奖励值作为单一的目标函数，导致其无法考虑环境本身的领域需求。如在自动驾驶领域，希望汽车可以稳定运动、无人机操控领域希望飞机接受平稳的控制指令。使用强化学习虽然可以生成完成既定任务的策略，但是策略输出动作有可能过于抖动、导致控制系统存在安全隐患或用户体验不佳。现有技术中通常采取强行限制策略的一致性方法，但该方法策略过于保守，导致错过最优策略。如果能够实现在不对环境硬性限制的情况下生成尽量少的抖动最优策略，则有望解决强化学习生成策略过度抖动的问题，加速算法向真实控制系统迁移的进程。
发明内容
本申请的目的是提供了一种防止策略抖动的无人机控制策略强化学习生成方法，以解决或减轻背景技术中的至少一个问题。
本申请的技术方案是：一种防止策略抖动的无人机控制策略强化学习生成方法，包括：
1)初始化无人机控制策略网络及值网络；
2)无人机控制策略在环境中的采样；
3)采用GAE方法，根据样本估计优势函数；
4)在优势函数上叠加防止无人机操控策略抖动的规范化项；
5)更新无人机控制策略网络与值网络；
6)重复步骤2到步骤5，直至收敛，从而完成无人机控制策略的强化学习。
进一步的，所述初始化无人机控制策略网络及值网络的过程包括：
初始化行为者-评论家强化学习架构中的策略网络Policy-Net和值网络Value-Net，其参数空间分别为θ和
Figure BDA0003704130230000022
其中策略网络的输入为当前的状态与为正在执行的动作编码后的拼接，输出为下一时间步长的动作a选择的概率分布p(a)；值网络输入为当前的状态s，下一时间步长的动作a，输出该状态下的状态行为值函数q，记为：p(a)＝fθ(s),q＝fφ(s,a)。
进一步的，所述无人机控制策略在环境中的采样的过程包括：
基于当前控制策略网络对环境进行交互并采样出若干条飞行轨迹，并于每一个时间步i记录状态s、上一步动作a-1、当前执行动作a、奖励值r与下一时间步的状态s'，生成的飞行轨迹样本按形式写入样本池：Sample＜i＞＝＜s,a-1,a,s',r＞。
进一步的，所述采用GAE方法，根据样本估计优势函数的过程包括：
不断重复采样过程，并在收集一定量样本后进行训练，其中，值网络的训练方法为：
q＝fφ(s,a),q'＝fφ(s',a')
φ＝argminφ∑(r+γq'-q)2
无人机控制策略网络采用基于近端优化策略的训练方法，采用GAE方法计算优势函数At：
Figure BDA0003704130230000021
δt＝rt+γqφ(st+1,at+1)-qφ(st,at)。
进一步的，所述在优势函数上叠加防止无人机操控策略抖动的规范化项的过程包括：
规范化项regt用于防止无效的动作切换，计算方式为：
Figure BDA0003704130230000031
优势函数与规范化项的和指导策略为：
θ＝argmaxθ((At+α·regt)log(p(at|st))
式中α为控制该规范化项影响程度的超参数。
进一步的，所述更新无人机飞行控制策略网络与值网络的过程包括：
在引入近端策略优化中的重要性采样后，记At'＝At+α·regt：
Figure BDA0003704130230000032
本申请提供的方法基于行为者-评论家强化学习方法架构，在此基础上将当前状态下、当前执行动作情况下切换动作所带来的收益附加值作为评价动作切换的规范化项，用以抑制不必要的动作切换。使用该方法可以实现不改变原有最优策略情况下，有效降低强化学习方法生成策略的抖动，使强化学习生成的策略更容易应用于真实环境中。
附图说明
为了更清楚地说明本申请提供的技术方案，下面将对附图作简单地介绍。显而易见地，下面描述的附图仅仅是本申请的一些实施例。
图1为本申请的防止策略抖动的无人机控制策略强化学习生成方法示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。
首先，在给定离散动作空间中定义策略抖动。由于强化学习的目标函数为获取飞机轨迹τ，使其累计奖励回报R(τ)最大，定义符合公式(1)的动作切换为一次动作抖动：
at＝ai|ai≠at-1,aj＝at-1,R(τi)≤R(τj)
式中，a为无人机操纵中的动作指令，R(τ)为无人机操纵轨迹的累计回报值，其可以根据无人机完成的具体任务进行设置。
上述公式的含义为，在选择t时刻的动作at时，可以选择与上一时间步长的动作at-1保持一致(记为aj)，也可以选择执行另一动作(记为ai)。如果切换动作所带来的累计回报没有增长，即R(τi)≤R(τj)(执行ai时对应轨迹τi，执行aj时对应轨迹τj)，那么在此时切换动作对于获取更多累计奖励回报是没有贡献的，这次的动作切换是一次抖动，此时保持当前所执行动作不影响之前所获得的累计奖励。基于以上分析，使用状态行为值函数q(s,a)评价当前状态切换动作的贡献值，即动作抖动的度量方法由(1)变更为如下：
at＝ai|(ai≠at-1,aj＝at-1,q(si,ai)≤q(si,aj))
由于强化学习中的状态行为值函数通常由神经网络拟合，其输出通常带有一定误差值，为了增强该防止抖动算法的实际可操作性，将动作抖动判断条件中改为如下：
at＝ai|(ai≠at-1,aj＝at-1,|q(si,ai)-q(si,aj)|＜η)
改动后的含义为，在当前状态下改变动作(执行ai≠at-1)所带来的后续奖励值变化不大(小于阈值η)那么这次动作切换被视作一次动作抖动，抖动动作的集合记为O。无人机策略抖动定义为动作抖动的平均程度，至此已经完成了策略抖动的数学定义。
如图1所示，本申请基于策略抖动的定义，提出了一种防止此类策略抖动的无人机控制策略强化学习生成方法，具体包括：
1)初始化无人机控制策略网络及值网络
初始化行为者-评论家强化学习架构中的策略网络Policy-Net和值网络Value-Net，其参数空间分别为θ和
Figure BDA0003704130230000053
其中策略网络的输入为当前的状态与为正在执行的动作编码后的拼接，输出为下一时间步长的动作a选择的概率分布p(a)；值网络输入为当前的状态s，下一时间步长的动作a，输出该状态下的状态行为值函数q，记为：p(a)＝fθ(s),q＝fφ(s,a)。
2)无人机控制策略在环境中的采样
基于当前控制策略网络对环境进行交互并采样出若干条飞行轨迹，并于每一个时间步i记录状态s、上一步动作a-1、当前执行动作a、奖励值r与下一时间步的状态s'，生成的飞行轨迹样本按形式写入样本池：
Sample＜i＞＝＜s,a-1,a,s',r＞。
3)采用GAE(Generalized Advantage Estimator)方法，根据样本估计优势函数；
不断重复采样过程，并在收集一定量样本后进行训练，其中，值网络的训练方法为：
q＝fφ(s,a),q'＝fφ(s',a')
φ＝argminφ∑(r+γq'-q)2
策略网络采用基于近端优化策略的训练方法(Proximal Policy Optimization，PPO)：
采用GAE方法计算优势函数At：
δt＝rt+γqφ(st+1,at+1)-qφ(st,at)
Figure BDA0003704130230000051
4)在优势函数上叠加防止无人机操控策略抖动的规范化项；
规范化项regt用于防止无效的动作抖动，计算方式为：
Figure BDA0003704130230000052
使用优势函数与规范化项的和指导无人机控制策略网络参数更新：
θ＝argmaxθ((At+α·regt)log(p(at|st))
5)更新无人机飞行控制策略网络与值网络
在引入近端策略优化中的重要性采样后，记A't＝At+α·regt：
Figure BDA0003704130230000061
6)重复步骤2到步骤5，直至收敛，从而完成无人机控制策略的强化学习。
本申请提供的方法基于行为者-评论家强化学习方法架构，在此基础上将当前状态下、当前执行动作情况下切换动作所带来的收益附加值作为评价动作切换的规范化项，用以抑制不必要的动作切换。使用该方法可以实现不改变原有最优策略情况下，有效降低强化学习方法生成策略的抖动，使强化学习生成的策略更容易应用于真实环境中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种防止策略抖动的无人机控制策略强化学习生成方法，其特征在于，包括：
1)初始化无人机控制策略网络及值网络；
2)无人机控制策略与环境交互，获得飞行轨迹样本；
3)采用GAE方法，根据样本估计优势函数[1]；
4)在优势函数上叠加防止无人机操控策略抖动的规范化项；
5)更新无人机控制策略网络与值网络；
6)重复步骤2到步骤5，直至收敛，从而完成无人机控制策略的强化学习。
2.如权利要求1所述的防止策略抖动的无人机控制策略强化学习生成方法，其特征在于，所述初始化无人机控制策略网络及值网络的过程包括：
初始化行为者-评论家强化学习架构中的策略网络Policy-Net和值网络Value-Net，其参数空间分别为θ和
Figure FDA0003704130220000011
其中策略网络的输入为当前的状态与正在执行的动作编码后的拼接，输出为下一时间步长的动作a选择的概率分布p(a)；值网络输入为当前的状态s，下一时间步长的动作a，输出该状态下的状态行为值函数q，记为：p(a)＝fθ(s),q＝fφ(s,a)。
3.如权利要求2所述的防止策略抖动的无人机控制策略强化学习生成方法，其特征在于，所述无人机控制策略在环境中的采样的过程包括：
基于当前无人机控制策略网络对环境进行交互并采样出若干条飞行轨迹，并于每一个时间步i记录状态s、上一步动作a-1、当前执行动作a、奖励值r与下一时间步的状态s'，生成的飞行轨迹样本按形式写入样本池：Sample＜i＞＝＜s,a-1,a,s',r＞。
4.如权利要求3所述的防止策略抖动的无人机控制策略强化学习生成方法，其特征在于，所述采用GAE方法，根据样本估计优势函数的过程包括：
不断重复无人机控制策略采样过程，并在收集预定量样本后进行训练，其中，值网络的训练方法为：
q＝fφ(s,a),q'＝fφ(s',a')
φ＝arg minφ∑(r+γq'-q)2
策略网络采用基于近端优化策略[2]的训练方法，采用GAE方法计算优势函数At：
Figure FDA0003704130220000021
δt＝rt+γqφ(st+1,at+1)-qφ(st,at)。
5.如权利要求4所述的防止策略抖动的无人机控制策略强化学习生成方法，其特征在于，所述在优势函数上叠加防止无人机控制策略抖动的规范化项的过程包括：
规范化项regt用于防止无效的动作抖动，计算方式为：
Figure FDA0003704130220000022
优势函数与规范化项的和指导策略为：
θ＝arg maxθ((At+α·regt)log(p(at|st))
式中α为控制该规范化项影响程度的超参数。
6.如权利要求5所述的防止策略抖动的无人机控制策略强化学习生成方法，其特征在于，所述更新无人机飞行控制策略网络与值网络的过程包括：
在引入近端策略优化中的重要性采样后，记A′t＝At+α·regt：
Figure FDA0003704130220000023
CN202210701895.6A 2022-06-20 2022-06-20 一种防止策略抖动的无人机控制策略强化学习生成方法 Active CN115061371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210701895.6A CN115061371B (zh) 2022-06-20 2022-06-20 一种防止策略抖动的无人机控制策略强化学习生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210701895.6A CN115061371B (zh) 2022-06-20 2022-06-20 一种防止策略抖动的无人机控制策略强化学习生成方法

Publications (2)

Publication Number Publication Date
CN115061371A true CN115061371A (zh) 2022-09-16
CN115061371B CN115061371B (zh) 2023-08-04

Family

ID=83203223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210701895.6A Active CN115061371B (zh) 2022-06-20 2022-06-20 一种防止策略抖动的无人机控制策略强化学习生成方法

Country Status (1)

Country Link
CN (1) CN115061371B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
CN112363519A (zh) * 2020-10-20 2021-02-12 天津大学 四旋翼无人机强化学习非线性姿态控制方法
CN113276852A (zh) * 2021-04-08 2021-08-20 南京大学 一种基于最大熵强化学习框架的无人驾驶车道保持方法
CN113467248A (zh) * 2021-07-22 2021-10-01 南京大学 基于强化学习的无人机传感器故障时容错控制方法
CN113721655A (zh) * 2021-08-26 2021-11-30 南京大学 一种控制周期自适应的强化学习无人机稳定飞行控制方法
US20220105624A1 (en) * 2019-01-23 2022-04-07 Google Llc Efficient adaption of robot control policy for new task using meta-learning based on meta-imitation learning and meta-reinforcement learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220105624A1 (en) * 2019-01-23 2022-04-07 Google Llc Efficient adaption of robot control policy for new task using meta-learning based on meta-imitation learning and meta-reinforcement learning
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
CN112363519A (zh) * 2020-10-20 2021-02-12 天津大学 四旋翼无人机强化学习非线性姿态控制方法
CN113276852A (zh) * 2021-04-08 2021-08-20 南京大学 一种基于最大熵强化学习框架的无人驾驶车道保持方法
CN113467248A (zh) * 2021-07-22 2021-10-01 南京大学 基于强化学习的无人机传感器故障时容错控制方法
CN113721655A (zh) * 2021-08-26 2021-11-30 南京大学 一种控制周期自适应的强化学习无人机稳定飞行控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫达帅: "《西安电子科技大学硕士学位论文》", 2 June 2020 *

Also Published As

Publication number Publication date
CN115061371B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
Dimeas et al. Reinforcement learning of variable admittance control for human-robot co-manipulation
Harutyunyan et al. Expressing arbitrary reward functions as potential-based advice
Zheng et al. Reinforcement learning control for underactuated surface vessel with output error constraints and uncertainties
CN112937564A (zh) 换道决策模型生成方法和无人车换道决策方法及装置
Saeidi et al. Incorporating trust and self-confidence analysis in the guidance and control of (semi) autonomous mobile robotic systems
Zhang et al. Finite-time trajectory tracking control for under-actuated unmanned surface vessels with saturation constraint
Leibfried et al. An information-theoretic optimality principle for deep reinforcement learning
Bianchi et al. Heuristically accelerated reinforcement learning: Theoretical and experimental results
Herreros et al. A forward model at Purkinje cell synapses facilitates cerebellar anticipatory control
CN113625753B (zh) 一种由专家规则引导神经网络学习无人机机动飞行的方法
CN116384480A (zh) 一种深度强化学习决策解释系统
Li et al. Model‐free incremental adaptive dynamic programming based approximate robust optimal regulation
Abdufattokhov et al. Learning convex terminal costs for complexity reduction in MPC
CN115061371A (zh) 一种防止策略抖动的无人机控制策略强化学习生成方法
Narendra et al. Adaptive control using collective information obtained from multiple models
Liu et al. Her-pdqn: A reinforcement learning approach for uav navigation with hybrid action spaces and sparse rewards
CN116400726A (zh) 一种基于强化学习的旋翼无人机逃逸方法及系统
CN113671834B (zh) 一种机器人柔性行为决策方法及设备
CN115981155A (zh) 一种面向空地异构多机器人的安全轨迹协同规划方法
Deng et al. Event-triggered optimal trajectory tracking control of underactuated ships based on goal representation heuristic dynamic programming
CN113240118B (zh) 优势估计方法、装置、电子设备和存储介质
CN113052312B (zh) 深度强化学习模型的训练方法、装置、介质及电子设备
Sun et al. Emulation Learning for Neuromimetic Systems
Markolf et al. Learning-based Optimal Control of Constrained Switched Linear Systems using Neural Networks.
Liu et al. Model-free and model-based time-optimal control of a badminton robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant