CN103488171A - 一种基于情景构建的无人机自主鲁棒决策方法 - Google Patents

Abstract

本发明公开了一种基于情景构建的无人机自主鲁棒决策方法，其特征包括：1、定义战场中红方无人机的决策变量和蓝方阵地的决策变量；2、情景构建；3、利用影响图建模方法构建影响图；4、计算红方无人机决策候选行动方案集中每一种决策候选行动方案在情景集中的每一个情景下的期望效用值；5、红方无人机根据期望效用值进行鲁棒决策。本发明能有效解决无人机在复杂战场环境下的自主决策能力弱的问题，使得无人机在各种情景中都能进行自主决策，从而提高无人机的自主决策效率和决策效果，实现最优的行动方案选择，并保证决策方案的可行性、有效性和安全性。

Description

一种基于情景构建的无人机自主鲁棒决策方法

技术领域

本发明涉及一种复杂战场环境下的基于情景构建的无人机自主鲁棒决策方法，属于计算机仿真与方法优化技术领域。

背景技术

无人机在现代战争中扮演着越来越重要的角色。在无人机的应用过程中，越来越强调其智能性、自主性，即在面临多变复杂外界条件时，要求无人机能够自主决策，决定自身下一步的行动方案。如无人机在执行情报搜索、目标追踪、目标侦查和精确打击等任务时，需要自主规划航路、自主采取机动动作、自主决定攻击方案等。这些决策行为通常是在复杂战场环境中做出的，存在巨大的风险性。因此，无人机在面临复杂战场环境时，自主决策应保证行动方案是可行的且在不同情景中能够有效执行，同时还能够最大幅度的降低风险，即无人机自主决策的鲁棒性。

无人机自主决策的研究目前主要集中于路径规划、任务分配和飞行控制领域。通常是根据决策任务提出路径规划算法、任务协同策略和资源分配优化算法，研究过程中很少考虑无人机自主决策时所处的复杂战场环境。然而，由于复杂战场环境具有多变性、动态性、高风险性等特点，无人机难以在有限的战斗时间内保证有效的自主决策。现存无人机自主决策的研究内容很少针对复杂战场环境下的无人机自主决策方法进行研究，往往只考虑某种特定环境下的无人机自主决策，导致无人机在面临复杂多变战场环境时，无法快速准确进行决策，且很难有效执行决策的同时最大幅度的降低决策风险，即保证决策的鲁棒性。所以，无人机在复杂战场环境下自主决策方法的研究显得尤为重要。目前还未发现复杂战场环境下无人机自主鲁棒决策方法的相关研究。

发明内容

本发明为了克服现有技术存在的不足之处，提出一种基于情景构建的无人机自主鲁棒决策方法，能有效解决无人机在复杂战场环境下的自主决策能力弱的问题，使得无人机在各种情景中都能进行自主决策，从而提高无人机的自主决策效率和决策效果，实现最优的行动方案选择，并保证决策方案的可行性、有效性和安全性。

本发明为解决以上技术问题采用如下方案：

本发明一种基于情景构建的无人机自主鲁棒决策方法，是应用于红方无人机攻打位于蓝方阵地中的蓝方高价值目标的复杂战场环境中，其特点是，所述无人机自主鲁棒决策方法按如下步骤进行：

步骤1：定义复杂战场环境中红方无人机的决策变量和蓝方阵地的决策变量

令红方无人机携带电子支援措施状态Red_ESMState={开，关}、红方无人机携带SAR雷达状态Red_SARState={开，关}、红方无人机机载导弹类型Red_Missile={A，B}、红方无人机飞行高度Red_Height={中，低}、红方无人机发现蓝方高价值目标位置Red_GetLocation={是，否}、红方无人机被击中Red_Destroyed={是，否}、红方无人机攻击效果Red_Result={蓝方高价值目标完全损毁，蓝方高价值目标高度损毁，蓝方高价值目标中度损毁，蓝方高价值目标未损毁}、红方无人机决策候选行动方案集Red_Action＝{D₁,D₂,...,D_i,...,D_n},n∈N，N为自然数，所述红方无人机决策候选行动方案集Red_Action中，D_i为第i种红方无人机决策候选行动方案，i∈n；红方无人机攻打蓝方阵地的效用={Utility}；

令蓝方雷达状态Blue_RadarState={开，关}、蓝方电子干扰设备状态Blue_ECMState={开，关}、蓝方高炮Blue_HasAA={是，否}、蓝方导弹类型Blue_Missile={中程导弹，近程导弹，无导弹}、蓝方发现红方无人机位置Blue_GetLocation={是，否}；

令红方无人机与蓝方高价值目标之间的距离Distance={远，中，近}；

步骤2：情景构建

利用所述红方无人机携带电子支援措施状态Red_ESMState、所述红方无人机携带SAR雷达状态Red_SARState、所述红方无人机机载导弹类型Red_Missile、所述红方无人机飞行高度Red_Height、所述蓝方雷达状态Blue_RadarState、所述蓝方电子干扰设备状态Blue_ECMState、所述蓝方高炮Blue_HasAA、所述蓝方导弹类型Blue_Missile以及红方无人机与蓝方高价值目标之间的距离Distance构建情景集S＝{S₁,S₂,...,S_j,...,S_m},m∈N，所述情景集S中第j个情景表示为：

S_j=(Red_ESMState(j),Red_SARState(j),Red_Missile(j),Red_Height(j),Blue_RadarState(j),Blue_ECMState(j),Blue_HasAA(j),Blue_Missile(j),Distance(j))，j∈m；

步骤3：根据所述红方无人机的决策变量和蓝方阵地的决策变量利用影响图建模方法按如下步骤构建影响图：

步骤3.1：利用所述红方无人机的决策变量和蓝方阵地的决策变量构建有向无环图G：

G＝(V,E)              (1)

式(1)中，V代表所述有向无环图中节点的集合，E代表所述有向无环图中有向边的集合，并有：

V＝V_C∪V_D∪V_U               (2)

式(2)中V_C代表所述有向无环图中所有的随机节点，V_D代表所述有向无环图中所有的决策节点，V_U代表所述有向无环图中所有的效用节点，并有：

V_C=（Red_ESMState，Red_SARState，Red_Missile，Red_Height，Blue_RadarState，Blue_ECMState，Blue_HasAA，Blue_Missile，Distance，Red_GetLocation，Blue_GetLocation，Red_Result，Red_Destroyed）；

V_D=（Red_Action）；

V_U=（Utility）；

所述有向无环图中有向边的集合E={(Red_Missile，Red_Action)，(Red_Height，Red_Action)，(Red_ESMState，Red_Action)，(Red_SARState，Red_Action)，(Distance，Red_Action)，(Blue_ECMState，Red_GetLocation)，(Distance，Red_GetLocation)，(Red_ESMState，Red_GetLocation)，(Red_SARState，Red_GetLocation)，(Red_GetLocation，Red_Result)，(Distance，Red_Result)，(Red_Action，Red_Result)，(Red_Height，Red_Result)，(Distance，Blue_GetLocation)，(Red_SARState，Blue_GetLocation)，(Blue_RadarState，Blue_GetLocation)，(Red_Height，Red_Destroyed)，(Blue_GetLocation，Red_Destroyed)，(Blue_Missile，Red_Destroyed)，(Distance，Red_Destroyed)，(Red_Action，Red_Destroyed)，(Blue_HasAA，Red_Destroyed)，(Red_Result，Utility)，(Red_Destroyed，Utility)}；

由所述所有的随机节点V_C、所有的决策节点V_D和所有的效用节点V_U以及有向边的集合E构建出所述有向无环图；

步骤3.2：利用所述红方无人机的决策变量和蓝方阵地的决策变量构建变量集合X；

X＝X_C∪X_D               (3)

式(3)中，X_C是随机变量集合，并有：

X_C={Red_ESMState，Red_SARState，Red_Missile，Red_Height，Blue_RadarState，Blue_ECMState，Blue_HasAA，Blue_Missile，Distance，Red_GetLocation，Blue_GetLocation，Red_Result，Red_Destroyed}；

根据所述红方无人机的决策变量和蓝方阵地的决策变量获得所述随机变量集合X_C中每个随机变量的状态空间Ω为：

Ω_{Red_ESMState}={开，关}，Ω_{Red_SARState}={开，关}，Ω_{Red_Missile}={A，B}、Ω_{Red_Height}={中，低}，Ω_{Blue_RadarState}={开，关}，Ω_{Blue_ECMState}={开，关}，Ω_{Blue_HasAA}={是，否}，Ω_{Blue_Missile}={中程导弹，近程导弹，无导弹}，Ω_Distance={远，中，近}，Ω_{Red_GetLocation}={是，否}，Ω_{Blue_GetLocation}={是，否}，Ω_{Red_Resul}t={蓝方高价值目标完全损毁，蓝方高价值目标高度损毁，蓝方高价值目标中度损毁，蓝方高价值目标未损毁}，Ω_{Red_Destroyed}={是，否}；

式(3)中，X_D是决策变量集合，并有：

X_D={Red_Action}；

根据所述红方无人机决策候选行动方案集Red_Action获得决策变量集合X_D中决策变量Red_Action的备选方案集为{D₁，D₂，……，D_n}，n∈N；

步骤3.3：利用所述红方无人机的决策变量和蓝方阵地的决策变量构建随机变量概率分布的集合；

所述随机变量概率分布的集合为：

Pr={P(Red_ESMState),P(Red_SARState)，P(Red_Missile),P(Red_Height)，P(Blue_RadarState),P(Blue_ECMState),P(Blue_HasAA),P(Blue_Missile)，P(Red_GetLocationPar(Red_GetLocation)),P(Blue_GetLocationPar(Blue_GetLocation))，P(Red_ResultPar(Red_Result)),P(Red_DestroyedPar(Red_Destroyed)),P(Distance)}；

                                (4)

式(4)中，Par(Red_GetLocation)为所述随机变量集合X_C中随机变量Red_GetLocation的父节点集合，并有Par(Red_GetLocation)={Red_ESMState，Red_SARState，Blue_ECMState，Distance}；

Par(Blue_GetLocation)为所述随机变量Blue_GetLocation的父节点集合，并有Par(Blue_GetLocation)={Blue_RadarState，Red_SARState，Distance}；

Par(Red_Result)为所述随机变量Red_Result的父节点集合，并有Par(Red_Result)={Red_Height，Red_Action，Distance，Red_GetLocation}；

Par(Red_Destoryed)为所述随机变量Red_Destoryed的父节点集合，并有Par(Red_Destoryed)={Red_Height，Blue_HasAA，Blue_Missile，Distance，Red_Action，Blue_GetLocation}；

步骤3.4：利用所述红方无人机的决策变量构建效用函数的集合；

令所述效用函数的集合为U：

U={U(Red_Result,Red_Destroyed)}                     (5)

式(5)中，U(Red_Result,Red_Destroyed)为所述所有的效用节点V_U中效用节点Utility的效用函数，并有：

式(6)中，U₁、U₂、U₃、U₄、U₅、U₆、U₇和U₈分别表示在不同条件下效用节点Utility的效用函数值；

利用所述有向无环图、变量集合、随机变量概率分布的集合和效用函数的集合构建出所述影响图；

步骤4：根据所述影响图利用式(7)获得红方无人机决策候选行动方案集Red_Action中每一种红方无人机决策候选行动方案在情景集S中的每一个情景下的期望效用值EU(D_i,S_j)：

EU(D_i,S_j)＝ΣU(Red_Result,Red_Destroyed)P(Red_Result,Red_Destroyede)        (7)

式(7)中，e代表证据，D_i表示第i种红方无人机决策候选行动方案，i∈n，S_j表示第j个情景，j∈m；

步骤5：红方无人机根据所述期望效用值EU(D_i,S_j)进行鲁棒决策；

步骤5.1：选择鲁棒决策候选行动方案；

令红方无人机决策候选行动方案集Red_Action中的决策候选行动方案D_f，在情景集S中满足min(EU(D_f,S_j))≥α,(f∈n,j∈m,j＝1,2,...,m)，α为预定的收益阈值，则决策候选行动方案D_f为鲁棒决策候选行动方案并保留D_f；

判断所有的决策候选行动方案，保留所有的鲁棒决策候选行动方案，删除剩余决策候选行动方案；

步骤5.2：识别最优鲁棒行动方案；

利用式(8)获得所述所有的鲁棒决策候选行动方案在每一个情景中的最大期望效用值集EU⁺：

${\mathrm{EU}}^{+}=\left\{{\mathrm{EU}}_j^{+}\right|{\mathrm{EU}}_j^{+}=\max \mathrm{EU}(D_i,S_j),i\∈n,j\∈m\}---\left(8\right)$

式(8)中：

表示第j种情景下所有的鲁棒决策候选行动方案所对应的期望效用值EU(D_i,S_j)中的最大期望效用值；

利用式(9)获得所述鲁棒决策候选行动方案在每一个情景中的最小期望效用值集EU^-：

${\mathrm{EU}}^{-}=\left\{{\mathrm{EU}}_j^{-}\right|{\mathrm{EU}}_j^{-}=\min \mathrm{EU}(D_i,S_j),i\∈n,j\∈m\}---\left(9\right)$

式(9)中：

表示第j种情景下所有的鲁棒决策候选行动方案所对应的期望效用值EU(D_i,S_j)中的最小期望效用值；

利用式(10)获得所有的鲁棒决策候选行动方案与所述最大期望效用值集EU⁺的距离

$d_i^{+}=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(\mathrm{EU}(D_i,S_j)-{\mathrm{EU}}_j^{+})}^2}---\left(10\right)$

利用式(11)获得所有的鲁棒决策候选行动方案与所述最小期望效用值集EU-的距离

$d_i^{-}=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(\mathrm{EU}(D_i,S_j)-{\mathrm{EU}}_j^{-})}^2}---\left(11\right)$

利用式(12)获得所有的鲁棒决策候选行动方案的贴近度c_i：

$c_i=\frac{d_i^{+}}{d_i^{+}+d_i^{-}}---\left(12\right)$

选择所述贴近度c_i最大的鲁棒决策候选行动方案为最优鲁棒行动方案。

与已有技术相比，本发明有益效果体现在：

1、本发明提出了一套新的解决复杂战场环境下无人机自主鲁棒决策的方法，将复杂战场环境中的各种影响因素通过决策变量来表征，利用决策变量进行情景构建，再结合影响图建模方法获得影响图，然后利用影响图得到的期望效用值进行鲁棒决策，从而获得最优鲁棒行动方案；

2、本发明通过情景构建将已有技术中只能在一种特定情景中实现的无人机自主决策改进为在复杂战场环境中各种情景发生时都能够进行有效决策，在复杂战场环境中将不同情景引入无人机自主决策过程中，从而保证无人机自主决策能够适用于各种不同情景，体现了方案的可行性；

3、本发明将自主决策建模过程与影响图建模结合起来，能够简单、直观的描述出各决策变量间关系，利用影响图推理计算出决策候选行动方案的期望效用值，提高了无人机自主决策的准确性，保证决策方案的有效性；

4、本发明在复杂战场环境下引入了鲁棒决策的思想，使得无人机自主决策的行动方案能够在不同情景中有效实施，同时最大幅度降低无人机执行决策过程中的风险，即保证决策的鲁棒性，从而大幅度提高了无人机在复杂战场环境中自主决策的安全性。

附图说明

图1是本发明的决策方法流程图；

图2是无人机决策影响图。

具体实施方式

本发明一种基于情景构建的无人机自主鲁棒决策方法，是应用于红方无人机攻打位于蓝方阵地中的蓝方高价值目标的复杂战场环境中，蓝方阵地是以蓝方高价值目标为中心，周围部署雷达、电子干扰设备、高炮和导弹的蓝方防空阵地，蓝方高价值目标可以是机场或油库或弹药库或桥梁或通讯中心或指挥中心等自身无打击防御能力的目标，如图1所示，一种基于情景构建的无人机自主鲁棒决策方法按照如下步骤进行：

步骤1：定义战场中红方无人机的决策变量和蓝方阵地的决策变量

令红方无人机携带电子支援措施状态Red_ESMState={开，关}、红方无人机携带SAR雷达状态Red_SARState={开，关}、红方无人机机载导弹类型Red_Missile={A，B}、红方无人机飞行高度Red_Height={中，低}、红方无人机发现蓝方高价值目标位置Red_GetLocation={是，否}、红方无人机被击中Red_Destroyed={是，否}、红方无人机攻击效果Red_Result={蓝方高价值目标完全损毁，蓝方高价值目标高度损毁，蓝方高价值目标中度损毁，蓝方高价值目标未损毁}、红方无人机决策候选行动方案集Red_Action＝{D₁,D₂,...,D_i,...,D_n},n∈N，N为自然数，红方无人机决策候选行动方案集Red_Action中，D_i为第i种红方无人机决策候选行动方案，i∈n；具体实施中，n=4，第一种红方无人机决策候选行动方案D₁=攻击蓝方高价值目标，第二种红方无人机决策候选行动方案D₂=攻击蓝方防空阵地，第三种红方无人机决策候选行动方案D₃=规避，第四种红方无人机决策候选行动方案D₄=突防；红方无人机攻打蓝方阵地的效用={Utility}；

令蓝方雷达状态Blue_RadarState={开，关}、蓝方电子干扰设备状态Blue_ECMState={开，关}、蓝方高炮Blue_HasAA={是，否}、蓝方导弹类型Blue_Missile={中程导弹，近程导弹，无导弹}、蓝方发现红方无人机位置Blue_GetLocation={是，否}；

令红方无人机与蓝方高价值目标之间的距离Distance={远，中，近}；

步骤2：情景构建

利用红方无人机携带电子支援措施状态Red_ESMState、红方无人机携带SAR雷达状态Red_SARState、红方无人机机载导弹类型Red_Missile、红方无人机飞行高度Red_Height、蓝方雷达状态Blue_RadarState、蓝方电子干扰设备状态Blue_ECMState、蓝方高炮Blue_HasAA、蓝方导弹类型Blue_Missile以及红方无人机与蓝方高价值目标之间的距离Distance构建情景集S＝{S₁,S₂,...,S_j,...,S_m},m∈N，情景集S中第j个情景表示为：

S_j=(Red_ESMState(j),Red_SARState(j),Red_Missile(j),Red_Height(j),Blue_RadarState(j),Blue_ECMState(j),Blue_HasAA(j),Blue_Missile(j),Distance(j))，j∈m；

本实施例中，构建了12个典型情景如下：

S₁=(开,开,A,中,开,开,是,中程导弹,中)；

S₂=(开,开,A,中,开,开,是,近程导弹,中)；

S₃=(开,开,A,中,开,开,是,无导弹,中)；

S₄=(开,开,A,中,开,关,是,中程导弹,中)；

S₅=(开,开,A,中,开,关,是,近程导弹,中)；

S₆=(开,开,A,中,开,关,是,无导弹,中)；

S₇=(开,开,A,中,开,开,否,中程导弹,中)；

S₈=(开,开,A,中,开,开,否,近程导弹,中)；

S₉=(开,开,A,中,开,开,否,无导弹,中)；

S₁₀=(开,开,A,中,开,关,否,中程导弹,中)；

S₁₁=(开,开,A,中,开,关,否,近程导弹,中)；

S₁₂=(开,开,A,中,开,关,否,无导弹,中)；

步骤3：根据红方无人机的决策变量和蓝方阵地的决策变量利用影响图建模方法构建影响图；

影响图是一种有向无环图模型，一个影响图可被定义为四元组ID＝(G,X,Pr,U)，包括：

1）一个有向无环图G＝(V,E)。V代表图中节点的集合，V＝V_C∪V_D∪V_U。其中V_C代表所有的随机节点，V_D代表所有的决策节点，V_U代表所有的效用节点，E代表图中有向边的集合。

2）一个变量集合X,X＝X_C∪X_D。X_C是随机变量集合，X_C＝{C₁,C₂,...}，随机变量集合X_C中任意一个随机变量C_p(p＝1,2,...)的状态空间

任意一个随机变量C_p对应所有的随机节点V_C中的一个随机节点；X_D是决策变量集合，X_D＝{D₁,D₂,...}，决策变量集合X_D中任意一个决策变量D_q(q＝1,2,...)的备选方案集为{d_q1,d_q2,...}，任意一个决策变量对应所有的决策节点V_D中的一个决策节点。

3）一个概率分布的集合Pr。任意一个随机变量C_p对应一个概率分布P(C_pPar(C_p))，Par(C_p)表示C_p的父节点集合。

4）一个效用函数的集合U。影响图中任意一个效用节点V_p∈V_U(p＝1,2,...)，任意一个效用节点V_p对应一个效用函数

效用节点V_p作为叶子节点存在。

如图2所示。在影响图中，随机节点用圆形表示，决策节点用矩形表示，效用节点用菱形表示。影响图中的有向边具有不同的含义：

指向随机节点或效用节点的有向边称为相关性弧，表达了节点之间的依赖关系，如图2中带箭头的实线所示；

如果两个随机节点没有直接的有向边相连，说明这两个变量是条件独立的；

指向决策节点的有向边称为信息弧，表明了信息的优先级，即在做出决策之前，决策节点的父节点的取值是知道的，如图2中带箭头的虚线所示。

步骤3.1：利用红方无人机的决策变量和蓝方阵地的决策变量构建有向无环图；

有向无环图为：

G＝(V,E)            (1)

式(1)中，V代表有向无环图中节点的集合，E代表有向无环图中有向边的集合，并有：

V＝V_C∪V_D∪V_U              (2)

式(2)中V_C代表有向无环图中所有的随机节点，V_D代表有向无环图中所有的决策节点，V_U代表有向无环图中所有的效用节点，并有：

V_C=（Red_ESMState，Red_SARState，Red_Missile，Red_Height，Blue_RadarState，Blue_ECMState，Blue_HasAA，Blue_Missile，Distance，Red_GetLocation，Blue_GetLocation，Red_Result，Red_Destroyed）；

V_D=（Red_Action）；

V_C=（Utility）；

有向无环图中有向边的集合E={(Red_Missile，Red_Action)，(Red_Height，Red_Action)，(Red_ESMState，Red_Action)，(Red_SARState，Red_Action)，(Distance，Red_Action)，(Blue_ECMState，Red_GetLocation)，(Distance，Red_GetLocation)，(Red_ESMState，Red_GetLocation)，(Red_SARState，Red_GetLocation)，(Red_GetLocation，Red_Result)，(Distance，Red_Result)，(Red_Action，Red_Result)，(Red_Height，Red_Result)，(Distance，Blue_GetLocation)，(Red_SARState，Blue_GetLocation)，(Blue_RadarState，Blue_GetLocation)，(Red_Height，Red_Destroyed)，(Blue_GetLocation，Red_Destroyed)，(Blue_Missile，Red_Destroyed)，(Distance，Red_Destroyed)，(Red_Action，Red_Destroyed)，(Blue_HasAA，Red_Destroyed)，(Red_Result，Utility)，(Red_Destroyed，Utility)}；

由所有的随机节点V_C、所有的决策节点V_D和所有的效用节点V_U以及有向边的集合E构建出一个有向无环图；

步骤3.2：利用红方无人机的决策变量和蓝方阵地的决策变量构建变量集合；

变量集合为：

X＝X_C∪X_D               (3)

式(3)中，X_C是随机变量集合，有：

X_C={Red_ESMState，Red_SARState，Red_Missile，Red_Height，Blue_RadarState，Blue_ECMState，Blue_HasAA，Blue_Missile，Distance，Red_GetLocation，Blue_GetLocation，Red_Result，Red_Destroyed}；

根据红方无人机的决策变量和蓝方阵地的决策变量获得随机变量的状态空间Ω为：

Ω_{Red_ESMState}={开，关}，Ω_{Red_SARState}={开，关}，Ω_{Red_Missile}={A，B}、Ω_{Red_Height}={中，低}，Ω_{Blue_RadarState}={开，关}，Ω_{Blue_ECMState}={开，关}，Ω_{Blue_HasAA}={是，否}，Ω_{Blue_Missile}={中程导弹，近程导弹，无导弹}，Ω_Distance={远，中，近}，Ω_{Red_GetLocation}={是，否}，Ω_{Blue_GetLocation}={是，否}，Ω_{Red_Result}={蓝方高价值目标完全损毁，蓝方高价值目标高度损毁，蓝方高价值目标中度损毁，蓝方高价值目标未损毁}，Ω_{Red_Destroyed}={是，否}；

随机变量集合X_C中一个随机变量对应所有的随机节点V_C中一个随机节点；

式(3)中，X_D是决策变量集合，有：

X_D={Red_Action}；

根据红方无人机决策候选行动方案集Red_Action获得决策变量集合X_D中决策变量Red_Action的备选方案集为{D₁，D₂，……，D_n}，n∈N；红方无人机决策候选行动方案集Red_Action为决策变量集合X_D中的一个元素，该元素为决策变量Red_Action，其本身也是一个集合。

决策变量集合X_D中一个决策变量对应所有的决策节点V_D中的一个决策节点；

步骤3.3：利用红方无人机的决策变量和蓝方阵地的决策变量构建随机变量概率分布的集合；

随机变量概率分布的集合为：

Pr={P(Red_ESMState),P(Red_SARState)，P(Red_Missile),P(Red_Height)，P(Blue_RadarState),P(Blue_ECMState),P(Blue_HasAA),P(Blue_Missile)，P(Red_GetLocationPar(Red_GetLocation)),P(Blue_GetLocationPar(Blue_GetLocation))，P(Red_ResultPar(Red_Result)),P(Red_DestroyedPar(Red_Destroyed)),P(Distance)}；

                       (4)

式(4)中，Par(Red_GetLocation)为随机变量集合X_C中随机变量Red_GetLocation的父节点集合，并有Par(Red_GetLocation)={Red_ESMState，Red_SARState，Blue_ECMState，Distance}；

Par(Blue_GetLocation)为随机变量Blue_GetLocation的父节点集合，并有Par(Blue_GetLocation)={Blue_RadarState，Red_SARState，Distance}；

Par(Red_Result)为随机变量Red_Result的父节点集合，并有Par(Red_Result)={Red_Height，Red_Action，Distance，Red_GetLocation}；

Par(Red_Destoryed)为随机变量Red_Destoryed的父节点集合，并有Par(Red_Destoryed)={Red_Height，Blue_HasAA，Blue_Missile，Distance，Red_Action，Blue_GetLocation}；

本实施例中，随机变量概率分布的集合中的每个随机变量的概率分布设定如下：

$P(\mathrm{Red}\_\mathrm{Missile})=\left\{\begin{array}{c}0.5,\mathrm{Red}\_\mathrm{Missile}=A\\ 0.5,\mathrm{Red}\_\mathrm{Missile}=B\end{array}\right.,$

P(Blue_GetLocation|Par(Blue_GetLocation))的概率分布共有24个值分别如表1所示：

表1  P(Blue_GetLocation|Par(Blue_GetLocation))概率分布

P(Red_Result|Par(Red_Result))、P(Red_GetLocation|Par(Red_GetLocation))、P(Red_Destroyed|Par(Red_Destroyed))分别按照表1的形式进行设定也可以获得相关的图表，所获得的图表中，P(Red_Result|Par(Red_Result))共有48个概率分布值，P(Red_GetLocation|Par(Red_GetLocation))共有96个概率分布值，P(Red_Destroyed|Par(Red_Destroyed))共有576个概率分布值；

步骤3.4：利用红方无人机的决策变量构建效用函数的集合；

令效用函数的集合为U：

U={U(Red_Result,Red_Destroyed)}             (5)

式(5)中，U(Red_Result,Red_Destroyed)为所有的效用节点V_U中效用节点Utility的效用函数，并有：

式(6)中，U₁、U₂、U₃、U₄、U₅、U₆、U₇和U₈分别表示在不同条件下效用节点Utility的效用函数值，本实施例中，效用函数值U₁=56、U₂=100、U₃=42、U₄=80、U₅=0、U₆=48、U₇=0和U₈=48；

利用有向无环图、变量集合、随机变量概率分布的集合和效用函数的集合构建出如图2所示的影响图；

步骤4：根据影响图利用式(7)获得红方无人机决策候选行动方案集Red_Action中每一种红方无人机决策候选行动方案在情景集S中的每一个情景下的期望效用值EU(D_i,S_j)：

EU(D_i,S_j)＝ΣU(Red_Result,Red_Destroyed)P(Red_Result,Red_Destroyede)               (7)

式(7)中，e代表证据，i表示第i种红方无人机决策候选行动方案，i∈n，j表示第j个情景，j∈m；

本实施例中，利用式(7)获得的红方无人机的四种决策候选行动方案的期望效用值如表2所示：

表2  红方无人机的四种决策候选行动方案的期望效用值

	D1	D2	D3	D4
					s1	28.1	28.1	38.4	21.6
s2	27.2	25.8	36.5	19.2
					s3	56.1	52.5	43.2	28.8
s4	31.4	32.1	45.6	24
					s5	30	28.9	40.8	23.5
s6	65.4	59.2	48	48
					s7	45.5	41.7	38.4	21.6
s8	44.6	40	36.5	19.2
					s9	72.7	64.2	43.2	28.8
s10	48.7	45.4	45.6	24
					s11	47.3	42.5	40.8	23.5
s12	81.8	70.4	48	48

步骤5：红方无人机根据期望效用值EU(D_i,S_j)进行鲁棒决策；

本实施例中，为了提高决策效率，可以在进行选择鲁棒决策候选行动方案之前进行劣决策候选行动方案的删除

步骤5.1：删除劣决策候选行动方案；

比较红方无人机决策候选行动方案集Red_Action中的红方无人机决策候选行动方案D_l与D_k在情景集S中的期望效用值，若行动方案D_l与D_k在m个情景中所对应的每个期望效用值满足：行动方案D_l的每个期望效用值都小于或等于行动方案D_k的每个期望效用值，且行动方案D_l的全部期望效用值不能完全等于行动方案D_k的全部期望效用值，即至少有一个行动方案D_l的期望效用值是小于行动方案D_k的期望效用值。则决策候选行动方案D_l为劣决策候选行动方案并删除D_l；

由表5可以看出，本实例中没有劣决策候选行动方案，故无需删除；

步骤5.2：选择鲁棒决策候选行动方案；

令红方无人机决策候选行动方案集Red_Action中的决策候选行动方案D_f，在情景集S中满足min(EU(D_f,S_j))≥α,(f∈n,j∈m,j＝1,2,...,m)，α为预定的收益阈值，则决策候选行动方案D_f为鲁棒决策候选行动方案并保留D_f；也就是说，决策候选行动方案D_f在m个情景中所对应的全部期望效用值中的最小期望效用值应大于等于预定的收益阈值α；

判断所有的决策候选行动方案，保留所有的鲁棒决策候选行动方案，删除剩余决策候选行动方案；

本实施例中，设置预定的收益阈值α=20，由表5得：

min(EU(D₁,S_j))＝EU(D₁,S₂)＝27.2＞20，故D₁=攻击蓝方高价值目标为鲁棒决策候选行动方案，保留D₁方案；

min(EU(D₂,S_j))＝EU(D₂,S₂)＝25.8＞20，故D₂=攻击蓝方防空阵地为鲁棒决策候选行动方案，保留D₂方案；

min(EU(D₃,S_j))＝EU(D₃,S₂)＝EU(D₃,S₈)＝36.5＞20，故D₃=规避为鲁棒决策候选行动方案，保留D₃方案；

min(EU(D₄,S_j))＝EU(D₄,S₂)＝EU(D₄,S₈)＝19.2＜20，故D₄=突防不满足鲁棒决策候选行动方案，删除D₄方案；

所以，全部鲁棒决策候选行动方案为：D₁=攻击蓝方高价值目标；D₂=攻击蓝方防空阵地；D₃=规避；

步骤5.3：识别最优鲁棒行动方案；

利用式(8)获得所有的鲁棒决策候选行动方案在每一个情景中的最大期望效用值集EU⁺：

${\mathrm{EU}}^{+}=\left\{{\mathrm{EU}}_j^{+}\right|{\mathrm{EU}}_j^{+}=\max \mathrm{EU}(D_i,S_j),i\∈n,j\∈m\}---\left(8\right)$

式(8)中：

表示第j种情景下所有的鲁棒决策候选行动方案所对应的期望效用值EU(D_i,S_j)中的最大期望效用值；

利用式(9)获得鲁棒决策候选行动方案在每一个情景中的最小期望效用值集EU^-：

${\mathrm{EU}}^{-}=\left\{{\mathrm{EU}}_j^{-}\right|{\mathrm{EU}}_j^{-}=\min \mathrm{EU}(D_i,S_j),i\∈n,j\∈m\}---\left(9\right)$

式(9)中：

表示第j种情景下所有的鲁棒决策候选行动方案所对应的期望效用值EU(D_i,S_j)中的最小期望效用值；

本实施例中，利用式(8)、式(9)和表2中D₁、D₂、D₃三种鲁棒决策候选行动方案的期望效用值获得鲁棒决策候选行动方案在每一个情景中的最大期望效用值集EU⁺和最小期望效用值集EU^-，如表3所示：

表3  最大、最小期望效用值

	s1	s2	s3	s4	s5	s6	s7	s8	s9	s10	s11	s12
													EU+	38.4	36.5	56.1	45.6	40.8	65.4	45.5	44.6	72.7	48.7	47.3	81.8
EU-	28.1	25.8	43.2	31.4	28.9	48	38.4	36.5	43.2	45.4	40.8	48

利用式(10)获得鲁棒决策候选行动方案与最大期望效用值集EU⁺的距离

$d_i^{+}=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(\mathrm{EU}(D_i,S_j)-{\mathrm{EU}}_j^{+})}^2}---\left(10\right)$

利用式(11)获得鲁棒决策候选行动方案与最小期望效用值集EU^-的距离

$d_i^{-}=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(\mathrm{EU}(D_i,S_j)-{\mathrm{EU}}_j^{-})}^2}---\left(11\right)$

利用式(12)获得鲁棒决策候选行动方案的贴近度c_i：

$c_i=\frac{d_i^{+}}{d_i^{+}+d_i^{-}}---\left(12\right)$

选择贴近度c_i最大的鲁棒决策候选行动方案为最优鲁棒行动方案；

本实施例中，利用式(10)、式(11)、式(12)、表2中D₁、D₂、D₃三种鲁棒决策候选行动方案的期望效用值以及表3中鲁棒决策候选行动方案在每一个情景中的最大期望效用值集EU⁺和最小期望效用值集EU^-计算，获得鲁棒决策候选行动方案与最大期望效用值集EU⁺的距离

鲁棒决策候选行动方案与最小期望效用值集EU^-的距离

和鲁棒决策候选行动方案的贴近度c_i如表4所示：

表4  最大、最小距离和贴近度

由表4可看出，鲁棒决策候选行动方案D₁=攻击蓝方高价值目标的贴近度c₁=0.6951最大，故D₁=攻击蓝方高价值目标为最优鲁棒行动方案。

Claims (1)

1.一种基于情景构建的无人机自主鲁棒决策方法，是应用于红方无人机攻打位于蓝方阵地中的蓝方高价值目标的复杂战场环境中，其特征在于，所述无人机自主鲁棒决策方法按如下步骤进行：

步骤1：定义复杂战场环境中红方无人机的决策变量和蓝方阵地的决策变量

令红方无人机携带电子支援措施状态Red_ESMState={开，关}、红方无人机携带SAR雷达状态Red_SARState={开，关}、红方无人机机载导弹类型Red_Missile={A，B}、红方无人机飞行高度Red_Height={中，低}、红方无人机发现蓝方高价值目标位置Red_GetLocation={是，否}、红方无人机被击中Red_Destroyed={是，否}、红方无人机攻击效果Red_Result={蓝方高价值目标完全损毁，蓝方高价值目标高度损毁，蓝方高价值目标中度损毁，蓝方高价值目标未损毁}、红方无人机决策候选行动方案集Red_Action＝{D₁,D₂,...,D_i,...,D_n},n∈N，N为自然数，所述红方无人机决策候选行动方案集Red_Action中，D_i为第i种红方无人机决策候选行动方案，i∈n；红方无人机攻打蓝方阵地的效用={Utility}；

令蓝方雷达状态Blue_RadarState={开，关}、蓝方电子干扰设备状态Blue_ECMState={开，关}、蓝方高炮Blue_HasAA={是，否}、蓝方导弹类型Blue_Missile={中程导弹，近程导弹，无导弹}、蓝方发现红方无人机位置Blue_GetLocation={是，否}；

令红方无人机与蓝方高价值目标之间的距离Distance={远，中，近}；

步骤2：情景构建

利用所述红方无人机携带电子支援措施状态Red_ESMState、所述红方无人机携带SAR雷达状态Red_SARState、所述红方无人机机载导弹类型Red_Missile、所述红方无人机飞行高度Red_Height、所述蓝方雷达状态Blue_RadarState、所述蓝方电子干扰设备状态Blue_ECMState、所述蓝方高炮Blue_HasAA、所述蓝方导弹类型Blue_Missile以及红方无人机与蓝方高价值目标之间的距离Distance构建情景集S＝{S₁,S₂,...,S_j,...,S_m},m∈N，所述情景集S中第j个情景表示为：

S_j=(Red_ESMState(j),Red_SARState(j),Red_Missile(j),Red_Height(j),Blue_RadarState(j),Blue_ECMState(j),Blue_HasAA(j),Blue_Missile(j),Distance(j))，j∈m；

步骤3：根据所述红方无人机的决策变量和蓝方阵地的决策变量利用影响图建模方法按如下步骤构建影响图：

步骤3.1：利用所述红方无人机的决策变量和蓝方阵地的决策变量构建有向无环图G：

G＝(V,E)               (1)

式(1)中，V代表所述有向无环图中节点的集合，E代表所述有向无环图中有向边的集合，并有：

V＝V_C∪V_D∪V_U           (2)

式(2)中V_C代表所述有向无环图中所有的随机节点，V_D代表所述有向无环图中所有的决策节点，V_U代表所述有向无环图中所有的效用节点，并有：

V_C=（Red_ESMState，Red_SARState，Red_Missile，Red_Height，Blue_RadarState，Blue_ECMState，Blue_HasAA，Blue_Missile，Distance，Red_GetLocation，Blue_GetLocation，Red_Result，Red_Destroyed）；

V_D=（Red_Action）；

V_U=（Utility）；

所述有向无环图中有向边的集合E={(Red_Missile，Red_Action)，(Red_Height，Red_Action)，(Red_ESMState，Red_Action)，(Red_SARState，Red_Action)，(Distance，Red_Action)，(Blue_ECMState，Red_GetLocation)，(Distance，Red_GetLocation)，(Red_ESMState，Red_GetLocation)，(Red_SARState，Red_GetLocation)，(Red_GetLocation，Red_Result)，(Distance，Red_Result)，(Red_Action，Red_Result)，(Red_Height，Red_Result)，(Distance，Blue_GetLocation)，(Red_SARState，Blue_GetLocation)，(Blue_RadarState，Blue_GetLocation)，(Red_Height，Red_Destroyed)，(Blue_GetLocation，Red_Destroyed)，(Blue_Missile，Red_Destroyed)，(Distance，Red_Destroyed)，(Red_Action，Red_Destroyed)，(Blue_HasAA，Red_Destroyed)，(Red_Result，Utility)，(Red_Destroyed，Utility)}；

由所述所有的随机节点V_C、所有的决策节点V_D和所有的效用节点V_U以及有向边的集合E构建出所述有向无环图；

步骤3.2：利用所述红方无人机的决策变量和蓝方阵地的决策变量构建变量集合X；

X＝X_C∪X_D             (3)

式(3)中，X_C是随机变量集合，并有：

X_C={Red_ESMState，Red_SARState，Red_Missile，Red_Height，Blue_RadarState，Blue_ECMState，Blue_HasAA，Blue_Missile，Distance，Red_GetLocation，Blue_GetLocation，Red_Result，Red_Destroyed}；

根据所述红方无人机的决策变量和蓝方阵地的决策变量获得所述随机变量集合X_C中每个随机变量的状态空间Ω为：

Ω_{Red_ESMState}={开，关}，Ω_{Red_SARState}={开，关}，Ω_{Red_Missile}={A，B}、Ω_{Red_Height}={中，低}，Ω_{Blue_RadarState}={开，关}，Ω_{Blue_ECMState}={开，关}，Ω_{Blue_HasAA}={是，否}，Ω_{Blue_Missile}={中程导弹，近程导弹，无导弹}，Ω_Distance={远，中，近}，Ω_{Red_GetLocation}={是，否}，Ω_{Blue_GetLocation}={是，否}，Ω_{Red_Result}={蓝方高价值目标完全损毁，蓝方高价值目标高度损毁，蓝方高价值目标中度损毁，蓝方高价值目标未损毁}，Ω_{Red_Destroyed}={是，否}；

式(3)中，X_D是决策变量集合，并有：

X_D={Red_Action}；

根据所述红方无人机决策候选行动方案集Red_Action获得决策变量集合X_D中决策变量Red_Action的备选方案集为{D₁，D₂，……，D_n}，n∈N；

步骤3.3：利用所述红方无人机的决策变量和蓝方阵地的决策变量构建随机变量概率分布的集合；

所述随机变量概率分布的集合为：

Pr={P(Red_ESMState),P(Red_SARState)，P(Red_Missile),P(Red_Height)，P(Blue_RadarState),P(Blue_ECMState),P(Blue_HasAA),P(Blue_Missile)，P(Red_GetLocationPar(Red_GetLocation)),P(Blue_GetLocationPar(Blue_GetLocation))，P(Red_ResultPar(Red_Result)),P(Red_DestroyedPar(Red_Destroyed)),P(Distance)}；

                      (4)

式(4)中，Par(Red_GetLocation)为所述随机变量集合X_C中随机变量Red_GetLocation的父节点集合，并有Par(Red_GetLocation)={Red_ESMState，Red_SARState，Blue_ECMState，Distance}；

Par(Blue_GetLocation)为所述随机变量Blue_GetLocation的父节点集合，并有Par(Blue_GetLocation)={Blue_RadarState，Red_SARState，Distance}；

Par(Red_Result)为所述随机变量Red_Result的父节点集合，并有Par(Red_Result)={Red_Height，Red_Action，Distance，Red_GetLocation}；

Par(Red_Destoryed)为所述随机变量Red_Destoryed的父节点集合，并有Par(Red_Destoryed)={Red_Height，Blue_HasAA，Blue_Missile，Distance，Red_Action，Blue_GetLocation}；

步骤3.4：利用所述红方无人机的决策变量构建效用函数的集合；

令所述效用函数的集合为U：

U={U(Red_Result,Red_Destroyed)}             (5)

式(5)中，U(Red_Result,Red_Destroyed)为所述所有的效用节点V_U中效用节点Utility的效用函数，并有：

式(6)中，U₁、U₂、U₃、U₄、U₅、U₆、U₇和U₈分别表示在不同条件下效用节点Utility的效用函数值；

利用所述有向无环图、变量集合、随机变量概率分布的集合和效用函数的集合构建出所述影响图；

步骤4：根据所述影响图利用式(7)获得红方无人机决策候选行动方案集Red_Action中每一种红方无人机决策候选行动方案在情景集S中的每一个情景下的期望效用值EU(D_i,S_j)：

EU(D_i,S_j)＝ΣU(Red_Result,Red_Destroyed)P(Red_Result,Red_Destroyede)        (7)

式(7)中，e代表证据，D_i表示第i种红方无人机决策候选行动方案，i∈n，S_j表示第j个情景，j∈m；

步骤5：红方无人机根据所述期望效用值EU(D_i,S_j)进行鲁棒决策；

步骤5.1：选择鲁棒决策候选行动方案；

令红方无人机决策候选行动方案集Red_Action中的决策候选行动方案D_f，在情景集S中满足min(EU(D_f,S_j))≥α,(f∈n,j∈m,j＝1,2,...,m)，α为预定的收益阈值，则决策候选行动方案D_f为鲁棒决策候选行动方案并保留D_f；

判断所有的决策候选行动方案，保留所有的鲁棒决策候选行动方案，删除剩余决策候选行动方案；

步骤5.2：识别最优鲁棒行动方案；

利用式(8)获得所述所有的鲁棒决策候选行动方案在每一个情景中的最大期望效用值集EU⁺：

${\mathrm{EU}}^{+}=\left\{{\mathrm{EU}}_j^{+}\right|{\mathrm{EU}}_j^{+}=\max \mathrm{EU}(D_i,S_j),i\∈n,j\∈m\}---\left(8\right)$

式(8)中：

表示第j种情景下所有的鲁棒决策候选行动方案所对应的期望效用值EU(D_i,S_j)中的最大期望效用值；

利用式(9)获得所述鲁棒决策候选行动方案在每一个情景中的最小期望效用值集EU^-：

${\mathrm{EU}}^{-}=\left\{{\mathrm{EU}}_j^{-}\right|{\mathrm{EU}}_j^{-}=\min \mathrm{EU}(D_i,S_j),i\∈n,j\∈m\}---\left(9\right)$

式(9)中：

表示第j种情景下所有的鲁棒决策候选行动方案所对应的期望效用值EU(D_i,S_j)中的最小期望效用值；

利用式(10)获得所有的鲁棒决策候选行动方案与所述最大期望效用值集EU⁺的距离

$d_i^{+}=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(\mathrm{EU}(D_i,S_j)-{\mathrm{EU}}_j^{+})}^2}---\left(10\right)$

利用式(11)获得所有的鲁棒决策候选行动方案与所述最小期望效用值集EU^-的距离

$d_i^{-}=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(\mathrm{EU}(D_i,S_j)-{\mathrm{EU}}_j^{-})}^2}---\left(11\right)$

利用式(12)获得所有的鲁棒决策候选行动方案的贴近度c_i：

$c_i=\frac{d_i^{+}}{d_i^{+}+d_i^{-}}---\left(12\right)$

选择所述贴近度c_i最大的鲁棒决策候选行动方案为最优鲁棒行动方案。

Images