CN111539525A - 无人机战队对抗中个体失效率与战队胜率的关系确定方法 - Google Patents

无人机战队对抗中个体失效率与战队胜率的关系确定方法 Download PDF

Info

Publication number
CN111539525A
CN111539525A CN202010296174.2A CN202010296174A CN111539525A CN 111539525 A CN111539525 A CN 111539525A CN 202010296174 A CN202010296174 A CN 202010296174A CN 111539525 A CN111539525 A CN 111539525A
Authority
CN
China
Prior art keywords
team
aerial vehicle
unmanned aerial
failure rate
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010296174.2A
Other languages
English (en)
Other versions
CN111539525B (zh
Inventor
白桦
陈冬梅
王群勇
阳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SHENGTAOPING TEST ENGINEERING TECHNOLOGY RESEARCH INSTITUTE
Original Assignee
BEIJING SHENGTAOPING TEST ENGINEERING TECHNOLOGY RESEARCH INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SHENGTAOPING TEST ENGINEERING TECHNOLOGY RESEARCH INSTITUTE filed Critical BEIJING SHENGTAOPING TEST ENGINEERING TECHNOLOGY RESEARCH INSTITUTE
Priority to CN202010296174.2A priority Critical patent/CN111539525B/zh
Publication of CN111539525A publication Critical patent/CN111539525A/zh
Application granted granted Critical
Publication of CN111539525B publication Critical patent/CN111539525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种无人机战队对抗中个体失效率与战队胜率的关系确定方法，该方法包括：通过确定第一无人机战队与第二无人机战队在没有个体失效率的情况下的自对弈博弈中第一无人机战队的胜率p作为胜率基线；然后，再通过MC‑MC仿真方法，确定第一无人机战队与第二无人机战队在不同的个体失效率的取值下的第一无人机战队的胜率；最后，通过胜率基线和在不同的个体失效率的取值下的第一无人机战队的胜率确定无人机战队对抗中个体失效率与战队胜率的关系。本发明实施例提供的方法，实现了无人机战队对抗中个体失效率与战队胜率的关系的确定。

Description

无人机战队对抗中个体失效率与战队胜率的关系确定方法
技术领域
本发明涉及对抗网络技术领域，尤其涉及一种无人机战队对抗中个体失效率与战队胜率的关系确定方法。
背景技术
当前，进行集群无人系统控制的算法主要有去中心化部分可观察马尔科夫过程方法(Decentralized partially observable Markov processes，简称Dec-POMDPs)，GAN人工智能方法、Q-learning强化学习(RL)方法等。这些复杂的控制算法使得集群无人系统的多个个体能够协同工作，完成设定的任务，例如无人机集群的空战对抗。由于这些集群无人系统的控制规律通常是在假设个体的功能正常的情况下进行的，未考虑到单个个体的物理实体有可能因为可靠性的问题而发生失效，不能参与到集群无人系统的协同中去，可能对任务的执行结果带来负面的影响。
目前尚无解决确定无人机战队对抗中个体失效率与战队胜率的关系的技术方案。
发明内容
本发明实施例提供一种无人机战队对抗中个体失效率与战队胜率的关系确定方法，用以解决目前尚无解决确定无人机战队对抗中个体失效率与战队胜率的关系的技术方案的问题。
第一方面，本发明实施例提供一种无人机战队对抗中个体失效率与战队胜率的关系确定方法，包括：
进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN(对抗网络)的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数；
基于MC-MC(马尔科夫-蒙特卡罗)仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数；
基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
优选地，该方法中，所述基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系，具体包括：
确定所述第一无人机战队的对应于个体失效率λi时的实际胜率
Figure BDA0002452277450000021
，其中，i＝1,2,……,m；
基于所述第一无人机战队的对应于个体失效率λ1，λ2，……,λm的实际胜率
Figure BDA0002452277450000022
进行曲线拟合得到无人机战队对抗中个体失效率与战队胜率的关系。
优选地，该方法中，所述基于MC-MC仿真方法，进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数，具体包括：
进行n轮的第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈；
对于任一轮第一自对弈博弈，其中的任一步长，查看该第一自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第一自对弈博弈进行下一轮第一自对弈博弈，若否，则进入下一步长的第一自对弈博弈；
统计n轮第一自对弈博弈中第一无人机战队的获胜次数n’，确定第一无人机战队的平均胜率p＝n’/n，其中，n和n’均为正整数且n’≤n。
优选地，该方法中，所述基于MC-MC仿真方法，进行第一无人机战队与第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数，具体包括：
基于MC-MC仿真方法，进行m×N轮的所述第一无人机战队与所述第二无人机战队在分别引入个体失效率λ1，λ2，……,λm的情况下的GAN的第二自对弈博弈，任一个体失效率对应于N轮第二自对弈博弈，其中，m为正整数；
对于个体失效率取值为λi的当前轮第二自对弈博弈其中的任一步长，所述第一无人机战队中当前第k无人机随机生成[0,1]的均匀分布随机数Rk，若Rk<λi×Δt，则将所述当前第k无人机移除所述第一无人机战队，否则将第k无人机留在所述第一无人机战队，其中，k＝1,2,……Q，Q为该步长时所述第一无人机战队中当前无人机总数,Δt为预先设定的步长时长；查看该步长内第二自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第二自对弈博弈进行下一轮第二自对弈博弈，若否，则进入下一步长的MC-MC仿真，重复上一步长的操作；
统计个体失效率取值为λi时的N轮第二自对弈博弈中第一无人机战队的获胜次数Ni，确定对应于λi的第一无人机战队的胜率pi＝Ni/N，其中，N和Ni均为正整数且Ni≤N。
第二方面，本发明实施例提供一种无人机战队对抗中个体失效率与战队胜率的关系确定装置，包括：
基线单元，用于进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数；
失效率单元，用于基于MC-MC仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数；
确定单元，用于基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
优选地，该装置中，所述确定单元，具体用于，
确定所述第一无人机战队的对应于个体失效率λi时的实际胜率
Figure BDA0002452277450000041
，其中，i＝1,2,……,m；
基于所述第一无人机战队的对应于个体失效率λ1，λ2，……,λm的实际胜率
Figure BDA0002452277450000042
进行曲线拟合得到无人机战队对抗中个体失效率与战队胜率的关系。
优选地，该装置中，所述基线单元，具体用于，
进行n轮的第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈；
对于任一轮第一自对弈博弈，其中的任一步长，查看该第一自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第一自对弈博弈进行下一轮第一自对弈博弈，若否，则进入下一步长的第一自对弈博弈；
统计n轮第一自对弈博弈中第一无人机战队的获胜次数n’，确定第一无人机战队的平均胜率p＝n’/n，其中，n和n’均为正整数且n’≤n。
优选地，该装置中，所述失效率单元，具体用于，
基于MC-MC仿真方法，进行m×N轮的所述第一无人机战队与所述第二无人机战队在分别引入个体失效率λ1，λ2，……,λm的情况下的GAN的第二自对弈博弈，任一个体失效率对应于N轮第二自对弈博弈，其中，m为正整数；
对于个体失效率取值为λi的当前轮第二自对弈博弈其中的任一步长，所述第一无人机战队中当前第k无人机随机生成[0,1]的均匀分布随机数Rk，若Rk<λi×Δt，则将所述当前第k无人机移除所述第一无人机战队，否则将第k无人机留在所述第一无人机战队，其中，k＝1,2,……Q，Q为该步长时所述第一无人机战队中当前无人机总数,Δt为预先设定的步长时长；查看该步长内第二自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第二自对弈博弈进行下一轮第二自对弈博弈，若否，则进入下一步长的MC-MC仿真，重复上一步长的操作；
统计个体失效率取值为λi时的N轮第二自对弈博弈中第一无人机战队的获胜次数Ni，确定对应于λi的第一无人机战队的胜率pi＝Ni/N，其中，N和Ni均为正整数且Ni≤N。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的无人机战队对抗中个体失效率与战队胜率的关系确定方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面所提供的无人机战队对抗中个体失效率与战队胜率的关系确定方法的步骤。
本发明实施例提供的方法，通过确定第一无人机战队与第二无人机战队在没有个体失效率的情况下的自对弈博弈中第一无人机战队的胜率p作为胜率基线；然后，再通过MC-MC仿真方法，确定第一无人机战队与第二无人机战队在不同的个体失效率的取值下的第一无人机战队的胜率；最后，通过胜率基线和在不同的个体失效率的取值下的第一无人机战队的胜率确定无人机战队对抗中个体失效率与战队胜率的关系。如此，本发明实施例提供的方法实现了无人机战队对抗中个体失效率与战队胜率的关系的确定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无人机战队对抗中个体失效率与战队胜率的关系确定方法的流程示意图；
图2为本发明实施例提供的一种无人机战队对抗中个体失效率与战队胜率的关系确定装置的结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的水下退化图像的增强方法，普遍存在图像增强模型建立时参数估计复杂程度高，且建模准确性较低的问题。对此，本发明实施例提供了一种无人机战队对抗中个体失效率与战队胜率的关系确定方法。图1为本发明实施例提供的无人机战队对抗中个体失效率与战队胜率的关系确定方法的流程示意图，如图1所示，该方法包括：
步骤110，进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数。
具体地，要考虑无人机战队中个体由于故障失效导致该个体无法参与到集群协同而影响无人机战队胜率时，首先要进行完整的第一无人机战队与第二无人机战队之间的GAN的自对弈博弈，根据多轮次的对抗的第一无人机战队的平均胜率建立基线。
步骤120，基于MC-MC仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数。
具体地，再确定取值为λ1，λ2，……,λm的不同个体失效率的情况下的第一无人机战队与所述第二无人机战队的GAN的自对弈博弈，确定对应于个体失效率λ1，λ2，……,λm的第一无人机战队的胜率p1,p2,……,pm，其中，上述自对弈博弈采用的是MC-MC仿真方法。
步骤130，基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
具体地，所述第一无人机战队的平均胜率p为胜率基线，之前确定的对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm通过与基线进行差值计算、或者比值计算，可以确定实际的第一无人机战队中个体失效率与战队胜率的关系，此处不作具体限定。
本发明实施例提供的方法，通过确定第一无人机战队与第二无人机战队在没有个体失效率的情况下的自对弈博弈中第一无人机战队的胜率p作为胜率基线；然后，再通过MC-MC仿真方法，确定第一无人机战队与第二无人机战队在不同的个体失效率的取值下的第一无人机战队的胜率；最后，通过胜率基线和在不同的个体失效率的取值下的第一无人机战队的胜率确定无人机战队对抗中个体失效率与战队胜率的关系。如此，实现了无人机战队对抗中个体失效率与战队胜率的关系的确定。
基于上述实施例，该方法中，所述基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系，具体包括：
确定所述第一无人机战队的对应于个体失效率λi时的实际胜率
Figure BDA0002452277450000071
其中，i＝1,2,……,m；
基于所述第一无人机战队的对应于个体失效率λ1，λ2，……,λm的实际胜率
Figure BDA0002452277450000072
进行曲线拟合得到无人机战队对抗中个体失效率与战队胜率的关系。
具体地，此处采用对对应于个体失效率λ1，λ2，……,λm的第一无人机战队的胜率p1,p2,……,pm和第一无人机战队的平均胜率p胜率基线先做差值再做比例的方法确定第一无人机战队的对应于个体失效率λi时的实际胜率。然后，基于确定的对应于个体失效率λ1，λ2，……,λm的实际胜率
Figure BDA0002452277450000073
Figure BDA0002452277450000074
进行曲线拟合得到第一无人机战队的个体失效率与战队胜率之间的函数曲线，进而基于上述函数曲线确定无人机战队对抗中个体失效率与战队胜率的关系。
基于上述任一实施例，该方法中，所述进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数，具体包括：
进行n轮的第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈；
对于任一轮第一自对弈博弈，其中的任一步长，查看该第一自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第一自对弈博弈进行下一轮第一自对弈博弈，若否，则进入下一步长的第一自对弈博弈；
统计n轮第一自对弈博弈中第一无人机战队的获胜次数n’，确定第一无人机战队的平均胜率p＝n’/n，其中，n和n’均为正整数且n’≤n。
具体地，对于总共n轮的第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的自对弈博弈中的任一轮，对于任一步长，再进行完该步长的自对弈博弈的仿真后，查看该第一自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第一自对弈博弈进行下一轮第一自对弈博弈，若否，则进入下一步长的自对弈博弈的仿真；最后，统计n轮第一自对弈博弈中第一无人机战队的获胜次数n’，确定第一无人机战队的平均胜率p＝n’/n，其中，n和n’均为正整数且n’≤n。该确定第一无人机战队的平均胜率p的算法伪代码如下：
1：初始化对战队1和战队2双方的无人机个体数量n1，n2，以及相应的初始失效率λ01＝0,以及λ02＝0,考虑战队1的对战胜率；
2：初始化战队1的累积胜利次数V1＝0，战队1和战队2进行对弈N局，每局T时，每步Δt
3：for i＝1，…N do
4：随机初始化战队1和战队2的Agent位置、速度等初始状态，初始时刻t＝0
5：for t in T do
6:if(战队1取胜)
7：V1←V1+1break
8：else if(战队2取胜)
9:break
10:else
11:t←t+Δt
12:战队1和战队2的个体状态根据智能控制状态转移规则进行状态更新
13：end for
14：end for
15:战队1的胜率基线p＝V1/N。
基于上述任一实施例，该方法中，所述基于MC-MC仿真方法，进行第一无人机战队与第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数，具体包括：
基于MC-MC仿真方法，进行m×N轮的所述第一无人机战队与所述第二无人机战队在分别引入个体失效率λ1，λ2，……,λm的情况下的GAN的第二自对弈博弈，任一个体失效率对应于N轮第二自对弈博弈，其中，m为正整数；
对于个体失效率取值为λi的当前轮第二自对弈博弈其中的任一步长，所述第一无人机战队中当前第k无人机随机生成[0,1]的均匀分布随机数Rk，若Rk<λi×Δt，则将所述当前第k无人机移除所述第一无人机战队，否则将第k无人机留在所述第一无人机战队，其中，k＝1,2,……Q，Q为该步长时所述第一无人机战队中当前无人机总数,Δt为预先设定的步长时长；查看该步长内第二自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第二自对弈博弈进行下一轮第二自对弈博弈，若否，则进入下一步长的MC-MC仿真，重复上一步长的操作；
统计个体失效率取值为λi时的N轮第二自对弈博弈中第一无人机战队的获胜次数Ni，确定对应于λi的第一无人机战队的胜率pi＝Ni/N，其中，N和Ni均为正整数且Ni≤N。
具体地，对于m个不同的个体失效率的取值λ1，λ2，……,λm，每个个体失效率都会进行N轮的第一无人机战队与第二无人机战队在该个体失效率的情况下的GAN的自对弈博弈，因此，一共会进行m×N轮的第一无人机战队与第二无人机战队在该个体失效率的情况下的GAN的自对弈博弈。
对于个体失效率λ1，λ2，……,λm中取值为λi的个体失效率对应的当前轮第二自对弈博弈其中的任一步长，对当前步长中剩余的所有无人机个体根据个体失效率进行随机的个体故障移除，具体方式是，对于当前步长中剩余的Q个无人机个体，从第一个无人机到第Q个无人机依次进行失效判定，例如，对于第k个无人机个体，为第k个无人机个体随机生成[0,1]的均匀分布随机数Rk，若Rk<λi×Δt，则将所述当前第k无人机移除所述第一无人机战队，否则将第k无人机留在所述第一无人机战队，Δt为预先设定的步长时长，再进行该步长的故障无人机移除后，查看该步长内第二自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第二自对弈博弈进行下一轮第二自对弈博弈，若否，则进入下一步长的MC-MC仿真，重复上一步长的操作；统计个体失效率取值为λi时的N轮第二自对弈博弈中第一无人机战队的获胜次数Ni，确定对应于λi的第一无人机战队的胜率pi＝Ni/N，其中，N和Ni均为正整数且Ni≤N。该确定对应于个体失效率λ1，λ2，……,λm的第一无人机战队的胜率p1,p2,……,pm的算法伪代码如下：
1:当考虑战队1的Agent存在可靠性失效风险时，λ1≠0，战队1的Agent存在非战斗退出，采用MC-MC方法进行模拟仿真
2：初始化战队1的累积胜利次数V1’＝0，战队1和战队2进行对弈N局，每局T时，每步Δt
3：for i＝1，…N do
4：初始化对战队1和战队2双方的个体数量n1，n2
5：随机初始化战队1和战队2的个体位置、速度等初始状态，初始时刻t＝0
6：for t in T do
7:if(战队1取胜)
8：V1’←V1’+1break
9：else if(战队2取胜)
10:break
11:else
12:t←t+Δt
13：for k in现存战队1的个体数量
14：随机生成[0,1]的均匀分布随机数Rk
15：if Rk＜λ1Δt
16:第k个Agent移出战队1
17：else
18：pass
19：end for
20:战队1和战队2的剩余Agent状态根据智能控制状态转移规则进行状态更新
21：end for
22：end for
23:考虑战队1个体由于存在可靠性问题失效率为λ1的作战胜率p(λ1)＝V1’/N
24：在典型的个体失效率范围内，将个体失效率的取值为λ1，λ2，……,λm，重复仿真计算，可以得到战队1胜率随失效率的变化曲线并拟合得到战队1胜率随失效率变化的函数。该函数可给出当要求战队1的胜率大于某指定的值p’时，相应的个体失效率指标。
其中，需要说明的是，关于Rk<λi×Δt的取值要求，通常希望λ1×Δt<<1，即每一仿真步的个体失效概率远小于1，在工程上通常λ1×Δt<0.01，以保障MC-MC的仿真精度。
基于上述任一实施例，本发明实施例提供一种无人机战队对抗中个体失效率与战队胜率的关系确定装置，图2为本发明实施例提供的一种无人机战队对抗中个体失效率与战队胜率的关系确定装置的结构示意图。如图2所示，该装置包括基线单元210、失效率单元220和确定单元230，其中，
所述基线单元210，用于进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数；
所述失效率单元220，用于基于MC-MC仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数；
所述确定单元230，用于基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
本发明实施例提供的装置，通过确定第一无人机战队与第二无人机战队在没有个体失效率的情况下的自对弈博弈中第一无人机战队的胜率p作为胜率基线；然后，再通过MC-MC仿真方法，确定第一无人机战队与第二无人机战队在不同的个体失效率的取值下的第一无人机战队的胜率；最后，通过胜率基线和在不同的个体失效率的取值下的第一无人机战队的胜率确定无人机战队对抗中个体失效率与战队胜率的关系。如此，本发明提供的装置实现了无人机战队对抗中个体失效率与战队胜率的关系的确定。
基于上述任一实施例，该装置中，所述确定单元，具体用于，
确定所述第一无人机战队的对应于个体失效率λi时的实际胜率
Figure BDA0002452277450000121
其中，i＝1,2,……,m；
基于所述第一无人机战队的对应于个体失效率λ1，λ2，……,λm的实际胜率
Figure BDA0002452277450000122
进行曲线拟合得到无人机战队对抗中个体失效率与战队胜率的关系。
基于上述任一实施例，该装置中，所述基线单元，具体用于，
进行n轮的第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈；
对于任一轮第一自对弈博弈，其中的任一步长，查看该第一自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第一自对弈博弈进行下一轮第一自对弈博弈，若否，则进入下一步长的第一自对弈博弈；
统计n轮第一自对弈博弈中第一无人机战队的获胜次数n’，确定第一无人机战队的平均胜率p＝n’/n，其中，n和n’均为正整数且n’≤n。
基于上述任一实施例，该装置中，所述失效率单元，具体用于，
基于MC-MC仿真方法，进行m×N轮的所述第一无人机战队与所述第二无人机战队在分别引入个体失效率λ1，λ2，……,λm的情况下的GAN的第二自对弈博弈，任一个体失效率对应于N轮第二自对弈博弈，其中，m为正整数；
对于个体失效率取值为λi的当前轮第二自对弈博弈其中的任一步长，所述第一无人机战队中当前第k无人机随机生成[0,1]的均匀分布随机数Rk，若Rk<λi×Δt，则将所述当前第k无人机移除所述第一无人机战队，否则将第k无人机留在所述第一无人机战队，其中，k＝1,2,……Q，Q为该步长时所述第一无人机战队中当前无人机总数,Δt为预先设定的步长时长；查看该步长内第二自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第二自对弈博弈进行下一轮第二自对弈博弈，若否，则进入下一步长的MC-MC仿真，重复上一步长的操作；
统计个体失效率取值为λi时的N轮第二自对弈博弈中第一无人机战队的获胜次数Ni，确定对应于λi的第一无人机战队的胜率pi＝Ni/N，其中，N和Ni均为正整数且Ni≤N。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的无人机战队对抗中个体失效率与战队胜率的关系确定方法，例如包括：进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数；基于MC-MC仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数；基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的无人机战队对抗中个体失效率与战队胜率的关系确定方法，例如包括：进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数；基于MC-MC仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数；基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种无人机战队对抗中个体失效率与战队胜率的关系确定方法，其特征在于，包括：
进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数；
基于MC-MC仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数；
基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
2.根据权利要求1所述的无人机战队对抗中个体失效率与战队胜率的关系确定方法，其特征在于，所述基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系，具体包括：
确定所述第一无人机战队的对应于个体失效率λi时的实际胜率
Figure FDA0002452277440000011
，其中，i＝1,2,……,m；
基于所述第一无人机战队的对应于个体失效率λ1，λ2，……,λm的实际胜率
Figure FDA0002452277440000012
进行曲线拟合得到无人机战队对抗中个体失效率与战队胜率的关系。
3.根据权利要求1所述的无人机战队对抗中个体失效率与战队胜率的关系确定方法，其特征在于，所述进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数，具体包括：
进行n轮的第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈；
对于任一轮第一自对弈博弈，其中的任一步长，查看该第一自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第一自对弈博弈进行下一轮第一自对弈博弈，若否，则进入下一步长的第一自对弈博弈；
统计n轮第一自对弈博弈中第一无人机战队的获胜次数n’，确定第一无人机战队的平均胜率p＝n’/n，其中，n和n’均为正整数且n’≤n。
4.根据权利要求1-3中任一项所述的无人机战队对抗中个体失效率与战队胜率的关系确定方法，其特征在于，所述基于MC-MC仿真方法，进行第一无人机战队与第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数，具体包括：
基于MC-MC仿真方法，进行m×N轮的所述第一无人机战队与所述第二无人机战队在分别引入个体失效率λ1，λ2，……,λm的情况下的GAN的第二自对弈博弈，任一个体失效率对应于N轮第二自对弈博弈，其中，m为正整数；
对于个体失效率取值为λi的当前轮第二自对弈博弈其中的任一步长，所述第一无人机战队中当前第k无人机随机生成[0,1]的均匀分布随机数Rk，若Rk<λi×Δt，则将所述当前第k无人机移除所述第一无人机战队，否则将第k无人机留在所述第一无人机战队，其中，k＝1,2,……Q，Q为该步长时所述第一无人机战队中当前无人机总数,Δt为预先设定的步长时长；查看该步长内第二自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第二自对弈博弈进行下一轮第二自对弈博弈，若否，则进入下一步长的MC-MC仿真，重复上一步长的操作；
统计个体失效率取值为λi时的N轮第二自对弈博弈中第一无人机战队的获胜次数Ni，确定对应于λi的第一无人机战队的胜率pi＝Ni/N，其中，N和Ni均为正整数且Ni≤N。
5.一种无人机战队对抗中个体失效率与战队胜率的关系确定装置，其特征在于，包括：
基线单元，用于进行第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈，根据n轮第一自对弈博弈，确定第一无人机战队的平均胜率p，其中，n为正整数；
失效率单元，用于基于MC-MC仿真方法，进行所述第一无人机战队与所述第二无人机战队在引入个体失效率λ的情况下的GAN的第二自对弈博弈，在预设范围内将λ分别取值为λ1，λ2，……,λm,确定对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm，其中，m为正整数；
确定单元，用于基于所述对应于上述λ的取值的第一无人机战队的胜率p1,p2,……,pm和所述第一无人机战队的平均胜率p，确定无人机战队对抗中个体失效率与战队胜率的关系。
6.根据权利要求5所述的无人机战队对抗中个体失效率与战队胜率的关系确定装置，其特征在于，所述确定单元，具体用于，
确定所述第一无人机战队的对应于个体失效率λi时的实际胜率
Figure FDA0002452277440000031
，其中，i＝1,2,……,m；
基于所述第一无人机战队的对应于个体失效率λ1，λ2，……,λm的实际胜率
Figure FDA0002452277440000032
进行曲线拟合得到无人机战队对抗中个体失效率与战队胜率的关系。
7.根据权利要求5所述的无人机战队对抗中个体失效率与战队胜率的关系确定装置，其特征在于，所述基线单元，具体用于，
进行n轮的第一无人机战队与第二无人机战队在没有个体失效率的情况下的GAN的第一自对弈博弈；
对于任一轮第一自对弈博弈，其中的任一步长，查看该第一自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第一自对弈博弈进行下一轮第一自对弈博弈，若否，则进入下一步长的第一自对弈博弈；
统计n轮第一自对弈博弈中第一无人机战队的获胜次数n’，确定第一无人机战队的平均胜率p＝n’/n，其中，n和n’均为正整数且n’≤n。
8.根据权利要求5-7中任一项所述的无人机战队对抗中个体失效率与战队胜率的关系确定装置，其特征在于，所述失效率单元，具体用于，
基于MC-MC仿真方法，进行m×N轮的所述第一无人机战队与所述第二无人机战队在分别引入个体失效率λ1，λ2，……,λm的情况下的GAN的第二自对弈博弈，任一个体失效率对应于N轮第二自对弈博弈，其中，m为正整数；
对于个体失效率取值为λi的当前轮第二自对弈博弈其中的任一步长，所述第一无人机战队中当前第k无人机随机生成[0,1]的均匀分布随机数Rk，若Rk<λi×Δt，则将所述当前第k无人机移除所述第一无人机战队，否则将第k无人机留在所述第一无人机战队，其中，k＝1,2,……Q，Q为该步长时所述第一无人机战队中当前无人机总数,Δt为预先设定的步长时长；查看该步长内第二自对弈博弈是否分出胜负，若是，则记录该胜负并跳出该轮第二自对弈博弈进行下一轮第二自对弈博弈，若否，则进入下一步长的MC-MC仿真，重复上一步长的操作；
统计个体失效率取值为λi时的N轮第二自对弈博弈中第一无人机战队的获胜次数Ni，确定对应于λi的第一无人机战队的胜率pi＝Ni/N，其中，N和Ni均为正整数且Ni≤N。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的无人机战队对抗中个体失效率与战队胜率的关系确定方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的无人机战队对抗中个体失效率与战队胜率的关系确定方法的步骤。
CN202010296174.2A 2020-04-15 2020-04-15 无人机战队对抗中个体失效率与战队胜率的关系确定方法 Active CN111539525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010296174.2A CN111539525B (zh) 2020-04-15 2020-04-15 无人机战队对抗中个体失效率与战队胜率的关系确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010296174.2A CN111539525B (zh) 2020-04-15 2020-04-15 无人机战队对抗中个体失效率与战队胜率的关系确定方法

Publications (2)

Publication Number Publication Date
CN111539525A true CN111539525A (zh) 2020-08-14
CN111539525B CN111539525B (zh) 2023-10-03

Family

ID=71976844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010296174.2A Active CN111539525B (zh) 2020-04-15 2020-04-15 无人机战队对抗中个体失效率与战队胜率的关系确定方法

Country Status (1)

Country Link
CN (1) CN111539525B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU4109U1 (ru) * 1996-12-10 1997-05-16 Акционерное общество открытого типа "ОКБ Сухого" Многоцелевой высокоманевренный сверхзвуковой самолет, его агрегаты планера, оборудование и системы
US20170144755A1 (en) * 2015-11-23 2017-05-25 Northrop Grumman Systems Corporation Uas platforms flying capabilities by capturing top human pilot skills and tactics
CN106776796A (zh) * 2016-11-23 2017-05-31 中南大学 基于云计算和大数据无人机任务规划系统和方法
CN109325690A (zh) * 2018-09-26 2019-02-12 中国人民解放军国防科技大学 面向无人平台指挥控制的策略博弈系统及其应用方法
CN109847367A (zh) * 2019-03-06 2019-06-07 网易（杭州）网络有限公司 一种游戏胜率的预测方法、模型生成方法和装置
CN110119547A (zh) * 2019-04-28 2019-08-13 腾讯科技（深圳）有限公司 一种预测团战胜负的方法、装置及控制设备
CN110537184A (zh) * 2017-05-19 2019-12-03 华为技术有限公司 利用生成式对抗网络的半监督回归
CN110851542A (zh) * 2019-11-07 2020-02-28 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU4109U1 (ru) * 1996-12-10 1997-05-16 Акционерное общество открытого типа "ОКБ Сухого" Многоцелевой высокоманевренный сверхзвуковой самолет, его агрегаты планера, оборудование и системы
US20170144755A1 (en) * 2015-11-23 2017-05-25 Northrop Grumman Systems Corporation Uas platforms flying capabilities by capturing top human pilot skills and tactics
CN106776796A (zh) * 2016-11-23 2017-05-31 中南大学 基于云计算和大数据无人机任务规划系统和方法
CN110537184A (zh) * 2017-05-19 2019-12-03 华为技术有限公司 利用生成式对抗网络的半监督回归
CN109325690A (zh) * 2018-09-26 2019-02-12 中国人民解放军国防科技大学 面向无人平台指挥控制的策略博弈系统及其应用方法
CN109847367A (zh) * 2019-03-06 2019-06-07 网易（杭州）网络有限公司 一种游戏胜率的预测方法、模型生成方法和装置
CN110119547A (zh) * 2019-04-28 2019-08-13 腾讯科技（深圳）有限公司 一种预测团战胜负的方法、装置及控制设备
CN110851542A (zh) * 2019-11-07 2020-02-28 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111539525B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN110991545B (zh) 一种面向多智能体对抗的强化学习训练优化方法及装置
CN109513215B (zh) 一种对象匹配方法、模型训练方法以及服务器
CN108629422B (zh) 一种基于知识指导-战术感知的智能体学习方法
CN111330279B (zh) 一种游戏ai的策略决策模型训练方法和装置
CN108392828B (zh) 一种针对moba类游戏的玩家在线匹配方法和系统
Barone et al. An adaptive learning model for simplified poker using evolutionary algorithms
CN112274925B (zh) Ai模型训练方法、调用方法、服务器及存储介质
CN113561986A (zh) 自动驾驶汽车决策方法及装置
CN111569429A (zh) 模型训练方法、模型使用方法、计算机设备及存储介质
WO2023138156A1 (zh) 决策模型的训练方法、装置、设备、存储介质及程序产品
CN112402982B (zh) 基于机器学习的用户作弊行为检测方法和系统
CN116136945A (zh) 一种基于反事实基线的无人机集群对抗博弈仿真方法
CN115300910A (zh) 基于多智能体强化学习的去混淆游戏策略模型生成方法
CN113282100A (zh) 基于强化学习的无人机对抗博弈训练控制方法
CN110598853B (zh) 一种模型训练的方法、信息处理的方法以及相关装置
CN115933717A (zh) 基于深度强化学习的无人机智能空战机动决策训练系统及方法
CN112044076B (zh) 一种对象控制方法、装置及计算机可读存储介质
CN111539525A (zh) 无人机战队对抗中个体失效率与战队胜率的关系确定方法
CN112870722B (zh) 对战格斗类ai游戏模型的生成方法、装置、设备及介质
CN111723941B (zh) 规则生成方法、装置、电子设备和存储介质
CN113283574B (zh) 群体对抗中智能体控制方法、装置、电子设备及存储介质
CN114239834A (zh) 基于多轮对抗属性共享的对手关系推理方法和装置
CN111389011B (zh) 一种游戏模型训练方法、装置、电子设备及介质
CN112347699A (zh) 多智能体对抗神经网络训练方法及装置
CN113827946A (zh) 博弈对局决策方法和装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant