CN115114723B - 一种水面无人艇任务规划学习器设计方法及系统 - Google Patents

一种水面无人艇任务规划学习器设计方法及系统 Download PDF

Info

Publication number
CN115114723B
CN115114723B CN202210636755.5A CN202210636755A CN115114723B CN 115114723 B CN115114723 B CN 115114723B CN 202210636755 A CN202210636755 A CN 202210636755A CN 115114723 B CN115114723 B CN 115114723B
Authority
CN
China
Prior art keywords
simulation
reinforcement learning
model
unmanned ship
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210636755.5A
Other languages
English (en)
Other versions
CN115114723A (zh
Inventor
韩玮
王千一
曾江峰
谢杨柳
张馗
陈骁
陈卓
马向峰
郭晓晔
梁旭
王伟
董钉
李哲
胥凤驰
骆福宇
王一帆
刘如磊
王子帅
吴与伦
宋胜男
董洁琳
许埔宁
王伟蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Shipbuilding Corp System Engineering Research Institute
Original Assignee
China Shipbuilding Corp System Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Shipbuilding Corp System Engineering Research Institute filed Critical China Shipbuilding Corp System Engineering Research Institute
Priority to CN202210636755.5A priority Critical patent/CN115114723B/zh
Publication of CN115114723A publication Critical patent/CN115114723A/zh
Application granted granted Critical
Publication of CN115114723B publication Critical patent/CN115114723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种水面无人艇任务规划学习器设计方法及系统，所述方法包括：构建仿真模型体系；搭建强化学习环境；构建无人艇对抗场景；其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。本发明提供了一种面向强化学习的水面无人艇规划学习器设计方法及系统，解决了现有技术中在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。

Description

一种水面无人艇任务规划学习器设计方法及系统
技术领域
本发明涉及水面无人艇技术领域，具体涉及一种水面无人艇任务规划学习器设计方法及系统。
背景技术
现有技术中的仿真系统包含想定管理、模型框架、仿真系统、导调控制和可视化平台等，是仿真推演综合解决方案。所述仿真系统支持双边或多边的对抗仿真需求，支持阵营、编队、组件装配、任务设定等的灵活配置；支持任务可视化流程建模，多阵营视角切换，态势实时可视化展示。该仿真系统主要应用于任务仿真、系统试验、自主算法测试等方面。
在深度强化领域，较为常用的仿真环境基本都采用开源强化学习环境接口Gym。Gym使用Python语言编写，兼容主流深度学习框架，如：TensorFlow、Theano、Pytorch等。但是，现有技术中还没有一种能够直接用于水面无人艇任务规划的相关强化学习仿真环境。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种水面无人艇任务规划学习器设计方法及系统，该方法面向强化学习算法，能够解决目前在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。
为实现以上目的，本发明采用如下技术方案：一种水面无人艇任务规划学习器设计方法，包括：
构建仿真模型体系；
搭建强化学习环境；
构建无人艇对抗场景；
其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；
所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；
所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。
可选的，所述构建仿真模型体系，包括：
确认仿真研究边界；
梳理实体和组件类别清单；
梳理实体和组件功能清单；
对模型体系进行演化，以得到完备性符合预设要求的仿真模型体系。
可选的，所述对模型体系进行演化，包括：
从顶层实体模型开始，根据梳理出来的功能和指标，对顶层实体进行演化，同时将相应功能和指标赋予相应的演化实体；对所有实体和组件进行类别划分，将相似功能和类别的模型组件归属至同一类别。
可选的，所述搭建强化学习环境，包括：
基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台。
可选的，所述构建无人艇对抗场景，包括：
使用分布式并行仿真系统构建无人艇对抗模拟器的场景功能；进一步包括：六方格地图绘制、想定构建以及打分规则和终止规则设置。
可选的，所述六方格地图用于展示场景地图属性信息；
所述场景地图属性信息，至少包含如下项中的一项：
经纬度坐标、地图横纵格行列格数、单元格的间隔大小、地形类型。
可选的，所述想定构建采用多层次递进式的建模思想和模型继承演化体系结构；
想定结构包括各个阵营实体的配置、环境各实体的配置、规划的机动路线配置、各阵营编队实体配置和预置任务配置；
所述想定构建采用可扩展标记语言XML进行定义。
可选的，所述打分规则和终止规则设置，用于评价强化学习与环境进行交互产生动作的好坏，以指导强化学习系统产生正确的动作，改进行动方案以适应环境。
本发明还提供了一种水面无人艇任务规划学习器设计系统，包括：
第一构建模块，用于构建仿真模型体系；
搭建模块，用于搭建强化学习环境；
第二构建模块，用于构建无人艇对抗场景；
其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；
所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；
所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。
此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前面任一项所述的水面无人艇任务规划学习器设计方法。
本发明采用以上技术方案，所述一种水面无人艇任务规划学习器设计方法，包括：构建仿真模型体系；搭建强化学习环境；构建无人艇对抗场景。本发明通过对实体模型功能和参数的抽象、实体间关系的抽象以及实体和组件之间的装配关系的抽象，确定系统组成和功能并提炼通用的属性描述和方法描述，并最终构建一个完整的模型体系框架。无人艇对抗系统强化学习环境基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台。同时，该方法采用分布式并行仿真系统引入水面环境因素，绘制不同的场景的想定和地图；本发明提供了一种面向强化学习的水面无人艇规划学习器设计方法，解决了现有技术中在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种水面无人艇任务规划学习器设计方法一个实施例提供的整体流程示意图；
图2是本发明实施例中构建仿真模型体系的流程示意图；
图3是本发明实施例中无人艇对抗强化学习环境与任务规划学习器关系图；
图4是是本发明实施例无人艇对抗系统中终止规则的定义示意图；
图5是本发明一种水面无人艇任务规划学习器设计系统一个实施例提供的整体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
图1是本发明一种水面无人艇任务规划学习器设计方法一个实施例提供的整体流程示意图。
如图1所示，本发明实施例所述的方法包括：
S11：构建仿真模型体系；
S12：搭建强化学习环境；
S13：构建无人艇对抗场景；
其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；
所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；
所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。
需要说明的是，所述仿真模型构建，用于提供一种更具可行性和操作性的建模流程，逐步提炼、丰富和完善模型建模体系。模型是对现实或虚拟实物的抽象和描述，仿真模型体系是由仿真模型集合以及仿真模型之间的关系构成的集合。模型体系的研究内容包括模型体系设计、模型体系的结构、模型表示和模型设计与实现等。对于仿真系统，建立完整的模型体系架构可以统一模型的开发过程并提高模型质量。使用统一的模型框架可以提高模型整合和开发的效率。在接口层面，该模型体系提供了统一的模型接口，保证与仿真平台仿真调度的一致性和统一性。通过统一的接口方法描述，保证了模型仿真粒度的一致性。模型在仿真过程中产生的数据可以与其他模型产生的数据进行同步的数据交换，保证同一仿真场景下模型的数据的同步。
以上模型体系构建方法通过以下步骤完成，包括：确定仿真边界，确定仿真应用总体框架，界定仿真系统所研究的问题边界；确定仿真模型，根据仿真粒度确定所有参与仿真的模型，包括实体模型和组件模型，并确定其中的装配关系等；确定实体功能，研究每个模型组件和平台实体的仿真功能，确定模型解算功能的输入和输出，确定模型的仿真步长；实体演化过程从顶层实体模型开始，根据梳理出来的功能和指标，对顶层实体进行演化，同时将相应功能和指标赋予相应的演化实体；最后对所有实体和组件进行类别划分，将相似功能和类别的模型组件归属至同一类别。
进一步的，如图2所示，所述构建仿真模型体系，包括：
S21：确认仿真研究边界。
S22：梳理实体和组件类别清单。
具体的，根据对实体和组件实际运行原理的知识，以及对被研究仿真系统的掌握，结合仿真研究的目的，提炼出需要在仿真系统中模拟的对象，例如，指挥机构、阵营、固定设施、实体、组件构成等。
S23：梳理实体和组件功能清单。
具体的，确定出该实体能发起、参与、实施功能，例如任务行动、服务保障、实体运用、部件运行过程，保留实体和组件最核心的仿真过程，最后合并相似功能得到各个实体的功能清单。同时，整理实体模型功能时需要明确实体与组件的装配关系，通过装配关系拆分、整合功能逻辑，完善、补足实体的功能。
S24：对模型体系进行演化。
具体的，从最顶层的基类模型出发，根据各实体和组件的类别，演化出符合一类实体或组件共同特征的抽象基类，该基类提炼抽象了一类实体或组件共有的功能、通用的参数、相似的运行逻辑和输入输出等。通过演化的方式，把零散的实体和组件分门别类的归属到属于自己的抽象类中，高度提炼了实体和组件的功能和逻辑。在演化实体和组件抽象类的过程中，通过梳理组件之间、实体之间、组件和实体之间的数据交互关系、逻辑交互关系，提炼整理如下公共库和通用模型：
1)将用到的公用算法提炼出来，并形成通用数学、物理算法库；
2)将需要考虑到的环境因素和环境效果提炼出来形成综合环境模型；
3)将业务逻辑、决策逻辑和指令逻辑做提炼和区分，最后抽象为规则模型和决策模型；
4)考虑到环境因素，从弹药实体中抽取提炼得到不同毁伤模型；
5)从仿真应用的胜负判定角度，提炼得到裁决模型实体。
S25：判断演化出的模型体系是否完备；
完备性衡量指标决定了模型体系的质量和成熟度。
S26：当演化出的模型体系是完备时，形成仿真模型体系；否则重新执行S22-S26。
具体的，如果当前模型体系完备(即演化出的模型体系的完备性符合预设要求)则直接形成模型体系，采用面向对象建模理论中抽象、封装、泛化、分类、继承、归并、聚合等思想，结合代码自动生成方法，生成统一的模型开发模板；否则，从步骤S22开始一次新的迭代。
本发明实施例可实现构建的组件模型如表1所示，表1是水面无人艇典型对抗场景中组件模型列表。
Figure BDA0003680641800000061
表1
进一步的，所述搭建强化学习环境，包括：
基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台。无人艇对抗强化学习环境与任务规划学习器关系图如图3所示。
在强化学习算法模型训练或验证的过程中，引擎每仿真推演一步会向算法模型发送当前的环境状态数据，包括地图信息、实体的状态信息、上次动作单步仿真执行后的打分以及是否触发终止条件，算法模型接收到环境状态数据之后会生成新的决策指令，映射于无人艇动作空间中的某一动作，引擎获取到动作指令之后继续仿真推演一步循环此过程，直到触发终止条件或训练/验证过程终止。当触发终止条件时，算法模型会发送场景重置指令，仿真引擎此时会重入当前仿真环境的状态至起始时刻，重新开始新一局的算法模型训练或验证。
所述无人艇对抗场景，用于提供完备的想定编辑、地图编辑和模型开发能力，根据指定水面环境情况，绘制不同的场景的想定和地图。
进一步的，所述构建无人艇对抗场景，包括：
使用分布式并行仿真系统构建无人艇对抗模拟器的场景功能；进一步包括：六方格地图绘制、想定构建以及打分规则和终止规则设置。
进一步的，所述六方格地图用于展示场景地图属性信息；
所述场景地图属性信息，至少包含如下项中的一项：
经纬度坐标、地图横纵格行列格数、单元格的间隔大小、地形类型。
需要说明的是，所述场景地图属性信息并不限于以上几种，可以根据实际需求进行拓展。
无人艇对抗系统中终止规则的定义示例如图4所示，终止规则可结合当前整个场景所处的状态设定是否终止，并可指定阵营的得分，其中状态包括：
抵达目的地，ArriveAtTarget，表示实体抵达到目的地指定半径的范围圈内时对局终止，目的地可以是指定实体或位置；
存活数量，AliveCount，表示某个阵营当前实体存活的数量大于、小于或等于指定值时对局终止。
本发明实施例通过对实体ZB模型功能和参数的抽象(如指挥关系、聚合关系、编成关系等)、实体间关系的抽象以及实体和组件之间的装配关系的抽象，确定系统组成和功能并提炼通用的属性描述和方法描述，并最终构建一个完整的模型体系框架。无人艇对抗系统强化学习环境基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台。同时，该方法采用分布式并行仿真系统引入水面环境因素(如风浪、迷雾等)，绘制不同的场景的想定和地图；本发明实施例提供了一种面向强化学习的水面无人艇规划学习器设计方法，解决了现有技术中在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。
图5是本发明一种水面无人艇任务规划学习器设计系统一个实施例提供的整体结构示意图。
如图5所示，本发明实施例所述的系统，包括：
第一构建模块51，用于构建仿真模型体系；
搭建模块52，用于搭建强化学习环境；
第二构建模块53，用于构建无人艇对抗场景；
其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；
所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；
所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。
本实施例所述的水面无人艇任务规划学习器设计系统的工作原理与上文所述的水面无人艇任务规划学习器设计方法的工作原理相同，在此不再赘述。
本发明实施例提供的一种面向强化学习的水面无人艇规划学习器设计系统，能够解决现有技术中在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前面实施例所述的水面无人艇任务规划学习器设计方法。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种水面无人艇任务规划学习器设计方法，其特征在于，包括：
构建仿真模型体系；
搭建强化学习环境；
构建无人艇对抗场景；
其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；所述构建仿真模型体系包括：确认仿真研究边界、梳理实体和组件类别清单、梳理实体和组件功能清单、对模型体系进行演化，以得到完备性符合预设要求的仿真模型体系；
所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；所述搭建强化学习环境包括：基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台；
所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图；所述构建无人艇对抗场景包括：使用分布式并行仿真系统构建无人艇对抗模拟器的场景功能；进一步包括：六方格地图绘制、想定构建以及打分规则和终止规则设置。
2.根据权利要求1所述的方法，其特征在于，所述对模型体系进行演化，包括：
从顶层实体模型开始，根据梳理出来的功能和指标，对顶层实体进行演化，同时将相应功能和指标赋予相应的演化实体；对所有实体和组件进行类别划分，将相似功能和类别的模型组件归属至同一类别。
3.根据权利要求1所述的方法，其特征在于，
所述六方格地图用于展示场景地图属性信息；
所述场景地图属性信息，至少包含如下项中的一项：
经纬度坐标、地图横纵格行列格数、单元格的间隔大小、地形类型。
4.根据权利要求1所述的方法，其特征在于，
所述想定构建采用多层次递进式的建模思想和模型继承演化体系结构；
想定结构包括各个阵营兵种实体的配置、环境各实体的配置、规划的机动路线配置、各阵营编队实体配置和预置任务配置；
所述想定构建采用可扩展标记语言XML进行定义。
5.根据权利要求1所述的方法，其特征在于，
所述打分规则和终止规则设置，用于评价强化学习与环境进行交互产生动作的好坏，以指导强化学习系统产生正确的动作，改进行动方案以适应环境。
6.一种水面无人艇任务规划学习器设计系统，其特征在于，包括：
第一构建模块，用于构建仿真模型体系；
搭建模块，用于搭建强化学习环境；
第二构建模块，用于构建无人艇对抗场景；
其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；所述构建仿真模型体系包括：确认仿真研究边界、梳理实体和组件类别清单、梳理实体和组件功能清单、对模型体系进行演化，以得到完备性符合预设要求的仿真模型体系；
所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；所述搭建强化学习环境包括：基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台；
所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图；所述构建无人艇对抗场景包括：使用分布式并行仿真系统构建无人艇对抗模拟器的场景功能；进一步包括：六方格地图绘制、想定构建以及打分规则和终止规则设置。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的水面无人艇任务规划学习器设计方法。
CN202210636755.5A 2022-06-07 2022-06-07 一种水面无人艇任务规划学习器设计方法及系统 Active CN115114723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210636755.5A CN115114723B (zh) 2022-06-07 2022-06-07 一种水面无人艇任务规划学习器设计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210636755.5A CN115114723B (zh) 2022-06-07 2022-06-07 一种水面无人艇任务规划学习器设计方法及系统

Publications (2)

Publication Number Publication Date
CN115114723A CN115114723A (zh) 2022-09-27
CN115114723B true CN115114723B (zh) 2023-06-09

Family

ID=83326830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210636755.5A Active CN115114723B (zh) 2022-06-07 2022-06-07 一种水面无人艇任务规划学习器设计方法及系统

Country Status (1)

Country Link
CN (1) CN115114723B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456150B (zh) * 2022-10-18 2023-05-16 北京鼎成智造科技有限公司 一种强化学习模型构建方法及系统
CN116738867B (zh) * 2023-08-14 2023-10-31 厦门安智达信息科技有限公司 一种基于机器学习的无人机防御仿真方法及其系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836577B2 (en) * 2018-11-27 2023-12-05 Amazon Technologies, Inc. Reinforcement learning model training through simulation
CN109948228A (zh) * 2019-02-27 2019-06-28 中国舰船研究设计中心 一种基于装备参数化的对抗仿真及效能评估系统
CN112295229B (zh) * 2020-10-28 2023-04-07 中国电子科技集团公司第二十八研究所 一种智能博弈对抗平台
CN112364500B (zh) * 2020-11-09 2021-07-20 中国科学院自动化研究所 面向强化学习训练与评估的多并发实时对抗系统
CN112820164B (zh) * 2021-01-29 2022-08-12 北京华如科技股份有限公司 一种基于分层的行为模型的vr虚拟对抗训练系统
CN113589842B (zh) * 2021-07-26 2024-04-19 中国电子科技集团公司第五十四研究所 一种基于多智能体强化学习的无人集群任务协同方法
CN113705102B (zh) * 2021-08-31 2024-05-10 湖南苍树航天科技有限公司 海空集群对抗的推演仿真系统及方法、设备、存储介质
CN114510012A (zh) * 2022-02-16 2022-05-17 中国电子科技集团公司第五十四研究所 一种基于元动作序列强化学习的无人集群演进系统及方法

Also Published As

Publication number Publication date
CN115114723A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN115114723B (zh) 一种水面无人艇任务规划学习器设计方法及系统
CN113593351B (zh) 一种立体综合教学场系统的工作方法
CN108536964A (zh) 存储介质、卫星星座覆盖性能仿真分析方法及其系统
Ceylan Artificial Intelligence in Architecture: An Educational Perspective.
Cassola et al. A novel tool for immersive authoring of experiential learning in virtual reality
CN115048814A (zh) 一种面向人工环境控制的虚拟仿真交互实验系统及方法
CN109615956A (zh) 一种虚拟现实培训心理教育教学系统
CN109584660A (zh) 一种基于沉浸式虚拟现实技术的仿真教学系统
Muck et al. Conceptualizing design thinking artefacts: the Scene2Model storyboard approach
CN114655382A (zh) 一种船舶结构动力学分析结果的虚拟可视化系统及方法
Iino et al. Design Record Graph and Axiomatic Design for creative design education
CN114035447A (zh) 用于中小学人工智能教育图形化编程软件的硬件仿真器
Lei et al. Construction of urban design support system using cloud computing type virtual reality and case study
Al-Tahat An innovative instructional method for teaching object-oriented modelling.
CN114610271A (zh) Ai模型的定制方法、电子设备及计算机可读存储介质
CN116341064B (zh) 基于3DMax建模的智能变电站云系统的建模系统和方法
CN105093964B (zh) 工业电子嵌入式系统仿真用设备模型的构建方法
Brawner et al. Architecture and ontology in the generalized intelligent framework for tutoring: 2018 Update
Bai et al. The improvement of interactive learning efficiency based on virtual simulation technology
CN114399804A (zh) 一种基于3d模拟虚拟实验室教学实现方法、系统、介质及设备
Funke et al. Measurement and visualization of programming processes of primary school students in Scratch
Wang Teaching mode of mechanical manufacturing specialty based on the network teaching platform
Cherniavskyi et al. Modeling university environment: means and applications for university education
Huang et al. Analysis & design of field operation simulation system based on virtual reality
WO2023231781A1 (zh) 分布式协同ai任务评估方法、管理装置、控制装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant