CN117130492B - 基于混合实现的训练态势可视化系统及其实现方法 - Google Patents

基于混合实现的训练态势可视化系统及其实现方法 Download PDF

Info

Publication number
CN117130492B
CN117130492B CN202311405645.9A CN202311405645A CN117130492B CN 117130492 B CN117130492 B CN 117130492B CN 202311405645 A CN202311405645 A CN 202311405645A CN 117130492 B CN117130492 B CN 117130492B
Authority
CN
China
Prior art keywords
data
module
training
sub
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311405645.9A
Other languages
English (en)
Other versions
CN117130492A (zh
Inventor
吴玉峰
李宁
王国伟
安宇
魏丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202311405645.9A priority Critical patent/CN117130492B/zh
Publication of CN117130492A publication Critical patent/CN117130492A/zh
Application granted granted Critical
Publication of CN117130492B publication Critical patent/CN117130492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于混合实现的训练态势可视化系统及其实现方法、系统架构。该系统包括:数据轻量化驱动模块,被配置为获取虚拟空间的虚拟数据并进行预处理,获得对应于虚拟空间的第一数据驱动,其中虚拟数据包括训练环境模型数据和训练任务数据;人机交互模块,被配置为获取真实空间的实体数据并进行预处理,获得对应于真实空间的第一转换数据,其中实体数据包括训练空间定位数据和人机交互数据;态势可视化模块,被配置为依据数据轻量化驱动模块输出的第一数据驱动、人机交互模块输出的第一转换数据,获得训练态势数据并实现可视化交互展示。本申请基于混合现实技术进一步实现训练态势可视化的高性能呈现。

Description

基于混合实现的训练态势可视化系统及其实现方法
技术领域
本发明涉及混合现实技术技术领域,尤其涉及一种基于混合实现的训练态势可视化系统及其实现方法。
背景技术
训练态势是指对模拟训练的过程从抽象到具象、从平面到立体,对数据按照不同层级进行呈现的过程。随着混合现实技术的发展,训练态势可视化既可以使受训人员通过随身携带的混合现实系统看到真实的训练场景,而且可以看到场景中增加的各种实战化虚拟物体。同时,指挥人员通过在显示终端分析受控人员传回的动态数据,从而直接支撑感知-决策-指挥-行动的流程循环,将任务行动精确化,提升了指挥效率。但由于模拟训练的任务和模式具有多样性和复杂性特征,需要对训练任务进行重复推演和评估,特别是针对需要融合训练环境模型数据、训练任务数据、训练态势数据、训练空间定位数据和人机交互数据等多元应用数据的复杂需求,严重缺乏数据处理能力和系统性解决方案。因此,如何基于混合现实技术进一步实现训练态势的高性能可视化,是需要解决的技术问题。
发明内容
本发明意在提供一种基于混合实现的训练态势可视化系统及其实现方法、系统架构和电子设备、存储介质,以解决现有技术中存在的不足,本发明要解决的技术问题通过以下技术方案来实现。
第一方面,提出一种基于混合实现的训练态势可视化系统,包括数据轻量化驱动模块、人机交互模块和态势可视化模块;其中,
所述数据轻量化驱动模块,被配置为获取虚拟空间的虚拟数据并进行预处理,获得对应于所述虚拟空间的第一数据驱动;其中所述虚拟数据包括训练环境模型数据和训练任务数据;
所述人机交互模块,被配置为获取真实空间的实体数据并进行预处理,获得对应于所述真实空间的第一转换数据;其中所述实体数据包括训练空间定位数据和人机交互数据;
所述态势可视化模块,被配置为依据所述数据轻量化驱动模块输出的所述第一数据驱动、所述人机交互模块输出的所述第一转换数据,获得训练态势数据并实现可视化交互展示。
可选地,所述数据轻量化驱动模块包括轻量化预处理子模块;和/或,
所述轻量化预处理子模块对所述训练环境模型数据进行预处理,包括多边形轻量化、顶点归一化和多层次细节优化;和/或,
所述轻量化预处理子模块对所述训练任务数据进行预处理包括多模态分类和多模态优化。
可选地,所述数据轻量化驱动模块还包括轻量化驱动子模块;所述轻量化驱动子模块被配置为生成所述第一数据驱动,所述第一数据驱动包括模型轻量化驱动和数据对象轻量化驱动。
可选地,所述人机交互模块包括空间定位子模块和交互管理子模块;
所述空间定位子模块被配置为对所述训练空间定位数据进行边界定位和转换定位,获得虚实融合定位数据;和/或,
所述交互管理子模块被配置为对所述人机交互数据进行处理,获得交互指令数据;所述人机交互数据包括语音交互数据和姿态交互数据;和/或,
所述第一转换数据包括所述虚实融合定位数据和所述交互指令数据。
可选地,所述态势可视化模块包括场景融合子模块、实体交互控制子模块、态势驱动子模块和态势可视化子模块;其中,
所述场景融合子模块,被配置为对所述虚拟数据与所述实体数据进行融合;
所述实体交互控制子模块,被配置为依据预设的交互模式和交互方式,对所述交互指令数据进行控制响应;
所述态势驱动子模块,被配置为依据所述第一数据驱动和所述第一转换数据,对所述训练态势数据进行实时数据驱动操作和/或调用历史训练态势数据;
所述态势可视化子模块,被配置为依据数据展示需求,对经过驱动的所述训练态势数据进行多模态可视化展示交互;所述多模态包括文本模态、图像模态、视频模态和三维模态中的至少一种。
可选地,所述系统还包括数据管理模块,被配置为对基于混合实现空间生成的训练态势数据进行管理。
可选地,所述数据管理模块包括符号化管理子模块、结构化存储子模块、数据回放子模块、数据转换子模块和数据导出子模块;其中,
所述符号化管理子模块,被配置为对所述训练态势数据进行符号化表示;
所述结构化存储子模块,被配置为依据训练态势需求、数据类型和驱动方式,对所述训练态势数据进行节点标记操作和/或存储操作;
所述数据回放子模块,被配置为依据所述节点标记,对所述训练态势数据进行读取操作和/或回放操作;
所述数据转换子模块,被配置为依据指定模态,对所述训练态势数据进行转换操作;
所述数据导出子模块,被配置为依据指定格式,对所述态势数据进行导出操作。
第二方面,提出一种基于混合实现的训练态势可视化系统实现方法,包括:
获取虚拟空间的虚拟数据并进行预处理,获得对应于所述虚拟空间的第一数据驱动;其中所述虚拟数据包括训练环境模型数据和训练任务数据;
获取真实空间的实体数据并进行预处理,获得对应于所述真实空间的第一转换数据;其中所述实体数据包括训练空间定位数据和人机交互数据;
依据所述第一数据驱动、所述第一转换数据,获得训练态势数据并实现可视化交互展示;
对基于混合实现空间生成的训练态势数据进行管理。
第三方面,提出一种基于混合实现的训练态势可视化系统的系统架构,适用于第一方面所述的基于混合实现的训练态势可视化系统,所述系统架构包括数据层、计算层、空间层、交互层和可视化层;其中,所述系统的数据轻量化驱动模块和数据管理模块配置于所述计算层;所述系统的人机交互模块配置于所述交互层;所述系统的态势可视化模块位配置于所述可视化层。
第四方面,提出一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,所述处理器在执行所述计算机程序时,实现如第二方面所述方法的步骤。
第五方面,提出一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第二方面所述方法的步骤。
本发明实施例包括以下优点:
本发明实施例提供的基于混合实现的训练态势可视化系统包括数据轻量化驱动模块、人机交互模块、态势可视化模块和数据管理模块。本申请实现了在混合现实训练态势可视化过程中,对真实空间和虚拟空间数据的轻量化预处理、规范化引接和融合处理,在此基础上建立了训练态势可视化混合现实空间,实现了真实空间交互命令对虚拟空间多元应用数据的交互操作,同时通过面向混合现实应用框架的数据管理机制,对训练态势数据进行统一的存储、标记、查询与回放等操作,进一步实现训练态势可视化的高性能呈现。
附图说明
图1是本申请实施例的一种基于混合实现的训练态势可视化系统结构示意图;
图2是本申请实施例的一种基于混合实现的训练态势可视化系统实现方法流程示意图;
图3是本申请实施例的一种基于混合实现的训练态势可视化系统工作过程示意图;
图4是本申请实施例的一种基于混合实现的训练态势可视化系统的系统架构示意图。
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如背景技术所述,训练态势是指在模拟训练的过程从抽象到具象、从平面到立体,对数据按照不同层级进行呈现的过程。训练态势包括但不限于想定编辑、作战筹划、对抗控制等多种信息系统中必备的能力。在训练态势可视化呈现的过程中,受训人员通过随身携带的混合现实系统,不仅可以看到真实的训练场景,而且可以看到场景中增加的各种实战化虚拟物体,从而实现对作战人员的沉浸式训练,进一步提升培训演练的实际效果。另外,指挥人员通过在显示终端分析受控人员传回的动态数据,从而直接支撑感知-决策-指挥-行动的作战流程循环,将任务行动精确化,提升了指挥效率。由此可见,训练态势具有用户(包括但不限于受训人员和指挥人员)和训练环境之间的交互性强、态势变化速度快等特点。
随着混合现实技术的发展,训练态势可以为训练提供比传统训练和演习更加真实的战场环境,进一步提升训练的实战化水平。因此在模拟训练的过程中不但需要准备大量的基础数据,包括但不限于环境、装备等数据,同时还产生大量的动态数据,包括但不限于受训人员的交互、作战任务等数据。由于混合现实设备具有计算能力差、渲染能力弱等硬件设备固有的限制,模拟训练的数据管理显得尤为突出和重要。对于这些训练数据,参与模拟训练的人员,包括受训人员、指挥人员和系统维护人员,需要数字化的方法和工具来与这些训练数据进行交互,实现对训练任务的想定生成、编辑、回放、评估等功能。由于模拟训练的任务和模式具有多样性和复杂性特征,需要对训练任务进行重复推演和评估,该发明提出的方法和装置可以帮助用户实现训练态势的高性能可视化。
发明人检索到混合现实技术在模拟训练方面的应用已经有了一些进展。中国专利CN202211289812、CN202210297002、CN202211176772等均涉及了混合现实技术在模拟训练方面的技术应用。但是这些应用都没有根据混合现实硬件本身计算能力对软件系统中的模型数据和任务数据进行轻量化的适配处理,更没有构建规范化的基于混合现实的可视化框架,导致数据处理碎片化、展示手段混乱化。
目前,还没有针对混合现实应用模式的训练态势可视化策略和方法,特别是针对需要融合训练环境模型数据、训练任务数据、训练态势数据、训练空间定位数据和人机交互数据等多元应用数据的复杂需求,严重缺乏数据处理能力和系统性解决方案。特别是,在态势可视化初期,需要引接的多元应用数据量庞大、结构多样复杂,不同应用数据之间无法直接建立关联关系,如果不做处理将产生巨大的计算消耗,甚至导致系统崩溃和数据爆炸。在态势可视化中期,随着数据被调用和驱动的次数增多,混合现实态势可视化装置对可视化数据的可视化方法会导致效率发生明显降低,同时伴随交互数据的接入和处理,极易出现无效的数据驱动和可视化失效等现象。在态势可视化后期,对态势可视化的过程数据和状态数据难以进行有效的处理和存储。
所以,综上所述,混合现实训练态势可视化装置首先需要对引接的多元应用数据进行预处理,以保证在可视化中期能够保持稳定的系统性能对多元应用数据进行可视化,最后能够顺利对历史可视化数据进行处理和存储,从而完成一套完整的混合现实训练态势可视化过程。
实施例一:
本申请的目的是提供一套面向混合现实应用模式的训练态势可视化方案。在对训练态势可视化的过程中,该方案能够有效对多元应用数据执行混合现实规范化处理,构建了一种针对多元应用数据的模块化、轻量化处理流程,来实现混合现实应用模式下的训练态势可视化,以提高对多元应用数据的处理能力,提升训练态势可视化效果和系统性能,进一步对超大训练场景、超大训练规模的训练态势可视化提供稳定的技术支撑。
需要说明的,与现有的训练态势可视化系统相比,本申请实施例能够提供数据层面的计算和管理,为用户提供更加精准的训练态势感知能力;通过规范化真实空间和虚拟空间的数据轻量化标准和操作流程,大幅降低混合现实态势可视化过程中的计算成本和性能消耗,有效提升混合现实应用模式下的可视化效率;用户可以通过更多的自然交互方式对训练态势的可视化信息进行操作,增强了用户与可视化内容之间的互动和反馈能力,为用户对态势的理解和决策提供了较强的感知空间;训练态势可视化所产生的数据可以进行存储、计算以及回放,可以有效的将训练态势数据进行同类训练的迁移和仿真计算,大大提高了训练态势数据的利用率。
如图1所示,为本申请实施例的一种基于混合实现的训练态势可视化系统结构示意图,包括:数据轻量化驱动模块101、人机交互模块102和态势可视化模块103。
数据轻量化驱动模块101,被配置为获取虚拟空间的虚拟数据并进行预处理,获得对应于虚拟空间的第一数据驱动;其中虚拟数据包括训练环境模型数据和训练任务数据。
在一些实施例中,数据轻量化驱动模块101包括轻量化预处理子模块111。具体地,轻量化预处理子模块111能够预处理的数据包括训练环境模型数据和训练任务数据。
在一些实施例中,轻量化预处理子模块111对训练环境模型数据进行预处理,包括多边形轻量化、顶点归一化和多层次细节优化。
在一些实施例中,轻量化预处理子模块111对训练任务数据进行预处理包括多模态分类和多模态优化。
在一些实施例中,数据轻量化驱动模块101还包括轻量化驱动子模块112。轻量化驱动子模块被配置为生成第一数据驱动,第一数据驱动包括模型轻量化驱动和数据对象轻量化驱动。
人机交互模块102,被配置为获取真实空间的实体数据并进行预处理,获得对应于真实空间的第一转换数据;其中实体数据包括训练空间定位数据和人机交互数据。
在一些实施例中,人机交互模块102包括空间定位子模块211和交互管理子模块212;其中,
空间定位子模块211,被配置为对训练空间定位数据进行边界定位和转换定位,获得虚实融合定位数据。
交互管理子模块212,被配置为对人机交互数据进行处理,获得交互指令数据;人机交互数据包括语音交互数据和姿态交互数据。
在一些实施例中,第一转换数据包括虚实融合定位数据和交互指令数据。
态势可视化模块103,被配置为依据数据轻量化驱动模块输出的第一数据驱动、人机交互模块输出的第一转换数据,获得训练态势数据并实现可视化交互展示。
在一些实施例中,态势可视化模块103包括场景融合子模块311、实体交互控制子模块312、态势驱动子模块313和态势可视化子模块314;其中,
场景融合子模块311,被配置为对虚拟数据与实体数据进行融合;
实体交互控制子模块312,被配置为依据预设的交互模式和交互方式,对交互指令数据进行控制响应;
态势驱动子模块313,被配置为依据第一数据驱动和第一转换数据,对训练态势数据进行实时数据驱动操作和/或调用历史训练态势数据;
态势可视化子模块314,被配置为依据数据展示需求,对经过驱动的训练态势数据进行多模态可视化展示交互;多模态包括文本模态、图像模态、视频模态和三维模态中的至少一种。
在一些实施例中,基于混合实现的训练态势可视化系统还包括数据管理模块104,被配置为对基于混合实现空间生成的训练态势数据进行管理。
在一些实施例中,数据管理模块104包括符号化管理子模块411、结构化存储子模块412、数据回放子模块413、数据转换子模块414和数据导出子模块415;其中,
符号化管理子模块411,被配置为对训练态势数据进行符号化表示。
结构化存储子模块412,被配置为依据训练态势需求、数据类型和驱动方式,对训练态势数据进行节点标记操作和/或存储操作。
数据回放子模块413,被配置为依据节点标记,对训练态势数据进行读取操作和/或回放操作。
数据转换子模块414,被配置为依据指定模态,对训练态势数据进行转换操作。
数据导出子模块415,被配置为依据指定格式,对态势数据进行导出操作。
本发明实施例提供的基于混合实现的训练态势可视化系统包括数据轻量化驱动模块、人机交互模块、态势可视化模块和数据管理模块。本申请实现了在混合现实训练态势可视化过程中,对真实空间和虚拟空间数据的轻量化预处理、规范化引接和融合处理,在此基础上建立了训练态势可视化混合现实空间,实现了真实空间交互命令对虚拟空间多元应用数据的交互操作,同时通过面向混合现实应用框架的数据管理机制,对训练态势数据进行统一的存储、标记、查询与回放等操作,进一步实现训练态势可视化的高性能呈现。
实施例二:
基于图1所示的基于混合实现的训练态势可视化系统结构示意图,如图2所示,为本申请的一种基于混合实现的训练态势可视化系统实现方法流程示意图,所述方法包括:
S201:获取虚拟空间的虚拟数据并进行预处理,获得对应于所述虚拟空间的第一数据驱动;其中所述虚拟数据包括训练环境模型数据和训练任务数据。
S202:获取真实空间的实体数据并进行预处理,获得对应于所述真实空间的第一转换数据;其中所述实体数据包括训练空间定位数据和人机交互数据。
S203:依据所述第一数据驱动、所述第一转换数据,获得训练态势数据并实现可视化交互展示。
S204:对基于混合实现空间生成的训练态势数据进行管理。
具体地,结合图3,对基于混合实现的训练态势可视化系统实现方法进行详细说明。训练态势可视化分为3个阶段:训练态势可视化初期阶段、训练态势可视化中期阶段和训练态势可视化后期阶段。
具体地,在训练态势可视化初期阶段,虚拟空间和真实空间作为态势可视化数据的重要来源和组成部分,重点提供面向混合现实可视化的多元应用数据。
对于虚拟空间,其核心是数据轻量化驱动模块,该模块包括“轻量化预处理”和“轻量化驱动”两个子模块。轻量化预处理主要包括两个方面:第一,对训练环境模型数据进行预处理,包括但不限于多边形轻量化、顶点归一化和多层次细节优化;第二,对训练任务数据进行预处理,包括但不限于多模态分类和多模态优化。轻量化驱动主要包括两个方面:三维模型轻量化驱动和数据对象轻量化驱动。其中,三维模型轻量化驱动指的是根据混合现实显示特性和目标任务需求,对三维模型的显示等级、显示细节、显示模态等进行匹配,以达到最优的显示性能;数据对象轻量化驱动指的是根据任务数据的不同模态和任务传达方式,重点对训练任务数据进行文本、图像、视频等模态的多种驱动方法。
对于真实空间,其核心是人机交互模块,该模块包括“空间定位”和“交互管理”两个子模块。空间定位负责引接训练空间定位数据,包括但不限于边界定位和转换定位两个功能,边界定位指的是虚拟物体首次定位于真实物理表面时的可匹配边界的范围设定和定位计算限定,即确定了该混合现实应用场景的融合边界和计算边界;转换定位指的是交互介入后对虚拟物体进行偏移、缩放等通用转换时,虚拟物体的自身坐标系相对于真实物理表面的自适应适配。以上两个定位功能实现训练空间的虚实融合定位,并保持在态势展示过程中的定位稳定。交互管理负责引接人机交互数据,包括但不限于语音交互和姿态交互两个功能,语音交互指的是用户的语音数据输入,对语音文本的语义理解和关键词提取后形成可执行的交互命令对态势可视化进行操作;姿态交互指的是用户的姿态数据输入,对姿态进行识别和理解后形成可执行的交互命令对态势可视化进行操作。
具体地,在训练态势可视化中期阶段,混合现实空间作为训练态势可视化的核心空间,重点提供训练态势可视化的框架和逻辑,其中包括但不限于场景融合、实体交互控制、态势驱动和态势可视化四个模块。场景融合指的是虚拟数据与真实数据的融合;实体交互控制指的是对可交互实体的交互模式定义和交互方式定义;态势驱动指的是根据虚拟训练环境和交互命令的执行,对训练态势进行实时数据驱动和复盘数据驱动;态势可视化指的是根据数据展示需求对态势进行多模态可视化,包括但不限于文本模态、图像模态、视频模态、三维模态等。
具体地,在训练态势可视化后期阶段,混合现实空间作为训练态势数据管理的核心空间,重点提供训练态势数据的管理架构,其中包括但不限于结构化存储、数据回放、数据转换和数据导出四个模块。结构化存储指的是将用于态势可视化的数据进行节点标记,同时按照训练态势需求、数据类型和驱动方式进行存储;数据回放指的是将历史态势可视化数据进行调取与读取,可进行回放点设置,实现训练态势回放;数据转换指的是可以将态势可视化数据进行多模态转换,包括但不限于将三维数据转换为二维数据、将二维数据转换为文本数据等形式;数据导出指的是可以将态势可视化数据进行指定格式的导出,并应用于其他三维可视化软件,其支持的导出格式包括但不限于视频、图像、文本等。
需要说明的是,虚拟空间和真实空间的模块设置,是为混合现实可视化进行的数据管理和预处理,其目的是为了优化多元应用数据的复杂度,降低混合现实态势可视化的计算资源开销和渲染时间,从而提高混合现实态势可视化的实时性。
实施例三:
如图4所示,为本申请的基于混合实现的训练态势可视化系统的系统架构,所述系统架构包括数据层、计算层、空间层、交互层和可视化层。
具体地,数据层包括需要引接的多元应用数据,包括但不限于训练环境模型数据、训练任务数据、训练态势数据、训练空间定位数据和人机交互数据。
训练环境模型数据主要是指能够描述训练环境的各类数据,包括但不限于地形数据、植被数据、训练场地数据、训练设备数据、气候数据、训练特定设施数据等。
训练任务数据主要是指能够描述训练任务的各类数据,包括但不限于训练大纲数据、训练手册数据、训练想定数据、训练目标数据、训练流程数据等。
训练态势数据主要是指能够描述训练态势的各类数据,包括但不限于训练态势图像数据、训练态势文本数据、训练态势监测视频数据、训练态势随机事件数据等。
训练空间定位数据主要是指能够描述训练空间定位的各类数据,包括但不限于物理空间的识别范围数据、物理空间的识别参照物数据、物理空间的初始化定位数据等。
人机交互数据主要是指能够描述人在回路的交互方法数据,包括但不限于人体姿态数据、眼动数据、手势数据、语音数据等。
具体地,计算层包括对引接的多元应用数据进行面向混合现实可视化的各类计算处理,包括但不限于数据轻量化驱动、人机交互和数据管理等。
数据轻量化驱动主要是指能够描述多元应用数据“轻量化预处理”和“轻量化驱动”的功能模块。轻量化预处理主要包括两个方面:第一,对训练环境模型数据进行预处理,包括但不限于多边形轻量化、顶点归一化和多层次细节优化;第二,对训练任务数据进行预处理,包括但不限于多模态分类和多模态优化。轻量化驱动主要包括两个方面:三维模型轻量化驱动和数据对象轻量化驱动。其中,三维模型轻量化驱动指的是根据混合现实显示特性和目标任务需求,对三维模型的显示等级、显示细节、显示模态等进行匹配,以达到最优的显示性能;数据对象轻量化驱动指的是根据任务数据的不同模态和任务传达方式,重点对训练任务数据进行文本、图像、视频等模态的多种驱动方法。
人机交互主要是指能够描述“空间定位”和“交互管理”的功能模块。空间定位负责引接训练空间定位数据,包括但不限于边界定位和转换定位两个功能,交互管理负责引接人机交互数据,包括但不限于语音交互、姿态交互、手势交互、眼动交互等,并且将不同模态的交互数据转换为可以执行的操作命令。在一些实施实例中,人机交互始终贯穿混合现实态势可视化的过程中。
数据管理主要是指能够描述训练态势数据的管理架构,其中包括但不限于结构化存储、数据回放、数据转换和数据导出等。在一些实施实例中,数据管理始终贯穿混合现实态势可视化的过程中。
具体地,空间层包括真实空间、虚拟空间和混合现实空间。
真实空间主要为混合现实态势可视化提供真实训练空间定位数据和人机交互数据。
虚拟空间主要为混合现实态势可视化提供虚拟训练环境数据、多种虚拟模态的训练任务数据。
混合现实空间主要是训练态势的可视化空间,融合了真是空间和虚拟空间的多元应用数据,并且执行人在回路的交互命令,完成训练态势的可视化过程。
具体地,交互层指的是人机自然交互,包括但不限于对语音交互、姿态交互、手势交互、眼动交互等数据的输入和识别,包括但不限于态势可视化过程中的信息反馈,从而构成人机交互的闭环。
具体地,可视化层包括但不限于训练态势三维模态、训练态势视频模态、训练态势图像模态、训练态势文本模态等。可视化层主要是指在混合现实空间中,在场景融合、实体交互控制和态势驱动后,对训练态势数据的具体可视化形式。不同的可视化形式是由训练态势任务需求、目标用户的混合现实硬件支撑能力等因素共同决定的;不同形式的可视化都是由精确数据驱动产生的,并且都包含具体的呈现数据。
实施例四:
图5是本申请实施例提供的电子设备5的示意图。如图5所示,该实施例的电子设备5包括:处理器501、存储器502以及存储在该存储器502中并且可在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者,处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。
电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解,图5仅仅是电子设备5的示例,并不构成对电子设备5的限定,可以包括比图示更多或更少的部件,或者不同的部件。
存储器502可以是电子设备5的内部存储单元,例如,电子设备5的硬盘或内存。存储器502也可以是电子设备5的外部存储设备,例如,电子设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。存储器502还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。
处理器501可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器501从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成共享资源访问控制装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取虚拟空间的虚拟数据并进行预处理,获得对应于所述虚拟空间的第一数据驱动;其中所述虚拟数据包括训练环境模型数据和训练任务数据;
获取真实空间的实体数据并进行预处理,获得对应于所述真实空间的第一转换数据;其中所述实体数据包括训练空间定位数据和人机交互数据;
依据所述第一数据驱动、所述第一转换数据,获得训练态势数据并实现可视化交互展示;
对基于混合实现空间生成的训练态势数据进行管理。
上述如本说明书图2所示实施例揭示的基于混合实现的训练态势可视化系统实现方法可以应用于处理器501中,或者由处理器501实现。处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
当然,除了软件实现方式之外,本说明书实施例的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
实施例五:
本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图2所示实施例的基于混合实现的训练态势可视化系统实现方法,并具体用于执行以下方法:
获取虚拟空间的虚拟数据并进行预处理,获得对应于所述虚拟空间的第一数据驱动;其中所述虚拟数据包括训练环境模型数据和训练任务数据;
获取真实空间的实体数据并进行预处理,获得对应于所述真实空间的第一转换数据;其中所述实体数据包括训练空间定位数据和人机交互数据;
依据所述第一数据驱动、所述第一转换数据,获得训练态势数据并实现可视化交互展示;
对基于混合实现空间生成的训练态势数据进行管理。
总之,以上该仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书的保护范围之内。
应该指出,上述详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式。此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位,如旋转90度或处于其他方位,并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中,参考了附图,附图形成本文的一部分。在附图中,类似的符号典型地确定类似的部件,除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下,其他实施方案可以被使用,并且可以作其他改变。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于混合实现的训练态势可视化系统,其特征在于,包括:数据轻量化驱动模块、人机交互模块和态势可视化模块;其中,
所述数据轻量化驱动模块,被配置为获取虚拟空间的虚拟数据并进行预处理,获得对应于所述虚拟空间的第一数据驱动;其中所述虚拟数据包括训练环境模型数据和训练任务数据;所述数据轻量化驱动模块包括轻量化预处理子模块和轻量化驱动子模块;所述轻量化预处理子模块用于对所述训练环境模型数据进行预处理,包括多边形轻量化、顶点归一化和多层次细节优化,和/或对所述训练任务数据进行预处理包括多模态分类和多模态优化;所述数据轻量化驱动模块用于生成所述第一数据驱动,所述第一数据驱动包括模型轻量化驱动和数据对象轻量化驱动;
所述人机交互模块,被配置为获取真实空间的实体数据并进行预处理,获得对应于所述真实空间的第一转换数据;其中所述实体数据包括训练空间定位数据和人机交互数据;
所述态势可视化模块,被配置为依据所述数据轻量化驱动模块输出的所述第一数据驱动、所述人机交互模块输出的所述第一转换数据,获得训练态势数据并实现可视化交互展示。
2.根据权利要求1所述的系统,其特征在于,所述人机交互模块包括空间定位子模块和交互管理子模块;
所述空间定位子模块被配置为对所述训练空间定位数据进行边界定位和转换定位,获得虚实融合定位数据;和/或,
所述交互管理子模块被配置为对所述人机交互数据进行处理,获得交互指令数据;所述人机交互数据包括语音交互数据和姿态交互数据;和/或,
所述第一转换数据包括所述虚实融合定位数据和所述交互指令数据。
3.根据权利要求2所述的系统,其特征在于,所述态势可视化模块包括场景融合子模块、实体交互控制子模块、态势驱动子模块和态势可视化子模块;其中,
所述场景融合子模块,被配置为对所述虚拟数据与所述实体数据进行融合;
所述实体交互控制子模块,被配置为依据预设的交互模式和交互方式,对所述交互指令数据进行控制响应;
所述态势驱动子模块,被配置为依据所述第一数据驱动和所述第一转换数据,对所述训练态势数据进行实时数据驱动操作和/或调用历史训练态势数据;
所述态势可视化子模块,被配置为依据数据展示需求,对经过驱动的所述训练态势数据进行多模态可视化展示交互;所述多模态包括文本模态、图像模态、视频模态和三维模态中的至少一种。
4.根据权利要求1至3任一项所述的系统,其特征在于,所述系统还包括数据管理模块,被配置为对基于混合实现空间生成的训练态势数据进行管理。
5.根据权利要求4所述的系统,其特征在于,所述数据管理模块包括符号化管理子模块、结构化存储子模块、数据回放子模块、数据转换子模块和数据导出子模块;其中,
所述符号化管理子模块,被配置为对所述训练态势数据进行符号化表示;
所述结构化存储子模块,被配置为依据训练态势需求、数据类型和驱动方式,对所述训练态势数据进行节点标记操作和/或存储操作;
所述数据回放子模块,被配置为依据所述节点标记,对所述训练态势数据进行读取操作和/或回放操作;
所述数据转换子模块,被配置为依据指定模态,对所述训练态势数据进行转换操作;
所述数据导出子模块,被配置为依据指定格式,对所述态势数据进行导出操作。
6.一种基于混合实现的训练态势可视化系统实现方法,其特征在于,包括:
获取虚拟空间的虚拟数据并进行预处理,获得对应于所述虚拟空间的第一数据驱动;其中所述虚拟数据包括训练环境模型数据和训练任务数据;所述获取虚拟空间的虚拟数据并进行预处理包括轻量化预处理和轻量化驱动;所述轻量化预处理包括对所述训练环境模型数据进行预处理,包括多边形轻量化、顶点归一化和多层次细节优化,和/或对所述训练任务数据进行预处理包括多模态分类和多模态优化;所述轻量化驱动包括生成所述第一数据驱动,所述第一数据驱动包括模型轻量化驱动和数据对象轻量化驱动;
获取真实空间的实体数据并进行预处理,获得对应于所述真实空间的第一转换数据;其中所述实体数据包括训练空间定位数据和人机交互数据;
依据所述第一数据驱动、所述第一转换数据,获得训练态势数据并实现可视化交互展示;
对基于混合实现空间生成的训练态势数据进行管理。
7.一种基于混合实现的训练态势可视化系统的系统架构,其特征在于,适用于权利要求1至5任一项所述的基于混合实现的训练态势可视化系统,所述系统架构包括数据层、计算层、空间层、交互层和可视化层;其中,所述系统的数据轻量化驱动模块和数据管理模块配置于所述计算层;所述系统的人机交互模块配置于所述交互层;所述系统的态势可视化模块位配置于所述可视化层。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求6所述方法的步骤。
CN202311405645.9A 2023-10-27 2023-10-27 基于混合实现的训练态势可视化系统及其实现方法 Active CN117130492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311405645.9A CN117130492B (zh) 2023-10-27 2023-10-27 基于混合实现的训练态势可视化系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311405645.9A CN117130492B (zh) 2023-10-27 2023-10-27 基于混合实现的训练态势可视化系统及其实现方法

Publications (2)

Publication Number Publication Date
CN117130492A CN117130492A (zh) 2023-11-28
CN117130492B true CN117130492B (zh) 2024-01-23

Family

ID=88860441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311405645.9A Active CN117130492B (zh) 2023-10-27 2023-10-27 基于混合实现的训练态势可视化系统及其实现方法

Country Status (1)

Country Link
CN (1) CN117130492B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049947A (ko) * 2009-11-06 2011-05-13 국방과학연구소 네트워크 기반 훈련을 위한 함정전투체계의 훈련시스템 및 그 운용방법
CN112099620A (zh) * 2020-08-11 2020-12-18 中国人民解放军军事科学院国防科技创新研究院 一种面向士兵及班组作战的战斗协同系统及方法
CN112114860A (zh) * 2020-09-28 2020-12-22 北京开云互动科技有限公司 一种虚拟现实内容产出与应用一体化平台
WO2021118237A1 (ko) * 2019-12-10 2021-06-17 주식회사 피앤씨솔루션 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템
CN114612640A (zh) * 2022-03-24 2022-06-10 航天宏图信息技术股份有限公司 一种基于混合现实技术的天基态势仿真系统
CN115620579A (zh) * 2022-10-20 2023-01-17 路惠捷 模拟训练方法、装置、计算机设备及存储介质
CN116168586A (zh) * 2022-12-28 2023-05-26 成都西南信息控制研究院有限公司 沉浸式地面运载装备模拟训练系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049947A (ko) * 2009-11-06 2011-05-13 국방과학연구소 네트워크 기반 훈련을 위한 함정전투체계의 훈련시스템 및 그 운용방법
WO2021118237A1 (ko) * 2019-12-10 2021-06-17 주식회사 피앤씨솔루션 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템
CN112099620A (zh) * 2020-08-11 2020-12-18 中国人民解放军军事科学院国防科技创新研究院 一种面向士兵及班组作战的战斗协同系统及方法
CN112114860A (zh) * 2020-09-28 2020-12-22 北京开云互动科技有限公司 一种虚拟现实内容产出与应用一体化平台
CN114612640A (zh) * 2022-03-24 2022-06-10 航天宏图信息技术股份有限公司 一种基于混合现实技术的天基态势仿真系统
CN115620579A (zh) * 2022-10-20 2023-01-17 路惠捷 模拟训练方法、装置、计算机设备及存储介质
CN116168586A (zh) * 2022-12-28 2023-05-26 成都西南信息控制研究院有限公司 沉浸式地面运载装备模拟训练系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Review of Intelligent Vision Enhancement Technology for Battlefield;Yufeng Wu等;Wireless Communications and Mobile Computing;第1-13页 *
AR场景中的基础态势数据展示与优化;安宇等;计算机与现代化;第30-34页 *
dTank Update: Steps Towards Exploring Moderator-Influenced Behavior in a Light-weight Synthetic Environment;Frank E. Ritter等;Behaviour Representation in Modeling and Simulation Conference;第1-8页 *
Improving Situational Awareness in Military Operations using Augmented Reality;Alejandro Mitaritonna等;WSCG 2015 Conference on Computer Graphics, Visualization and Computer Vision;第53-58页 *
增强现实在军事模拟训练中的应用研究;朱恩成等;第三届中国指挥控制大会论文集(下册);第954-957页 *
数据驱动的指控系统增强现实电子沙盘设计与开发;李勇等;空天防御;第27-33页 *

Also Published As

Publication number Publication date
CN117130492A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
US11538229B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
Wang et al. A comprehensive survey of augmented reality assembly research
CN107463601B (zh) 基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质
CN110765620B (zh) 飞行器视景仿真方法、系统、服务器及存储介质
CN109529338B (zh) 对象控制方法、装置、电子设计及计算机可读介质
CN105051792A (zh) 用于使用深度映射和光源合成增强3d图像的设备
CN103460253A (zh) 用于图形处理的像素值精简
CN103150759A (zh) 一种对街景图像进行动态增强的方法和装置
CN102520793A (zh) 基于手势识别的会议演示交互方法
US20220207913A1 (en) Method and device for training multi-task recognition model and computer-readable storage medium
Li Film and TV animation production based on artificial intelligence AlphaGd
Zhang et al. The Application of Folk Art with Virtual Reality Technology in Visual Communication.
CN115774774A (zh) 使用自然语言处理从游戏日志中提取事件信息
JP2022081613A (ja) 自動運転特徴の特定方法、装置、設備、媒体及びコンピュータプログラム
CN113989462A (zh) 一种基于增强现实的铁路信号室内设备维护系统
Mohamed Deep learning for spatial computing: augmented reality and metaverse “the Digital Universe”
CN117130492B (zh) 基于混合实现的训练态势可视化系统及其实现方法
CN106445153A (zh) 一种用于智能机器人的人机交互方法及装置
Cui et al. Multimedia display of wushu intangible cultural heritage based on interactive system and artificial intelligence
US20230169680A1 (en) Beijing baidu netcom science technology co., ltd.
CN108776543B (zh) 一种沉浸式时空数据可视分析多视图布局方法和系统
Kaswan et al. AI‐Based AR/VR Models in Biomedical Sustainable Industry 4.0
Landa Problems analysis and solutions for the establishment of augmented reality technology in maintenance and education
Xu [Retracted] The Application of Interactive Visualization and Computer Vision in Intelligent Education Based on Big Data AI Technology
Tang et al. Using augmented reality techniques to simulate training and assistance in electric power

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant