CN114912259A - 一种面向任务的虚拟飞机座舱建模仿真验证系统及方法 - Google Patents
一种面向任务的虚拟飞机座舱建模仿真验证系统及方法 Download PDFInfo
- Publication number
- CN114912259A CN114912259A CN202210464897.8A CN202210464897A CN114912259A CN 114912259 A CN114912259 A CN 114912259A CN 202210464897 A CN202210464897 A CN 202210464897A CN 114912259 A CN114912259 A CN 114912259A
- Authority
- CN
- China
- Prior art keywords
- task
- simulation
- module
- display
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 196
- 238000012795 verification Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003993 interaction Effects 0.000 claims abstract description 76
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000009877 rendering Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 9
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 8
- 238000013210 evaluation model Methods 0.000 claims description 6
- 230000035484 reaction time Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 29
- 238000012827 research and development Methods 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005662 electromechanics Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明总体上属于飞机座舱显控设计及虚拟仿真领域,具体涉及一种面向任务的虚拟飞机座舱建模仿真验证系统及方法。目前的仿真设计只限于静态的设计概念演示,不具备面向任务过程的仿真验证能力。本发明将数字样机任务仿真模块、人机辅助智能决策模块、虚拟显控仿真模块、任务视景仿真显示模块、数据记录及任务评估模块、用户交互模块融为一体,能够实现座舱界面及显控系统快速原型建模,面向空中对抗任务,对座舱虚拟显控系统及人机辅助智能决策软件进行系统仿真验证和评估。通过数字化设计的方法对显控系统进行快速原型设计,并能让用户进行沉浸式的任务实时交互和评估,进行快速迭代优化设计和验证,大大缩短系统设计及验证周期,降低研发成本。
Description
技术领域
本发明总体上属于飞机座舱显控设计及虚拟仿真领域,具体涉及一种面向任务的虚拟飞机座舱建模仿真验证系统及方法。
背景技术
随着飞机任务从单平台向体系分布式协同任务演进,对飞机座舱的态势信息呈现、控制交互等提出了更高的要求,同时随着电子信息技术与人工智能技术的发展,各种先进传感和任务软件的快速迭代,使得飞机升级改型也变得越来越频繁,为座舱的显控交互系统的集成设计与迭代优化带来了巨大的挑战。
在目前传统的飞机座舱设计中,座舱的显控交互设计与系统设计、开发、生产各系统环节的融合深度不够,通常因人机工效研究工具及验证方法的缺乏而致使效果受限,最终飞机座舱难以实现安全、高效、舒适的目标,限制了装备系统性能的充分发挥。
虚拟仿真技术的发展,特别是基于沉浸式虚拟现实仿真技术的演进,为飞机座舱的设计和验证提供了可行的技术途径,但目前的仿真设计只限于静态的设计概念演示,不具备面向任务过程的仿真验证能力,亟需搭建面向任务过程的座舱人机界面快速原型设计开发工具与沉浸式虚拟动态验证平台,让设计者或用户进入虚拟的任务环境中操作座舱人机系统,检验系统的设计方案和及其操作性能的合理性,对座舱人机系统的效能进行合理的评估,从而进行快速迭代优化设计和验证,进而缩短系统设计及验证周期,使其性能指标更接近于任务操作要求。
发明内容
本发明在新型飞机座舱的设计阶段,提供快速原型设计工具与面向任务对抗过程的虚拟仿真验证平台,实现基于客观数据的人机协同效能评估、分析,为飞机座舱交互设计与验证提供系统的解决方案。
本发明的目的是解决在实际科研工作中没有一套面向飞机座舱对抗任务,能够对座舱原型界面、新型人机交互技术以及辅助决策应用进行系统验证的工具的问题,实现一种面向任务的虚拟飞机座舱建模仿真验证系统及方法,有效的将数字样机任务仿真模块、人机辅助智能决策模块、虚拟显控仿真模块、任务视景仿真显示模块、数据记录及任务评估模块、用户交互模块融为一体,能够实现座舱界面及显控系统快速原型建模,并能面向空中对抗任务,对座舱虚拟显控系统及人机辅助智能决策软件进行系统仿真验证和评估。
本发明在一个方面,提供了一种面向任务的虚拟飞机座舱建模仿真验证系统,该系统包括数字样机任务仿真模块、虚拟显控仿真模块、任务视景仿真显示模块、人机辅助智能决策模块、用户交互模块以及数据记录及任务评估模块;
其中数字样机任务仿真模块提供任务仿真数据激励源,为虚拟显控仿真模块以及任务视景仿真显示模块提供显示驱动数据,为人机辅助智能决策模块提供仿真解算数据,接收并处理用户交互模块及人机辅助智能决策模块的控制输入,实现对仿真数字样机的实时控制;
虚拟显控仿真模块和任务视景仿真显示模块通过订阅人机辅助智能决策模块以及数字样机任务仿真模块的显示逻辑、音频播放逻辑信息以及飞机数字样机的状态信息,实现基于任务对抗环境仿真的视景呈现渲染和虚拟飞机显控系统的仿真渲染,并将渲染处理的显示及音频数据以近实时的方式,送到用户交互模块进行播放和显示;
人机辅助智能决策模块基于用户交互模块的控制输入、任务状态以及数字样机任务仿真模块提供的功能接口为约束条件,对显示逻辑与控制功能进行综合处理,对数字样机任务仿真模块进行任务操作,并对虚拟显控仿真模块和任务视景仿真显示模块的渲染显示机制进行分配;
用户交互模块让用户基于交互硬件与虚拟显控仿真模块以及任务视景仿真显示模块进行实时交互,支持人机辅助智能决策模块、虚拟显控仿真模块、任务视景仿真显示模块和数据记录及任务评估模块的应用;
数据记录及任务评估模块对系统各个功能模块的进行实时记录,并基于客观数据对人机协同效能进行评估评估、分析。
有利地,所述显示驱动数据包括用于显控交互的航电、传感器和导航数据。
有利地,所述数字样机任务仿真模块主要包括数字样机与显控交互接口组件、飞机数字样机模组并提供DCS-World任务仿真环境,在飞机数字样机模组内进行飞控仿真解算、火控仿真解算、航电/机电仿真解算以及传感器仿真解算,在DCS-World任务仿真环境中进行对抗环境解算、HLA网络建立、飞机AI智能体建立、对抗控制解算以及有人驾驶对手建立。
有利地,虚拟显控仿真模块包括飞机座舱的头显、下显、备份显示器、座舱三维模型以及控制面板,控制显示与控制逻辑以及虚拟的增强显示面板的虚拟界面。
有利地,任务视景仿真显示模块包括了各种地形模型、机场模型、天气模型、地面目标模型以及空中目标模型。
有利地,所述交互硬件包括AR、VR设备、语音交互设备、手势交互设备、眼动追踪设备以及Hotas杆。
有利地,所述用户交互模块接收虚拟显控仿真模块及任务视景仿真显示模块驱动生成的音频及视频数据,在虚拟/增强现实显示设备中进行显示播放。
有利地,所述数据记录及任务评估模块包括可编辑定义的绩效评估模型,根据绩效评估模型生成反应时、任务完成率、准确率。
有利地,各个模块分类部署在不同计算机上,并通过交换机将驻留计算机连接在一起。
另一方面,本发明还提供一种面向任务的虚拟飞机座舱建模仿真验证方法,该方法利用上述的虚拟飞机座舱建模仿真验证系统,包括以下步骤:
步骤1:在任务仿真环境中配置多机对抗任务;
步骤2:启动原型建模与仿真系统,加载任务信息;
步骤3:操作人员坐进座舱,穿戴上虚拟现实设备,根据任务流程进行任务操作,并在进入指定空域后,进行对抗任务操作;
步骤4:数据记录与任务评估模块对用户控制操作信息、任务场景信息、飞机运动轨迹、人机辅助智能决策模块操控信息、任务执行结果、任务反应时、任务完成率、准确率结果记录与导出,此外通过表格记录用户的主观评价结果;
步骤5:根据人机辅助智能决策模块在任务测评中出现的功能完整性以及性能指标评估结果进行功能完善;
步骤6:根据虚拟显控仿真模块的主观评估结果优化修改虚拟显控的三维模型及UI界面;
步骤7:重新启动快速原型建模与仿真系统,进行第二轮的评估迭代验证和优化。
本发明的优点和有益效果:
第一,本发明针对飞机座舱智能显控系统的设计并面向任务过程进行开发,可以通过数字化设计的方法对显控系统进行快速原型设计,并能让用户进行沉浸式的任务实时交互和评估,进行快速迭代优化设计和验证,可以大大缩短系统设计及验证周期,降低研发成本。
第二,本发明中的智能人机交互应用层为动态配置的应用服务,可以在虚拟任务场景中进行可视化的任务操作和绩效评估后,基于客观的任务评估数据对智能人机决策模型的结构、参数进行优化。
第三,本发明中的虚拟显控交互仿真层基于开源的Unity-3D引擎开发,可以满足2D、3D三维模型的快速导入渲染及动态场景生成要求,通过修改引擎代码与脚本文件,能将真实的物理座舱模型与虚拟显控界面的实现动态的融合在一起,从而能够快速完成原型构建与仿真验证。
第四,本发明各个应用层均采用了DDS网络通信机制,通过内容分发和订阅的机制实现了软件模块之间的接口通信,方便在不同的硬件系统上的部署,大大降低了系统的集成难度,同时也提高了应用模块的复用性。
已经讨论的特征、功能和优点可在各种示例中独立实现,或者可以在其他示例中进行组合。可参照以下描述和附图看出示例的其他细节。
附图说明
当结合附图阅读时,通过参考以下对本发明示例的详细描述,将最好地理解例示性示例以及优选的使用模式、其他目的及其描述,其中:
图1是本发明虚拟飞机座舱建模仿真验证系统的整体架构图;
图2是系统的硬件构成关系示例图;
图3是本发明虚拟飞机座舱建模仿真验证系统的执行流程框图;
图4是虚拟显控交互仿真层对应用户座舱显控交互界面的渲染图;
图5是虚拟显控交互仿真层对的地面机场模型的渲染图;
图6是虚拟显控交互仿真层对任务对抗环境的渲染图。
具体实施方式
将参照附图更充分地描述所公开的示例,在附图中示出了所公开示例中的一些(但并非全部)。事实上,可描述许多不同的示例并且这些示例不应该被解释为限于本文中阐述的示例。相反,描述这些示例,使得本公开将是彻底和完全的,并且将把本公开的范围充分传达给本领域的技术人员。
参见图1所示实施例,面向任务的虚拟飞机座舱建模仿真验证系统依据自定义的系统框架完成开发,包括数字样机任务仿真模块、虚拟显控仿真模块、任务视景仿真显示模块、人机辅助智能决策模块、用户交互模块以及数据记录及任务评估模块。
其中,数字样机任务仿真模块对应于底层的飞机数字样机操纵及任务响应层,虚拟显控仿真模块和任务视景仿真显示模块对应用于中间渲染的虚拟显控交互仿真层,人机辅助智能决策模块对应于智能人机交互应用层,用户交互模块对应于用户操作及显示层,数据记录及任务评估模块对应于智能人机交互评估验证层。
数字样机任务仿真模块作为任务仿真数据激励源,主要为虚拟显控仿真模块以及任务视景仿真显示模块提供显示驱动数据,并为人机辅助智能决策模块提供用于显控交互的航电、传感器、导航等仿真解算数据,接收并处理用户交互模块及人机辅助智能决策模块的控制输入,实现对仿真数字样机的实时控制。
数字样机任务仿真模块主要包括数字样机与显控交互接口组件、飞机数字样机模组并提供DCS-World任务仿真环境。其中,数字样机与显控交互接口组件和飞机数字样机模组基于开源DCS-World任务仿真环境提供的SDK开发工具包进行开发。在飞机数字样机模组内进行飞控仿真解算、火控仿真解算、航电/机电仿真解算以及传感器仿真解算。在DCS-World任务仿真环境中进行对抗环境解算、HLA网络建立、飞机AI智能体建立、对抗控制解算以及有人驾驶对手建立。
数字样机任务仿真模块,主要用于获取数字样机的飞控、火控、航电、机电、机电及传感器的仿真数据,以及DCS-World数字任务仿真环境的对抗目标信息、气象、地理环境等数据,并通过DDS通信发布到网络中,用于各个模块的仿真显示与计算处理。同时,该模块还通过DDS通信协议订阅用户交互模块以及人机辅助智能决策模块的飞控、传感器以及航电设备等控制信息,进而转化成数字样机指定的控制指令,对数字样机模组进行飞行控制、传感器控制等任务操作。飞机数字样机模组则是利用DCS-World仿真环境的提供开源代码与接口函数,形成具有飞控、火控、航电、机电以及传感器仿真解算功能的完整数字样机。该飞机数字样机模组能通过内部接口函数调用,实现与DCS-World对抗数字对抗环境及其它战术单元进行数据解算和交联,完成单机、双机、多机等对抗任务仿真。
虚拟显控仿真模块和任务视景仿真显示模块主要用于实现基于任务对抗环境仿真的视景呈现渲染和虚拟飞机显控系统的仿真渲染,其主要是在Unity-3D开源的混合现实引擎中进行开发,主要工作机制是通过DDS通信协议从网络中订阅人机辅助智能决策模块以及数字样机任务仿真模块的显示逻辑及音频播放逻辑信息以及飞机数字样机状态信息,对3D-MAX、MAYA以及Photoshop等软件形成的二三维模型,在Unity-3D软件引擎中进行模型、动画各类信息数据的存储及与渲染计算,并将渲染处理的显示及音频数据以近实时的方式,送到用户交互模块的硬件设备进行播放和显示。其中,虚拟\混合现实的虚拟显控仿真模块包括了飞机座舱的头显、下显、备份显示器、座舱三维模型以及控制面板,控制显示与控制逻辑以及虚拟的增强显示面板的虚拟界面。任务视景仿真显示模块包括了各种地形模型、机场模型、天气模型、地面目标模型以及空中目标模型等。
人机辅助智能决策模块主要功能是基于用户交互模块的控制输入、任务状态以及数字样机任务仿真模块提供的功能接口为约束条件,基于任务绩效、交互效率等为基本准则,对人机交互相关的显示逻辑与控制功能进行综合处理,辅助用户完成指定功能的任务操作和显示逻辑切换。主要工作机制是利用DDS通信协议,订阅用户交互模块的控制信息、数字样机任务仿真模块的飞机系统与任务系统信息,基于可自定义配置的人机决策模型,实现多通道人机交互、动态任务信息推显分配以及任务辅助/自主决策等功能,并通过DDS协议的Topic信息,对数字样机任务仿真模块进行任务操作,并对虚拟显控仿真模块和任务视景仿真显示模块的渲染显示机制进行分配。
用户交互模块的主要功能是让飞行员和设计者基于AR、VR设备、语音交互设备、手势交互设备、眼动追踪设备以及Hotas杆等硬件,与虚拟显控仿真模块以及任务视景仿真显示模块进行实时交互。用户交互模块基于交互设备的API接口及驱动组件进行开发,交互设备提供的驱动组件及Windows接口API将各种控制信息通过用户交互模块(眼动追踪信息、Hotas杆操作信息、手势及虚拟触控信息)发布到DDS网络中,支持人机辅助智能决策模块、虚拟显控仿真模块、任务视景仿真显示模块和数据记录及任务评估模块的应用。
某实施例中,用户交互模块基于Windows操作系统的接口API及Hotas杆、LeapMotion手势识别设备、HTC Pro-eye虚拟现实眼镜、图斯玛特Hotas操纵杆及油门台等交互设备提供的驱动程序,在Visual-Studio中开发用户交互模块,实现接口控制数据采集,并将控制信息用DDS通信协议发送到系统网络中。另外,HTC Pro-Eye虚拟现实眼镜VR设备等交互设备通过USB、HDMI、DP等接口,接收虚拟显控仿真模块和任务视景仿真显示模块生成的音频及视频数据进行显示。
另一实施例中,用户交互模块也接收虚拟显控仿真模块及任务视景仿真显示模块驱动生成的音频及视频数据,在虚拟/增强现实显示设备中进行显示播放,给用户(该实施例中为飞行员)提供操控到显示,完全沉浸式的任务环境。
另一实施例中,基于用户交互模块的控制数据以及数字样机任务仿真模块提供的数字样机的任务状态信息内容,并根据多通道人机交互、信息推显、任务辅助/自主决策的控制策略模型,在Visual-studio中开发人机辅助智能决策模块,对数字样机任务仿真模块进行任务操作,并对虚拟显控仿真模块、任务视景仿真显示模块的渲染显示机制和数字样机任务方面模块的控制逻辑进行分配。
另一实施例中,为实现虚拟融合,用户交互模块中包含一个与虚拟显控仿真模块中座舱模型结构一致的简易座舱台架,并安装有飞行操纵杆、座椅等实体操体验设备。当系统正常连接时,VR/AR设备将虚拟的显控交互界面及任务视景投影到用户的眼镜,利用眼镜自带的light-house定位技术,实现物理座舱的结构模型与虚拟的显控画面以及任务场景的虚实融合。
数据记录及任务评估模块主要作用是对系统各个功能模块的进行实时记录,并基于客观数据对人机协同效能进行评估评估、分析。其主要工作机制是通过DDS网络接口订阅用户交互模块的飞行员\设计人员的操作信息、人机辅助智能决策模块的决策信息、虚拟显控仿真模块和任务视景仿真显示模块的数据及显示内容、以及数字样机任务仿真模块的任务效能数据,经过可编辑定义的绩效评估模型,对在实时任务操作模式下的虚拟显控交互系统(含虚拟显控仿真模块及人机辅助智能决策模块)进行客观数据的工效评价。
某实施例中,数据记录及任务仿真评估模拟也是基于Unity-3D引擎进行开发,通过DDS通信协议连接到系统网络中,订阅用户的操作信息、时间信息、任务执行结果数据,根据绩效评估模型,生成反应时、任务完成率、准确率等客观数据,从而支持对设计结果进行客观评价,结合使用的客观量表,对显控系统设计做出综合评价。
按照图2所示软件模块的驻留关系将各个模块分别部署在不同计算机上,并通过交换机将驻留计算机连接在一起。另外,按照如图1所示流程,在所提面向任务过程的飞机座舱虚拟智能人机交互快速原型建模与仿真验证系统中,根据飞机座舱显控系统在各个对抗任务阶段的交互需求,在DCS任务仿真环境中定义双机对抗评估任务场景,在对抗仿真任务流程中,通过对Hotas杆、LeapMotion手势捕捉设备以及VR、AR设备。图2实施例构建的典型的系统硬件部署方案,其主要依据典型的仿真系统分布式网络拓扑的结构,以实现系统功能的解耦,有利于功能模块的解耦与扩展。但相比传统的仿真系统,本系统硬件架构比较轻量化,用户交互模块、虚拟显控仿真模块以及任务视景仿真显示模块被集成在计算机A内,人机辅助智能决策模块部署在计算机B内,数据记录及任务评估模块部署在计算机C内,数字样机任务仿真模块部署在计算机D内,能够实现快速部署。另外,由于本原型系统/方法采用了DDS分布式网络结构,软件的驻留关系是松耦合,既可以将所有功能软件模块驻留在一个硬件环境下(处理能力和渲染资源足够的哈),也可以部署在更多个硬件环境下,不影响功能实现。
如图3流程所示,让用户在多机对抗任务中的对虚拟的显控系统进行任务操作交互,进行实时评估及迭代优化。主要描述具体利用该原型的进行操作,并实现仿真验证的具体操作过程,和迭代优化过程,这是系统实现的快速迭代和快速验证的具体实践方法。
其主要技术内涵在于:所有的仿真结果可以在这个系统架构和验证流程中,进行针对不同对抗任务环境的快速验证,意见反馈,并可通过修改软件代码和模型实现快速验证迭代,可以克服物理原型系统仿真验证的迭代周期长、成本高等弊端。
步骤1:打开DCS-World任务仿真软件,配置多机对抗任务,配置对抗任务敌我飞机的航路点、飞机挂载信息、对抗空域等基本信息;
步骤2:启动快速原型建模与仿真系统,加载任务信息;
步骤3:操作人员坐上物理座舱台架,戴上虚拟现实VR头盔,根据设计的任务流程,对虚拟显控系统进行任务操作,虚拟显控操作画面如图4所示。按照地面起飞流程,完成跑道起飞任务,机场模型及跑道渲染效果如图5所示;
步骤4:进入指定空域后,进行双机对抗任务操作,如图6所示;
步骤5:对程序驱动的用户控制操作信息、任务场景信息、飞机运动轨迹、人机辅助智能决策模块操控信息、任务执行结果、任务反应时、任务完成率、准确率结果记录与导出,同时用量表记录用户的主观评价结果;
步骤6:根据人机辅助智能决策模块的在任务测评中出现的功能完整性以及性能指标评估结果,完善功能,并针对系统的性能未达标项,重新优化修改智能决策模型,并对软件模块进行重新编译;
步骤7:根据虚拟显控仿真模块的主观评估结果中反映出的显示效果问题,优化修改虚拟显控的三维模型及UI界面,并在软件中脚本中修改显控交互逻辑,重新编译;
步骤8:重新启动快速原型建模与仿真系统,进行第二轮的评估迭代验证和优化。
综上,本发明提供一套面向任务过程的,用于飞机座舱智能人机交互快速原型建模与仿真验证的实验平台,通过摘要附图中所示的技术框架,有效的将开源的数字样机任务仿真模块与人机辅助智能决策模块、虚拟显控交仿真系统、任务视景仿真显示模块、数据记录及任务评估模块、用户交互模块融为一体,能够实现座舱界面及显控系统快速原型建模,并能面向飞机座舱的不同的任务类型及任务阶段,对座舱虚拟显控系统及人机辅助智能决策软件进行系统仿真验证和评估。
在某些情形中,装置和/或系统的部件可被配置为执行功能,使得部件被实际配置和构造(利用硬件和/或软件)以使得能够有这种性能。在其他示例中,装置和/或系统的部件可被布置为诸如以特定方式操作时适合于、能够或适于执行功能。方法可包括如框中的一个或更多个所例示的一个或更多个操作、功能或动作。尽管顺序地例示了这些框,但是这些框也可并行和/或以与本文描述的顺序不同的顺序来执行。另外,各种框可基于所期望的实现方式被组合成更少的框,被划分成另外的框和/或被去除。
应当理解,对于本文中公开的该过程以及其他过程和方法,流程图示出了当前示例的一种可能实现方式的功能和操作。就此而言,每个框或每个框的多个部分可表示包括一个或更多个指令的模块、片段或程序代码的一部分,处理器能执行这些指令以实现过程中的特定逻辑功能或步骤。程序代码可被存储在任何类型的计算机可读介质或数据存储器(例如,诸如包括盘或硬盘驱动器这样的存储装置)上。另外,可按机器可读格式在计算机可读存储介质上或者在其他非暂态介质或制品上进行程序代码的编码。计算机可读介质可包括非暂态计算机可读介质或存储器,例如,诸如如同寄存器存储器、处理器高速缓存器和随机存取存储器(RAM)一样短时段存储数据的计算机可读介质。计算机可读介质还可包括诸如辅助或永久性长期存储器(例如,如同只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)一样)这样的非暂态介质。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如,计算机可读介质可被认为是有形计算机可读存储介质。
本文中公开的系统、装置和方法的不同示例包括各种部件、特征和功能。应当理解,本文中公开的系统、装置和方法的各种示例可包括任何组合方式或任何子组合方式的本文中公开的系统、装置和方法的其他示例中的任一个的部件、特征和功能中的任一个,并且所有这些可能性旨在落入本发明的范围内。
已出于例示和描述的目的展示了对不同有利布置的描述,但是该描述并不旨在是排他性的或限于所公开形式的示例。许多修改形式和变化形式对于本领域的普通技术人员而言将是显而易见的。另外,不同的有利示例可描述与其他有利示例相比不同的优点。选择和描述所选择的一个示例或多个示例,以便最佳地说明示例的原理、实际应用,并且使本领域的普通技术人员能够理解本公开有进行了适于所料想特定使用的各种修改的各种示例。
Claims (10)
1.一种面向任务的虚拟飞机座舱建模仿真验证系统,其特征在于:该系统包括数字样机任务仿真模块、虚拟显控仿真模块、任务视景仿真显示模块、人机辅助智能决策模块、用户交互模块以及数据记录及任务评估模块;
其中数字样机任务仿真模块提供任务仿真数据激励源,为虚拟显控仿真模块以及任务视景仿真显示模块提供显示驱动数据,为人机辅助智能决策模块提供仿真解算数据,接收并处理用户交互模块及人机辅助智能决策模块的控制输入,实现对仿真数字样机的实时控制;
虚拟显控仿真模块和任务视景仿真显示模块通过订阅人机辅助智能决策模块以及数字样机任务仿真模块的显示逻辑、音频播放逻辑信息以及飞机数字样机的状态信息,实现基于任务对抗环境仿真的视景呈现渲染和虚拟飞机显控系统的仿真渲染,并将渲染处理的显示及音频数据以近实时的方式,送到用户交互模块进行播放和显示;
人机辅助智能决策模块基于用户交互模块的控制输入、任务状态以及数字样机任务仿真模块提供的功能接口为约束条件,对显示逻辑与控制功能进行综合处理,对数字样机任务仿真模块进行任务操作,并对虚拟显控仿真模块和任务视景仿真显示模块的渲染显示机制进行分配;
用户交互模块让用户基于交互硬件与虚拟显控仿真模块以及任务视景仿真显示模块进行实时交互,支持人机辅助智能决策模块、虚拟显控仿真模块、任务视景仿真显示模块和数据记录及任务评估模块的应用;
数据记录及任务评估模块对系统各个功能模块的进行实时记录,并基于客观数据对人机协同效能进行评估评估、分析。
2.根据权利要求1所述的虚拟飞机座舱建模仿真验证系统,其特征在于:所述显示驱动数据包括用于显控交互的航电、传感器和导航数据。
3.根据权利要求2所述的虚拟飞机座舱建模仿真验证系统,其特征在于:所述数字样机任务仿真模块主要包括数字样机与显控交互接口组件、飞机数字样机模组并提供DCS-World任务仿真环境,在飞机数字样机模组内进行飞控仿真解算、火控仿真解算、航电/机电仿真解算以及传感器仿真解算,在DCS-World任务仿真环境中进行对抗环境解算、HLA网络建立、飞机AI智能体建立、对抗控制解算以及有人驾驶对手建立。
4.根据权利要求1所述的虚拟飞机座舱建模仿真验证系统,其特征在于:虚拟显控仿真模块包括飞机座舱的头显、下显、备份显示器、座舱三维模型以及控制面板,控制显示与控制逻辑以及虚拟的增强显示面板的虚拟界面。
5.根据权利要求4所述的虚拟飞机座舱建模仿真验证系统,其特征在于:任务视景仿真显示模块包括了各种地形模型、机场模型、天气模型、地面目标模型以及空中目标模型。
6.根据权利要求1所述的虚拟飞机座舱建模仿真验证系统,其特征在于:所述交互硬件包括AR、VR设备、语音交互设备、手势交互设备、眼动追踪设备以及Hotas杆。
7.根据权利要求6所述的虚拟飞机座舱建模仿真验证系统,其特征在于:所述用户交互模块接收虚拟显控仿真模块及任务视景仿真显示模块驱动生成的音频及视频数据,在虚拟/增强现实显示设备中进行显示播放。
8.根据权利要求1所述的虚拟飞机座舱建模仿真验证系统,其特征在于:所述数据记录及任务评估模块包括可编辑定义的绩效评估模型,根据绩效评估模型生成反应时、任务完成率、准确率。
9.根据权利要求1所述的虚拟飞机座舱建模仿真验证系统,其特征在于:各个模块分类部署在不同计算机上,并通过交换机将驻留计算机连接在一起。
10.一种面向任务的虚拟飞机座舱建模仿真验证方法,其特征在于,该方法利用如权利要求1-9中任一项所述的虚拟飞机座舱建模仿真验证系统,包括以下步骤:
步骤1:在任务仿真环境中配置多机对抗任务;
步骤2:启动原型建模与仿真系统,加载任务信息;
步骤3:操作人员坐进座舱,穿戴上虚拟现实设备,根据任务流程进行任务操作,并在进入指定空域后,进行对抗任务操作;
步骤4:数据记录与任务评估模块对用户控制操作信息、任务场景信息、飞机运动轨迹、人机辅助智能决策模块操控信息、任务执行结果、任务反应时、任务完成率、准确率结果记录与导出,此外通过表格记录用户的主观评价结果;
步骤5:根据人机辅助智能决策模块在任务测评中出现的功能完整性以及性能指标评估结果进行功能完善;
步骤6:根据虚拟显控仿真模块的主观评估结果优化修改虚拟显控的三维模型及UI界面;
步骤7:重新启动快速原型建模与仿真系统,进行第二轮的评估迭代验证和优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210464897.8A CN114912259B (zh) | 2022-04-29 | 2022-04-29 | 一种面向任务的虚拟飞机座舱建模仿真验证系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210464897.8A CN114912259B (zh) | 2022-04-29 | 2022-04-29 | 一种面向任务的虚拟飞机座舱建模仿真验证系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114912259A true CN114912259A (zh) | 2022-08-16 |
CN114912259B CN114912259B (zh) | 2024-05-03 |
Family
ID=82765602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210464897.8A Active CN114912259B (zh) | 2022-04-29 | 2022-04-29 | 一种面向任务的虚拟飞机座舱建模仿真验证系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114912259B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001095161A2 (en) * | 2000-06-02 | 2001-12-13 | Virtio Corporation | Method and system for virtual prototyping |
CN102855410A (zh) * | 2012-09-20 | 2013-01-02 | 上海品铭机械工程有限公司 | 一种座舱模拟操纵试验台人机工效测评系统及测评方法 |
US20170148340A1 (en) * | 2015-11-22 | 2017-05-25 | Victor Popa-Simil | Method and device to improve the flying abilities of the airborne devices operator |
CN108845802A (zh) * | 2018-05-15 | 2018-11-20 | 天津大学 | 无人机集群编队交互式仿真验证系统及实现方法 |
CN114004074A (zh) * | 2021-10-25 | 2022-02-01 | 中国航空无线电电子研究所 | 一种用于态势感知增强的显示系统综合验证系统 |
-
2022
- 2022-04-29 CN CN202210464897.8A patent/CN114912259B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001095161A2 (en) * | 2000-06-02 | 2001-12-13 | Virtio Corporation | Method and system for virtual prototyping |
CN102855410A (zh) * | 2012-09-20 | 2013-01-02 | 上海品铭机械工程有限公司 | 一种座舱模拟操纵试验台人机工效测评系统及测评方法 |
US20170148340A1 (en) * | 2015-11-22 | 2017-05-25 | Victor Popa-Simil | Method and device to improve the flying abilities of the airborne devices operator |
CN108845802A (zh) * | 2018-05-15 | 2018-11-20 | 天津大学 | 无人机集群编队交互式仿真验证系统及实现方法 |
CN114004074A (zh) * | 2021-10-25 | 2022-02-01 | 中国航空无线电电子研究所 | 一种用于态势感知增强的显示系统综合验证系统 |
Non-Patent Citations (3)
Title |
---|
张山, 王行仁: "基于DIS的空战仿真系统的应用实现", 北京航空航天大学学报, no. 02, 30 April 2002 (2002-04-30) * |
张磊;庄达民;邓凡;谷增伟;: "飞机座舱人机工效评定实验台研制", 飞行力学, no. 01, 15 February 2009 (2009-02-15) * |
耿涛;张安;张耀中;孙永强;: "空战模拟器综合火控系统仿真设计与实现", 系统仿真学报, no. 12, 8 December 2012 (2012-12-08) * |
Also Published As
Publication number | Publication date |
---|---|
CN114912259B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5147933B2 (ja) | 人−機械インターフェース装置システム及び方法 | |
CN107643695A (zh) | 基于脑电的有人/无人机集群编队vr仿真方法及系统 | |
WO2019041900A1 (zh) | 增强现实环境中识别装配操作、模拟装配的方法和装置 | |
US20110163948A1 (en) | Method system and software for providing image sensor based human machine interfacing | |
CN102136204A (zh) | 大型装备虚拟维修分布交互仿真支撑平台及协同维修方法 | |
Kirner et al. | Virtual reality and augmented reality applied to simulation visualization | |
CN102609991A (zh) | 三维实体模型轻量化优化方法 | |
CN104050333B (zh) | 航空电子系统分布式实时综合仿真系统 | |
JP2018509686A (ja) | インクストロークの編集および操作 | |
US20160291694A1 (en) | Haptic authoring tool for animated haptic media production | |
CN110634350A (zh) | 一种基于分布式虚拟现实的模拟飞行器仿真系统 | |
CN114912259B (zh) | 一种面向任务的虚拟飞机座舱建模仿真验证系统及方法 | |
Wang et al. | An augmented reality application framework for complex equipment collaborative maintenance | |
CN103985284A (zh) | 一种基于Qt的跨平台教员控制台系统及其控制方法 | |
KR20230126662A (ko) | 기록된 물리적 상호작용 재생 | |
CN115374520A (zh) | 基于虚拟场景的公共区域整体风格变换系统和方法 | |
Kuo et al. | Interactive virtual evaluation for interface design | |
JP5620449B2 (ja) | 人−機械インターフェース装置システム及び方法 | |
Wang et al. | A simulation system based on ogre and physx for flexible aircraft assembly | |
Fazzari et al. | PRISME: Toward a model linking tangible interaction and domain-specific tasks in mixed reality environments | |
Wang et al. | Research on Virtual Assembly Simulation System for Aircraft Flight Control System Based on Unity3D | |
Li et al. | Design of Teaching System of Industrial Robots Using Mixed Reality Technology. | |
Cerqueira et al. | Serious game interaction techniques applied to an operational satellite simulator | |
CN115115316B (zh) | 基于Cesium进行仓储物流出入库作业向导式动画模拟的方法 | |
CN107315358A (zh) | 基于虚拟现实的仿真系统及仿真方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |