CN114690884A - 一种基于ar眼镜的舰船装备布置可视化演示系统 - Google Patents
一种基于ar眼镜的舰船装备布置可视化演示系统 Download PDFInfo
- Publication number
- CN114690884A CN114690884A CN202011576530.2A CN202011576530A CN114690884A CN 114690884 A CN114690884 A CN 114690884A CN 202011576530 A CN202011576530 A CN 202011576530A CN 114690884 A CN114690884 A CN 114690884A
- Authority
- CN
- China
- Prior art keywords
- module
- glasses
- visualization
- collision detection
- equipment arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims description 11
- 238000012800 visualization Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000001960 triggered effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 5
- 206010063385 Intellectualisation Diseases 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000013515 script Methods 0.000 description 5
- 208000013860 rhabdoid tumor of the kidney Diseases 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于AR眼镜的舰船装备布置可视化演示系统，包含分布式协同模块、UI模块、动态纹理及环境模块、设备点取模块、碰撞检测模块和可视化模块。其中，分布式协同模块实现了四个节点以上的协同功能；UI模块实现了二维对话框的显示功能；动态纹理及环境模块实现了动态纹理加载和动态修改环境功能；设备点取模块实现了三维手势交互功能；碰撞检测模块实现了碰撞检测及距离检查功能；可视化模块实现了三维设备及其纹理、标签、流线/箭头指向、动态云图等功能。本发明对装备布置过程中缺少多专业协同环境和可视化工具等问题，成功构建出装备布置多专业协同设计系统，提高了装备布置的效率和智能化、可视化程度。
Description
技术领域
本发明涉及AR技术领域，具体为一种基于AR眼镜的舰船装备布置可视化演示系统。
背景技术
增强现实(Augmented Reality)是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实。是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。
针对装备布置过程中缺少多专业协同环境和可视化工具等问题，提出一种AR眼镜的舰船装备布置可视化演示系统。
发明内容
本发明目的在于提供一种基于AR眼镜的舰船装备布置可视化演示系统,将需要布置的舰船装备利用AR眼镜进行3D图像呈现，解决装备布置过程中缺少多专业协同环境和可视化工具等问题，提高装备布置的效率和智能化、可视化程度。
本发明为实现上述目的所采用的技术方案是：
一种基于AR眼镜的舰船装备布置可视化演示系统包括：分布式协同模块、UI模块、动态纹理及环境模块、设备点取模块、碰撞检测模块和可视化模块，其中：
通过Unity软件构建AR场景，通过动态纹理及环境模块对AR场景中的3D对象以及环境效果进行加载，并由UI模块提供手势交互按钮和显示3D对象信息，通过碰撞检测模块对3D对象进行碰撞检测，通过手势识别，利用设备点取模块以及可视化模块实现3D对象的可视化。
所述分布式协同模块分为服务端和客户端，其中服务端运行于台式机，与用于AR眼镜交互，以显示动态效果；客户端运行于AR眼镜，用于配合设备点取模块，以识别对象的操作，并通过协同仿真支撑软件在各AR节点与台式机节点之间实时交互，实时显示3D对象的位置、姿态和尺度。
所述操作包括：单手抓取移动、单手抓取旋转和双手缩放。
所述UI模块，用于在AR应用系统中构建UI界面，实现UI界面在AR场景中的显示及交互。
所述UI界面包括：窗体、按钮、复选框、单选框、编辑框。
所述动态纹理及环境模块，用于3D对象的纹理动态加载以及动态修改环境效果。
所述设备点取模块，用于AR场景与3D对象的交互，通过点选3D对象，显示对象信息对话框，并动态改变包括移动、缩放和旋转的状态。
所述碰撞检测模块，用于碰撞检测，当两个物体碰撞时触发设定的事件。
可视化模块，用于显示3D对象的标签、动态云图、箭头。
本发明具有以下有益效果及优点：
本发明通过基于AR眼镜的形式，通过手势实现可视化的舰船装备布置，解决装备布置过程中缺少多专业协同环境和可视化工具等问题，提高了装备布置的效率和智能化、可视化程度。
附图说明
图1是本发明的系统软件架构图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明建立一种包含分布式协同模块、UI模块、动态纹理及环境模块、设备点取模块、碰撞检测模块和显示模块的基于AR眼镜的舰船装备布置可视化演示系统。
分布式协同模块包含3个AR节点和1个PC机服务端节点，实现四个节点以上的协同。
UI模块可显示二维对话框、响应UI控件事件。
动态纹理及环境模块实现动态纹理加载、动态修改灯光，温度，烟雾等效果。
设备点取模块实现点取设备弹出/关闭功能菜单、显示/隐藏设备属性对话框、编辑设备属性。
碰撞检测模块实现碰撞检测及距离检查。
可视化模块实现显示三维设备、三维纹理、标签、流线/箭头指向、动态云图。
本发明的开发流程及实现功能如下：
系统软件架构设计如图1所示，系统共包含六部分功能模块，各模块采用均采用已导入MRTK开发包的Unity软件进行开发，在Unity内定制相关模型及代码，最后导入Hololens Emulator调试，并部署到Hololens眼镜实现所需功能。
在系统的六部分功能模块当中，UI模块作为最基本的功能模块，在分布式协同模块、动态纹理及环境模块、设备点取模块和碰撞检测模块中作为信息提示面板或功能控制面板来使用；而分布式协同模块内部实现了UI模块和设备点取模块的功能。
(1)分布式协同模块
分布式协同仿真模块基于Unity UNet构建，采用Server和Client网络架构，并在此基础上实现AR环境中的分布式协同。
分布式协同仿真模块分为服务端和客户端，其中服务端运行于台式机；客户端运行于Hololens AR眼镜，实现简单3D对象(如立方体)的单手抓取移动、单手抓取旋转和双手缩放等功能，并通过协同仿真支撑软件在各AR节点与台式机节点之间实时交互，实时显示3D对象的位置、姿态和尺度。
(2)UI模块
UI模块是利用MRTK提供的UI元素Prefab进行构建，主要包括：按钮Prefab：Buttons、窗口类Prefab：Dialog、面板Prefab：Panels等，并定义相关的响应事件，实现功UI模块功能。
UI模块用于演示如何在AR应用系统中构建界面，具体包括窗体、按钮、复选框、单选框、编辑框等主要的UI界面元素，实现UI界面在AR场景中的显示及交互功能。
(3)动态纹理及环境模块
动态纹理及环境模块首先使用UI模块中的单选框、复选框和滑动条构建所需要的控制对话框，并为对话框中的控制光照、烟雾和动态纹理等功能编写脚本，最后将脚本绑定到对话框中的功能选项，实现功能构建。
动态纹理实现3D对象的纹理动态加载功能；环境模块用于动态修改灯光、烟雾等效果。
(4)设备点取模块
设备点取模块采用MRTK提供的3D模型，并添加AR应用菜单，将点取模块所需的事件处理函数添加到菜单中，实现功能构建。
设备点取模块实现AR场景中与3D对象的交互功能，通过点选3D对象，显示对象信息对话框，并可动态改变设备状态，如移动、缩放和旋转等操作。
(5)碰撞检测模块
碰撞检测模块首先进行添加碰撞场景的所需的地面、球形物体和立方体等3D模型，然后添加UI控制菜单，编写碰撞检测脚本，最后将脚本添加到UI控制菜单中，实现功能构建。
碰撞检测模块拟进行基本的碰撞检测，当两个物体碰撞时出发相应事件，如球体正常运动直至碰撞到立方体后停止。
(6)可视化模块
可视化模块同样采用MRTK提供的3D模型，并将标签、动态云图、箭头链接到3D模型，其中动态云图需要额外编写动态云图处理脚本。
可视化模块显示的内容，主要包括：标签、动态云图、箭头等。
Claims (9)
1.一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，包括：分布式协同模块、UI模块、动态纹理及环境模块、设备点取模块、碰撞检测模块和可视化模块，其中：
通过Unity软件构建AR场景，通过动态纹理及环境模块对AR场景中的3D对象以及环境效果进行加载，并由UI模块提供手势交互按钮和显示3D对象信息，通过碰撞检测模块对3D对象进行碰撞检测，通过手势识别，利用设备点取模块以及可视化模块实现3D对象的可视化。
2.根据权利要求1所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，所述分布式协同模块分为服务端和客户端，其中服务端运行于台式机，与用于AR眼镜交互，以显示动态效果；客户端运行于AR眼镜，用于配合设备点取模块，以识别对象的操作，并通过协同仿真支撑软件在各AR节点与台式机节点之间实时交互，实时显示3D对象的位置、姿态和尺度。
3.根据权利要求2所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，所述操作包括：单手抓取移动、单手抓取旋转和双手缩放。
4.根据权利要求1所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，所述UI模块，用于在AR应用系统中构建UI界面，实现UI界面在AR场景中的显示及交互。
5.根据权利要求4所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，所述UI界面包括：窗体、按钮、复选框、单选框、编辑框。
6.根据权利要求1所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，所述动态纹理及环境模块，用于3D对象的纹理动态加载以及动态修改环境效果。
7.根据权利要求1所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，所述设备点取模块，用于AR场景与3D对象的交互，通过点选3D对象，显示对象信息对话框，并动态改变包括移动、缩放和旋转的状态。
8.根据权利要求1所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，所述碰撞检测模块，用于碰撞检测，当两个物体碰撞时触发设定的事件。
9.根据权利要求1所述的一种基于AR眼镜的舰船装备布置可视化演示系统，其特征在于，可视化模块，用于显示3D对象的标签、动态云图、箭头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576530.2A CN114690884A (zh) | 2020-12-28 | 2020-12-28 | 一种基于ar眼镜的舰船装备布置可视化演示系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576530.2A CN114690884A (zh) | 2020-12-28 | 2020-12-28 | 一种基于ar眼镜的舰船装备布置可视化演示系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114690884A true CN114690884A (zh) | 2022-07-01 |
Family
ID=82129885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011576530.2A Pending CN114690884A (zh) | 2020-12-28 | 2020-12-28 | 一种基于ar眼镜的舰船装备布置可视化演示系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114690884A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399276A (zh) * | 2018-01-18 | 2018-08-14 | 武汉理工大学 | 基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装方法 |
| CN110310541A (zh) * | 2019-07-31 | 2019-10-08 | 大连海事大学 | 一种空天地海一体化舰船通信网络虚拟仿真与实验教学平台 |
| US20200128106A1 (en) * | 2018-05-07 | 2020-04-23 | EolianVR, Inc. | Device and content agnostic, interactive, collaborative, synchronized mixed reality system and method |
| US20200151927A1 (en) * | 2018-11-09 | 2020-05-14 | Imagination Park Entertainment Inc. | Systems and Methods for Creating and Delivering Augmented Reality Content |
| CN111191322A (zh) * | 2019-12-10 | 2020-05-22 | 中国航空工业集团公司成都飞机设计研究所 | 一种基于深度感知手势识别的虚拟维修性仿真方法 |
| US20200201514A1 (en) * | 2018-12-19 | 2020-06-25 | Google Llc | Placement of objects in an augmented reality environment |
| US20200246074A1 (en) * | 2016-03-12 | 2020-08-06 | Philipp K. Lang | Systems for augmented reality visualization for bone cuts and bone resections including robotics |
-
2020
- 2020-12-28 CN CN202011576530.2A patent/CN114690884A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200246074A1 (en) * | 2016-03-12 | 2020-08-06 | Philipp K. Lang | Systems for augmented reality visualization for bone cuts and bone resections including robotics |
| CN108399276A (zh) * | 2018-01-18 | 2018-08-14 | 武汉理工大学 | 基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装方法 |
| US20200128106A1 (en) * | 2018-05-07 | 2020-04-23 | EolianVR, Inc. | Device and content agnostic, interactive, collaborative, synchronized mixed reality system and method |
| US20200151927A1 (en) * | 2018-11-09 | 2020-05-14 | Imagination Park Entertainment Inc. | Systems and Methods for Creating and Delivering Augmented Reality Content |
| US20200201514A1 (en) * | 2018-12-19 | 2020-06-25 | Google Llc | Placement of objects in an augmented reality environment |
| CN110310541A (zh) * | 2019-07-31 | 2019-10-08 | 大连海事大学 | 一种空天地海一体化舰船通信网络虚拟仿真与实验教学平台 |
| CN111191322A (zh) * | 2019-12-10 | 2020-05-22 | 中国航空工业集团公司成都飞机设计研究所 | 一种基于深度感知手势识别的虚拟维修性仿真方法 |
Non-Patent Citations (1)
| Title |
|---|
| 商蕾等: "基于HoloLens 的船舶辅机拆装系统研究与实现", 《中国航海》, vol. 41, no. 3, 30 September 2018 (2018-09-30), pages 38 - 39 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Evans et al. | Evaluating the Microsoft HoloLens through an augmented reality assembly application | |
| US11385760B2 (en) | Augmentable and spatially manipulable 3D modeling | |
| Chi et al. | Research trends and opportunities of augmented reality applications in architecture, engineering, and construction | |
| US20190251750A1 (en) | Systems and methods for using a virtual reality device to emulate user experience of an augmented reality device | |
| Park et al. | Tangible augmented prototyping of digital handheld products | |
| KR20120045744A (ko) | 체험형 학습 콘텐츠 저작 장치 및 방법 | |
| Slay et al. | Interaction Modes for Augmented Reality Visualization. | |
| Jiang et al. | A new constraint-based virtual environment for haptic assembly training | |
| CN112288860A (zh) | 三维组态图设计系统及方法 | |
| CN115249291A (zh) | 一种基于Hololens设备的三维虚拟装备库系统 | |
| CN114690884A (zh) | 一种基于ar眼镜的舰船装备布置可视化演示系统 | |
| Xin et al. | Application of 3D tracking and registration in exhibition hall navigation interaction | |
| CN115546416A (zh) | 基于web的轻量级3D可视化方法及系统 | |
| Eitsuka et al. | Authoring animations of virtual objects in augmented reality-based 3d space | |
| Fiala et al. | ARpm: an augmented reality interface for polygonal modeling | |
| Sheng et al. | Potential for augmented reality in education: An overview | |
| Alrashidi et al. | An Augmented Reality Tool for Viewing and Understanding Deep Technology | |
| US12033293B1 (en) | Use of virtual tablets in extended reality environments | |
| Aseeri et al. | Poster: Virtual reality interaction using mobile devices | |
| Dewberry et al. | Problems and Solutions of Point Cloud Mapping for VR and CAVE Environments for Data Visualization and Physics Simulation | |
| Wöllmann et al. | 3D Mapping to Collect Volunteered Geographic Information | |
| Hu et al. | Construction of virtual interactive assembly system | |
| Nováková et al. | Methodical procedure for creating content for interactive augmented reality | |
| CN116188733A (zh) | 一种虚拟网络交互系统 | |
| Danilov et al. | Implantation of Mixed Reality Tools in Design Enhancement Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |