CN109636920A - 一种基于HoloLens的MR车间巡视方法 - Google Patents

一种基于HoloLens的MR车间巡视方法 Download PDF

Info

Publication number
CN109636920A
CN109636920A CN201811451813.7A CN201811451813A CN109636920A CN 109636920 A CN109636920 A CN 109636920A CN 201811451813 A CN201811451813 A CN 201811451813A CN 109636920 A CN109636920 A CN 109636920A
Authority
CN
China
Prior art keywords
hololens
workshop
data
method based
inspection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811451813.7A
Other languages
English (en)
Inventor
游冰
朱恺真
刘莹
乔辉
李豪
刘�文
郑玄
张潮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SIPPR Engineering Group Co Ltd
Original Assignee
SIPPR Engineering Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SIPPR Engineering Group Co Ltd filed Critical SIPPR Engineering Group Co Ltd
Priority to CN201811451813.7A priority Critical patent/CN109636920A/zh
Publication of CN109636920A publication Critical patent/CN109636920A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于HoloLens的MR车间巡视方法，涉及混合现实(MR)应用领域，包括S10、通过构建软件建立后台数据中心，后台数据中心集成多种数据源的采集及存储，并对外提供数据服务接口；S20、采集环境信息，确定需要巡视的区域范围，打开并戴上HoloLens行走，在行走中采集环境信息；S30、三维场景重建；S40、将从后台数据中心请求的数据绑定至信息面板；S50、固定信息面板的位置，保存信息面板在三维重建场景中的空间坐标。本发明能够快速高效地集成获取设备实时运行状态数据，以及准确高效地实现设备实时运行状态数据虚拟面板与物理设备进行叠加。

Description

一种基于HoloLens的MR车间巡视方法
技术领域
本发明涉及混合现实(MR)应用领域，尤其涉及一种基于HoloLens的MR车间巡视方法。
背景技术
HoloLens是微软推出的首个不受线缆限制的全息计算机设备，通过将某些计算机生成的效果叠加于现实世界之上实现周围真实环境中与全息影像的互动。HoloLens将会追踪用户的移动和视线，进而生成适当的虚拟对象，通过光线投射到用户的眼中。HoloLens空间映射技术提供了周围环境中真实世界的详细表示，允许开发人员创建更加真实的混合现实体验。通过将真实世界与虚拟世界合并，可以使全息影像看起来是更加真实。
在传统车间巡视过程中，首先需要对目标进行建模生成三维虚拟场景，将三维虚拟场景通过HoloLens显示，并与实际场景重叠。当HoloLens指向现实场景中的目标时，从与传感器或监测仪器连接的数据库中获取目标信息，并将目标信息在三维虚拟场景中显示。传统车间现场巡视方式现场能直接查看设备物理外观状态，却很难查看设备实时运行状态数据。传统车间现场巡视方式设备实时运行状态数据无空间关系，不能和设备空间关系建立直接关联，需要借助管理人员逻辑思考进行关联，巡视效率低下。
因此，本领域的技术人员致力于开发一种基于HoloLens的MR车间巡视方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何快速高效地集成获取设备实时运行状态数据，以及如何准确高效地实现设备实时运行状态数据虚拟面板与物理设备进行叠加。
为实现上述目的，本发明提供了一种基于HoloLens的MR车间巡视方法。本发明的一个实施例中，包括以下步骤：
S10、通过构建软件建立后台数据中心，上述后台数据中心集成多种数据源的采集及存储，并对外提供数据服务接口；
S20、采集环境信息，确定需要巡视的区域范围，打开并戴上HoloLens行走，在行走中采集环境信息；
S30、三维场景重建；
S40、将从上述后台数据中心请求的数据绑定至信息面板；
S50、固定上述信息面板的位置，保存上述信息面板在三维重建场景中的空间坐标。
可选地，在上述实施例中的基于HoloLens的MR车间巡视方法，上述环境信息通过环境感知摄像头和深度感知摄像头进行采集。
可选地，在上述实施例中的基于HoloLens的MR车间巡视方法，上述步骤S30还包括：
S31、使用建模软件制作上述信息面板并导入Unity3D中；
S32、在所述Unity3D中使用HoloLens插件为上述信息面板绑定脚本，添加空间锚点定位功能；
S33、使用预制体调用环境感知摄像头和深度感知摄像头定期进行对周围环境进行扫描，更新环境信息数据；
S34、三维场景重建，将具有空间锚点定位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。
进一步地，上述HoloLens插件为MixedRealityToolkit，上述脚本为TapToPlace.cs。
进一步地，上述预制体为MixedRealityToolkit中的SpatialMapping。
可选地，在上述实施例中的基于HoloLens的MR车间巡视方法，上述步骤S40还包括：
S41、所述Unity3D中向上述后台数据中心接口获取目标数据；
S42、将目标数据在上述信息面板数据中显示；
S43、发布程序并部署到上述Hololens。
可选地，在上述任一实施例中的基于HoloLens的MR车间巡视方法，上述步骤S50还包括：
S51、通过单击手势点击上述信息面板使其跟随上述HoloLens移动；
S52、当观察对象及与观察对象相关联的信息面板同时出现在视野范围内时再次单击信息面板固定其位置；
S53、绑定世界锚点组件，保存上述信息面板在三维重建场景中的空间坐标。
进一步地，世界锚点组件为WorldAnchor。
可选地，在上述任一实施例中的基于HoloLens的MR车间巡视方法，上述多种数据源包括MES(生产执行系统)实时数据、实时设备健康数据、实时生产综合统计数据。
可选地，在上述任一实施例中的基于HoloLens的MR车间巡视方法，上述后台数据中心对外提供基于ZMQ发布订阅模式的数据推送服务以及基于Http服务的数据请求服务。
可选地，在上述任一实施例中的基于HoloLens的MR车间巡视方法，上述后台数据中心对外提供基于TCP、UDP等协议的数据请求服务。
可选地，在上述任一实施例中的基于HoloLens的MR车间巡视方法，上述建模软件包括3DMax和Maya。
可选地，在上述任一实施例中的基于HoloLens的MR车间巡视方法，上述构建软件包括visual studio、Eclipse和IntelliJ。
发明人通过上述任一实施例中的基于HoloLens的MR车间巡视方法，只需要制作简单的数据面板模型即可实现HoloLens的MR车间巡视，工作量小，开发效率高，制作周期短；通过建立后台数据中心可以集成更多种类的数据信息，能够更加全面直观地反应车间的生产状况；能够快速高效地集成获取设备实时运行状态数据，以及准确高效地实现设备实时运行状态数据虚拟面板与物理设备进行叠加。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的原理示意图；
图2是本发明的一个较佳实施例的流程示意图；
图3是本发明的一个较佳实施例步骤S30的流程示意图；
图4是本发明的一个较佳实施例步骤S40的流程示意图；
图5是本发明的一个较佳实施例步骤S50的流程示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图1所示，本发明通过Hololens利用SLAM技术对真实世界进行环境扫描，重建三维场景，通过空间映射技术将虚拟场景中的物体坐标映射到重建三维场景空间坐标，通过特定的手势操作将虚拟场景中的物体移动到合适的位置，使观察对象与虚拟场景中的物体同时出现在视野范围内，实现虚拟场景对齐，达到虚实融合的效果。
如图2所示，一个较佳实施例的流程包括以下步骤：
S10、通过构建软件建立后台数据中心，后台数据中心集成多种数据源的采集及存储，并对外提供数据服务接口；
S20、采集环境信息，确定需要巡视的区域范围，打开并戴上HoloLens行走，在行走中采集环境信息；
S30、三维场景重建；
S40、将从上述后台数据中心请求的数据绑定至信息面板；
S50、固定上述信息面板的位置，保存上述信息面板在三维重建场景中的空间坐标。
可选地，构建软件可以选择使用visual studio、Eclipse和IntelliJ。
可选地，数据源可以包括MES(生产执行系统)实时数据、实时设备健康数据和实时生产综合统计数据等多种实时数据。
可选地，后台数据中心的数据提供方式可以为基于ZMQ发布订阅模式的数据推送服务、基于Http的数据请求服务、基于TCP或者UDP等协议的数据提供服务，可以是上述几种方式的组合，也可以是其中某一种方式。
可选地，上述环境信息可以通过环境感知摄像头和深度感知摄像头进行采集。
如图3所示，本发明的另一个较佳实施例，把前文实施例的步骤S30进行了拆分，包括如下步骤：
S31、使用建模软件制作信息面板并导入Unity3D中；
S32、所述Unity3D中使用HoloLens插件为信息面板绑定脚本，添加空间锚点定位功能；
S33、使用预制体调用环境感知摄像头和深度感知摄像头定期进行对周围环境进行扫描，更新环境信息数据；
S34、三维场景重建，将具有空间锚点定位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。
可选地，S31中建模软件可以使用3DMax或者Maya。
可选地，S32中使用的HoloLens插件为MixedRealityToolkit，绑定的脚本为TapToPlace.cs。
可选地，S32中使用的预制体为MixedRealityToolkit中的SpatialMapping。
如图4所示，本发明的另一个较佳实施例，把前文实施例的步骤S40进行了拆分，包括如下步骤：
S41、在所述Unity3D中向上述后台数据中心接口获取目标数据；
S42、将上述目标数据在上述信息面板数据中显示；
S43、发布程序并部署到上述HoloLens。
可选地，后台数据中心的数据提供方式可以为基于ZMQ发布订阅模式的数据推送服务、基于Http的数据请求服务、基于TCP或者UDP等协议的数据提供服务，可以是上述几种方式的组合，也可以是其中某一种方式。
可选地，S43中可以选择在Unity3D中选择UWP平台发布程序，将发布好的程序通过visual studio部署到HoloLens中，部署完成后打开浏览器输入HoloLens IP地址，打开Windows Device Portal上传配置信息文件。
如图5所示，本发明的另一个较佳实施例，把前文实施例的步骤S50进行了拆分，包括如下步骤：
S51、通过单击手势点击信息面板使其跟随HoloLens移动；
S52、当观察对象及与观察对象相关联的信息面板同时出现在视野范围内时再次单击信息面板固定其位置；
S53、绑定世界锚点组件，保存上述信息面板在三维重建场景中的空间坐标。
进一步地，S53中世界锚点组件解释为WorldAnchor，WorldAnchor保存上述信息面板在三维重建场景中的空间坐标。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于HoloLens的MR车间巡视方法，其特征在于，所述方法包括以下步骤：
S10、通过构建软件建立后台数据中心，所述后台数据中心集成多种数据源的采集及存储，并对外提供数据服务接口；
S20、采集环境信息，确定需要巡视的区域范围，打开并戴上所述HoloLens行走，在行走中采集环境信息；
S30、三维场景重建；
S40、将从所述后台数据中心请求的数据绑定至信息面板；
S50、固定所述信息面板的位置，保存所述信息面板在三维重建场景中的空间坐标。
2.如权利要求1所述的基于HoloLens的MR车间巡视方法，其特征在于，所述步骤S30还包括：
S31、使用建模软件制作所述信息面板并导入Unity3D中；
S32、在所述Unity3D中使用HoloLens插件为所述信息面板绑定脚本，添加空间锚点定位功能；
S33、使用预制体调用环境感知摄像头和深度感知摄像头定期进行对周围环境进行扫描，更新环境信息数据；
S34、三维场景重建，将具有所述空间锚点定位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。
3.如权利要求1或2所述的基于HoloLens的MR车间巡视方法，其特征在于，所述步骤S40还包括：
S41、在所述Unity3D中向所述后台数据中心接口获取目标数据；
S42、将所述目标数据在所述信息面板数据中显示；
S43、发布程序并部署到所述HoloLens。
4.如权利要求3所述的基于HoloLens的MR车间巡视方法，其特征在于，所述步骤S50还包括：
S51、通过单击手势点击所述信息面板使其跟随所述HoloLens移动；
S52、当观察对象及与观察对象相关联的信息面板同时出现在视野范围内时再次单击所述信息面板固定其位置；
S53、绑定世界锚点组件，保存所述信息面板在三维重建场景中的空间坐标。
5.如权利要求2所述的基于HoloLens的MR车间巡视方法，其特征在于，所述HoloLens插件为MixedRealityToolkit，所述脚本为TapToPlace.cs。
6.如权利要求2所述的基于HoloLens的MR车间巡视方法，其特征在于，所述预制体为MixedRealityToolkit中的SpatialMapping。
7.如权利要求4所述的基于HoloLens的MR车间巡视方法，其特征在于，所述多种数据源包括生产执行系统实时数据、实时设备健康数据、实时生产综合统计数据。
8.如权利要求4所述的基于HoloLens的MR车间巡视方法，其特征在于，所述后台数据中心对外提供基于ZMQ发布订阅模式的数据推送服务以及基于Http服务的数据请求服务。
9.如权利要求1所述的基于HoloLens的MR车间巡视方法，其特征在于，所述环境信息通过环境感知摄像头和深度感知摄像头进行采集。
10.如权利要求1所述的基于HoloLens的MR车间巡视方法，其特征在于，所述建模软件包括3DMax和Maya，所述构建软件包括visual studio、Eclipse和IntelliJ。
CN201811451813.7A 2018-11-30 2018-11-30 一种基于HoloLens的MR车间巡视方法 Pending CN109636920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811451813.7A CN109636920A (zh) 2018-11-30 2018-11-30 一种基于HoloLens的MR车间巡视方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811451813.7A CN109636920A (zh) 2018-11-30 2018-11-30 一种基于HoloLens的MR车间巡视方法

Publications (1)

Publication Number Publication Date
CN109636920A true CN109636920A (zh) 2019-04-16

Family

ID=66070161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811451813.7A Pending CN109636920A (zh) 2018-11-30 2018-11-30 一种基于HoloLens的MR车间巡视方法

Country Status (1)

Country Link
CN (1) CN109636920A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554142A (zh) * 2019-08-02 2019-12-10 珠海格力电器股份有限公司 空气质量监测方法、装置、系统、存储介质及电子设备
CN110728199A (zh) * 2019-09-23 2020-01-24 北京华捷艾米科技有限公司 一种基于mr的智能驾考练车系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118687A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc オブジェクト管理装置及びオブジェクト管理方法
CN107330978A (zh) * 2017-06-26 2017-11-07 山东大学 基于位置映射的增强现实建模体验系统及方法
CN107680165A (zh) * 2017-09-25 2018-02-09 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN108038917A (zh) * 2017-12-27 2018-05-15 上海市地下空间设计研究总院有限公司 基于mr或ar技术的目标观察方法及巡检系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118687A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc オブジェクト管理装置及びオブジェクト管理方法
CN107330978A (zh) * 2017-06-26 2017-11-07 山东大学 基于位置映射的增强现实建模体验系统及方法
CN107680165A (zh) * 2017-09-25 2018-02-09 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN108038917A (zh) * 2017-12-27 2018-05-15 上海市地下空间设计研究总院有限公司 基于mr或ar技术的目标观察方法及巡检系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554142A (zh) * 2019-08-02 2019-12-10 珠海格力电器股份有限公司 空气质量监测方法、装置、系统、存储介质及电子设备
CN110728199A (zh) * 2019-09-23 2020-01-24 北京华捷艾米科技有限公司 一种基于mr的智能驾考练车系统及方法

Similar Documents

Publication Publication Date Title
Garbett et al. A multi-user collaborative BIM-AR system to support design and construction
Behzadan et al. Augmented reality visualization: A review of civil infrastructure system applications
Wang et al. Augmented Reality in built environment: Classification and implications for future research
Kim et al. Improvement of realism of 4D objects using augmented reality objects and actual images of a construction site
US20110109628A1 (en) Method for producing an effect on virtual objects
Corneli et al. Augmented reality and deep learning towards the management of secondary building assets
Behzadan ARVISCOPE: Georeferenced visualization of dynamic construction processes in three-dimensional outdoor augmented reality
Camba et al. From reality to augmented reality: Rapid strategies for developing marker-based AR content using image capturing and authoring tools
Behzadan et al. Automated generation of operations level construction animations in outdoor augmented reality
Dudhee et al. Building information model visualisation in augmented reality
WO2018156087A1 (en) Finite-element analysis augmented reality system and method
CN109636920A (zh) 一种基于HoloLens的MR车间巡视方法
CN114372107A (zh) 一种基于gis的国土整治与生态修复数据可视化方法和系统
Kahn et al. Beyond 3d" as-built" information using mobile ar enhancing the building lifecycle management
Gimeno et al. An augmented reality (AR) CAD system at construction sites
Bressan et al. Case studies of eXtended reality combined with Building Information Modeling: A literature review
Huang et al. An augmented reality platform for interactive finite element analysis
Herman et al. The design and testing of 3DmoveR: An experimental tool for usability studies of interactive 3D maps
KR101425017B1 (ko) 모바일 기기를 이용한 지중 전력구 점검장치 및 그 방법
CN112214821A (zh) 桥梁施工策划可视化方法、装置、设备及存储介质
Wang Improving human-machine interfaces for construction equipment operations with mixed and augmented reality
Landa Problems analysis and solutions for the establishment of augmented reality technology in maintenance and education
Merckel et al. Multi-interfaces approach to situated knowledge management for complex instruments: First step toward industrial deployment
Dias et al. A4D: augmented reality 4D system for architecture and building construction
Sundari et al. Development of 3D Building Model Using Augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication