CN110047150B - 一种基于增强现实的复杂设备操作运行在位仿真系统 - Google Patents

一种基于增强现实的复杂设备操作运行在位仿真系统 Download PDF

Info

Publication number
CN110047150B
CN110047150B CN201910335468.9A CN201910335468A CN110047150B CN 110047150 B CN110047150 B CN 110047150B CN 201910335468 A CN201910335468 A CN 201910335468A CN 110047150 B CN110047150 B CN 110047150B
Authority
CN
China
Prior art keywords
complex
module
simulation
scene
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910335468.9A
Other languages
English (en)
Other versions
CN110047150A (zh
Inventor
员勇博
张东平
杨庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Environment Industry Group Co Ltd
Original Assignee
Datang Environment Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Environment Industry Group Co Ltd filed Critical Datang Environment Industry Group Co Ltd
Priority to CN201910335468.9A priority Critical patent/CN110047150B/zh
Publication of CN110047150A publication Critical patent/CN110047150A/zh
Application granted granted Critical
Publication of CN110047150B publication Critical patent/CN110047150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实的复杂设备操作运行在位仿真系统，包括：仿真场景模块，其生成场景三维点云模型，建立复杂设备仿真模型，操作人员远程操作复杂设备仿真模型；增强现实模块，其将复杂设备仿真模型叠加在实时场景图像中，展示复杂设备仿真模型在当前场景图像中位置及3D操作手册；设备管理模块，其获取复杂设备实时运行状态，存储3D操作手册并发送至增强现实模块，接收远程操作控制的实时视频信息并与操作人员远程3D可视交流；通信模块，其实现设备管理模块与仿真场景模块和增强现实模块之间通信；交互接口模块，其用于仿真场景模块和增强现实模块之间的交互。本发明的有益效果：实现大型复杂设备在位仿真的操作运行培训和指导。

Description

一种基于增强现实的复杂设备操作运行在位仿真系统
技术领域
本发明涉及制造业装备仿真技术领域，具体而言，涉及一种基于增强现实的复杂设备操作运行在位仿真系统。
背景技术
大型复杂设备尺寸大、重量显著、构型复杂、存在大量精密零件以及装配组件。大型复杂设备装配维修过程中的工艺装备(标准和非标的吊装、试验及检测设备等，通用及专用工装、夹具或型架)种类多，数量庞大，而且装配工艺高度复杂，操作人员无法精确记住每个操作细节，尤其是科研阶段工艺规程持续变化和改进使得大型复杂设备的产品组装和产品维修是一项技术难度大、涉及学科领域多的综合性集成技术，它在很大程度上决定了设备的最终质量、制造成本和周期。因而，迫切需要在大型复杂设备的装配和维修训练系统，实时指导，全过程监控，全面提供可追溯性保障手段。
大型复杂设备的操作流程和工序复杂，基于虚拟现实的操作训练是在计算机提供的虚拟适人仿真环境中训练操作人员熟练掌握大型设备的操作使用方法。但是虚拟仿真环境不能完全真实的再现真实现场环境，同时虚拟设备的运动仿真规划结果和实际设备执行结果之间存在着一定差异。
在实际生产之前，在对大型复杂设备控制系统进行实物调试控制时存在着一定的危险性。基于虚拟现实(VR)环境通过虚机实电测试控制信号存在虚拟场景与真实环境不完全一致的问题。对于各种操作运动是否会与真实环境中墙壁、各种工装等发生碰撞难以进行检测。
发明内容
为解决上述问题，本发明的目的在于提供一种基于增强现实的复杂设备操作运行在位仿真系统，基于虚拟现实环境实现虚拟装备实电仿真测试，实现了大型复杂设备在位仿真的操作运行培训和指导，避免了复杂设备进行实物调试控制时存在的危险性，也能检测复杂设备的各种操作运动与真实环境中墙壁、各种工装发生的碰撞。
本发明提供了一种基于增强现实的复杂设备操作运行在位仿真系统，包括：
仿真场景模块，其对在一定时间间隔内实时循环采集到的当前复杂设备所在的真实场景图像进行分析处理重建，生成场景三维点云模型，从中识别出该复杂设备，并对该复杂设备进行实时跟踪，确定当前复杂设备在真实环境中的位置与姿态，将位置与姿态信息传入虚拟环境，在虚拟环境中对复杂设备建模，建立复杂设备仿真模型，操作人员根据该复杂设备的3D操作手册，结合场景三维点云模型远程操作控制该复杂设备仿真模型，并将远程操作的实时视频信息发送给设备管理模块；
增强现实模块，其通过可穿戴AR设备将复杂设备仿真模型叠加在实时采集到的场景图像中，实现虚实的视觉融合，展示复杂设备仿真模型在当前场景图像中的位置，完成对复杂设备和操作运行环境的虚拟再现，并对设备管理模块发送的复杂设备的3D操作手册进行展示，供操作人员对复杂设备仿真模型进行远程操作控制；
设备管理模块，其用于获取各个复杂设备的实时运行状态，存储各个复杂设备的3D操作手册，并发送3D操作手册至所述增强现实模块，接收操作人员远程操作控制复杂设备仿真模型的实时视频信息，并实现与操作人员的远程3D可视交流；
通信模块，其用于实现所述设备管理模块与所述仿真场景模块和所述增强现实模块之间的通信；
交互接口模块，其用于所述仿真场景模块和所述增强现实模块之间的交互。
作为本发明进一步的改进，所述仿真场景模块通过图像采集组件在各个角度拍摄的深度图像合成场景三维点云模型。
作为本发明进一步的改进，所述仿真场景模块还包括：检测操作员在操作过程中，所述复杂设备仿真模型在所述三维点云模型中是否发生碰撞，当发生碰撞致时，发送报警信息，并将报警信息发送给操作人员。
作为本发明进一步的改进，所述报警信息包括语音反馈信息和可穿戴AR设备屏幕上展示的视频反馈信息。
作为本发明进一步的改进，所述设备管理模块中对各个复杂设备分别设置一个标号，对每个标号的复杂设备的信息分别存储，包括复杂设备的复杂设备仿真模型、实时运行状态、3D操作手册和操作人员远程操作视频。
作为本发明进一步的改进，所述设备管理模块还包括接收操作人员的查询请求，依据查询请求所对应复杂设备的标号，将该标号复杂设备对应的3D操作手册发送至所述增强现实模块。
本发明的有益效果为：
通过增强现实及虚拟仿真技术相结合，对复杂设备进行虚实融合，环境更真实，可以在真实的复杂设备上进行拆装维修操作虚拟培训指导和控制系统仿真测试，解决纯虚拟仿真环境中不能与真实生产现场完全一致，无法与真实环境交互的问题，从而满足基于装配现场的无人指导智能化培训以及实时操作指导、监控、记录和分析，避免了复杂设备进行实物调试控制时存在的危险性，可以获取当前设备的各种实时工作状态，也能检测复杂设备的各种操作运动与真实环境中墙壁、各种工装发生的碰撞。
附图说明
图1为本发明实施例所述的一种基于增强现实的复杂设备操作运行在位仿真系统的示意图。
具体实施方式
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
如图1所示，本发明实施例的一种基于增强现实的复杂设备操作运行在位仿真系统，包括：仿真场景模块、增强现实模块、设备管理模块、通信模块和交互接口模块。
仿真场景模块对在一定时间间隔内实时循环采集到的当前复杂设备所在的真实场景图像进行分析处理重建，生成场景三维点云模型(现场标定点群)，从中识别出该复杂设备，并对该复杂设备进行实时跟踪，确定当前复杂设备在真实环境中的位置与姿态，将位置与姿态信息传入虚拟环境，在虚拟环境中对复杂设备建模，建立复杂设备仿真模型，操作人员根据该复杂设备的3D操作手册，结合场景三维点云模型远程操作控制该复杂设备仿真模型，并将远程操作的实时视频信息发送给设备管理模块。
其中，仿真场景模块通过图像采集组件在各个角度拍摄的深度图像合成场景三维点云模型。例如，通过多个可以旋转的摄像头，分别在不同角度拍摄真实环境的深度图像。
进一步的，仿真场景模块还包括：检测操作员在操作过程中，复杂设备仿真模型在三维点云模型中是否发生碰撞，当发生碰撞致时，发送报警信息，并将报警信息发送给操作人员。报警信息包括语音反馈信息和可穿戴AR设备屏幕上展示的视频反馈信息。
增强现实模块通过可穿戴AR设备将复杂设备仿真模型叠加在实时采集到的场景图像中，实现虚实的视觉融合，展示复杂设备仿真模型在当前场景图像中的位置，完成对复杂设备和操作运行环境的虚拟再现，并对设备管理模块发送的复杂设备的3D操作手册进行展示，供操作人员对复杂设备仿真模型进行远程操作控制。
设备管理模块用于获取各个复杂设备的实时运行状态，存储各个复杂设备的3D操作手册，并发送3D操作手册至增强现实模块，接收操作人员远程操作控制复杂设备仿真模型的实时视频信息，并实现与操作人员的远程3D可视交流。
其中，操作人员可以根据对应复杂设备的3D操作手册，在可穿戴AR设备的辅助下，观看该操作手册，并对对应的复杂设备仿真模型进行远程操作控制，控制过程中的实时视频数据被采集并传输至远程的设备管理模块，以供远程控制的工作人员分析。同时，操作人员在操作过程中，还可以通过可穿戴AR设备与远程的设备管理模块进行3D可视交流，提高远程操作的正确率和效率。
其中，设备管理模块中对各个复杂设备分别设置一个标号，对每个标号的复杂设备的信息分别存储，包括复杂设备的复杂设备仿真模型、实时运行状态、3D操作手册和操作人员远程操作视频。例如，该标号可以为二维码等等，只要是能区别各个复杂设备的标签即可。
进一步的于，设备管理模块还包括接收操作人员的查询请求，依据查询请求所对应复杂设备的标号，将该标号复杂设备对应的3D操作手册发送至增强现实模块。对每个复杂设备设置标号，避免数据提取传输过程中出错，可以根据操作人员所请求的复杂设备的标号，直接传输对应标号的信息，提高传输的效率。
通信模块用于实现设备管理模块与仿真场景模块和增强现实模块之间的通信。该通信模块可以为无线网络等，实现各个模块之间的数据通信即可。
交互接口模块用于仿真场景模块和增强现实模块之间的交互。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于增强现实的复杂设备操作运行在位仿真系统，其特征在于，包括：
仿真场景模块，其对在一定时间间隔内实时循环采集到的当前复杂设备所在的真实场景图像进行分析处理重建，生成场景三维点云模型，从中识别出该复杂设备，并对该复杂设备进行实时跟踪，确定当前复杂设备在真实环境中的位置与姿态，将位置与姿态信息传入虚拟环境，在虚拟环境中对复杂设备建模，建立复杂设备仿真模型，操作人员根据该复杂设备的3D操作手册，结合场景三维点云模型远程操作控制该复杂设备仿真模型，并将远程操作的实时视频信息发送给设备管理模块；
增强现实模块，其通过可穿戴AR设备将复杂设备仿真模型叠加在实时采集到的场景图像中，实现虚实的视觉融合，展示复杂设备仿真模型在当前场景图像中的位置，完成对复杂设备和操作运行环境的虚拟再现，并对设备管理模块发送的复杂设备的3D操作手册进行展示，供操作人员对复杂设备仿真模型进行远程操作控制；
设备管理模块，其用于获取各个复杂设备的实时运行状态，存储各个复杂设备的3D操作手册，并发送3D操作手册至所述增强现实模块，接收操作人员远程操作控制复杂设备仿真模型的实时视频信息，并实现与操作人员的远程3D可视交流；
通信模块，其用于实现所述设备管理模块与所述仿真场景模块和所述增强现实模块之间的通信；
交互接口模块，其用于所述仿真场景模块和所述增强现实模块之间的交互。
2.根据权利要求1所述的复杂设备操作运行在位仿真系统，其特征在于，所述仿真场景模块通过图像采集组件在各个角度拍摄的深度图像合成场景三维点云模型。
3.根据权利要求1所述的复杂设备操作运行在位仿真系统，其特征在于，所述仿真场景模块还包括：检测操作员在操作过程中，所述复杂设备仿真模型在所述三维点云模型中是否发生碰撞，当发生碰撞致时，发送报警信息，并将报警信息发送给操作人员。
4.根据权利要求3所述的复杂设备操作运行在位仿真系统，其特征在于，所述报警信息包括语音反馈信息和可穿戴AR设备屏幕上展示的视频反馈信息。
5.根据权利要求1所述的复杂设备操作运行在位仿真系统，其特征在于，所述设备管理模块中对各个复杂设备分别设置一个标号，对每个标号的复杂设备的信息分别存储，包括复杂设备的复杂设备仿真模型、实时运行状态、3D操作手册和操作人员远程操作视频。
6.根据权利要求5所述的复杂设备操作运行在位仿真系统，其特征在于，所述设备管理模块还包括接收操作人员的查询请求，依据查询请求所对应复杂设备的标号，将该标号复杂设备对应的3D操作手册发送至所述增强现实模块。
CN201910335468.9A 2019-04-24 2019-04-24 一种基于增强现实的复杂设备操作运行在位仿真系统 Active CN110047150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910335468.9A CN110047150B (zh) 2019-04-24 2019-04-24 一种基于增强现实的复杂设备操作运行在位仿真系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910335468.9A CN110047150B (zh) 2019-04-24 2019-04-24 一种基于增强现实的复杂设备操作运行在位仿真系统

Publications (2)

Publication Number Publication Date
CN110047150A CN110047150A (zh) 2019-07-23
CN110047150B true CN110047150B (zh) 2023-06-16

Family

ID=67279110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910335468.9A Active CN110047150B (zh) 2019-04-24 2019-04-24 一种基于增强现实的复杂设备操作运行在位仿真系统

Country Status (1)

Country Link
CN (1) CN110047150B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176245A (zh) * 2019-10-29 2020-05-19 中国电子科技集团公司第三十八研究所 基于数字孪生技术的多终端工业设备巡检监控系统及方法
CN111081108A (zh) * 2019-12-26 2020-04-28 中国航空工业集团公司西安飞机设计研究所 一种基于增强现实技术的拆装训练方法和装置
CN111161409B (zh) * 2019-12-27 2023-10-13 中国航空工业集团公司沈阳飞机设计研究所 一种飞机保障设备验证系统
CN111351789B (zh) * 2020-04-07 2023-05-16 中国联合网络通信集团有限公司 设备检测/维护的方法、系统及电子装置
CN111524240A (zh) * 2020-05-11 2020-08-11 维沃移动通信有限公司 场景切换方法、装置及增强现实设备
CN111866464B (zh) * 2020-07-28 2021-08-24 盐城工业职业技术学院 一种基于虚拟现实技术的农用拖拉机远程控制系统
CN112348964B (zh) * 2020-10-11 2024-06-04 中国运载火箭技术研究院 增强现实眼镜
CN112286351A (zh) * 2020-10-28 2021-01-29 济南浪潮高新科技投资发展有限公司 一种基于vr/ar的产品设计仿真系统
CN112509148A (zh) * 2020-12-04 2021-03-16 全球能源互联网研究院有限公司 一种基于多特征识别的交互方法、装置及计算机设备
CN112562092A (zh) * 2020-12-22 2021-03-26 国网上海市电力公司 一种基于ar技术的电气试验智能交互系统
CN113674574B (zh) * 2021-07-05 2023-10-13 河南泊云电子科技股份有限公司 一种增强现实半实物复杂机电设备培训系统
CN113985820B (zh) * 2021-08-19 2023-10-20 中核武汉核电运行技术股份有限公司 一种基于增强现实技术的核电厂远程指导系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484522A (zh) * 2014-12-11 2015-04-01 西南科技大学 一种基于现实场景的机器人模拟演练系统的构建方法
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法
CN108422435A (zh) * 2018-03-21 2018-08-21 青岛理工大学 一种基于增强现实的远程监测及控制系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122998B2 (en) * 2015-04-30 2018-11-06 Seiko Epson Corporation Real time sensor and method for synchronizing real time sensor data streams
WO2017030193A1 (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20180268015A1 (en) * 2015-09-02 2018-09-20 Sasha Sugaberry Method and apparatus for locating errors in documents via database queries, similarity-based information retrieval and modeling the errors for error resolution

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484522A (zh) * 2014-12-11 2015-04-01 西南科技大学 一种基于现实场景的机器人模拟演练系统的构建方法
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法
CN108422435A (zh) * 2018-03-21 2018-08-21 青岛理工大学 一种基于增强现实的远程监测及控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于增强现实的复杂产品智能装配辅助系统研究;杨庆等;《机械设计与制造工程》;20171130;第33-36页 *

Also Published As

Publication number Publication date
CN110047150A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110047150B (zh) 一种基于增强现实的复杂设备操作运行在位仿真系统
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
CN106710001B (zh) 一种基于变电站巡检机器人集中监控仿真系统及其方法
CN111176245A (zh) 基于数字孪生技术的多终端工业设备巡检监控系统及方法
CN111119887B (zh) 一种全息技术下矿井综采工作面的远程干预ar巡检系统
CN107256652A (zh) 电力培训综合控制实训系统
CN113225387B (zh) 机房可视化监控方法及系统
CN108038910A (zh) 变电站主设备虚拟现实演示的实现方法
Rosales et al. IIoT based augmented reality for factory data collection and visualization
WO2022121911A1 (zh) 一种虚拟巡检系统及在增强现实环境下的可视化工厂系统
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
CN112272236A (zh) 一种基于bim的巡检系统及方法
CN112306233A (zh) 一种巡检方法、系统和巡检管理平台
CN110751734B (zh) 一种适用于工作现场的混合现实助手系统
CN116127821A (zh) 一种运维数据的三维可视化呈现方法及平台
CN111384776B (zh) 一种基于vr的变电站三维全景状态监测方法及系统
CN107644457B (zh) 一种应用于工业现场的监控方法
CN116737483B (zh) 一种装配测试交互方法、装置、设备及存储介质
CN115935637A (zh) 一种基于gis数字孪生的变电站可视化运维系统
CN115877993A (zh) 一种基于数字孪生的三维视图展示方法及装置
CN115793673A (zh) 一种基于vr技术的天然气场站机器人巡检方法和装置
CN209746614U (zh) 一种虚拟机器人工作站的仿真互动可视化系统
CN103838213B (zh) 一种信息联动监控系统
Gao et al. Research on visual monitoring and auxiliary maintenance technology of equipment based on augmented reality
CN109947242B (zh) 一种基于信息融合的工厂虚拟应用系统及使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant