CN115494942A - 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质 - Google Patents

一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN115494942A
CN115494942A CN202211142638.XA CN202211142638A CN115494942A CN 115494942 A CN115494942 A CN 115494942A CN 202211142638 A CN202211142638 A CN 202211142638A CN 115494942 A CN115494942 A CN 115494942A
Authority
CN
China
Prior art keywords
maintenance
assembly
augmented reality
scene
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211142638.XA
Other languages
English (en)
Inventor
吴晨韬
周天
顾正玮
杨海根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211142638.XA priority Critical patent/CN115494942A/zh
Publication of CN115494942A publication Critical patent/CN115494942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质，属于装备远程装配运维技术领域，方法包括：采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；将增强现实装配与运维场景展示给作业人员进行装配与运维指导；本发明能够减轻工作强度，避免对装备造成的微小损坏，减轻装备损坏所造成的经济及各方面损失，提高对复杂装备装配与运维的可靠性，提高作业质量的可控程度。

Description

一种基于增强现实的智能装配与运维指导方法、系统、装置及 存储介质
技术领域
本发明涉及一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质，属于装备远程装配运维技术领域。
背景技术
雷达电子装备是实现国家实体空间安全智慧感知的核心装备，雷达电子装备向着高密度、高集成的方向快速发展；当前，高密度雷达装备小型化、大威力、多功能一体化的趋势愈发明显；随着对雷达装备性能要求的提升，内部设备越来越多、密度要求越来越高、作业空间越来越小，装配与运维要求越来越苛刻，特别是在狭小空间内对正常工作的雷达装备进行维修时，恶劣的热、空气、噪声、振动环境、电磁辐射对人体生理、心理造成极大压力，甚至对人造成不可逆的影响；这种作业人员工作强度大、作业质量不可控的问题给高密度雷达电子装备的装配和运维带来了前所未有的挑战。
发明内容
本发明的目的在于提供一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质，解决现有技术中工作强度大、作业质量不可控等问题。
为实现以上目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于增强现实的智能装配与运维指导方法，包括：
采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；
通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；
根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；
将增强现实装配与运维场景展示给作业人员进行装配与运维指导。
结合第一方面，进一步的，所述数据库包含整个装配流程与运维场景信息。
结合第一方面，进一步的，所述装配与运维引导信息包括装配与运维过程的操作步骤、工具信息和设备名称。
结合第一方面，进一步的，所述视觉处理是通过微软HoloLens 增强眼镜中的RGB-D相机对装配与运维场景提取典型特征，包括装配与运维目标的识别跟踪、三维场景重建和计算机位姿解算。
结合第一方面，进一步的，通过头戴式显示器将增强现实装配与运维场景展示给作业人员进行指导。
结合第一方面，进一步的，还包括作业人员通过语音或人体动作的方式对虚拟引导工具进行操控的步骤。
第二方面，本发明还提供了一种基于增强现实的智能装配与运维指导系统，包括：
数据获取模块，用于采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；
装配与运维对象视觉处理模块，用于通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；
虚拟装配与运维工具注册融合模块，用于根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；
人机交互模块，用于将增强现实装配与运维场景展示给作业人员进行装配与运维指导，作业人员基于本模块对虚拟引导工具进行操控。
结合第二方面，进一步的，所述人机交互模块，还用于利用增强现实技术结合AI提供对实物的结构剖析、问题检测和学习培训功能。
第三方面，本发明还提供了一种基于增强现实的智能装配与运维指导装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。
第四方面，本发明还提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果是：
本发明提供的一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质，通过将装配与运维图片和对应的装配与运维引导信息输入到构建好的装配与运维模型中，得到数据库，供在线装配与运维阶段进行对比调用，通过计算机视觉对对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标后求解虚拟引导工具的注册位姿，然后与真实场景进行虚实融合得到增强现实装配与运维场景，从而展示给工作人员进行装配与运维指导，使得工作人员能够远程对复杂设备进行虚拟装配与运维，减轻了工作强度，避免了在实际装配与运维过程中对装备造成的微小损坏，减轻了装备损坏所造成的经济及各方面损失，提高了对复杂装备装配与运维的可靠性，提高作业质量的可控程度。
附图说明
图1是本发明实施例提供的一种基于增强现实的智能装配与运维指导方法的流程图；
图2是本发明实施例提供的一种基于增强现实的智能装配与运维指导系统的示意图。
具体实施方式
下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
如图1所示，本发明实施例提供的一种基于增强现实的智能装配与运维指导方法，包括以下步骤：
S1、采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景。
在线装配与运维开始之前对增强现实引导装配与运维的功能过程进行建模，得到装配与运维模型，通过采集相关的装配与运维图片和与之对应的装配与运维引导信息，输入到构建好的装配与运维模型中，进而生成相应的数据库，供在线装配与运维阶段进行对比调用，并采集真实场景。
数据库包含整个装配流程与运维场景信息，装配与运维引导信息包括装配与运维过程的操作步骤、工具信息和设备名称。
S2、通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标。
通过计算机视觉技术对数据库中的装配与运维场景进行视觉处理，视觉处理是通过微软HoloLens 增强眼镜中的RGB-D相机对装配与运维场景提取典型特征，包括装配与运维目标的识别跟踪、三维场景重建和计算机位姿解算，其中装配与运维目标（即待装配或运维的装备）的识别跟踪是其中的关键。
S3、根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景。
求解得到虚拟引导工具的注册位姿后与步骤S1采集到的真实场景进行虚实融合，将两者无缝融合起来。
S4、将增强现实装配与运维场景展示给作业人员进行装配与运维指导。
通过头戴式显示器将增强现实装配与运维场景展示给作业人员进行指导。
还包括作业人员通过语音或人体动作的方式对虚拟引导工具进行操控的步骤。
本发明实施例所述方法利用微软HoloLens 增强眼镜，该眼镜同时具备RGB和深度摄像头，相较于传统的单一RGB检测或者灰度检测，基于RGB-D的联合检测方式融合了装配与运维目标的深度信息，能够有效提升装配与运维目标识别和场景重建的速度、准确率和鲁棒性，提高装备装配与运维的质量、缩短周期、降低成本、提高作业人员舒适度与安全性，切实提升高密度电子装备总体装配与运维能力，促进制造模式的转变。
实施例2
完整的装配工序可以分为两个阶段：装配规划阶段和装配实施阶段。这两个阶段通常是在不同的部门进行处理的，首先专业人员对整个装配流程进行规划，然后装配生产线根据规划好的装配顺序进行工件装配。
本发明实施例提出如图2所示的一种基于增强现实的智能装配与运维指导系统，将规划、训练与指导集成在同一个系统中，从而提高训练与实际作业两个阶段的对接效率，包括：
数据获取模块，用于采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；
装配与运维对象视觉处理模块，用于通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；
虚拟装配与运维工具注册融合模块，用于根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；
人机交互模块，用于将增强现实装配与运维场景展示给作业人员进行装配与运维指导，作业人员基于本模块对虚拟引导工具进行操控。
人机交互模块，还用于利用增强现实技术结合AI提供对实物的结构剖析、问题检测和学习培训功能。
实施例3
本发明实施例提供的一种基于增强现实的智能装配与运维指导装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；
通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；
根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；
将增强现实装配与运维场景展示给作业人员进行装配与运维指导。
实施例4
本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现下述方法的步骤：
采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；
通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；
根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；
将增强现实装配与运维场景展示给作业人员进行装配与运维指导。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于增强现实的智能装配与运维指导方法，其特征在于，包括：
采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；
通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；
根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；
将增强现实装配与运维场景展示给作业人员进行装配与运维指导。
2.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法，其特征在于，所述数据库包含整个装配流程与运维场景信息。
3.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法，其特征在于，所述装配与运维引导信息包括装配与运维过程的操作步骤、工具信息和设备名称。
4. 根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法，其特征在于，所述视觉处理是通过微软HoloLens 增强眼镜中的RGB-D相机对装配与运维场景提取典型特征，包括装配与运维目标的识别跟踪、三维场景重建和计算机位姿解算。
5.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法，其特征在于，通过头戴式显示器将增强现实装配与运维场景展示给作业人员进行指导。
6.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法，其特征在于，还包括作业人员通过语音或人体动作的方式对虚拟引导工具进行操控的步骤。
7.一种基于增强现实的智能装配与运维指导系统，其特征在于，包括：
数据获取模块，用于采集装配与运维图片和对应的装配与运维引导信息，输入到构建好的装配与运维模型中，生成数据库，采集真实场景；
装配与运维对象视觉处理模块，用于通过计算机视觉对数据库中的装配与运维场景进行视觉处理，识别出装配与运维目标；
虚拟装配与运维工具注册融合模块，用于根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合，得到增强现实装配与运维场景；
人机交互模块，用于将增强现实装配与运维场景展示给作业人员进行装配与运维指导，作业人员基于本模块对虚拟引导工具进行操控。
8.根据权利要求7所述的一种基于增强现实的智能装配与运维指导系统，其特征在于，所述人机交互模块，还用于利用增强现实技术结合AI提供对实物的结构剖析、问题检测和学习培训功能。
9.一种基于增强现实的智能装配与运维指导装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至6任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
CN202211142638.XA 2022-09-20 2022-09-20 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质 Pending CN115494942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211142638.XA CN115494942A (zh) 2022-09-20 2022-09-20 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211142638.XA CN115494942A (zh) 2022-09-20 2022-09-20 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115494942A true CN115494942A (zh) 2022-12-20

Family

ID=84471121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211142638.XA Pending CN115494942A (zh) 2022-09-20 2022-09-20 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115494942A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116021250A (zh) * 2023-03-29 2023-04-28 清华大学 智能装配系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116021250A (zh) * 2023-03-29 2023-04-28 清华大学 智能装配系统

Similar Documents

Publication Publication Date Title
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
Wang et al. A comprehensive survey of augmented reality assembly research
EP3678101A2 (en) Ar-enabled labeling using aligned cad models
CN102789514B (zh) 一种机械设备拆装3d在线诱导系统的诱导方法
Navab Developing killer apps for industrial augmented reality
Alves et al. Comparing spatial and mobile augmented reality for guiding assembling procedures with task validation
CN111526118A (zh) 一种基于混合现实的远程操作引导系统及方法
WO2019041900A1 (zh) 增强现实环境中识别装配操作、模拟装配的方法和装置
CN112734945B (zh) 一种基于增强现实的装配引导方法、系统及应用
Wang et al. Augmented reality in maintenance training for military equipment
CN113222184A (zh) 基于增强现实ar的设备巡检系统及方法
CN110580024A (zh) 基于增强现实的车间辅助作业实现方法、系统及存储介质
CN111966068A (zh) 电机产线增强现实监控方法、装置、电子设备及存储介质
CN115494942A (zh) 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质
WO2021103558A1 (zh) 基于rgb-d数据融合的机器人视觉引导方法和装置
Gouravajhala et al. Eureca: Enhanced understanding of real environments via crowd assistance
CN110751734B (zh) 一种适用于工作现场的混合现实助手系统
CN115294308A (zh) 基于深度学习的增强现实辅助装配作业引导系统
US11455767B1 (en) Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)
Bhattacharya et al. A method for real-time generation of augmented reality work instructions via expert movements
Wang et al. Assembly design and evaluation based on bare-hand interaction in an augmented reality environment
JPH11338532A (ja) 教示装置
Schlueter Remote maintenance assistance using real-time augmented reality authoring
Liu et al. AR-Driven Industrial Metaverse for the Auxiliary Maintenance of Machine Tools in IoT-Enabled Manufacturing Workshop
Martínez et al. Augmented reality aiding collimator exchange at the LHC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination