CN112198961A - 一种设备维修作业辅助引导系统 - Google Patents

一种设备维修作业辅助引导系统 Download PDF

Info

Publication number
CN112198961A
CN112198961A CN202011040837.0A CN202011040837A CN112198961A CN 112198961 A CN112198961 A CN 112198961A CN 202011040837 A CN202011040837 A CN 202011040837A CN 112198961 A CN112198961 A CN 112198961A
Authority
CN
China
Prior art keywords
maintenance
scene
head
tracking module
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011040837.0A
Other languages
English (en)
Other versions
CN112198961B (zh
Inventor
张伟
朱丹
韩斐
谢岩甫
答宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Engineering University of PLA Aircraft Maintenace Management Sergeant School
Original Assignee
Air Force Engineering University of PLA Aircraft Maintenace Management Sergeant School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Engineering University of PLA Aircraft Maintenace Management Sergeant School filed Critical Air Force Engineering University of PLA Aircraft Maintenace Management Sergeant School
Priority to CN202011040837.0A priority Critical patent/CN112198961B/zh
Publication of CN112198961A publication Critical patent/CN112198961A/zh
Application granted granted Critical
Publication of CN112198961B publication Critical patent/CN112198961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明属于设备诱导维修技术领域，具体涉及一种设备维修作业辅助引导系统。该系统包括头盔，所述头盔上设置有场景摄像机、眼动跟踪模块、头部位姿跟踪模块、光学透视式显示器、全信息处理模块和识别定位标记，且识别定位标记为二维码图片，辅以更加准确地确定维修人员头部相对于维修场景的位置关系，且该系统具有较强的拓展性和通用性，能够根据具体需要导入维修对象的三维模型并编辑维修任务，实现对不同对象和任务的引导维修，实现了“以人为中心”的维修，并且为解决军机战场快速抢修问题提供了思维和途径，在提高装备维修性、保障性方面具有一定价值。

Description

一种设备维修作业辅助引导系统
技术领域
本发明属于设备诱导维修技术领域，具体涉及一种设备维修作业辅助引导系统。
背景技术
现代飞机结构复杂、技术密集，拆装与维护维修难度较大。面对大量部附件组成的装配体系及其内部复杂的约束关系，传统的维修方式为依靠维修手册和工程图册的指导进行维修，该种方式维修人员的注意力需要在技术资料和维修对象间频繁切换，加之维修环境恶劣，会使维修人员精神状态高度紧张，从而造成拆装维修出现错误，如果拆装顺序不当将导致装配精度不达标。由此来看，传统的维修方式不仅制约了维修效率的提升，而且导致较高的误操作发生率。
为了解决上述问题，飞机维修作业辅助引导装置采用增强现实技术(AugmentedReality Technique，AR)。增强现实技术是在虚拟现实技术的基础上发展起来的，通过对真实环境中的真实物体对象的识别，利用计算机技术根据识别的结果生成相应的虚拟信息，并通过算法设计将这些虚拟信息与真实物体进行匹配叠加，实现对现实的“增强”。应用于飞机维修辅助作业时，根据维修任务、装备三维模型、电子维修手册等信息生成方法提示、注意事项等引导信息，以虚实叠加的方式呈现在视场中，在“维修区域”叠加显示各类信息，形成伴随式的引导，以辅助维修人员进行维修作业，实现维护操作和训练的标准化和可视化辅助作业，确保维护操作过程完全符合规程要求，解决了复杂科目、危险科目维修差错多发的问题。该种方法也称为诱导维修方法。
虚实叠加的基础是能够对现实装备准确的识别定位，通常的解决方法是将图片或数字模型上传至国际互联网上的增强现实综合服务平台网站，由网站服务器在线一次性生成含有增强现实识别信息的软件开发工具包。但是，而有关军机的图片和三维模型均为涉密信息，不能上传至互联网，导致无法准确获取维修人员头部相对于维修场景的位置关系。
发明内容
本发明提供了一种设备维修作业辅助引导系统，用以解决现有技术无法准确获取维修人员头部相对于维修场景的位置关系的问题。
为解决上述技术问题，本发明的技术方案包括：
本发明提供了一种设备诱导维修系统，包括头盔，所述头盔上设置有场景摄像机、眼动跟踪模块、头部位姿跟踪模块、光学透视式显示器、全信息处理模块和识别定位标记；
所述场景摄像机用于获取真实的维修场景，并传输给全信息处理模块；
所述眼动跟踪模块用于跟踪戴上头盔的维修人员的眼球运动情况，并传输给全信息处理模块；
所述头部位姿跟踪模块用于跟踪维修人员的头部位置和姿态变化，并传输给全信息处理模块；
所述光学透视式显示器用于使维修人员实时看到真实的维修场景，并看到叠加在维修场景上的增强信息；
所述识别定位标记为二维码图片，固定于实际的维修场景的设定位置处，辅以确定维修人员头部相对于维修场景的位置关系；
所述全信息处理模块存储有设备其他部件与二维码图片的相对位置关系，且用于：结合头部姿态采集的数据和识别定位标记的位置，得到维修人员头部相对于维修场景的位置关系，并根据眼动跟踪模块采集的数据，以确定维修人员的视线方向，结合所述位置关系和视线方向，确定所要添加的增强信息以及增强信息在光学透视式显示器上的映射位置，连同真实的维修场景一并投影至光学透视式显示器上。
上述技术方案的有益效果为：本发明的设备诱导维修系统，包括头盔，头盔上设置有场景摄像机、眼动跟踪模块、头部位姿跟踪模块、光学透视式显示器、全信息处理模块和识别定位标记，其中识别定位标记采用非涉密的二维码图片，以更加准确地确定维修人员头部相对于维修场景的位置关系，定位效果较佳。而且，该系统具有较强的拓展性和通用性，能够根据具体需要导入维修对象的三维模型并编辑维修任务，实现对不同对象和任务的引导维修，实现了“以人为中心”的维修，并且为解决军机战场快速抢修问题提供了思维和途径，在提高装备维修性、保障性方面具有一定价值。
进一步的，所述眼动跟踪模块包括红外摄像头。
进一步的，所述头部位姿跟踪模块为电磁式位置跟踪器。
进一步的，该系统还包括语音交互模块，所述语音交互模块用于引导维修人员以正确操作方式和流程进行维修操作。
附图说明
图1是本发明的设备维修作业辅助引导系统的示意图；
图2-1是本发明的头盔的主视图；
图2-2是本发明的头盔上的传感器的设置位置示意图；
图2-3是本发明的头盔上的头戴式显示器的设置位置示意图；
图2-4是本发明的头盔上的全信息处理模块的设置位置示意图；
图3是本发明的坐标定位的流程图。
具体实施方式
本发明以飞机作为维系对象，对应的设备维修作业辅助引导系统的原理如图1所示，该系统包括头盔，头盔的主视图如图2-1所示，头盔上设置有穿戴式显示器2(如图2-3所示)、传感器1(如图2-2所示)和全信息处理模块3(如图2-4所示)，该穿戴式显示器使用光学透视式。该系统还包括识别定位标记4和语音交互模块。全信息处理模块3与传感器1和穿戴式显示器2均可进行数据交互。
传感器1包括视觉传感器、眼动跟踪模块和头部姿态跟踪模块。其中：
视觉传感器为场景摄像机，用于在维修过程中对真实的维护场景进行实时的视频采集，为工作环境的识别做好准确，并将采集的视频传输给全信息处理模块3。
眼动跟踪模块包括红外摄像头，用于跟踪戴上头盔的维修人员的眼球运动情况，并传输给全信息处理模块，以确定维修人员的视线方向。
头部姿态跟踪模块为电磁式位置跟踪器，用于跟踪维修人员的头部位置和姿态变化，并传输给全信息处理模块，以确定维修人员头部相对于维修场景的位置关系，为维修人员对现实维修场景的准确定位和虚实图像融合显示的处理提供准备，以完成增强信息与真实维修场景的虚实配准。除了位置跟踪器外，还可以是陀螺仪、加速度计等。
穿戴式显示器1用于使维修人员实时看到真实的维修场景，并看到叠加在维修场景上的增强信息。增强信息可以是对每个零部件的说明和解释，也可以是对维修任务操作流程的引导和提示，包括操作步骤、故障的排除流程及方法、被维修设备的内部结构、被维修设备零件图等，可以是文字、图像，也可以是交互界面。
全信息处理模块3存储有设备其他部件与二维码图片的相对位置关系，且用于结合头部姿态采集的数据和识别定位标记的位置，得到维修人员头部相对于维修场景的位置关系，并根据眼动跟踪模块采集的数据，以确定维修人员的视线方向，结合所述位置关系和视线方向，确定所要添加的增强信息以及增强信息在光学透视式显示器上的映射位置，连同真实的维修场景一并投影至穿戴式显示器2上。其中，全信息处理单元中存储有发动机手册、案例数据库、虚拟样机、专家知识库等，根据这些信息可生成增强信息。
语音交互模块包括耳机和麦克风，通过配合引导语音(音频)引导操作员以正确的操作方式及流程完成任务，避免操作人员由于记忆错误及误操作而造成的操作失误。对于维修人员进行实时响应并且给予回馈信息，实现用户和系统的实时三维交互，在判断维修人员指令的逻辑性前提下使系统执行维修人员对空间物体实时的指令。
识别定位标记4为一张二维码图片，粘贴在实际的维修场景的设定位置处，确保定位准确性。虚实叠加的基础是能够对现实装备准确的识别定位，通常的解决方法是将图片或数字模型上传至国际互联网上的增强现实综合服务平台网站，由网站服务器在线一次性生成含有增强现实识别信息的软件开发工具包。但是，而有关军机的图片和三维模型均为涉密信息，不能上传至互联网。针对该问题，故本申请采用非涉密替身图片(二维码图片)替代的方式获得识别信息。
其中，基于二维码图片的空间坐标定位的实现流程如图3所示，步骤如下：
①注册替身图片。本系统采用二维码图片作为替身图片。将替身图片传至识别算法程序供方网站上进行特征注册，使其具有可识别的特征信息。
②下载SDK并导入应用项目。创建应用项目；在识别算法程序供方网站上下载注册生成的SDK，下载完成后双击打开文件，导入SDK。
③设置识别开发信息。激活本次使用的识别图；创建识别显示的三维Cube物体。
④在软件开发平台中识别并显示指定内容。发布程序，安装执行，摄像头拍摄到识别图片，识别后画面中显示出三维Cube物体。
⑤仿真内容与标识图片位置绑定。打印替身图片，尺寸为4cm×4cm，粘贴在被维修设备的指定位置。替身图片识别的预设位置坐标和角度坐标是原点(0,0,0)，依据实装与替身图片的相对位置，标定项目中需显示的虚拟信息在空间中的位置。
⑥替换显示目标内容。进行程序嵌套开发，创建一个空物体并改名为Manager(可任意命名)，并挂载脚本。
⑦实现空间坐标继承。通过脚本程序隐藏初次识别成功后目标物体及子物体Cube；显示的目标内容位置坐标、角度坐标信息继承Cube初次识别成功后的坐标。
⑧虚实配准。确定各个设备在空间的位置，根据脚本开发叠加在各个设备上的图像、语音、文字虚拟信息程序，引导调用功能程序运行，实现对设备间接的识别、定位及虚拟信息的叠加显示。
按照上述过程将叠加有增强信息的维修场景投影到穿戴式显示器后，维修人员便可在增强信息的引导下，采用正确的工具进行每一步的维修操作，提高维修人员的工作效率和维修质量。
本发明通过穿戴式显示设备将飞机维修作业的操作流程以虚拟信息的方式叠加在实物设备上，并配合引导语音(音频)引导操作员以正确的操作方式及流程完成任务，可以避免维修人员由于记忆错误及误操作而造成的操作失误。维修人员通过确认手势进行操作步骤的切换或通过手势操作菜单功能键进行操作步骤的切换。该系统具备较强的拓展性和通用性，能够根据具体需要导入维修对象的三维模型并编辑维修任务，可实现对不同对象和任务的引导维修，实现了“以人为中心”的维修，并且为解决军机战场快速抢修问题提供了思维和途径，在提高装备维修性、保障性方面具有一定价值。

Claims (4)

1.一种设备维修作业辅助引导系统，其特征在于，包括头盔，所述头盔上设置有场景摄像机、眼动跟踪模块、头部位姿跟踪模块、光学透视式显示器、全信息处理模块和识别定位标记；
所述场景摄像机用于获取真实的维修场景，并传输给全信息处理模块；
所述眼动跟踪模块用于跟踪戴上头盔的维修人员的眼球运动情况，并传输给全信息处理模块；
所述头部位姿跟踪模块用于跟踪维修人员的头部位置和姿态变化，并传输给全信息处理模块；
所述光学透视式显示器用于使维修人员实时看到真实的维修场景，并看到叠加在维修场景上的增强信息；
所述识别定位标记为二维码图片，固定于实际的维修场景的设定位置处，辅以确定维修人员头部相对于维修场景的位置关系；
所述全信息处理模块存储有设备其他部件与二维码图片的相对位置关系，且用于：结合头部姿态采集的数据和识别定位标记的位置，得到维修人员头部相对于维修场景的位置关系，并根据眼动跟踪模块采集的数据，以确定维修人员的视线方向，结合所述位置关系和视线方向，确定所要添加的增强信息以及增强信息在光学透视式显示器上的映射位置，连同真实的维修场景一并投影至光学透视式显示器上。
2.根据权利要求1所述的设备维修作业辅助引导系统，其特征在于，所述眼动跟踪模块包括红外摄像头。
3.根据权利要求1所述的设备维修作业辅助引导系统，其特征在于，所述头部位姿跟踪模块为电磁式位置跟踪器。
4.根据权利要求1～3任一项所述的设备维修作业辅助引导系统，其特征在于，该系统还包括语音交互模块，所述语音交互模块用于引导维修人员以正确操作方式和流程进行维修操作。
CN202011040837.0A 2020-09-28 2020-09-28 一种设备维修作业辅助引导系统 Active CN112198961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011040837.0A CN112198961B (zh) 2020-09-28 2020-09-28 一种设备维修作业辅助引导系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011040837.0A CN112198961B (zh) 2020-09-28 2020-09-28 一种设备维修作业辅助引导系统

Publications (2)

Publication Number Publication Date
CN112198961A true CN112198961A (zh) 2021-01-08
CN112198961B CN112198961B (zh) 2023-04-18

Family

ID=74006770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011040837.0A Active CN112198961B (zh) 2020-09-28 2020-09-28 一种设备维修作业辅助引导系统

Country Status (1)

Country Link
CN (1) CN112198961B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570732A (zh) * 2021-08-10 2021-10-29 郑州航空工业管理学院 一种基于ar技术的盾构维修辅助方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法
US20170116788A1 (en) * 2015-10-22 2017-04-27 Shandong University New pattern and method of virtual reality system based on mobile devices
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
CN110333775A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种航天装备增强现实维修诱导系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116788A1 (en) * 2015-10-22 2017-04-27 Shandong University New pattern and method of virtual reality system based on mobile devices
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
CN110333775A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种航天装备增强现实维修诱导系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C.R. CASSADY: "A generic model of equipment availability under imperfect maintenance" *
杨文芳;何宁;: "基于增强现实技术的武器装备维修辅助系统设计与实现" *
王帅: "基于Unity3D的机械臂虚拟交互平台系统的开发" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570732A (zh) * 2021-08-10 2021-10-29 郑州航空工业管理学院 一种基于ar技术的盾构维修辅助方法和系统

Also Published As

Publication number Publication date
CN112198961B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
US9264702B2 (en) Automatic calibration of scene camera for optical see-through head mounted display
CN102789514B (zh) 一种机械设备拆装3d在线诱导系统的诱导方法
Eswaran et al. Augmented reality-based guidance in product assembly and maintenance/repair perspective: A state of the art review on challenges and opportunities
Caudell Introduction to augmented and virtual reality
Wang et al. Augmented reality in maintenance training for military equipment
CN110928418A (zh) 一种基于mr的航空线缆辅助装配方法及系统
JP6646511B2 (ja) 技能伝承システム及び方法
CN103246350A (zh) 基于感兴趣区实现辅助信息提示的人机接口设备及方法
JP2000137822A (ja) 現実強調システム
CN113222184A (zh) 基于增强现实ar的设备巡检系统及方法
CN107368314B (zh) 基于移动ar的机械制造工艺课程设计教学辅助系统及开发方法
CN110580024A (zh) 基于增强现实的车间辅助作业实现方法、系统及存储介质
CN112198961B (zh) 一种设备维修作业辅助引导系统
CN112276914A (zh) 一种基于ar技术的工业机器人及其人机交互方法
CN115661412A (zh) 一种基于混合现实的航空发动机辅助装配系统及方法
Cooke et al. Interactive graphical model building using telepresence and virtual reality
Colvin et al. Multiple user motion capture and systems engineering
Su et al. An auxiliary industrial equipment maintenance system using mixed reality
CN113674426A (zh) 使用ar技术的设备检修方法及装置
CN115494942A (zh) 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质
CN113989462A (zh) 一种基于增强现实的铁路信号室内设备维护系统
JP2008040913A (ja) 情報処理方法、情報処理装置
Bannat et al. Event analysis and interpretation of human activity for augmented reality-based assistant systems
CN203276167U (zh) 一套基于感兴趣区实现辅助信息提示的人机接口设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant