CN108875966A - 一种利用ar技术的机械设备维修用系统及方法 - Google Patents

Abstract

本发明公开了一种利用AR技术的机械设备维修用系统，包括数据采集模块、数据监测模块、数据处理模块、机械维修数据库、云存储模块、警示模块、AR呈现模块和机械手，数据采集模块、数据检测模块、机械维修数据库和云存储模块的输出端均分别与数据处理模块的输入端连接，数据处理模块输出端分别与云存储模块、警示模块和AR呈现模块的输入端连接，AR呈现模块的输出端与机械手的输入端连接，AR呈现模块包括动作捕捉单元和执行单元，该系统方便对维修进度和维修方式进行实时掌握，可对维修方案进行及时有效的调整，使得维修更加方便快捷；本发明还提供了一种利用AR技术的机械设备维修用方法，操作方便快捷，便于推广。

Description

一种利用AR技术的机械设备维修用系统及方法

技术领域

本发明涉及机械设备维修领域，具体为一种利用AR技术的机械设备维修用系统及方法。

背景技术

AR全称为增强现实技术（Augmented Reality），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术是1990年提出的，目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。

增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。

但是，目前在机械设备维修方面，AR技术的使用并不常见，且没有一套完整的系统和方法针对设备维修提供切实有效的帮助。

发明内容

本发明要解决的技术问题是克服现有的缺陷，提供一种利用AR技术的机械设备维修用系统及方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种利用AR技术的机械设备维修用系统，包括数据采集模块、数据监测模块、数据处理模块、机械维修数据库、云存储模块、警示模块、AR呈现模块和机械手，所述数据采集模块、所述数据检测模块、所述机械维修数据库和所述云存储模块的输出端均分别与所述数据处理模块的输入端连接，所述数据处理模块输出端分别与所述云存储模块、所述警示模块和所述AR呈现模块的输入端连接，所述云存储模块的输入端与所述机械维修数据库的输出端连接，且所述机械维修数据库的输入端与所述云存储模块的输出端连接，所述AR呈现模块的输出端与所述机械手的输入端连接，所述机械手的输出端与所述数据监测模块的输入端连接，所述AR呈现模块包括动作捕捉单元和执行单元。

作为本发明的一种优选技术方案，所述数据采集模块和所述数据监测模块均分别由若干个3D摄像头或3D扫描仪组成，且所述3D摄像头或所述3D扫描仪均匀分布在待维修设备的内部和外部。

作为本发明的一种优选技术方案，所述数据处理模块采用多台计算机联用。

作为本发明的一种优选技术方案，所述警示模块由蜂鸣器和警报灯组成。

本发明还提出了一种利用AR技术的机械设备维修用方法，其特征在于：包括以下步骤：

S1．将所述机械维修数据库导入到所述数据处理模块和云存储模块内；

S2．使用所述数据采集模块对待维修的设备进行摄影或扫描，然后将采集到的相关数据发送到所述数据处理模块；

S3．所述数据处理模块将从所述数据采集模块接收的数据进行整合处理，合成虚拟影像，并将虚拟影像发送给所述AR呈现模块，在处理合成影像时，如果发现设备损坏时，可向所述警示模块发送信号进行警示，且可根据损坏部位和损坏情况，结合所述机械维修数据库内的数据提供相应的维修参考方案，并将维修参考方案发送到所述AR呈现模块；

S4．所述AR呈现模块将接收到的虚拟影像进行3D呈现，并将维修参考方案进行显示，提供参考；

S5．维修人员，根据所述AR呈现模块呈现的3D虚拟影像，选择或者修改维修参考方案，并通过所述AR呈现模块对所述机械手进行操作，其中，所述动作捕捉单元对维修人员的动作进行捕捉，所述执行单元根据捕捉到的动作，对所述机械手下达相应指令；

S6．所述机械手对待维修机械设备进行维修，同时，所述数据监测模块对机械手的动作进行摄影或扫描，所述数据采集模块对待维修设备的维修进程进行摄像或扫描，并将监测数据和采集数据发送到所述数据处理模块；

S7．所述数据处理模块根据监测数据和采集数据进行整合处理，合成虚拟影像，并再次发送到所述AR呈现模块，在合成虚拟影像的同时，根据监测数据，对所述机械手的动作和维修参考方案进行调整，并发送到所述AR呈现模块和所述云存储模块；

S8．所述云存储模块将调整后的维修参考方案传输到所述机械维修数据库内，对所述机械维修数据库内部的信息进行更新；

S9．所述AR呈现模块将最新的3D虚拟影像和维修参考方案进行显示，提供维修人员进行修正；

S10．维修人员通过通过所述AR呈现模块对所述机械手进行操作，所述机械手对待维修机械设备进行维修；

S11．重复以上操作，直到机械设备维修完好。

与现有技术相比，本发明的有益效果是：

1、本发明通过设置数据采集模块和数据监测模块，可对待维修的机械设备和用于维修的机械手进行数据的实时采集和监测，方便对维修进度和维修方式进行实时掌握，便于对维修方案进行及时有效的调整。

2、本发明通过设置机械维修数据库、云存储模块和数据处理模块，可对接收到的数据进行处理，合成虚拟影像，且可根据机械维修数据库提取、编辑和整合出维修参考方案，在维修过程中，可对方案进行及时调整，并对机械维修数据库更新，便于下次维修。

3、本发明通过设置警示模块，可对操作人员进行警示，及时发现设备损坏，及时调整。

4、本发明通过设置AR呈现模块和机械手，可通过虚拟现实操作，对机械手进行操控，使得维修更加方便快捷。

附图说明

图1为本发明连接示意图；

图中：1、数据采集模块；2、数据监测模块；3、数据处理模块；4、机械维修数据库；5、云存储模块；6、警示模块；7、AR呈现模块；8、机械手；9、动作捕捉单元；10、执行单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种利用AR技术的机械设备维修用系统，包括数据采集模块1、数据监测模块2、数据处理模块3、机械维修数据库4、云存储模块5、警示模块6、AR呈现模块7和机械手8，数据采集模块1、数据检测模块2、机械维修数据库4和云存储模块5的输出端均分别与数据处理模块3的输入端连接，数据处理模块3输出端分别与云存储模块5、警示模块6和AR呈现模块7的输入端连接，云存储模块5的输入端与机械维修数据库4的输出端连接，且机械维修数据库4的输入端与云存储模块5的输出端连接，AR呈现模块7的输出端与机械手8的输入端连接，机械手8的输出端与数据监测模块2的输入端连接，AR呈现模块7包括动作捕捉单元9和执行单元10。

为了便于数据的采集和监测，本实施例中，优选的，数据采集模块1和数据监测模块2均分别由若干个3D摄像头或3D扫描仪组成，且3D摄像头或3D扫描仪均匀分布在待维修设备的内部和外部。

为了便于对数据的处理，本实施例中，优选的，数据处理模块3采用多台计算机联用。

为了加强警示效果，本实施例中，优选的，警示模块6由蜂鸣器和警报灯组成。

其实现方法，包括以下步骤：

S1．将机械维修数据库4导入到数据处理模块3和云存储模块5内；

S2．使用数据采集模块1对待维修的设备进行摄影或扫描，然后将采集到的相关数据发送到数据处理模块3；

S3．数据处理模块3将从数据采集模块1接收的数据进行整合处理，合成虚拟影像，并将虚拟影像发送给AR呈现模块7，在处理合成影像时，如果发现设备损坏时，可向警示模块6发送信号进行警示，且可根据损坏部位和损坏情况，结合机械维修数据库4内的数据提供相应的维修参考方案，并将维修参考方案发送到AR呈现模块7；

S4．AR呈现模块7将接收到的虚拟影像进行3D呈现，并将维修参考方案进行显示，提供参考；

S5．维修人员，根据AR呈现模块7呈现的3D虚拟影像，选择或者修改维修参考方案，并通过AR呈现模块7对机械手8进行操作，其中，动作捕捉单元9对维修人员的动作进行捕捉，执行单元10根据捕捉到的动作，对机械手8下达相应指令；

S6．机械手8对待维修机械设备进行维修，同时，数据监测模块2对机械手8的动作进行摄影或扫描，数据采集模块1对待维修设备的维修进程进行摄像或扫描，并将监测数据和采集数据发送到数据处理模块3；

S7．数据处理模块3根据监测数据和采集数据进行整合处理，合成虚拟影像，并再次发送到AR呈现模块7，在合成虚拟影像的同时，根据监测数据，对机械手8的动作和维修参考方案进行调整，并发送到AR呈现模块7和云存储模块5；

S8．云存储模块5将调整后的维修参考方案传输到机械维修数据库4内，对机械维修数据库4内部的信息进行更新；

S9．AR呈现模块7将最新的3D虚拟影像和维修参考方案进行显示，提供维修人员进行修正；

S10．维修人员通过通过AR呈现模块7对机械手8进行操作，机械手8对待维修机械设备进行维修；

S11．重复以上操作，直到机械设备维修完好。

本发明可对待维修的机械设备和用于维修的机械手8进行数据的实时采集和监测，方便对维修进度和维修方式进行实时掌握，便于对维修方案进行及时有效的调整；可对接收到的数据进行处理，合成虚拟影像，且可根据机械维修数据库提取、编辑和整合出维修参考方案，在维修过程中，可对方案进行及时调整，并对机械维修数据库4更新，便于下次维修；可对操作人员进行警示，及时发现设备损坏，及时调整；可通过虚拟现实操作，对机械手8进行操控，使得维修更加方便快捷。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种利用AR技术的机械设备维修用系统，包括数据采集模块（1）、数据监测模块（2）、数据处理模块（3）、机械维修数据库（4）、云存储模块（5）、警示模块（6）、AR呈现模块（7）和机械手（8），其特征在于：所述数据采集模块（1）、所述数据检测模块（2）、所述机械维修数据库（4）和所述云存储模块（5）的输出端均分别与所述数据处理模块（3）的输入端连接，所述数据处理模块（3）输出端分别与所述云存储模块（5）、所述警示模块（6）和所述AR呈现模块（7）的输入端连接，所述云存储模块（5）的输入端与所述机械维修数据库（4）的输出端连接，且所述机械维修数据库（4）的输入端与所述云存储模块（5）的输出端连接，所述AR呈现模块（7）的输出端与所述机械手（8）的输入端连接，所述机械手（8）的输出端与所述数据监测模块（2）的输入端连接，所述AR呈现模块（7）包括动作捕捉单元（9）和执行单元（10）。

2.根据权利要求1所述的一种利用AR技术的机械设备维修用系统，其特征在于：所述数据采集模块（1）和所述数据监测模块（2）均分别由若干个3D摄像头或3D扫描仪组成，且所述3D摄像头或所述3D扫描仪均匀分布在待维修设备的内部和外部。

3.根据权利要求1所述的一种利用AR技术的机械设备维修用系统，其特征在于：所述数据处理模块（3）采用多台计算机联用。

4.根据权利要求1所述的一种利用AR技术的机械设备维修用系统，其特征在于：所述警示模块（6）由蜂鸣器和警报灯组成。

5.一种利用AR技术的机械设备维修用方法，其特征在于：包括以下步骤：

S1．将所述机械维修数据库（4）导入到所述数据处理模块（3）和云存储模块（5）内；

S2．使用所述数据采集模块（1）对待维修的设备进行摄影或扫描，然后将采集到的相关数据发送到所述数据处理模块（3）；

S3．所述数据处理模块（3）将从所述数据采集模块（1）接收的数据进行整合处理，合成虚拟影像，并将虚拟影像发送给所述AR呈现模块（7），在处理合成影像时，如果发现设备损坏时，可向所述警示模块（6）发送信号进行警示，且可根据损坏部位和损坏情况，结合所述机械维修数据库（4）内的数据提供相应的维修参考方案，并将维修参考方案发送到所述AR呈现模块（7）；

S4．所述AR呈现模块（7）将接收到的虚拟影像进行3D呈现，并将维修参考方案进行显示，提供参考；

S5．维修人员，根据所述AR呈现模块（7）呈现的3D虚拟影像，选择或者修改维修参考方案，并通过所述AR呈现模块（7）对所述机械手（8）进行操作，其中，所述动作捕捉单元（9）对维修人员的动作进行捕捉，所述执行单元（10）根据捕捉到的动作，对所述机械手（8）下达相应指令；

S6．所述机械手（8）对待维修机械设备进行维修，同时，所述数据监测模块（2）对机械手（8）的动作进行摄影或扫描，所述数据采集模块（1）对待维修设备的维修进程进行摄像或扫描，并将监测数据和采集数据发送到所述数据处理模块（3）；

S7．所述数据处理模块（3）根据监测数据和采集数据进行整合处理，合成虚拟影像，并再次发送到所述AR呈现模块（7），在合成虚拟影像的同时，根据监测数据，对所述机械手（8）的动作和维修参考方案进行调整，并发送到所述AR呈现模块（7）和所述云存储模块（5）；

S8．所述云存储模块（5）将调整后的维修参考方案传输到所述机械维修数据库（4）内，对所述机械维修数据库（4）内部的信息进行更新；

S9．所述AR呈现模块（7）将最新的3D虚拟影像和维修参考方案进行显示，提供维修人员进行修正；

S10．维修人员通过通过所述AR呈现模块（7）对所述机械手（8）进行操作，所述机械手（8）对待维修机械设备进行维修；

S11．重复以上操作，直到机械设备维修完好。