CN113211434A - 一种基于物联网的ar复杂系统装备远程维修系统 - Google Patents

一种基于物联网的ar复杂系统装备远程维修系统 Download PDF

Info

Publication number
CN113211434A
CN113211434A CN202110449248.6A CN202110449248A CN113211434A CN 113211434 A CN113211434 A CN 113211434A CN 202110449248 A CN202110449248 A CN 202110449248A CN 113211434 A CN113211434 A CN 113211434A
Authority
CN
China
Prior art keywords
maintenance
internet
things
robot
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110449248.6A
Other languages
English (en)
Inventor
杨海根
陈延庆
夏准
祝林群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110449248.6A priority Critical patent/CN113211434A/zh
Publication of CN113211434A publication Critical patent/CN113211434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/40—Maintenance of things

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了装备远程维修技术领域的一种基于物联网的AR复杂系统装备远程维修系统，避免了在复杂系统环境中携带大量的维修手册，减轻了维修人员的负担，提高了复杂环境下远程维修的便利性。包括：维修机器人，用于采集故障装备的实时数据信息，并根据接收到的动作指令执行维修动作；物联网模块，用于将维修机器人采集到的故障装备的实时数据信息转发至远程协助终端，并将远程协助终端发送的动作指令转发给维修机器人；远程协助终端，用于接收并处理故障装备的实时数据信息，并发送给定的动作指令。

Description

一种基于物联网的AR复杂系统装备远程维修系统
技术领域
本发明属于装备远程维修技术领域，具体涉及一种基于物联网的AR复杂系统装备远程维修系统。
背景技术
随着我军武器装备的迅速发展，越来越多的复杂技术不断应用于武器装备，装备的技术含量越来越高，然而在设计、生产、使用和保障过程中会产生、传递和使用大量的技术信息资料。如美军“阿利.伯克”级导弹驱逐舰的技术图纸重达 23.5 吨，携带这些资料将使舰艇吃水深度增加约 90mm；M1 坦克的技术文档达 4 万页。数以吨计的纸质技术资料和图纸成为装备保障过程中的负担，要求维修人员携带这些维修手册完成战场维修任务，显然是不现实的。
发明内容
为解决现有技术中的不足，本发明提供一种基于物联网的AR复杂系统装备远程维修系统，避免了在战场环境中携带大量的维修手册，减轻了维修人员的负担，提高了复杂环境下远程维修的便利性。
为达到上述目的，本发明所采用的技术方案是：一种基于物联网的AR复杂系统装备远程维修系统，包括：维修机器人，用于采集故障装备的实时数据信息，并根据接收到的动作指令执行维修动作；物联网模块，用于将维修机器人采集到的故障装备的实时数据信息转发至远程协助终端，并将远程协助终端发送的动作指令转发给维修机器人；远程协助终端，用于接收并处理故障装备的实时数据信息，并发送给定的动作指令。
进一步地，所述维修机器人配置有视频输入设备和5G智能控制模块，所述视频输入设备用于采集故障装备的实时图像和声音信息；所述5G智能控制模块用于根据接收到的动作指令驱动维修机器人执行维修动作。
进一步地，所述远程协助终端配置有VR眼镜和5G智能机械臂；所述VR眼镜通过物联网模块连接视频输入设备，用于接收并处理故障装备的实时数据信息；所述5G智能机械臂通过物联网模块连接5G智能控制模块，用于发送给定的动作指令以驱动维修机器人完成维修动作。
进一步地，所述物联网模块配置有维修导航系统云端，所述维修导航系统云端运行于若干台服务器之上；采用LINUX系统搭建服务器并安装LINUX服务。
进一步地，所述维修导航系统云端配置有维修配准子系统；所述维修配准子系统用于将AR眼镜中待维修部位的影像空间和现场待维修部件的物理空间统一，使AR眼镜中相对待维修部件的位姿与现场中维修导航工具相对待维修部件的位姿一致。
进一步地，所述维修导航系统云端配置有维修数据管理子系统，所述维修数据管理子系统连接维修配准子系统、维修操作日志子系统和维修情况评估子系统；同时维修数据管理子系统会将数据翻译成维修机器人所需的输入信息，以及将记录信息发送给维修情况评估子系统用于分析维修的效果。
进一步地，所述维修导航系统云端配置有维修操作日志子系统，所述维修操作日志子系统用于实时记录维修导航过程中的操作并保存至后台数据库。
进一步地，所述维修导航系统云端配置有维修情况评估子系统，所述维修情况评估子系统从维修数据管理子系统获取维修方案数据，并与5G智能机械臂的操作数据比较，用于实时计算维修关键指标数据，分析维修操作的正确性。
进一步地，所述维修机器人、物联网模块和远程协助终端基于5G网络通信连接。
与现有技术相比，本发明所达到的有益效果：本发明通过采用基于5G网络进行实时通信的包括维修机器人、物联网模块和远程协助终端的远程维修系统，使得后援专家可以远程操控机器人进行设备维修，避免了在战场环境中携带大量的维修手册，减轻了维修人员的负担，提高了复杂环境下远程维修的便利性。
附图说明
图1是本发明实施例提供的一种基于物联网的AR复杂系统装备远程维修系统的系统结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种基于物联网的AR复杂系统装备远程维修系统，包括：维修机器人，用于采集故障装备的实时数据信息，并根据接收到的动作指令执行维修动作；物联网模块，用于将维修机器人采集到的故障装备的实时数据信息转发至远程协助终端，并将远程协助终端发送的动作指令转发给维修机器人；远程协助终端，用于接收并处理故障装备的实时数据信息，并发送给定的动作指令。
维修机器人配置有视频输入设备和5G智能控制模块，视频输入设备用于采集故障装备的实时图像和声音信息（包括装备运行产生的声音以及现场工作人员的问题描述等）；5G智能控制模块用于根据接收到的动作指令驱动维修机器人执行维修动作。
远程协助终端配置有VR眼镜和5G智能机械臂；VR眼镜通过物联网模块连接视频输入设备，用于接收并处理故障装备的实时数据信息；5G智能机械臂通过物联网模块连接5G智能控制模块，用于发送给定的动作指令以驱动维修机器人完成维修动作。
物联网模块配置有维修导航系统云端，维修导航系统云端运行于若干台服务器之上；采用LINUX系统搭建服务器并安装LINUX服务，每台服务器配置为NVIDIA显卡，使服务器能够采纳RTMP协议接收和转发视频、音频等。维修导航系统云端配置有维修配准子系统、维修数据管理子系统、维修操作日志子系统和维修情况评估子系统；维修配准子系统用于将AR眼镜中待维修部位的影像空间和现场待维修部件的物理空间统一，使AR眼镜中相对待维修部件的位姿与现场中维修导航工具相对待维修部件的位姿一致。维修数据管理子系统连接维修配准子系统、维修操作日志子系统和维修情况评估子系统；同时维修数据管理子系统会将数据翻译成维修机器人所需的输入信息，以及将记录信息发送给维修情况评估子系统用于分析维修的效果。维修操作日志子系统用于实时记录维修导航过程中的操作并保存至后台数据库。维修情况评估子系统从维修数据管理子系统获取维修方案数据，并与5G智能机械臂的操作数据比较，用于实时计算维修关键指标数据，分析维修操作的正确性。本实施例中维修机器人、物联网模块和远程协助终端基于5G网络通信连接。
本实施例所述的视频输入设备可以是海康威视Hikvision，罗技CC3000e等。视频输入设备与维修导航系统云端建立连接后，采集生成的视频信息和音频信息将通过5G物联网模块传输到后援专家佩戴的AR眼镜中，相关专家通过5G智能机械臂远程操作维修机器人的机械臂进行维修。
本实施例所述的维修机器人精准操控维修工具的角度和位置替代现场维修手工操作，可以说维修机器人适应任何复杂环境，这极大程度的解决了作为维修人员在某些危险的环境下去冒着生命危险或者非常狭小的环境下去进行维修的问题。维修机器人可以部署在任何复杂环境中，通过视频输入设备与5G物联网模块建立连接和数据交互；通过5G网络实时将视频信息和音频信息传送到AR眼镜中。在进行维修时，后援专家通过5G智能机械臂可以与维修机器人上的5G智能控制模块建立连接，再通过控制操控机械臂精准定位实施维修。
本实施例所述的5G物联网模块，5G智能机械臂，5G智能控制模块采用的5G技术具有高速﹑高带宽﹑低延时等优良特性。在维修过程中，视频输入设备实时采集生成大量的视频信息和音频信息数据，将实时的情况反馈给后援专家佩戴的AR眼镜，在专家得到图文信息和文字信息时后，利用相关专业维修知识操控5G智能机械臂从而将操作步骤通过5G物联网模块控制维修机器人上的5G智能控制模块来操控机械臂进行维修。
本实施例所述的维修配准子系统将现场的维修部位实际空间和操作室中维修部位物理空间统一。维修配准子系统先通过采集的3个配准点的空间坐标推导出初始的配准矩阵，然后通过采集一系列的配准点空间坐标，不断训练推导出精度更高的配准矩阵，使现场的维修部位实际空间和操作室中维修部位物理空间精度约0.lmm 。
本实施例所述的维修数据管理子系统接收系统数据后，将数据发送到维修配准子系统，维修数据管理子系统会将数据翻译成维修机器人所需的输入信息，以及将记录信息发送给维修情况评估子系统以便分析维修的效果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于物联网的AR复杂系统装备远程维修系统，其特征是，包括：
维修机器人，用于采集故障装备的实时数据信息，并根据接收到的动作指令执行维修动作；
物联网模块，用于将维修机器人采集到的故障装备的实时数据信息转发至远程协助终端，并将远程协助终端发送的动作指令转发给维修机器人；
远程协助终端，用于接收并处理故障装备的实时数据信息，并发送给定的动作指令。
2.根据权利要求1所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述维修机器人配置有视频输入设备和5G智能控制模块，所述视频输入设备用于采集故障装备的实时图像和声音信息；所述5G智能控制模块用于根据接收到的动作指令驱动维修机器人执行维修动作。
3.根据权利要求2所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述远程协助终端配置有VR眼镜和5G智能机械臂；所述VR眼镜通过物联网模块连接视频输入设备，用于接收并处理故障装备的实时数据信息；所述5G智能机械臂通过物联网模块连接5G智能控制模块，用于发送给定的动作指令以驱动维修机器人完成维修动作。
4.根据权利要求3所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述物联网模块配置有维修导航系统云端，所述维修导航系统云端运行于若干台服务器之上；采用LINUX系统搭建服务器并安装LINUX服务。
5.根据权利要求4所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述维修导航系统云端配置有维修配准子系统；所述维修配准子系统用于将AR眼镜中待维修部位的影像空间和现场待维修部件的物理空间统一，使AR眼镜中相对待维修部件的位姿与现场中维修导航工具相对待维修部件的位姿一致。
6.根据权利要求4所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述维修导航系统云端配置有维修数据管理子系统，所述维修数据管理子系统连接维修配准子系统、维修操作日志子系统和维修情况评估子系统；同时维修数据管理子系统会将数据翻译成维修机器人所需的输入信息，以及将记录信息发送给维修情况评估子系统用于分析维修的效果。
7.根据权利要求4所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述维修导航系统云端配置有维修操作日志子系统，所述维修操作日志子系统用于实时记录维修导航过程中的操作并保存至后台数据库。
8.根据权利要求4所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述维修导航系统云端配置有维修情况评估子系统，所述维修情况评估子系统从维修数据管理子系统获取维修方案数据，并与5G智能机械臂的操作数据比较，用于实时计算维修关键指标数据，分析维修操作的正确性。
9.根据权利要求1所述的基于物联网的AR复杂系统装备远程维修系统，其特征是，所述维修机器人、物联网模块和远程协助终端基于5G网络通信连接。
CN202110449248.6A 2021-04-25 2021-04-25 一种基于物联网的ar复杂系统装备远程维修系统 Pending CN113211434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110449248.6A CN113211434A (zh) 2021-04-25 2021-04-25 一种基于物联网的ar复杂系统装备远程维修系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110449248.6A CN113211434A (zh) 2021-04-25 2021-04-25 一种基于物联网的ar复杂系统装备远程维修系统

Publications (1)

Publication Number Publication Date
CN113211434A true CN113211434A (zh) 2021-08-06

Family

ID=77088898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110449248.6A Pending CN113211434A (zh) 2021-04-25 2021-04-25 一种基于物联网的ar复杂系统装备远程维修系统

Country Status (1)

Country Link
CN (1) CN113211434A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114102618A (zh) * 2021-11-16 2022-03-01 中国电信集团系统集成有限责任公司 运维机器人、基于运维机器人的机房运维方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131493A (zh) * 2016-07-20 2016-11-16 绥化学院 基于虚拟现实远端临场智能消防机器人的体感控制系统
CN110039545A (zh) * 2019-04-30 2019-07-23 齐鲁工业大学 一种基于可穿戴设备的机器人远程控制系统及控制方法
US20200019237A1 (en) * 2018-07-12 2020-01-16 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
CN111103863A (zh) * 2018-10-29 2020-05-05 株洲中车时代电气股份有限公司 轨道交通车辆智能检修机器人、检修系统和方法
CN111459274A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN111531521A (zh) * 2020-05-19 2020-08-14 深圳供电局有限公司 一种用于变电站的虚拟现实巡视机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131493A (zh) * 2016-07-20 2016-11-16 绥化学院 基于虚拟现实远端临场智能消防机器人的体感控制系统
US20200019237A1 (en) * 2018-07-12 2020-01-16 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
CN111103863A (zh) * 2018-10-29 2020-05-05 株洲中车时代电气股份有限公司 轨道交通车辆智能检修机器人、检修系统和方法
CN110039545A (zh) * 2019-04-30 2019-07-23 齐鲁工业大学 一种基于可穿戴设备的机器人远程控制系统及控制方法
CN111459274A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN111531521A (zh) * 2020-05-19 2020-08-14 深圳供电局有限公司 一种用于变电站的虚拟现实巡视机器人

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114102618A (zh) * 2021-11-16 2022-03-01 中国电信集团系统集成有限责任公司 运维机器人、基于运维机器人的机房运维方法及系统
CN114102618B (zh) * 2021-11-16 2023-10-10 中电信数智科技有限公司 运维机器人、基于运维机器人的机房运维方法及系统

Similar Documents

Publication Publication Date Title
CN105137860B (zh) 基于互联网络的工业机械手远程监视及控制系统
CN108228345B (zh) 用于交互式认知任务协助的系统和方法
CN112769908B (zh) 协同控制方法、装置及电子设备
CN110865607A (zh) 一种基于数字孪生的五轴数控机床控制方法
CN110909898A (zh) 基于ar眼镜的零知识银行机房故障诊断维修指导系统及方法
CN209170419U (zh) 一种基于数字化双胞胎的设备远程维护系统
CN113359640A (zh) 一种基于数字孪生和增强现实的产线预测性维护系统及方法
CN105634815A (zh) 应用于光纤配线网络的智能odn设备管理系统及方法
CN111037574A (zh) 用于通信站点巡检的交互式机器人系统及其控制方法
CN111652406A (zh) 云-边协同下电网设备运行状态预测方法及系统
CN113211434A (zh) 一种基于物联网的ar复杂系统装备远程维修系统
CN107671838B (zh) 机器人示教记录系统、示教的工艺步骤及其算法流程
CN104639636A (zh) 一种基于移动车辆的智能化信息管理系统
CN114995302A (zh) 一种智能控制方法及系统
JP2014048685A (ja) 自動生産システム
CN114683910B (zh) 换电提示方法、系统、设备及可读存储介质
CN111638672B (zh) 一种工业机台的自动控制系统
CN105279591B (zh) 支持单人流程作业指令与校验的人机交互系统
CN112800606A (zh) 数字孪生产线构建方法、系统、电子设备及存储介质
CN116931596A (zh) 一种飞行程序自动编排的无人机飞行系统
CN116167935A (zh) 二维码的修复方法、装置、设备及介质
CN116485369A (zh) 基于ar设备的飞机绕机检查辅助方法和系统
CN112668912B (zh) 人工神经网络的训练方法、动态计算切分调度方法、存储介质及系统
CN105915607A (zh) 工程监理的远程监控信息化系统
CN110830593A (zh) 基于云平台的远程智慧运维服务管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806

RJ01 Rejection of invention patent application after publication