CN106340217B - 基于增强现实技术的制造装备智能系统及其实现方法 - Google Patents

基于增强现实技术的制造装备智能系统及其实现方法 Download PDF

Info

Publication number
CN106340217B
CN106340217B CN201610932630.1A CN201610932630A CN106340217B CN 106340217 B CN106340217 B CN 106340217B CN 201610932630 A CN201610932630 A CN 201610932630A CN 106340217 B CN106340217 B CN 106340217B
Authority
CN
China
Prior art keywords
manufacturing equipment
submodule
equipment
module
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610932630.1A
Other languages
English (en)
Other versions
CN106340217A (zh
Inventor
孙容磊
张富森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201610932630.1A priority Critical patent/CN106340217B/zh
Publication of CN106340217A publication Critical patent/CN106340217A/zh
Application granted granted Critical
Publication of CN106340217B publication Critical patent/CN106340217B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于增强现实技术的制造装备智能系统，其包括：故障监测子系统(101)，其包括传感器模块(111)和工控机(110)，所述传感器模块(111)用于测量所述制造装备(100)的运行参数，工控机(110)用于读取所述运行参数；以及便携式增强现实眼镜(102)，其通过无线网络与所述故障监测子系统(111)连接，所述便携式增强现实眼镜(102)包括操作培训子模块(220)、操作监测子模块(221)、故障诊断子模块(222)及远程维修子模块(223)。本发明还公开了基于增强现实技术的制造装备智能系统的实现方法。本发明的系统能高效率、低成本地完成制造装备的操作培训、操作监测、故障诊断与远程维修服务。

Description

基于增强现实技术的制造装备智能系统及其实现方法
技术领域
本发明涉及智能制造领域，特别是涉及一种基于增强现实技术的制造装备智能系统及其实现方法。
背景技术
增强现实(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息融合在一起的新技术，它通过对真实环境进行感知识别，运用计算机技术生成虚拟模型和信息，并通过算法估计自身的位置姿态，实时得将虚拟信息叠加在现实世界中，实现对现实世界的“增强”。
传统的制造装备的操作、检测和维修需要从业者拥有丰富的工作经验，同时在检测与维修过程中需要操作者查阅使用手册和设计信息等相关资料，这样导致操作难度大、效率低。另外当代的大型复杂机械装备多是融合了机械、电子、电气和信息等多学科技术为一体的高精尖设备系统，在进行维修检测等相关操作过程中涉及的技术和知识也不断增加，单靠从业人员自身的经验、技术和知识难以高效完成相关工作。
随着计算机技术和光学元件的发展，尤其是增强现实技术的发展，使得便携式增强现实设备辅助装备加工成为可能。
专利文献CN103093653A公开了一种增强现实培训系统及方法，其只对设备的复杂关键部件建立3D仿真动作模型，其他的部件不进行建模，当摄像头对准设备的复杂关键部件时，3D仿真动作模型会覆盖在手机或平板电脑的屏幕画面中设备相应的复杂关键部件上，这样可以突出3D仿真动作模型，可在设备现场进队员工进行培训，实现以较低成本实现仿真效果较好的培训。但专利文献CN103093653A公开的一种增强现实培训系统及方法通过手机或平板电脑的摄像头获取目标设备的图像信息，然后再手机或平板电脑上进行叠加显示，存在如下缺陷或不足：
（1）培训内容有限，只能针对特定的图像进行三维叠加，模拟特定对象的运动；
（2）操作不便，需手持平板电脑或手机，不适于边操作边指导。
（3）交互方式不友好，培训过程需要注视的是手机或平板电脑的屏幕，而不是实际的培训对象。
（4）不能跟踪操作者的空间位置，不能实现操作者在任意位置或任意角度上的操作观察。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供一种基于增强现实技术的制造装备智能子系统，其目的在于高效率、低成本地完成制造装备的操作培训、操作监测、故障诊断与远程维修。
为了实现上述目的，本发明提供了一种基于增强现实技术的制造装备智能系统，该系统包括制造装备、信息存储服务器及远程专家，其特征在于，该系统还包括：
故障监测子系统，其通过网络与所述制造装备、信息存储服务器及远程专家连接，所述故障监测子系统包括传感器模块和工控机，所述传感器模块用于测量所述制造装备的运行参数，工控机用于读取所述运行参数；以及
便携式增强现实眼镜，其通过无线网络与所述故障监测子系统、制造装备、信息存储服务器及远程专家连接，所述便携式增强现实眼镜包括操作培训子模块、操作监测子模块、故障诊断子模块及远程维修子模块，其中，所述操作培训子模块用于获取所述信息存储服务器中的装备操作范例，通过全息成像模块可实现三维可视化的装备操作培训；所述操作监测子模块用于获取所述信息存储服务器中的装备操作范例和装备操作规程，实现实时监控操作者行为，及时提醒操作者的违规操作并做记录；所述故障诊断子模块用于发送装备自诊断请求到所述装备故障监测子系统，获取自诊断信息和故障代码，检索所述信息存储服务器中的装备故障解决方案，通过所述全息成像模块实现三维可视化的装备故障诊断；所述远程维修子模块用于向远程专家发送远程维修请求，建立远程网络视频连接，可实现所述制造装备的故障远程维修。
进一步地，所述便携式增强现实眼镜还包括环境感知模块、跟踪定位模块、视频采集模块、全息成像模块及人机交互模块，其中，所述环境感知模块用于对作业环境三维重建，获取作业环境的三维网格模型；所述跟踪定位模块用于实时获取操作者位置信息；所述视频采集模块用于采集操作者观察到的实景信息，对视频信息进行图像匹配，获取制造装备的位置和姿态；所述全息成像模块用于在识别的制造装备上叠加显示主工作菜单界面；所述人机交互模块用于追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应功能子模块。
进一步地，所述传感器模块包括压力传感器、加速度传感器、位移传感器和温度传感器中的一种或多种。
进一步地，所述运行参数包括主轴转速、主轴温度、进给量、进给速度、进给轴位置、电机负载率和电机电流中的一种或多种。
进一步地，所述故障监测子系统还包括故障分析模块，用于对所述传感器信号进行滤波、频谱分析和特征提取，将处理得到的数据和标准数据比对，判断所述制造装备的运行状态，生成所述故障代码。
按照本发明的另一个方面，提供一种所述的基于增强现实技术的制造装备智能系统的实现方法，其特征在于：该方法包括如下步骤：
S1：环境感知模块进行作业环境三维重建，获取所述制造装备作业环境的三维网格模型；
S2：视频采集模块采集操作者观察到的实景信息，对视频信息进行图像匹配，同时结合步骤S1中获取的三维网格模型，识别出制造装备，并获取制造装备的位置和姿态；
S3：全息成像模块在识别的制造装备上叠加显示主工作菜单界面；
S4：人机交互模块追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应的操作培训子模块、操作监测子模块、故障诊断子模块及远程维修子模块，从而实现制造装备的操作培训、操作监测、故障诊断与远程维修。
进一步地，所述操作培训包括如下步骤：
S11：发送查询指令到信息存储服务器，获取装备操作范例；
S12：操作培训子模块初始化预先建立好的三维模型，包括虚拟人物、虚拟工件和虚拟工具，生成对应于所述制造装备操作范例的虚拟人物操作制造装备的动画；
S13：全息成像模块将所述动画叠加到制造装备上，演示制造装备的标准操作步骤。
进一步地，所述操作监测包括如下步骤：
S21：发送查询指令到信息存储服务器，获取装备操作规程和装备操作范例；
S22：操作监测子模块实时获取来自跟踪定位模块的操作者位置信息；
S23：操作监测子模块实时获取来自视频采集模块的视频信息；
S24：所述操作监测子模块实时识别视频信息中特定对象，分析操作者的动作，对操作者的行为进行监控；
S25：所述操作监测子模块对不符合所述装备操作规程、所述装备操作范例的行为进行警示与记录。
进一步地，所述故障诊断包括如下步骤：
S31：信息获取模块定期获取制造装备的运行参数；
S32：装备故障分析模块对获取的参数进行分析，若监测到制造装备有参数异常，发送故障信息到故障诊断子模块；
S33：故障诊断子模块发送查询指令到信息存储服务器，检索装备故障解决方案，获取对应故障的解决方案；
S34：故障诊断子模块发送查询指令到信息存储服务器，获取装备设计信息；
S35：故障诊断子模块依据所获取的故障解决方案，提供可视化的解决步骤。
进一步地，所述远程维修包括如下步骤：
S41：装备故障监测子系统监测到制造装备参数异常，发送故障信息到远程维修子模块；
S42：远程维修子模块根据故障信息建立与远程专家的网络视频连接；
S43：所述连接使远程专家在远端通过计算机、智能手机或平板电脑实时观察制造装备维修者所采集的实景视频；
S44：远程专家和维修者可以进行语音对话，远程专家在平板电脑、智能手机或计算机的视频上进行标注或提示，所述标注或提示能实时叠加在维修者的实景视频中，从而实现所述制造装备的故障远程维修。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
（1）本发明的基于增强现实技术的制造装备智能系统，通过制造装备、信息存储服务器、故障监测子系统、便携式增强现实眼镜及远程专家能够高效率、低成本地完成制造装备的操作培训、操作监测、故障诊断与远程维修。
（2）本发明的操作培训子模块，使得操作者能快速、有效的学习新装备的操作步骤和方法，降低培训时间成本和人力成本。
（3）本发明的操作检测子模块，能使操作者在日常工作中更为安全有效的操作装备，及时纠正操作错误，提高生产效率。
（4）本发明的故障诊断子模，能使普通操作者或维修工人根据厂家或专业维修人员提供的专业可视化维修方案，减少装备故障停机时间，降低维修成本。
（5）本发明的远程维修子模块，能使远程专家观察装备现场情况，通过增强现实设备三维可视化地指导现场维修者快速有效的解决问题。
附图说明
图1为本发明实施例的一种基于增强现实技术的制造装备智能系统的结构图；
图2为本发明实施例的一种基于增强现实技术的制造装备智能系统涉及的便携式增强现实眼镜的结构图；
图3为本发明实施例的一种基于增强现实技术的制造装备智能系统实现方法的工作流程图；
图4为本发明实施例的一种基于增强现实技术的制造装备智能系统的实现方法实例场景。
所有附图中，相同的附图标记用来表示相同的元件或结构，其中：100-制造装备、101-装备故障监测子系统、102-便携式增强现实眼镜、103-信息存储服务器、104-远程专家、105-网络、106-路由器、110-工控机、111-传感器模块、201-基础模块、202-功能模块、210-环境感知模块、211-跟踪定位模块、212-视频采集模块、213-全息成像模块、214-人机交互模块、220-操作培训子模块、221-操作监测子模块、222-故障诊断子模块、223-远程维修子模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1为本发明实施例的一种基于增强现实技术的制造装备智能系统的结构图。如图1所示，该系统主要组成部分有：制造装备100、故障监测子系统101、便携式增强现实眼镜102、信息存储服务器103和远程专家104。其中，装备故障监测子系统101通过网线与制造装备100连接，装备故障监测子系统101与便携式增强现实眼镜102处于同一局域网内，装备故障监测子系统101、信息存储服务器103与远程专家104通过网络105相互连接。
故障监测子系统101由传感器模块111和内置数据采集卡的工控机110组成，完成信息获取和故障分析两个功能。信息获取模块通过两种途径获取制造装备100的参数：直接从数控系统读出运行参数；通过外加传感器模块111测量运行参数。在本示例性实施例中，制造装备100使用的是西门子840Dsl型号数控系统，并通过网线与工控机110进行通信。工控机110通过OPC协议读取数控系统内的运行参数，运行参数包括但不限于主轴转速、主轴温度、进给量、进给速度、进给轴位置、电机负载率、电机电流等。传感器模块111用于测量数控系统不能提供的，需要额外测量的参数。传感器模块111包括但不限于压力传感器、加速度传感器、位移传感器和温度传感器等，传感器信号由前置信号处理单元预处理后，经工控机110上的数据采集卡采集。故障分析模块是运行于工控机上的程序模块，完成传感器信号的滤波、频谱分析和特征提取，将处理得到的数据和标准数据比对，判断机床的运行状态，生成相应的故障代码。
图2为本发明实施例的一种基于增强现实技术的制造装备智能系统涉及的便携式增强现实眼镜的结构图。如图2所示，便携式增强现实眼镜主要组成部分有：基础模块200和功能模块201，其中基础模块200包括：环境感知模块210、跟踪定位模块211、视频采集模块212、全息成像模块213、人机交互模块214；功能模块包括：操作培训子模块220、操作监测子模块221、故障诊断子模块222、远程维修子模块223。
图3为本发明实施例的一种基于增强现实技术的制造装备智能系统实现方法的工作流程图。如图3所示，该方法包括如下步骤：
1）环境感知模块210进行作业环境三维重建310，获取作业环境的三维网格模型。所述作业环境三维重建310的方法包括但不受限的为：基于单目视觉、双目视觉、单目结构光、双目结构光或RGBD摄像头的三维重建方法。本实施例中的便携式增强现实眼镜102使用的是基于RGBD（彩色+深度）摄像头的三维重建方法。
2）视频采集模块212采集操作者观察到的实景信息，对视频信息进行图像匹配，同时结合步骤1）中获取的三维网格模型，识别出制造装备100，并获取制造装备100的位置和姿态311。
所述图像匹配指的是，将视频采集模块212采集的实景视频信息与已知的特征进行识别匹配，特征包括但不限于：贴在制造装备100表面的二维图像、已知表面纹理的圆柱体或已知三维模型的三维物体。
本发明的优选实施例中，所述二维图像包括照片、二维码、条形码等。
本发明的优选实施例中，运用Vuforia增强现实引擎识别已知三维模型的制造装备100或贴在制造装备100表面的二维码，并通过步骤1）中获取的三维网格模型进行校正，得到制造装备100在世界坐标系下的位置和姿态。
3）全息成像模块213在识别的制造装备100上叠加显示主工作菜单界面312。所述主工作菜单界面包括选项：操作培训子模块220、操作监测子模块221、故障诊断子模块222、远程维修子模块233。全息成像模块213集成在便携式增强现实眼镜102，显示技术包括立体（Stereoscopic）技术和光场（Light Field）技术。
本发明的优选实施例中，所述便携式增强现实眼镜102运用立体（Stereoscopic）技术实现全息成像。本实施例的主菜单界面通过Unity3D的UGUI进行设计开发。
4）人机交互模块214追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应功能子模块。所述追踪操作者的观察点指的是，跟踪定位模块411通过机器视觉和惯性元件综合计算操作者头部的位置和朝向；以操作者双目中间点作为起点，以计算得到的头部朝向作为方向，发射一条虚拟的射线；该射线会与虚拟的三维物体或环境感知模块210构建的三维网格模型相交；在所有相交点中，在离操作者最近的相交点处叠加显示虚拟的光标；该光标的位置即理解为操作者的观察点。所述语音指令指的是，人机交互模块214会对操作者发出的语音信号进行采集和分析，识别其中的预定义的关键词或关键语句，并执行相应的应用程序。
所述手势识别指的是，人机交互模块214通过相机识别操作者手的位置和手的特定动作，可识别操作包括但不限于：点击、取消、移动、放大、缩小。
5）功能模块201的具体实现过程：
操作培训子模块220的工作过程是，发送查询指令到信息存储服务器103，获取装备操作范例313；操作培训子模块220初始化预先建立好的三维模型，包括虚拟人物、虚拟工件和虚拟工具，生成对应于装备操作范例的虚拟人物操作制造装备100的动画；全息成像模块213将虚拟动画叠加到制造装备100上，演示制造装备100的标准操作步骤。
装备操作范例包含：操作者的位置数据、操作者的关节动作数据、虚拟工件和虚拟工具的位置数据、虚拟工件和虚拟工具的姿态数据、特效控制数据。所述数据在操作者按照标准步骤操作制造装备100的过程中产生，所述数据供操作培训子模块220生成对应的动画使用。
本发明的优选实施例中，所述三维模型通过软件3dsMax建立，再导入Unity 3D中进行控制和调用。所述三维模型包含贴图纹理和人物骨骼。
本发明的优选实施例中，所述动画可暂停、加速、慢速播放。
本发明的优选实施例中，所述动画会对制造装备100的关键操作部位叠加框选特效、高亮特效、透视特效、变形特效。所述动画的特效通过着色器编程技术实现。所述动画为三维全景动画，操作者可在任意方位观察。
操作监测子模块221的工作过程是，发送查询指令到信息存储服务器103，获取装备操作规程和装备操作范例；操作监测子模块221实时获取来自跟踪定位模块211的操作者位置信息；操作监测子模块221实时获取来自视频采集模块212的视频信息；所述操作监测子模块实时识别视频信息中特定对象，分析操作者的动作，对操作者的行为进行监控；所述操作监测子模块对不符合所述装备操作规程、所述装备操作范例的行为进行警示与记录；所述警示包括声音提示、文字提示、特定对象的高亮特效。
所述识别视频信息中特定对象的方法为：将视频采集模块212采集的实景视频信息与已知的特征进行识别匹配，特征包括但不限于：贴在特定对象表面的二维图像、特定对象的三维模型特征。本实施例运用Vuforia增强现实引擎识别贴在特定对象表面的二维码来识别特定对象，或直接识别已知三维模型的特定对象。所述分析操作者动作与行为的方法为：将跟踪的操作者和特定对象的位置和姿态，与装备操作规程和装备操作范例进行比对，分析是否偏离既定操作步骤或违反操作规程。
本发明的优选实施例中，所述示例性应用场景为：操作监测子模块221通过跟踪操作者的位置，提示操作者禁止进入制造装备100运行时的危险区域；操作监测子模块221通过识别特定对象，提示操作者在标准步骤下应该使用的工具；操作监测子模块221监控操作者的操作步骤，例如在拆装工件之前需要将数控面板的主轴和进给轴使能关闭，保证操作的安全，若操作者疏忽了这一步骤，则通过语音和视觉警示操作者。
本发明的优选实施例中，所述特定对象为特定工件或特定工具。
故障诊断子模块222的工作过程是，信息获取模块210定期获取制造装备100的运行参数，装备故障分析模块211对获取的参数进行分析，若监测到制造装备100有参数异常，发送故障信息到故障诊断子模块222；故障诊断子模块222发送查询指令到信息存储服务器103，检索装备故障解决方案311，获取对应故障的解决方案；故障诊断子模块222发送查询指令到信息存储服务器103，获取装备设计信息；故障诊断子模块222依据所获取的故障解决方案，提供可视化的解决步骤。
所述可视化的解决步骤包括，对故障解决方案的详细步骤进行文字提示，对故障解决方案中涉及到的关键部件的图纸、材料、装配工艺、拆装方法或者三维标注进行提示。所述可视化解决步骤由全息成像模块213叠加在所述装备的关键部件上。
本发明的优选实施例中，示例性应用场景为：装备故障监测子系统200监测到制造装备100的主轴温度过高，通过检索装备故障解决方案得到解决方案为查看主轴温度传感器接线是否良好，故障诊断子模块222通过环境感知模块210和跟踪定位模块211获取操作者和制造装备100的位置，规划从操作者位置到所述主轴温度传感器接线处的路径，全息成像模块213通过叠加虚拟导向箭头引导操作者至所述主轴温度传感器接线处，通过语音、文字和关键部件高亮特效指导维修者拆开接线盒，检查所述所述主轴温度传感器接线。
远程维修子模块223的工作过程是，装备故障监测子系统200监测到制造装备100参数异常，发送故障信息到远程维修子模块223；远程维修子模块223根据故障信息建立与远程专家104的网络视频连接；所述连接使远程专家104在远端通过计算机、智能手机或平板电脑实时观察制造装备100维修者所采集的实景视频，远程专家104和维修者可以进行语音对话，远程专家104在平板电脑、智能手机或计算机的视频上进行标注或提示，所述标注或提示能实时叠加在维修者的实景视频中。
6）工作数据记录与上传315指的是，将操作者的工作过程产生的数据记录并上传至服务器。所述数据包括但不限于：操作者进行制造装备100操作的关键步骤的视频信息、全天加工件数、全天误操作情况及其次数、制造装备100故障等。
7）程序退出
图4为本发明实施例的一种基于增强现实技术的制造装备智能系统的实现方法实例场景。如图4所示，操作者佩戴便携式增强现实眼镜102，在制造装备100上方观察到任务栏、状态栏和菜单栏三项信息，任务栏展示当日的加工任务及目前完成状况；状态栏提示目前装备的状态；菜单栏为进入四个子模块提供了入口。示例性实施例场景中，状态栏显示“未检测到主轴温度信号，点击检索解决方案”；操作者点击后，出现提示框“0”，该提示框内容为“0.拆开传感器接线盒，检查3号端子见右图”，操作者根据提示框的位置拆开提示框，根据提示框的图示对接线进行检查；问题解决后，出现提示框“1”，进入加工步骤，提示信息为“1.关闭主使能和进给使能，确认G代码”，操作者根据提示完成对应操作，并核对数控面板的G代码是否正确；操作者完成步骤“1”后，出现提示框“2”，内容为“2.选择线框内的扳手和工件，安装工件”，操作者根据提示选择线框内的扳手和工件完成操作。以上场景仅为部分功能的示例性展示，在实际应用中，不仅包含文字提示，还包括语音、部件特效与动画、虚拟人物示教等。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于增强现实技术的制造装备智能系统，该系统包括制造装备(100)、信息存储服务器(103)及远程专家(104)，其特征在于，该系统还包括：
故障监测子系统(101)，其通过网络与所述制造装备(100)、信息存储服务器(103)及远程专家(104)连接，所述故障监测子系统(101)包括传感器模块(111)和工控机(110)，所述传感器模块(111)用于测量所述制造装备(100)的运行参数，工控机(110)用于读取所述运行参数；以及
便携式增强现实眼镜(102)，其通过无线网络与所述故障监测子系统(111)、制造装备(100)、信息存储服务器(103)及远程专家(104)连接，所述便携式增强现实眼镜(102)包括操作培训子模块(220)、操作监测子模块(221)、故障诊断子模块(222)及远程维修子模块(223)，其中，
所述操作培训子模块(220)用于获取所述信息存储服务器中的装备操作范例，通过全息成像模块可实现三维可视化的装备操作培训；具体用于：
发送查询指令到信息存储服务器(103)，获取装备操作范例；初始化预先建立好的三维模型，包括虚拟人物、虚拟工件和虚拟工具，生成对应于所述制造装备(100)操作范例的虚拟人物操作制造装备(100)的动画；全息成像模块(213)将所述动画叠加到制造装备(100)上，演示制造装备(100)的标准操作步骤；
所述操作监测子模块(221)用于获取所述信息存储服务器中的装备操作范例和装备操作规程，实现实时监控操作者行为，及时提醒操作者的违规操作并做记录；
所述故障诊断子模块(222)用于发送装备自诊断请求到所述装备故障监测子系统，获取自诊断信息和故障代码，检索所述信息存储服务器中的装备故障解决方案，通过所述全息成像模块实现三维可视化的装备故障诊断；
所述远程维修子模块(223)用于向远程专家发送远程维修请求，建立远程网络视频连接，可实现所述制造装备(100)的故障远程维修。
2.根据权利要求1所述的一种基于增强现实技术的制造装备智能系统，其特征在于：所述便携式增强现实眼镜(102)还包括环境感知模块(210)、跟踪定位模块(211)、视频采集模块(212)、全息成像模块(213)及人机交互模块(214)，其中，所述环境感知模块(210)用于对作业环境三维重建，获取作业环境的三维网格模型；所述跟踪定位模块(211)用于实时获取操作者位置信息；所述视频采集模块(212)用于采集操作者观察到的实景信息，对视频信息进行图像匹配，获取制造装备(100)的位置和姿态；所述全息成像模块(213)用于在识别的制造装备(100)上叠加显示主工作菜单界面；所述人机交互模块(214)用于追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应功能子模块。
3.根据权利要求1所述的一种基于增强现实技术的制造装备智能系统，其特征在于：所述传感器模块(111)包括压力传感器、加速度传感器、位移传感器和温度传感器中的一种或多种。
4.根据权利要求1所述的一种基于增强现实技术的制造装备智能系统，其特征在于：所述运行参数包括主轴转速、主轴温度、进给量、进给速度、进给轴位置、电机负载率和电机电流中的一种或多种。
5.根据权利要求1或2所述的一种基于增强现实技术的制造装备智能系统，其特征在于：所述故障监测子系统(101)还包括故障分析模块，用于对所述传感器信号进行滤波、频谱分析和特征提取，将处理得到的数据和标准数据比对，判断所述制造装备(100)的运行状态，生成所述故障代码。
6.一种如权利要求1-5中任一项所述的基于增强现实技术的制造装备智能系统的实现方法，其特征在于：该方法包括如下步骤：
S1：环境感知模块(210)进行作业环境三维重建，获取所述制造装备(100)作业环境的三维网格模型；
S2：视频采集模块(212)采集操作者观察到的实景信息，对视频信息进行图像匹配，同时结合步骤S1中获取的三维网格模型，识别出制造装备(100)，并获取制造装备(100)的位置和姿态；
S3：全息成像模块(213)在识别的制造装备(100)上叠加显示主工作菜单界面；
S4：人机交互模块(214)追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应的操作培训子模块(220)、操作监测子模块(221)、故障诊断子模块(222)及远程维修子模块(223)，从而实现制造装备的操作培训、操作监测、故障诊断与远程维修。
7.根据权利要求6所述的一种基于增强现实技术的制造装备智能系统的实现方法，其特征在于：所述操作培训包括如下步骤：
S11：发送查询指令到信息存储服务器(103)，获取装备操作范例；
S12：操作培训子模块(220)初始化预先建立好的三维模型，包括虚拟人物、虚拟工件和虚拟工具，生成对应于所述制造装备(100)操作范例的虚拟人物操作制造装备(100)的动画；
S13：全息成像模块(213)将所述动画叠加到制造装备(100)上，演示制造装备(100)的标准操作步骤。
8.根据权利要求6或7所述的一种基于增强现实技术的制造装备智能系统的实现方法，其特征在于：所述操作监测包括如下步骤：
S21：发送查询指令到信息存储服务器(103)，获取装备操作规程和装备操作范例；
S22：操作监测子模块(221)实时获取来自跟踪定位模块(211)的操作者位置信息；
S23：操作监测子模块(221)实时获取来自视频采集模块(212)的视频信息；
S24：所述操作监测子模块(221)实时识别视频信息中特定对象，分析操作者的动作，对操作者的行为进行监控；
S25：所述操作监测子模块(221)对不符合所述装备操作规程、所述装备操作范例的行为进行警示与记录。
9.根据权利要求8所述的一种基于增强现实技术的制造装备智能系统的实现方法，其特征在于：所述故障诊断包括如下步骤：
S31：信息获取模块(210)定期获取制造装备(100)的运行参数；
S32：装备故障分析模块(211)对获取的参数进行分析，若监测到制造装备(100)有参数异常，发送故障信息到故障诊断子模块(222)；
S33：故障诊断子模块(222)发送查询指令到信息存储服务器(103)，检索装备故障解决方案，获取对应故障的解决方案；
S34：故障诊断子模块(222)发送查询指令到信息存储服务器(103)，获取装备设计信息；
S35：故障诊断子模块(222)依据所获取的故障解决方案，提供可视化的解决步骤。
10.根据权利要求9所述的一种基于增强现实技术的制造装备智能系统的实现方法，其特征在于：所述远程维修包括如下步骤：
S41：装备故障监测子系统(200)监测到制造装备(100)参数异常，发送故障信息到远程维修子模块(223)；
S42：远程维修子模块(223)根据故障信息建立与远程专家(104)的网络视频连接；
S43：所述连接使远程专家(104)在远端通过计算机、智能手机或平板电脑实时观察制造装备(100)维修者所采集的实景视频；
S44：远程专家(104)和维修者可以进行语音对话，远程专家(104)在平板电脑、智能手机或计算机的视频上进行标注或提示，所述标注或提示能实时叠加在维修者的实景视频中，从而实现所述制造装备(100)的故障远程维修。
CN201610932630.1A 2016-10-31 2016-10-31 基于增强现实技术的制造装备智能系统及其实现方法 Expired - Fee Related CN106340217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610932630.1A CN106340217B (zh) 2016-10-31 2016-10-31 基于增强现实技术的制造装备智能系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610932630.1A CN106340217B (zh) 2016-10-31 2016-10-31 基于增强现实技术的制造装备智能系统及其实现方法

Publications (2)

Publication Number Publication Date
CN106340217A CN106340217A (zh) 2017-01-18
CN106340217B true CN106340217B (zh) 2019-05-03

Family

ID=57840606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610932630.1A Expired - Fee Related CN106340217B (zh) 2016-10-31 2016-10-31 基于增强现实技术的制造装备智能系统及其实现方法

Country Status (1)

Country Link
CN (1) CN106340217B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038911A (zh) * 2017-11-27 2018-05-15 广西南宁聚象数字科技有限公司 一种基于ar技术的全息成像控制方法

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI670672B (zh) * 2017-03-24 2019-09-01 國立成功大學 雲製造服務的自動建置方法、電腦程式產品、雲製造系統
CN107122045A (zh) * 2017-04-17 2017-09-01 华南理工大学 一种基于混合现实技术的虚拟人机示教系统及方法
CN108805294A (zh) * 2017-04-26 2018-11-13 联想新视界（天津）科技有限公司 一种针对目标设备的指导信息的处理方法及装置
CA3005051A1 (en) * 2017-05-16 2018-11-16 Michael J. Schuster Augmented reality task identification and assistance in construction, remodeling, and manufacturing
CN107065810A (zh) * 2017-06-05 2017-08-18 深圳增强现实技术有限公司 一种增强现实工业操作辅助的方法及系统
CN109101102A (zh) * 2017-06-20 2018-12-28 北京行云时空科技有限公司 用于vr/ar的控件交互方法、装置及系统
CN107330963B (zh) * 2017-07-05 2021-05-25 国网山东省电力公司微山县供电公司 电力设备检修的vr模拟方法、装置和系统
CN107277451A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar实现远程指导现场排查故障的方法及设备
CN107277172A (zh) * 2017-07-28 2017-10-20 深圳增强现实技术有限公司 机器操作监督系统及其用户端设备
CN107610217B (zh) * 2017-08-22 2021-09-07 深圳中广核工程设计有限公司 一种核电设备虚拟识别展示系统和方法
CN107589838A (zh) * 2017-08-30 2018-01-16 广东盘古信息科技股份有限公司 以vr方法结合播放sop视频指导作业的方法
CN107678537A (zh) * 2017-09-04 2018-02-09 全球能源互联网研究院有限公司 增强现实环境中识别装配操作、模拟装配的方法和装置
CN107730591A (zh) * 2017-09-14 2018-02-23 北京致臻智造科技有限公司 一种基于混合现实设备的装配引导方法及系统
CN107644457B (zh) * 2017-09-14 2021-02-12 中国航空工业集团公司沈阳空气动力研究所 一种应用于工业现场的监控方法
CN107578110A (zh) * 2017-09-19 2018-01-12 北京枭龙科技有限公司 一种基于增强现实的维修信息可视化方法
CN107886172A (zh) * 2017-10-19 2018-04-06 中车青岛四方机车车辆股份有限公司 一种远程可视化维保支持系统
CN108134710B (zh) * 2017-11-09 2020-07-28 珠海格力电器股份有限公司 设备故障显示方法、装置、存储介质、设备及服务器
EP3489800A1 (de) * 2017-11-27 2019-05-29 EUCHNER GmbH + Co. KG Sicherheitssystem
CN108170273A (zh) * 2017-12-28 2018-06-15 南京华讯方舟通信设备有限公司 一种基于hololens眼镜的专家远程指导系统及实现方法
CN108243247B (zh) * 2018-01-03 2019-03-12 上海宏贯投资有限公司 一种数据中心机器人智能巡视系统
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
CN108492378A (zh) * 2018-03-15 2018-09-04 南京智格电力科技有限公司 一种基于ar图像增强技术的故障排除方法
CN108875966A (zh) * 2018-05-25 2018-11-23 苏州市职业大学 一种利用ar技术的机械设备维修用系统及方法
CN108919942A (zh) * 2018-05-25 2018-11-30 江西博异自动化科技有限公司 混合型增强现实人机交互系统
CN108776444B (zh) * 2018-05-25 2021-09-03 江西博异自动化科技有限公司 适用于cps自动化控制系统的增强现实人机交互系统
CN108879440A (zh) * 2018-06-20 2018-11-23 国网山东省电力公司济宁供电公司 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法
EP3588469A1 (en) * 2018-06-26 2020-01-01 Siemens Aktiengesellschaft Method and system for sharing automatically procedural knowledge
CN112368659B (zh) * 2018-06-26 2024-06-18 发纳科美国公司 具有增强现实的自动动态诊断指导
BE1026463B1 (fr) * 2018-07-10 2020-02-10 Safran Aero Boosters Sa Système de maintenance pour équipement aéronautique
CN108908298B (zh) * 2018-07-23 2021-08-10 合肥工业大学 一种融合虚拟现实技术的主从式喷涂机器人示教系统
WO2020037127A1 (en) * 2018-08-17 2020-02-20 Dauntless.Io, Inc. Systems and methods for modeling and controlling physical dynamical systems using artificial intelligence
CN108874153A (zh) * 2018-08-23 2018-11-23 上海机器人产业技术研究院有限公司 一种基于ar眼镜云机器人全息评审系统及方法
CN109407826B (zh) * 2018-08-31 2020-04-07 百度在线网络技术（北京）有限公司 球类运动模拟方法、装置、存储介质及电子设备
CN109507960A (zh) * 2018-11-01 2019-03-22 广西华磊新材料有限公司 一种基于云平台的一体化智能制造系统
CN109683566A (zh) * 2018-12-18 2019-04-26 蒂姆维澳(上海)网络技术有限公司 基于互联网和ar技术的设备远程运维系统及方法
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
CN109800895A (zh) * 2019-01-18 2019-05-24 广东电网有限责任公司 一种基于增强现实技术在计量自动化流水线故障预警和维护的方法
CN109815264B (zh) * 2019-01-18 2021-03-23 腾燊嘉诚(上海)信息科技股份有限公司 一种设备管理系统
CN110033776A (zh) * 2019-03-08 2019-07-19 佛山市云米电器科技有限公司 一种应用于屏幕设备的虚拟形象交互系统与方法
CN110163989A (zh) * 2019-04-18 2019-08-23 惠州德赛信息科技有限公司 一种增强现实工业互联网产线巡检方法及系统
CN110333775A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种航天装备增强现实维修诱导系统及方法
CN110458535A (zh) * 2019-08-20 2019-11-15 武汉邦拓信息科技有限公司 一种基于ar眼镜的机房运维方法
CN110580024A (zh) * 2019-09-17 2019-12-17 Oppo广东移动通信有限公司 基于增强现实的车间辅助作业实现方法、系统及存储介质
CN110673727B (zh) * 2019-09-23 2023-07-21 浙江赛弘众智网络科技有限公司 Ar远程协助方法及系统
CN110782722A (zh) * 2019-09-30 2020-02-11 南京浩伟智能科技有限公司 一种基于ar系统的教学系统及教学方法
CN110718043B (zh) * 2019-10-17 2021-07-30 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
CN110896361B (zh) * 2019-10-29 2020-10-30 北京航空航天大学 一种基于增强现实的信息物理系统可视化及故障定位方法
CN110825233A (zh) * 2019-11-11 2020-02-21 电子科技大学 一种基于ar引导的人机交互系统
CN110909898B (zh) * 2019-11-28 2023-10-24 武汉农村商业银行股份有限公司 基于ar眼镜的银行机房故障诊断维修指导系统及方法
US11074730B1 (en) 2020-01-23 2021-07-27 Netapp, Inc. Augmented reality diagnostic tool for data center nodes
CN113253830A (zh) * 2020-02-11 2021-08-13 山东金佳园科技股份有限公司 一种混合型增强现实人机交互系统
CN111783820B (zh) * 2020-05-08 2024-04-16 北京沃东天骏信息技术有限公司 图像标注方法和装置
CN111738459A (zh) * 2020-05-30 2020-10-02 国网河北省电力有限公司石家庄供电分公司 基于ar技术的通信调运检全息专家系统
CN111754649A (zh) * 2020-06-04 2020-10-09 上海皓卡网络技术有限公司 一种基于人工智能的金融ic卡个人化设备维护方法
CN111780334A (zh) * 2020-08-06 2020-10-16 江苏浩金欧博环境科技有限公司 一种基于5g网络技术监控的组合式空调机组
CN112198961B (zh) * 2020-09-28 2023-04-18 中国人民解放军空军工程大学航空机务士官学校 一种设备维修作业辅助引导系统
CN112181848A (zh) * 2020-10-21 2021-01-05 滁州市精美家电设备股份有限公司 工业互联网5g远程保障及诊断全自动成套设备运行系统
CN112613619B (zh) * 2020-11-30 2024-04-09 重庆电子工程职业学院 车间内煤气区域安全作业管理系统
CN112488341A (zh) * 2020-12-22 2021-03-12 华能沁北发电有限责任公司 一种电厂安全管理系统及方法
CN112562091A (zh) * 2020-12-22 2021-03-26 国网上海市电力公司 一种基于ar技术的电气试验智能交互方法
CN112765125A (zh) * 2020-12-30 2021-05-07 中国人民解放军32181部队 一种用于眼镜-手柄连携弹药识别系统的数据库构型
US11756297B2 (en) 2021-03-03 2023-09-12 Wipro Limited Augmented realty based assistance system and method thereof
CN113011723B (zh) * 2021-03-04 2024-03-01 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保系统
CN114139745A (zh) * 2021-12-01 2022-03-04 北京磁浮有限公司 轨道交通供配电设施的信息处理与控制方法、装置及终端
CN115092289A (zh) * 2022-05-09 2022-09-23 中国第一汽车股份有限公司 汽车总装车间电器故障诊断系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606314A (zh) * 2013-11-27 2014-02-26 河南理工大学 一种煤矿主井提升用虚拟实训操作系统
CN104950800A (zh) * 2015-06-12 2015-09-30 广东省自动化研究所 一种寻踪定位处理系统及定位方法
CN105278519A (zh) * 2014-06-23 2016-01-27 通用汽车环球科技运作有限责任公司 用于车辆的基于增强现实的交互式故障排除和诊断

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606314A (zh) * 2013-11-27 2014-02-26 河南理工大学 一种煤矿主井提升用虚拟实训操作系统
CN105278519A (zh) * 2014-06-23 2016-01-27 通用汽车环球科技运作有限责任公司 用于车辆的基于增强现实的交互式故障排除和诊断
CN104950800A (zh) * 2015-06-12 2015-09-30 广东省自动化研究所 一种寻踪定位处理系统及定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
增强现实技术在电力系统故障源标识中的应用;邓丽 等;《系统仿真学报》;20141031;第26卷(第10期);全文
增强现实技术在航空领域中的应用及展望;赵新灿;《工程与技术》;20060630;全文
增强现实维修诱导系统关键技术研究;赵新灿;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20090615(第6期);第9-13、105-112页、附图1.9、图6.1

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038911A (zh) * 2017-11-27 2018-05-15 广西南宁聚象数字科技有限公司 一种基于ar技术的全息成像控制方法
CN108038911B (zh) * 2017-11-27 2022-03-11 广西南宁聚象数字科技有限公司 一种基于ar技术的全息成像控制方法

Also Published As

Publication number Publication date
CN106340217A (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
CN108628286B (zh) 机台维修系统与方法
Dalle Mura et al. An integrated environment based on augmented reality and sensing device for manual assembly workstations
CN110047150B (zh) 一种基于增强现实的复杂设备操作运行在位仿真系统
Navab Developing killer apps for industrial augmented reality
KR101636360B1 (ko) 가상 현실을 이용한 가상 정비 훈련 시스템
US20130010068A1 (en) Augmented reality system
JP6912150B2 (ja) 作業支援装置、作業支援方法及びプログラム
CN113222184A (zh) 基于增强现实ar的设备巡检系统及方法
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
CN105565103A (zh) 电梯故障检测方法及装置
CN109638959B (zh) 基于ar和深度学习的电力设备遥信功能调试方法及系统
JP2023065371A (ja) 製造支援システム，方法，プログラム
CN115346413A (zh) 一种基于虚实融合的装配指导方法及系统
CN115168928A (zh) 一种机床的智能视窗系统和构建方法
CN117055739B (zh) 一种全息设备交互方法、装置、设备及存储介质
JP7191560B2 (ja) コンテンツ作成システム
Pavlov et al. Case study of using virtual and augmented reality in industrial system monitoring
CN116569545A (zh) 远程协助的方法和设备
CN114567535B (zh) 一种基于增强现实的产品交互与故障诊断方法
JP5594088B2 (ja) 製造ラインの検討システム
Heemskerk et al. Introducing artificial depth cues to improve task performance in ITER maintenance actions
Sagawa et al. [POSTER] Hands-Free AR Work Support System Monitoring Work Progress with Point-cloud Data Processing
JP7391518B2 (ja) 産業用機械の保守・診断システム
EP3367197B1 (en) A method and system for monitoring an industrial equipment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503

Termination date: 20201031

CF01 Termination of patent right due to non-payment of annual fee