CN114527868A - 一种辅助维修方法、系统、存储介质及计算设备 - Google Patents

一种辅助维修方法、系统、存储介质及计算设备 Download PDF

Info

Publication number
CN114527868A
CN114527868A CN202111636978.3A CN202111636978A CN114527868A CN 114527868 A CN114527868 A CN 114527868A CN 202111636978 A CN202111636978 A CN 202111636978A CN 114527868 A CN114527868 A CN 114527868A
Authority
CN
China
Prior art keywords
target equipment
gesture
maintenance
scene
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111636978.3A
Other languages
English (en)
Inventor
刘志平
王维
曾卓
刘慧�
程凌鹏
柳炜开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202111636978.3A priority Critical patent/CN114527868A/zh
Publication of CN114527868A publication Critical patent/CN114527868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种辅助维修方法，包括基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；根据目标设备数据，搭建MR场景；其中，在MR场景搭建过程中，采用预设的虚拟标志物进行三维注册；识别MR场景中的手势或语音；基于手势或语音识别结果，进行辅助维修。同时还公开了相应的系统。本发明采用预设的虚拟标志物进行三维注册，不会对虚拟物体产生遮挡，不污染场景，而且不会影响维修人员的操作。

Description

一种辅助维修方法、系统、存储介质及计算设备
技术领域
本发明涉及一种辅助维修方法、系统、存储介质及计算设备，属于设备维修技术领域。
背景技术
针对复杂装备（如港口关键设备）维修，国内外目前多采用虚拟现实（VirtualReality，VR）技术对操作人员进行维修培训，但在实际维修工作中，遇到的问题更加复杂，方法的可靠性会下降。
MR技术是一项合并现实世界和虚拟世界而产生的新的可视化环境的新技术。Hololens是MR设备的一代为代表，一台Hololens设备配有4个环境感知相机感知用户的相对位移，一个深度摄像头感知周围环境，一个惯性导航装置（IMU）感知设备方向，4个麦克风进行全方位的语音输入。
MR技术中场景搭建，多采用目标内置的真实标注物进行三维注册，这种真实标注物容易对虚拟物体产生遮挡，不仅污染场景，而且影响维修人员的操作。
发明内容
本发明提供了一种辅助维修方法、系统、存储介质及计算设备，解决了背景技术中披露的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
一种辅助维修方法，包括：
基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；
根据目标设备数据，搭建MR场景；其中，在MR场景搭建过程中，采用预设的虚拟标志物进行三维注册；
识别MR场景中的手势或语音；
基于手势或语音识别结果，进行辅助维修。
维修知识库中包括设备部件的三维模型、设备信息以及设备维修方案动画。
采用预设的虚拟标志物进行三维注册包括：
采用预设的若干特征点匹配算法进行目标设备匹配，选择最优的目标设备匹配结果；
基于匹配的目标设备，获取目标设备中预设的虚拟标志物；
采用虚拟标志物进行三维注册。
虚拟标志物为目标设备的几何中心点。
基于手势或语音识别结果，进行辅助维修，包括：
若识别出手势或语音触发本地指导，播放目标设备维修方案动画；
若识别出手势或语音触发远程指导，联系指导专家，对专家的语义进行识别，生成与语义匹配的操作标识；其中，操作标识被手势点击后，触发目标设备虚拟模型操作；
若识别出手势或语音触发目标设备虚拟模型操作，生成与手势或语音匹配的操作指令，根据操作指令操作目标设备虚拟模型，进行辅助维修。
手势包括点击手势和操作手势；其中，操作手势用以操作目标设备虚拟模型，包括移动、旋转、缩放、拖拽、物体标注、目标圈选、插拔导引、旋转导引和删除。
一种辅助维修系统，包括：
数据获取模块：基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；
场景搭建模块：根据目标设备数据，搭建MR场景；其中，在MR场景搭建过程中，采用预设的虚拟标志物进行三维注册；
识别模块：识别MR场景中的手势或语音；
辅助维修模块：基于手势或语音识别结果，进行辅助维修。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行辅助维修方法。
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行辅助维修方法的指令。
本发明所达到的有益效果：本发明采用预设的虚拟标志物进行三维注册，不会对虚拟物体产生遮挡，不污染场景，而且不会影响维修人员的操作。
附图说明
图1为辅助维修方法的流程图；
图2为减速器辅助维修流程图；
图3为系统架构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种辅助维修方法，包括：
步骤1，基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；
步骤2，根据目标设备数据，搭建MR场景；其中，在MR场景搭建过程中，采用预设的虚拟标志物进行三维注册；
步骤3，识别MR场景中的手势或语音；
步骤4，基于手势或语音识别结果，进行辅助维修。
上述方法实施在Hololens眼镜中，该方法采用预设的虚拟标志物进行三维注册，不会对虚拟物体产生遮挡，不污染场景，而且不会影响维修人员的操作。
维修知识库为结合设备相关资料和人工经验构建的数据库，内容包括设备部件的三维模型、设备信息以及设备维修方案动画。以减速器为例，在3Ds Max中建立箱体、轴系部件、附件等三维模型，根据设备维修技术手册等相关资料获取减速器信息，包括零部件名称、减速器参数信息、减速器历史信息等，基于这些信息，结合工人经验给出减速器维修方法，这里维修方案采用动画形式，每个维修步骤生成一个动画。上述所有格信息存储到MySQL数据库中，构成了维修知识库。
为了便于上述方法实施，事先会在当前维修的设备上贴上二维码，当维修人员抵达现场后，通过佩戴Hololens眼镜，扫描设备上的二维码，即可实现目标设备的选择。
基于选择的目标设备，从维修知识库中获取目标设备数据，基于这些数据，即可搭建MR场景。MR场景搭建采用Unity3D引擎，利用sqlAccess脚本实现数据库与Unity3D的通信，在Unity3D中通过C#控制脚本实现对目标设备相关数据的调用。
场景搭建时，将fbx模型文件导入Unity3D，设置Hololens支持的Solid Color相机模式，完成虚拟模型构建，利用3Dsmax软件完成对虚拟模型的优化。在计算机视觉中，图像是由像素点组成的，区别或者辨识一幅图像是通过检测图像中的特征点进行分辨的，而这些特征点就是图像中的像素点。目标设备匹配的第一步就是先检测一幅图像的特征点，并由这些特征点来识别和匹配目标。Hololens的目标设备匹配、 三维重建，三维注册等过程都是基于这些检测出的特征点进行的。
虽然空间映射技术可以对周围环境进行扫描建模，但对结构较为精细的设备（如减速器）无法完成详细扫描，仅仅利用空间映射技术无法实现虚拟模型和真实模型的完全融合。因此，将这里采用虚拟标注物的三维注册技术，具体过程如下：
采用预设的若干特征点匹配算法进行目标设备匹配，如SIFT、SURF、FAST、ORB，选择最优的目标设备匹配结果，基于匹配的目标设备，获取目标设备中预设的虚拟标志物，采用虚拟标志物进行三维注册，实现对目标设备虚拟模型的辅助定位，通过虚拟标志物的识别使目标设备虚拟模型与真实模型更好的融合在一起；其中，虚拟标志物根据实际情况而定，这里采用的是目标设备的几何中心点。
在Hololens中维修人员可对目标设备虚拟模型（三位全息模型）进行全方位三维视角观察，通过手势或语音操作模型，进行辅助维修；其中，手势包括点击手势和操作手势；其中，点击手势用以点击GUI按钮，操作手势用以操作目标设备虚拟模型，包括移动、旋转、缩放、拖拽、物体标注、目标圈选、插拔导引、旋转导引和删除。
识别手势或语音，基于手势或语音识别结果，进行辅助维修，具体过程可包括：
11）若识别出手势或语音触发本地指导，播放目标设备维修方案动画；
本地指导即播放目标设备维修方案动画，当操作某要一维修步骤之前，场景中会有一个GUI按钮，触发该按钮，即可弹出动画播放框，进行相应步骤动画的播放，指导人员熟悉炒作步骤；
12）若识别出手势或语音触发远程指导，联系指导专家，对专家的语义进行识别，生成与语义匹配的操作标识；其中，操作标识被手势点击后，触发目标设备虚拟模型操作；
远程指导即与维修专家进行远程视频通话，通过对专家的语义进行识别，在场景中生成操作标识，如“顺时针旋转螺栓”，经过识别后，会在场景中生成一个顺时针旋转操作标识，点击该标识，触发目标设备虚拟模型操作（即顺时针旋转螺栓）；
13）若识别出手势或语音触发目标设备虚拟模型操作，生成与手势或语音匹配的操作指令，根据操作指令操作目标设备虚拟模型，进行辅助维修；
如需要了解设备内部结构，可通过手势对部件进行拖拽等，将模型进行拆分。
为了增强识别效果，采用改进Faster R-CNN识别MR场景中的手势，引入了K-Means聚类算法并提出区域放大、局部标注、自适应阈值改进策略，相较于原始的Faster R-CNN算法，有效地提高了目标检测的速度，在应对多目标、模糊、杂乱背景、光照变化、大面积遮挡等检测难度较大的情况时，能获得很好的效果。
以斗轮堆取料机上的减速器为例，如图2所示，构建相应的MR场景，在MR场景中，通过手势或语音进行模型操作辅助维修。
基于相同的技术方案，本发明还公开了上述方法的软件系统，即一种辅助维修系统，包括：
数据获取模块：基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；
场景搭建模块：根据目标设备数据，搭建MR场景；其中，在MR场景搭建过程中，采用预设的虚拟标志物进行三维注册；
识别模块：识别MR场景中的手势或语音；
辅助维修模块：基于手势或语音识别结果，进行辅助维修。
软件系统各模块的数据处理流程与方法的一致，这里不详细描述了。
系统采用MR设备Hololens辅助维修，Hololens通过虚拟文字、虚拟设备模型、动画及语音提示等方式将维修信息直观地呈现给维修人员。维修人员采用语音交互、手势识别等方式与Hololens交互，操作方便。
如图3所示，系统可以分为三个层级，包括数据层、Unity3D开发层和Hololens应用层。数据层主要是构建维修知识库，将数据存储到维修知识库中，便于在Unity3D中通过脚本实时调用。Unity3D开发层主要用于搭建MR场景，同时实现二维码扫描、设备维修指导流程和远程专家协作等关键技术。
针对减速器维修过程中，维修人员操作困难，需要技术人员给予远程指导或抵达现场维修，故障知识和维修技能交互难，导致维修过程耗时耗力的问题，针对斗轮堆取料机上的减速箱，采用MR设备Hololens，在Unity平台上实现港口设备原理虚拟仿真、基于二维码的设备管理、维修指导和远程技术人员协作，并针对Hololens设备作二次开发，研究Hololens视觉的目标匹配方法和基于标志物的三维注册算法，提高Hololens图像处理能力，开发MR辅助维修指导系统，可有效解决维修人员技术储备不足、维修周期长和地域限制问题，快速提高维修操作人员的技术能力和维修效率。
基于相同的技术方案，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行辅助维修方法。
基于相同的技术方案，本发明还公开了一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行辅助维修方法的指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (9)

1.一种辅助维修方法，其特征在于，包括：
基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；
根据目标设备数据，搭建MR场景；其中，在MR场景搭建过程中，采用预设的虚拟标志物进行三维注册；
识别MR场景中的手势或语音；
基于手势或语音识别结果，进行辅助维修。
2.根据权利要求1所述的一种辅助维修方法，其特征在于，维修知识库中包括设备部件的三维模型、设备信息以及设备维修方案动画。
3.根据权利要求1所述的一种辅助维修方法，其特征在于，采用预设的虚拟标志物进行三维注册包括：
采用预设的若干特征点匹配算法进行目标设备匹配，选择最优的目标设备匹配结果；
基于匹配的目标设备，获取目标设备中预设的虚拟标志物；
采用虚拟标志物进行三维注册。
4.根据权利要求1或3所述的一种辅助维修方法，其特征在于，虚拟标志物为目标设备的几何中心点。
5.根据权利要求2所述的一种辅助维修方法，其特征在于，基于手势或语音识别结果，进行辅助维修，包括：
若识别出手势或语音触发本地指导，播放目标设备维修方案动画；
若识别出手势或语音触发远程指导，联系指导专家，对专家的语义进行识别，生成与语义匹配的操作标识；其中，操作标识被手势点击后，触发目标设备虚拟模型操作；
若识别出手势或语音触发目标设备虚拟模型操作，生成与手势或语音匹配的操作指令，根据操作指令操作目标设备虚拟模型，进行辅助维修。
6.根据权利要求1或5所述的一种辅助维修方法，其特征在于，手势包括点击手势和操作手势；其中，操作手势用以操作目标设备虚拟模型，包括移动、旋转、缩放、拖拽、物体标注、目标圈选、插拔导引、旋转导引和删除。
7.一种辅助维修系统，其特征在于，包括：
数据获取模块：基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；
场景搭建模块：根据目标设备数据，搭建MR场景；其中，在MR场景搭建过程中，采用预设的虚拟标志物进行三维注册；
识别模块：识别MR场景中的手势或语音；
辅助维修模块：基于手势或语音识别结果，进行辅助维修。
8.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至6所述的方法中的任一方法。
9.一种计算设备，其特征在于，包括：
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至6所述的方法中的任一方法的指令。
CN202111636978.3A 2021-12-29 2021-12-29 一种辅助维修方法、系统、存储介质及计算设备 Pending CN114527868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111636978.3A CN114527868A (zh) 2021-12-29 2021-12-29 一种辅助维修方法、系统、存储介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111636978.3A CN114527868A (zh) 2021-12-29 2021-12-29 一种辅助维修方法、系统、存储介质及计算设备

Publications (1)

Publication Number Publication Date
CN114527868A true CN114527868A (zh) 2022-05-24

Family

ID=81621882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111636978.3A Pending CN114527868A (zh) 2021-12-29 2021-12-29 一种辅助维修方法、系统、存储介质及计算设备

Country Status (1)

Country Link
CN (1) CN114527868A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法
CN108038917A (zh) * 2017-12-27 2018-05-15 上海市地下空间设计研究总院有限公司 基于mr或ar技术的目标观察方法及巡检系统
CN113011723A (zh) * 2021-03-04 2021-06-22 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保系统
CN113569451A (zh) * 2021-07-21 2021-10-29 上海工程技术大学 基于数字孪生的列车轴箱轴承寿命预测及故障维修系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法
CN108038917A (zh) * 2017-12-27 2018-05-15 上海市地下空间设计研究总院有限公司 基于mr或ar技术的目标观察方法及巡检系统
CN113011723A (zh) * 2021-03-04 2021-06-22 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保系统
CN113569451A (zh) * 2021-07-21 2021-10-29 上海工程技术大学 基于数字孪生的列车轴箱轴承寿命预测及故障维修系统

Similar Documents

Publication Publication Date Title
US10854006B2 (en) AR-enabled labeling using aligned CAD models
CN107610217B (zh) 一种核电设备虚拟识别展示系统和方法
CN110634161B (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN107990899A (zh) 一种基于slam的定位方法和系统
Assadzadeh et al. Vision-based excavator pose estimation using synthetically generated datasets with domain randomization
CN111679740A (zh) 利用增强现实ar技术对电站设备进行远程智能诊断的方法
CN111178170B (zh) 一种手势识别方法和一种电子设备
Kim et al. Improvement of realism of 4D objects using augmented reality objects and actual images of a construction site
CN110459064A (zh) 车辆违法行为检测方法、装置、计算机设备
CN112562092A (zh) 一种基于ar技术的电气试验智能交互系统
CN111340834B (zh) 基于激光雷达和双目相机数据融合的衬板装配系统及方法
Kim et al. Hybrid DNN training using both synthetic and real construction images to overcome training data shortage
CN116935203B (zh) 一种基于声光融合的潜水员智能监控方法和系统
KR102570286B1 (ko) 3차원 콘텐츠를 렌더링하기 위한 단말 및 그 동작 방법
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
CN114527868A (zh) 一种辅助维修方法、系统、存储介质及计算设备
CN111709461A (zh) 动物识别模型的训练方法、装置、设备及存储介质
CN109977884B (zh) 目标跟随方法和装置
CN115761465A (zh) 一种用于水下环境电力作业的辅助方法、系统及装置
JP7140933B1 (ja) 機械学習システム
CN115984516A (zh) 基于slam算法的增强现实方法及相关设备
CN115494942A (zh) 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质
CN116239019A (zh) 一种智慧港口起重机作业监测方法及系统
CN112446799B (zh) 一种基于ar设备虚拟交互的电网调度方法和系统
Liu et al. AR-Driven Industrial Metaverse for the Auxiliary Maintenance of Machine Tools in IoT-Enabled Manufacturing Workshop

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination