CN111260084B - 基于增强现实协同装配维修的远程系统及方法 - Google Patents
基于增强现实协同装配维修的远程系统及方法 Download PDFInfo
- Publication number
- CN111260084B CN111260084B CN202010020953.XA CN202010020953A CN111260084B CN 111260084 B CN111260084 B CN 111260084B CN 202010020953 A CN202010020953 A CN 202010020953A CN 111260084 B CN111260084 B CN 111260084B
- Authority
- CN
- China
- Prior art keywords
- information
- augmented reality
- label
- model
- expert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 98
- 238000012423 maintenance Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000012856 packing Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000009417 prefabrication Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Abstract
本发明公开了一种基于增强现实协同装配维修的远程系统及方法，用户端包括信息采集模块、标注生成模块和结果显示模块；专家端包括标注识别模块；装配维修系统包括用户端、专家端和信息通信模块；通过增强现实设备对周围空间及物体进行实时建模，并将几何网格信息与真实世界进行叠加；不仅解决零件实时建模的问题，还引入远程专家的指导功能，使装配信息更加灵活与人性化；将信息标注用三维模型的方式呈现出来，并将常用指导信息提前预制到系统中，通过识别专家绘制在屏幕上的手势，调用相应的手势模型，并以模型动画的方式显示在用户端增强现实设备中，能提供精准高效，易于理解的远程实时指导能力，从而提高工作效率。
Description
技术领域
本发明属于工业增强现实设备远程指导装配维修领域，具体涉及一种基于增强现实协同装配维修的远程系统及方法。
背景技术
增强现实(AR,Augmented Reality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。在此基础上，远程协同(Remote Collaboration)结合工业制造和装配方面的应用，可以减少前期员工培训时间、提速制造周期。AR通过为现实世界叠加数字信息为现场人员提供多种文字、语音、3D模型、视频等多种辅助信息，指导拿取不同的工具，安放组装部件到各自位置，解决了阅读繁琐冗长的纸质装配指令的问题，使用户可以专注于手头上的装配任务。目前国内外有DOVE、TeleAdisor、HandsInAir等远程协同系统，但这些系统不是存在操作者的工作环境碎片化的问题，需要操作者不断分散注意力去查看显示器，就是提示信息不够直观，导致协同系统的实际运用率低。
发明内容
针对现有技术中的缺陷和不足，本发明提供了一种基于增强现实协同装配维修的远程系统及方法，解决现有技术存在的痛点问题，为检修人员提供精准高效、易于理解的远程实时指导，从而提高工作效率。
为达到上述目的，本发明采取如下的技术方案：
一种基于增强现实协同装配维修专家端，包括：
标注识别模块，用于识别专家在终端设备对视频进行的信息标注：
若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；
若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；
若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息。
具体的，所述终端设备用以设在专家端供专家通过手势交互输入相应操作协助用户完成装配维修任务；终端设备包括PC机、智能手机、平板电脑的一种或多种，通过鼠标在PC机的显示屏上进行标注，或在智能手机、平板电脑的触摸屏上绘制图形。
具体的，所述预制标注包括：手势识别中的插拔指令和旋转指令；旋转指令包括水平方向的旋转指令和垂直方向的旋转指令。
一种基于增强现实协同装配维修用户端，包括：信息采集模块、标注生成模块和结果显示模块；
信息采集模块，用于通过增强现实设备采集现场环境的图像信息、音频信息和深度信息；
标注生成模块，用于将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置：
若增强现实设备收到预制标注信息，则将收到的预制标注信息与屏幕位置、大小、朝向信息进行解包处理；根据屏幕位置将预制标注信息的三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取圈选多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
结果显示模块，用于将三维信息标注显示在增强现实设备的显示屏上。
具体的，所述增强现实设备包括HoloLens头盔；
所述信息采集模块还用于将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加。
具体的，所述便签模型是在增强现实设备中预制的三维模型以呈现收到的文字标注信息，该便签模型使用锚点固定在现实世界，便签模型始终朝向佩戴增强现实设备的操作人员，方便其阅读文字信息。
具体的，标注生成模块将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置具体包括：
增强现实设备与终端设备初始化时都以程序启动后初始空间位置为坐标原点，以当前操作人员的朝向为z轴的负方向，当专家在终端设备屏幕上绘制图像时，终端设备会发送最终模型的相对屏幕位置信息，增强现实设备收到相对屏幕位置信息后，会从视点位置向该相对屏幕位置方向发射一条虚拟碰撞射线，当该射线碰撞到增强现实设备叠加到真实世界的网格模型时，会返回该碰撞点的三维空间的位置信息，该碰撞点就是信息标注放置的空间位置，然后通过打包发送过来的其他位姿信息，调整标注模型的旋转角度、大小。
一种基于增强现实协同装配维修系统，包括基于增强现实协同装配维修专家端和基于增强现实协同装配维修用户端；还包括：
信息通信模块，用于将用户端采集的图像信息和音频信息传输至专家端；还用于将专家端的预制标注信息、圈选标注信息或文字标注信息发送至用户端。
一种基于增强现实协同装配维修方法，包括：
步骤1：增强现实设备采集现场环境的图像信息、音频信息和深度信息；并将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加；
步骤2：远程服务器端将图像信息和音频信息发送至专家端，专家端对音视频流进行解码操作处理，并播放音视频；
步骤3：专家端在终端设备上对视频进行信息标注；
若终端设备识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息通过网络打包发送至增强现实设备；
若终端设备识别到信息标注为专家绘制的圈选标注时，将多边形上的各个点的坐标序列作为圈选标注信息打包发送到增强现实设备；
若终端设备识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置发送至增强现实设备；
步骤4：若增强现实设备收到预制标注信息，则将收到的预制标注信息与步骤3发送过来的屏幕位置、大小、朝向信息进行解包处理；通过屏幕位置，将预制标注信息三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
步骤5：根据用户端显示的三维信息标注进行维修操作。
具体的，所述增强现实设备包括HoloLens头盔，步骤1中：用户端戴HoloLens头盔，并通过连接无线路由器，与远程服务器端通信；利用HoloLens头盔上的RGB摄像头采集现场环境的图像信息；利用HoloLens头盔上的麦克风采集现场环境的音频信息；利用HoloLens头盔上的深度摄像头采集当前维修场景的深度信息，并通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加；将采集到的图像信息和音频信息通过编码器编码并转换成音视频流，HoloLens通过UDP音视频流发送至远程服务器端。
本发明与现有技术相比，有益的技术效果是：
1、本发明用于提供精准高效，易于理解的远程实时指导能力，从而提高工作效率。主要通过改进标注方式来提高操作者的理解能力，借助增强现实HoloLens头盔所提供的空间感知，使信息标注以动画方式叠加在部件表面，最终实现了高效的协同指导方式，同时解放了操作人员的双手。
本发明提出的基于增强现实设备HoloLens的协同式装配维修无需提前制作设备的三维模型，具有通用性。
2、本发明可以将专家标注的信息准确定位到空间位置上，操作者可以通过语音识别技术调取信息标注的设置菜单，可以删除遮挡视线的标注，或者将标注移至其他位置。
3、本发明所显示信息标注更加直观。HoloLens头盔接收到的预制三维信息标注以动画方式显示，可以更加直观地告诉操作者下一步的操作方式；收到的圈选信息标注通过算法生成的三维模型，使被圈选的物体在模型内部，操作者在各个角度都可以观察到被圈选的部件；收到的文字信息标注，为了与现实世界的背景信息区分，将其叠加到便签模型上，并随着操作者的位置，更新便签的朝向，使之始终朝向操作者。
4、本发明无需提前预制物体模型，通过HoloLens的深度摄像头以及空间感知模块，可以对周围空间及物体进行实时建模，并将几何网格信息与真实世界进行叠加；不仅解决零件实时建模的问题，还引入远程专家的指导功能，使装配信息更加灵活与人性化；将信息标注用三维模型的方式呈现出来，并且将常用的一些指导信息，例如旋转、插拔等动作，提前预制到系统中，通过识别专家绘制在屏幕上的手势，调用相应的手势模型，并以模型动画的方式显示在HoloLens中。同时将专家绘制的二维曲线信息，通过算法生成三维模型展现。
附图说明
图1为本发明基于增强现实设备HoloLens的协同式装配维修系统的框架图；
图2为本发明专家信息标注的流程图。
具体实施方式
下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
本实施方式提供一种基于增强现实协同装配维修专家端，包括：
标注识别模块，用于识别专家在终端设备对视频进行的信息标注：如图2所示，专家信息标注的流程图中，信息标注包括预制标注、圈选标注和文字标注；
若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；
若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；
若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息。
终端设备用以设在专家端供专家通过手势交互输入相应操作协助用户完成装配维修任务；终端设备包括PC机、智能手机、平板电脑的一种或多种，通过鼠标在PC机的显示屏上进行标注，或在智能手机、平板电脑的触摸屏上绘制图形。
预制标注包括：手势识别中的插拔指令和旋转指令；旋转指令包括水平方向的旋转指令和垂直方向的旋转指令。
本实施方式还提供一种基于增强现实协同装配维修用户端，包括：信息采集模块、标注生成模块和结果显示模块；
信息采集模块，用于通过增强现实设备采集现场环境的图像信息、音频信息和深度信息；
标注生成模块，用于将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置：
若增强现实设备收到预制标注信息，则将收到的预制标注信息与屏幕位置、大小、朝向信息进行解包处理；根据屏幕位置将预制标注信息的三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取圈选多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
结果显示模块，用于将三维信息标注显示在增强现实设备的显示屏上。
增强现实设备包括HoloLens头盔；
信息采集模块还用于将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加。
便签模型是在增强现实设备中预制的三维模型以呈现收到的文字标注信息，该便签模型使用锚点固定在现实世界，便签模型始终朝向佩戴增强现实设备的操作人员，方便其阅读文字信息。
标注生成模块将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置具体包括：
增强现实设备与终端设备初始化时都以程序启动后初始空间位置为坐标原点，以当前操作人员的朝向为z轴的负方向，当专家在终端设备屏幕上绘制图像时，终端设备会发送最终模型的相对屏幕位置信息，增强现实设备收到相对屏幕位置信息后，会从视点位置向该相对屏幕位置方向发射一条虚拟碰撞射线，当该射线碰撞到增强现实设备叠加到真实世界的网格模型时，会返回该碰撞点的三维空间的位置信息，该碰撞点就是信息标注放置的空间位置，然后通过打包发送过来的其他位姿信息，调整标注模型的旋转角度、大小。
如图1所示，本发明提供一种基于增强现实协同装配维修系统，包括：
用户端和专家端，还包括信息通信模块，用于将用户端采集的图像信息和音频信息传输至专家端；还用于将专家端的预制标注信息、圈选标注信息或文字标注信息发送至用户端。
本发明实施例还提供一种基于增强现实协同装配维修方法，包括：
步骤1：增强现实设备采集现场环境的图像信息、音频信息和深度信息；并将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；将深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加；
步骤2：远程服务器端将图像信息和音频信息发送至专家端，专家端对音视频流进行解码操作处理，并播放音视频；
步骤3：专家端在终端设备上对视频进行信息标注；
若终端设备识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息通过网络打包发送至增强现实设备；
若终端设备识别到信息标注为专家绘制的圈选标注时，将多边形上的各个点的坐标序列作为圈选标注信息打包发送到增强现实设备；
若终端设备识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置发送至增强现实设备；
步骤4：若增强现实设备收到预制标注信息，则将收到的预制标注信息与步骤3发送过来的屏幕位置、大小、朝向信息进行解包处理；通过屏幕位置，将预制标注信息三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
步骤5：根据用户端显示的三维信息标注进行维修操作。
下面对本发明实施例具体作进一步地详细描述。
实施例1：
本发明实施例提供一种基于增强现实协同装配维修系统，用于提供精准高效，易于理解的远程实时指导能力，从而提高工作效率。主要通过改进标注方式来提高操作者的理解能力，借助增强现实HoloLens头盔所提供的空间感知，使标注信息以动画方式叠加在部件表面，最终实现了高效的协同指导方式，同时解放了操作人员的双手。增强现实设备具体采用HoloLens头盔，如图1所示，操作用户端佩戴HoloLens头盔从事装配维修等工作，专家端则为PC、智能手机或平板电脑，专家通过手势交互输入相应的操作来协助用户完成相应的装配维修任务。其中，手势交互包括空间标注、目标圈选、插拔导引、旋转导引等四大部分，专家端在二维图像上通过触控或鼠标键盘进行画线进行手势输入，然后通过手势识别，结合头盔感知的三维空间信息将绘制的线条转化为相应的动态三维标识，映射到头盔全息镜片上，这样用户可以直观地看到专家的指令，该指令由空间锚在显示空间进行位置固定，始终保持在相应位置上。
更具体的，空间标注主要提供装配维修的区域标注，顺序标注以及文字标注，并借助HoloLens头盔的空间感知，将该标注显示为贴在物体表面，具备三维信息。圈选标注提供对感兴趣目标的选取，让用户关注该对象，区别于普通的二维套索操作，该操作同样具有三维信息，这样从各个视角都能观察。插拔导引用于指引用户完成相应的零部件插拔操作。旋转导引则用于指引用户完成相应的零部件拧紧和松开等与旋转有关的操作。这些交互操作都具有空间锚属性，且采用形象生动的动画演示进行展现。
基于增强现实头盔的协同式装配维修系统还有一些辅助模块，如语音控制模块是用户端识别用户语音操作指令，完成菜单的呼入、呼出操作，交互删除操作用于对屏幕进行清理操作，去掉相应的标注显示。网络通信模块使用TCP/IP协议和UDP协议，视频数据通过UDP由用户端传输给专家端，其他指令则是通过TCP/IP协议完成。
实施例2：
本发明实施例提供一种基于增强现实协同装配维修方法，包括：
步骤1：步骤1中：用户端戴HoloLens头盔，并通过连接无线路由器，与远程服务器端通信；利用HoloLens头盔上的RGB摄像头采集现场环境的图像信息；利用HoloLens头盔上的麦克风采集现场环境的音频信息；利用HoloLens头盔上的深度摄像头采集当前维修场景的深度信息，并通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加；将采集到的图像信息和音频信息通过编码器编码并转换成音视频流，HoloLens通过UDP音视频流发送至远程服务器端。
步骤2：服务器收到音视频后，将音视频发送至远程专家的终端设备上；终端设备收到音视频流后，对音视频流进行解码操作处理，并播放音视频。
步骤3：专家通过终端设备在视频上对现场所需要的帮助信息进行标注：
如果终端识别到标注信息为预制标注时，会调取数据库中存放的指令模型，并将指令模型信息的类型、位置、大小、朝向等信息通过网络打包发送至HoloLens头盔；
如果终端识别到标注信息为专家绘制的圈选标注时，会直接将曲线上的各个点坐标打包发送到HoloLens头盔；
如果终端识别到标注信息为文字标注，会将文字信息编码发送至HoloLens头盔。
其中，预制标注包括：手势识别中的插拔指令和旋转指令。根据对实际指导装配工作的观察，插拔操作和旋转操作最为常见。为有效减少专家端的屏幕操作，本发明将这两类动作设为预制动作。专家只需在屏幕上画出二维手势，对应的三维模型会在相应的空间位置显示出来。本发明在$Q手势识别算法的基础上进行改进，其主要原理是将待选手势与数据库中每个模板手势进行比较来实现最近邻分类。对于插拔导引，设计采用箭头手势来定义，箭头的起点即为插拔开始或指向的位置，箭头朝向为插拔用力的方向。在HoloLens头盔进行三维箭头布设时，同样要借助HoloLens头盔的空间感知能力，获取碰撞点所在平面的法向量，使箭头模型的z轴与该平面的法向量平行，即给出箭头的三维空间位置。旋转导引手势和垂直旋转手势，垂直旋转手势因为垂直轴的不确定性，所以本发明设定要先画出相应直线以确定旋转轴心，再画出垂直旋转手势，垂直旋转手势与轴心的夹角始终为90°。旋转手势需要确定顺时针或逆时针方向，以指引操作人员的螺旋操作，该判断通过公式相邻两条边向量叉积和的正负性来确定，这样最终三维预制体动画过程依照该方向进行相应的旋转。
圈选标注是为操作人员眼前的操作场景提供的目标圈选功能，这样操作人员能在杂乱的场景下快速找到相应的目标。由于物体之间存在遮挡，借助HoloLens头盔的空间感知能力，专家操作勾画的轮廓点序列不再是二维的点序列，而是具有深度信息的三维点序列，这样在生成三维模型时能准确把目标与背景分离，从而为操作人员提供更准确的圈选功能。
文字标注部分是为一些物体提供标签信息，这样方便操作人员在专家的帮助下了解操作对象的某些属性。该标注只是需要三维空间的单点进行锚定，专家端放置标签在物体表面，同时标注相应文字，这样操作人员能看到专家给出的标签信息，且随视点变化，该标签位置不会丢失，仍然朝向视线方向。
步骤4：HoloLens头盔收到信息后，会通过信息标注类别的不同进行相应的操作：将收到的预制标注绘制到对应的空间位置；将收到的圈选信息，首先通过三维模型生成算法生成对应的三维模型，再将模型放置到对应的空间位置；将文字信息叠加到便签模型上，并将便签模型固定在相应的位置上。将专家绘制的标注信息在HoloLens头盔上显示的具体方法包括：HoloLens智能头盔与终端设备初始化时都以程序启动后初始空间位置为坐标原点，以当前操作人员的朝向为z轴的负方向，当专家在终端设备屏幕上绘制图像时，终端设备会发送最终模型的相对位置信息,HoloLens头盔收到相对位置信息后，会从视点出发向该位置方向发射一条虚拟射线，当该射线碰撞到HoloLens头盔叠加到真实世界的网格模型时，会返回该碰撞点的位置信息，该碰撞点就是标注信息的放置位置，然后通过打包发送过来的其他位姿信息，调整标注模型的旋转角度、大小。
步骤5：根据用户端显示的三维信息标注进行维修操作。
本发明将增强现实头盔应用到装配维修领域，通过改进现有的标注方式，借住HoloLens头盔的空间感知功能，实现对标注信息的精确且生动的展现。本发明提出的基于增强现实头盔的协同式装配维修系统，利用虚拟现实开发平台Unity3D，可以发布多款平台的软件，节约开发成本和周期。该系统可以有效提升操作人员的维修能力，验证了该系统的友好性和实用性。
Claims (1)
1.一种基于增强现实协同装配维修方法，其特征在于，该方法通过基于增强现实协同装配维修的远程系统实现，基于增强现实协同装配维修的远程系统包括基于增强现实协同装配维修专家端、基于增强现实协同装配维修用户端以及信息通信模块；
所述基于增强现实协同装配维修专家端包括：
标注识别模块，用于识别专家在终端设备对视频进行的信息标注：
若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；
若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；
若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息；
所述基于增强现实协同装配维修用户端包括：
信息采集模块、标注生成模块和结果显示模块；
信息采集模块，用于通过增强现实设备采集现场环境的图像信息、音频信息和深度信息；
标注生成模块，用于将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置：
若增强现实设备收到预制标注信息，则将收到的预制标注信息与屏幕位置、大小、朝向信息进行解包处理；根据屏幕位置将预制标注信息的三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取圈选多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
结果显示模块，用于将三维信息标注显示在增强现实设备的显示屏上；
所述信息通信模块，用于将用户端采集的图像信息和音频信息传输至专家端；还用于将专家端的预制标注信息、圈选标注信息或文字标注信息发送至用户端；
所述终端设备用以设在专家端供专家通过手势交互输入相应操作协助用户完成装配维修任务；终端设备包括PC机、智能手机、平板电脑的一种或多种，通过鼠标在PC机的显示屏上进行标注，或在智能手机、平板电脑的触摸屏上绘制图形；
所述预制标注包括：手势识别中的插拔指令和旋转指令；旋转指令包括水平方向的旋转指令和垂直方向的旋转指令；
所述增强现实设备包括HoloLens头盔；
所述信息采集模块还用于将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加；
所述便签模型是在增强现实设备中预制的三维模型以呈现收到的文字标注信息，该便签模型使用锚点固定在现实世界，便签模型始终朝向佩戴增强现实设备的操作人员，方便其阅读文字信息；
标注生成模块将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置，具体包括：
增强现实设备与终端设备初始化时都以程序启动后初始空间位置为坐标原点，以当前操作人员的朝向为z轴的负方向，当专家在终端设备屏幕上绘制图像时，终端设备会发送最终模型的相对屏幕位置信息，增强现实设备收到相对屏幕位置信息后，会从视点位置向该相对屏幕位置方向发射一条虚拟碰撞射线，当该射线碰撞到增强现实设备叠加到真实世界的网格模型时，会返回该碰撞点的三维空间的位置信息，该碰撞点就是信息标注放置的空间位置，然后通过打包发送过来的其他位姿信息，调整标注模型的旋转角度、大小；
该方法包括：
步骤1：增强现实设备采集现场环境的图像信息、音频信息和深度信息；并将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加；
步骤2：远程服务器端将图像信息和音频信息发送至专家端，专家端对音视频流进行解码操作处理，并播放音视频；
步骤3：专家端在终端设备上对视频进行信息标注；
若终端设备识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息通过网络打包发送至增强现实设备；
若终端设备识别到信息标注为专家绘制的圈选标注时，将多边形上的各个点的坐标序列作为圈选标注信息打包发送到增强现实设备；
若终端设备识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置发送至增强现实设备；
步骤4：若增强现实设备收到预制标注信息，则将收到的预制标注信息与步骤3发送过来的屏幕位置、大小、朝向信息进行解包处理；通过屏幕位置，将预制标注信息三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
步骤5：根据用户端显示的三维信息标注进行维修操作；
所述增强现实设备包括HoloLens头盔，步骤1中：用户端戴HoloLens头盔，并通过连接无线路由器，与远程服务器端通信；利用HoloLens头盔上的RGB摄像头采集现场环境的图像信息；利用HoloLens头盔上的麦克风采集现场环境的音频信息；利用HoloLens头盔上的深度摄像头采集当前维修场景的深度信息，并通过SLAM算法实时生成现场环境模型，并将现场环境模型的网格信息与现场环境叠加；将采集到的图像信息和音频信息通过编码器编码并转换成音视频流，HoloLens通过UDP音视频流发送至远程服务器端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020953.XA CN111260084B (zh) | 2020-01-09 | 2020-01-09 | 基于增强现实协同装配维修的远程系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020953.XA CN111260084B (zh) | 2020-01-09 | 2020-01-09 | 基于增强现实协同装配维修的远程系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260084A CN111260084A (zh) | 2020-06-09 |
| CN111260084B true CN111260084B (zh) | 2024-03-15 |
Family
ID=70951162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010020953.XA Active CN111260084B (zh) | 2020-01-09 | 2020-01-09 | 基于增强现实协同装配维修的远程系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260084B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112515275A (zh) * | 2020-11-09 | 2021-03-19 | 义乌市输变电工程有限公司 | 一种硬件接口装置 |
| CN113242398A (zh) * | 2021-04-16 | 2021-08-10 | 杭州易现先进科技有限公司 | 一种三维标注的音视频通话方法和系统 |
| CN113596517B (zh) * | 2021-07-13 | 2022-08-09 | 北京远舢智能科技有限公司 | 一种基于混合现实的图像冻结标注方法及系统 |
| CN113407035A (zh) * | 2021-07-14 | 2021-09-17 | 喻海帅 | 一种基于mr混合现实技术的通信设施检修操作系统 |
| CN113642060A (zh) * | 2021-08-12 | 2021-11-12 | 武汉维谘信息技术有限公司 | 一种eoat视觉工作站及端拾器的建模方法 |
| CN113673894B (zh) * | 2021-08-27 | 2024-02-02 | 东华大学 | 一种基于数字孪生的多人协作ar装配方法和系统 |
| CN113936121B (zh) * | 2021-10-15 | 2023-10-13 | 杭州灵伴科技有限公司 | 一种ar标注设置方法以及远程协作系统 |
| CN114169546A (zh) * | 2021-11-24 | 2022-03-11 | 中国船舶重工集团公司第七一六研究所 | 一种基于深度学习的mr远程协同装配系统及方法 |
| CN114167985B (zh) * | 2021-11-29 | 2022-08-12 | 中国科学院计算机网络信息中心 | 一种基于5g的应急任务增强现实应用方法及系统 |
| CN115268658A (zh) * | 2022-09-30 | 2022-11-01 | 苏芯物联技术(南京)有限公司 | 一种基于增强现实的多方远程空间圈画标记方法 |
| CN115314474B (zh) * | 2022-10-12 | 2023-01-17 | 中通服建设有限公司 | 基于ar的通信应急设备协助检修系统 |
| CN117218320B (zh) * | 2023-11-08 | 2024-02-27 | 济南大学 | 基于混合现实的空间标注方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118622A (zh) * | 2007-05-25 | 2008-02-06 | 清华大学 | 在城市环境下微型飞行器三维轨迹仿真方法 |
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN104183014A (zh) * | 2014-08-13 | 2014-12-03 | 浙江大学 | 一种面向城市增强现实的高融合度信息标注方法 |
| CN205608814U (zh) * | 2016-04-15 | 2016-09-28 | 中国科学院上海技术物理研究所 | 一种基于Zynq软硬件协同处理的增强现实系统 |
| CN106339094A (zh) * | 2016-09-05 | 2017-01-18 | 山东万腾电子科技有限公司 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
| CN107645651A (zh) * | 2017-10-12 | 2018-01-30 | 北京临近空间飞艇技术开发有限公司 | 一种增强现实的远程指导方法和系统 |
| WO2018040511A1 (zh) * | 2016-06-28 | 2018-03-08 | 上海交通大学 | 基于ar的二维图像转换至三维场景的实现方法 |
| CN108170273A (zh) * | 2017-12-28 | 2018-06-15 | 南京华讯方舟通信设备有限公司 | 一种基于hololens眼镜的专家远程指导系统及实现方法 |
| CN108509026A (zh) * | 2018-02-06 | 2018-09-07 | 西安电子科技大学 | 基于增强交互方式的远程维修支持系统及方法 |
| CN108735052A (zh) * | 2018-05-09 | 2018-11-02 | 北京航空航天大学青岛研究院 | 一种基于slam的增强现实自由落体实验方法 |
| CN110111389A (zh) * | 2019-05-14 | 2019-08-09 | 南京信息工程大学 | 一种基于slam的移动增强现实跟踪注册方法和系统 |
| CN110266992A (zh) * | 2019-06-24 | 2019-09-20 | 苏芯物联技术(南京)有限公司 | 一种基于增强现实的远程视频交互系统以及方法 |
| KR102051309B1 (ko) * | 2019-06-27 | 2019-12-03 | 주식회사 버넥트 | 지능형 인지기술기반 증강현실시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665985B2 (en) * | 2014-08-15 | 2017-05-30 | Daqri, Llc | Remote expert system |
| EP3281403A4 (en) * | 2015-04-06 | 2018-03-07 | Scope Technologies US Inc. | Methods and apparatus for augmented reality applications |
-
2020
- 2020-01-09 CN CN202010020953.XA patent/CN111260084B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118622A (zh) * | 2007-05-25 | 2008-02-06 | 清华大学 | 在城市环境下微型飞行器三维轨迹仿真方法 |
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN104183014A (zh) * | 2014-08-13 | 2014-12-03 | 浙江大学 | 一种面向城市增强现实的高融合度信息标注方法 |
| CN205608814U (zh) * | 2016-04-15 | 2016-09-28 | 中国科学院上海技术物理研究所 | 一种基于Zynq软硬件协同处理的增强现实系统 |
| WO2018040511A1 (zh) * | 2016-06-28 | 2018-03-08 | 上海交通大学 | 基于ar的二维图像转换至三维场景的实现方法 |
| CN106339094A (zh) * | 2016-09-05 | 2017-01-18 | 山东万腾电子科技有限公司 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
| CN107645651A (zh) * | 2017-10-12 | 2018-01-30 | 北京临近空间飞艇技术开发有限公司 | 一种增强现实的远程指导方法和系统 |
| CN108170273A (zh) * | 2017-12-28 | 2018-06-15 | 南京华讯方舟通信设备有限公司 | 一种基于hololens眼镜的专家远程指导系统及实现方法 |
| CN108509026A (zh) * | 2018-02-06 | 2018-09-07 | 西安电子科技大学 | 基于增强交互方式的远程维修支持系统及方法 |
| CN108735052A (zh) * | 2018-05-09 | 2018-11-02 | 北京航空航天大学青岛研究院 | 一种基于slam的增强现实自由落体实验方法 |
| CN110111389A (zh) * | 2019-05-14 | 2019-08-09 | 南京信息工程大学 | 一种基于slam的移动增强现实跟踪注册方法和系统 |
| CN110266992A (zh) * | 2019-06-24 | 2019-09-20 | 苏芯物联技术(南京)有限公司 | 一种基于增强现实的远程视频交互系统以及方法 |
| KR102051309B1 (ko) * | 2019-06-27 | 2019-12-03 | 주식회사 버넥트 | 지능형 인지기술기반 증강현실시스템 |
Non-Patent Citations (1)
| Title |
|---|
| 基于增强现实技术的武器装备维修辅助系统设计与实现;杨文芳;何宁;;信息系统工程;20150520(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260084A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260084B (zh) | 基于增强现实协同装配维修的远程系统及方法 | |
| CN107491174B (zh) | 用于远程协助的方法、装置、系统及电子设备 | |
| CN111526118B (zh) | 一种基于混合现实的远程操作引导系统及方法 | |
| CN109375764B (zh) | 一种头戴显示器、云端服务器、vr系统及数据处理方法 | |
| Jo et al. | ARIoT: scalable augmented reality framework for interacting with Internet of Things appliances everywhere | |
| CN111679740A (zh) | 利用增强现实ar技术对电站设备进行远程智能诊断的方法 | |
| US7714895B2 (en) | Interactive and shared augmented reality system and method having local and remote access | |
| CN109448126B (zh) | 一种基于混合现实的航空装备修理辅助系统及其使用方法 | |
| Wang et al. | An augmented reality based system for remote collaborative maintenance instruction of complex products | |
| CN108509026B (zh) | 基于增强交互方式的远程维修支持系统及方法 | |
| CN111510701A (zh) | 虚拟内容的显示方法、装置、电子设备及计算机可读介质 | |
| CN104656893B (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| CN110047148B (zh) | 一种虚拟机器人工作站的仿真互动可视化系统及实现方法 | |
| CN107357434A (zh) | 一种虚拟现实环境下的信息输入设备、系统及方法 | |
| KR102418994B1 (ko) | 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 | |
| CN111047708B (zh) | 一种基于混合现实的复杂设备高风险项目训练系统 | |
| CN113885700A (zh) | 远程协助方法及装置 | |
| KR101638550B1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
| CN113596517B (zh) | 一种基于混合现实的图像冻结标注方法及系统 | |
| CN114169546A (zh) | 一种基于深度学习的mr远程协同装配系统及方法 | |
| CN209746614U (zh) | 一种虚拟机器人工作站的仿真互动可视化系统 | |
| CN113407035A (zh) | 一种基于mr混合现实技术的通信设施检修操作系统 | |
| CN113674426A (zh) | 使用ar技术的设备检修方法及装置 | |
| CN106125937A (zh) | 一种信息处理方法和处理器 | |
| EP4047558A1 (en) | System for generating 3d mobile augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |