CN111526118B - 一种基于混合现实的远程操作引导系统及方法 - Google Patents
一种基于混合现实的远程操作引导系统及方法 Download PDFInfo
- Publication number
- CN111526118B CN111526118B CN202010166854.2A CN202010166854A CN111526118B CN 111526118 B CN111526118 B CN 111526118B CN 202010166854 A CN202010166854 A CN 202010166854A CN 111526118 B CN111526118 B CN 111526118B
- Authority
- CN
- China
- Prior art keywords
- client
- network
- remote
- information
- central server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 230000004424 eye movement Effects 0.000 claims description 17
- 210000005252 bulbus oculi Anatomy 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于混合现实的远程操作引导系统及方法，它包括有AR客户端，VR客户端和中心服务器端，所述AR客户端通过网络将采集到的现场视频传输到VR客户端，用于将视频流渲染到一张三维空间内可交互的虚拟平面上，所述VR客户端通过网络将专家在虚拟平面上注释的内容传输到中心服务器端，用于虚拟注释与现场三维重建模型的融合，所述中心服务器端通过网络将融合数据传输到AR客户端，用于实现与物理空间的融合显示。本发明能够消除远程操作引导中的信息盲点，克服远程操作引导中因交互方式单一和交互维度低造成的无法精确直观地表达复杂操作引导意图的问题。
Description
技术领域
本发明涉及一种机械装配或维修远程操作引导方法，具体为一种基于混合现实的远程操作引导系统及方法。
背景技术
随着先进制造业的发展，机械结构变得越来越精密复杂，使得机械装配维修过程频繁需要得到工艺设计人员和结构设计人员等不同部门专家的技术支持，但是由于装配维修现场与专家办公室的物理空间隔离，现场技术工人每次遇到问题需要获得专家支持时，只能通过电话沟通，甚至需要专家亲自到达现场示范指导。但是电话沟通只能通过语音传达信息，不利于解决涉及复杂操作的装配维修问题，而本地专家频繁亲临现场的时间成本高，异地或跨国专家亲临现场的经济成本极高。因此，如何能让现场技术工人在远程专家的操作引导帮助下高效完成复杂装配维修操作成了先进制造业现阶段的一个亟待解决的问题。
近年来迅速发展的基于混合现实（Mixed Reality，以下简称MR）的远程协同技术为该问题的有效解决带来新思路。基于MR的远程协同技术包含将虚拟三维信息无缝融合于现实空间中的增强现实（Augmented Reality，以下简称AR）技术和利用计算机技术产生逼真三维虚拟空间的虚拟现实（Virtual Reality，以下简称VR）技术，此外，基于MR的远程协同技术允许协同作业的各方通过语音、视频、手势和三维模型等方式与协同系统进行交互。
中国专利公开号CN 104991772 A中公开了一种远程操作引导方法，所述远程操作引导方法被引导终端根据引导终端进行演示操作的操作记录进行操作引导。当操作引导端接收到用户发送的引导请求指令时，发送提前录制好的操作记录给用户，通过高亮显示当前操作步骤，逐步引导用户完成操作记录中的全部操作步骤，从而使得引导者和被引导者无须同时在线。上述现有方法只适用于操作过程简单固定的场景，而无法解决操作过程专业性强以及操作步骤繁多的复杂产品装配维修问题。
中国专利公开号CN 105759960 A中公开了一种结合3D摄像头的增强现实远程指导方法。所述结合3D摄像头的增强现实远程指导方法通过3D摄像头采集指导人员肢体动作信息，生成肢体三维模型和三维动作信息。上述现有方法为现场操作人员提供肢体操作引导以及还支持肢体三维模型与注册到视频流中的目标三维模型进行互动从而进行操作引导，但是利用肢体动作无法直观表达精确信息，比如：移动距离，更无法表达型腔类和箱体类等零部件复杂内部结构关系。此外，在远程操作引导中，远程专家不断通过肢体动作进行操作引导会极易产生疲劳感。
发明内容
本发明的目的就是针对上述现有技术的不足，提供一种基于混合现实的远程操作引导系统及方法，该发明消除远程操作引导中的信息盲点，克服远程操作引导中因交互方式单一和交互维度低造成的无法精确直观地表达复杂操作引导意图的问题。
本发明采用的技术方案如下：
一种基于混合现实的远程操作引导系统，它包括有AR客户端，VR客户端和中心服务器端，所述AR客户端通过网络将采集到的现场视频传输到VR客户端，用于将视频流渲染到一张三维空间内可交互的虚拟平面上，所述VR客户端通过网络将专家在虚拟平面上注释的内容传输到中心服务器端，用于虚拟注释与现场三维重建模型的融合，所述中心服务器端通过网络将融合数据传输到AR客户端，用于实现与物理空间的融合显示。
所述AR客户端包括显示系统、交互系统和深度传感系统，所述显示系统通过网络与交互系统相连，所述显示系统用于将远程专家提供的引导信息与操作环境进行无缝融合并直观呈现给本地操作者，所述交互系统用于为本地操作者提供语音、眼动和手势交互方式，所述深度传感系统通过网络与中心服务器端相连，用于采集现场点云数据。
所述VR客户端包括交互系统，所述交互系统用于支持手势和眼动交互。
所述中心服务器端包括存储模型和动画数据库，所述存储模型和动画数据库通过网络与中心服务器端相连，用于对操作现场的三维实时重建，并将VR客户端专家注释的信息与三维重建的信息进行位置对准。
本发明还提供一种基于混合现实的远程操作引导方法，步骤如下：
步骤1：任务开始前，AR客户端本地操作者和VR客户端远程专家需要进入混合现实的远程协同系统，接着，本地操作者开启AR客户端，AR客户端自动开启HMD摄像头实时捕捉工作场景画面，同时系统自动开启HoloLens获取本地操作者注视点并实时渲染在本地操作者视野中，然后利用HoloLens自带摄像头进行现场视频采集以及利用深度传感器进行现场点云数据和手势信息采集；
步骤2：远程专家开启VR客户端，同时系统自动开启aGlass-DK2眼动追踪仪和LeapMotion，以及HTC VIVE头盔进行远程专家眼动信息和手势信息的采集，所述aGlass-DK2眼动追踪仪和Leap Motion安装在HTC VIVE头盔上；
步骤3：开启中心服务器端，并进行网络连接，测试AR客户端、VR客户端和中心服务器端可以通过网络互相连接；
步骤4：利用数字化标注进行操作引导；
步骤5：利用眼动信息进行注意力引导；
步骤6：利用手势进行操作引导；
步骤7：利用3D模型和动画进行操作引导。
步骤4的具体步骤为：（1）AR客户端通过Hololens自带摄像头采集现场视频，并通过网络经服务器发送视频到VR客户端；（2）AR客户端通过深度传感器进行现场点云数据采集，并通过网络发送到中心服务器端；（3）在VR客户端的虚拟场景中，生成引导信息（如标注、运动轨迹等），然后通过网络发送到中心服务器端，然后再从中服务器端通过网络发送到AR客户端；（4）AR客户端渲染并显示标注信息。
步骤5的具体步骤为：（1）利用aGlass-DK2眼动追踪仪获取远程专家的眼球运动坐标，并通过网络发送到中心服务器端；（2）中心服务器端以虚拟相机为起点，分别过本地操作者和远程专家的注视点做射线与现场三维模型相交，取近虚拟相机点坐标，并通过网络发送到AR客户端；（3）根据接收到注视点坐标，在对应位置处渲染注视点；（4）AR客户端操作者调整注视点到与VR客户端远程专家注视点基本重合，完成注意力引导。
步骤6的具体步骤为：（1）VR客户端利用Leap Motion 采集远程专家手势；（2）通过网络发送手势信息到AR客户端，本地操作者根据约定的手势含义进行操作。
步骤7的具体步骤为：（1）远程专家发出调用某3D模型和动画指令到中心服务器端；（2）中心服务器端从数据库中加载对应模型动画，并通过网络将其分别发送到AR客户端和VR客户端；（3）远程专家发出模型或动画控制指令；（4）AR客户端和VR客户端响应模型或动画指令。
本发明的有益效果有：
（1）本发明支持用户利用数字化标注、眼动以及手势等多种自然直观的交互方式进行操作引导信息交流，不仅可以远程引导复杂操作，还可以同时提升远程专家和现场操作者的用户体验，从而有效降低远程操作引导中的信息交流障碍；
（2）本发明结合3D模型和动画，远程专家可以精准表达复杂操作流程，避免过度的肢体运动，从而提高工作效率，缓解疲劳；
（3）与已有的结合3D摄像头的增强现实远程指导方法相比，本发明支持更多通道的交互方式，有效结合3D模型动画，避免了大量操作指令都用肢体语言来传达带来的引导意图不明确和人员易疲劳等问题，有效提升远程操作引导效率。
附图说明
图1为采用数字化标记进行操作引导的流程图；
图2为采用眼动信息进行注意力引导的流程图；
图3为采用手势进行操作引导的流程图；
图4为采用模型和动画进行操作引导的流程图。
具体实施方式
下面结合附图对本发明作进一步地说明：
实施例：
步骤1：任务开始前，AR客户端本地操作者和VR客户端远程专家需要进入混合现实的远程协同系统，接着，本地操作者开启AR客户端，AR客户端自动开启HMD摄像头实时捕捉工作场景画面，同时系统自动开启HoloLens获取本地操作者注视点并实时渲染在本地操作者视野中，然后利用HoloLens自带摄像头进行现场视频采集以及利用深度传感器进行现场点云数据和手势信息采集；
步骤2：远程专家开启VR客户端，同时系统自动开启aGlass-DK2眼动追踪仪和LeapMotion，以及HTC VIVE头盔进行远程专家眼动信息和手势信息的采集；
步骤3：开启中心服务器端，并进行网络连接，测试AR客户端、VR客户端和中心服务器端可以通过网络互相连接；
步骤4：利用数字化标注进行操作引导，具体实现步骤如下：
（1）AR客户端通过Hololens自带摄像头采集现场视频，并通过网络经服务器发送视频到VR客户端，VR客户端接收到视频后将其渲染到一张三维空间内可交互的平面上，接着VR客户端远程专家根据视频中需要进行操作引导的步骤，在视频平面中通过HTC VIVE手柄进行数字化标注来表示引导信息，比如：在目标位置处画圈，然后VR客户端发送数字化标注信息到中心服务器端；
（2）AR客户端通过深度传感器进行现场点云数据采集，并通过网络发送到中心服务器端，然后发送到VR客户端，并生成现场的三维模型；
（3）中心服务器端以虚拟相机为起点，过数字化标注轨迹作射线与三维模型相交，保存近虚拟相机点组成的轨迹坐标，通过网络发送到AR客户端；
（4）AR客户端渲染并显示标注信息；
步骤5：利用眼动信息进行注意力引导，具体实现步骤如下：
（1）利用aGlass-DK2眼动追踪仪获取远程专家的眼球运动坐标，并通过网络发送到中心服务器端；
（2）中心服务器端以虚拟相机为起点，分别过本地操作者和远程专家的注视点做射线与现场三维模型相交，取近虚拟相机点坐标，并通过网络发送到AR客户端；
（3）根据接收到注视点坐标，在对应位置处渲染注视点；
（4）AR客户端操作者调整注视点到与VR客户端远程专家注视点基本重合，完成注意力引导；
步骤6：利用手势进行操作引导，具体实现步骤如下：
（1）VR客户端利用Leap Motion 采集远程专家手势，比如：手掌翻转；
（2）通过网络发送手势信息到AR客户端，本地操作者根据约定的手势含义进行操作，比如：手掌翻转代表翻转手中零部件；
步骤7：利用3D模型和动画进行操作引导，具体实现步骤如下：
（1）远程专家发出调用某3D模型和动画指令到中心服务器端；
（2）中心服务器端从数据库中加载对应模型动画，并通过网络将其分别发送到AR客户端和VR客户端；
（3）远程专家发出模型或动画控制指令，比如：模型移动或动画暂停；
（4）AR客户端和VR客户端响应模型或动画指令。
上述步骤中所述的数字化标识、眼动、手势以及3D模型动画多种操作引导方式可根据实际需要，可以灵活组合。
本发明涉及的其它未说明部分与现有技术相同。
Claims (6)
1.一种基于混合现实的远程操作引导方法，其特征是，步骤如下：
步骤1：任务开始前，AR客户端本地操作者和VR客户端远程专家需要进入混合现实的远程协同系统，接着，本地操作者开启AR客户端，AR客户端自动开启HMD摄像头实时捕捉工作场景画面，同时系统自动开启HoloLens获取本地操作者注视点并实时渲染在本地操作者视野中，然后利用HoloLens自带摄像头进行现场视频采集以及利用深度传感器进行现场点云数据和手势信息采集；
步骤2：远程专家开启VR客户端，同时系统自动开启aGlass-DK2眼动追踪仪和LeapMotion ，以及HTC VIVE头盔进行远程专家眼动信息和手势信息的采集；
步骤3：开启中心服务器端，并进行网络连接，测试AR客户端、VR客户端和中心服务器端可以通过网络互相连接；
步骤4：利用数字化标注进行操作引导；
步骤5：利用眼动信息进行注意力引导，具体步骤为：（1）利用aGlass-DK2眼动追踪仪获取远程专家的眼球运动坐标，并通过网络发送到中心服务器端；（2）中心服务器端以虚拟相机为起点，分别过本地操作者和远程专家的注视点做射线与现场三维模型相交，取近虚拟相机点坐标，并通过网络发送到AR客户端；（3）根据接收到注视点坐标，在对应位置处渲染注视点；（4）AR客户端操作者调整注视点到与VR客户端远程专家注视点基本重合，完成注意力引导；
步骤6：利用手势进行操作引导；
步骤7：利用3D模型和动画进行操作引导，具体步骤为：（1）远程专家发出调用某3D模型和动画指令到中心服务器端；（2）中心服务器端从数据库中加载对应模型动画，并通过网络将其分别发送到AR客户端和VR客户端；（3）远程专家发出模型或动画控制指令；（4）AR客户端和VR客户端响应模型或动画指令。
2.根据权利要求1所述的基于混合现实的远程操作引导方法，其特征是，步骤4的具体步骤为：（1）AR客户端通过Hololens自带摄像头采集现场视频，并通过网络经服务器发送视频到VR客户端；（2）AR客户端通过深度传感器进行现场点云数据采集，并通过网络发送到中心服务器端；（3）在VR客户端的虚拟场景中，生成引导信息，引导信息包括标注和运动轨迹，然后通过网络发送到中心服务器端，然后再从中心服务器端通过网络发送到AR客户端；（4）AR客户端渲染并显示标注信息。
3.根据权利要求1所述的基于混合现实的远程操作引导方法，其特征是，步骤6的具体步骤为：（1）VR客户端利用Leap Motion 采集远程专家手势；（2）通过网络发送手势信息到AR客户端，本地操作者根据约定的手势含义进行操作。
4.一种执行权利要求1所述的基于混合现实的远程操作引导方法的系统，其特征是它包括有AR客户端，VR客户端和中心服务器端，所述AR客户端通过网络将采集到的现场视频传输到VR客户端，用于将视频流渲染到一张三维空间内可交互的虚拟平面上，所述VR客户端通过网络将专家在虚拟平面上注释的内容传输到中心服务器端，用于虚拟注释与现场三维重建模型的融合，所述中心服务器端通过网络将融合数据传输到AR客户端，用于实现与物理空间的融合显示；所述中心服务器端包括存储模型和动画数据库，所述存储模型和动画数据库通过网络与中心服务器端相连，用于对操作现场的三维实时重建，并将VR客户端专家注释的信息与三维重建的信息进行位置对准。
5.根据权利要求4所述的系统，其特征是所述AR客户端包括显示系统、交互系统和深度传感系统，所述显示系统通过网络与交互系统相连，所述显示系统用于将远程专家提供的引导信息与操作环境进行无缝融合并直观呈现给本地操作者，所述交互系统用于为本地操作者提供语音、眼动和手势交互方式，所述深度传感系统通过网络与中心服务器端相连，用于采集现场点云数据。
6.根据权利要求4所述的系统，其特征是所述VR客户端包括交互系统，所述交互系统用于支持手势和眼动交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/085247 WO2021179399A1 (zh) | 2019-10-29 | 2020-04-17 | 一种基于混合现实的远程操作引导系统及方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019110400944 | 2019-10-29 | ||
| CN201911040094 | 2019-10-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111526118A CN111526118A (zh) | 2020-08-11 |
| CN111526118B true CN111526118B (zh) | 2023-06-30 |
Family
ID=71910244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010166854.2A Active CN111526118B (zh) | 2019-10-29 | 2020-03-11 | 一种基于混合现实的远程操作引导系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111526118B (zh) |
| WO (1) | WO2021179399A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915819A (zh) * | 2020-08-14 | 2020-11-10 | 中国工商银行股份有限公司 | 远程虚拟交互方法、装置及系统 |
| CN112036998A (zh) * | 2020-09-01 | 2020-12-04 | 中国银行股份有限公司 | 金融行业机房内运维远程协作处理方法及各处理端 |
| CN113098929A (zh) * | 2021-03-17 | 2021-07-09 | 广东电网有限责任公司 | 一种远程培训考核方法及系统 |
| CN113347408B (zh) * | 2021-06-16 | 2023-02-17 | 广州广日电梯工业有限公司 | 电梯故障处理的交互方法、交互装置以及存储介质 |
| CN113610987B (zh) * | 2021-07-13 | 2024-02-20 | 北京远舢智能科技有限公司 | 一种基于三维重建的混合现实空间标注方法及系统 |
| CN113596517B (zh) * | 2021-07-13 | 2022-08-09 | 北京远舢智能科技有限公司 | 一种基于混合现实的图像冻结标注方法及系统 |
| CN113985820B (zh) * | 2021-08-19 | 2023-10-20 | 中核武汉核电运行技术股份有限公司 | 一种基于增强现实技术的核电厂远程指导系统和方法 |
| CN113995525A (zh) * | 2021-11-05 | 2022-02-01 | 无锡蓝软智能医疗科技有限公司 | 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质 |
| CN114169546A (zh) * | 2021-11-24 | 2022-03-11 | 中国船舶重工集团公司第七一六研究所 | 一种基于深度学习的mr远程协同装配系统及方法 |
| CN114047824A (zh) * | 2022-01-13 | 2022-02-15 | 北京悉见科技有限公司 | 多终端用户在虚拟空间交互的方法 |
| CN114894253A (zh) * | 2022-05-18 | 2022-08-12 | 威海众合机电科技有限公司 | 一种应急视觉智能增强方法、系统及设备 |
| CN115051974A (zh) * | 2022-05-30 | 2022-09-13 | 深圳市中视典数字科技有限公司 | 一种远程指导方法、远程指导系统、电子设备及存储介质 |
| CN115130157B (zh) * | 2022-07-04 | 2024-07-12 | 华中科技大学 | 基于固定工位的桌面式sop增强现实装配指导系统和方法 |
| CN115268722A (zh) * | 2022-07-07 | 2022-11-01 | 国网上海市电力公司 | 一种绝缘件局放试验智能交互方法及系统 |
| CN115334274A (zh) * | 2022-08-17 | 2022-11-11 | 上海疆通科技有限公司 | 一种基于增强现实的远程协助的方法及装置 |
| CN115826510A (zh) * | 2022-10-27 | 2023-03-21 | 银河航天科技(南通)有限公司 | 一种远程装配系统 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009036782A1 (en) * | 2007-09-18 | 2009-03-26 | Vrmedia S.R.L. | Information processing apparatus and method for remote technical assistance |
| EP3281403A4 (en) * | 2015-04-06 | 2018-03-07 | Scope Technologies US Inc. | Methods and apparatus for augmented reality applications |
| US10169917B2 (en) * | 2015-08-20 | 2019-01-01 | Microsoft Technology Licensing, Llc | Augmented reality |
| CN105739704A (zh) * | 2016-02-02 | 2016-07-06 | 上海尚镜信息科技有限公司 | 基于增强现实的远程引导方法和系统 |
| CN105759960A (zh) * | 2016-02-02 | 2016-07-13 | 上海尚镜信息科技有限公司 | 一种结合3d摄像头的增强现实远程指导方法和系统 |
| CN106339094B (zh) * | 2016-09-05 | 2019-02-26 | 山东万腾电子科技有限公司 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
| CN107656613B (zh) * | 2017-09-08 | 2020-12-18 | 国网智能科技股份有限公司 | 一种基于眼动追踪的人机交互系统及其工作方法 |
| US10417829B2 (en) * | 2017-11-27 | 2019-09-17 | Electronics And Telecommunications Research Institute | Method and apparatus for providing realistic 2D/3D AR experience service based on video image |
| CN107961524A (zh) * | 2017-12-29 | 2018-04-27 | 武汉艺术先生数码科技有限公司 | 基于ar的健身游戏与训练系统 |
| CN108509026B (zh) * | 2018-02-06 | 2020-04-14 | 西安电子科技大学 | 基于增强交互方式的远程维修支持系统及方法 |
| CN109947246A (zh) * | 2019-03-13 | 2019-06-28 | 机械工业第六设计研究院有限公司 | 一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法 |
| CN110351514B (zh) * | 2019-07-09 | 2022-01-14 | 北京猫眼视觉科技有限公司 | 一种虚拟模型通过远程协助方式和视频流同时传输的方法 |
| CN110362210B (zh) * | 2019-07-24 | 2022-10-11 | 济南大学 | 虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置 |
| CN110442486A (zh) * | 2019-08-05 | 2019-11-12 | 北京远舢智能科技有限公司 | 一种基于混合现实技术的远程设备诊断系统和方法 |
-
2020
- 2020-03-11 CN CN202010166854.2A patent/CN111526118B/zh active Active
- 2020-04-17 WO PCT/CN2020/085247 patent/WO2021179399A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021179399A1 (zh) | 2021-09-16 |
| CN111526118A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111526118B (zh) | 一种基于混合现实的远程操作引导系统及方法 | |
| US10977868B2 (en) | Remote collaboration methods and systems | |
| CN110599603A (zh) | 基于增强现实的机械设备可视化交互与设备状态监控系统及其方法 | |
| CN110728670A (zh) | 一种基于ar技术的低压设备运维方法 | |
| CN110909898B (zh) | 基于ar眼镜的银行机房故障诊断维修指导系统及方法 | |
| CN113011723B (zh) | 一种基于增强现实的远程装备维保系统 | |
| CN111260084A (zh) | 基于增强现实协同装配维修的远程系统及方法 | |
| CN109859538A (zh) | 一种基于混合现实的关键设备培训系统及方法 | |
| CN111679740A (zh) | 利用增强现实ar技术对电站设备进行远程智能诊断的方法 | |
| CN104268939A (zh) | 基于三维全景视图的变电站虚拟现实管理系统及其实现方法 | |
| CN111897431A (zh) | 展示方法及装置、显示设备、计算机可读存储介质 | |
| JP2012181688A (ja) | 情報処理装置、情報処理方法、情報処理システムおよびプログラム | |
| CN114662714A (zh) | 基于ar设备的机房运维管理系统及方法 | |
| Re et al. | An augmented reality framework for supporting and monitoring operators during maintenance tasks | |
| CN109584361B (zh) | 一种装备电缆虚拟预装和轨迹测量方法及系统 | |
| Shen et al. | Product information visualization and augmentation in collaborative design | |
| CN110992492A (zh) | 一种三维可视化生产管理系统及方法 | |
| CN111445315A (zh) | 一种虚实交互的分布式房屋销售展示系统及其使用方法 | |
| CN115469744A (zh) | 一种基于ar技术的机房设备巡检作业方法 | |
| CN115469745A (zh) | 一种基于ar技术的机房设备故障处理方法和系统 | |
| CN110142769B (zh) | 基于人体姿态识别的ros平台在线机械臂示教系统 | |
| Hongli et al. | Application of AR technology in aircraft maintenance manual | |
| CN114169546A (zh) | 一种基于深度学习的mr远程协同装配系统及方法 | |
| CN113407035A (zh) | 一种基于mr混合现实技术的通信设施检修操作系统 | |
| CN116645247A (zh) | 一种基于全景图的增强现实工业作业培训系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhou Zhiyan Inventor after: Wang Peng Inventor after: Bai Xiaoliang Inventor after: Shao Li Inventor after: Chang Zhuang Inventor before: Wang Peng Inventor before: Bai Xiaoliang Inventor before: Shao Li Inventor before: Chang Zhuang |
|
| CB03 | Change of inventor or designer information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |