CN110708384A - 一种基于ar的远程协助系统的交互方法、系统和存储介质 - Google Patents

一种基于ar的远程协助系统的交互方法、系统和存储介质 Download PDF

Info

Publication number
CN110708384A
CN110708384A CN201910969708.0A CN201910969708A CN110708384A CN 110708384 A CN110708384 A CN 110708384A CN 201910969708 A CN201910969708 A CN 201910969708A CN 110708384 A CN110708384 A CN 110708384A
Authority
CN
China
Prior art keywords
adjusted
image information
information
point
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910969708.0A
Other languages
English (en)
Other versions
CN110708384B (zh
Inventor
谢辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Dimension Vision Technology Co Ltd
Original Assignee
Xi'an Dimension Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Dimension Vision Technology Co Ltd filed Critical Xi'an Dimension Vision Technology Co Ltd
Priority to CN201910969708.0A priority Critical patent/CN110708384B/zh
Publication of CN110708384A publication Critical patent/CN110708384A/zh
Application granted granted Critical
Publication of CN110708384B publication Critical patent/CN110708384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及远程协助技术领域，具体涉及一种基于AR的远程协助系统的交互方法、系统和存储介质，其中方法包括实时获取待协助现场的第一图像信息并将第一图像信息发送至专家端；将专家标注后的标注点的位置信息实时返回给求助端；求助端获取标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算标注点的待调整量；根据待调整量实时更新标注点在求助端和专家端画面上的位置。采用该交互方法以消除由于用户头部晃动而引起的标注点在用户端显示时与实际标注位置产生的偏移，该方法保证了远程协助时标注的准确性，提高了远程协助的效果。

Description

一种基于AR的远程协助系统的交互方法、系统和存储介质
技术领域
本发明涉及远程协助技术领域，具体涉及一种基于AR的远程协助系统的交互方法、系统和存储介质。
背景技术
现在AR技术已经广泛的应用于机械组装、设备维修和结构展示等领域，尤其是应用于机械组装和设备维修时，有时候现场无法解决的技术问题，往往需要求助于远程的专家，这时候就需要采用远程协助系统，现有的远程协助系统往往是通过获取现场的二维画面进行截图，并将该画面截图发送给远程的专家，专家在截图上完成标注后，再将截图发送给现场人员，以达到远程协助的目的。这种采用截图标注的方式虽然也能达到远程协助的目的，但是效果不够理想，因为无法实时性的、多互动性的进行指导。另外，如果采用视频的方式进行指导，专家直接在动态图画面上进行标注，由于现场人员头部晃动，引起佩戴的AR眼镜会晃动，加上数据传输的延迟性，则专家的标注位置传回到求助端时和实际的标注位置也会发生移动，无法达到准确标注的作用。
发明内容
为了解决现有技术中由于现场人员的佩戴的AR眼镜的晃动导致远程协助时标注的位置发生移动，导致标注不准确的技术问题。本申请提供以下技术方案：
一种基于AR的远程协助系统的交互方法,包括：
实时获取待协助现场的第一图像信息并将所述第一图像信息发送至专家端；
将专家完成标注后的标注点的位置信息实时返回给求助端；
求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；
根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。
其中，所述获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量，包括：
获取所述标注点处的深度值；
获取所述求助端当前时刻相对于发送所述第一图像信息时刻的位移量和转动量；
根据所述位移量、转动量以及深度值计算所述标注点在所述第二图像信息上相应的待调整量。
其中，所述根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置，包括：
所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。
其中，所述获取所述标注点处的深度信息，包括：
采用深度传感器、红外测距传感器、TOF相机、结构光相机中的一种或多种获取所述标注点处的深度值。
进一步的，还包括：
获取所述待调整像素值后，将所述待调整像素值实时发送给专家端，并根据所述待调整像素值实时调整所述求助端和专家端的第二图像信息上所述标注点的位置。
一种基于AR的远程协助系统的交互系统，包括第一用户设备和第二用户设备；
所述第一用户设备用于获取待协助现场的第一图像信息并将所述第一图像信息发送至第二用户设备；
所述第二用户设备用于将专家完成标注后的标注点的位置信息实时返回给的第一用户设备；
所述第一用户设备还用于获取所述标注点处的深度信息以及该第一用户设备相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；并根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置。
其中，所述第一用户设备包括：
摄像头，用于获取待协助现场的第一图像信息；
第一通信模块，用于将所述第一图像信息发送至所述第二用户设备；
深度相机传感器，用于获取所述标注点位置的深度信息；
第一传感器，用于获取所述摄像头相对于上一时刻的移动信息；
第一处理器，用于所述深度信息和移动信息计算标注点的待调整量，并根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置。
在其他实施例中，深度相机传感器还可以替换为红外测距传感器、TOF相机、结构光相机，通过这些传感器中的一种均可以获取标注点处的深度值。
其中，所述第二用户设备包括：
第二通信模块，用于接收所述第一用户设备发送的第一图像信息；
第二显示屏，用于呈现所述第一图像信息；
输入装置，用于专家在所述第一图像信息上进行标注；
第二处理器，用于提取所述标注后在第一图像上的位置信息，并将所述标注点的位置信息发送给所述第一用户设备。
其中，所述根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置，包括：
所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。
一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。
依据上述实施例的基于AR的远程协助系统的交互方法和系统，将专家标注后的标注点的位置信息实时返回给求助端，获取所述标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算出该标注点的待调整量，然后根据待调整量实时调整标注点在求助端和专家端显示的第二图像信息上的位置，以消除由于用户头部晃动而引起的专家端返回的标注点在用户端显示时与实际标注位置产生的偏移，使得在实时标注时，即使用户端头部佩戴的AR设备有晃动，通过该方法依然能准确地进行标注，提高了远程协助的效果。
附图说明
图1为本申请实施例的交互方法流程示意图；
图2为本申请实施例的交互系统结构示意图；
图3为本申请实施例的交互系统工作时交互方法流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
在本发明实施例中，提供一种基于AR的远程协助系统的交互方法，通过用户佩戴在头部的AR眼镜或手持终端实时获取待协助现场的第一图像信息并将第一图像信息发送至专家端，专家端收到该信息后对该第一图像信息进行呈现，专家进行标注后系统记录住该标注点在显示屏上的位置信息，即坐标信息，求助端的AR眼镜获取标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据该深度信息和移动信息计算标注点的待调整量，然后根据待调整量实时更新标注点在第二图像信息上的位置，这样消除由于用户头部晃动而引起的专家端返回的标注点在用户端显示时与实际标注位置产生的偏移，达到准确标注的目的，提高了远程协助的效果。
其中，在求助者和专家端显示的第一图像信息是求助端采集的原始图像，即未标注的图像信息，第二图像信息是在第一图像信息上标注完之后的图像，即包括标注点的图像信息，标注完成之后，求助者和专家端显示的都是第二图像信息。
实施例一：
请参考图1，本实施例提供一种基于AR的远程协助系统的交互方法，该方法包括：
S101：实时获取待协助现场的第一图像信息。用户在进行设备维修或者设备拆装时通过佩戴在头部的AR头盔实时获取现场的第一图像信息。
S102：将第一图像信息发送给专家端。通过专家端的第二用户设备对第一图像信息进行呈现，专家在第一图像信息上进行标注，第二用户设备记录该标注点在显示画面上的坐标信息。
S103:将专家在第一图像信息上标注的标注点位置信息发送给求助端；完成对第一图像信息的标注后，将标注点的坐标信息发送给求助端。
S104:求助端接收到标注点的位置信息，获取该标注点的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算标注点的待调整量。通过深度相机传感器获取标注点的深度信息，同时获取用户佩戴的AR眼镜相对于上次获取第一图像信息时的移动信息，该移动信息包括转动量和位移量，根据获取的深度信息以及转动量和位移量即可计算出标注点相对于上一时刻的待调整量。其中当前时刻相对于上一时刻的转动量和位移量通过AR眼镜中的传感器测(例如IMU传感器)得。
S105:根据所述待调整量实时更新标注点在第二图像信息上的位置。根据计算得到的待调整量再结合当前显示屏每个像素的间距，即可计算出标注点需要调节的像素个数，根据该像素个数调整标注点，以完成对标注点位置的更新，这样当前显示画面上标注点的位置刚好对应专家标记的标注点的位置，使得标注更加精确，有利于远程协助。
S106:将待调整量发送给专家端，求助端实时的将计算得到的待调整量(即像素个数)返回给专家端，或者将当前时刻标注点的坐标返回专家端。
S107:根据待调整量实时更新标注点在专家端显示画面上的位置，专家端接收到该待调节量后根据该待调节量实时调节显示画面上标注点的位置，或者专家端接收到新的标注点坐标后在显示画面上实时显示新的标注点位置。
通过本实施例的交互方法，可以实时的获取用户头戴AR眼镜的移动信息，根据该移动信息以及标注点的深度值计算出标注点的待调节量，然后根据该待调节量实时更新标注点的位置，以消除由于用户头部晃动而引起的专家端返回的标注点在用户端显示时与实际标注位置产生的偏移，该方法保证了远程协助时标注的准确性，提高了远程协助的效果。
实施例二：
请参考图2，本实施例提供一种基于AR的远程协助系统的交互系统，该系统包括第一用户设备30和第二用户设备40；
其中，第一用户设备30用于获取待协助现场的第一图像信息并将第一图像信息发送至第二用户设备；
第二用户设备40用于将专家标注后的标注点在所述第一图像信息上的位置信息实时返回给的第一用户设备；
其中，第一用户设备30还用于获取标注点处的深度信息以及该第一用户设备相对于上一时刻的移动信息，根据深度信息和移动信息计算标注点的待调整量；并根据待调整量实时更新标注点在所述第二图像信息上的位置。
进一步的，第一用户设备30还用于将计算出来的待调整量(即像素个数)返回给第二用户设备40，第二用户设备40根据接收到的待调整量实时调整标注点的位置，或者第一用户设备30将当前时刻标注点的坐标返回给第二用户设备40，第二用户设备40根据返回的坐标实时更新显示屏上标注点的位置。
本实施例中，第一用户设备30采用AR眼镜，用户佩戴该AR眼镜进行机械组装或者维修，第二用户设备40采用计算机(包括显示屏)，专家可以通过远程的计算机对求助端AR眼镜返回的图像信息进行标注。
具体的，如图2，该第一用户设备30包括：
摄像头301，用于获取待协助现场的第一图像信息；
第一通信模块302，用于和专家端的第二用户设备40进行无线通信，将第一图像信息发送至第二用户设备，通信方法类似手机之间的通信或者手机与计算机之间的通信，如现有的手机端与计算机端之间进行视频的方式类似，此处不再赘述。
深度相机传感器303，用于获取标注点位置的深度信息，即根据该标注点的位置信息获取该位置处的深度值；
第一传感器304，用于获取AR眼镜或者摄像头相对于上一时刻的移动信息，其中上一时刻指的是上次获取待协助现场的第一图像信息并发送给第二用户设备40的时刻。
还包括显示模组306，用于对获取的虚拟的图像信息进行显示，以及返回的标注点在虚拟图像进行显示。
第一处理器305，用于根据深度信息(即深度值)和移动信息计算标注点的待调整量，并根据待调整量实时更新所述标注点在第二图像信息上的位置，其中计算待调整量以及更新标注点的方法和实施例1中相同，此处不再赘述。
其中，第二用户设备40包括：
第二通信模块401，用于和第一用户设备30进行通信，接收第一用户设备发送的第一图像信息；
第二显示屏402，用于呈现第一图像信息，本实施例中第二显示屏即为计算机的显示屏；
输入装置403，用于专家在第一图像信息上进行标注，本实施例中该输入装置403为键盘和鼠标，在其他实施例中输入装置403还可以为可输入显示屏(即现有的触摸屏)，再配合手写笔，如三星的S10手机，可以通过手写笔在显示屏上进行标注和输入。
第二处理器404，用于对标注后的第一图像信息进行处理生成第二图像信息，并将第二图像信息发送给第一用户设备。
其中，根据待调整量实时更新所述标注点在所述第二图像信息上的位置，包括：待调整量包括标注点在第二图像信息上的待调整位移，根据待调整位移结合第二图像信息的像素间距得到待调整像素值，根据待调整像素值调整所述标注点在第二图像信息上的位置。
该系统工作时的交互方法如图3所示，通过该系统可以在基于AR技术进行设备维修、设备拆装等操作时，通过远程协助的方式向专家请求指导，并且可以消除由于头部移动带来的误差，使得专家的标注更加准确，保证了远程协助的效果。
实施例三
本实施例提供一种计算机可读存储介质，该存储介质中包括程序，该程序能够被处理器执行以实现如实施例1提供的基于AR的远程协助系统的交互方法。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于AR的远程协助系统的交互方法,其特征在于，包括：
实时获取待协助现场的第一图像信息并将所述第一图像信息发送至专家端；
将专家完成标注后的标注点的位置信息实时返回给求助端；
求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；
根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。
2.如权利要求1所述的交互方法，其特征在于，所述求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量，包括：
求助端获取所述标注点处的深度值；
获取所述求助端当前时刻相对于发送所述第一图像信息时刻的位移量和转动量；
根据所述位移量、转动量以及深度值计算所述标注点在所述第二图像信息上相应的待调整量。
3.如权利要求2所述的交互方法，其特征在于，所述根据所述待调整量实时更新所述标注点在专家端显示的第二图像信息上的位置，包括：
所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。
4.如权利要求1所述的交互方法，其特征在于，所述获取所述标注点处的深度信息，包括：
采用深度传感器、红外测距传感器、TOF相机、结构光相机中的一种或多种获取所述标注点处的深度值。
5.如权利要求2所述的交互方法，其特征在于，还包括：
获取所述待调整像素值后，将所述待调整像素值实时发送给专家端，并根据所述待调整像素值实时调整所述求助端和专家端的第二图像信息上所述标注点的位置。
6.一种基于AR的远程协助系统的交互系统，其特征在于，包括第一用户设备和第二用户设备；
所述第一用户设备用于获取待协助现场的第一图像信息并将所述第一图像信息发送至第二用户设备；
所述第二用户设备用于将专家完成标注后的标注点的位置信息实时返回给的第一用户设备；
所述第一用户设备还用于获取所述标注点处的深度信息以及该第一用户设备相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；并根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。
7.如权利要求6所述的交互系统，其特征在于，所述第一用户设备包括：
摄像头，用于获取待协助现场的第一图像信息；
第一通信模块，用于将所述第一图像信息发送至所述第二用户设备；
深度相机传感器，用于获取所述标注点位置的深度信息；
第一传感器，用于获取所述摄像头相对于上一时刻的移动信息；
第一处理器，用于所述深度信息和移动信息计算标注点的待调整量，并根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置。
8.如权利要求7所述的交互系统，其特征在于，所述第二用户设备包括：
第二通信模块，用于接收所述第一用户设备发送的第一图像信息；
第二显示屏，用于呈现所述第一图像信息；
输入装置，用于专家在所述第一图像信息上进行标注；
第二处理器，用于提取所述标注后在第一图像上的位置信息，并将所述标注点的位置信息发送给所述第一用户设备。
9.如权利要求8所述的交互系统，其特征在于，所述根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置，包括：
所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-5中任一项所述的方法。
CN201910969708.0A 2019-10-12 2019-10-12 一种基于ar的远程协助系统的交互方法、系统和存储介质 Active CN110708384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969708.0A CN110708384B (zh) 2019-10-12 2019-10-12 一种基于ar的远程协助系统的交互方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969708.0A CN110708384B (zh) 2019-10-12 2019-10-12 一种基于ar的远程协助系统的交互方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN110708384A true CN110708384A (zh) 2020-01-17
CN110708384B CN110708384B (zh) 2020-12-15

Family

ID=69198855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969708.0A Active CN110708384B (zh) 2019-10-12 2019-10-12 一种基于ar的远程协助系统的交互方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN110708384B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492281A (zh) * 2020-12-10 2021-03-12 郑州捷安高科股份有限公司 远程辅助检修方法、装置、设备及存储介质
CN112667179A (zh) * 2020-12-18 2021-04-16 北京理工大学 一种基于混合现实的远程同步协作系统
CN113393536A (zh) * 2021-07-03 2021-09-14 蒂姆维澳(上海)网络技术有限公司 基于ar眼镜的远程运维指导控制系统及方法
CN113885700A (zh) * 2021-09-03 2022-01-04 广东虚拟现实科技有限公司 远程协助方法及装置
CN113936121A (zh) * 2021-10-15 2022-01-14 杭州灵伴科技有限公司 一种ar标注设置方法以及远程协作系统
CN113992885A (zh) * 2021-09-22 2022-01-28 联想(北京)有限公司 一种数据同步方法及装置
CN115009398A (zh) * 2022-07-08 2022-09-06 江西工业工程职业技术学院 一种汽车组装系统及其组装方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485207A (zh) * 2016-09-21 2017-03-08 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN107395671A (zh) * 2017-06-12 2017-11-24 深圳增强现实技术有限公司 远程协助方法、系统及增强现实终端
CN107547554A (zh) * 2017-09-08 2018-01-05 北京枭龙科技有限公司 一种基于增强现实的智能设备远程协助系统
CN108008817A (zh) * 2017-12-01 2018-05-08 西安枭龙科技有限公司 一种实现虚实融合的方法
CN108021241A (zh) * 2017-12-01 2018-05-11 西安枭龙科技有限公司 一种实现ar眼镜虚实融合的方法
CN108170273A (zh) * 2017-12-28 2018-06-15 南京华讯方舟通信设备有限公司 一种基于hololens眼镜的专家远程指导系统及实现方法
CN108352056A (zh) * 2015-11-20 2018-07-31 高通股份有限公司 用于校正错误深度信息的系统和方法
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN109598796A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 将真实场景与虚拟物体进行3d融合显示的方法和装置
CN110138831A (zh) * 2019-03-29 2019-08-16 亮风台（上海）信息科技有限公司 一种进行远程协助的方法与设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352056A (zh) * 2015-11-20 2018-07-31 高通股份有限公司 用于校正错误深度信息的系统和方法
CN106485207A (zh) * 2016-09-21 2017-03-08 清华大学 一种基于双目视觉图像的指尖检测方法及系统
CN107395671A (zh) * 2017-06-12 2017-11-24 深圳增强现实技术有限公司 远程协助方法、系统及增强现实终端
CN107547554A (zh) * 2017-09-08 2018-01-05 北京枭龙科技有限公司 一种基于增强现实的智能设备远程协助系统
CN109598796A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 将真实场景与虚拟物体进行3d融合显示的方法和装置
CN108008817A (zh) * 2017-12-01 2018-05-08 西安枭龙科技有限公司 一种实现虚实融合的方法
CN108021241A (zh) * 2017-12-01 2018-05-11 西安枭龙科技有限公司 一种实现ar眼镜虚实融合的方法
CN108170273A (zh) * 2017-12-28 2018-06-15 南京华讯方舟通信设备有限公司 一种基于hololens眼镜的专家远程指导系统及实现方法
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN110138831A (zh) * 2019-03-29 2019-08-16 亮风台（上海）信息科技有限公司 一种进行远程协助的方法与设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492281A (zh) * 2020-12-10 2021-03-12 郑州捷安高科股份有限公司 远程辅助检修方法、装置、设备及存储介质
CN112667179A (zh) * 2020-12-18 2021-04-16 北京理工大学 一种基于混合现实的远程同步协作系统
CN113393536A (zh) * 2021-07-03 2021-09-14 蒂姆维澳(上海)网络技术有限公司 基于ar眼镜的远程运维指导控制系统及方法
CN113393536B (zh) * 2021-07-03 2023-01-10 蒂姆维澳(上海)网络技术有限公司 基于ar眼镜的远程运维指导控制系统及方法
CN113885700A (zh) * 2021-09-03 2022-01-04 广东虚拟现实科技有限公司 远程协助方法及装置
CN113992885A (zh) * 2021-09-22 2022-01-28 联想(北京)有限公司 一种数据同步方法及装置
CN113936121A (zh) * 2021-10-15 2022-01-14 杭州灵伴科技有限公司 一种ar标注设置方法以及远程协作系统
CN113936121B (zh) * 2021-10-15 2023-10-13 杭州灵伴科技有限公司 一种ar标注设置方法以及远程协作系统
CN115009398A (zh) * 2022-07-08 2022-09-06 江西工业工程职业技术学院 一种汽车组装系统及其组装方法

Also Published As

Publication number Publication date
CN110708384B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN110708384B (zh) 一种基于ar的远程协助系统的交互方法、系统和存储介质
US10677596B2 (en) Image processing device, image processing method, and program
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN108700947A (zh) 用于并发测距和建图的系统和方法
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
WO2020055928A1 (en) Calibration for vision in navigation systems
CN110388919B (zh) 增强现实中基于特征图和惯性测量的三维模型定位方法
KR20220028042A (ko) 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JPWO2016017254A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN104160369A (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
CN104160426A (zh) 图像处理装置和图像处理方法
US20160169662A1 (en) Location-based facility management system using mobile device
KR20210142745A (ko) 정보 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN108628453B (zh) 虚拟现实图像显示方法及终端
CN115546417A (zh) 三维重建方法、系统、电子设备及计算机可读存储介质
CN108184150B (zh) 远程标注信号的矢量控制方法、装置和信号处理系统
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质
US11410329B2 (en) Information processing device, method performed thereby, and non-transitory computer readable medium
KR20150094338A (ko) 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
CN110515884B (zh) 基于图像分析的施工现场钢筋测距装置
CN113077509A (zh) 基于同步定位绘图的空间测绘校准方法及空间测绘系统
CN109348209B (zh) 增强现实显示装置和视觉标定方法
CN113465600B (zh) 一种导航方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant