CN110138831A - 一种进行远程协助的方法与设备 - Google Patents
一种进行远程协助的方法与设备 Download PDFInfo
- Publication number
- CN110138831A CN110138831A CN201910284878.5A CN201910284878A CN110138831A CN 110138831 A CN110138831 A CN 110138831A CN 201910284878 A CN201910284878 A CN 201910284878A CN 110138831 A CN110138831 A CN 110138831A
- Authority
- CN
- China
- Prior art keywords
- information
- user equipment
- remote assistance
- image information
- described image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000004891 communication Methods 0.000 claims abstract description 174
- 230000003993 interaction Effects 0.000 claims description 162
- 230000015654 memory Effects 0.000 claims description 40
- 230000006835 compression Effects 0.000 claims description 29
- 238000007906 compression Methods 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 14
- 210000004899 c-terminal region Anatomy 0.000 description 12
- 238000013507 mapping Methods 0.000 description 12
- 238000011897 real-time detection Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 10
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000009432 framing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Information Transfer Between Computers (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请的目的是提供一种进行远程协助的方法与设备，具体包括：若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，获取关于待协助现场的图像信息；将所述图像信息发送至所述第二用户设备；接收所述第二用户设备返回的、关于所述图像信息的远程协助信息；通过所述第一用户设备呈现所述远程协助信息。本申请在弱网络时仍能够实现良好的远程协助，在节约成本的同时还能够提高协助效率，同时，极大节省带宽/流量，即使是在2G网络中也能完成良好的远程协助，提升了用户使用体验。
Description
本案要求CN 201910250594.4(一种进行远程协助的方法与设备)的优先权
技术领域
本申请涉及通信领域，尤其涉及一种进行远程协助的技术。
背景技术
增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR远程协助是利用音视频通讯，通过AR的展示方式，远端的通讯方对本地通讯方进行远程操作指导的过程。现有的远程协助方法，在网络较差时，会降低视频帧率、分辨率、视频质量等，或者直接关闭视频，使用音频来进行远程协助。该远程协助方式并不能准确把握现场的环境，会给远程协助带来一定障碍，影响远程协助的效率，甚至达不到协助的效果。
发明内容
本申请的一个目的是提供一种进行远程协助的方法与设备。
根据本申请的一个方面，提供了一种在第一用户设备端进行远程协助的方法，该方法包括：
若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，获取关于待协助现场的图像信息；
将所述图像信息发送至所述第二用户设备；
接收所述第二用户设备返回的、关于所述图像信息的远程协助信息；
通过所述第一用户设备呈现所述远程协助信息。
根据本申请的又一方面，提供了一种在第二用户设备端进行远程协助的方法，该方法包括：
接收并呈现第一用户设备发送的、关于待协助现场的图像信息；
获取指导用户关于所述图像信息的远程协助信息；
将所述远程协助信息发送至所述第一用户设备。
根据本申请的一个方面，提供了一种进行远程协助的方法，该方法包括：
若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，所述第一用户设备获取关于待协助现场的图像信息，将所述图像信息发送至所述第二用户设备；
所述第二用户设备接收并呈现所述图像信息，获取指导用户关于所述图像信息的远程协助信息，并将所述远程协助信息发送至所述第一用户设备；
所述第一用户设备接收所述远程协助信息，通过所述第一用户设备呈现所述远程协助信息。
根据本申请的一个方面，提供了一种进行远程协助的第一用户设备，该设备包括：
一一模块，若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，用于获取关于待协助现场的图像信息；
一二模块，用于将所述图像信息发送至所述第二用户设备；
一三模块，用于接收所述第二用户设备返回的、关于所述图像信息的远程协助信息；
一四模块，用于通过所述第一用户设备呈现所述远程协助信息。
根据本申请的另一个方面，提供了一种进行远程协助的第二用户设备，该设备包括：
二一模块，用于接收并呈现第一用户设备发送的、关于待协助现场的图像信息；
二二模块，用于获取指导用户关于所述图像信息的远程协助信息；
二三模块，用于将所述远程协助信息发送至所述第一用户设备。
根据本申请的一个方面，提供了一种进行远程协助的系统，该系统包括如上所述的第一用户设备及如上所述的第二用户设备。
根据本申请的一个方面，提供了一种进行远程协助的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述任一项方法的操作。
根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述任一项方法的操作。
与现有技术相比，本申请通过在第一用户设备与第二用户设备的通信连接满足预定的弱网络触发条件时，获取关于待协助现场的图像信息，基于该图像信息获取对应的远程协助信息，并呈现所述远程协助信息。本申请在弱网络时仍能够实现良好的远程协助，在节约成本的同时还能够提高协助效率，同时，极大节省带宽/流量，即使是在2G网络中也能完成良好的远程协助，提升了用户使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种进行远程协助的系统拓扑图；
图2示出根据本申请一个方面的一种进行远程协助的方法流程图；
图3示出根据本申请一个方面的一种在第一用户设备端进行远程协助的方法流程图；
图4示出根据本申请一个实施例的基于交互类型信息进行交互的交互示例图；
图5示出根据本申请一个实施例的基于交互类型信息进行交互的一种示例；
图6示出根据本申请一个实施例的基于交互类型信息进行交互的一种示例；
图7示出根据本申请一个实施例的基于交互类型信息进行交互的一种示例；
图8示出根据本申请另一个方面的一种在第二用户设备端进行远程协助的方法流程图；
图9示出根据本申请一个方面的一种进行远程协助的系统的功能模块；
图10示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了本申请的一个典型场景，第一用户设备100与第二用户设备200间建立了通信连接，该通信连接可以是通过有线或无线的方式直接建立的通信连接，也可以是通过云端建立的对应通信连接；第一用户设备100包括远程协助中安装了对应增强现实应用能够叠加显示对应增强现实内容的移动终端，如手机、平板、增强现实眼镜等，其中，增强现实内容包括呈现于显示装置(如屏幕等)中套在摄像装置拍摄的当前场景图像上的叠加内容等。第二用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑、增强现实眼镜等。在此，我们以第一用户设备与第二用户设备直接通信为例阐述以下该等实施例，本领域技术人员应能理解，该等实施例同样适用于第一用户设备与第二用户设备通过云端建立通信连接，也应包含在本申请保护范围以内。
参考图1示出的系统拓扑，图2示出根据本申请一个方面的一种进行远程协助的方法，其中，该方法包括：
若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，所述第一用户设备获取关于待协助现场的图像信息，将所述图像信息发送至所述第二用户设备；所述第二用户设备接收并呈现所述图像信息，获取指导用户关于所述图像信息的远程协助信息，并将所述远程协助信息发送至所述第一用户设备；所述第一用户设备接收所述远程协助信息，通过所述第一用户设备呈现所述远程协助信息。
以下将分别从第一用户设备、第二用户设备两个角度，对本申请的具体实施方式进行介绍。
图3示出根据本申请一个方面的一种在第一用户设备端进行远程协助的方法，其中，该方法包括步骤S101、步骤S102、步骤S103以及步骤S104。在步骤S101中，若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，第一用户设备获取关于待协助现场的图像信息；在步骤S102中，第一用户设备将所述图像信息发送至所述第二用户设备；在步骤S103中，第一用户设备接收所述第二用户设备返回的、关于所述图像信息的远程协助信息；在步骤S104中，第一用户设备通过所述第一用户设备呈现所述远程协助信息。
具体而言，在步骤S101中，若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，第一用户设备获取关于待协助现场的图像信息。例如，待指导用户持有第一用户设备，指导用户持有对应的第二用户设备，第一用户设备与第二用户设备通过有线或者无线的方式建立了通信连接，若该通信连接满足预定的弱网络触发条件，第一用户设备通过对应的摄像装置(如摄像头等)拍摄当前待协助现场的图像信息，其中，图像信息包括关于当前待协助现场的静态图像帧(如图片等)。在一些实施方式中，所述弱网络触发条件包括但不限于：所述通信连接的当前可用带宽信息低于或等于预定的带宽阈值信息；所述通信连接的当前丢包率信息大于或等于预定的丢包率阈值信息；所述通信连接的当前视频帧率信息低于或等于预定的视频帧率阈值信息；接收到所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息；接收到用户在所述第一用户设备提交的弱网络触发操作。例如，所述通信连接的可用带宽信息包括由当前带宽的带宽传输速率及对应编码方案确定的可用带宽的吞吐量；所述通信连接的丢包率信息包括丢失数据包数量占所发送数据组的比率；所述通信连接的视频帧率包括每秒显示视频的帧数等。第一用户设备端预设了对应的带宽阈值信息(100kb/s)等，当第一用户设备与第二用户设备间的通信连接的带宽速率(如当前为80kb/s)低于带宽阈值信息，触发对应的弱网络触发条件；又如，第一用户设备端预设了对应的丢包率阈值信息(如丢包率为10％)等，第一用户设备端或第二用户设备端由于路由器资源被占用太多等原因其当前丢包率信息(如15％等)大于预设丢包率阈值信息，触发对应的弱网络触发条件；还如，第一用户设备端预设了对应的视频帧率信息(如视频帧率为30帧/秒)等，第一用户设备端或第二用户设备端由于网速等原因其当前视频帧率信息(如20帧/秒等)小于预设帧率信息，触发对应的弱网络触发条件；还如，待指导用户想节省此次远程协助消耗的流量，第一用户设备可以是基于待指导用户的操作指令直接启动弱网络触发条件。
在步骤S102中，第一用户设备将所述图像信息发送至所述第二用户设备。例如，第一用户设备获取到待协助现场的图像信息后，将该图像信息通过弱网络通信连接发送至对应指导人员的第二用户设备，如发送待协助现场的图片至第二用户设备。后续，第二用户设备接收第一用户设备发送的图片，基于该图片信息获取对应的远程协助信息(如标注、涂鸦、跟踪目标选择等)，将远程协作信息返回至第一用户设备。
在步骤S103中，第一用户设备接收所述第二用户设备返回的、关于所述图像信息的远程协助信息。例如，第一用户设备接收第二用户设备返回的、基于图像信息获取的远程协助信息，该远程协助信息包括第二用户设备基于指导用户的操作获取的关于图像信息的操作信息(如标注、涂鸦或者跟踪目标选择等)和/或操作信息对应的位置信息(如标注在图像信息中图像坐标等)。
在步骤S104中，第一用户设备通过所述第一用户设备呈现所述远程协助信息。例如，第一用户设备在接收对应远程协助信息后，通过对应显示装置呈现远程协助信息，如在标注或者涂鸦的图像坐标对应位置呈现标注或者涂鸦，或者基于跟踪目标选择提取跟踪目标信息并在后续视频帧中进行目标跟踪等，上述三种远程协助信息可以是择一进行，也可以是选择任一组合进行等。
现有的远程协助方式，若视频每秒传输帧数为15，图像分辨率是720p，则网速至少需要达到2M才能完成基于实时视频的远程协助。在弱网环境下如果采用降低分辨率、降低帧率和码流的方式，这样实时视频效果会很差，远程指导效果会很差。而本发明在弱网环境下无需发送视频，每次只需要发送图片、音频、标记等，因此只需要很低的带宽(例如10K以内)即可进行远程协助，同时，极大节省带宽/流量，即使是在2G网络中也能完成良好的远程协助。
在一些情形下，第一用户设备与第二用户设备间的远程协助方式包括但不限于：涂鸦标注、目标跟踪、3D标注等，上述三种远程协助方式可以是择一进行，也可以是选择任一组合进行，通过上述方法获得交互内容称为远程协助信息，获取对应远程协助信息的方式称为交互类型信息。如在一些实施方式中，所述交互类型信息包括但不限于：基于所述图像信息进行涂鸦标注；对于所述图像信息中标注内容进行跟踪；基于所述图像信息进行3D标注。关于上述三种方式的具体介绍如下：
1)基于所述图像信息进行涂鸦标注。第二用户设备基于指导用户在图片(视频帧)上涂鸦、写文字、数字、放置图片等操作获取对应的远程协助信息，然后将这些远程协助信息(涂鸦的内容和位置)会同步发送到第一用户设备，第一用户设备接收远程协助信息，并在图片相应的位置叠加相同的标注，在这些标注信息指导下辅助待指导用户进行操作。其中，涂鸦的内容可以是涂鸦本身，例如图片，也可以是涂鸦的ID。如果是涂鸦的ID，此时第一用户设备和第二用户设备本地均保存了该图片，当第二用户设备将远程辅助信息(涂鸦的ID和位置)同步到第一用户设备后，第一用户设备根据涂鸦的ID获取对应的涂鸦，并在图片相应位置显示该涂鸦。
第二用户设备基于指导用户在图片上进行涂鸦、写文字、数字、放置标示等，获得这些操作信息(如涂鸦、写文字、数字、放置标示等)在图片上标注点的坐标，转换为基于像素坐标系的坐标并归一化，发送到第一用户设备，第一用户设备获得归一化的基于像素坐标系的坐标后，转换为设备的屏幕坐标系，绘制在屏幕上的相应位置。具体地，接收方相应位置的计算方式如下：
例如，图4示出基于交互类型信息的交互示例图，A与B、C建立通信连接。连接成功后，A将摄像头拍摄的图片画面经过媒体引擎编解码协议(如H.264、VP8等)编码，通过传输协议(如RTP)传输到服务器端，再由服务端转发到其他参与方(这里就是B、C端)。A端同时也将上述图片画面渲染到界面控件上，这里，A也可以将图片编码后，直接发送给B、C，B、C再进行解码。
B、C端接收上述数据并通过媒体引擎中相同的编解码协议进行解码，得到解码后的图片。渲染到界面控件上。由于设备屏幕尺寸和比例的不同，视频渲染方式也有所不同，此时所有设备都统一成发送端的图片比例进行渲染，如示例图中C终端为16:10屏幕，此时视频仍按照发送端9:16的比例在屏幕居中位置进行渲染。
图5示出基于交互类型信息进行交互的一种示例，如开始标注时，B端在界面控件上点击图片画面进行标注。根据设备反馈的点击坐标点参数(该设备屏幕上的坐标点)、屏幕DPI(屏幕每英寸面积内的像素点数，表示像素密度)、图片比例和显示位置(视频在屏幕上的显示位置，一般指视频显示的左上顶点位置和宽高)换算出统一坐标点位置，然后将此位置信息加密打包后发送到A、C端。其中，标注也可以先发送到服务器，在由服务器转发给A、C端。
A、C端收到标注信息后，对收到的信息进行解密，再根据当前设备屏幕的DPI，图片比例和显示位置(视频在屏幕上的显示位置，一般指视频显示的左上顶点位置和宽高)计算出该标注点在此台设备上的显示坐标点位置，保证标注定与B端重合。
2)对于所述图像信息中标注内容进行跟踪。图6示出基于交互类型信息进行交互的一种示例，第二用户设备基于指导用户在图片上采取框选、放置图像、文字、数字等方式标记前端需要注意的内容，例如框选一个发动机，该框的坐标点和/或框选的内容等同步发送到第一用户设备，第一用户设备接收数据后，在当前视频中显示远端指导用户方框选的框(发动机被框选)，然后第一用户设备利用跟踪算法在后续拍摄的实时视频中进行跟踪，使得随着相机的移动，该框始终叠加在发动机上。同样的，指导方框选的位置，转换为基于像素坐标系的坐标并归一化，在被指导方获得坐标后转换为屏幕上相应位置，然后在视频中显示跟踪。如果是双目光学透视(OST)显示设备(以双目AR眼镜为例)，上述跟踪过程具体如下：
一种是利用SLAM(Simultaneous localization and mapping，即时定位与地图构建)方法估计标记框2D像素坐标对应的世界坐标，然后根据实时的位姿，得到显示设备左右屏幕上实时的标记框，实现对应目标跟踪。
另一种是，根据标记框2D像素坐标，利用2D跟踪方法跟踪，得到在屏幕中的位置，然后利用深度摄像头和内参获得标记物在左右屏幕上的最终显示位置，实现对应目标跟踪。
3)基于所述图像信息进行3D标注。图7示出基于交互类型信息进行交互的一种示例，第二用户设备将在图片上放置3D标注的2D像素坐标和3D标注内容(或3D标注内容的ID)发送给第一用户设备，第一用户设备对现场进行SLAM，计算出该2D像素坐标对应的世界坐标，然后在显示设备上显示该3D标注，使得该3D标注叠加在实景的正确位置。后续SLAM实时计算每一帧的相机位姿，并根据标记点的3D世界坐标，在显示屏幕中显示该3D标注。3D标注包括但不限于图片、数字、文字、3D模型等。具体地，第一用户设备将现场的图片(视频帧)发送给第二用户设备时，同时利用SLAM算法获取拍照当前帧的设备位置、姿态以及3D点云。当第二用户设备基于指导用户在图片上进行标注，获取标记点的二维像素坐标，传给第一用户设备，第一用户设备根据位姿、3D点云获得该点在真实世界坐标系的位置(世界坐标系中的3D坐标)，然后可以在显示设备(包括但不限于移动设备或AR/VR设备)上显示3D标注。后续实时计算SLAM以获得每一帧的相机位姿，并根据标记点的3D世界坐标，在显示屏幕中显示该3D标注，使得该3D标注叠加在实景的正确位置。
例如，以呈现方式是双目OST为例，当第二用户设备基于指导用户在2D画面中点击某一个点进行标注时，经过一系列变换，得到该标记点的3D世界坐标，然后对应到第一用户设备端的待指导用户所佩戴的AR眼镜上摄像头坐标下的一个3D坐标点。而由于我们最终是在两个OST镜片上呈现，则需要将坐标系分别转换为左眼OST镜片坐标系和右眼OST镜片坐标系。最终，在两个OST镜片上，分别渲染对应坐标系下的3D标注。这样，由于双目视差，在待指导用户佩戴AR眼镜之后，他观察真实世界时，就会发现有一个虚拟的3D标注(例如箭头标注)指示在远端指导员所标注的物体上。如果是单目、双目视频透视(VST)的呈现方式的话，在获取到摄像头坐标系下的标注位置之后，只需要降维投影为一个2D画面，并将最终的2D画面整张图在AR眼镜的镜片上展现出来即可。其中，给定2D视频中特定点的3D空间坐标估计，还包括如下现有的实现方案：
1)利用单目(只有一个RGB摄像头的)SLAM算法，来获得整个空间的3D地图重建，同时，在重建的地图中，确定第一用户设备上的摄像头在该3D空间中的位姿。例如，第一用户设备的摄像头会不断地采集RGB图像，采集到的图像分为两个用途：第一个用途是输送给SLAM算法，进行3D点云建模，并确定摄像头在与世界坐标系重合的位姿；第二个用途是通过网络，传输给远端的第二用户设备，让指导用户可以通过PC、平板电脑、手机等载体，实时地查看现场情况。具体计算方法：当输入了2D画面中的某一个像素的坐标P2d，将那个2D点P2d映射到相机坐标系，根据维度映射原理，2D坐标点映射到3D空间中的时候(低维度向高维度映射)，该2D坐标(一个点)对应了3D空间中的一条直线L3d。将世界坐标系中的3D点云映射到相机坐标系下，也是3D点。此时，系统会在由SLAM算法建立的3D点云中选取一个点P3dC’(比如，P3dC’取距离映射射线垂直距离最近的点)，并用该点的深度值(摄像头坐标系)得到映射射线上的一个点P3dC(得到的点是摄像头坐标系，然后将其转换为3D点云坐标系(世界坐标系)下的点P3d)。我们认为，P3d就是点P2d在3D点云的坐标系下映射的一个估计值，即得到世界坐标系下该2D点对应的3D世界坐标。
2)通过SLAM算法，获取3D点云之后，用已经重建出的3D点云拟合出一个世界坐标系下的平面。当输入视频中的一个2D特定点的坐标时，通过坐标系的映射关系，将该2D的特定点，映射到拟合出的世界坐标系下的平面上的一个特定点。再由该平面在世界坐标系下的表达式，反推出这个特定点在世界坐标系下的空间3D坐标。
3)设备上安装RGB摄像头和深度摄像头两种不同的传感器，同时采集2D图像以及深度图像，当输入视频中的一个2D特定点的坐标时,算法结合采集2D图像时同时记录下的深度图像，计算出该标注出来的2D特定点的图像坐标对应在深度图中的像素坐标，之后从该像素坐标获取深度信息。通过以上步骤获取到了标注的深度信息，随后即可推算出的世界坐标系下的3D空间位置坐标。
在一些情形下，该交互类型信息可以对应应用默认的选择的，也可以是基于第一用户设备对应的待指导用户选择的，还可以是基于第二用户设备对应的指导用户选择的，如第一用户设备呈现对应远程协助信息前第一用户设备或者第二用户设备基于待指导用户或指导用户的操作指令选择对应的交互类型信息，后续第一用户设备基于获取的远程协助信息及交互类型信息来呈现远程协助信息。在一些实施方式中，在步骤S104中，第一用户设备通过所述第一用户设备并结合预设的交互类型信息来呈现所述远程协助信息。
在一些情形下，所述交互类型可以是第一用户设备基于待指导用户的操作设置的，也可以是第一用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第一用户设备将该交互类型信息发送至第二用户设备，第二用户设备接收该交互类型信息并基于该交互类型信息与图像信息获取指导用户的远程协助信息。如在一些实施方式中，在步骤S102中，第一用户设备将所述图像信息及关于所述图像信息的交互类型信息发送至所述第二用户设备。在另一些情形下，所述交互类型可以是第二用户设备基于指导用户的操作设置的，也可以是第二用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第二用户设备基于该交互类型信息与图像信息获取指导用户的远程协助信息，并将该交互类型信息及远程协助信息返回至对应第一用户设备。如在一些实施方式中，在步骤S103中，第一用户设备接收所述第二用户设备返回的、关于所述图像信息的远程协助信息及交互类型信息。基于上述第一用户设备及第二用户设备确定的交互类型信息后，第一用户设备基于该交互类型信息在当前显示装置上叠加呈现对应的远程协助信息。如在一些实施方式中，在步骤S104中，第一用户设备通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
在一些情形下，第一用户设备接收对应的远程协助信息，并基于远程协助信息的内容确定对应的交互类型信息，例如，远程协助信息包含交互类型信息，当第一用户获取远程协助信息后，便能够从中获取对应的交互类型信息。如根据涂鸦标注信息确定对应交互类型信息为涂鸦标注方式、根据目标跟踪框确定对应交互类型信息为标注跟踪、根据3D标注信息确定对应交互类型信息为3D标注等；随后，第一用户设备基于该交互类型信息叠加呈现对应的远程协助信息。如在一些实施方式中，所述方法还包括步骤S105(未示出)，第一用户设备根据所述远程协助信息确定所述图像信息对应的交互类型信息；其中，在步骤S104中，第一用户设备通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
在一些实施方式中，所述方法还包括步骤S106(未示出)，第一用户设备基于所述通信连接对应的弱网络状态信息确定对应的交互类型信息；随后，在步骤S104中，第一用户设备通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。例如，弱网络状态信息包括第一用户设备与第二用户设备间网络连接的可用带宽信息、当前丢包率信息、当前视频帧率信息等；根据交互类型信息的传输数据耗费流量大小等，对当前图像信息选取合适的交互类型信息，如当前可用户带宽信息小于第一带宽阈值(如20kb/s)时，第一用户设备选取对标注内容进行跟踪的交互类型信息；若当前可用户带宽信息大于第一带宽阈值且小于第二带宽阈值之间(如50kb/s)时，第一用户设备选取进行涂鸦标注的交互类型信息；若当前可用带宽信息大于第二带宽阈值且满足弱网络触发条件时，第一用户设备选取3D标注的交互类型信息。例如，当前丢包率信息大于第一丢包率阈值(如10％)时，第一用户设备选取对标注内容进行跟踪的交互类型信息；若当前丢包率信息处于第一丢包率阈值与第二丢包率阈值(如5％)时，第一用户设备选取进行涂鸦标注的交互类型信息；若当前丢包率信息小于该第二丢包率阈值且满足弱网络条件时，第一用户设备选取3D标注的交互类型信息。例如，当前视频帧率小于第一视频帧率阈值(如5帧/s)时，第一用户设备选取对标注内容进行跟踪的交互类型信息；若当前视频帧率大于第一视频帧率阈值且小于第二视频帧率阈值(如10帧/s)时，第一用户设备选取进行涂鸦标注的交互类型信息；若当前视频帧率大于第二视频帧率阈值且满足弱网络触发条件时，第一用户设备选取3D标注的交互类型信息。在一些实施方式中，所述方法还包括步骤S107(未示出)，第一用户设备对所述图像信息进行压缩处理；其中，在步骤S102中，第一用户设备将压缩后的所述图像信息发送至所述第二用户设备。例如，当前网络状况较差，第一用户设备将待协助现场的图像信息进行压缩后(降低图像质量)发送至第二用户设备，如在不太需要细节的情况下将照片压缩至100k以内发送至第二用户设备等，第二用户设备接收该压缩图像信息后呈现。
在一些实施方式中，在步骤S107中，第一用户设备基于所述通信连接对应的弱网络状态信息确定所述图像信息的压缩率，根据所述压缩率对所述图像信息进行压缩处理。例如，弱网络状态信息包括第一用户设备与第二用户设备间网络连接的可用带宽信息、当前丢包率信息、当前视频帧率信息等。第一用户设备根据通信连接的网络状态信息，实时调整对应压缩图片的大小，使得对应图片信息能够及时传输至指导方，使得沟通更加及时有效。例如，第一用户设备检测到当前可用带宽，自适应图片压缩率，比如当前可用带宽为100k/s时，图片压缩到100k；当网速降低到50k/s时，图片压缩到50k等。第一用户设备随后将压缩后的图片传输至对应的第二用户设备。类似地，当前丢包率信息与当前视频帧率信息与前述可用带宽信息类似，在此不再赘述。在一些实施方式中，所述方法还包括步骤S108(未示出)，第一用户设备接收所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息。例如，第二用户设备可以是基于指导用户的操作指令直接启动弱网络触发条件，并将该弱网络触发条件发送至第一用户设备，供第一用户设备启动对应的弱网络触发条件下的图像信息传输方式等。
在一些实施方式中，所述方法还包括步骤S109(未示出)，第一用户设备检测所述通信连接的当前通信状况信息，或者接收所述第二用户设备发送的、所述通信连接的当前通信状况信息；其中，所述通信连接的当前通信状况信息包括但不限于：所述通信连接的当前可用带宽信息；所述通信连接的当前丢包率信息；所述通信连接的当前视频帧率信息。例如，第一用户设备实时检测通信连接的当前通信状况信息，或者第二用户设备实时检测通信连接的当前通信状况信息，并发送给第一用户设备。第一用户设备根据通信状况信息判断是否处于弱网络条件。又例如，第一用户设备实时检测通信连接的当前通信状况信息，若当前通信状况信息不良好，则满足对应的弱网络触发条件；或者第二用户设备实时检测通信连接的当前通信状况信息，若当前通信状况信息不良好，则确定弱网络触发条件，并将该弱网络触发条件发送至第一用户设备。其中，当前通信状况信息包括但不限于：当前通信连接的可用带宽信息、丢包率信息以及视频帧率信息等。基于前述可用带宽信息、丢包率信息以及视频帧率信息的网络状况的判断与前述类似，在此不再赘述。
图8示出根据本申请另一个方面的一种在第二用户设备端进行远程协助的方法，其中，该方法包括步骤S201、步骤S202以及步骤S203。在步骤S201中，第二用户设备接收并呈现第一用户设备发送的、关于待协助现场的图像信息；在步骤S202中，第二用户设备获取指导用户关于所述图像信息的远程协助信息；在步骤S203中，第二用户设备将所述远程协助信息发送至所述第一用户设备。
具体而言，在步骤S201中，第二用户设备接收并呈现第一用户设备发送的、关于待协助现场的图像信息。例如，待指导用户持有第一用户设备，指导用户持有对应的第二用户设备，第一用户设备与第二用户设备通过有线或者无线的方式建立了通信连接，若该通信连接满足预定的弱网络触发条件，第一用户设备通过对应的摄像装置(如摄像头等)拍摄当前待协助现场的图像信息，其中，图像信息包括关于当前待协助现场的静态图像帧(如图片等)。第一用户设备获取到待协助现场的图像信息后，将该图像信息通过弱网络通信连接发送至对应指导人员的第二用户设备，如发送待协助现场的图片至第二用户设备。
在步骤S202中，第二用户设备获取指导用户关于所述图像信息的远程协助信息。例如，第二用户设备接收第一用户设备发送的图片，基于该图片信息获取对应的远程协助信息(如标注、涂鸦、跟踪目标选择等)，将远程协作信息返回至第一用户设备，其中，该远程协助信息包括第二用户设备基于指导用户的操作获取的关于图像信息的操作信息(如标注、涂鸦或者跟踪目标选择等)和/或操作信息对应的位置信息(如标注在图像信息中图像坐标等)。
在步骤S203中，第二用户设备将所述远程协助信息发送至所述第一用户设备。例如，第二用户设备基于第一用户的通信连接将对应远程协助信息返回至第一用户设备。
在一些实施方式中，在步骤S201中，第二用户设备接收并呈现第一用户设备发送的、关于待协助现场的图像信息及关于所述图像信息的交互类型信息；其中，在步骤S202中，第二用户设备获取指导用户基于所述交互类型信息关于所述图像信息的远程协助信息。例如，第一用户设备与第二用户设备间的远程协助方式包括但不限于：涂鸦标注、目标跟踪、3D标注等，上述三种远程协助方式可以是择一进行，也可以是选择任一组合进行，通过上述方法获得交互内容称为远程协助信息，获取对应远程协助信息的方式称为交互类型信息。在一些情形下，所述交互类型可以是第一用户设备基于待指导用户的操作设置的，也可以是第一用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第一用户设备将该交互类型信息发送至第二用户设备，第二用户设备接收该交互类型信息并基于该交互类型信息与图像信息获取指导用户的远程协助信息。
在一些实施方式中，图8所述方法还包括步骤S204(未示出)，第二用户设备获取所述指导用户所设置的、关于所述图像信息的交互类型信息；其中，在步骤S203中，第二用户设备将所述远程协助信息及关于所述图像信息的交互类型信息发送至所述第一用户设备。例如，所述交互类型可以是第二用户设备基于指导用户的操作设置的，也可以是第二用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第二用户设备基于该交互类型信息与图像信息获取指导用户的远程协助信息，并将该交互类型信息及远程协助信息返回至对应第一用户设备。
在一些实施方式中，图8所述方法还包括步骤S205(未示出)，第二用户设备检测所述第一用户设备与所述第二用户设备间的通信连接是否满足预定的弱网络触发条件；若是，向所述第一用户设备发送所述通信连接满足所述弱网络触发条件的信息。例如，第二用户设备可以是基于指导用户的操作指令直接启动弱网络触发条件，并将该弱网络触发条件发送至第一用户设备，供第一用户设备启动对应的弱网络触发条件下的图像信息传输方式等。
在一些实施方式中，图8所述方法还包括步骤S206(未示出)，第二用户设备检测所述第一用户设备与所述第二用户设备间通信连接的当前通信状况信息，向所述第一用户设备发送所述通信连接的当前通信状况信息。例如，第二用户设备实时检测通信连接的当前通信状况信息，并发送给第一用户设备。第一用户设备根据通信状况信息判断是否处于弱网络条件。又例如，第二用户设备实时检测通信连接的当前通信状况信息，若当前通信状况信息不良好，则确定弱网络触发条件，并将该弱网络触发条件发送至第一用户设备。其中，当前通信状况信息包括但不限于：当前通信连接的可用带宽信息、丢包率信息以及视频帧率信息等。基于前述可用带宽信息、丢包率信息以及视频帧率信息的网络状况的判断与前述类似，在此不再赘述。
参考图1示出的系统拓扑，图9示出根据本申请一个方面的一种进行远程协助的远程协助系统，其中，该系统包括第一用户设备100和第二用户设备200，具体包括：
若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，所述第一用户设备获取关于待协助现场的图像信息，将所述图像信息发送至所述第二用户设备；所述第二用户设备接收并呈现所述图像信息，获取指导用户关于所述图像信息的远程协助信息，并将所述远程协助信息发送至所述第一用户设备；所述第一用户设备接收所述远程协助信息，通过所述第一用户设备呈现所述远程协助信息。
以下将分别从第一用户设备、第二用户设备两个角度，对本申请的实施各实施例对应方法的设备进行介绍。
图9中示出一种进行远程协助的第一用户设备100，其中，该设备100包括一一模块101、一二模块102、一三模块103以及一四模块104。一一模块101，若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，用于获取关于待协助现场的图像信息；一二模块102，用于将所述图像信息发送至所述第二用户设备；一三模块103，用于接收所述第二用户设备返回的、关于所述图像信息的远程协助信息；一四模块104，用于通过所述第一用户设备呈现所述远程协助信息。
具体而言，一一模块101，若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，用于获取关于待协助现场的图像信息。例如，待指导用户持有第一用户设备，指导用户持有对应的第二用户设备，第一用户设备与第二用户设备通过有线或者无线的方式建立了通信连接，若该通信连接满足预定的弱网络触发条件，第一用户设备通过对应的摄像装置(如摄像头等)拍摄当前待协助现场的图像信息，其中，图像信息包括关于当前待协助现场的静态图像帧(如图片等)。在一些实施方式中，所述弱网络触发条件包括但不限于：所述通信连接的当前可用带宽信息低于或等于预定的带宽阈值信息；所述通信连接的当前丢包率信息大于或等于预定的丢包率阈值信息；所述通信连接的当前视频帧率信息低于或等于预定的视频帧率阈值信息；接收到所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息；接收到用户在所述第一用户设备提交的弱网络触发操作。例如，所述通信连接的可用带宽信息包括由当前带宽的带宽传输速率及对应编码方案确定的可用带宽的吞吐量；所述通信连接的丢包率信息包括丢失数据包数量占所发送数据组的比率；所述通信连接的视频帧率包括每秒显示视频的帧数等。第一用户设备端预设了对应的带宽阈值信息(100kb/s)等，当第一用户设备与第二用户设备间的通信连接的带宽速率(如当前为80kb/s)低于带宽阈值信息，触发对应的弱网络触发条件；又如，第一用户设备端预设了对应的丢包率阈值信息(如丢包率为10％)等，第一用户设备端或第二用户设备端由于路由器资源被占用太多等原因其当前丢包率信息(如15％等)大于预设丢包率阈值信息，触发对应的弱网络触发条件；还如，第一用户设备端预设了对应的视频帧率信息(如视频帧率为30帧/秒)等，第一用户设备端或第二用户设备端由于网速等原因其当前视频帧率信息(如20帧/秒等)小于预设帧率信息，触发对应的弱网络触发条件；还如，待指导用户想节省此次远程协助消耗的流量，第一用户设备可以是基于待指导用户的操作指令直接启动弱网络触发条件。
一二模块102，用于将所述图像信息发送至所述第二用户设备。例如，第一用户设备获取到待协助现场的图像信息后，将该图像信息通过弱网络通信连接发送至对应指导人员的第二用户设备，如发送待协助现场的图片至第二用户设备。后续，第二用户设备接收第一用户设备发送的图片，基于该图片信息获取对应的远程协助信息(如标注、涂鸦、跟踪目标选择等)，将远程协作信息返回至第一用户设备。
一三模块103，用于接收所述第二用户设备返回的、关于所述图像信息的远程协助信息。例如，第一用户设备接收第二用户设备返回的、基于图像信息获取的远程协助信息，该远程协助信息包括第二用户设备基于指导用户的操作获取的关于图像信息的操作信息(如标注、涂鸦或者跟踪目标选择等)和/或操作信息对应的位置信息(如标注在图像信息中图像坐标等)。
一四模块104，用于通过所述第一用户设备呈现所述远程协助信息。例如，第一用户设备在接收对应远程协助信息后，通过对应显示装置呈现远程协助信息，如在标注或者涂鸦的图像坐标对应位置呈现标注或者涂鸦，或者基于跟踪目标选择提取跟踪目标信息并在后续视频帧中进行目标跟踪等，上述三种远程协助信息可以是择一进行，也可以是选择任一组合进行等。
现有的远程协助方式，若视频每秒传输帧数为15，图像分辨率是720p，则网速至少需要达到2M才能完成基于实时视频的远程协助。在弱网环境下如果采用降低分辨率、降低帧率和码流的方式，这样实时视频效果会很差，远程指导效果会很差。而本发明在弱网环境下无需发送视频，每次只需要发送图片、音频、标记等，因此只需要很低的带宽(例如10K以内)即可进行远程协助，同时，极大节省带宽/流量，即使是在2G网络中也能完成良好的远程协助。
在一些情形下，第一用户设备与第二用户设备间的远程协助方式包括但不限于：涂鸦标注、目标跟踪、3D标注等，上述三种远程协助方式可以是择一进行，也可以是选择任一组合进行，通过上述方法获得交互内容称为远程协助信息，获取对应远程协助信息的方式称为交互类型信息。如在一些实施方式中，所述交互类型信息包括但不限于：基于所述图像信息进行涂鸦标注；对于所述图像信息中标注内容进行跟踪；基于所述图像信息进行3D标注。关于上述三种方式的具体介绍如下：
1)基于所述图像信息进行涂鸦标注。第二用户设备基于指导用户在图片(视频帧)上涂鸦、写文字、数字、放置图片等操作获取对应的远程协助信息，然后将这些远程协助信息(涂鸦的内容和位置)会同步发送到第一用户设备，第一用户设备接收远程协助信息，并在图片相应的位置叠加相同的标注，在这些标注信息指导下辅助待指导用户进行操作。其中，涂鸦的内容可以是涂鸦本身，例如图片，也可以是涂鸦的ID。如果是涂鸦的ID，此时第一用户设备和第二用户设备本地均保存了该图片，当第二用户设备将远程辅助信息(涂鸦的ID和位置)同步到第一用户设备后，第一用户设备根据涂鸦的ID获取对应的涂鸦，并在图片相应位置显示该涂鸦。
第二用户设备基于指导用户在图片上进行涂鸦、写文字、数字、放置标示等，获得这些操作信息(如涂鸦、写文字、数字、放置标示等)在图片上标注点的坐标，转换为基于像素坐标系的坐标并归一化，发送到第一用户设备，第一用户设备获得归一化的基于像素坐标系的坐标后，转换为设备的屏幕坐标系，绘制在屏幕上的相应位置。具体地，接收方相应位置的计算方式如下：
例如，图4示出基于交互类型信息的交互示例图，A与B、C建立通信连接。连接成功后，A将摄像头拍摄的图片画面经过媒体引擎编解码协议(如H.264、VP8等)编码，通过传输协议(如RTP)传输到服务器端，再由服务端转发到其他参与方(这里就是B、C端)。A端同时也将上述图片画面渲染到界面控件上，这里，A也可以将图片编码后，直接发送给B、C，B、C再进行解码。
B、C端接收上述数据并通过媒体引擎中相同的编解码协议进行解码，得到解码后的图片。渲染到界面控件上。由于设备屏幕尺寸和比例的不同，视频渲染方式也有所不同，此时所有设备都统一成发送端的图片比例进行渲染，如示例图中C终端为16:10屏幕，此时视频仍按照发送端9:16的比例在屏幕居中位置进行渲染。
图5示出基于交互类型信息进行交互的一种示例，如开始标注时，B端在界面控件上点击图片画面进行标注。根据设备反馈的点击坐标点参数(该设备屏幕上的坐标点)、屏幕DPI(屏幕每英寸面积内的像素点数，表示像素密度)、图片比例和显示位置(视频在屏幕上的显示位置，一般指视频显示的左上顶点位置和宽高)换算出统一坐标点位置，然后将此位置信息加密打包后发送到A、C端。其中，标注也可以先发送到服务器，在由服务器转发给A、C端。
A、C端收到标注信息后，对收到的信息进行解密，再根据当前设备屏幕的DPI，图片比例和显示位置(视频在屏幕上的显示位置，一般指视频显示的左上顶点位置和宽高)计算出该标注点在此台设备上的显示坐标点位置，保证标注定与B端重合。
2)对于所述图像信息中标注内容进行跟踪。图6示出基于交互类型信息进行交互的一种示例，第二用户设备基于指导用户在图片信息上采取框选、放置图像、文字、数字等方式标记前端需要注意的内容，例如框选一个发动机，该框的坐标点和/或框选的内容等同步发送到第一用户设备，第一用户设备接收数据后，在当前视频中显示远端指导用户方框选的框(发动机被框选)，然后第一用户设备利用跟踪算法在后续拍摄的实时视频中进行跟踪，使得随着相机的移动，该框始终叠加在发动机上。同样的，指导方框选的位置，转换为基于像素坐标系的坐标并归一化，在被指导方获得坐标后转换为屏幕上相应位置，然后在视频中显示跟踪。如果是双目光学透视(OST)显示设备(以双目AR眼镜为例)，上述跟踪过程具体如下：
一种是利用SLAM(Simultaneous localization and mapping，即时定位与地图构建)方法估计标记框2D像素坐标对应的世界坐标，然后根据实时的位姿，得到显示设备左右屏幕上实时的标记框，实现对应目标跟踪。
另一种是，根据标记框2D像素坐标，利用2D跟踪方法跟踪，得到在屏幕中的位置，然后利用深度摄像头和内参获得标记物在左右屏幕上的最终显示位置，实现对应目标跟踪。
3)基于所述图像信息进行3D标注。图7示出基于交互类型信息进行交互的一种示例，第二用户设备将在图片上放置3D标注的2D像素坐标和3D标注内容(或3D标注内容的ID)发送给第一用户设备，第一用户设备对现场进行SLAM，计算出该2D像素坐标对应的世界坐标，然后在显示设备上显示该3D标注，使得该3D标注叠加在实景的正确位置。后续SLAM实时计算每一帧的相机位姿，并根据标记点的3D世界坐标，在显示屏幕中显示该3D标注。3D标注包括但不限于图片、文字、数字、3D模型等。具体地，第一用户设备将现场的图片(视频帧)发送给第二用户设备时，同时利用SLAM算法获取拍照当前帧的设备位置、姿态以及3D点云。当第二用户设备基于指导用户在图片上进行标注，获取标记点的二维像素坐标，传给第一用户设备，第一用户设备根据位姿、3D点云获得该点在真实世界坐标系的位置(世界坐标系中的3D坐标)，然后可以在显示设备(包括但不限于移动设备或AR/VR设备)上显示3D标注。后续实时计算SLAM以获得每一帧的相机位姿，并根据标记点的3D世界坐标，在显示屏幕中显示该3D标注，使得该3D标注叠加在实景的正确位置。
例如，以呈现方式是双目OST为例，当第二用户设备基于指导用户在2D画面中点击某一个点进行标注时，经过一系列变换，得到该标记点的3D世界坐标，然后对应到第一用户设备端的待指导用户所佩戴的AR眼镜上摄像头坐标下的一个3D坐标点。而由于我们最终是在两个OST镜片上呈现，则需要将坐标系分别转换为左眼OST镜片坐标系和右眼OST镜片坐标系。最终，在两个OST镜片上，分别渲染对应坐标系下的3D标注。这样，由于双目视差，在待指导用户佩戴AR眼镜之后，他观察真实世界时，就会发现有一个虚拟的3D标注(例如箭头标注)指示在远端指导员所标注的物体上。如果是单目、双目视频透视(VST)的呈现方式的话，在获取到摄像头坐标系下的标注位置之后，只需要降维投影为一个2D画面，并将最终的2D画面整张图在AR眼镜的镜片上展现出来即可。其中，给定2D视频中特定点的3D空间坐标估计，还包括如下现有的实现方案：
1)利用单目(只有一个RGB摄像头的)SLAM算法，来获得整个空间的3D地图重建，同时，在重建的地图中，确定第一用户设备上的摄像头在该3D空间中的位姿。例如，第一用户设备的摄像头会不断地采集RGB图像，采集到的图像分为两个用途：第一个用途是输送给SLAM算法，进行3D点云建模，并确定摄像头在与世界坐标系重合的位姿；第二个用途是通过网络，传输给远端的第二用户设备，让指导用户可以通过PC、平板电脑、手机等载体，实时地查看现场情况。具体计算方法：当输入了2D画面中的某一个像素的坐标P2d，将那个2D点P2d映射到相机坐标系，根据维度映射原理，2D坐标点映射到3D空间中的时候(低维度向高维度映射)，该2D坐标(一个点)对应了3D空间中的一条直线L3d。将世界坐标系中的3D点云映射到相机坐标系下，也是3D点。此时，系统会在由SLAM算法建立的3D点云中选取一个点P3dC’(比如，P3dC’取距离映射射线垂直距离最近的点)，并用该点的深度值(摄像头坐标系)得到映射射线上的一个点P3dC(得到的点是摄像头坐标系，然后将其转换为3D点云坐标系(世界坐标系)下的点P3d)。我们认为，P3d就是点P2d在3D点云的坐标系下映射的一个估计值，即得到世界坐标系下该2D点对应的3D世界坐标。
2)通过SLAM算法，获取3D点云之后，用已经重建出的3D点云拟合出一个世界坐标系下的平面。当输入视频中的一个2D特定点的坐标时，通过坐标系的映射关系，将该2D的特定点，映射到拟合出的世界坐标系下的平面上的一个特定点。再由该平面在世界坐标系下的表达式，反推出这个特定点在世界坐标系下的空间3D坐标。
3)设备上安装RGB摄像头和深度摄像头两种不同的传感器，同时采集2D图像以及深度图像，当输入视频中的一个2D特定点的坐标时,算法结合采集2D图像时同时记录下的深度图像，计算出该标注出来的2D特定点的图像坐标对应在深度图中的像素坐标，之后从该像素坐标获取深度信息。通过以上步骤获取到了标注的深度信息，随后即可推算出的世界坐标系下的3D空间位置坐标。
在一些情形下，该交互类型信息可以对应应用默认的选择的，也可以是基于第一用户设备对应的待指导用户选择的，还可以是基于第二用户设备对应的指导用户选择的，如第一用户设备呈现对应远程协助信息前第一用户设备或者第二用户设备基于待指导用户或指导用户的操作指令选择对应的交互类型信息，后续第一用户设备基于获取的远程协助信息及交互类型信息来呈现远程协助信息。在一些实施方式中，一四模块104，用于通过所述第一用户设备并结合预设的交互类型信息来呈现所述远程协助信息。
在一些情形下，所述交互类型可以是第一用户设备基于待指导用户的操作设置的，也可以是第一用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第一用户设备将该交互类型信息发送至第二用户设备，第二用户设备接收该交互类型信息并基于该交互类型信息与图像信息获取指导用户的远程协助信息。如在一些实施方式中，一二模块102，用于将所述图像信息及关于所述图像信息的交互类型信息发送至所述第二用户设备。在另一些情形下，所述交互类型可以是第二用户设备基于指导用户的操作设置的，也可以是第二用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第二用户设备基于该交互类型信息与图像信息获取指导用户的远程协助信息，并将该交互类型信息及远程协助信息返回至对应第一用户设备。如在一些实施方式中，一三模块103，用于接收所述第二用户设备返回的、关于所述图像信息的远程协助信息及交互类型信息。基于上述第一用户设备及第二用户设备确定的交互类型信息后，第一用户设备基于该交互类型信息在当前显示装置上叠加呈现对应的远程协助信息。如在一些实施方式中，一四模块104，用于通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
在一些情形下，第一用户设备接收对应的远程协助信息，并基于远程协助信息的内容确定对应的交互类型信息，例如，远程协助信息包含交互类型信息，当第一用户获取远程协助信息后，便能够从中获取对应的交互类型信息。如根据涂鸦标注信息确定对应交互类型信息为涂鸦标注方式、根据目标跟踪框确定对应交互类型信息为标注跟踪、根据3D标注信息确定对应交互类型信息为3D标注等；随后，第一用户设备基于该交互类型信息叠加呈现对应的远程协助信息。如在一些实施方式中，所述设备100还包括一五模块105(未示出)，用于根据所述远程协助信息确定所述图像信息对应的交互类型信息；其中，一四模块104，用于通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
在一些实施方式中，所述设备100还包括一六模块106(未示出)，用户基于所述通信连接对应的弱网络状态信息确定对应的交互类型信息；随后，一四模块104用于通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。例如，弱网络状态信息包括第一用户设备与第二用户设备间网络连接的可用带宽信息、当前丢包率信息、当前视频帧率信息等；根据交互类型信息的传输数据耗费流量大小等，对当前图像信息选取合适的交互类型信息，如当前可用户带宽信息小于第一带宽阈值(如20kb/s)时，第一用户设备选取对标注内容进行跟踪的交互类型信息；若当前可用户带宽信息大于第一带宽阈值且小于第二带宽阈值之间(如50kb/s)时，第一用户设备选取进行涂鸦标注的交互类型信息；若当前可用带宽信息大于第二带宽阈值且满足弱网络触发条件时，第一用户设备选取3D标注的交互类型信息。例如，当前丢包率信息大于第一丢包率阈值(如10％)时，第一用户设备选取对标注内容进行跟踪的交互类型信息；若当前丢包率信息处于第一丢包率阈值与第二丢包率阈值(如5％)时，第一用户设备选取进行涂鸦标注的交互类型信息；若当前丢包率信息小于该第二丢包率阈值且满足弱网络条件时，第一用户设备选取3D标注的交互类型信息。例如，当前视频帧率小于第一视频帧率阈值(如5帧/s)时，第一用户设备选取对标注内容进行跟踪的交互类型信息；若当前视频帧率大于第一视频帧率阈值且小于第二视频帧率阈值(如10帧/s)时，第一用户设备选取进行涂鸦标注的交互类型信息；若当前视频帧率大于第二视频帧率阈值且满足弱网络触发条件时，第一用户设备选取3D标注的交互类型信息。
在一些实施方式中，所述设备100还包括一六模块107(未示出)，用于对所述图像信息进行压缩处理；其中，一二模块102，用于将压缩后的所述图像信息发送至所述第二用户设备。例如，当前网络状况较差，第一用户设备将待协助现场的图像信息进行压缩后(降低图像质量)发送至第二用户设备，如在不太需要细节的情况下将照片压缩至100k以内发送至第二用户设备等，第二用户设备接收该压缩图像信息后呈现。
在一些实施方式中，一七模块107，用于基于所述通信连接对应的弱网络状态信息确定所述图像信息的压缩率，根据所述压缩率对所述图像信息进行压缩处理。例如，弱网络状态信息包括第一用户设备与第二用户设备间网络连接的可用带宽信息、当前丢包率信息、当前视频帧率信息等。第一用户设备根据通信连接的网络状态信息，实时调整对应压缩图片的大小，使得对应图片信息能够及时传输至指导方，使得沟通更加及时有效。例如，第一用户设备根据通信连接的网络状态信息，实时调整对应压缩图片的大小，使得对应图片信息能够及时传输至指导方，使得沟通更加及时有效。例如，第一用户设备检测到当前可用带宽，自适应图片压缩率，比如当前可用带宽为100k/s时，图片压缩到100k；当网速降低到50k/s时，图片压缩到50k等。第一用户设备随后将压缩后的图片传输至对应的第二用户设备。类似地，当前丢包率信息与当前视频帧率信息与前述可用带宽信息类似，在此不再赘述。
在一些实施方式中，所述设备100还包括一七模块108(未示出)，用于接收所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息。例如，第二用户设备可以是基于指导用户的操作指令直接启动弱网络触发条件，并将该弱网络触发条件发送至第一用户设备，供第一用户设备启动对应的弱网络触发条件下的图像信息传输方式等。
在一些实施方式中，所述设备100还包括一八模块109(未示出)，用于检测所述通信连接的当前通信状况信息，或者接收所述第二用户设备发送的、所述通信连接的当前通信状况信息；其中，所述通信连接的当前通信状况信息包括但不限于：所述通信连接的当前可用带宽信息；所述通信连接的当前丢包率信息；所述通信连接的当前视频帧率信息。例如，第一用户设备实时检测通信连接的当前通信状况信息，或者第二用户设备实时检测通信连接的当前通信状况信息，并发送给第一用户设备。第一用户设备根据通信状况信息判断是否处于弱网络条件。又例如，第一用户设备实时检测通信连接的当前通信状况信息，若当前通信状况信息不良好，则满足对应的弱网络触发条件；或者第二用户设备实时检测通信连接的当前通信状况信息，若当前通信状况信息不良好，则确定弱网络触发条件，并将该弱网络触发条件发送至第一用户设备。其中，当前通信状况信息包括但不限于：当前通信连接的可用带宽信息、丢包率信息以及视频帧率信息等。基于前述可用带宽信息、丢包率信息以及视频帧率信息的网络状况的判断与前述类似，在此不再赘述。
图9中，示出根据本申请另一个方面的一种进行远程协助的第二用户设备200，其中，该设备包括二一模块201、二二模块202以及二三模块203。二一模块201，用于接收并呈现第一用户设备发送的、关于待协助现场的图像信息；二二模块202，用于获取指导用户关于所述图像信息的远程协助信息；二三模块203，用于将所述远程协助信息发送至所述第一用户设备。
具体而言，二一模块201，用于接收并呈现第一用户设备发送的、关于待协助现场的图像信息。例如，待指导用户持有第一用户设备，指导用户持有对应的第二用户设备，第一用户设备与第二用户设备通过有线或者无线的方式建立了通信连接，若该通信连接满足预定的弱网络触发条件，第一用户设备通过对应的摄像装置(如摄像头等)拍摄当前待协助现场的图像信息，其中，图像信息包括关于当前待协助现场的静态图像帧(如图片等)。第一用户设备获取到待协助现场的图像信息后，将该图像信息通过弱网络通信连接发送至对应指导人员的第二用户设备，如发送待协助现场的图片至第二用户设备。
二二模块202，用于获取指导用户关于所述图像信息的远程协助信息。例如，第二用户设备接收第一用户设备发送的图片，基于该图片信息获取对应的远程协助信息(如标注、涂鸦、跟踪目标选择等)，将远程协作信息返回至第一用户设备，其中，该远程协助信息包括第二用户设备基于指导用户的操作获取的关于图像信息的操作信息(如标注、涂鸦或者跟踪目标选择等)和/或操作信息对应的位置信息(如标注在图像信息中图像坐标等)。
二三模块203，用于将所述远程协助信息发送至所述第一用户设备。例如，第二用户设备基于第一用户的通信连接将对应远程协助信息返回至第一用户设备。
在一些实施方式中，二一模块201，用于接收并呈现第一用户设备发送的、关于待协助现场的图像信息及关于所述图像信息的交互类型信息；其中，二二模块202，用于获取指导用户基于所述交互类型信息关于所述图像信息的远程协助信息。例如，第一用户设备与第二用户设备间的远程协助方式包括但不限于：涂鸦标注、目标跟踪、3D标注等，上述三种远程协助方式可以是择一进行，也可以是选择任一组合进行，通过上述方法获得交互内容称为远程协助信息，获取对应远程协助信息的方式称为交互类型信息。在一些情形下，所述交互类型可以是第一用户设备基于待指导用户的操作设置的，也可以是第一用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第一用户设备将该交互类型信息发送至第二用户设备，第二用户设备接收该交互类型信息并基于该交互类型信息与图像信息获取指导用户的远程协助信息。
在一些实施方式中，第二用户设备200还包括二四模块204(未示出)，用于获取所述指导用户所设置的、关于所述图像信息的交互类型信息；其中，二三模块203，用于将所述远程协助信息及关于所述图像信息的交互类型信息发送至所述第一用户设备。例如，所述交互类型可以是第二用户设备基于指导用户的操作设置的，也可以是第二用户设备基于当前图像信息或者网络带宽等确定的适合当前交互状态的交互类型信息，随后，第二用户设备基于该交互类型信息与图像信息获取指导用户的远程协助信息，并将该交互类型信息及远程协助信息返回至对应第一用户设备。
在一些实施方式中，第二用户设备200还包括二五模块205(未示出)，用于检测所述第一用户设备与所述第二用户设备间的通信连接是否满足预定的弱网络触发条件；若是，向所述第一用户设备发送所述通信连接满足所述弱网络触发条件的信息。例如，第二用户设备可以是基于指导用户的操作指令直接启动弱网络触发条件，并将该弱网络触发条件发送至第一用户设备，供第一用户设备启动对应的弱网络触发条件下的图像信息传输方式等。
在一些实施方式中，第二用户设备200还包括二六模块206(未示出)，第二用户设备检测所述第一用户设备与所述第二用户设备间通信连接的当前通信状况信息，向所述第一用户设备发送所述通信连接的当前通信状况信息。例如，第二用户设备实时检测通信连接的当前通信状况信息，并发送给第一用户设备。第一用户设备根据通信状况信息判断是否处于弱网络条件。又例如，第二用户设备实时检测通信连接的当前通信状况信息，若当前通信状况信息不良好，则确定弱网络触发条件，并将该弱网络触发条件发送至第一用户设备。其中，当前通信状况信息包括但不限于：当前通信连接的可用带宽信息、丢包率信息以及视频帧率信息等。基于前述可用带宽信息、丢包率信息以及视频帧率信息的网络状况的判断与前述类似，在此不再赘述。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图10示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图10所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (40)
1.一种在第一用户设备端进行远程协助的方法，其中，该方法包括：
若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，获取关于待协助现场的图像信息；
将所述图像信息发送至所述第二用户设备；
接收所述第二用户设备返回的、关于所述图像信息的远程协助信息；
通过所述第一用户设备呈现所述远程协助信息。
2.根据权利要求1所述的方法，其中，所述将所述图像信息发送至所述第二用户设备，包括：
将所述图像信息及关于所述图像信息的交互类型信息发送至所述第二用户设备。
3.根据权利要求1所述的方法，其中，所述接收所述第二用户设备返回的、关于所述图像信息的远程协助信息，包括：
接收所述第二用户设备返回的、关于所述图像信息的远程协助信息及交互类型信息。
4.根据权利要求2或3所述的方法，其中，所述通过所述第一用户设备呈现所述远程协助信息，包括：
通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
5.根据权利要求1所述的方法，其中，所述方法还包括：
根据所述远程协助信息确定所述图像信息对应的交互类型信息；
其中，所述通过所述第一用户设备呈现所述远程协助信息，包括：
通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
6.根据权利要求1所述的方法，其中，所述通过所述第一用户设备呈现所述远程协助信息，包括：
通过所述第一用户设备并结合预设的交互类型信息来呈现所述远程协助信息。
7.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述通信连接对应的弱网络状态信息确定对应的交互类型信息；
其中，所述通过所述第一用户设备呈现所述远程协助信息，包括：
通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
8.根据权利要求2至7中任一项所述的方法，其中，所述交互类型信息包括以下至少任一项：
基于所述图像信息进行涂鸦标注；
对于所述图像信息中标注内容进行跟踪；
基于所述图像信息进行3D标注。
9.根据权利要求1至8中任一项所述的方法，其中，所述方法还包括：
对所述图像信息进行压缩处理；
其中，所述将所述图像信息发送至所述第二用户设备，包括：
将压缩后的所述图像信息发送至所述第二用户设备。
10.根据权利要求9所述的方法，其中，所述对所述图像信息进行压缩处理，包括：
基于所述通信连接对应的弱网络状态信息确定所述图像信息的压缩率；
根据所述压缩率对所述图像信息进行压缩处理。
11.根据权利要求1至10中任一项所述的方法，其中，所述弱网络触发条件包括以下至少任一项：
所述通信连接的当前可用带宽信息低于或等于预定的带宽阈值信息；
所述通信连接的当前丢包率信息大于或等于预定的丢包率阈值信息；
所述通信连接的当前视频帧率信息低于或等于预定的视频帧率阈值信息；
接收到所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息；
接收到用户在所述第一用户设备提交的弱网络触发操作。
12.根据权利要求11所述的方法，其中，所述方法还包括：
接收所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息。
13.根据权利要求11所述的方法，其中，所述方法还包括：
检测所述通信连接的当前通信状况信息，或者接收所述第二用户设备发送的、所述通信连接的当前通信状况信息；
其中，所述通信连接的当前通信状况信息包括以下至少任一项：
所述通信连接的当前可用带宽信息；
所述通信连接的当前丢包率信息；
所述通信连接的当前视频帧率信息。
14.一种在第二用户设备端进行远程协助的方法，其中，该方法包括：
接收并呈现第一用户设备发送的、关于待协助现场的图像信息；
获取指导用户关于所述图像信息的远程协助信息；
将所述远程协助信息发送至所述第一用户设备。
15.根据权利要求14所述的方法，其中，所述接收并呈现第一用户设备发送的、关于待协助现场的图像信息，包括：
接收并呈现第一用户设备发送的、关于待协助现场的图像信息及关于所述图像信息的交互类型信息；
其中，所述获取指导用户关于所述图像信息的远程协助信息，包括：
获取指导用户基于所述交互类型信息关于所述图像信息的远程协助信息。
16.根据权利要求14所述的方法，其中，所述方法还包括：
获取所述指导用户所设置的、关于所述图像信息的交互类型信息；
其中，所述将所述远程协助信息发送至所述第一用户设备，包括：
将所述远程协助信息及关于所述图像信息的交互类型信息发送至所述第一用户设备。
17.根据权利要求14至16中任一项所述的方法，其中，所述方法还包括：
检测所述第一用户设备与所述第二用户设备间的通信连接是否满足预定的弱网络触发条件；
若是，向所述第一用户设备发送所述通信连接满足所述弱网络触发条件的信息。
18.根据权利要求14至16中任一项所述的方法，其中，所述方法还包括：
检测所述第一用户设备与所述第二用户设备间通信连接的当前通信状况信息；
向所述第一用户设备发送所述通信连接的当前通信状况信息。
19.一种进行远程协助的方法，其中，该方法包括：
若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，所述第一用户设备获取关于待协助现场的图像信息，将所述图像信息发送至所述第二用户设备；
所述第二用户设备接收并呈现所述图像信息，获取指导用户关于所述图像信息的远程协助信息，并将所述远程协助信息发送至所述第一用户设备；
所述第一用户设备接收所述远程协助信息，通过所述第一用户设备呈现所述远程协助信息。
20.一种进行远程协助的第一用户设备，其中，该设备包括：
一一模块，若第一用户设备与第二用户设备间的通信连接满足预定的弱网络触发条件，用于获取关于待协助现场的图像信息；
一二模块，用于将所述图像信息发送至所述第二用户设备；
一三模块，用于接收所述第二用户设备返回的、关于所述图像信息的远程协助信息；
一四模块，用于通过所述第一用户设备呈现所述远程协助信息。
21.根据权利要求20所述的设备，其中，所述一二模块用于：
将所述图像信息及关于所述图像信息的交互类型信息发送至所述第二用户设备。
22.根据权利要求20所述的设备，其中，所述一三模块用于：
接收所述第二用户设备返回的、关于所述图像信息的远程协助信息及交互类型信息。
23.根据权利要求21或22所述的设备，其中，所述一四模块用于：
通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
24.根据权利要求20所述的设备，其中，所述设备还包括：
一五模块，用于根据所述远程协助信息确定所述图像信息对应的交互类型信息；
其中，所述一四模块用于：
通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
25.根据权利要求20所述的设备，其中，所述一四模块用于：
通过所述第一用户设备并结合预设的交互类型信息来呈现所述远程协助信息。
26.根据权利要求20所述的设备，其中，所述设备还包括：
一六模块，用于基于所述通信连接对应的弱网络状态信息确定对应的交互类型信息；
其中，所述通过所述第一用户设备呈现所述远程协助信息，包括：
通过所述第一用户设备并结合所述交互类型信息来呈现所述远程协助信息。
27.根据权利要求20至26中任一项所述的设备，其中，所述交互类型信息包括以下至少任一项：
基于所述图像信息进行涂鸦标注；
对于所述图像信息中标注内容进行跟踪；
基于所述图像信息进行3D标注。
28.根据权利要求20至27中任一项所述的设备，其中，所述设备还包括：
一七模块，用于对所述图像信息进行压缩处理；
其中，所述一二模块用于：
将压缩后的所述图像信息发送至所述第二用户设备。
29.根据权利要求28所述的设备，其中，所述对所述图像信息进行压缩处理，包括：
基于所述通信连接对应的弱网络状态信息确定所述图像信息的压缩率；
根据所述压缩率对所述图像信息进行压缩处理。
30.根据权利要求20至29中任一项所述的设备，其中，所述弱网络触发条件包括以下至少任一项：
所述通信连接的当前可用带宽信息低于或等于预定的带宽阈值信息；
所述通信连接的当前丢包率信息大于或等于预定的丢包率阈值信息；
所述通信连接的当前视频帧率信息低于或等于预定的视频帧率阈值信息；
接收到所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息；
接收到用户在所述第一用户设备提交的弱网络触发操作。
31.根据权利要求30所述的设备，其中，所述设备还包括：
一八模块，用于接收所述第二用户设备发送的、所述通信连接满足所述弱网络触发条件的信息。
32.根据权利要求30所述的设备，其中，所述设备还包括：
一九模块，用于检测所述通信连接的当前通信状况信息，或者接收所述第二用户设备发送的、所述通信连接的当前通信状况信息；
其中，所述通信连接的当前通信状况信息包括以下至少任一项：
所述通信连接的当前可用带宽信息；
所述通信连接的当前丢包率信息；
所述通信连接的当前视频帧率信息。
33.一种进行远程协助的第二用户设备，其中，该设备包括：
二一模块，用于接收并呈现第一用户设备发送的、关于待协助现场的图像信息；
二二模块，用于获取指导用户关于所述图像信息的远程协助信息；
二三模块，用于将所述远程协助信息发送至所述第一用户设备。
34.根据权利要求33所述的设备，其中，所述二一模块用于：
接收并呈现第一用户设备发送的、关于待协助现场的图像信息及关于所述图像信息的交互类型信息；
其中，所述二二模块用于：
获取指导用户基于所述交互类型信息关于所述图像信息的远程协助信息。
35.根据权利要求33所述的设备，其中，所述设备还包括：
二四模块，用于获取所述指导用户所设置的、关于所述图像信息的交互类型信息；
其中，所述二三模块用于：
将所述远程协助信息及关于所述图像信息的交互类型信息发送至所述第一用户设备。
36.根据权利要求33至35中任一项所述的设备，其中，所述设备还包括：
二五模块，用于检测所述第一用户设备与所述第二用户设备间的通信连接是否满足预定的弱网络触发条件；
若是，向所述第一用户设备发送所述通信连接满足所述弱网络触发条件的信息。
37.根据权利要求33至35中任一项所述的设备，其中，所述设备还包括：
二六模块，用于检测所述第一用户设备与所述第二用户设备间通信连接的当前通信状况信息；
向所述第一用户设备发送所述通信连接的当前通信状况信息。
38.一种进行远程协助的系统，其中，该系统包括如权利要求20至32中任一项所述的第一用户设备及如权利要求33至37中任一项所述的第二用户设备。
39.一种进行远程协助的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至18中任一项所述方法的操作。
40.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至18中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310863598.6A CN116866336A (zh) | 2019-03-29 | 2019-04-10 | 一种进行远程协助的方法与设备 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910250594 | 2019-03-29 | ||
| CN2019102505944 | 2019-03-29 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310863598.6A Division CN116866336A (zh) | 2019-03-29 | 2019-04-10 | 一种进行远程协助的方法与设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110138831A true CN110138831A (zh) | 2019-08-16 |
Family
ID=67569775
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910284878.5A Pending CN110138831A (zh) | 2019-03-29 | 2019-04-10 | 一种进行远程协助的方法与设备 |
| CN202310863598.6A Pending CN116866336A (zh) | 2019-03-29 | 2019-04-10 | 一种进行远程协助的方法与设备 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310863598.6A Pending CN116866336A (zh) | 2019-03-29 | 2019-04-10 | 一种进行远程协助的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110138831A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110661880A (zh) * | 2019-10-12 | 2020-01-07 | 西安维度视界科技有限公司 | 一种远程协助方法、系统和存储介质 |
| CN110708384A (zh) * | 2019-10-12 | 2020-01-17 | 西安维度视界科技有限公司 | 一种基于ar的远程协助系统的交互方法、系统和存储介质 |
| CN110728756A (zh) * | 2019-09-30 | 2020-01-24 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实的远程指导的方法与设备 |
| CN111050112A (zh) * | 2020-01-10 | 2020-04-21 | 北京首翼弘泰科技有限公司 | 通过在屏幕上显示标记进行远程操作指挥或指导的方法 |
| CN112187959A (zh) * | 2020-11-27 | 2021-01-05 | 蘑菇车联信息科技有限公司 | 车载电脑的远程控制方法、系统、电子设备与存储介质 |
| CN112862973A (zh) * | 2021-03-10 | 2021-05-28 | 广东电网有限责任公司 | 一种基于故障现场的实时远程培训方法及系统 |
| CN114070834A (zh) * | 2021-10-26 | 2022-02-18 | 深圳市商汤科技有限公司 | 一种远程协助方法、装置及其相关设备和存储介质 |
| CN114201645A (zh) * | 2021-12-01 | 2022-03-18 | 北京百度网讯科技有限公司 | 对象标注方法、装置、电子设备以及存储介质 |
| CN115185437A (zh) * | 2022-03-11 | 2022-10-14 | 亮风台（上海）信息科技有限公司 | 一种投影交互方法、设备、介质及程序产品 |
| CN115190361A (zh) * | 2022-06-16 | 2022-10-14 | 深圳市定军山科技有限公司 | 一种视频数据传输方法以及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010050301A1 (ja) * | 2008-10-27 | 2010-05-06 | コニカミノルタオプト株式会社 | 映像表示システム |
| CN103676922A (zh) * | 2012-09-07 | 2014-03-26 | 深圳市车博仕电子科技有限公司 | 一种远程诊断的方法 |
| CN105357240A (zh) * | 2014-08-21 | 2016-02-24 | 中兴通讯股份有限公司 | 远程协助的控制方法及装置 |
| CN106339094A (zh) * | 2016-09-05 | 2017-01-18 | 山东万腾电子科技有限公司 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
| CN107491174A (zh) * | 2016-08-31 | 2017-12-19 | 中科云创（北京）科技有限公司 | 用于远程协助的方法、装置、系统及电子设备 |
| CN107566793A (zh) * | 2017-08-31 | 2018-01-09 | 中科云创（北京）科技有限公司 | 用于远程协助的方法、装置、系统及电子设备 |
| CN108769517A (zh) * | 2018-05-29 | 2018-11-06 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实进行远程辅助的方法与设备 |
-
2019
- 2019-04-10 CN CN201910284878.5A patent/CN110138831A/zh active Pending
- 2019-04-10 CN CN202310863598.6A patent/CN116866336A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010050301A1 (ja) * | 2008-10-27 | 2010-05-06 | コニカミノルタオプト株式会社 | 映像表示システム |
| CN103676922A (zh) * | 2012-09-07 | 2014-03-26 | 深圳市车博仕电子科技有限公司 | 一种远程诊断的方法 |
| CN105357240A (zh) * | 2014-08-21 | 2016-02-24 | 中兴通讯股份有限公司 | 远程协助的控制方法及装置 |
| CN107491174A (zh) * | 2016-08-31 | 2017-12-19 | 中科云创（北京）科技有限公司 | 用于远程协助的方法、装置、系统及电子设备 |
| CN106339094A (zh) * | 2016-09-05 | 2017-01-18 | 山东万腾电子科技有限公司 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
| CN107566793A (zh) * | 2017-08-31 | 2018-01-09 | 中科云创（北京）科技有限公司 | 用于远程协助的方法、装置、系统及电子设备 |
| CN108769517A (zh) * | 2018-05-29 | 2018-11-06 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实进行远程辅助的方法与设备 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728756A (zh) * | 2019-09-30 | 2020-01-24 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实的远程指导的方法与设备 |
| CN110728756B (zh) * | 2019-09-30 | 2024-02-09 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实的远程指导的方法与设备 |
| CN110661880A (zh) * | 2019-10-12 | 2020-01-07 | 西安维度视界科技有限公司 | 一种远程协助方法、系统和存储介质 |
| CN110708384A (zh) * | 2019-10-12 | 2020-01-17 | 西安维度视界科技有限公司 | 一种基于ar的远程协助系统的交互方法、系统和存储介质 |
| CN111050112A (zh) * | 2020-01-10 | 2020-04-21 | 北京首翼弘泰科技有限公司 | 通过在屏幕上显示标记进行远程操作指挥或指导的方法 |
| CN112187959A (zh) * | 2020-11-27 | 2021-01-05 | 蘑菇车联信息科技有限公司 | 车载电脑的远程控制方法、系统、电子设备与存储介质 |
| CN112187959B (zh) * | 2020-11-27 | 2021-06-22 | 蘑菇车联信息科技有限公司 | 车载电脑的远程控制方法、系统、电子设备与存储介质 |
| CN112862973A (zh) * | 2021-03-10 | 2021-05-28 | 广东电网有限责任公司 | 一种基于故障现场的实时远程培训方法及系统 |
| CN114070834A (zh) * | 2021-10-26 | 2022-02-18 | 深圳市商汤科技有限公司 | 一种远程协助方法、装置及其相关设备和存储介质 |
| CN114201645A (zh) * | 2021-12-01 | 2022-03-18 | 北京百度网讯科技有限公司 | 对象标注方法、装置、电子设备以及存储介质 |
| CN115185437A (zh) * | 2022-03-11 | 2022-10-14 | 亮风台（上海）信息科技有限公司 | 一种投影交互方法、设备、介质及程序产品 |
| CN115190361A (zh) * | 2022-06-16 | 2022-10-14 | 深圳市定军山科技有限公司 | 一种视频数据传输方法以及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116866336A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110138831A (zh) | 一种进行远程协助的方法与设备 | |
| US11677920B2 (en) | Capturing and aligning panoramic image and depth data | |
| US10535181B2 (en) | Virtual viewpoint for a participant in an online communication | |
| WO2019242262A1 (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
| CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
| CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| CN107491174A (zh) | 用于远程协助的方法、装置、系统及电子设备 | |
| CN102959616B (zh) | 自然交互的交互真实性增强 | |
| US10573060B1 (en) | Controller binding in virtual domes | |
| CN109840949A (zh) | 基于光学定位的增强现实图像处理方法和装置 | |
| CN108769517A (zh) | 一种基于增强现实进行远程辅助的方法与设备 | |
| EP2974509B1 (en) | Personal information communicator | |
| TW201835723A (zh) | 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 | |
| CN104169965A (zh) | 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品 | |
| CN110751735B (zh) | 一种基于增强现实的远程指导的方法与设备 | |
| CN107566793A (zh) | 用于远程协助的方法、装置、系统及电子设备 | |
| CN109688343A (zh) | 增强现实演播室的实现方法和装置 | |
| CN109997364A (zh) | 提供全向图像的映射的指示的方法、设备和流 | |
| CN104243961A (zh) | 多视角影像的显示系统及方法 | |
| CN110728756B (zh) | 一种基于增强现实的远程指导的方法与设备 | |
| WO2018175335A1 (en) | Method and system for discovering and positioning content into augmented reality space | |
| US20220107704A1 (en) | Virtual paintbrush implementing method and apparatus, and computer readable storage medium | |
| US20210142568A1 (en) | Web-based remote assistance system with context & content-aware 3d hand gesture visualization | |
| TW201828258A (zh) | 場景的渲染方法和裝置 | |
| CN108668108A (zh) | 一种视频监控的方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |