CN108063825A - 一种远程协助方法 - Google Patents

Abstract

本申请公开了一种远程协助方法，包括：被协助端向协助端发起协助请求，并在所述协助端同意后在所述被协助端和所述协助端之间建立通信连接；其中，所述协助请求中包括需要协助的问题；所述被协助端针对所述需要协助的问题，采集数据发送给所述协助端；所述协助端基于接收的采集数据进行物体识别，根据所述物体识别的结果，在模型库中进行模型匹配，并利用匹配后的模型进行三维建模，将建立的三维模型与物体和场景关联后构建虚拟协助场景，呈现给所述协助端的用户；所述协助端将协助信息发送给所述被协助端。应用本申请，能够提高解决问题的效率。

Description

一种远程协助方法

技术领域

本申请涉及计算机技术，特别涉及一种远程协助方法和设备。

背景技术

目前针对远程协助的主要方式是：在端到端之间建立通信连接，协助方通过远程PC指令或通过语音进行讲解，被协助方进行操作。在上述远程协助方式中，针对移动端作为协助方的协助方式，存在屏幕尺寸小，操作不便捷等条件限制，同时，上述协助方式也不能多人同时协助。

由此可见，现有基于移动设备的远程协助需要改善的方面包括：

1.在远程协助扩展性方面，以往方法主要针对特定领域，扩展性差。

2.传统的语音方式的远程协助，协助方与被协助方之间存在理解的差异性，从而导致问题的混淆。

3.移动端的远程协助方式，由于移动设备的屏幕尺寸相对较小，无法便捷的去操作被协助方的计算机设备，从而影响解决问题的效率。

4.当前的远程协助方式，并不能给协助方带来身临其境的沉浸感。

发明内容

本申请提供一种远程协助方法，能够提高解决问题的效率。

为实现上述目的，本申请采用如下的技术方案：

一种远程协助方法，包括：

被协助端向协助端发起协助请求，并在所述协助端同意后在所述被协助端和所述协助端之间建立通信连接；其中，所述协助请求中包括需要协助的问题；

所述被协助端针对所述需要协助的问题，采集数据发送给所述协助端；

所述协助端基于接收的采集数据进行物体识别，根据所述物体识别的结果，在模型库中进行模型匹配，并利用匹配后的模型进行三维建模，将建立的三维模型与物体和场景关联后构建虚拟协助场景，呈现给所述协助端的用户；

所述协助端将协助信息发送给所述被协助端。

较佳地，所述被协助端将采集数据发送给所述协助端包括：

所述被协助端携带本机设备的标识码、采集数据、设备信息和时间戳信息发送给所述协助端。

较佳地，所述被协助端向协助端发起协助请求包括：所述协助端通过中转设备向所述协助端发起协助请求；所述协助端与被协助端之间的通信连接是通过所述中转设备进行中转连接的；

或者，所述被协助端向协助端发起协助请求包括：所述协助端直接向所述协助端发起协助请求；所述协助端与被协助端之间的通信连接是直接进行的。

较佳地，在所述协助端将所述虚拟协助场景呈现给所述协助端的用户后、所述协助端接收所述协助端的用户的指令前，该方法还包括：

所述协助端对虚拟协助场景中的物体进行定位和跟踪，并呈现给所述协助端的用户。

较佳地，该方法还包括：

所述被协助端对场景中的物体进行跟踪定位，当定位发生变化时，将变化的信息发送给所述被协助端；

所述被协助端根据所述变化的信息，更新所述虚拟协助场景中对应物体的位置。

较佳地，所述协助端将协助信息发送给所述被协助端包括：

所述协助端接收所述协助端的用户的指令，并将该指令转发给所述被协助端；或者，所述被协助端与协助端建立语音或视频连接，并通过语音或视频沟通协助信息。

较佳地，所述被协助端协助协助端的方式为自动协助方式或人工协助方式。

较佳地，当所述被协助端协助协助端的方式为人工协助方式时，该方法还包括：

所述协助端进行物体识别，根据物体识别结果进行模型匹配并建立三维模型，将三维模型与物体和场景建立关联后构建虚拟协助场景，并对虚拟协助场景中的物体进行定位和跟踪；根据协助端发来的协助信息更新虚拟协助场景。

较佳地，当存在多个协助端时，所述协助端将协助信息发送给所述被协助端前，该方法包括：所述协助端将协助信息发送给其他协助端，并在收到确认信息后执行所述将协助信息发送给所述被协助端的操作。

由上述技术方案可见，本申请中，被协助端向协助端发起协助请求，并在协助端同意后在被协助端和协助端之间建立通信连接；被协助端针对需要协助的问题，采集数据发送给协助端；协助端基于接收的采集数据进行物体识别，根据识别结果，在在线模型库中进行模型匹配，并利用匹配后的模型进行三维建模，将建立的三维模型与物体和场景关联后构建虚拟协助场景，呈现给协助端的用户；协助端将协助信息发送给被协助端。通过上述处理，协助端利用被协助端发来的采集数据进行三维建模以及构建虚拟协助场景，使协助端用户能够利用虚拟现实设备观看虚拟现实场景，更加真实地还原协助场景，拓展了远程协助的方式，扩大了屏幕视野，带来更贴近现实的沉浸感，从而能够提高解决问题的效率。

附图说明

图1为本申请中远程协助方法的基本流程示意图；

图2为本申请中虚拟现实远程协助系统的示意图一；

图3为本申请中虚拟现实远程协助系统的示意图二；

图4为本申请中虚拟现实远程协助系统的示意图三；

图5为本申请中虚拟现实远程协助系统的示意图四；

图6为本申请中虚拟现实远程协助系统的示意图五；

图7为本申请例一的场景示意图；

图8为本申请中远程协助设备的结构示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

本申请的基本思想在于：协助端利用被协助端的协助问题和采集数据，在协助端进行三维建模，并构建虚拟协助场景，以使协助端用户有身临其境的沉浸感，提高解决问题的效率。

图1为本申请中远程协助方法的基本流程示意图。如图1所示，该方法包括：

步骤101，被协助端向协助端发起协助请求，并在协助端同意后在被协助端和协助端之间建立通信连接。

其中，在被协助端发送的协助请求中包括需要协助的问题。

更详细地，参与远程协助的各个中断设备安装远程协助软件，根据网络地址生成全局唯一的标识码。在远程协助中，被协助端与协助端之间可以不经过中转设备直接建立通信连接，或者可以通过中转设备建立通信连接。这里的中转设备并不是普通的路由器等路由中转设备，而是同样安装有远程协助软件、但是不属于协助端和非协助端的终端设备，在本次的远程协助中，中转设备只进行信息的中转。

协助请求发起者(即被协助端)可以根据当前的网络连接状态选择请求协助模式，具体地，被协助端接收用户输入的中转设备或协助端设备的唯一标识码，对应不同的协助状态建立通信连接。当通过中转设备进行协助请求时，通过不同协助状态建立对应的中转连接。例如，如图2所示，directConnect对应的连接为不经过中转设备，transferNet对应通过网络连通的设备进行中转，transferBluetooth对应经过蓝牙通信设备进行中转，中转设备进行连接后，转发协助请求。

协助端可以通过协议建立人工干预或自动化的协助方式。当选择人工干预的方式时，被协助端通过AR设备进行协助；当选择自动化协助方式时，需双方协议设备执行的命令格式，即被协助端和协助端协议好双方可懂的设备指令。

在中转设备或协助端设备接收到协助请求后，对请求进行处理。例如，如图3所示，若当前设备为中转设备，则需要对请求发起端的协助请求进行进一步的请求转发，通过Trasfer操作后，携带者请求端和当前设备的路由信息跳转到图2操作中；若当前请求的设备为协助终端设备，协助端通过选择Accept接受协助请求，被协助端与协助端建立通信连接，请求发起成功。当协助端选择Refuse操作时，则终止此次协助请求。

步骤102，被协助端针对需要协助的问题，采集数据发送给协助端。

通过被协助端与协助端间建立的通信连接传输采集数据。

步骤103，协助端接收采集数据，并根据该采集数据进行物体识别。

协助端基于预先保存的远程协助处理的相关信息，利用接收的采集数据进行物体识别，识别出需要解决的问题中涉及的物体，用于建立虚拟协助环境。

具体地，当采用自动协助方式时，可以是协助端和被协助端根据需要协助的问题，预先或实时协商好各类采集数据对应的物体；当采用人工协助方式时，可以在采集数据中携带对应的物体信息等。例如，当需要协助的问题是屏幕操作时，对应的物体可以是电脑、键盘和鼠标等。

步骤104，协助端根据物体识别的结果，在模型库中进行模型匹配。

预先建立模型库，用于保存各类物体对应的模型。协助端在识别出物体后，在模型库中找到相应的模型。例如，识别出的物体是电脑显示器，那么在模型库中找到匹配的显示器模型。当采集的数据涉及到多个物体时，这里分别针对每个物体进行各自的模型匹配。

步骤105，协助端利用匹配后的模型进行三维建模。

将匹配的模型进行三维建模，对应各个识别出的物体建立各自对应的三维模型。优选地，建立好的模型可以由协助端用户进行调整和确认。尤其当存在多个协助端时，可以相互确认建立好的模型，以使相互匹配一致。

步骤106，将建立的三维模型与物体和场景关联后构建虚拟协助场景，呈现给协助端的用户。

具体地，将步骤105建立的各个物体的三维模型与对应的物体建立关联，并根据物体类别和当前场景，将各个三维模型按照合理位置摆放，构建虚拟协助场景。例如，已经建立了电脑显示器、水杯和桌子的三维模型，在构建虚拟协助场景时，将水杯和电脑显示器置于桌子上。

构建好的虚拟协助场景，可以利用虚拟显示设备呈现给协助端用户。例如，如图4所示的虚拟协助场景。

虚拟场景建立后，可以直接执行步骤108，或者，也可以先执行步骤107，然后再执行步骤108。

步骤107，协助端对虚拟协助场景中的物体进行定位和跟踪，并呈现给协助端的用户。

优选地，对于虚拟协助场景中的物体进行定位，将其实时位置与该物体建立关联，当协助端用户利用虚拟现实设备改变观察角度和位置时，能够在对应位置上即时观察到相应物体。另外，当物体位置发生改变时，能够即时更新相应位置，并在更新后的位置上呈现该物体。

对于定位的物体，还可以生成提醒信息提示给协助端用户。

步骤108，协助端接收协助端用户的指令，将协助信息发送给被协助端。

优选地，在自动协助中，协助端确定应当采取的操作后，由协助端用户向协助端输入操作指令。协助端将相应的操作指令转发给被协助端。由于在前序操作中通过协议接口，已经在协助端和被协助端对操作的命令接口进行了约束，从而协助端可以直接通过反馈操作被协助端的设备，完成自动化的解决问题，而无需被协助端的用户进行操作。

优选地，当存在多个协助端时，不同协助端发起的协助操作需要进行相互校验。具体地，每个协助端的操作指令首先反馈到其他协助端，待其他协助端(大于或等于一个协助端)确认后再发送给被协助端。

在人工协助中，可以建立语音或视频通信，直接通过语音或视频沟通协助信息。进一步的，还可以将协助信息(例如操作对象或操作处理)发送给被协助端，被协助端通过虚拟显示设备显示给被协助端用户。更详细地，被协助端也可以配备虚拟现实设备，并同样在被协助端执行步骤103～106的处理，以在被协助端建立虚拟协助场景，被协助端接收协助信息后可以借助虚拟现实设备并结合物体定位和跟踪处理，将反馈的协助信息定位到需要操作的设备上，根据协助端的协助信息从而能够准确的定位问题位置以及解决方法。

更详细地，例如，如图5所示，协助端可以选择语音协助Voice Assistance和操作协助Operation Assistance两种模式，或停止协助OFF操作。当选择Voice Assistance模式，协助端与被协助端可以通过语音进行沟通，当选择Operation Assistance模式，则可以对协助发起端发起命令操作。通过设置功能组进行改变当前语音的音量和场景中屏幕的尺寸大小，设置中协助端可以进行选择协助模式其中包括：Full Screen Mode(全景模式)以及不同的虚拟三维场景VR House A、VR House B、和VR House C等，如图6所示为FullScreen Mode虚拟场景模式。

接下来给出两个具体的例子说明上述远程协助方法。

例一：自动协助模式

如图7所示，当被协助端电脑出现问题，请求协助端进行远程协助，双方可以协议电脑屏幕信息作为数据的输入，选择全自动的方式进行协助操作，操作示例如下：

步骤S701：安装虚拟协助软件，并发送设备标识码.

首先在协助端和协助发起端的设备进行安装虚拟远程协助软件，分别生成对应的标识码，本发明记为codeA,codeB….codeN,这里假设请求发起端对应的标识码为codeA，中转设备1对应的标识码codeB，中转设备2对应的标识码为codeC,协助端对应的标识码为codeD。协助端将对应的标识码codeD发送给协助发起端后，进入步骤S702。

步骤S702：被协助终端发起协助请求，参考附图2，检测当前终端的网络状态，判断当前是否能够与目标终端(协助终端)连通，如果能够直接连通则进入步骤S703，如果不能够连通网络或者蓝牙匹配到其他终端(包括移动设备和PC端)，同时对应的终端需安装了协助软件，进入步骤S704。

步骤S703：协助发起端通过输入协助终端设备标识码codeD，选择连接状态state为directConnect，此时基于协助软件的端到端连接模块，进行建立协助请求端到协助端的远程连接，发送请求到协助端后进入步骤S705。

步骤S704：当前用户不能够直接连通协助端设备，此时经过第三方设备的中转，中转过程对协助端和协助发起端是透明的，如果协助发起端通过网络进行连接第三方中转设备则只需将请求的设备码标识更改为codeB(这里假设为中转设备1)，同时选择对应的请求状态设置为transferNet，发起协助请求，进入步骤S705。

步骤S705：建立通信连接，终端设备进行场景渲染。

无论是协助端或者是中转终端在接收到协助请求信号时，可以进行不同的操作，包括中转(transfer)、接受(Accept)或拒绝请求(Refuse)，当终端设备选择Refuse时，则终止此次协助请求。如果选择中转transfer操作(中转设备)，则进入步骤S103,进行下一步的连接传递，或者选择接受Accept，则此时的设备为协助终端，则在协助发起端到中转设备端(如果存在)，直到协助端之间基于端到端的连接模块建立通信连接。

建立连接后，协助发起端基于数据传输模块携带本机设备的标识码codeA、屏幕数据流data、设备信息deviceInfo以及时间戳timer等数据信息，传递到下一步终端设备，如果连接状态state为directionConnection,则下一步终端设备为协助端，如果通信过程通过步骤S704跳转，则需要经过中转设备，中转设备针对当前终端连接的前后设备之间进行传递彼此的设备标识码进行标识传输路由信息，最终将协助发起端的数据流data和设备信息deviceInfo传递到协助端。

协助端在建立通信连接后，基于虚拟场景模拟模块进行渲染场景模型M，根据当前需求进行选择协助的模式如Voice Assistance或Operation Assistance，选择不同的协助方式如Full Screen Mode或者VR House Mode等，以及在场景中进行设置语音的音量大小，渲染的屏幕尺寸大小等设置。当协助端渲染完成后，利用虚拟现实设备进行观看相应的场景视图，在三维环境中进行远程协助，进入步骤S706利用交互操作模块进行协助操作。

步骤S706：协助端通过头选控制操作、手势识别、蓝牙连接鼠标键盘以及手柄控制器等进行交互协助，基于交互反馈器将操作信息传递到协助发起端，执行相应的操作，实现协助过程。协助完成后进入步骤S707。

步骤S707：完成协助后，协助发起端和协助端均可执行结束操作，表明本次协助结束。

例二：人工协助方式

当前场景为：父母在外地，和在家的孩子一起实现了积木游戏，这里约定为人工协助的模式进行协助操作，父母双方通过指导孩子，由孩子进行实际操作完成一个现实中的积木游戏。

步骤S801：安装虚拟协助软件，并发送设备标识码。

建立孩子父亲母亲之间数据通信连接，这里选择的数据采集模式为默认的增强现实设备景深摄像头设备，通过采集数据传输到父母的设备端。具体地，孩子配备一个增强现实设备，用于执行远程协助处理，例如，拍摄现实中的积木状态，构建虚拟协助场景显示给孩子，接收协助端(即父母亲的终端)发来的协助信息，更新虚拟协助场景等。

步骤S802：建立连接后，协助端基于物体识别模块对场景中的物体进行识别，包括桌子凳子，周围环境等，以及基于在线模型库对积木进行识别。

步骤S803：对识别的物体进行三维建模，建立的模型父母双方通过虚拟现实设备进行确认操作。

步骤S804：步骤S803中确认操作，可以基于手柄、蓝牙鼠标等交互设备对建立的三维模型进行调整，比如拉伸、擦除等；针对确认操作，父亲的确认操作指令会发送到母亲设备端进行校验，经过操作校验模块进行操作审核，同样可以选择本次协助过程忽略校验，则后续操作无需多方确认。

步骤S805：对步骤S804中建立的模型进行场景渲染，实现对家里面场景的复现，从而能够模拟出孩子所在家里的真实场景，针对建模过程中的一些积木模型结合在线模型数据库进行精确调整。

步骤S806：针对场景中的积木模块，根据匹配追踪模块，能够定位每一块积木，父母一端通过头选、手柄等操作虚拟场景中的积木，交互才做通过交互反馈器反馈到孩子一端。

步骤S807：孩子基于增强现实设备，结合反馈得到的指令、通过追踪匹配模块同样实现对相关积木的操作显示，同事彼此之间通过语音进行交流互动，孩子进行实际的操作执行。

步骤S808：在共同协作的基础上最终实现积木的搭建过程。

上述即为本申请中的远程协助方法。本申请还提供了一种远程协助设备，可以用于实现上述方法。如图8所示，该设备具体包括数据采集器、交互反馈器、物体识别模块、三维建模模块、虚拟渲染模块、匹配追踪模块和操作校验模块。其中，根据特定的数据采集器可以选择或开发不同的数据采集接口；通过操作校验模块，可以进行协调多方协助；协助端基于物体识别模块识别协助场景中涉及的各个物体；协助端基于软件模型通过三维建模模块对被协助端进行三维建模；通过虚拟渲染模块协助端基于虚拟现实设备建立显示被协助端的协助场景；协助端通过交互反馈器进行协助操作反馈；根据协助方式，基于匹配追踪模块被协助方进行不同的反馈操作。被协助方可以选择多种方式与协助方之间建立连接，如本机连接、其他设备连接(移动端、PC端等)，建立连接后协助端基于虚拟渲染模块进行建立虚拟协助场景，利用虚拟现实设备进行沉浸式的观看到模拟的场景，通过交互反馈器，对被协助方的设备进行操作控制或语音指导操作，使用该方法拓展了远程协助的方式，在移动端通过虚拟远程协助的环境，扩大了被协助方屏幕的视野尺寸，同时带来了更贴近现实的沉浸感，提高了解决问题的效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种远程协助方法，其特征在于，包括：

被协助端向协助端发起协助请求，并在所述协助端同意后在所述被协助端和所述协助端之间建立通信连接；其中，所述协助请求中包括需要协助的问题；

所述被协助端针对所述需要协助的问题，采集数据发送给所述协助端；

所述协助端基于接收的采集数据进行物体识别，根据所述物体识别的结果，在模型库中进行模型匹配，并利用匹配后的模型进行三维建模，将建立的三维模型与物体和场景关联后构建虚拟协助场景，呈现给所述协助端的用户；

所述协助端将协助信息发送给所述被协助端。

2.根据权利要求1所述的方法，其特征在于，所述被协助端将采集数据发送给所述协助端包括：

所述被协助端携带本机设备的标识码、采集数据、设备信息和时间戳信息发送给所述协助端。

3.根据权利要求1所述的方法，其特征在于，所述被协助端向协助端发起协助请求包括：所述协助端通过中转设备向所述协助端发起协助请求；所述协助端与被协助端之间的通信连接是通过所述中转设备进行中转连接的；

或者，所述被协助端向协助端发起协助请求包括：所述协助端直接向所述协助端发起协助请求；所述协助端与被协助端之间的通信连接是直接进行的。

4.根据权利要求1所述的方法，其特征在于，在所述协助端将所述虚拟协助场景呈现给所述协助端的用户后、所述协助端接收所述协助端的用户的指令前，该方法还包括：

所述协助端对虚拟协助场景中的物体进行定位和跟踪，并呈现给所述协助端的用户。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：

所述被协助端对场景中的物体进行跟踪定位，当定位发生变化时，将变化的信息发送给所述被协助端；

所述被协助端根据所述变化的信息，更新所述虚拟协助场景中对应物体的位置。

6.根据权利要求1所述的方法，其特征在于，所述协助端将协助信息发送给所述被协助端包括：

所述协助端接收所述协助端的用户的指令，并将该指令转发给所述被协助端；或者，所述被协助端与协助端建立语音或视频连接，并通过语音或视频沟通协助信息。

7.根据权利要求1所述的方法，其特征在于，所述被协助端协助协助端的方式为自动协助方式或人工协助方式。

8.根据权利要求7所述的方法，其特征在于，当所述被协助端协助协助端的方式为人工协助方式时，该方法还包括：

所述协助端进行物体识别，根据物体识别结果进行模型匹配并建立三维模型，将三维模型与物体和场景建立关联后构建虚拟协助场景，并对虚拟协助场景中的物体进行定位和跟踪；根据协助端发来的协助信息更新虚拟协助场景。

9.根据权利要求1、7或8所述的方法，其特征在于，当存在多个协助端时，所述协助端将协助信息发送给所述被协助端前，该方法包括：所述协助端将协助信息发送给其他协助端，并在收到确认信息后执行所述将协助信息发送给所述被协助端的操作。