CN114070834A - 一种远程协助方法、装置及其相关设备和存储介质 - Google Patents

Abstract

本申请公开了一种远程协助方法、装置及其相关设备和存储介质，该方法包括：响应于检测到第一终端拍摄到目标设备，向第二终端发送目标设备的操作请求；获取第二终端发送的对目标设备的操作指令；生成与操作指令匹配的虚拟操作指导信息，以使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作，其中，操作是基于虚拟操作指导信息生成的。通过上述方式，本申请能够提高远程协助的效率，降低误操作的概率。

Description

一种远程协助方法、装置及其相关设备和存储介质

技术领域

本申请涉及远程通信技术领域，特别是涉及一种远程协助方法、装置及其相关设备和存储介质。

背景技术

随着现代化技术的发展，设备的构造更加复杂化且精细化，可能会存在不知如何正确操作设备的问题，在用户不会使用设备功能或者不清楚如何操控设备的情况下，一般会选择通过电话或者视频等方式获取远程协助。

目前，在远程协助的过程中，通常双方会利用电话、视频等方式，以通过口述的形式进行远程指导教学。但是，通过口述实现远程协助的方式，可能会存在口述不当或者由于操作较为复杂，口述内容不容易被理解等问题，从而可能导致误操作的发生，且指导效率较低。

发明内容

本申请主要解决的技术问题是提供一种远程协助方法、装置及其相关设备和存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种远程协助方法，该方法包括：响应于检测到第一终端拍摄到目标设备，向第二终端发送目标设备的操作请求；获取第二终端发送的对目标设备的操作指令；生成与操作指令匹配的虚拟操作指导信息，以使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作，其中，操作是基于虚拟操作指导信息生成的。

因此，通过获取第二终端发送的对目标设备的操作指令，并生成匹配操作指令的虚拟操作指导信息，进而能够使第一终端基于虚拟操作指导信息显示虚拟对象对目标设备执行与操作指令匹配的操作。故能够实现第二终端通过虚拟对象对第一终端的用户进行远程操作指导，使第一终端的用户能够更加清晰直观地了解到如何对目标设备进行操作，提高了远程协助的效率，减少了误操作的发生概率。

其中，生成与操作指令匹配的虚拟操作指导信息，包括：基于操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序；生成虚拟操作指导信息，其中，虚拟操作指导信息用于使虚拟对象按照目标操作顺序对目标图像中的目标设备执行至少一个目标操作。

因此，基于第二终端的操作指令确定出目标操作以及目标操作的目标操作顺序，以使后续虚拟对象能够安装目标操作顺序对目标图像中的目标设备执行目标操作。

其中，基于所述操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序，包括：确定与操作指令匹配的至少一个目标操作键以及目标操作键的目标触发顺序；将对至少一个目标操作键进行触发操作确定为目标操作，并基于目标触发顺序得到目标操作顺序。

因此，基于第二终端的操作指令进一步确定与操作指令匹配的目标操作键和目标操作键的目标触发顺序，以将对目标操作键进行触发操作定义为目标操作，并将对目标操作键的目标触发顺序定义为目标操作顺序。

其中，确定与操作指令匹配的至少一个目标操作键以及目标操作键的目标触发顺序，包括：响应于操作指令包括触发目标设备的预设功能，获取与预设功能匹配的若干操作键以及若干操作键的操作顺序，作为目标操作键和对应的目标触发顺序；或者，响应于操作指令包括触发目标设备的至少一个操作键，将至少一个操作键以及对应的触发顺序，作为目标操作键和对应的目标触发顺序；和/或，将对至少一个目标操作键进行触发操作确定为目标操作，并基于目标触发顺序得到目标操作顺序，包括：响应于目标设备的当前状态为不可操作状态，获取使目标设备进入可操作状态的操作，作为辅助操作；将辅助操作和将对至少一个目标操作键进行触发操作，确定为目标操作；以及基于目标触发顺序以及辅助操作与目标操作键的触发操作之间的预设执行关系，得到目标操作顺序。

因此，通过对目标设备进行状态检测，以确定是否设置辅助操作，从而保证第一终端的用户在基于虚拟对象的操作指导下，在目标设备上执行与目标操作对应的操作后，目标设备能够正常运行。

其中，目标图像为当前拍摄画面、历史拍摄画面或者是根据至少一张历史拍摄画面生成的；和/或，触发操作包括指向、触碰或按压；和/或，可操作状态包括已连接电源、已开机、已解锁、目标设备的预设部位处于预设状态中的至少一种状态。

因此，通过设置触发操作的各种形式，以使虚拟对象能够以多样的形式对目标设备的目标操作键进行触发操作。

其中，在基于操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序之后，远程协助方法还包括：获取包含目标操作的细化操作指导信息的语音指导数据；在第一终端显示虚拟对象执行目标操作的过程中，使第一终端语音播放对应目标操作的语音指导数据。

因此，通过设置在第一终端显示虚拟对象执行目标操作的过程中，使第一终端语音播放对应目标操作的语音指导数据，使第一终端的用户能够更加清楚地了解如何对目标设备进行操作。

其中，向第二终端发送目标设备的操作请求是在拍摄到的目标设备满足预设要求的情况下执行的；和/或，远程协助方法还包括以下至少一个步骤：响应于拍摄到的目标设备满足预设要求，使第一终端在目标设备的预设位置显示虚拟对象；响应于拍摄到的目标设备满足预设要求，对第一终端拍摄到的目标设备进行分析，得到目标设备的当前状态，并使第一终端显示当前状态。

因此，通过设置在第一终端拍摄到的目标设备满足预设要求时，才执行向第二终端发送目标设备的操作请求，以保证能够对第一终端拍摄到的目标设备进行准确且快速的识别。

其中，向第二终端发送目标设备的操作请求，包括：获取目标设备的设备信息；基于目标设备的设备信息，生成目标设备的虚拟操作区域的显示指令；其中，虚拟操作区域包括目标设备中的操作键和/或表示目标设备的预设功能的衍生键；向第二终端发送显示指令，以使第二终端显示虚拟操作区域；其中，操作指令是第二终端的用户对虚拟操作区域中的操作键或衍生键进行触发得到，或者基于第二终端的用户发出的语音数据转化得到。

因此，通过向第二终端发送虚拟操作区域的显示指令，以使在第二终端的界面上显示虚拟操作区域，有利于后续第二终端的用户在虚拟操作区域进行触发操作而生成操作指令。

其中，使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作，包括：向第一终端发送虚拟操作指导信息，以使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作。

因此，通过设置远程协助方法的执行主体为除第一终端和第二终端以外的其他远程协助设备，实现第二终端对第一终端的远程协助。

其中，远程协助方法应用于第一终端与第二终端处于视频通信过程中，第一终端在视频通信中的本端显示界面执行显示虚拟对象对目标设备执行与操作指令匹配的操作。

因此，通过限定远程协助方法应用于视频通讯过程中，以便于第一终端和第二终端在视频过程中进行交流协助。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种远程协助装置，该装置包括：检测模块，用于响应于检测到第一终端拍摄到目标设备，向第二终端发送目标设备的操作请求；获取模块，用于获取第二终端发送的对目标设备的操作指令；生成模块，用于生成与操作指令匹配的虚拟操作指导信息，以使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作，其中，操作是基于虚拟操作指导信息生成的。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述远程协助方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述远程协助方法。

上述方案，通过获取第二终端发送的对目标设备的操作指令，并生成匹配操作指令的虚拟操作指导信息，进而能够使第一终端基于虚拟操作指导信息显示虚拟对象对目标设备执行与操作指令匹配的操作。故能够实现第二终端通过虚拟对象对第一终端的用户进行远程操作指导，使第一终端的用户能够更加清晰直观地了解到如何对目标设备进行操作，提高了远程协助的效率，减少了误操作的发生概率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请提供的远程协助方法一实施例的流程示意图；

图2是图1所示步骤向第二终端发送目标设备的操作请求一实施例的流程示意图；

图3是图1所示步骤S13一实施例的流程示意图；

图4是图3所示步骤S131一实施例的流程示意图；

图5是图4所示步骤S1312一实施例的流程示意图；

图6是本申请提供的远程协助方法另一实施例的流程示意图；

图7是本申请提供的远程协助装置一实施例的结构示意图；

图8是本申请提供的电子设备一实施例的结构示意图；

图9为本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

请参阅图1，图1是本申请提供的远程协助方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：

步骤S11：响应于检测到第一终端拍摄到目标设备，向第二终端发送目标设备的操作请求。

本实施例的方法用于对目标设备的操作进行远程指导，本文所述的目标设备包括但不限于手机、电脑、平板电脑等电子设备，或者是空调、电视、洗衣机、微波炉、冰箱等家用设备，或者是打印机、扫描仪、加工机等机械设备，或者是上述设备的遥控装置等，例如，遥控器。需要说明的是，为了便于描述，下面将以目标设备为微波炉为例对本申请的技术方案进行说明，但不应仅限于此。

在一实施方式中，第一终端和第二终端可以是手机。可以理解地，在其他实施方式中，第一终端和第二终端也可以是电脑、平板电脑等其他电子设备，可根据实际使用需要具体设置，在此不做具体限定。当然，第一终端和第二终端也可以是不同的电子设备，例如，第一终端为手机，第二终端为平板电脑。

在一实施方式中，本申请提供的远程协助方法的执行主体可以是除第一终端和第二终端以外的其他远程协助设备，例如，服务器。可以理解地，在其他实施方式中，本申请提供的远程协助方法的执行主体也可以是第一终端，可根据实际使用需要具体设置执行主体，在此不做具体限定。需要说明的是，为了便于描述，下面将以服务器为执行主体为例对本申请的技术方案进行说明，但不应仅限于此。

本实施方式中，第一终端会拍摄目标设备并传输至服务器，服务器在检测到第一终端拍摄到的目标设备后，即服务器响应于检测到第一终端拍摄到目标设备，会向第二终端发送目标设备的操作请求。在一实施方式中，可以是服务器基于目标设备的设备信息生成操作请求，操作请求可以是服务器基于目标设备的设备信息生成的虚拟操作区域的显示指令，当服务器将该显示指令发送给第二终端时，会使得第二终端显示虚拟操作区域，以便于后续进行远程协助。

可选地，虚拟操作区域可以包括目标设备中的操作键，虚拟操作区域上显示的操作键主要根据目标设备的型号具体设置；以目标设备为微波炉为例，微波炉的操作键为“功率“设定键、“加热时长”设定键等。在其他实施方式中，虚拟操作区域也可以包括表示目标设备的预设功能的衍生键，衍生键即为目标设备上本身不具有的操作键，是基于目标设备上的操作键生成的具有预设功能的按键；以目标设备为微波炉为例，衍生键可以为“热菜”键、“解冻”键等，“热菜”键实则为基于微波炉的“功率”设定键和“加热时长”设定键生成的按键。或者，虚拟操作区域也可同时包括表示目标设备的预设功能的衍生键和目标设备中的操作键。

可以理解地，在其他实施方式中，也可以是服务器基于包括目标设备按键区域的图片生成操作请求，操作请求是服务器基于包括目标设备按键区域的图片生成的显示指令，当服务器将该显示指令发送给第二终端时，会使得第二终端显示包括目标设备按键区域的图片。当然，操作请求也可以是其他形式，在此不做具体限定。

在一实施方式中，服务器在向第二终端发送目标设备的操作请求之前，需要先判断第一终端拍摄到的目标设备是否满足预设要求，也就是说，向第二终端发送目标设备的操作请求是在拍摄到的目标设备满足预设要求的情况下执行的。

可选地，预设要求可以为目标设备为预设类型的设备且目标设备在画面中的占比大于或等于预设比例，或者预设要求也可以仅为目标设备为预设类型的设备等，可根据实际使用场景具体设置，在此不做具体限定。

步骤S12：获取第二终端发送的对目标设备的操作指令。

本实施方式中，第二终端在接收到对目标设备的操作请求后，持有第二终端的用户B会执行相应的操作以生成对目标设备的操作指令，并且第二终端将该操作指令发送给服务器，以使服务器获取第二终端发送的对目标设备的操作指令。

可选地，在一实施方式中，操作指令可以是第二终端的用户B对第二终端界面上显示的目标设备的操作键或者衍生键进行触发得到的。可以理解地，在其他实施方式中，操作指令也可以是第二终端的用户B发出的语音数据转化得到的。

在一具体的实施方式中，第二终端显示虚拟操作区域，虚拟操作区域包括目标设备的操作键和衍生键。在用户B触发虚拟操作区域中的操作键或衍生键时，会生成对目标设备的操作指令，并发送给服务器，以使服务器获取第二终端发送的对目标设备的操作指令。或者，用户B口述虚拟操作区域上显示的按键名称，第二终端将采集到的用户B的语音数据发送给服务器，服务器会对接收到的语音数据进行转化解析，以获取到对目标设备的操作指令。

在另一具体的实施方式中，第二终端显示包括目标设备按键区域的图片。在用户B触发图片中的按键时，第二终端会将被触发的按键的位置信息发送给服务器，以使服务器根据按键的位置信息确定用户B是对图片上的哪个按键进行了触发，也即，使服务器获取到了用户B对目标设备的操作指令。

步骤S13：生成与操作指令匹配的虚拟操作指导信息，以使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作。

本实施方式中，服务器会基于第二终端对目标设备的操作指令，生成与操作指令匹配的虚拟操作指导信息，并使第一终端基于虚拟操作指导信息显示虚拟对象对目标设备执行与操作指令匹配的操作。由于本实施例的执行主体是服务器，所以服务器生成虚拟操作指导信息后，会向第一终端发送虚拟操作指导信息，以使第一终端基于虚拟操作指导信息控制虚拟对象对目标设备执行与操作指令匹配的操作，并在第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作。也就是说，第一终端利用增强现实技术生成虚拟对象并在第一终端的界面上会显示虚拟对象，第一终端根据服务器基于操作指令生成的虚拟操作指导信息控制虚拟对象执行与操作指令匹配的操作，以使得第一终端的用户A可通过第一终端的界面观察到虚拟对象对目标设备执行的匹配操作指令的操作，也即，第一终端的用户A能够通过虚拟对象观察到如何对目标设备进行具体操作，从而实现第二终端的用户B对第一终端的用户A进行远程协助，可看作是第二终端的用户B通过虚拟对象对第一终端的用户A进行实时的肢体操作指导，操作指导更加清晰直观，提高了远程协助的效率，减少了误操作的概率。

举例来说，以目标设备为微波炉、操作指令为用户B触发了虚拟操作界面上的“功率”设定键而生成的为例，服务器会基于操作指令“触发功率设定键”生成虚拟操作指导信息，并使第一终端基于虚拟操作指导信息控制虚拟对象对第一终端的界面中的目标设备执行匹配触发“功率”设定键而生成的操作指令的操作，第一终端的用户A会在第一终端的界面上观察到虚拟对象执行匹配操作指令的操作，以告知用户如何对目标设备进行操作。

在一实施方式中，虚拟对象可以是虚拟人物，可以是以第二终端的用户B为头像的虚拟人物，也可以是以其他真实人物、动画人物为头像的虚拟人物，在此不做具体限定。可以理解地，在其他实施方式中，虚拟对象也可以是虚拟动物、虚拟物体等，可根据实际使用需要具体设置，在此不做具体限定。

在一实施方式中，在当第一终端拍摄到的目标设备满足预设要求，服务器响应于拍摄到的目标设备满足预设要求，使第一终端在目标设备的预设位置显示虚拟对象。其中，不对虚拟对象相对于目标设备的预设位置做具体限定，可根据实际使用需要具体设置。举例来说，第一终端在拍摄目标设备时，能够获取到画面中的目标设备的位置信息，当服务器获取到画面中的目标设备的位置信息后，可将画面中的目标设备的中心设置为坐标(0，0)，此时可将虚拟对象的中心设置为(0，10)，即虚拟对象相对于目标设备的预设位置为(0，10)。

在一实施方式中，本实施例的远程协助方法用于在第一终端和第二终端处于视频通信过程中，第一终端在视频通信中的本端显示界面执行显示虚拟对象对目标设备执行与操作指令匹配的操作。

上述实施方式，通过获取第二终端发送的对目标设备的操作指令，以能够生成匹配操作指令的虚拟操作指导信息，并能够使第一终端基于虚拟操作指导信息显示虚拟对象对目标设备执行与操作指令匹配的操作。也就是说，第一终端的用户能够通过虚拟对象观察到如何对目标设备进行具体操作，即实现第二终端通过虚拟对象对第一终端的用户进行实时的肢体操作指导，使第一终端的用户能够更加清晰直观地了解到如何对目标设备进行操作，提高了远程协助的效率，减少了误操作的发生概率。

请参阅图2，图2是图1所示步骤向第二终端发送目标设备的操作请求一实施例的流程示意图。需要注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施例中，执行主体为服务器，服务器基于目标设备的设备信息生成操作请求，具体包括：

步骤S21：判断第一终端拍摄到的目标设备是否满足预设要求。

本实施方式中，会先判断第一终端设备拍摄到的目标设备是否满足预设要求，以确定是否执行后续向第二终端发送操作请求的相关步骤。也就是说，向第二终端发送目标设备的操作请求是在拍摄到的目标设备满足预设要求的情况下执行的。

在一实施方式中，预设要求可以为目标设备为预设类型的设备。具体地，服务器接收到第一终端拍摄到的包括目标设备的画面后，会对目画面中的目标设备进行识别，以确定目标设备的类型，并判断目标设备的类型是否为服务器中某一预设类型的设备，在当该目标设备的类型与服务器中某一预设类型的设备匹配时，则表明服务器中预存有该目标设备及其相关的设备信息，此时执行步骤S22；否则，则表明服务器中未预存有该目标设备类型，此时服务器可向第一终端发送提示信息，以提示第一终端的用户A“服务器中未存储有该目标设备及其相关的信息，无法通过本远程协助方法进行远程协助”等类似的信息，其中，不对提示信息的内容具体限定，可根据实际使用场景具体设置。

可选地，在一实施方式中，第一终端拍摄到的包括目标设备的画面可以是多张，即第一终端从多角度对目标设备进行拍摄，例如，从目标设备的正面、侧面或者背面等对目标设备进行拍摄，并传输至服务器，以使服务器能够更加快速且准确地对目标设备进行识别，提高了服务器识别的效率和准确性。可以理解地，在其他实施方式中，第一终端拍摄到的包括目标设备的画面也可以是一张，具体可根据实际使用需要设置，在此不做具体限定。其中，当服务器无法基于第一终端拍摄的包括目标设备的画面完成对目标设备的识别时，会向第一终端发送提示信息，以提示第一终端的用户A“请多角度拍摄目标设备或者请从其他角度拍摄目标设备”等类似的信息，其中，不对提示信息的内容具体限定，可根据实际使用场景具体设置。

可选地，在一实施方式中，可以利用Fully Convolutional One-Stage(简称：FCOS)算法对目标设备进行识别。可以理解地，在其他实施方式中，也可以利用FeatureSelective Anchor-Free(简称：FSAF)算法、Feature Pyramid Networks(简称：FPN)算法等其他算法对目标设备进行识别，可根据实际使用需要具体设置，在此不做具体限定。

在其他实施方式中，预设要求也可以为目标设备为预设类型的设备且目标设备在画面中的占比大于或等于预设比例，例如70％、80％等。具体地，服务器接收到第一终端拍摄到的包括目标设备的画面后，会对目标设备在画面中的占比进行计算，当目标设备在画面中的占比大于或等于预设比例时，表明目标设备在画面中是清晰，便于后续对其进行识别等；而当目标设备在画面中的占比小于预设比例时，表明目标设备在画面中的占比较小，不利于后续对其的识别，可能会导致识别错误等情况发生，则此时服务器可向第一终端发送提示信息，以提示第一终端的用户A“当前画面中目标设备不清晰，请重新拍摄目标设备”等类似的信息，其中，不对提示信息的内容具体限定，可根据实际使用场景具体设置。

在其他实施方式中，当操作请求是服务器基于包括目标设备按键区域的图片生成的显示指令，即当服务器将该显示指令发送给第二终端时，会使得第二终端显示包括目标设备按键区域的图片时，预设要求也可以是第一终端拍摄到的画面中包括目标设备的完整的操作区域。举例来说，以目标设备为微波炉为例，服务器接收到第一终端拍摄到的包括微波炉的画面后，会判定画面中是否包括微波炉的按键或者旋钮等操作微波炉运作的完整的操作区域，在当画面中包括完整的操作区域时，则表明第一终端拍摄的包括目标设备的画面符合预设要求，此时执行步骤S22；否则，则表明第一终端拍摄的包括目标设备的画面不符合预设要求，此时服务器可向第一终端发送提示信息，以提示第一终端的用户A“当前拍摄的画面未包括或者未包括完整的操作区域，请重新拍摄”等类似的信息，其中，不对提示信息的内容具体限定，可根据实际使用场景具体设置。

当然，预设要求也可以为除上述预设要求以外的其他要求，可根据实际使用需要具体设置，在此不做具体限定。

步骤S22：获取目标设备的设备信息。

本实施方式中，服务器在对目标设备进行识别并确定了目标设备为何设备后，会调取该目标设备的相关设备信息，以获取得到对应该目标设备的设备信息。

可选地，目标设备的设备信息包括但不限于目标设备的品牌、目标设备的型号、目标设备上的操作键以及各操作键对应的介绍信息等。举例来说，以目标设备为A品牌B型号的微波炉为例，在服务器对目标设备进行识别并确定了目标设备为A品牌B型号的微波炉后，会调取A品牌B型号的微波炉的设备信息，以获取得到对应A品牌B型号的微波炉的设备信息。

步骤S23：基于目标设备的设备信息，生成目标设备的虚拟操作区域的显示指令。

在一实施方式中，虚拟操作区域包括目标设备中的操作键。本实施方式中，由于能够获取到目标设备的操作键等设备信息，所以服务器能够基于目标设备的设备信息，生成包括目标设备中的操作键的虚拟操作区域，以使后续用户B能够通过触发虚拟操作区域中的操作键生成相应的操作指令，实现对用户A的远程协助。在其他实施方式中，为了便于用户B更加快速且准确地对目标设备进行远程协助，虚拟操作区域还可包括表示目标设备的预设功能的衍生键。

此外，服务器会生成目标设备的虚拟操作区域的显示指令，以使后续能够在第二终端界面上显示虚拟操作区域，实现用户B通过触发虚拟操作区域中的操作键生成相应的操作指令。

步骤S24：向第二终端发送显示指令，以使第二终端显示虚拟操作区域。

本实施方式中，服务器会向第二终端发送虚拟操作区域的显示指令，以使第二终端显示虚拟操作区域，从而使得第二终端的用户B能够基于虚拟操作区域上的操作键或者衍生进行触发等操作，以生成对目标设备的操作指令。

需要说明的是，在执行主体为第一终端时，服务器只是起到传输信息指令的作用，那么此时步骤S21-S24由第二终端执行。

请参阅图3，图3是图1所示步骤S13一实施例的流程示意图。需要注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施例包括：

步骤S131：基于操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序。

本实施方式中，服务器基于第二终端的用户B对目标设备的操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序。也就是说，服务器会根据用户B的操作指令，确定与操作指令匹配的目标操作，如果与该操作指令匹配的目标操作为多个，同时还会确定多个目标操作的操作顺序。

请参阅图4，图4是图3所示步骤S131一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。如图4所示，本实施例包括：

步骤S1311：确定与操作指令匹配的至少一个目标操作键以及目标操作键的目标触发顺序。

本实施方式中，确定与操作指令匹配的至少一个目标操作键以及目标操作键的目标触发顺序。也就是说，服务器会根据用户B的操作指令，确定与操作指令匹配的目标操作键，如果与该操作指令匹配的目标操作键为多个，同时还会确定多个目标操作键的目标触发顺序。

在一具体的实施方式中，操作指令包括用户B触发目标设备的预设功能，即操作指令是基于用户B在第二终端上显示的虚拟操作区域触发表示目标设备预设功能的衍生键而生成的。服务器响应于操作指令包括触发目标设备的预设功能，会对该操作指令进行解析，以获取与预设功能匹配的若干操作键以及若干操作键的操作顺序，并将若干操作键作为目标操作键以及将若干操作键的操作顺序作为目标触发顺序。

举例来说，以目标设备为微波炉、预设功能为热菜为例，用户B在第二终端上显示的虚拟操作区域触发“热菜”这一衍生键而生成操作指令，服务器在接收到“热菜”这一操作指令后，会对其进行解析，以获取与“热菜”这一预设功能匹配的操作键1“功率设定键”和操作键2“加热时长设定键”及先操作操作键1“功率设定键”后操作操作键2“加热时长设定键”这一操作顺序，并最终将操作键1“功率设定键”和操作键2“加热时长设定键”这两个操作键作为目标操作键，以及将先操作操作键1“功率设定键”后操作操作键2“加热时长设定键”这一操作顺序作为目标触发顺序。

在另一具体的实施方式中，操作指令包括触发目标设备的至少一个操作键，即操作指令是基于用户B在第二终端上显示的虚拟操作区域触发目标设备的操作键而生成的。服务器响应于操作指令包括触发目标设备的至少一个操作键，将至少一个操作键以及操作键对应的触发顺序，作为目标操作键和对应的目标触发顺序。

举例来说，以目标设备为微波炉，用户A需要用户B远程协助指导如何进行“热菜”为例，由于对于该微波炉，进行热菜需要先操作操作键1“功率设定键”，然后操作操作键2“加热时长设定键”，所以用户B在第二终端上显示的虚拟操作区域会先触发操作键1“功率设定键”再触发操作键2“加热时长设定键”，此时服务器会将用户B触发的操作键1“功率设定键”和操作键2“加热时长设定键”作为目标操作键，并将用户B对操作键的触发顺序作为目标触发顺序。又例如，以目标设备为微波炉，用户A需要用户B远程协助指导如何进行“功率大小”设置为例，用户B在第二终端上显示的虚拟操作区域触发“功率”设定键即可，此时服务器会将用户B触发的“功率”设定键作为目标操作键，由于只触发了单一的操作键，所以此时服务器不需要确定对目标操作键的目标触发顺序。

在一实施方式中，当用户B在虚拟操作区域触发完一操作键后的预设时间内，未继续触发其他操作键时，则服务器认为用户B对某一功能的远程协助指导，已完成触发所需的所有操作键。其中，不对预设时间的长短进行限定，可根据实际使用需要具体设置。举例来说，以目标设备为微波炉，用户A需要用户B远程协助指导如何进行“热菜”为例，当用户B在第二终端上显示的虚拟操作区域先触发操作键1“功率设定键”再触发操作键2“加热时长设定键”后的预设时间内，未再触发其他操作键时，则服务器认为用户B已完成触发所需的所有操作键。在其他实施方式中，也可在第二终端上显示的虚拟操作区域处设置“完成”键，用户B可在完成触发所需的所有操作键后触发“完成”键，在服务器获取的操作指令中包括“完成”键时，即表明服务器获知用户B已完成了对需要的操作键的触发，提高服务器的处理效率，避免多余的确认等待时间。

步骤S1312：将对至少一个目标操作键进行触发操作确定为目标操作，并基于目标触发顺序得到目标操作顺序。

本实施方式中，将对至少一个目标操作键进行触发操作确定为目标操作，并基于目标触发顺序得到目标操作顺序，以使后续虚拟对象执行匹配操作指令的目标操作时，会按照目标触发顺序对第一终端界面中的目标设备的目标操作键进行触发操作，从而能够生动形象地向第一终端的用户A展示对目标设备的操作指导。

在一实施方式中，对目标操作键的触发操作可以是指向目标操作键，也可以是触碰目标操作键或者按压目标操作键等其他形式的触发操作，可根据实际使用需要具体设置，在此不做具体限定。

为了保证第一终端的用户A在基于虚拟对象的操作指导下，在目标设备上执行与目标操作对应的操作后，目标设备能够正常运行，在一实施方式中，请参阅图5，图5是图4所示步骤S1312一实施例的流程示意图，还需要对目标设备的状态进行检测，并基于目标设备的状态进一步确定目标操作，具体包括如下子步骤：

步骤S51：判断目标设备的当前状态是否为可操作状态。

本实施方式中，需要对目标设备的当前状态进行检测，以判定目标设备的当前状态是否为可操作状态，以确保第一终端的用户在基于虚拟对象的操作指导下，在目标设备上执行目标操作后，目标设备能够正常运行。其中，当目标设备的当前状态为可操作状态时，则表明目标设备当前正处于待运行状态，在用户A对目标设备执行上述目标操作时即对目标设备触发对应目标操作键的按键时，目标设备能够正常运行，此时执行步骤S132；而当目标设备的当前状态为不可操作状态时，则表明用户A直接对目标设备触发与上述目标操作对应的按键时，目标设备无法正常运行，需要对目标设备的状态进行调整，此时执行步骤S52。

在一实施方式中，服务器响应于第一终端拍摄到的目标设备满足预设要求，对第一终端拍摄到的目标设备进行分析，以得到目标设备的当前状态，并使第一终端显示当前状态，以使得后续第一终端的界面上显示虚拟对象对显示界面中的具备当前状态的目标设备执行触发操作。

可选地，在一实施方式中，目标设备的可操作状态包括目标设备已连接电源、已开机、已解锁或者目标设备的预设部位处于预设状态(例如，微波炉的门处于关闭状态)等，可根据实际使用需要具体设置，在此不做具体限定。其中，由于目标设备是能够连网的设备，服务器可通过连网状态对目标设备的电源连接情况、开关机状态、是否解锁、目标设备的预设部位是否处于预设状态等状态进行检测，以确定目标设备的当前状态是否为可操作状态；或者，服务器也可根据获取到的第一终端拍摄到的目标设备的画面进行判断目标设备的当前状态是否为可操作状态，可根据实际使用场景具体设置判断方式，在此不做具体限定。

步骤S52：响应于目标设备的当前状态为不可操作状态，获取使目标设备进入可操作状态的操作，作为辅助操作。

本实施方式中，在目标设备的当前状态为不可操作状态时，服务器响应于目标设备的当前状态为不可操作状态，会获取使得目标设备进入可操作状态的操作，并将此操作作为辅助操作。也就是说，在目标设备的当前状态为不可操作状态时，在对目标设备进行相应的目标操作键触发之前，需要将目标设备的当前状态调整为可操作状态，以保证第一终端的用户A在基于虚拟对象的操作指导下，在目标设备上触发对应目标操作键的按键后，目标设备能够正常运行。

举例来说，以目标设备为微波炉为例，服务器检测到微波炉的门处于打开状态，则表明微波炉的当前状态为不可操作状态，此时服务器会将“关闭微波炉的门”这一操作作为辅助操作。

步骤S53：将辅助操作和将对至少一个目标操作键进行触发操作，确定为目标操作。

本实施方式中，为了使第一终端的用户A在基于虚拟对象的操作指导下，在目标设备上按顺序执行对应目标操作键的按键后，目标设备能够正常运行，所以将辅助操作和将对至少一个目标操作键进行触发操作确定为目标操作，以使后续第一终端能够显示虚拟对象对辅助操作和目标设备的目标操作键进行触发操作，也即，使后续虚拟对象能够执行包括辅助操作和目标操作键的目标操作，从而使得第一终端的用户A在基于虚拟对象的操作指导下，能够先对目标设备的状态进行调整，然后再对目标设备触发对应目标操作键的按键，保证在目标设备处于待运行状态下才对目标设备进行相关操作。

举例来说，以目标设备为微波炉，为了实现热菜这一功能的目标操作键1为“功率设定键”，目标操作键2为“加热时长设定键”为例，服务器检测到微波炉的门处于打开状态，此时服务器会将“关闭微波炉的门”这一操作作为辅助操作和将对目标操作键1“功率设定键”、目标操作键2“加热时长设定键”进行触发操作，确定为目标操作。

步骤S54：基于目标触发顺序以及辅助操作与目标操作键的触发操作之间的预设执行关系，得到目标操作顺序。

本实施方式中，服务器基于目标触发顺序以及辅助操作与目标操作键的触发操作之间的预设关系，得到目标操作顺序。也就是说，服务器会根据目标操作键的目标触发顺序以及辅助操作与目标操作键的触发操作之间的预设执行关系，得到包括辅助操作的目标操作的目标操作顺序。

举例来说，以目标设备为微波炉，为了实现热菜这一功能的目标操作键1为“功率设定键”，目标操作键2为“加热时长设定键”，辅助操作为“关闭微波炉的门”为例，为了保证使用微波炉的安全性，微波炉在使用时门是处于关闭状态的，因此辅助操作“关闭微波炉的门”和目标操作键的触发操作之间的预设执行关系是：先执行辅助操作，再执行目标操作键的触发操作，所以目标操作顺序是：执行辅助操作“关闭微波炉的门”→触发目标操作键1“功率设定键”→触发目标操作键2“加热时长设定键”。

步骤S132：生成虚拟操作指导信息。

本实施方式中，在确定了与操作指令匹配的目标操作和目标操作顺序后，服务器会生成使虚拟对象按照目标操作顺序对目标图像中的目标设备执行至少一个目标操作的虚拟指导信息。也就是说，服务器会基于操作指令生成包括目标操作和目标操作顺序的虚拟操作指导信息，以使后续虚拟对象能够基于虚拟操作指导信息，并按照目标操作顺序对目标图像中的目标设备执行目标操作。

在一实施方式中，目标图像为第一终端当前拍摄的包括目标设备的画面，也可以使第一终端历史拍摄的包括目标设备的画面，或者也可以是服务器根据至少一张第一终端历史拍摄的包括目标设备的画面生成的，可根据实际使用需要具体设置，在此不做具体限定。

为了使第一终端的用户A能够更加清楚地了解如何对目标设备进行操作，在一实施方式中，请参阅图6，图6是本申请提供的远程协助方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。如图6所示，本实施例包括：

步骤S61：获取包含目标操作的细化操作指导信息的语音指导数据。

本实施方式中，服务器会获取包含目标操作的细化操作指导信息的语音指导数据。

可选地，在一实施方式中，细化操作指导信息可以是对目标操作的具体介绍，也就是说，会对目标操作涉及的操作键的参数信息进行介绍，例如，介绍“功率”设定键具体包括几档功率，每挡功率具体为多大等。

可以理解地，在其他实施方式中，细化操作指导信息还可以包括除操作键参数信息以外的其他综合信息。举例来说，以目标设备为微波炉，用户A需要用户B远程协助指导如何进行“热菜”为例，根据用户A需要协助的部分，细化操作指导信息还可包括：对于加热A菜，功率设定为A1、加热时长设定为A2；对于加热B菜，功率设定为B1、加热时长设定为B2等，以使用户A能够更加准确地操作“功率设置键”和“加热时长设定键”至合适的大小。

步骤S62：在第一终端显示虚拟对象执行目标操作的过程中，使第一终端语音播放对应目标操作的语音指导数据。

本实施方式中，为了使第一终端的用户A能够更加清楚地了解如何对目标设备进行操作，会在第一终端显示虚拟对象执行目标操作的过程中，使第一终端语音播放对于目标操作的语音指导数据，以使得第一终端的用户A不仅了解到每一目标操作对应的操作键的基本信息，还可以根据自己需求对目标设备进行快速且准确的操作和调整，避免出现误操作，提高了远程协助效率。

请参阅图7，图7是本申请提供的远程协助装置一实施例的结构示意图。远程协助装置70包括检测模块71、获取模块72和生成模块73。检测模块71用于响应于检测到第一终端拍摄到目标设备，向第二终端发送目标设备的操作请求；获取模块72用于获取第二终端发送的对目标设备的操作指令；生成模块73用于生成与操作指令匹配的虚拟操作指导信息，以使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作，其中，操作是基于虚拟操作指导信息生成的。

其中，生成模块73用于生成操作指令匹配的虚拟操作指导信息，具体包括：基于操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序；生成虚拟操作指导信息，其中，虚拟操作指导信息用于使虚拟对象按照目标操作顺序对目标图像中的目标设备执行至少一个目标操作。

其中，生成模块73用于基于操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序，具体包括：确定与操作指令匹配的至少一个目标操作键以及目标操作键的目标触发顺序；将对至少一个目标操作键进行触发操作确定为目标操作，并基于目标触发顺序得到目标操作顺序。

其中，生成模块73用于确定与操作指令匹配的至少一个目标操作键以及目标操作键的目标触发顺序，具体包括：响应于操作指令包括触发目标设备的预设功能，获取与预设功能匹配的若干操作键以及若干操作键的操作顺序，作为目标操作键和对应的目标触发顺序；或者，响应于操作指令包括触发目标设备的至少一个操作键，将至少一个操作键以及对应的触发顺序，作为目标操作键和对应的目标触发顺序；和/或，将对至少一个目标操作键进行触发操作确定为目标操作，并基于目标触发顺序得到目标操作顺序，包括：响应于目标设备的当前状态为不可操作状态，获取使目标设备进入可操作状态的操作，作为辅助操作；将辅助操作和将对至少一个目标操作键进行触发操作，确定为目标操作；以及基于目标触发顺序以及辅助操作与目标操作键的触发操作之间的预设执行关系，得到目标操作顺序。

其中，上述目标图像为当前拍摄画面、历史拍摄画面或者是根据至少一张历史拍摄画面生成的；和/或，上述触发操作包括指向、触碰或按压；和/或，上述可操作状态包括已连接电源、已开机、已解锁、目标设备的预设部位处于预设状态中的至少一种状态。

其中，远程协助装置70还包括播放模块74，播放模块74用于在基于操作指令，确定至少一个目标操作以及至少一个目标操作的目标操作顺序之后，具体包括：获取包含目标操作的细化操作指导信息的语音指导数据；在第一终端显示虚拟对象执行目标操作的过程中，使第一终端语音播放对应目标操作的语音指导数据。

其中，上述向第二终端发送目标设备的操作请求是在拍摄到的目标设备满足预设要求的情况下执行的；和/或，上述方法还包括以下至少一个步骤：响应于拍摄到的目标设备满足预设要求，使第一终端在目标设备的预设位置显示虚拟对象；响应于拍摄到的目标设备满足预设要求，对第一终端拍摄到的目标设备进行分析，得到目标设备的当前状态，并使第一终端显示当前状态。

其中，检测模块71用于向第二终端发送目标设备的操作请求，具体包括：获取目标设备的设备信息；基于目标设备的设备信息，生成目标设备的虚拟操作区域的显示指令；其中，虚拟操作区域包括目标设备中的操作键和/或表示目标设备的预设功能的衍生键；向第二终端发送显示指令，以使第二终端显示虚拟操作区域；其中，操作指令是第二终端的用户对虚拟操作区域中的操作键或衍生键进行触发得到，或者基于所第二终端的用户发出的语音数据转化得到。

其中，生成模块73用于使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作，具体包括：向第一终端发送虚拟操作指导信息，以使第一终端显示虚拟对象对目标设备执行与操作指令匹配的操作。

其中，上述方法应用于第一终端与第二终端处于视频通信过程中，第一终端在视频通信中的本端显示界面执行显示虚拟对象对目标设备执行与操作指令匹配的操作。

请参阅图8，图8是本申请提供的电子设备一实施例的结构示意图。电子设备80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一远程协助方法实施例的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：微型计算机、服务器，此外，电子设备80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器82用于控制其自身以及存储器81以实现上述任一远程协助方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。

请参阅图9，图9为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令91，程序指令91用于实现上述任一远程协助方法实施例的步骤。

本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。

可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种远程协助方法，其特征在于，所述方法包括：

响应于检测到第一终端拍摄到目标设备，向第二终端发送所述目标设备的操作请求；

获取所述第二终端发送的对所述目标设备的操作指令；

生成与所述操作指令匹配的虚拟操作指导信息，以使所述第一终端显示虚拟对象对所述目标设备执行与所述操作指令匹配的操作，其中，所述操作是基于虚拟操作指导信息生成的。

2.根据权利要求1所述的方法，其特征在于，所述生成与所述操作指令匹配的虚拟操作指导信息，包括：

基于所述操作指令，确定至少一个目标操作以及所述至少一个目标操作的目标操作顺序；

生成所述虚拟操作指导信息，其中，所述虚拟操作指导信息用于使所述虚拟对象按照所述目标操作顺序对目标图像中的所述目标设备执行所述至少一个目标操作。

3.根据权利要求2所述的方法，其特征在于，所述基于所述操作指令，确定至少一个目标操作以及所述至少一个目标操作的目标操作顺序，包括：

确定与所述操作指令匹配的至少一个目标操作键以及所述目标操作键的目标触发顺序；

将对所述至少一个目标操作键进行触发操作确定为所述目标操作，并基于所述目标触发顺序得到所述目标操作顺序。

4.根据权利要求3所述的方法，其特征在于，所述确定与所述操作指令匹配的至少一个目标操作键以及所述目标操作键的目标触发顺序，包括：

响应于所述操作指令包括触发所述目标设备的预设功能，获取与所述预设功能匹配的若干操作键以及所述若干操作键的操作顺序，作为所述目标操作键和对应的所述目标触发顺序；或者，响应于所述操作指令包括触发所述目标设备的至少一个操作键，将所述至少一个操作键以及对应的触发顺序，作为所述目标操作键和对应的所述目标触发顺序；

和/或，所述将对所述至少一个目标操作键进行触发操作确定为所述目标操作，并基于所述目标触发顺序得到所述目标操作顺序，包括：

响应于所述目标设备的当前状态为不可操作状态，获取使所述目标设备进入可操作状态的操作，作为辅助操作；

将所述辅助操作和所述将对所述至少一个目标操作键进行触发操作，确定为所述目标操作；以及

基于所述目标触发顺序以及所述辅助操作与所述目标操作键的触发操作之间的预设执行关系，得到所述目标操作顺序。

5.根据权利要求4所述的方法，其特征在于，

所述目标图像为当前拍摄画面、历史拍摄画面或者是根据至少一张历史拍摄画面生成的；

和/或，所述触发操作包括指向、触碰或按压；

和/或，所述可操作状态包括已连接电源、已开机、已解锁、所述目标设备的预设部位处于预设状态中的至少一种状态。

6.根据权利要求2至5任一项所述的方法，其特征在于，在所述基于所述操作指令，确定至少一个目标操作以及所述至少一个目标操作的目标操作顺序之后，所述方法还包括：

获取包含所述目标操作的细化操作指导信息的语音指导数据；

在所述第一终端显示所述虚拟对象执行所述目标操作的过程中，使所述第一终端语音播放对应所述目标操作的语音指导数据。

7.根据权利要求1至6任一项所述的方法，其特征在于，

所述向第二终端发送所述目标设备的操作请求是在拍摄到的所述目标设备满足预设要求的情况下执行的；

和/或，所述方法还包括以下至少一个步骤：

响应于拍摄到的所述目标设备满足预设要求，使所述第一终端在所述目标设备的预设位置显示所述虚拟对象；

响应于拍摄到的所述目标设备满足预设要求，对所述第一终端拍摄到的所述目标设备进行分析，得到所述目标设备的当前状态，并使所述第一终端显示所述当前状态。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述向第二终端发送所述目标设备的操作请求，包括：

获取所述目标设备的设备信息；

基于所述目标设备的设备信息，生成所述目标设备的虚拟操作区域的显示指令；其中，所述虚拟操作区域包括所述目标设备中的操作键和/或表示所述目标设备的预设功能的衍生键；

向所述第二终端发送所述显示指令，以使所述第二终端显示所述虚拟操作区域；

其中，所述操作指令是所述第二终端的用户对所述虚拟操作区域中的操作键或衍生键进行触发得到，或者基于所述第二终端的用户发出的语音数据转化得到。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述使所述第一终端显示虚拟对象对所述目标设备执行与所述操作指令匹配的操作，包括：

向所述第一终端发送所述虚拟操作指导信息，以使所述第一终端显示虚拟对象对所述目标设备执行与所述操作指令匹配的操作。

10.根据权利要求1至9任一项所述的方法，其特征在于，

所述方法应用于所述第一终端与第二终端处于视频通信过程中，所述第一终端在所述视频通信中的本端显示界面执行所述显示虚拟对象对所述目标设备执行与所述操作指令匹配的操作。

11.一种远程协助装置，其特征在于，所述装置包括：

检测模块，用于响应于检测到第一终端拍摄到目标设备，向第二终端发送所述目标设备的操作请求；

获取模块，用于获取所述第二终端发送的对所述目标设备的操作指令；

生成模块，用于生成与所述操作指令匹配的虚拟操作指导信息，以使所述第一终端显示虚拟对象对所述目标设备执行与所述操作指令匹配的操作，其中，所述操作是基于虚拟操作指导信息生成的。

12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令能够被执行以实现如权利要求1-10中任一项所述的方法。

Images