CN113138814A - 远程协助方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种远程协助方法、装置、设备和存储介质。该方法包括：监听主控方应用程序的页面操作事件，获得各页面操作参数；将每个所述页面操作参数发送至被控终端，以使所述被控终端依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。通过上述技术方案，实现了两个终端之间的远程协助，提高了远程协助的效率，同时降低了终端的流量消耗和资源消耗。

Description

远程协助方法、装置、设备和存储介质

技术领域

本发明实施例涉及计算机技术，尤其涉及一种远程协助方法、装置、设备和存储介质。

背景技术

目前智能手机普及率非常高，家中长辈几乎都已更新为智能手机，用手机上网、聊天、购物已经成为了他们日常生活中的一部分。但是如何教会长辈使用这些软件却是一大难题。如果是比较固定的功能，长辈们记忆起来还比较容易；但是面对一些比较复杂、不断变化的页面，就比较困难了，尤其是电商购物类的软件，一般是动态布局，界面变化非常频繁。

以购物类软件为例，目前解决这个问题一般有以下几种方式：第一，通过电话、IM软件等语音沟通；第二，使用亲情购功能，该功能需要用户的账号绑定一个亲情账号，完成绑定后，当亲情账号浏览商品详情页时，页面下方会有一个悬浮图标，点击该图标可将所述浏览的商品分享给被绑定者，并同被绑定者进行文字沟通，被绑定者可以浏览该商品，并帮助被绑定者购买支付该商品。第三，使用现有的远程协助软件，如TeamViewer和向日葵远程协助等。这类应用的实现原理一般是不断捕捉主控设备上的屏幕快照和输入事件并上传到服务器，之后传输到被控设备上并作为输入设备以供其执行该输入事件，从而实现远程控制。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：第一，通过语音沟通的方式效率低下，无法准确描述出操作步骤；第二，使用亲情购功能，被绑定用户需要自己完成搜索、浏览、查找等操作，效率同样较低；第三，远程控制软件一般操作较为复杂，普通用户不易掌握，并且其实现过程中传输的是媒体资源，不仅会消耗过多的流量，还会因为转码压缩等操作而占用过多的CPU和内存等资源，降低设备性能。

发明内容

本发明实施例提供一种远程协助方法、装置、设备和存储介质，以实现两个终端之间的远程协助，提高远程协助的效率，同时降低终端的流量消耗和资源消耗。

第一方面，本发明实施例提供了一种远程协助方法，应用于主控终端，包括：

监听主控方应用程序的页面操作事件，获得各页面操作参数；

将每个所述页面操作参数发送至被控终端，以使所述被控终端依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

第二方面，本发明实施例还提供了一种远程协助方法，应用于被控终端，包括：

接收主控终端发送的各页面操作参数，其中，各所述页面操作参数为所述主控终端监听主控方应用程序的页面操作事件而获得；

依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

第三方面，本发明实施例还提供了一种远程协助装置，配置于主控终端，该装置包括：

页面操作参数获取模块，用于监听主控方应用程序的页面操作事件，获得各页面操作参数；

页面操作参数发送模块，用于将每个所述页面操作参数发送至被控终端，以使所述被控终端依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

第四方面，本发明实施例还提供了一种远程协助装置，配置于被控终端，该装置包括：

页面操作参数接收模块，用于接收主控终端发送的各页面操作参数，其中，各所述页面操作参数为所述主控终端监听主控方应用程序的页面操作事件而获得；

被控操作执行模块，用于依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

第五方面，本发明实施例还提供了一种远程协助系统，该系统包括：

主控设备，用于监听主控方应用程序的页面操作事件，获得各页面操作参数，并将每个所述页面操作参数发送至远程协助服务器；

所述远程协助服务器，用于将各所述页面操作参数发送至被控设备；

所述被控设备，用于依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

第六方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的应用于主控终端的远程协助方法，或者应用于被控终端的远程协助方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的应用于主控终端的远程协助方法，或者应用于被控终端的远程协助方法。

本发明实施例通过监听主控方应用程序的页面操作事件，获得各页面操作参数；将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。实现了主控终端仅通过页面操作参数来控制被控终端，完成主控终端与被控终端之间的远程协助，解决了语音沟通效率低、以及因传输媒体文件而增加双方终端资源消耗和流量消耗的问题，提高了远程协助的效率，同时降低了双方终端的流量消耗和资源消耗。

附图说明

图1是本发明实施例一中的一种应用于主控终端的远程协助方法的流程图；

图2是本发明实施例二中的一种应用于主控终端的远程协助方法的流程图；

图3是本发明实施例二中的基于屏幕信息转换页面操作参数的操作事件参数中的操作位置的流程图；

图4是本发明实施例二中的主控终端触发输入事件的远程协助过程示意图；

图5是本发明实施例三中的一种应用于被控终端的远程协助方法的流程图；

图6是本发明实施例四中的一种配置于主控终端的远程协助装置的结构示意图；

图7是本发明实施例五中的一种配置于被控终端的远程协助装置的结构示意图；

图8是本发明实施例六中的一种远程协助系统的结构示意图；

图9是本发明实施例七中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

本实施例提供的远程协助方法可适用于主控终端控制被控终端，以协助完成一定功能的情况，例如，电商购物类应用程序中的协助购物、游戏类应用程序中的协助通关等。该方法可以由远程协助装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在主控终端对应的电子设备中，例如手机、平板电脑或台式电脑等。示例性地，主控终端为移动终端。

参见图1，本实施例的方法具体包括如下步骤：

S110、监听主控方应用程序的页面操作事件，获得各页面操作参数。

其中，主控方应用程序是指主控终端对应的、参与远程协助的应用程序。页面操作事件是指对应用程序中的页面进行操作的事件，例如点击页面中的某个控件对应的点击事件、向某个文本输入框中输入文本的输入事件等。页面操作参数是指页面操作事件对应的参数，例如可以是页面中被操作的控件的信息、以及操作事件的事件信息等。

示例性地，页面操作参数包括操作控件标识、操作事件类型和操作事件参数。其中，操作控件标识是指页面操作事件中被操作的控件的标识，其是应用程序中可以唯一定位一个控件的信息，例如可以是控件编号、控件id或基于控件路径信息而生成的、具有全局唯一性的信息。操作事件类型是指操作事件所属的类型，例如可以是点击事件、滑动事件或输入事件等。操作事件参数是指事件的具体信息，例如可以是事件发生的时间或事件对应的页面位置等。不同的页面操作事件具有不同的页面操作参数。例如，对于购物类应用程序中的物品搜索事件，其操作控件标识为输入框对应的控件标识和搜索筛选条件对应的筛选控件的控件标识；操作事件类型包含点击事件(筛选)和输入事件(输入搜索关键词)；操作事件参数包括点击事件的点击时间和点击位置，以及输入事件的输入时间、输入位置和输入的文本内容等。又如，对于物品浏览页面中的浏览时间，其操作控件标识为呈现各物品的视图的控件标识；操作事件类型为滑动事件；操作事件参数为滑动时间和滑动操作的起止位置等。上述的点击位置、输入位置和起止位置中的位置均是指页面页码及该页面中的具体像素位置，页面页码是指设备的显示屏幕中可显示的一个页面在整个应用程序中的页码。这样设置的好处在于，利用页面操作参数更加简单且详细地表征页面操作事件，从而进一步提高后续远程协助的效率，以及进一步节省远程协助过程中的终端流量消耗。

本发明实施例中仅通过在主控终端和被控终端之间传输页面操作参数来实现远程协助，其实现的基础是应用程序的开发框架应当具有以下功能：1、控件定位功能，即每个页面中的每个控件都有唯一的控件标识，以便通过页面信息和控件标识来唯一定位一个控件；2、事件拦截功能，即拦截用户在应用程序中的所有操作事件(可以通过页面操作参数来表征操作事件)；3、事件执行功能，即根据事件对应的参数来自动执行相应的事件。例如，Android系统的Android辅助功能中包含的无障碍辅助服务AccessibilityService，便可实现上述功能。

在主控方应用程序具有的上述功能的基础上，本发明实施例中便可以通过监听主控方应用程序中的每个页面操作事件，获得相应页面操作事件的页面操作参数。

示例性地，当应用程序为基于Android系统的应用程序时，监听主控方应用程序的页面操作事件，获得各页面操作参数包括：通过无障碍辅助服务，回调Android系统中的事件监听函数，获得监听事件对象，并通过监听事件对象获得各页面操作参数。当主控方应用程序为基于Android系统框架开发时，监听主控方应用程序的页面操作事件，获得各页面操作参数的过程具体为：首先，通过无障碍辅助服务AccessibilityService，回调Android系统中的事件监听函数onAccessibilityEvent()，获得监听事件对象AccessibilityEvent。然后，通过监听事件对象AccessibilityEvent获得每个页面操作事件的页面操作参数。

S120、将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作。

其中，被控方应用程序是指被控终端对应的、参与远程协助的应用程序。主控方应用程序和被控方应用程序为相同应用程序，只是安装应用程序的载体不同，一个为主控终端，一个为被控终端，例如主控方应用程序为“A购物应用”，被控方应用程序也为“A购物应用”。这样，被控方应用程序也具有同主控方应用程序相同的功能，便能够仅通过页面操作参数来实现远程协助。

主控终端每获得一个页面操作参数便会将其及时发送至被控终端，以便被控终端可以近乎实时地按照该页面操作参数在被控方应用程序中自动执行相同的页面操作事件，完成远程协助中的一次远程同步操作。

示例性地，当应用程序为购物类应用程序时，在将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作之后，还包括：接收被控终端发送的物品获取任务生成信息，并依据物品获取任务生成信息更新主控方应用程序中的物品获取任务信息的显示控件。其中，物品获取任务生成信息是指生成物品获取任务的信息，例如购买商品时的订单信息等。当应用程序为购物类应用程序时，被控终端的用户可以进行下单购买操作，以协助主控终端的用户完成物品购买操作。该协助购买物品的过程具体为：主控终端接收被控终端执行物品获取任务生成操作后获得的物品获取任务生成信息，并根据该物品获取任务生成信息在主控方应用程序中执行相应的物品获取任务生成操作，更新主控方应用程序中物品获取任务信息对应的显示控件的显示状态，例如将“待发货”显示控件上的数量加1。这样设置的好处在于，远程协助主控终端的用户完成下单操作，提高购物类应用程序的使用便捷性。

本实施例的技术方案，通过监听主控方应用程序的页面操作事件，获得各页面操作参数；将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。实现了主控终端仅通过页面操作参数来控制被控终端，完成主控终端与被控终端之间的远程协助，解决了语音沟通效率低、以及因传输媒体文件而增加双方终端资源消耗和流量消耗的问题，提高了远程协助的效率，同时降低了双方终端的流量消耗和资源消耗。

在上述技术方案的基础上，本发明实施例的远程协助方法还包括：接收输入语音信息，并将输入语音信息发送至被控终端；和/或，接收被控终端发送的协助语音信息。本发明实施例中的远程协助过程，除了在主控终端和被控终端同步显示相同的界面内容之外，还可以增加语音远程协助的功能。具体实施时，主控终端在监听主控方应用程序的页面操作事件的同时，也可以接收用户外部输入的语音信息(即输入语音信息)，并将其发送至被控终端，以播放给被控终端对应的用户。当然，主控终端也可以接收被控终端发送的语音信息(即协助语音信息)，并播放给主控终端对应的用户。这样便实现了远程协助过程中的语音协助，进一步提高了远程协助的效率。

实施例二

本实施例在上述实施例一的基础上，增加了“建立远程协助连接”的相关步骤。在此基础上，还可以进一步对“将每个页面操作参数发送至被控终端”进行优化。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本实施例提供的远程协助方法包括：

S210、在检测到主控方应用程序的远程协助触发操作时，生成远程协助请求，并将远程协助请求发送至被控终端，以使被控终端响应于远程协助请求，建立远程协助连接。

其中，远程协助触发操作是指触发远程协助功能的操作，例如用户点击请求远程协助的功能按钮的点击操作。远程协助请求是指建立远程协助连接的请求，其应当包含主控终端和被控终端的信息，以便能够正确建立两者之间的远程协助连接。

在进行远程协助之前，要求主控方应用程序和被控方应用程序预先均被开启远程协助功能。在该前提下，如果主控终端的用户触发了主控方应用程序中建立远程协助连接的功能按钮，主控终端会检测到远程协助触发操作。此时，主控终端会生成主控方应用程序对应的远程协助请求，并将其发送至被控终端，以便被控终端进行连接响应，建立两者之间的远程协助连接。

示例性地，生成远程协助请求包括：依据主控方标识信息和被控方标识信息生成远程协助请求，其中，主控方标识信息包括主控方账号信息、主控设备的设备标识、主控方PIN码和短信验证码中的至少一项，被控方标识包括被控方账号信息、被控设备的设备标识、被控方PIN码和短信验证码中的至少一项。主控方标识信息和被控方标识信息分别是用于唯一表征主控终端和主控方应用程序，以及被控终端和被控方应用程序的信息。主控方账号信息和被控方账号信息分别是指主控方应用程序和被控方应用程序的登录账号。需要说明的是，很多应用程序可以通过手机号登录，故PIM码一定程度上也可作为应用程序的账号信息。设备标识是每个设备出厂时确定的设备唯一标识码。短信验证码是用于请求建立远程协助连接而生成的短信中的信息。远程协助请求需要准确定位主被控双方终端，而上述设备标识和PIN码可以唯一定位一个设备，账号信息和短信验证码可以唯一定位一个应用程序，故远程协助请求中需要携带由设备标识、PIN码、账号信息和短信验证码中的至少一项构成的主控方标识信息和被控方标识信息，从而准确建立双方连接。

S220、将主控方应用程序的主控方账号信息发送至被控终端，以使被控终端以主控方账号信息访问被控方应用程序。

远程协助过程中，需要在主控终端和被控终端显示相同的显示界面，但是当前有很多的应用程序是会进行个性化推荐的，这样以不同的账号登录的应用程序在同一个功能页面中的显示内容会不同，例如购物类应用程序进行搜索后的搜索结果页中，会因用户性别、用户爱好、用户消费水平和用户历史浏览记录等用户信息的差异而显示不同的搜索物品。基于此，本发明实施例中，在建立远程协助连接后，主控终端需要将主控方账号信息发送至被控终端，以便被控终端控制被控方应用程序以该主控方账号信息来访问被控方应用程序，从而进一步确定远程协助过程中，被控方应用程序与主控方应用程序的显示界面相同。

示例性地，将主控方应用程序的主控方账号信息发送至被控终端包括：将主控方应用程序的主控方账号信息发送至远程协助服务器，以使远程协助服务器依据主控方账号信息生成主控方临时凭证，并将主控方临时凭证发送至被控终端，其中，临时凭证的有效期为远程协助期间。具体地，为了提高账号信息的安全性，本实施例中会将主控方账号信息发送至远程协助服务器，以便远程协助服务器对主控方账号信息进行加密处理，生成主控方临时凭证。例如，远程协助服务器使用AWS安全令牌服务(AWS Security Token Service，AWS STS)创建主控方账号信息对应的可控制对主控方应用程序的AWS资源访问的临时凭证。该主控方临时凭证的有效期仅限于此次远程协助过程，一旦远程协助过程中断，该主控方临时凭证便会失效，避免被控终端持续持有主控者的账号信息，危及用户的账号财产安全。

S230、监听主控方应用程序的页面操作事件，获得各页面操作参数。

S240、将每个页面操作参数发送至远程协助服务器，以使远程协助服务器依据主控终端和被控终端的屏幕信息，对操作事件参数中的操作页面的页码和操作位置进行转换，并将转换后的页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作。

其中，屏幕信息包括屏幕分辨率和屏幕像素密度。

由于不同的终端设备的屏幕尺寸和屏幕信息可能不同，故同一个应用程序运行于不同的终端设备时，该应用程序中的显示页面可能存在显示差异。例如，由于安卓平台的碎片化严重(设备繁多，品牌众多，版本各异，分辨率不统一等)，存在各种各样的屏幕，故主控终端和被控终端的设备屏幕大小可能相同，所能展示的信息量也会不同。鉴于此，本发明实施例中需要在远程协助服务器中，依据主控终端和被控终端的设备的屏幕信息，对页面操作参数中的页码和操作位置进行转换，并将转换后的页面操作参数发送至被控终端，以进一步确定远程协助过程中，被控方应用程序与主控方应用程序的显示界面相同。

上述过程可参见图3，远程协助服务器根据主控终端设备的屏幕信息(屏幕分辨率为1920*1080、像素密度为3)和被控终端设备的屏幕信息(屏幕分辨率为720*480、像素密度为2)，将主控终端中向下滑动60像素(即moveX:0，moveY:60)转换为被控终端中向下滑动40像素(即moveX:0，moveY:40)。

参见图4，假设主控终端和被控终端对应的两个设备之间没有屏幕差异，上述远程协助过程为：当主控终端监听到输入事件，即输入的搜索关键词为“***”，筛选条件为“全部”时，主控终端将主控方账号信息(PIN：123)、输入的搜索关键词“***”、筛选条件“全部”、当前页面的页码(pageNum:1)和页面尺寸(pageSize：10)作为页面操作参数，发送至远程协助服务器。经过远程协助服务器对主控方账号信息的加密处理，生成临时凭证(tempPIN：temp_abc)后，远程协助服务器将临时凭证以及页面操作参数中除主控方账号信息之外的其他信息作为新的页面操作参数，发送至被控终端。被控终端接收到页面操作参数后，据其向被控方应用程序对应的应用服务器发送访问请求，获得搜索结果页，并在被控方应用程序的原生页面中显示。而主控终端，在确定页面操作参数的过程中，可依据页面操作参数对上述应用服务器进行相同的访问，且获得相同的搜索结果页，并在主控方应用程序的原生页面中显示。

在上述远程协助过程中，在流量上的消耗只有建立远程协助连接、页面操作参数传输和应用程序正常访问过程中对接口的请求，远小于实时传输屏幕视频所消耗的流量。并且，该过程中消耗的系统资源(cpu和/或内存等)约等于应用程序正常使用时的资源消耗，相比而言减少了视频采集编码部分的资源消耗。

本实施例的技术方案，将主控方应用程序的主控方账号信息发送至被控终端，以使被控终端以主控方账号信息访问被控方应用程序。实现了以主控方账号来同时访问主控方应用程序和被控方应用程序，避免了因应用程序的用户个性化推荐而导致的远程协助双方的显示界面不一致，进而导致远程协助失败的问题，进一步提高了远程协助过程中被控方应用程序与主控方应用程序的显示界面的一致性。通过将每个页面操作参数发送至远程协助服务器，以使远程协助服务器依据主控终端和被控终端的屏幕信息，对操作事件参数中的操作页面的页码和操作位置进行转换，并将转换后的页面操作参数发送至被控终端。实现了页面操作参数的屏幕适应性转换，更进一步地提高了远程协助过程中被控方应用程序与主控方应用程序的显示界面的一致性。

实施例三

本实施例提供的远程协助方法可适用于主控终端控制被控终端，以协助完成一定功能的情况，例如，电商购物类应用程序中的协助购物、游戏类应用程序中的协助通关等。该方法可以由远程协助装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在被控终端对应的电子设备中，例如手机、平板电脑或台式电脑等。示例性地，被控终端为移动终端。

参见图5，本实施例的方法具体包括如下步骤：

S310、接收主控终端发送的各页面操作参数，其中，各页面操作参数为主控终端监听主控方应用程序的页面操作事件而获得。

被控终端在远程协助过程中，会接收主控终端发送的页面操作参数，该页面操作参数将作为后续被控方应用程序自动执行页面操作事件的输入。

示例性地，在接收主控终端发送的各页面操作参数之前，还包括：接收并响应于主控终端发送的远程协助请求，建立远程协助连接；接收主控终端发送的主控方应用程序的主控方账号信息，并以主控方账号信息访问被控方应用程序。

在被控终端进行远程协助操作之前，需要先接收主控终端发送的远程协助请求并响应。这时，便会建立主控终端和被控终端之间的远程协助连接。之后，被控终端会接收到主控终端发送的主控方账号信息，并以该主控方账号信息访问被控方应用程序。

S320、依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作。

其中，主控方应用程序和被控方应用程序为相同应用程序。

被控终端接收到页面操作参数后，便会按照该页面操作参数的操作事件参数中的页面页码和操作控件标识来定位被控制操作的控件。之后，按照操作事件参数对上述自动定位的控件执行与操作事件类型对应的页面操作事件，完成被控方应用程序与主控方应用程序相同的页面操作事件。

示例性地，当应用程序为基于Android系统的应用程序时，依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作包括：通过无障碍辅助服务调用根视图对象获取函数，获得被控方应用程序的当前页面的根视图对象；以页面操作参数中的操作控件标识为输入参数，通过根视图对象调用控件对象获取函数，获得被控方应用程序的操作控件对象；以页面操作参数中的操作事件参数为输入参数，通过操作控件对象调用与页面操作参数中的操作事件类型对应的函数，执行与页面操作事件相同的操作。

当被控方应用程序为基于Android系统框架开发时，依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作过程为：首先，通过无障碍辅助服务AccessibilityService调用根视图对象获取函数getRootInActiveWindow()，获得被控方应用程序的当前页面的根视图对象。然后，以页面操作参数中的操作控件标识id为输入参数，通过根视图对象调用控件对象获取函数findAccessibilityNodeInfosByViewId(id)，获得被控方应用程序的操作控件对象。如操作事件类型为滑动事件，那么获取的操作控件对象便为待执行滑动操作的视图对象。之后，以页面操作参数中的操作事件参数(如滑动的起止位置)为输入参数，通过待执行滑动操作的视图对象调用与滑动事件对应的滑动函数scrollBy()，完成与主控方应用程序相同的滑动事件。

示例性地，在依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作之后，还包括：通过被控方应用程序显示被控动画，其中，被控动画包括被控状态及主控方信息，主控方信息包括主控方账号信息、主控设备的设备标识、主控方PIN码和短信验证码中的至少一项。为了避免远程协助过程中两端同时操作而引起的操作冲突，本实施例中屏蔽了远程协助过程中被控方的大多数操作(如丢弃被控方应用程序中各控件对应的终端操作参数，或者直接将这些控件的终端操作状态设置为不可用等)。此时，为了避免被控终端的用户认为该被控方应用程序出错而引起的后续操作，本实施例中在被控方应用程序中显示被控动画，以提示被控终端的用户该被控方应用程序目前正在远程协助过程中，以及正在被哪个主控方控制等。需要说明的是，对于购物类应用程序，为了提高实现协助主控终端的用户购物的功能，被控方应用程序中的协助购物环节是允许被控终端的用户操作的。

示例性地，当应用程序为购物类应用程序时，在依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作之后，还包括：在检测到物品获取任务生成的触发操作时，生成物品获取任务生成信息；将物品获取任务生成信息发送至主控终端，以使主控终端依据物品获取任务生成信息更新主控方应用程序中的物品获取任务信息的显示控件。当应用程序为购物类应用程序时，被控终端的用户可以进行下单购买操作，该下单购买操作便为物品获取任务生成的触发操作。当检测到该触发操作时，被控终端会控制被控方应用程序生成物品获取任务生成信息。此时，为了向主控终端的用户提示协助购物信息，被控终端可以将该物品获取任务生成信息发送至主控终端，以使主控终端更新主控方应用程序中的物品获取任务信息的显示控件。这样设置的好处在于，远程协助主控终端的用户完成下单操作，提高购物类应用程序的使用便捷性。

本实施例的技术方案，通过接收主控终端发送的各页面操作参数，其中，各页面操作参数为主控终端监听主控方应用程序的页面操作事件而获得；依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作。实现了主控终端仅通过页面操作参数来控制被控终端，完成主控终端与被控终端之间的远程协助，解决了语音沟通效率低、以及因传输媒体文件而增加双方终端资源消耗和流量消耗的问题，提高了远程协助的效率，同时降低了双方终端的流量消耗和资源消耗。

在上述技术方案的基础上，本发明实施例的远程协助方法还包括：接收输入语音信息，并将输入语音信息发送至主控终端；和/或，接收主控终端发送的协助语音信息。在增加语音远程协助的功能时，被控终端同样需要接收被控终端的用户输入的输入语音信息，并将其发送至主控终端，以播放给主控终端的用户。当然，被控终端也可以接收主控终端发送的语音信息(即协助语音信息)，并播放给被控终端的用户。这样便实现了远程协助过程中的语音协助，进一步提高了远程协助的效率。

实施例四

本实施例提供一种远程协助装置，配置于主控终端，参见图6，该装置具体包括：

页面操作参数获取模块610，用于监听主控方应用程序的页面操作事件，获得各页面操作参数；

页面操作参数发送模块620，用于将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。

可选地，页面操作参数获取模块610具体用于：

当应用程序为基于Android系统的应用程序时，通过无障碍辅助服务，回调Android系统中的事件监听函数，获得监听事件对象，并通过监听事件对象获得各页面操作参数。

可选地，页面操作参数包括操作控件标识、操作事件类型和操作事件参数。

进一步地，页面操作参数发送模块620具体用于：

将每个页面操作参数发送至远程协助服务器，以使远程协助服务器依据主控终端和被控终端的屏幕信息，对操作事件参数中的操作页面的页码和操作位置进行转换，并将转换后的页面操作参数发送至被控终端，其中，屏幕信息包括屏幕分辨率和屏幕像素密度。

可选地，在上述装置的基础上，该装置还包括远程协助连接建立模块，用于：

在监听主控方应用程序的页面操作事件，获得各页面操作参数之前，在检测到主控方应用程序的远程协助触发操作时，生成远程协助请求，并将远程协助请求发送至被控终端，以使被控终端响应于远程协助请求，建立远程协助连接；

将主控方应用程序的主控方账号信息发送至被控终端，以使被控终端以主控方账号信息访问被控方应用程序。

进一步地，远程协助连接建立模块具体用于：

依据主控方标识信息和被控方标识信息生成远程协助请求，其中，主控方标识信息包括主控方账号信息、主控设备的设备标识、主控方PIN码和短信验证码中的至少一项，被控方标识包括被控方账号信息、被控设备的设备标识、被控方PIN码和短信验证码中的至少一项。

进一步地，远程协助连接建立模块还具体用于：

将主控方应用程序的主控方账号信息发送至远程协助服务器，以使远程协助服务器依据主控方账号信息生成主控方临时凭证，并将主控方临时凭证发送至被控终端，其中，临时凭证的有效期为远程协助期间。

可选地，在上述装置的基础上，该装置还包括物品获取任务信息接收模块，用于：

当应用程序为购物类应用程序时，在将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作之后，接收被控终端发送的物品获取任务生成信息，并依据物品获取任务生成信息更新主控方应用程序中的物品获取任务信息的显示控件。

可选地，在上述装置的基础上，该装置还包括语音协助模块，用于：

接收输入语音信息，并将输入语音信息发送至被控终端；和/或

接收被控终端发送的协助语音信息。

通过本发明实施例四的一种远程协助装置，实现了主控终端仅通过页面操作参数来控制被控终端，完成主控终端与被控终端之间的远程协助，解决了语音沟通效率低、以及因传输媒体文件而增加双方终端资源消耗和流量消耗的问题，提高了远程协助的效率，同时降低了双方终端的流量消耗和资源消耗。

本发明实施例所提供的配置于主控终端的远程协助装置可执行本发明任意实施例所提供的应用于主控终端的远程协助方法，具备执行方法相应的功能模块和有益效果。

实施例五

本实施例提供一种远程协助装置，配置于被控终端，参见图7，该装置具体包括：

页面操作参数接收模块710，用于接收主控终端发送的各页面操作参数，其中，各页面操作参数为主控终端监听主控方应用程序的页面操作事件而获得；

被控操作执行模块720，用于依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。

可选地，被控操作执行模块720具体用于：

当应用程序为基于Android系统的应用程序时，通过无障碍辅助服务调用根视图对象获取函数，获得被控方应用程序的当前页面的根视图对象；

以页面操作参数中的操作控件标识为输入参数，通过根视图对象调用控件对象获取函数，获得被控方应用程序的操作控件对象；

以页面操作参数中的操作事件参数为输入参数，通过操作控件对象调用与页面操作参数中的操作事件类型对应的函数，执行与页面操作事件相同的操作。

可选地，在上述装置的基础上，该装置还包括物品获取任务生成信息生成模块，用于：

当应用程序为购物类应用程序时，在依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作之后，在检测到物品获取任务生成的触发操作时，生成物品获取任务生成信息；

将物品获取任务生成信息发送至主控终端，以使主控终端依据物品获取任务生成信息更新主控方应用程序中的物品获取任务信息的显示控件。

可选地，在上述装置的基础上，该装置还包括远程协助连接建立模块，用于：

在接收主控终端发送的各页面操作参数之前，接收并响应于主控终端发送的远程协助请求，建立远程协助连接；

接收主控终端发送的主控方应用程序的主控方账号信息，并以主控方账号信息访问被控方应用程序。

可选地，在上述装置的基础上，该装置还包括语音协助模块，用于：

接收输入语音信息，并将输入语音信息发送至主控终端；和/或，接收主控终端发送的协助语音信息。

可选地，在上述装置的基础上，该装置还包括被控动画显示模块，用于：

在依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作之后，通过被控方应用程序显示被控动画，其中，被控动画包括被控状态及主控方信息，主控方信息包括主控方账号信息、主控设备的设备标识、主控方PIN码和短信验证码中的至少一项。

通过本发明实施例五的一种远程协助装置，实现了主控终端仅通过页面操作参数来控制被控终端，完成主控终端与被控终端之间的远程协助，解决了语音沟通效率低、以及因传输媒体文件而增加双方终端资源消耗和流量消耗的问题，提高了远程协助的效率，同时降低了双方终端的流量消耗和资源消耗。

本发明实施例所提供的配置于被控终端的远程协助装置可执行本发明任意实施例所提供的应用于被控终端的远程协助方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述任意远程协助装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例六

本实施例提供了一种远程协助系统，参见图8，该系统包括：

主控设备810，用于监听主控方应用程序的页面操作事件，获得各页面操作参数，并将每个页面操作参数发送至远程协助服务器820；

远程协助服务器820，用于将各页面操作参数发送至被控设备830；

被控设备830，用于依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。

可选地，页面操作参数包括操作控件标识、操作事件类型和操作事件参数。

可选地，主控设备810具体用于：

当应用程序为基于Android系统的应用程序时，通过无障碍辅助服务，回调Android系统中的事件监听函数，获得监听事件对象，并通过监听事件对象获得各页面操作参数。

可选地，被控设备830具体用于：

当应用程序为基于Android系统的应用程序时，通过无障碍辅助服务调用根视图对象获取函数，获得被控方应用程序的当前页面的根视图对象；

以页面操作参数中的操作控件标识为输入参数，通过根视图对象调用控件对象获取函数，获得被控方应用程序的操作控件对象；

以页面操作参数中的操作事件参数为输入参数，通过操作控件对象调用与页面操作参数中的操作事件类型对应的函数，执行与页面操作事件相同的操作。

可选地，远程协助服务器820还用于：依据主控设备810和被控设备830的屏幕信息，对操作事件参数中的操作页面的页码和操作位置进行转换，并将转换后的页面操作参数发送至被控设备830，其中，屏幕信息包括屏幕分辨率和屏幕像素密度。

可选地，主控设备810还用于：

在监听主控方应用程序的页面操作事件，获得各页面操作参数之前，在检测到主控方应用程序的远程协助触发操作时，生成远程协助请求，并将远程协助请求和主控方账号信息发送至远程协助服务器820；

相应地，远程协助服务器820还用于：

将远程协助请求发送至被控设备830；

依据主控方账号信息生成主控方临时凭证，并将主控方临时凭证发送至被控设备830；

相应地，被控设备830还用于：

接收并响应于主控终端发送的远程协助请求，以建立远程协助连接；

接收远程协助服务器820发送的主控方账号信息，并以主控方账号信息访问被控方应用程序。

可选地，被控设备830还用于：

当应用程序为购物类应用程序时，在依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作之后，在检测到物品获取任务生成的触发操作时，生成物品获取任务生成信息；

将物品获取任务生成信息发送至远程协助服务器820；

相应地，远程协助服务器820还用于：

将物品获取任务生成信息发送至主控设备810；

相应地，主控设备810还用于：

依据物品获取任务生成信息更新主控方应用程序中的物品获取任务信息的显示控件。

可选地，主控设备810还用于：

接收输入语音信息，并将输入语音信息发送至被控设备830；和/或，接收被控设备830发送的协助语音信息。

可选地，被控设备830还用于：

接收输入语音信息，并将输入语音信息发送至主控设备810；和/或，接收主控设备810发送的协助语音信息。

通过本发明实施例六的一种远程协助系统，实现了主控终端仅通过页面操作参数来控制被控终端，完成主控终端与被控终端之间的远程协助，解决了语音沟通效率低、以及因传输媒体文件而增加双方终端资源消耗和流量消耗的问题，提高了远程协助的效率，同时降低了双方终端的流量消耗和资源消耗。

实施例七

参见图9，本实施例提供了一种电子设备，其包括：一个或多个处理器920；存储装置910，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器920执行，使得一个或多个处理器920实现本发明实施例所提供的应用于主控终端的远程协助方法，包括：

监听主控方应用程序的页面操作事件，获得各页面操作参数；

将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。

当然，本领域技术人员可以理解，处理器920还可以实现本发明任意实施例所提供的应用于主控终端的远程协助方法的技术方案。

图9显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图9所示，该电子设备包括处理器920、存储装置910、输入装置930和输出装置940；电子设备中处理器920的数量可以是一个或多个，图9中以一个处理器920为例；电子设备中的处理器920、存储装置910、输入装置930和输出装置940可以通过总线或其他方式连接，图9中以通过总线950连接为例。

存储装置910作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的应用于主控终端的远程协助方法对应的程序指令/模块(例如，配置于主控终端的远程协助装置中的页面操作参数获取模块和页面操作参数发送模块)。

存储装置910可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置910可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置910可进一步包括相对于处理器920远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置930可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。

本发明实施例还提供了另一电子设备，其包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例所提供的应用于被控终端的远程协助方法，包括：

接收主控终端发送的各页面操作参数，其中，各页面操作参数为主控终端监听主控方应用程序的页面操作事件而获得；

依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的应用于被控终端的远程协助方法的技术方案。该电子设备的硬件结构以及功能可参见实施例七的内容解释。

实施例八

本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种应用于主控终端的远程协助方法，该方法包括：

监听主控方应用程序的页面操作事件，获得各页面操作参数；

将每个页面操作参数发送至被控终端，以使被控终端依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的应用于主控终端的远程协助方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所提供的应用于主控终端的远程协助方法。

本发明实施例还提供了另一种计算机可读存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种应用于被控终端的远程协助方法，该方法包括：

接收主控终端发送的各页面操作参数，其中，各页面操作参数为主控终端监听主控方应用程序的页面操作事件而获得；

依据每个页面操作参数控制被控方应用程序执行与页面操作事件相同的操作，其中，主控方应用程序和被控方应用程序为相同应用程序。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的应用于被控终端的远程协助方法中的相关操作。对存储介质的介绍可参见实施例八中的内容解释。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种远程协助方法，其特征在于，应用于主控终端，包括：

监听主控方应用程序的页面操作事件，获得各页面操作参数；

将每个所述页面操作参数发送至被控终端，以使所述被控终端依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

2.根据权利要求1所述的方法，其特征在于，当所述应用程序为基于Android系统的应用程序时，所述监听所述主控方应用程序的页面操作事件，获得各所述页面操作参数包括：

通过无障碍辅助服务，回调Android系统中的事件监听函数，获得监听事件对象，并通过所述监听事件对象获得各所述页面操作参数。

3.根据权利要求1所述的方法，其特征在于，所述页面操作参数包括操作控件标识、操作事件类型和操作事件参数。

4.根据权利要求3所述的方法，其特征在于，所述将每个所述页面操作参数发送至被控终端包括：

将每个所述页面操作参数发送至远程协助服务器，以使所述远程协助服务器依据所述主控终端和所述被控终端的屏幕信息，对所述操作事件参数中的操作页面的页码和操作位置进行转换，并将转换后的页面操作参数发送至所述被控终端，其中，所述屏幕信息包括屏幕分辨率和屏幕像素密度。

5.根据权利要求1所述的方法，其特征在于，在所述监听主控方应用程序的页面操作事件，获得各所述页面操作参数之前，还包括：

在检测到所述主控方应用程序的远程协助触发操作时，生成远程协助请求，并将所述远程协助请求发送至所述被控终端，以使所述被控终端响应于所述远程协助请求，建立远程协助连接；

将所述主控方应用程序的主控方账号信息发送至所述被控终端，以使所述被控终端以所述主控方账号信息访问被控方应用程序。

6.根据权利要求1所述的方法，其特征在于，当应用程序为购物类应用程序时，在将每个所述页面操作参数发送至所述被控终端，以使所述被控终端依据每个所述页面操作参数控制所述被控方应用程序执行与所述页面操作事件相同的操作之后，还包括：

接收所述被控终端发送的物品获取任务生成信息，并依据所述物品获取任务生成信息更新所述主控方应用程序中的物品获取任务信息的显示控件。

7.一种远程协助方法，其特征在于，应用于被控终端，包括：

接收主控终端发送的各页面操作参数，其中，各所述页面操作参数为所述主控终端监听主控方应用程序的页面操作事件而获得；

依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

8.根据权利要求7所述的方法，其特征在于，当所述应用程序为基于Android系统的应用程序时，所述依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作包括：

通过无障碍辅助服务调用根视图对象获取函数，获得所述被控方应用程序的当前页面的根视图对象；

以所述页面操作参数中的操作控件标识为输入参数，通过所述根视图对象调用控件对象获取函数，获得所述被控方应用程序的操作控件对象；

以所述页面操作参数中的操作事件参数为输入参数，通过所述操作控件对象调用与所述页面操作参数中的操作事件类型对应的函数，执行与所述页面操作事件相同的操作。

9.根据权利要求7所述的方法，其特征在于，当应用程序为购物类应用程序时，在所述依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作之后，还包括：

在检测到物品获取任务生成的触发操作时，生成物品获取任务生成信息；

将所述物品获取任务生成信息发送至所述主控终端，以使所述主控终端依据所述物品获取任务生成信息更新所述主控方应用程序中的物品获取任务信息的显示控件。

10.根据权利要求7所述的方法，其特征在于，在所述接收主控终端发送的各页面操作参数之前，还包括：

接收并响应于所述主控终端发送的远程协助请求，建立远程协助连接；

接收所述主控终端发送的主控方应用程序的主控方账号信息，并以所述主控方账号信息访问所述被控方应用程序。

11.一种远程协助装置，其特征在于，配置于主控终端，包括：

页面操作参数获取模块，用于监听主控方应用程序的页面操作事件，获得各页面操作参数；

页面操作参数发送模块，用于将每个所述页面操作参数发送至被控终端，以使所述被控终端依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

12.一种远程协助装置，其特征在于，配置于被控终端，包括：

页面操作参数接收模块，用于接收主控终端发送的各页面操作参数，其中，各所述页面操作参数为所述主控终端监听主控方应用程序的页面操作事件而获得；

被控操作执行模块，用于依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

13.一种远程协助系统，其特征在于，包括：

主控设备，用于监听主控方应用程序的页面操作事件，获得各页面操作参数，并将每个所述页面操作参数发送至远程协助服务器；

所述远程协助服务器，用于将各所述页面操作参数发送至被控设备；

所述被控设备，用于依据每个所述页面操作参数控制被控方应用程序执行与所述页面操作事件相同的操作，其中，所述主控方应用程序和所述被控方应用程序为相同应用程序。

14.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的应用于主控终端的远程协助方法，或者如权利要求7-10中任一所述的应用于被控终端的远程协助方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的应用于主控终端的远程协助方法，或者如权利要求7-10中任一所述的应用于被控终端的远程协助方法。

Images