CN109165062A - 一种终端远程协助控制方法及系统 - Google Patents

Abstract

本发明公开了一种终端远程协助控制方法及系统，所述方法包括：终端启动后运行辅助服务，辅助服务根据界面内容变化获取视图列表；控制端与终端建立连接，控制端向终端发送指令，其中，指令包括第一坐标信息和需要执行的动作；终端接收到所述指令后，对第一坐标信息进行解析和转换，生成第二坐标信息；终端根据所述第二坐标信息在视图列表中筛选出符合条件的视图；控制端通过辅助服务对符合条件的视图远程执行需要执行的动作。本发明提供的终端远程协助控制方法及系统，可以在不采用外部方案和不Root的情况下完成远程协助功能，有效提高终端的维护效率，保证了设备的安全性，并在一定程度上降低成本。

Description

一种终端远程协助控制方法及系统

技术领域

本发明涉及控制技术领域，特别涉及一种终端远程协助控制方法及系统。

背景技术

目前行业内Android远程控制或屏幕分享比较成熟的技术方案主要分为两类，其中一类是以TeamViewer为代表，他们的技术方案是：在一端进行屏幕录制，取得视频数据后发送到另一端，而远程控制则是利用ADB命令或Instrumentation的相关方法来模拟事件。另外一类是Vysor，vysor实现屏幕分享的方案主要是通过adb shell来运行app_process，然后利用Surface/SurfaceControl来获取屏幕信息。

无论是TeamViewer还是Vysor，都存在一定的限制。采用TeamView的技术方案则要求被控制的设备必须具备Root权限。root权限是系统权限的一种，也叫根权限，与SYSTEM权限可以理解成一个概念，但高于Administrator权限，root是Linux和unix系统中的超级管理员用户帐户，该帐户拥有整个系统至高无上的权力，所有对象他都可以操作。获得root权限之后就意味着已经获得了系统的最高权限，这时候你可以对系统中的任何文件(包括系统文件)执行所有增、删、改、查的操作。因此，设备取得Root权限后会增加额外的风险。而Vysor虽然不需要Root权限，但是目前只能实现屏幕分享，不能进行点击之类的操作，且只能由电脑通过USB数据线进行使用。另外，上述两种方案既不是开源的，而对于商业使用也不是免费的。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种终端远程协助控制方法及系统，以克服现有技术中被控制的设备必须具备Root权限才能进行远程控制等问题。

为解决上述技术问题，本发明采用的技术方案是：

一方面，提供了一种终端远程协助控制方法，所述方法包括如下步骤：

S1：终端启动后运行辅助服务，所述辅助服务根据界面内容变化获取视图列表；

S2：控制端与所述终端建立连接，所述控制端向所述终端发送指令，其中，所述指令包括第一坐标信息和需要执行的动作；

S3：所述终端接收到所述指令后，对所述第一坐标信息进行解析和转换，生成第二坐标信息；

S4：所述终端根据所述第二坐标信息在所述视图列表中筛选出符合条件的视图；

S5：所述控制端通过所述辅助服务对符合条件的视图远程执行需要执行的动作。

进一步的，所述步骤S2中还包括：

在所述控制端的界面上进行点击，获取点击坐标和需要执行的动作，生成指令。

进一步的，在所述控制端的界面上进行点击，获取点击坐标后还包括：

根据控制端屏幕的宽高的占比，计算出坐标的X和Y方向的坐标占比，其中，所述第一坐标信息包括坐标的X和Y方向的坐标占比。

进一步的，所述步骤S3具体包括：

所述终端接收到所述指令后，根据终端屏幕的宽高对所述第一坐标信息进行解析和转换，获取第二坐标信息。

进一步的，所述步骤S4具体包括：

所述终端根据所述第二坐标信息在所述视图列表中根据视图的显示区域和可见性进行逐层筛选，将筛选出符合条件的所有视图进行倒序排列，并根据视图的可点击和/或可滑动属性进行二次筛选。

进一步的，所述步骤S5具体包括：

所述控制端通过所述辅助服务对符合条件的视图进行远程操作，根据所述需要执行的动作执行相应的事件，并根据返回值判断结果，如果执行失败则继续对下一个视图进行操作，直到返回值显示执行成功。

另一方面，提供了一种终端远程协助控制系统，所述系统包括：

辅助服务，所述辅助服务设置于终端中，用于根据终端界面内容变化获取视图列表，所述辅助服务还用于执行控制端发送的需要执行的动作；

至少一对端口号，所述端口号用于终端与控制端建立通信连接，实现数据的交换；

控制端，所述控制端用于生成指令发送给终端。

进一步的，所述控制端包括：

指令生成模块，用于根据用户在控制端界面上的点击生成指令，所述指令包括第一坐标信息和需要执行的动作；

发送模块，用于将所述指令发送给终端；

接收模块，用于接收终端发送来的相关数据，所述相关数据至少包括：终端的界面显示内容。

进一步的，所述指令生成模块包括：

坐标获取模块，用于根据用户在控制端界面上的点击获取点击坐标；

计算单元，用于根据控制端屏幕的宽高的占比，计算出坐标的X和Y方向的坐标占比。

进一步的，所述终端远程协助控制系统还包括：

转换模块，所述转换模块设置于终端中，用于根据终端屏幕的宽高对所述第一坐标信息进行解析和转换，获取第二坐标信息。

本发明实施例提供的技术方案带来的有益效果是：

本发明提供的终端远程协助控制方法及系统，可以在不采用外部方案和不Root的情况下完成远程协助功能，这样可以有效提高终端的维护效率，也保证了门店设备的公司信息的安全性，并在一定程度上降低成本。另外，采用的自有方案也更灵活，可以根据实际业务的需要进行扩展。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的终端远程协助控制方法的流程图；

图2是本发明实施例提供的终端远程协助控制系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合说明书附图对本发明作进一步阐述。

实施例1

如图1所示，图1是本发明实施例提供的终端远程协助控制方法的流程图，所述方法包括如下步骤：

S1：终端启动后运行辅助服务，所述辅助服务根据界面内容变化获取视图列表。

具体的，本发明实施例中的辅助服务包括Accessibility Service，也可以是其他功能与Accessibility Service相同或相近的服务。Accessibility Service是Android系统提供的一种服务，本身是继承Service类的。这个服务提供了增强的用户界面，旨在帮助残障人士或者可能暂时无法与设备充分交互的人们。

从开发者的角度看，其实就是提供两种功能：查找界面元素，实现模拟点击。实现一个辅助功能服务要求继承Accessibility Service类并实现它的抽象方法。自定义一个服务类Accessibility Sample Service(这个命名可以随意)，继承系统的AccessibilityService并覆写on Accessibility Event和on Interrupt方法。编写好服务类之后，在系统配置文件(AndroidManifest.xml)中注册服务。完成前面两个步骤就完成了基本发辅助功能服务注册与配置，具体的功能实现需要在on Accessibility Event中完成，根据onAccessibility Event回调方法传递过来的Accessibility Event对象可以对事件进行过滤，结合Accessibility Sample Service本身提供的查找节点与模拟点击相关的接口即可实现权限节点的查找与点击

Accessibility Service它运行在后台，而且当Accessibility Events事件被触发的时候系统会自动回调Accessibility Service中的相关方法。这些AccessibilityEvents事件表示用户界面上的一些状态的改变，例如：焦点发生变化，一个button被点击等等。Accessibility Service可以根据自己的需要查询活动窗口的内容(也就是说，界面中产生的任何变化都会产生一个时间，并由系统通知给Accessibility Service.这就像监视器监视着界面的一举一动，一旦界面发生变化，立刻发出警报。)我们要开发AccessibilityService需要继承Accessibility Service类并且实现里面的抽象方法即可。

终端启动后会请求辅助服务(即Accessibility Service)的权限，然后运行辅助服务(即Accessibility Service)，辅助服务根据界面内容变化通过getRootInActiveWindow方法获取当前活动窗口中的所有AccessibilityNodeInfo(即所有视图)，生成视图列表。其中，AccessibilityNodeInfo包含了视图树中View的大部分信息。

S2：控制端与所述终端建立连接，所述控制端向所述终端发送指令，其中，所述指令包括第一坐标信息和需要执行的动作。

具体的，控制端与终端可以通过一对端口号(Socket)建立通信连接。控制端登录后，可以通过输入终端的IP地址进行连接，连接可以设置为普通模式和无人值守模式两种方式。其中，普通模式需要终端主动确认方可进行连接，如果被终端拒绝，则无法连接。而无人值守模式则是控制端不需要终端主动应答也可以建立连接，但是需要控制端输入正确的密钥才能进行对终端的控制。此密钥是由终端首次运行时设置的，并且可通过终端随时修改。

控制端与终端建立连接后，当控制端在屏幕上点击终端某个按钮时，会生成指令，并将该指令发送给终端。指令包括第一坐标信息和需要执行的动作，而第一坐标信息包括坐标的X和Y方向的坐标占比。具体来说，在控制端的界面上进行点击，获取点击坐标后，控制端会根据控制端屏幕的宽高的占比，计算出坐标的X和Y方向的坐标占比。

S3：所述终端接收到所述指令后，对所述第一坐标信息进行解析和转换，生成第二坐标信息。

具体的，终端接收到控制端发送来的指令后，根据终端屏幕的宽高，对第一坐标信息进行解析和转换，生成第二坐标信息。

S4：所述终端根据所述第二坐标信息在所述视图列表中筛选出符合条件的视图。

具体的，终端根据所述第二坐标信息在视图列表进行遍历，根据视图的显示区域和可见性进行逐层筛选，判断当前第二坐标信息所指向的坐标是否在AccessibilitvNodeInfo的区域内，即将每一层中的视图坐标区域与第二坐标信息进行比较，如果坐标在第二坐标信息所指向的区域内，则表示符合条件，将筛选出符合条件的所有视图进行倒序排列，生成新的列表，然后根据视图的可点击和/或可滑动等属性对新的列表中的视图进行二次筛选，再次筛选出符合条件的视图。

S5：所述控制端通过所述辅助服务对符合条件的视图远程执行需要执行的动作。

具体的，最后符合条件的视图，控制端调用辅助服务(即Accessibility Service)中的performAction方法进行远程操作，即根据指令中需要执行的动作执行相应的事件(点击或滑动等)，并根据返回值判断结果，如果执行失败则继续对下一个视图进行操作，直到返回值显示执行成功。需要说明的是，此处方法的返回值是布尔值，返回true表示方法执行成功，返回false表示方法执行失败。

这里需要说明的是，终端首次运行需要设置门店编码、设备名称等相关信息，同时生成设备的唯一编码作为标志。终端进入界面后会获取本机相关信息，主要包括门店信息、系统信息、屏幕信息、存储信息、已安装应用等信息，并将上述信息保存在本地备用。

参见图2所示，图2是本发明实施例提供的终端远程协助控制系统的结构示意图，该系统包括：

辅助服务，所述辅助服务设置于终端中，用于根据终端界面内容变化获取视图列表，所述辅助服务还用于执行控制端发送的需要执行的动作。需要说明的是，本发明实施例中的辅助服务包括Accessibility Service，也可以是其他功能与Accessibility Service相同或相近的服务。Accessibility Service是Android系统提供的一种服务，本身是继承Service类的。

至少一对端口号，所述端口号用于终端与控制端建立通信连接，实现数据的交换。具体来说，本发明实施例中所说的端口号可以使用Socket，Socket可以用来实现不同虚拟机或不同计算机之间的通信。在Internet上的主机一般运行了多个服务软件，同时提供几种服务。每种服务都打开一个Socket，并绑定到一个端口上，不同的端口对应于不同的服务。

控制端，所述控制端用于生成指令并发送给终端。

具体的，控制端通过端口号与终端建立通信连接，控制端可以对终端进行远程控制。

转换模块，转换模块设置于终端中，用于根据终端屏幕的宽高对所述第一坐标信息进行解析和转换，获取第二坐标信息。

进一步的，控制端包括：

指令生成模块，用于根据用户在控制端界面上的点击生成指令，所述指令包括第一坐标信息和需要执行的动作；

发送模块，用于将所述指令发送给终端；

接收模块，用于接收终端发送来的相关数据，所述相关数据至少包括：终端的界面显示内容。

进一步的，指令生成模块包括：

坐标获取模块，用于根据用户在控制端界面上的点击获取点击坐标；

计算单元，用于根据控制端屏幕的宽高的占比，计算出坐标的X和Y方向的坐标占比。

综上所述，本发明提供的终端远程协助控制方法及系统，可以在不采用外部方案和不Root的情况下完成远程协助功能，这样可以有效提高终端的维护效率，也保证了门店设备的公司信息的安全性，并在一定程度上降低成本。另外，采用的自有方案也更灵活，可以根据实际业务的需要进行扩展。

需要说明的是：上述实施例提供的终端远程协助控制系统在触发远程控制业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的终端远程协助控制系统与终端远程协助控制方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种终端远程协助控制方法，其特征在于，所述方法包括如下步骤：

S1：终端启动后运行辅助服务，所述辅助服务根据界面内容变化获取视图列表；

S2：控制端与所述终端建立连接，所述控制端向所述终端发送指令，其中，所述指令包括第一坐标信息和需要执行的动作；

S3：所述终端接收到所述指令后，对所述第一坐标信息进行解析和转换，生成第二坐标信息；

S4：所述终端根据所述第二坐标信息在所述视图列表中筛选出符合条件的视图；

S5：所述控制端通过所述辅助服务对符合条件的视图远程执行需要执行的动作。

2.根据权利要求1所述的终端远程协助控制方法，其特征在于，所述步骤S2中还包括：

在所述控制端的界面上进行点击，获取点击坐标和需要执行的动作，生成指令。

3.根据权利要求2所述的终端远程协助控制方法，其特征在于，在所述控制端的界面上进行点击，获取点击坐标后还包括：

根据控制端屏幕的宽高的占比，计算出坐标的X和Y方向的坐标占比，其中，所述第一坐标信息包括坐标的X和Y方向的坐标占比。

4.根据权利要求1至3任意一项所述的终端远程协助控制方法，其特征在于，所述步骤S3具体包括：

所述终端接收到所述指令后，根据终端屏幕的宽高对所述第一坐标信息进行解析和转换，获取第二坐标信息。

5.根据权利要求1至3任意一项所述的终端远程协助控制方法，其特征在于，所述步骤S4具体包括：

所述终端根据所述第二坐标信息在所述视图列表中根据视图的显示区域和可见性进行逐层筛选，将筛选出符合条件的所有视图进行倒序排列，并根据视图的可点击和/或可滑动属性进行二次筛选。

6.根据权利要求1至3任意一项所述的终端远程协助控制方法，其特征在于，所述步骤S5具体包括：

所述控制端通过所述辅助服务对符合条件的视图进行远程操作，根据所述需要执行的动作执行相应的事件，并根据返回值判断结果，如果执行失败则继续对下一个视图进行操作，直到返回值显示执行成功。

7.一种基于权利要求1至6任意一项所述的终端远程协助控制方法的终端远程协助控制系统，其特征在于，所述系统包括：

辅助服务，所述辅助服务设置于终端中，用于根据终端界面内容变化获取视图列表，所述辅助服务还用于执行控制端发送的需要执行的动作；

至少一对端口号，所述端口号用于终端与控制端建立通信连接，实现数据的交换；

控制端，所述控制端用于生成指令发送给终端。

8.根据权利要求7所述的终端远程协助控制系统，其特征在于，所述控制端包括：

指令生成模块，用于根据用户在控制端界面上的点击生成指令，所述指令包括第一坐标信息和需要执行的动作；

发送模块，用于将所述指令发送给终端；

接收模块，用于接收终端发送来的相关数据，所述相关数据至少包括：终端的界面显示内容。

9.根据权利要求8所述的终端远程协助控制系统，其特征在于，所述指令生成模块包括：

坐标获取模块，用于根据用户在控制端界面上的点击获取点击坐标；

计算单元，用于根据控制端屏幕的宽高的占比，计算出坐标的X和Y方向的坐标占比。

10.根据权利要求7至9任意一项所述的终端远程协助控制系统，其特征在于，所述终端远程协助控制系统还包括：

转换模块，所述转换模块设置于终端中，用于根据终端屏幕的宽高对所述第一坐标信息进行解析和转换，获取第二坐标信息。