CN111698333A - 远程控制方法、服务器和系统 - Google Patents

Abstract

本发明实施例提供一种远程控制方法、服务器和系统，其中方法包括：获取客户端的操作信息，客户端装设在移动终端上；将操作信息发送至与客户端指定的目标远程控制设备相连的执行器，以供执行器基于所述操作信息控制所述目标远程控制设备，并反馈目标远程控制设备的屏幕画面；将目标远程控制设备的屏幕画面传输至客户端。本发明实施例提供的方法、服务器和系统，突破了目前的远程控制方法对于实施场合的限制，满足了随时随地访问操作待控制的移动设备的需求，提高了移动端远程控制的便捷性。此外，相较于PC端，移动客户端将真机画面同步缩小至一定比例呈现，远程控制所需传输的数据量更小，能够有效降低延时，提高操作的流畅性。

Description

远程控制方法、服务器和系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种远程控制方法、服务器和系统。

背景技术

移动端测试是应用程序(Application，APP)测试中的重要环节，以检测APP在不同类型的移动设备上是否兼容。在传统的移动端测试中，待测试的移动设备一般采用人工管理的方式留存保管，测试人员在进行移动端测试之前，需要线下领取待测试的移动设备。

人工管理的方式通常要为每个测试人员都配备多个移动设备，导致移动设备的采购和管理成本高昂，利用率和复用率低下。为了解决这一问题，远程控制方法应运而生。目前的远程控制方法，通常需要在个人计算机(Personal Computer，PC)上安装客户端，从而实现针对不同移动设备的远程测试。但是目前的远程控制方法受限于PC端的应用，对于实施场合存在限制，不能随时随地访问操作待测试的移动设备，无法满足移动办公用户的需求。

发明内容

本发明实施例提供一种远程控制方法、服务器和系统，用以解决现有的远程控制存在的问题。

第一方面，本发明实施例提供一种远程控制方法，包括：

获取客户端的操作信息，所述客户端装设在移动终端上；

将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；

将所述目标远程控制设备的屏幕画面传输至所述客户端。

第二方面，本发明实施例提供一种服务器，包括：

获取单元，用于获取客户端的操作信息，所述客户端装设在移动终端上；

测试单元，用于将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；

反馈单元，用于将所述目标远程控制设备的屏幕画面传输至所述客户端。

第三方面，本发明实施例提供一种远程控制系统，包括如第二方面所提供的服务器，以及客户端、与所述服务器连接的若干个执行器和与对应执行器连接的若干个远程控制设备。

本发明实施例提供的一种远程控制方法、服务器和系统，在移动终端上设置客户端，从而突破了目前的远程控制方法对于实施场合的限制，满足了随时随地控制远程的移动设备需求，提高了远程控制的便捷性。此外，相较于PC端，移动客户端将真机画面同步缩小至一定比例呈现，远程控制所需传输的数据量更小，能够有效降低延时，提高操作的流畅性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的远程控制方法的流程示意图；

图2为本发明实施例提供的远程控制系统的架构示意图；

图3为本发明实施例提供的服务器的结构示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的远程控制方法的流程示意图，如图1所示，该方法的执行主体为服务器，该方法包括：

步骤110，获取客户端的操作信息，客户端装设在移动终端上。

步骤120，将操作信息发送至与客户端指定的目标远程控制设备相连的执行器，以供执行器基于操作信息控制目标远程控制设备，并反馈目标远程控制设备的屏幕画面。

步骤130，将目标远程控制设备的屏幕画面传输至客户端。

具体地，为了突破现有的远程控制方法在应用上的局限性，本发明实施例中将客户端装设在移动终端上，从而得到测试人员可以随时随地通过移动终端实现对远程测试服务器的访问，进而能够随时随地远程控制需要进行测试的目标远程控制设备。

其中，用于装设客户端的移动终端具体可以是智能手机等具备通信能力的便携式智能终端。为了实现远程控制，预先设置有服务器、与服务器连接的若干个执行器，以及与对应执行器连接的若干个远程控制设备。此处，远程控制设备即需要进行远程测试的智能设备，例如各个厂商生成的各个型号的智能手机、平板电脑等。一个执行器可连接若干个不同的远程控制设备，一个远程控制设备仅与一个执行器连接。

在远程控制过程中，客户端与服务器网络连接，测试人员通过在客户端进行点击、滑动等操作，控制远程的远程控制设备执行相同的操作。具体地，服务器首先确定客户端指定的目标远程控制设备，随即实时获取客户端的包括点击、滑动等在内的操作信息，并将操作信息发送给与目标远程控制设备相连的执行器。执行器在接收到操作信息后，可以控制目标远程控制设备执行与操作信息中相一致的操作，并采集目标远程控制设备在执行这一操作时的屏幕画面，将屏幕画面反馈到服务器。服务器在接收到执行器反馈的屏幕画面后，将屏幕画面转发到客户端，从而使得测试人员能够通过客户端直接地、实时地监控到目标远程控制设备的屏幕画面，了解测试效果。

本发明实施例提供的方法，在移动终端上设置客户端，从而突破了目前的远程控制方法对于实施场合的限制，满足了随时随地远程控制移动设备的需求，提高了远程控制的便捷性。此外，相较于PC端，移动客户端将真机画面同步缩小至一定比例呈现，远程控制所需传输的数据量更小，能够有效降低延时，提高操作的流畅性。

基于上述实施例，图2为本发明实施例提供的远程控制系统的架构示意图，如图2所示，步骤120具体包括：

若目标远程控制设备为安卓设备，则将操作信息发送至与目标远程控制设备相连的安卓执行器，以供安卓执行器在Adb工具下基于操作信息控制目标远程控制设备，并反馈目标远程控制设备的屏幕画面；

若目标远程控制设备为iOS设备，则将操作信息发送至与目标远程控制设备相连的iOS执行器，以供iOS执行器对接执行接口API完成操作信息对目标远程控制设备的控制，并反馈目标远程控制设备的屏幕画面。

具体地，参考图2，安卓设备和iOS设备分别与不同类型的执行器连接。图2左侧与安卓设备相连的Agent即为安卓执行器，安卓执行器具体可以是虚拟机的形式。安卓执行器是通过Adb(Android Debug Bridge，安卓调试桥)工具完成所述指令的运行。图2右侧与iOS设备相连的Agent即为iOS执行器，iOS执行器运行载体为mac系统。iOS执行器对接执行接口api完成所述指令的运行的。

目前的设计方案中，每台MAC只能连接一台iOS设备，导致iOS设备的远程控制成本居高不下。针对这一问题，基于上述任一实施例，iOS执行器是通过端口映射将iOS设备的UDID指定端口映射到iOS执行器的对应端口的。

具体地，每个iOS设备均对应一个UDID(Unique Device Identifier，唯一设备标识符)，在将多个iOS设备与一个iOS执行器进行连接之前，可以预先确定每个iOS设备的UDID指定端口与iOS执行器的端口之间的对应关系，随即通过端口转发iproxy将iOS设备的UDID指定端口映射到iOS执行器的对应端口，从而实现一个iOS执行器与多个iOS设备之间的连接。

此外，目前针对iOS的屏幕图像获取方案中，自带的idevicescreenshot截图方法帧率过低、延时较大的问题，本发明实施例使用全新的视频流方式来实现屏幕图像获取，进一步地可以在其源码中调整修改图片压缩质量和帧率，并在启动服务后，根据不同iOS设备的UDID指定端口进行端口映射，iOS执行器中接收到服务传来的视频流，并一帧帧进行解析实时通过WebSocket传输到客户端进行显示，由此帧率可达到25到30帧，且延时在100ms。

基于上述任一实施例，所述iOS执行器对接执行接口API完成操作信息对目标远程控制设备的控制，具体包括：

基于操作信息中与控件无关的坐标信息控制目标远程控制设备的点触和滑动；

基于操作信息中的home键操作信息，在非同步机制下控制目标远程控制设备的home键的点触。

具体地，针对于iOS执行接口API原生的点击、滑动和Home键方法延时较大，一方面是因为原生的点击和滑动是与控件关联的，考虑到远程控制场景无需关联控件，可以修改其中的点击和滑动两个方法，从而通过与控件本身无关的坐标信息来实现点击和滑动，大大提高响应速度；另一方面可以修改点击Home键的底层实现，省略原先的同步机制，从而在非同步机制下实现目标远程控制设备的home键点触，使得响应速度加快，操作流畅度几乎实时同步。

基于上述任一实施例，操作信息和/或屏幕画面是基于WebSocket在服务器和执行器之间传输的。

具体地，WebSocket是一种在单个TCP连接上进行全双工通信的协议，在本发明实施例中用于服务器和执行器之间包括画面、日志和命令等各种信息传输。

基于上述任一实施例，步骤120之前还包括：接收客户端发送的目标远程控制设备信息；基于目标远程控制设备信息确定客户端指定的目标远程控制设备，以及与目标远程控制设备相连的执行器。

此处，目标远程控制设备信息用于表征需要进行远程控制的远程控制设备，即目标远程控制设备的相关信息，例如目标远程控制设备的设备ID、设备类型、设备型号等。服务器在接收到目标远程控制设备信息，即可由此确定具体哪个远程控制设备为目标远程控制设备，以及与目标远程控制设备相连的执行器。

通过目标远程控制设备信息可以确定目标远程控制设备，进而使得执行器上挂载的每台远程控制设备能够单独与服务器之间进行通讯而互不干扰。执行器中可以根据不同远程控制设备的设备ID或其他信息来进行区分，每台远程控制设备都各自封装成一个单独的对象包含在集合中，当执行器接收到操作消息后，会根据操作信息所对应的目标远程控制设备的ID等信息来获取对应的远程控制设备，并控制执行对应的操作，从而实现远程控制设备之间的互不干扰。

基于上述任一实施例，步骤130具体包括：基于客户端发送的清晰度切换请求，更新客户端的显示清晰度；基于显示清晰度调整目标远程控制设备的屏幕画面的清晰度，并将调整后的目标远程控制设备的屏幕画面传输至客户端。

具体地，服务器在接收到目标远程控制设备的屏幕画面之后，将屏幕画面转发到客户端之前，可以更新客户端要求的显示清晰度。若当前要求的显示清晰度与当前接收到的屏幕画面的清晰度不同，系统进行自动调整画面数据，再将调整后的屏幕画面发送到客户端。

基于上述任一实施例，步骤130具体包括：将目标远程控制设备的屏幕画面以及横竖屏信息传输至客户端，以供客户端基于横竖屏信息调节逻辑坐标换算关系，并基于逻辑坐标换算关系显示屏幕画面。

此处，横竖屏信息可以是与目标远程控制设备相连的执行器自动感应并发送到服务器的，具体地：当进入真机调试时，执行器后台会自动开启一个日志线程，并实时监控目标远程控制设备的后台日志。针对于目标远程控制设备，通过检测到关键的日志相关字符，来实时处理画面进程的横竖屏切换，并同步调整逻辑坐标比例换算；

基于上述任一实施例，一种远程控制方法，具体包括如下步骤：

首先，移动设备A通过客户端选择任意一台远程控制设备作为目标远程控制设备B进行访问。

随即由与目标远程控制设备B相连的执行器C判断目标远程控制设备B是否在线：

针对安卓设备，经常会有断线和连接不稳定的情况，具体存在两种情况，情况一：设备不在线；情况二：设备在线，但是执行其他任意操作命令，便会无法输出。执行器C可以通过命令的输出结果来判断设备的连接状态；若是无法输出结果，则可以通过定时机制来判断设备断线，避免程序卡住，进而返回信息到移动设备A，结束连接流程；否则确定设备在线，连接成功；

针对iOS设备，执行器C根据接收到的视频流来判断目标远程控制设备B是否在线，来实时向客户端发送信息，进行连接流程。

连接成功后，若目标远程控制设备B为安卓设备，则按序执行画面和操作进程，并实时传输画面；若目标远程控制设备B为iOS设备，则按序启动WDA相关脚本。

移动设备A可以点击不同功能按钮，服务器在获取到操作信息后，可以向安卓执行器实时发送WebSocket请求，实现安装卸载应用、截图、查看下载日志、清晰度切换、横竖屏切换等相关操作；服务器也可以通过向iOS执行器实时发送http连接请求，实现相关操作。

基于上述任一实施例，图3为本发明实施例提供的服务器的结构示意图，如图3所示，服务器包括：

获取单元310，用于获取客户端的操作信息，所述客户端装设在移动终端上；

控制单元320，用于将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；

反馈单元330，用于将所述目标远程控制设备的屏幕画面传输至所述客户端。

本发明实施例提供的服务器，在移动终端上设置客户端，从而突破了目前的远程控制方法对于实施场合的限制，满足了随时随地远程控制移动设备的需求，提高了远程控制的便捷性。此外，相较于PC端，移动客户端将真机画面同步缩小至一定比例呈现，远程控制所需传输的数据量更小，能够有效降低延时，提高操作的流畅性。

基于上述任一实施例，一种远程控制系统，包括服务器，以及客户端、与服务器连接的若干个执行器和与对应执行器连接的若干个远程控制设备。

例如，针对于安卓设备，安卓执行器后台对所能承受的adb进程有一定数量限制，每个安卓执行器可以挂载约16台设备；针对于iOS设备，iOS执行器和iOS设备的画面传输是通过USB实现的，可以通过多个USB转接器接入MAC的USB接口来挂载多个设备，一台MAC可以挂载约12台iOS设备。

图4为本发明实施例提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行如下方法：获取客户端的操作信息，所述客户端装设在移动终端上；将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；将所述目标远程控制设备的屏幕画面传输至所述客户端。

此外，上述的存储器430中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取客户端的操作信息，所述客户端装设在移动终端上；将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；将所述目标远程控制设备的屏幕画面传输至所述客户端。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种远程控制方法，其特征在于，包括：

获取客户端的操作信息，所述客户端装设在移动终端上；

将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；

将所述目标远程控制设备的屏幕画面传输至所述客户端。

2.根据权利要求1所述的远程控制方法，其特征在于，所述将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面，具体包括：

若所述目标远程控制设备为安卓设备，则将所述操作信息发送至与所述目标远程控制设备相连的安卓执行器，以供所述安卓执行器在Adb工具下基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；

若所述目标远程控制设备为iOS设备，则将所述操作信息发送至与所述目标远程控制设备相连的iOS执行器，以供所述iOS执行器对接执行接口API完成所述操作信息对所述目标远程控制设备的控制，并反馈所述目标远程控制设备的屏幕画面。

3.根据权利要求2所述的远程控制方法，其特征在于，所述iOS执行器是通过端口映射将iOS设备的UDID指定端口映射到所述iOS执行器的对应端口的。

4.根据权利要求2所述的远程控制方法，其特征在于，所述iOS执行器对接执行接口API完成所述操作信息对所述目标远程控制设备的控制，具体包括：

根据所述操作信息中与控件无关的坐标信息控制所述目标远程控制设备的点触和滑动；

根据所述操作信息中的home键操作信息，在非同步机制下控制所述目标远程控制设备的home键的点触。

5.根据权利要求1至4任一项所述的远程控制方法，其特征在于，所述操作信息和/或所述屏幕画面是基于WebSocket在服务器和所述执行器之间传输的。

6.根据权利要求1至4任一项所述的远程控制方法，其特征在于，所述将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，之前还包括：

接收所述客户端发送的目标远程控制设备信息；

基于所述目标远程控制设备信息确定所述客户端指定的目标远程控制设备，以及与所述目标远程控制设备相连的执行器。

7.根据权利要求1至4任一项所述的远程控制方法，其特征在于，所述将所述目标远程控制设备的屏幕画面传输至所述客户端，具体包括：

基于所述客户端发送的清晰度切换请求，更新所述客户端的显示清晰度；

基于所述显示清晰度调整所述目标远程控制设备的屏幕画面的清晰度，并将调整后的所述目标远程控制设备的屏幕画面传输至所述客户端。

8.根据权利要求1至4任一项所述的远程控制方法，其特征在于，所述将所述目标远程控制设备的屏幕画面传输至所述客户端，具体包括：

将所述目标远程控制设备的屏幕画面以及横竖屏信息传输至所述客户端，以供所述客户端基于所述横竖屏信息调节逻辑坐标换算关系，并基于所述逻辑坐标换算关系显示所述屏幕画面。

9.一种服务器，其特征在于，包括：

获取单元，用于获取客户端的操作信息，所述客户端装设在移动终端上；

控制单元，用于将所述操作信息发送至与所述客户端指定的目标远程控制设备相连的执行器，以供所述执行器基于所述操作信息控制所述目标远程控制设备，并反馈所述目标远程控制设备的屏幕画面；

反馈单元，用于将所述目标远程控制设备的屏幕画面传输至所述客户端。

10.一种远程控制系统，其特征在于，包括如权利要求9所述的服务器，以及客户端、与所述服务器连接的若干个执行器和与对应执行器连接的若干个远程控制设备。

Images