CN111124567A - 目标应用的操作录制方法和装置 - Google Patents

Abstract

本发明公开了一种目标应用的操作录制方法和装置。其中，该方法包括：通过第二终端上的录制客户端上获取第一终端上的目标应用的第一原始应用画面；在录制客户端上将第一原始应用画面缩小到第一目标应用画面；在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；在录制客户端上将第一目标录制信息记录在录制脚本中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作。本发明解决了现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。

Description

目标应用的操作录制方法和装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种目标应用的操作录制方法和装置。

背景技术

现有关于Windows应用的脚本录制回放的技术主要是通过控件树遍历控件，或者图像处理的方式找到目标点，然后结合Windows鼠标键盘事件实现具体操作。以UIAutomation为代表，都是通过控件树的方式获取应用的布局，然后通过控件在控件树中的路径定位控件。后来随着图像技术的发展，出现了以SikuliX为代表的通过图像定位控件的测试技术。

由于端游的实现方式和防外挂机制，端游客户端无法像普通的PC应用一样，通过注入、hook等方式获取应用窗体结构，因此，不能通过定位控件的方式实现自动化；游戏为了防止外挂影响游戏的公平性和平衡性，会对游戏进行安全防护，使得无法通过常用的方式在游戏内调用键盘鼠标事件，SikuliX就无法对某些进行安全防护的游戏进行脚本回放。

由于端游功能自动化测试的脚本录制方案比较少，兼容性以及使用率都不高。主要的困难包括以下几点：(1)端游的防外挂机制使得一般的键盘、鼠标在端游客户端内无法操作；(2)由于端游的防外挂机制，端游客户端无法像普通的PC应用一样，通过注入、hook等方式获取应用窗体结构，因此不能通过定位控件的方式实现自动化；(3)各类游戏的分辨率、电脑屏幕的分辨率有多种，图像查找效果不好。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标应用的操作录制方法和装置，以至少解决现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。

根据本发明实施例的一个方面，提供了一种目标应用的操作录制方法，包括：在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。

根据本发明实施例的另一方面，还提供了一种目标应用的操作录制装置，包括：第一获取单元，用于在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；缩放单元，用于在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；第二获取单元，用于在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；录制单元，用于在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标应用的操作录制方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的目标应用的操作录制方法。

在本发明实施例中，通过在录制客户端上获取目标应用的第一原始应用画面，其中，目标应用运行在第一终端上，录制客户端运行在第二终端上，录制客户端与第一终端建立了连接；在录制客户端上将第一原始应用画面缩小到第一目标应用画面，其中，第一目标应用画面的尺寸为预定的目标尺寸；在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；在录制客户端上将第一目标录制信息记录在录制脚本中，其中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作，达到了通过录制终端获取第一终端的触控操作的目的，从而实现了对于脚本回放过程中，游戏分辨率、设备分辨率的不同，对匹配模板进行比例缩放，提高匹配的成功率的技术效果，进而解决了现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的目标应用的操作录制方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的目标应用的操作录制方法的流程图；

图3是根据优选实施例一种Windows游戏的脚本录制回放方法的结构框图；

图4是根据本发明实施例的一种可选的目标应用的操作装置的结构示意图；

图5是根据本发明实施例的一种可选的目标应用的操作方法的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好的理解本申请中的实施例，部分名词解释如下：

HTTP通信：一种能够获取如HTML这样的网络资源的protocol(通讯协议)。它是在Web上进行数据交换的基础，是一种client-server协议，通信过程包括从客户端发往服务器端的请求以及从服务器端返回客户端的响应。

CV：OpenCV，Open Source Computer Vision Library，是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

根据本发明实施例的一个方面，提供了一种目标应用的操作录制方法，可选地，作为一种可选的实施方式，上述目标应用的操作方法可以但不限于应用于如图1所示的环境中。该环境中包括用户设备102、服务器112以及网络110，其中服务器112中包括但不限于数据库114以及处理引擎116。用户设备102中可以运行目标应用，也可以运行录制客户端。但需要说明的是，目标应用与录制客户端存在不同的用户设备102中。

可选地，在本实施例中，上述目标应用的操作录制方法可以但不限于应用于服务器112中，用于在录制客户端上获取目标应用的第一原始应用画面，在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作，在所述录制客户端上将第一目标录制信息记录在录制脚本中。其中，上述录制客户端可以但不限于运行在用户设备102中，该用户设备102可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行应用客户端的终端设备。上述服务器112和用户设备102可以但不限于通过网络实现数据交互，上述网络110可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述目标应用的操作录制方法包括：

步骤S202，在录制客户端上获取目标应用的第一原始应用画面，其中，目标应用运行在第一终端上，录制客户端运行在第二终端上，录制客户端与第一终端建立了连接。

步骤S204，在录制客户端上将第一原始应用画面缩小到第一目标应用画面，其中，第一目标应用画面的尺寸为预定的目标尺寸。

步骤S206，在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作。

步骤S208，在录制客户端上将第一目标录制信息记录在录制脚本中，其中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作。

可选的，本实施例的中的目标应用可以包括但不限于游戏应用，其他购物类应用，交通类应用，教育类应用等等。第一原始应用画面可以是应用开始的画面也可以是应用过程中的画面。以目标应用为游戏应用为例，第一原始应用画面可以是打开游戏应用任意时刻对应的游戏应用的画面，如，游戏应用开始时刻的画面为第一原始应用画面，游戏应用开始4分钟时所对应的画面也可以为第一原始应用画面。需要说明的是，在录制游戏应用脚本的过程中，通常是从游戏开始的时刻进行录制，即开始时刻的画面为第一原始应用画面。录制的结束可以录制整个游戏的过程，也可以录制游戏进行的一半等等，录制结束可以任意时刻。

本实施例，可以应用于任何Windows应用的测试中。

在实际应用中，目标应用运行在第一终端上，录制客户端运行在第二终端上，即录制客户端和目标应用不在同一个终端上。其第一终端和第二终端可以是相同类型的终端，也可以是不同类型的终端。即第一终端和第二终端都可以为手机，也可以都为电脑，还可以一个为手机，一个为电脑，此处不做具体的限定。

由于录制客户端和目标应用运行在不同的终端中，不同的终端的显示屏幕的尺寸可能存在不同。因此，为了更好的在录制客户端上高清晰的回放录制目标应用的脚本的。则在录制客户端上将获取的目标应用的第一原始应用画面缩小大第一目标应用画面。也可以将第一原始应用画面放大到第一目标应用画面。进而是缩小或放大后的原始应用画面对应的目标应用画面与录制客户端所运行的终端匹配。

需要说明的是，本实施例中的目标对象可以包括但不限于点击按钮、输出对话框、双击按钮等。

可选地，本实施例中，在录制客户端上将第一原始应用画面缩小到第一目标应用画面可以包括：获取第一原始应用画面的第一尺寸；将第一尺寸与目标尺寸的比例确定为第一目标比例；将第一原始应用画面按第一目标比例缩小到第一目标应用画面。为了得到合适的目标应用画面可以通过比例进行缩放。

可选地，本实施例中，在录制客户端上将第一目标录制信息记录在录制脚本中，包括：

在第一目标触控操作包括输入操作的情况下，将目标接口信息记录在录制脚本中，其中，第一目标录制信息包括目标接口信息，目标接口信息用于指示目标接口，目标接口用于被调用时从目标存储位置获取存储的输入操作所输出的字符串信息。

需要说明的是，在本实施例中，在录制客户端上获取第一目标应用画面中的第一目标对象执行的第一触控操作，即触控操作是在录制客户端中获取的，而不是真实的在目标应用中执行的触控操作。进而避免了游戏应用在全屏或者外挂的情况下，无法获取目标应用中的触控操作。也就是说，避免端游的防外挂机制使得一般的键盘、鼠标在端游客户端内无法操作，进而无法进行对端游的脚本的录制。

需要说明的是，在录制客户端上录制运行在第一终端上的目标应用的脚本，其中目标应用的触控操作是在录制客户端上获取的，进而实现远程录制。由于在录制客户端可以将对任意终端上运行的目标应用的原始画面缩小到目标尺寸，进而满足可以在录制客户端上回放任意终端的目标应该的脚本。

通过上述实施例，通过在录制客户端上获取目标应用的第一原始应用画面，其中，目标应用运行在第一终端上，录制客户端运行在第二终端上，录制客户端与第一终端建立了连接；在录制客户端上将第一原始应用画面缩小到第一目标应用画面，其中，第一目标应用画面的尺寸为预定的目标尺寸；在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；在录制客户端上将第一目标录制信息记录在录制脚本中，其中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作，达到了通过录制终端获取第一终端的触控操作的目的，从而实现了对于脚本回放过程中，游戏分辨率、设备分辨率的不同，对匹配模板进行比例缩放，提高匹配的成功率的技术效果，进而解决了现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。

作为一种可选的本实施例，在录制客户端上将第一目标录制信息记录在录制脚本中之后，包括：

在第二终端上获取回放指令，其中，回放指令用于指示回放录制脚本，第二终端上运行了目标应用；

响应回放指令，在第二终端上显示的第一原始应用画面中查找与录制脚本中记录的第一图片对应的第二图片，其中，第二图片用于表示第一原始应用画面中的第一原始对象，第一图片表示的第一目标对象是第一原始对象的缩小版本；

在第二终端上显示的第一原始应用画面中对第二图片表示的第一原始对象执行第一目标触控操作。

需要说明的是，在第二终端上显示的第一原始应用画面是与第二终端匹配的画面。

还需要说明的是，在第二终端上显示的第一原始应用画面中查找与录制脚本中记录的第一图片对应的第二图片，包括：

按照第二目标比例将第一图片放大到第三图片，其中，第二目标比例为目标尺寸与第一原始应用画面在第二终端上的显示尺寸的比例；

在第二终端上显示的第一原始应用画面中查找与第三图片匹配的第二图片。即在与第三图片大于预定阈值的原始应用画面，在第二终端上显示。

作为一种可选的本实施例，在第二终端上显示的第一原始应用画面中对第二图片表示的第一原始对象执行第一目标触控操作，包括：获取第二图片的中心点在第一原始应用画面中的第一相对坐标位置；根据第一原始应用画面相对于第二终端的屏幕的位置关系，将第一相对坐标位置转换为第二相对坐标位置，其中，第二相对坐标位置为中心点在第二终端的屏幕中的相对坐标位置；在第二相对坐标位置上执行第一目标触控操作。

即可以通过坐标的转换将待测的目标应用的脚本在第二终端上以适时地的大小进行显示。

作为一种可选的本实施例，根据第一原始应用画面相对于第二终端的屏幕的位置关系，将第一相对坐标位置转换为第二相对坐标位置，包括：在第一原始应用画面在第二终端上的显示尺寸与第二终端的屏幕的尺寸相同的情况下，将第二相对坐标位置确定为等于第一相对坐标位置。

作为一种可选的本实施例，在第二终端上获取回放指令之前，在第二终端上安装虚拟硬件驱动；在第二终端上显示的第一原始应用画面中对第二图片表示的第一原始对象执行第一目标触控操作包括：调用虚拟硬件驱动对第一原始对象执行第一目标触控操作。

作为一种可选的本实施例，在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作之后，向第一终端的目标应用发送目标触控指令，其中，目标触控指令用于表示对第一目标对象执行的第一目标触控操作；在录制客户端上获取目标应用的第二原始应用画面，其中，第二原始应用画面为响应于目标触控指令对第一原始应用画面中的第一原始对象执行第一目标触控操作所得到的画面，第一目标对象是第一原始对象的缩小版本。即为了适应当前终端，会将目标对象缩小，或者放大。

根据本发明实施例的另一个方面，还提供了一种优选的实施例。一种Windows游戏的脚本录制回放方法。

如图3所示，是本发明优选实施例一种Windows游戏的脚本录制回放方法的结构框图。基于图3所示，该优选实施例的实现结构框图包括：运行在终端的客户端，以及运行在另一个终端的设备Server；Client用于显示投屏，用于截图目标控件，记录操作，还用于生成录制脚本。回放Server的脚本。该优选实施例基于图3的结构框图具体的实现方法如下：

1、客户端即Client端(相当于与录制客户端)通过IP连接待测游戏的设备(称为Server)(第一终端)，或者直接在待测游戏设备上操作；

2、通过Windows句柄的方式锁定待测游戏；

3、Client端每隔0.1s发送getImage函数请求，Server收到请求后获取当前应用的截图，然后根据请求中的scale尺寸参数对图片进行跨平台视觉库OpenCV的resize函数处理，然后发送图片，Client收到截图并展示；

4、Client端通过截图保存每一步要操作的目标，并记录操作类型(左键单击、左键双击等)；

5、按照规定的格式保存录制下来的脚本；

6、在回放设备上安装虚拟硬件驱动；

7、在回放设备上回放录制的脚本，回放的详细过程包括以下步骤(click(“target.jpg”)操作为例)：

该发送封装了包含所有Windows操作的API，例如键盘输入、鼠标按键等，所有的操作最终都是调用步骤6中的虚拟硬件驱动，实现和真实键盘鼠标一样效果的操作。

7.1、使用图片匹配算法在待测游戏应用上找到target.jpg，计算出图片中心点相对于待测应用的坐标点；

7.2、根据待测应用相对于整个屏幕的位置，计算出步骤7.1中图片中心点在整个屏幕上的坐标点；

7.3、调用Windows操作，实现对目标点的中心坐标操作。

8、重复步骤7，直至完成整个脚本的回放。

上述优选实施例，考虑Windows游戏的安全防护，Windows设备的特性，一些游戏会强制全屏以及置顶导致无法进行其他操作的问题，以及Windows设备的不同分辨率问题，采用了不被游戏客户端安全机制屏蔽虚拟键盘鼠标驱动、远程投屏操作、比例缩放多维度匹配等技术。

上述优选实施例，可以封装所有可能的键盘鼠标操作，然后通过图像标记不同的操作对象，将所有的实际操作录制成一行行可读性非常高的代码；脚本回放则利用图像匹配找到要操作的对象，并且通过实现一种可以不被游戏客户端安全机制屏蔽的虚拟驱动，使得可以通过自动化的方式操作目标对象。

上述优选实施例还提供针对性的解决方法：(1)对于鼠标键盘进入到游戏中后无法方便的对操作对象进行截图的问题，以及，一些游戏会强制全屏以及置顶导致无法进行其他操作的问题，以及提供远程投屏的方法，对目标游戏进行投屏，将脚本录制过程中的操作转化为对投屏的操作，然后将操作传输给目标应用，使脚本录制的工作能够更加方便的进行；(2)对于脚本回放过程中，游戏分辨率、设备分辨率的不同，对匹配模板进行比例缩放，提高匹配的成功率。

上述优选实施例特点在于：1、根据端游客户端的特性，实现了针对性的处理，操作更加方便，效率更高；2、高效多样的识别算法，使得识别方式更加多样，识别结果更好；3、针对端游的虚拟键盘鼠标驱动能够解决无法在游戏内进行自动化。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述目标应用的操作录制方法的目标应用的操作录制装置。如图4所示，该装置包括：第一获取单元41、缩放单元43、第二获取单元45以及录制单元47。

可选的，上述缩放单43元可以包括：第一获取模块，用于获取第一原始应用画面的第一尺寸；确定模块，用于将第一尺寸与目标尺寸的比例确定为第一目标比例；第一处理模块，用于将第一原始应用画面按第一目标比例缩小到第一目标应用画面。

可选的，上述录制单元47，可以包括：记录模块，用于在第一目标触控操作包括输入操作的情况下，将目标接口信息记录在录制脚本中，其中，第一目标录制信息包括目标接口信息，目标接口信息用于指示目标接口，目标接口用于被调用时从目标存储位置获取存储的输入操作所输出的字符串信息。

通过上述装置，第一获取单元41录制客户端上获取目标应用的第一原始应用画面，其中，目标应用运行在第一终端上，录制客户端运行在第二终端上，录制客户端与第一终端建立了连接；缩放单元43在录制客户端上将第一原始应用画面缩小到第一目标应用画面，其中，第一目标应用画面的尺寸为预定的目标尺寸；第二获取单元45在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；录制单元47在录制客户端上将第一目标录制信息记录在录制脚本中，其中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作。达到了通过录制终端获取第一终端的触控操作的目的，从而实现了对于脚本回放过程中，游戏分辨率、设备分辨率的不同，对匹配模板进行比例缩放，提高匹配的成功率的技术效果，进而解决了现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。

可选的，本实施例中，上述装置运行用于第二终端上，可以作为一个单独的工具，给端游测试相关的技术人员使用，实现端游的远程控制、自动化测试。

上述装置新建项目脚本，通过IP连接目标设备(相当于第一终端)，左侧窗口是待测游戏，右侧窗口是投影端，通过监控投影窗口上用户的鼠标操作，将操作发送给被投影端，被测设备端解析操作、执行操作，投影窗口实时更新被测游戏的界面。

作为一种可选的实施例，上述装置还可以包括：

第三获取单元，用于在录制客户端上将第一目标录制信息记录在录制脚本中之后，在第二终端上获取回放指令，其中，回放指令用于指示回放录制脚本，第二终端上运行了目标应用；

查找单元，用于响应回放指令，在第二终端上显示的第一原始应用画面中查找与录制脚本中记录的第一图片对应的第二图片，其中，第二图片用于表示第一原始应用画面中的第一原始对象，第一图片表示的第一目标对象是第一原始对象的缩小版本；

显示单元，用于在第二终端上显示的第一原始应用画面中对第二图片表示的第一原始对象执行第一目标触控操作。

需要说明的是，上述查找单元，可以包括：

第二处理模块，用于按照第二目标比例将第一图片放大到第三图片，其中，第二目标比例为目标尺寸与第一原始应用画面在第二终端上的显示尺寸的比例；

显示模块，用于在第二终端上显示的第一原始应用画面中查找与第三图片匹配的第二图片。

可选的，上述显示单元，可以包括：

第二获取模块，用于获取第二图片的中心点在第一原始应用画面中的第一相对坐标位置；

第三处理模块，用于根据第一原始应用画面相对于第二终端的屏幕的位置关系，将第一相对坐标位置转换为第二相对坐标位置，其中，第二相对坐标位置为中心点在第二终端的屏幕中的相对坐标位置；

第四处理模块，用于在第二相对坐标位置上执行第一目标触控操作。

可选的，上述第三处理模块，可以包括：

确定子模块，用于在第一原始应用画面在第二终端上的显示尺寸与第二终端的屏幕的尺寸相同的情况下，将第二相对坐标位置确定为等于第一相对坐标位置。

作为一种可选的实施例，上述装置可以包括：安装单元，用于在第二终端上获取回放指令之前，在第二终端上安装虚拟硬件驱动；

显示单元包括：调用模块，用于调用虚拟硬件驱动对第一原始对象执行第一目标触控操作。

作为一种可选的实施例，上述装置还可以包括：

发送单元，用于在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作之后，向第一终端的目标应用发送目标触控指令，其中，目标触控指令用于表示对第一目标对象执行的第一目标触控操作；

第四获取单元，用于在录制客户端上获取目标应用的第二原始应用画面，其中，第二原始应用画面为响应于目标触控指令对第一原始应用画面中的第一原始对象执行第一目标触控操作所得到的画面，第一目标对象是第一原始对象的缩小版本。

根据本发明实施例的又一个方面，还提供了一种用于实施上述目标应用的操作录制方法的电子装置，如图5所示，该电子装置包括存储器502和处理器504，该存储器502中存储有计算机程序，该处理器504被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在录制客户端上将第一原始应用画面缩小到第一目标应用画面，其中，第一目标应用画面的尺寸为预定的目标尺寸；

S2，在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；

S3，在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；

S4，在录制客户端上将第一目标录制信息记录在录制脚本中，其中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作。

可选地，本领域普通技术人员可以理解，图5所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图5其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图5中所示更多或者更少的组件(如网络接口等)，或者具有与图5所示不同的配置。

其中，存储器502可用于存储软件程序以及模块，如本发明实施例中的目标应用的操作录制方法和装置对应的程序指令/模块，处理器504通过运行存储在存储器502内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标应用的操作录制方法。存储器502可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器502可进一步包括相对于处理器504远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器502具体可以但不限于用于存储目标应用的账号信息、第一终端的属性信息、第二终端的属性信息，以及目标对象的属性信息等信息。作为一种示例，如图5所示，上述存储器502中可以但不限于包括上述目标应用的操作录制装置中第一获取单元41、缩放单元43、第二获取单元45以及录制单元47。此外，还可以包括但不限于上述目标应用的操作录制装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置506包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置506为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在录制客户端上将第一原始应用画面缩小到第一目标应用画面，其中，第一目标应用画面的尺寸为预定的目标尺寸；

S2，在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；

S3，在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；

S4，在录制客户端上将第一目标录制信息记录在录制脚本中，其中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种目标应用的操作录制方法，其特征在于，包括：

在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；

在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；

在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；

在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。

2.根据权利要求1所述的方法，其特征在于，在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，包括：

获取所述第一原始应用画面的第一尺寸；

将所述第一尺寸与所述目标尺寸的比例确定为第一目标比例；

将所述第一原始应用画面按所述第一目标比例缩小到所述第一目标应用画面。

3.根据权利要求1所述的方法，其特征在于，所述在所述录制客户端上将第一目标录制信息记录在录制脚本中，包括：

在所述第一目标触控操作包括输入操作的情况下，将目标接口信息记录在所述录制脚本中，其中，所述第一目标录制信息包括所述目标接口信息，所述目标接口信息用于指示目标接口，所述目标接口用于被调用时从目标存储位置获取存储的所述输入操作所输出的字符串信息。

4.根据权利要求1所述的方法，其特征在于，在所述录制客户端上将第一目标录制信息记录在录制脚本中之后，所述方法还包括：

在所述第二终端上获取回放指令，其中，所述回放指令用于指示回放所述录制脚本，所述第二终端上运行了所述目标应用；

响应所述回放指令，在所述第二终端上显示的所述第一原始应用画面中查找与所述录制脚本中记录的所述第一图片对应的第二图片，其中，所述第二图片用于表示所述第一原始应用画面中的第一原始对象，所述第一图片表示的所述第一目标对象是所述第一原始对象的缩小版本；

在所述第二终端上显示的所述第一原始应用画面中对所述第二图片表示的所述第一原始对象执行所述第一目标触控操作。

5.根据权利要求4所述的方法，其特征在于，在所述第二终端上显示的所述第一原始应用画面中查找与所述录制脚本中记录的所述第一图片对应的第二图片，包括：

按照第二目标比例将所述第一图片放大到第三图片，其中，所述第二目标比例为所述目标尺寸与所述第一原始应用画面在所述第二终端上的显示尺寸的比例；

在所述第二终端上显示的所述第一原始应用画面中查找与所述第三图片匹配的所述第二图片。

6.根据权利要求4所述的方法，其特征在于，所述在所述第二终端上显示的所述第一原始应用画面中对所述第二图片表示的所述第一原始对象执行所述第一目标触控操作，包括：

获取所述第二图片的中心点在所述第一原始应用画面中的第一相对坐标位置；

根据所述第一原始应用画面相对于所述第二终端的屏幕的位置关系，将所述第一相对坐标位置转换为第二相对坐标位置，其中，所述第二相对坐标位置为所述中心点在所述第二终端的屏幕中的相对坐标位置；

在所述第二相对坐标位置上执行所述第一目标触控操作。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一原始应用画面相对于所述第二终端的屏幕的位置关系，将所述第一相对坐标位置转换为第二相对坐标位置，包括：

在所述第一原始应用画面在所述第二终端上的显示尺寸与所述第二终端的屏幕的尺寸相同的情况下，将所述第二相对坐标位置确定为等于所述第一相对坐标位置。

8.根据权利要求4所述的方法，其特征在于，

在所述第二终端上获取回放指令之前，所述方法还包括：在所述第二终端上安装虚拟硬件驱动；

在所述第二终端上显示的所述第一原始应用画面中对所述第二图片表示的所述第一原始对象执行所述第一目标触控操作包括：调用所述虚拟硬件驱动对所述第一原始对象执行所述第一目标触控操作。

9.根据权利要求1至8中任一项所述的方法，其特征在于，在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作之后，所述方法还包括：

向所述第一终端的所述目标应用发送目标触控指令，其中，所述目标触控指令用于表示对所述第一目标对象执行的所述第一目标触控操作；

在所述录制客户端上获取所述目标应用的第二原始应用画面，其中，所述第二原始应用画面为响应于所述目标触控指令对所述第一原始应用画面中的第一原始对象执行所述第一目标触控操作所得到的画面，所述第一目标对象是所述第一原始对象的缩小版本。

10.一种目标应用的操作录制装置，其特征在于，包括：

第一获取单元，用于在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；

缩放单元，用于在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；

第二获取单元，用于在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；

录制单元，用于在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。

Images