CN111124888A - 录制脚本的生成方法和装置及电子装置 - Google Patents

Abstract

本发明公开了一种录制脚本的生成方法和装置及电子装置。其中，该方法包括：通过在目标终端的触控屏幕上获取目标触控操作，其中，触控屏幕上显示目标应用的应用界面；在目标触控操作为点击操作的情况下，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象；在目标应用的录制脚本中记录目标录制信息，其中，目标录制信息包括：触控坐标和目标操作信息，目标操作信息用于表示对目标操作对象执行了目标触控操作，进而解决了现有技术中，测试脚本录制过程的单一性，导致测试脚本回放的准确率较低的技术问题。

Description

录制脚本的生成方法和装置及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种录制脚本的生成方法和装置及电子装置。

背景技术

目前，现有应用中的自动化测试脚本录制方案有两种：第一、基于手机投影到电脑终端后的录制，效率较低且无法实现多点触控的动作录制；第二、基于实际设备的录制，在记录各屏幕触控事件时只能标记对应坐标点，回放时极易受分辨率及其它因素影响，产生较大的失败率。

还需要说明的是，基于手机投影到电脑终端后的录制，投影本身会尝试一定的耗时，导致录制时存在一定时延，录制效率较低，且无法实现多点触控的动作录制；而基于实际设备的录制，在记录各屏幕触控事件时只能标记对应坐标点，回放时极易受分辨率及其它因素影响，产生较大的失败率。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种录制脚本的生成方法和装置及电子装置，以至少解决现有技术中，测试脚本录制过程的单一性，导致测试脚本回放的准确率较低的技术问题。

根据本发明实施例的一个方面，提供了一种录制脚本的生成方法，包括：在目标终端的触控屏幕上获取目标触控操作，其中，所述触控屏幕上显示目标应用的应用界面；在所述目标触控操作为点击操作的情况下，根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象；在所述目标应用的录制脚本中记录目标录制信息，其中，所述目标录制信息包括：所述触控坐标和目标操作信息，所述目标操作信息用于表示对所述目标操作对象执行了所述目标触控操作。

根据本发明实施例的另一方面，还提供了一种录制脚本的生成装置，包括：获取单元，用于在目标终端的触控屏幕上获取目标触控操作，其中，所述触控屏幕上显示目标应用的应用界面；确定单元，用于在所述目标触控操作为点击操作的情况下，根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象；记录单元，用于在所述目标应用的录制脚本中记录目标录制信息，其中，所述目标录制信息包括：所述触控坐标和目标操作信息，所述目标操作信息用于表示对所述目标操作对象执行了所述目标触控操作。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述录制脚本的生成方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的录制脚本的生成方法。

在本发明实施例中，通过在目标终端的触控屏幕上获取目标触控操作，其中，触控屏幕上显示目标应用的应用界面；在目标触控操作为点击操作的情况下，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象；在目标应用的录制脚本中记录目标录制信息，其中，目标录制信息包括：触控坐标和目标操作信息，目标操作信息用于表示对目标操作对象执行了目标触控操作，达到了在实时获取触控操作的操作事件后，根据算法将各种触控操作，生成自动化测试脚本时不仅保留操作的坐标点信息，也会标识为对更具高适配性的可识别对象的操作的目的，从而不仅提升了脚本的可读性，也可以适配不同分辨率，从而极大的提升测试脚本回放的准确率的技术效果，进而解决了现有技术中，测试脚本录制过程的单一性，导致测试脚本回放的准确率较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的录制脚本的生成方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的录制脚本的生成方法的流程图；

图3是根据本发明实施例的一种可选的生成静态对象“X”按钮的录制脚本的示意图；

图4是根据本发明实施例的一种可选的生成静态对象矩形按钮的录制脚本的示意图；

图5是根据本发明实施例的一种可选的生成静态对象文字区域的录制脚本的示意图；

图6是根据本发明实施例的一种可选的选取5个关键点进行判定的示意图；

图7是根据本发明实施例的一种可选的原“X”按钮图的示意图；

图8是根据本发明实施例的一种可选的提取的错误轮廓“X”按钮图的示意图；

图9是根据本发明实施例的一种可选的修正后的轮廓“X”按钮图的示意图；

图10是根据本发明优选实施例的一种可选的测试录制脚本的方法的流程图；

图11是根据本发明优选实施例的一种可选的行动作类型的划分的流程图；

图12是根据本发明实施例的一种可选的录制脚本的生成装置的结构示意图；

图13是根据本发明实施例的一种可选的录制脚本的生成方法电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好的理解本发明，名词解释如下：

OCR：Optical Character Recognition，通过检测图片，将图片上的文字内容，翻译成计算机文字的技术。

CV：OpenCV，Open Source Computer Vision Library，是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效-由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

根据本发明实施例的一个方面，提供了一种录制脚本的生成方法，可选地，作为一种可选的实施方式，上述录制脚本的生成方法可以但不限于应用于如图1所示的环境中。

可选地，在本实施例中，上述录制脚本的生成方法可以但不限于应用于服务器112中，用于在目标应用的录制脚本中记录目标录制信息。其中，上述应用客户端可以但不限于运行在用户设备102中，该用户设备102可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行应用客户端的终端设备。上述服务器112和用户设备102可以但不限于通过网络实现数据交互，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述录制脚本的生成方法包括：

步骤S202，在目标终端的触控屏幕上获取目标触控操作，其中，触控屏幕上显示目标应用的应用界面。

步骤S204，在目标触控操作为点击操作的情况下，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象。

步骤S206，在目标应用的录制脚本中记录目标录制信息，其中，目标录制信息包括：触控坐标和目标操作信息，目标操作信息用于表示对目标操作对象执行了目标触控操作。

可选的，在本实施中，目标应用可以包括但不限于：各种游戏类的应用、各种购物类的应用、各种教育类的应用、各种交通类的应用等等。目标终端可以包括但不限于：手机、电脑等。目标触控操作可以包括但不限于：点击操作、滑动操作、双击操作等。例如，对“×”按钮的点击，对输入框的文字的点击。

可选的，本实施例在的，目标触控操作是从在目标终端的触控屏幕上获取，其中，触控屏幕上显示目标应用的应用界面。也就说是，目标终端的触控屏幕上显示有目标应用的应用界面，进一步的，获取应用界面中的触控操作。

具体的，在显示目标应用的应用界面中可以获取点击触控操作、滑动屏幕操作、长按触控操作等等。

需要说明的是，在检测到点击click操作时，本实施例中，首先识别当前操作场景中全部静态对象，包括“X”按钮，矩形按钮，以及文字区域等；然后再判断是否可录制为对静态对象的点击。

具体的，以游戏应用为例，本实施例中的，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象，可以包括如下方式：

方式一：获取应用界面上的各个静态对象所在的区域；在目标触控坐标位于各个静态对象中的目标静态对象所在的区域中的情况下，将目标静态对象确定为目标操作对象。

具体的，获取应用界面上的各个静态对象所在的区域可以包括：识别应用界面上的按钮对象所在的区域，其中，各个静态对象包括按钮对象。如图3所示，生成静态对象“X”按钮的录制脚本。在图3左侧的应用界面上点击静态对象“X”按钮时，自动生成录制脚本，如图3所示右侧的显示的自动录制的脚本。如图4所示，生成静态对象矩形按钮的录制脚本。在图4左侧点击静态对象矩形按钮时(例如，点击显示“与QQ好友玩”的矩形按钮或显示“与微信好友玩”的矩形按钮)，自动生成录制脚本，如图4右侧显示的脚本。

和/或识别应用界面上的文字对象所在的区域，其中，各个静态对象包括文字对象。如图5所示，生成静态对象文字区域的录制脚本。在图5中左侧点击静态对象文字区域时，自动生成录制脚本，如图5右侧显示的脚本。

在实际应用中，在各个静态对象包括按钮对象的情况下，识别应用界面上的按钮对象所在的区域，包括：通过CV(跨平台计算机视觉库)识别应用界面上的按钮对象所在的区域，其中，CV(跨平台计算机视觉库)安装在目标终端上。

通过上述实施例，在找出当前操作场景中全部静态对象后，若点击click操作的触控点坐落于某个静态对象内，则最终录制的脚本为对该静态对象的点击操作，且生成的脚本会补充触控点坐标、文字内容、识别类型等信息，供脚本回放时参考。

例如，通过跨平台计算机视觉库CV识别当前操作场景中全部“X”按钮的技术方案如下：

步骤1、场景关键轮廓提取，其算法共计6步：(1)将原彩色游戏场景截图转为灰度图片；(2)为了更好的保存图片边缘信息，将处理后的图片进行一轮双边滤波；(3)处理后的图片进行一轮高斯滤波来消除噪点；(4)处理后的图片进行一轮自适应阈值的二值化；(5)使用开源计算机视觉库opencv的拉普拉斯算法Laplacian方法对处理后的图片进行边缘检测；(6)采用opencv的层次结构findContours方法提取处理后图片的关键轮廓。

步骤2、过滤“X”轮廓，其规则如下：(1)轮廓面积是否合适，对比阈值根据实际项目确定；(2)轮廓周长是否合适，对比阈值根据实际项目确定；(3)轮廓直边界矩形长宽比合适，对比阈值根据实际项目确定；(4)如图6所示，选取5个关键点进行判定。设中心绿色点坐标为(x，y)，轮廓高为h，宽为w；则红色的点取(x，y-h/3)、(x+w/3，y)、(x，y+h/3)、(x-w/3，y)。符合条件的轮廓，一个黑色的点包含在轮廓内，其余黑色的点相邻的每2点有至少3组两点间存在轮廓边。

步骤3、减少漏判：由于在游戏场景中“X”按钮通常比较小，周围也经常包围着复杂的图像特效，容易导致图形轮廓不能正确提取。如图7所示，为原“X”按钮的图示意图，如图8所示，为提取的错误轮廓的示意图。

通过在前2个步骤判定为非“X”的轮廓，需要再进行一轮检测，以降低漏判率。具体实现的方法如下：(1)对未匹配上的大小合适的轮廓，取其直边界矩形，以该小图重新求轮廓；(2)计算该小图的直方图动态阈值，阈值＝灰度值最多的2个值的均值，并以该阈值对小图进行二值化；(3)处理后的图片进行一轮双边滤波；(4)处理后的图片进行一轮高斯滤波来消除噪点；(5)提取轮廓并进行判断是否为“X”轮廓。如图9所示，为修正后的轮廓的示意图。

步骤4、过滤出的轮廓，求直边界矩形，即为符合条件的“X”按钮区域。

例如，通过跨平台计算机视觉库CV识别当前操作场景中全部矩形按钮的技术方案如下：

步骤1、场景关键轮廓提取，其算法共计6步：(1)将原彩色游戏场景截图转为灰度图片；(2)处理后的图片进行一轮双边滤波；(3)处理后的图片进行一轮自适应阈值的二值化；(4)使用opencv的Canny方法对处理后的图片进行边缘检测；(5)采用opencv的findContours方法提取处理后图片的关键轮廓。

步骤2、过滤矩形轮廓，其规则如下：(1)轮廓面积是否合适，对比阈值根据实际项目确定；(2)轮廓周长是否合适，对比阈值根据实际项目确定；(3)轮廓直边界矩形长宽比合适，对比阈值根据实际项目确定；(4)轮廓点大部分坐落在两条平行线上。过滤出的轮廓，即为矩形按钮区域。

步骤3、过滤出的轮廓，求直边界矩形，即为符合条件的矩形按钮区域。

在实际应用中，在各个静态对象包括文字对象的情况下，识别应用界面上的文字对象所在的区域，包括：通过光学字符识别OCR模块识别应用界面上的文字对象所在的区域。方式二：

获取应用界面上的各个动态对象所在的区域；在目标触控坐标位于各个动态对象中的目标动态对象所在的区域中的情况下，将目标动态对象确定为目标操作对象。

具体的，获取应用界面上的各个动态对象所在的区域可以包括：识别应用界面上的高亮对象所在的区域，其中，各个动态对象包括高亮对象。

在实际应用中，识别应用界面上的高亮对象所在的区域可以包括：通过跨平台计算机视觉库识别应用界面上的高亮对象所在的区域，其中，跨平台计算机视觉库安装在目标终端上。

需要说明的是，在找到当前操作场景中全部动态对象，并判断脚本是否可录制为对动态对象的点击，若未识别出任何静态对象，会继续识别当前操作场景中全部动态对象，包括高亮区域等；然后再判断是否可录制为对动态对象的点击。

通过跨平台计算机视觉库CV识别当前操作场景中全部高亮区域的技术方案如下：

(1)将场景图片的颜色空间转化，从rgb转化为hsv；

(2)对处理后的图片提取v通道；

(3)对处理后的图片进行二值化，其中，阈值v通道最大值-2；

(4)利用opencv的Dilation方法对图片进行膨胀处理，可以实现将面积小的图片放大的作用；

(5)提取合适大小的轮廓求直边界矩形，即为符合条件的高亮区域。

通过上述步骤找出当前操作场景中全部动态对象后，若单击click操作的触控点坐落于某个动态对象内，则最终录制的脚本为对该动态对象的点击操作，且生成的脚本会补充触控点坐标、高亮阈值、区域大小、识别类型等信息，供脚本回放时参考。

获取应用界面上除静态对象和动态对象之外的各个有效操作对象所在的区域；在目标触控坐标位于各个有效操作对象中的目标有效操作对象所在的区域中的情况下，将目标有效操作对象确定为目标操作对象。

具体的，获取应用界面上除静态对象和动态对象之外的各个有效操作对象所在的区域可以包括：通过预先训练好的目标神经网络识别模型在应用界面上识别出各个有效操作对象所在的区域。

例如，通过机器学习方法识别当前操作场景中除静态对象和动态对象之外其它有效可操作对象的技术方案如下：

步骤1、为提升识别效率，设立单独机器学习服务器，用于识别场景中的有效可操作对象；建立模型进行训练：(1)进行场景中关键轮廓的提取，并以这些关键轮廓作为输入；(2)根据输入进行点击操作，若顺利进行场景切换，则给予激励；否则，给予负激励；(3)选取top100的手游进行训练；

步骤2、遇到需要识别其他有效可操作对象时，向识别服务器进行请求，由识别服务器返回全部有效可操作对象的区域。

通过上步骤找出当前操作场景中除静态对象和动态对象之外其它有效可操作对象后，若单击click操作的触控点坐落于某个有效操作对象内，则最终录制的脚本为对该有效操作对象的点击操作，且生成的脚本会补充触控点坐标、识别类型等信息，供脚本回放时参考。

需要说的是，本实施例中，在目标应用的录制脚本中记录目标录制信息可以包括：在录制脚本中记录触控坐标、应用界面中目标操作对象的图片信息，其中，目标操作信息包括图片信息。

还可以包括：在录制脚本中记录目标指示信息，其中，目标录制信息包括目标指示信息，目标指示信息用于表示目标操作对象的确定方式。

还可以包括：在录制脚本中记录应用界面的缩略图片信息。

通过上述实施例，在实时捕获手机屏幕各触控事件后，根据算法转化为click、longclick、slide、swipe、multitouch等各类常规动作，且单个动作在生成自动化测试脚本时不仅保留操作的坐标点信息，也会标识为对更具高适配性的可识别对象的操作：(1)对于静态对象，可以利用自定义的图像识别算法，根据触控点坐标判断动作发生所在的按钮，将脚本记录为对按钮的操作；也可以利用OCR识别算法，根据触控点坐标判断动作发生所在的文字区域，将脚本记录为对文字的操作；(2)对于动态对象，如一些闪烁的高亮对象，利用自定义的高亮识别算法，根据触控点坐标判断动作发生所在的高亮区域，将脚本记录为对高亮区域的操作；(3)对于前两点无法识别的对象，利用机器学习(建立模型进行训练以提取手游场景中全部有效操作对象)，根据触控点坐标提取动作发生所在的有效操作对象，将脚本记录为对有效操作对象的操作。

作为一种优选的实例，本发明提供了一种测试录制脚本的方法，如图10所示，本发明优选实施例中的测试录制脚本的方法的流程图。该方法具体包括：

步骤1，手游自动化测试脚本录制工具启动录制功能；

步骤2-1，利用adb shell getevent命令，实时捕获手机各类事件，并过滤出有效屏幕事件；

步骤2-2，记录单个触控点的独立事件，包括坐标、压力值、事件时间戳等详细信息；

步骤3，若单个脚本动作已经结束，则调至步骤4；否则，继续进行步骤2-1；

步骤4-1，根据算法判断动作类型，如click、longclick、swipe、slide、multitouch；

步骤4-2，生成仅记录触控点信息的中间脚本；

步骤5，若为click操作，则跳至步骤6；否则，跳至步骤12；

步骤6，找到图片中的全部静态对象，如通过CV识别找到当前场景全部“X”按钮、矩形按钮，通过OCR识别找到当前场景全部文字区域等；

步骤7，若click操作的触控点坐落于某个静态对象类，则以对包含该触控点的静态对象的点击操作生成最终的录制脚本，并跳至步骤13；否则，跳至步骤8；

步骤8，找到图片中的全部动态对象，如通过CV识别找到当前场景全部高亮区域等；

步骤9，若click操作的触控点坐落于某个动态对象内，则以对包含该触控点的动态对象的点击操作生成最终的录制脚本，并跳至步骤13；否则，跳至步骤10；

步骤10，找到图片中的全部其他有效可操作对象，如通过机器学习的方法找到当前场景高亮区域等；

步骤11，若click操作的触控点坐落于某个有效可操作对象内，则以对对包含该触控点的有效可操作对象的点击操作生成最终的录制脚本，并跳至步骤13；否则，跳至步骤12；

步骤12，仅包含触控点信息的中间脚本生成为最后的录制脚本；

步骤13，若录制结束，则退出该装置；否则，继续进行步骤2-1。

上述优选实施例中，通过adb shell getevent捕获屏幕事件，当捕捉到屏幕触控点UP事件，则标志单个脚本动作结束，从而可进入动作类型判断和生成中间脚本的逻辑计算。如图11所示，行动作类型的划分的流程图。

步骤1，若存在多个触控点，则为multitouch动作，并跳至步骤5；否则，跳至步骤2；

步骤2，若全部触控点x坐标差值不超过0.05且全部触控点y坐标差值不超过0.05，跳至步骤3；否则跳至步骤4；

步骤3，若触控点按下时长不超过0.5秒，则为click动作，并跳至步骤5；否则，为longclick动作，并跳至步骤5；

步骤4，若全部触控点x坐标值递增或递减且全部触控点y坐标值递增或递减，则为slide动作；否则，为swipe动作，并跳至步骤5；

步骤5，根据动作类型，并结合adb shell getevent捕获的全部触控点序列详细信息，生成中间脚本。

通过上述优选实施例，基于实际设备的录制，操作更加方便，效率更高；利用丰富的识别算法，使得生成的脚本不仅具有更高的可读性，且动作对象的特征更加明确，可以适应不同分辨率，从而大幅地提升了回放的准确率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述录制脚本的生成方法的录制脚本的生成装置。如图12所示，该装置包括：获取单元121、确定单元123以及记录单元125。

获取单元121，用于在目标终端的触控屏幕上获取目标触控操作，其中，触控屏幕上显示目标应用的应用界面；

确定单元123，用于在目标触控操作为点击操作的情况下，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象；

记录单元125，用于在目标应用的录制脚本中记录目标录制信息，其中，目标录制信息包括：触控坐标和目标操作信息，目标操作信息用于表示对目标操作对象执行了目标触控操作。

通过上述装置，获取单元121在目标终端的触控屏幕上获取目标触控操作，其中，触控屏幕上显示目标应用的应用界面；确定单元123在目标触控操作为点击操作的情况下，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象；记录单元125在目标应用的录制脚本中记录目标录制信息，其中，目标录制信息包括：触控坐标和目标操作信息，目标操作信息用于表示对目标操作对象执行了目标触控操作。达到了在实时获取触控操作的操作事件后，根据算法将各种触控操作，生成自动化测试脚本时不仅保留操作的坐标点信息，也会标识为对更具高适配性的可识别对象的操作的目的，从而不仅提升了脚本的可读性，也可以适配不同分辨率，从而极大的提升测试脚本回放的准确率的技术效果，进而解决了现有技术中，测试脚本录制过程的单一性，导致测试脚本回放的准确率较低的技术问题。

作为一种可选的实施例，上述确定单元123，可以包括：

第一获取模块，用于获取应用界面上的各个静态对象所在的区域；

第一确定模块，用于在目标触控坐标位于各个静态对象中的目标静态对象所在的区域中的情况下，将目标静态对象确定为目标操作对象。

作为一种可选的实施例，上述第一获取模块，可以包括：

第一识别子模块，用于识别应用界面上的按钮对象所在的区域，其中，各个静态对象包括按钮对象；和/或

第二识别子模块，用于识别应用界面上的文字对象所在的区域，其中，各个静态对象包括文字对象。

作为一种可选的实施例，在各个静态对象包括按钮对象的情况下，第一识别子模块还用于执行如下操作：通过跨平台计算机视觉库识别应用界面上的按钮对象所在的区域，其中，跨平台计算机视觉库安装在目标终端上；

在各个静态对象包括文字对象的情况下，第二识别子模块还用于执行如下操作：通过光学字符识别OCR模块识别应用界面上的文字对象所在的区域。

作为一种可选的实施例，上述确定单元123，可以包括：

第二获取模块，用于获取应用界面上的各个动态对象所在的区域；

第二确定模块，用于在目标触控坐标位于各个动态对象中的目标动态对象所在的区域中的情况下，将目标动态对象确定为目标操作对象。

作为一种可选的实施例，上述第二获取模块，可以包括：

第三识别子模块，用于识别应用界面上的高亮对象所在的区域，其中，各个动态对象包括高亮对象。

其中，第三识别子模块还用执行如下操作：通过跨平台计算机视觉库识别应用界面上的高亮对象所在的区域，其中，跨平台计算机视觉库安装在目标终端上。

作为一种可选的实施例，上述确定单元123还可以包括：

第三获取模块，用于获取应用界面上除静态对象和动态对象之外的各个有效操作对象所在的区域；

第三确定模块，用于在目标触控坐标位于各个有效操作对象中的目标有效操作对象所在的区域中的情况下，将目标有效操作对象确定为目标操作对象。

作为一种可选的实施例，上述第三获取模块，可以包括：

第四识别子模块，用于通过预先训练好的目标神经网络识别模型在应用界面上识别出各个有效操作对象所在的区域。

作为一种可选的实施例，上述记录单元125，可以包括：

第一记录模块，用于在录制脚本中记录触控坐标、应用界面中目标操作对象的图片信息，其中，目标操作信息包括图片信息。

第二记录模块，用于在录制脚本中记录目标指示信息，其中，目标录制信息包括目标指示信息，目标指示信息用于表示目标操作对象的确定方式。

第三记录模块，用于在录制脚本中记录应用界面的缩略图片信息。

根据本发明实施例的又一个方面，还提供了一种用于实施上述录制脚本的生成方法的电子装置，如图13所示，该电子装置包括存储器1302和处理器1304，该存储器1302中存储有计算机程序，该处理器1304被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在目标终端的触控屏幕上获取目标触控操作，其中，触控屏幕上显示目标应用的应用界面；

S2，在目标触控操作为点击操作的情况下，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象；

S3，在目标应用的录制脚本中记录目标录制信息，其中，目标录制信息包括：触控坐标和目标操作信息，目标操作信息用于表示对目标操作对象执行了目标触控操作。

可选地，本领域普通技术人员可以理解，图13所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图13中所示更多或者更少的组件(如网络接口等)，或者具有与图13所示不同的配置。

其中，存储器1302可用于存储软件程序以及模块，如本发明实施例中的录制脚本的生成方法和装置对应的程序指令/模块，处理器1304通过运行存储在存储器1302内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的录制脚本的生成方法。存储器1302可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1302可进一步包括相对于处理器1304远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1302具体可以但不限于用于目标触控操作的属性信息，目标应用的应用界面的属性信息等信息。作为一种示例，如图13所示，上述存储器1302中可以但不限于包括上述录制脚本的生成装置中的获取单元151、确定单元153以及记录单元155。此外，还可以包括但不限于上述录制脚本的生成方法装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1306包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1306为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在目标终端的触控屏幕上获取目标触控操作，其中，触控屏幕上显示目标应用的应用界面；

S2，在目标触控操作为点击操作的情况下，根据目标触控操作的目标触控坐标，确定点击操作的目标操作对象；

S3，在目标应用的录制脚本中记录目标录制信息，其中，目标录制信息包括：触控坐标和目标操作信息，目标操作信息用于表示对目标操作对象执行了目标触控操作。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种录制脚本的生成方法，其特征在于，包括：

在目标终端的触控屏幕上获取目标触控操作，其中，所述触控屏幕上显示目标应用的应用界面；

在所述目标触控操作为点击操作的情况下，根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象；

在所述目标应用的录制脚本中记录目标录制信息，其中，所述目标录制信息包括：所述触控坐标和目标操作信息，所述目标操作信息用于表示对所述目标操作对象执行了所述目标触控操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象，包括：

获取所述应用界面上的各个静态对象所在的区域；

在所述目标触控坐标位于所述各个静态对象中的目标静态对象所在的区域中的情况下，将所述目标静态对象确定为所述目标操作对象。

3.根据权利要求2所述的方法，其特征在于，所述获取所述应用界面上的各个静态对象所在的区域，包括：

识别所述应用界面上的按钮对象所在的区域，其中，所述各个静态对象包括所述按钮对象；和/或

识别所述应用界面上的文字对象所在的区域，其中，所述各个静态对象包括所述文字对象。

4.根据权利要求3所述的方法，其特征在于，

在所述各个静态对象包括所述按钮对象的情况下，所述识别所述应用界面上的按钮对象所在的区域，包括：通过跨平台计算机视觉库识别所述应用界面上的所述按钮对象所在的区域，其中，所述跨平台计算机视觉库安装在所述目标终端上；

在所述各个静态对象包括所述文字对象的情况下，所述识别所述应用界面上的文字对象所在的区域，包括：通过光学字符识别OCR模块识别所述应用界面上的文字对象所在的区域。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象，包括：

获取所述应用界面上的各个动态对象所在的区域；

在所述目标触控坐标位于所述各个动态对象中的目标动态对象所在的区域中的情况下，将所述目标动态对象确定为所述目标操作对象。

6.根据权利要求5所述的方法，其特征在于，所述获取所述应用界面上的各个动态对象所在的区域，包括：

识别所述应用界面上的高亮对象所在的区域，其中，所述各个动态对象包括所述高亮对象。

7.根据权利要求6所述的方法，其特征在于，所述识别所述应用界面上的高亮对象所在的区域，包括：

通过跨平台计算机视觉库识别所述应用界面上的所述高亮对象所在的区域，其中，所述跨平台计算机视觉库安装在所述目标终端上。

8.根据权利要求1所述的方法，其特征在于，所述根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象，包括：

获取所述应用界面上除静态对象和动态对象之外的各个有效操作对象所在的区域；

在所述目标触控坐标位于所述各个有效操作对象中的目标有效操作对象所在的区域中的情况下，将所述目标有效操作对象确定为所述目标操作对象。

9.一种录制脚本的生成装置，其特征在于，包括：

获取单元，用于在目标终端的触控屏幕上获取目标触控操作，其中，所述触控屏幕上显示目标应用的应用界面；

确定单元，用于在所述目标触控操作为点击操作的情况下，根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象；

记录单元，用于在所述目标应用的录制脚本中记录目标录制信息，其中，所述目标录制信息包括：所述触控坐标和目标操作信息，所述目标操作信息用于表示对所述目标操作对象执行了所述目标触控操作。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。

Images