CN116225918A - 基于目标定位的自动化测试方法及相关设备 - Google Patents

Abstract

本发明提供一种基于目标定位的自动化测试方法及相关设备。方法包括：响应于用户的操作，确定应用软件中的、期望测试的控件；获取控件在应用软件中的布局信息，并基于控件的布局信息，自动确定控件的截图范围；基于控件的截图范围，对控件执行自动化测试。由此，实现了对待测试控件的自动化定位，减少了测试过程人工参与的步骤，解决了因人工确定待测试控件位置不准，导致的测试过程误差较大的问题，进而提高了自动化测试的精准性。

Description

基于目标定位的自动化测试方法及相关设备

技术领域

本发明涉及软件自动测试技术领域，更具体地，涉及一种基于目标定位的自动化测试方法、一种基于目标定位的自动化测试装置、一种电子设备以及一种存储介质。

背景技术

现有的自动化测试技术，一般采用图像识别的方式进行控件定位。主要通过在被测对象的用户界面获取被测对象的被测对象图片，将被测对象图片与目标图片进行比对分析，用以确定目标控件在被测对象中的位置，然后用户通过手动的点击、拖拽等方式对控件进行操作，来达到自动化测试的目的。此种测试方式主要存在以下两种缺陷：其一，一旦用户需要测试的对象过多，则需要用户手动截取、保存大量的目标图像的图片，在此种情况下将会极大的降低测试控件测试的速度；其二，由于目标图像的图片的截取都是由人工手动进行操作的，主观性较强，一旦目标图像范围截取的过小或者过大，都会给目标控件的定位带来误差，降低控件定位的精度，从而降低了控件测试过程中的准确性。

由此，亟需一种新的技术方案以解决上述技术问题。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

第一方面，本发明提出一种基于目标定位的自动化测试方法，自动化测试方法用于测试应用软件，包括：响应于用户的操作，确定应用软件中的、期望测试的控件；获取控件在应用软件中的布局信息，并基于控件的布局信息，自动确定控件的截图范围；基于控件的截图范围，对控件执行自动化测试。

可选地，响应于用户的操作确定应用软件中的、期望测试的控件之前，方法还包括：将应用软件的用户界面按照一比一的比例同步到集成开发环境。

可选地，获取控件在应用软件中的布局信息，包括：集成开发环境调用解析工具对控件进行解析，以获得布局信息。

可选地，其中解析工具包括用户界面测试工具，集成开发环境调用解析工具对控件进行解析，以获得布局信息，包括：调用用户界面测试工具获取可扩展标记语言文件，通过对可扩展标记语言文件中区域属性进行分析，进而获得控件的位置信息，其中，布局信息包括位置信息。

可选地，方法还包括：确定用户的操作的类型，以确定每个操作所对应的数据；基于不同的数据，生成对应的自动化代码；基于自动化代码，对控件执行对应的自动化测试。

可选地，方法还包括：根据是否继续接收到用户新的操作指令，判断自动化测试是否结束。

可选地，方法还包括：基于截图范围，对控件进行自动截图，以获得截图图片；存储截图图片，并基于截图图片生成对应的自动化代码；基于自动化代码，对截图图片中的控件执行自动化测试。

第二方面，本发明提出了一种基于目标定位的自动化测试装置，包括：确定模块，用于响应于用户的操作，确定应用软件中的、期望测试的控件；自动截图模块，用于获取控件在应用软件中的布局信息，并基于控件的布局信息，自动确定控件的截图范围；测试模块，用于基于控件的截图范围，对控件执行自动化测试。

第三方面，还提出了一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行如上所述的基于目标定位的自动化测试方法。

第四方面，还提出了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行如上所述的基于目标定位的自动化测试方法。

根据上述技术方案，本申请提出的基于目标定位的自动化测试方法，通过根据用户执行的操作，自动确认用户期望测试的控件，并基于控件布局信息自动确定控件的截图范围，自动对控件进行测试。由此，实现了对待测试控件的自动化定位，减少了测试过程人工参与的步骤，解决了因人工确定待测试控件位置不准，导致的测试过程误差较大的问题，进而提高了控件测试的精准性。

本发明的基于目标定位的自动化测试方法，本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的基于目标定位的自动化测试方法的示意性流程图；

图2示出了根据本发明另一个实施例的基于目标定位的自动化测试方法的示意性流程图；

图3示出了根据本发明又一个实施例的基于目标定位的自动化测试方法的示意性流程图；

图4示出了根据本发明一个实施例的基于目标定位的自动化测试装置的示意性框图；

图5示出了根据本发明一个实施例的电子设备的示意性框图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

根据本发明的第一方面，提出了一种基于目标定位的自动化测试方法。图1示出了根据本发明一个实施例的基于目标定位的自动化测试方法100的示意性流程图。如图1所示，方法100可以包括以下步骤。

步骤S101,响应于用户的操作，确定应用软件中的、期望测试的控件。

示例性地，响应于用户的操作，确定应用软件中的、期望测试的控件，具体地，可以是根据一切由于用户的操作，造成控件状态改变，进而将发生状态改变的控件确定为应用软件中的、期望测试的控件。例如，用户对控件A进行点击、双击、输入、拖拽或滑动等操作，则确定控件A为用户A期望测试的控件。

步骤S102,获取控件在应用软件中的布局信息，并基于控件的布局信息，自动确定控件的截图范围。

示例性地，可以选取用户进行点击、双击、输入、拖拽或滑动等手动操作的一定区域内用户界面信息作为布局信息，进行自动截取。例如，可以对用户进行点击、双击、输入、拖拽或滑动等手动操作范围内，半径为5厘米的圆形界面进行自动截取或以用户进行点击、双击、输入、拖拽或滑动等手动操作的位置为矩形中心截取3厘米*5厘米的矩形界面等。优选地，截取范围具体为矩形截取、圆形截取或其他形状的截取，可以由用户根据需要自行选择。

步骤S103,基于控件的截图范围，对控件执行自动化测试。

示例性地，可以调用基于图像识别的第三方算法库，例如：l ackey，根据控件的截图范围，自动对用户期望测试的控件，根据测试脚本进行测试。

基于本申请提出的基于目标定位的自动化测试方法，通过根据用户执行的操作，自动确认用户期望测试的控件，并基于控件布局信息自动确定控件的截图范围，同时，自动对控件进行测试实现了对待测试控件的自动化定位，减少了测试过程人工参与的步骤，解决了因人工确定待测试控件位置不准，导致的测试过程误差较大的问题，进而提高了控件测试的精准性。

可选地，响应于用户的操作确定应用软件中的、期望测试的控件之前，方法还包括：将应用软件的用户界面按照一比一的比例同步到集成开发环境。

示例性地，将应用软件的用户界面按照一比一的比例同步到集成开发环境，包括但不限于对用户界面中所包含的所有控件及控件间的相对位置按照一比一的比例同步复刻到集成开发环境。本申请提出的基于目标定位的自动化测试方法通过将应用软件的用户界面按照一比一的比例同步到集成开发环境，实现了快速、精准的对用户期望测试控件在集成开发环境中进行定位，进而提高了控件测试的速度与精度。

可选地，获取控件在应用软件中的布局信息，包括：集成开发环境调用解析工具对控件进行解析，以获得布局信息。

示例性地，集成开发环境调用解析工具对控件进行解析，以获得布局信息，具体地，集成开发环境可以调用uiautomator对控件的相关属性进行解析。本申请提出的基于目标定位的自动化测试方法，通过集成开发环境调用解析工具对控件进行解析，以获得布局信息，在对期测试望控件进行测试过程中，人工参与的步骤，实现了自动对期望测试控件在集成开发环境中进行定位，提高了测试过程的速度与精度。

可选地，其中解析工具包括用户界面测试工具，集成开发环境调用解析工具对控件进行解析，以获得布局信息，包括：调用用户界面测试工具获取可扩展标记语言文件，通过对可扩展标记语言文件中区域属性进行分析，进而获得控件的位置信息，其中，布局信息包括位置信息。

示例性地，用户界面测试工具可以是uiautomator。可扩展标记语言文件可以是页面xm l文件。具体地，在用户对期望测试控件进行诸如：点击、双击、输入、拖拽或滑动等手动操作后，集成开发环境调用uiautomator获取页面xml文件，通过对xml文件中期望测试控件的区域属性进行分析，获取控件的布局信息，其中，布局信息包括位置信息。具体地，位置信息可以通过期望测试控件在xml文件中的坐标体现，例如：用户期望对界面中的按钮A控件进行测试，则用户双击按钮A,集成开发环境自动调用uiautomator获取当前页面的xml文件后，通过对当前页面的xml文件中按钮A的属性分析得到按钮A的bounds属性为[x1,y1][x2,y2]，那么x1、y1、x2、y2则代表按钮A的左、下、右、上四条边在布局坐标系中的具体坐标值。基于坐标[x1,y1][x2,y2]自动进行截图操作。本申请提出的基于目标定位的自动化测试方法通过调用用户界面测试工具获取可扩展标记语言文件，通过对可扩展标记语言文件中区域属性进行分析，进而获得控件的位置信息的方式，实现了对期望测试控件的自动化精准定位、精准确定截图范围的技术效果，进而达到了对期望测试控件进行精准自动化测试的目的。

图2示出了根据本发明另一个实施例的基于目标定位的自动化测试方法200的示意性流程图。如图2所示，方法200可以包括以下步骤。

步骤S201，确定用户的操作的类型，以确定每个操作所对应的数据。

示例性地，集成开发环境可以确定用户对期望测试控件的单步操作类型，例如：点击、双击、输入、拖拽或滑动等。

步骤S202,基于不同的数据，生成对应的自动化代码。

示例性地，具体地，集成开发环境可以根据类似模板引擎的代码生成器原理，调用基于图像识别的第三方算法库，例如l ackey或者openCv等图像定位开源方法库的模板代码文件，生成对应的自动化代码，直至所有的测试步骤结束。例如，当用户对某控件X进行诸如：点击、双击、输入、拖拽或滑动等操作后，集成开发环境根据确定的截图范围进行截图操作，然后把截得的图片保存在/photo/pictureX.png路径下，并生成与用户对某控件X所执行操作相对应的代码诸如：

1、当用户对某按钮A进行点击操作，集成开发环境根据解析的截图范围，把目标图片保存在/photo/pi ctureA.png路径下，并生成以下代码:

a)l ackey.c l ick(“/photo/pictureA.png”)；

2、当用户双击某按钮B，集成开发环境会将输入框截图保存在photo/pictureB.png路径下，并生成以下代码：

a)Lackey.doub l ec l ick(“photo/pictureB.png”)；

3、当用户对某输入框C进行操作，并输入“abcdef”，集成开发环境会将输入框截图保存在photo/pictureC.png路径下，并生成以下代码：

a)Lackey.c l ick(“photo/pictureC.png”)、

b)Lackey.type(“abcdef”)；

4、当用户选择滑动操作，将元素D移动到元素E位置，集成开发环境分别截图保存为photo/pictureD.png、photo/pictureE.png，生成以下代码：

a)Lackey.dragDrop(“photo/p ictureD.png”，photo/pictureE.png”)。

步骤S203，基于自动化代码，对控件执行对应的自动化测试。

示例性地，可以基于图像识别的第三方算法库，例如l ackey，自动生成的代码对期望测试控件执行测试操作。

本申请提出的基于目标定位的自动化测试方法，通过自动确定用户执行的操作类型，确定每个操作所对应的数据，基于不同的数据，生成对应的自动化代码，基于自动化代码，对控件执行对应的自动化测试，实现了根据用户操作自动确定用户期望测试控件。根据用户期望测试控件自动确定期望测试控件范围并自动生成测试代码，大大精简了控件测试过程中人工操作的步骤，实现了快速、高效、精准完成对期望测试控件进行测试的效果。

可选地，方法还包括：根据是否继续接收到用户新的操作指令，判断自动化测试是否结束。

示例性地，在用户没有继续对控件执行操作时，自动结束测试过程。在用户对新的控件、或对此前已进行测试过的控件执行新的操作时，则判断自动化测试过程尚未结束。

本申请提出的基于目标定位的自动化测试方法，通过根据是否持续接收到用户新的操作指令，判断自动化测试是否结束，实现了对期望控件进行测试过程是否终止的自动判断，无需用户手动结束测试过程，达到了减少控件测试过程中的人工操作的效果。

图3示出了根据本发明又一个实施例的基于目标定位的自动化测试方法300的示意性流程图。如图3所示，方法300可以包括以下步骤。

S301,基于截图范围，对控件进行自动截图，以获得截图图片。

示例性地，截图图片的获取过程可以是，用户期望对界面中的控件X进行测试，则用户对控件X执行诸如：点击、双击、输入、拖拽的操作。集成开发环境自动调用uiautomator获取当前页面的xml文件后，通过对当前页面的xm l文件中控件X的属性分析得到按钮X的bounds属性为[x1,y1][x2,y2]基于坐标[x1,y1][x2,y2]自动进行截图操作以获得截图图片。

S302,存储截图图片，并基于截图图片生成对应的自动化代码。

示例性地，存储路径可以是^/ _p ^h _o ^t _o ^/ _p ⁱ _c ^t _ure ^X _.png。自动化代码生成过程具体如下:

1、当用户对某按钮A进行点击操作，集成开发环境根据解析的截图范围，把目标图片保存在/photo/pi ctureA.png路径下，并生成以下代码:

a)l ackey.c l ick(“/photo/pictureA.png”)；

2、当用户双击某按钮B，集成开发环境会将输入框截图保存在photo/pictureB.png路径下，并生成以下代码：

a)Lackey.doub l ec l ick(“photo/pictureB.png”)；

3、当用户对某输入框C进行操作，并输入“abcdef”，集成开发环境会将输入框截图保存在photo/pictureC.png路径下，并生成以下代码：

a)Lackey.c l ick(“photo/pictureC.png”)、

b)Lackey.type(“abcdef”)；

4、当用户选择滑动操作，将元素D移动到元素E位置，集成开发环境分别截图保存为photo/pictureD.png、photo/pictureE.png，生成以下代码：

a)Lackey.dragDrop(“photo/p ictureD.png”，photo/pictureE.png”)。

S303,基于自动化代码，对截图图片中的控件执行自动化测试。

优选地，在用户同时对多个控件进行诸如：单击、双击、输入、拖拽的操作时，可以截取一张含有所有用户执行操作控件的图片，生成对多个控件进行测试的自动化代码，进而实现同时对多个控件进行自动化测试。

本申请提出的基于目标定位的自动化测试方法，通过基于截图范围，对控件进行自动截图，获得截图图片，存储截图图片，并基于截图图片生成对应的自动化代码，基于自动化代码，对截图图片中的控件执行自动化测试，实现了在整个控件测试过程中，最大化的精简人工参与操作的步骤，同时提升了控件测试的精准性，减少了因人工手动截图不准造成的测试误差。

根据本发明的第二方面，还提出了一种基于目标定位的自动化测试装置。图4示出了根据本发明一个实施例的一种基于目标定位的自动化测试装置400的示意性框图。如图4所示，装置400可以包括：确定模块410、自动截图模块420以及测试模块430。

根据本发明的第三方面，还提供了一种电子设备。图5示出了根据本发明一个实施例的电子设备500的示意性框图。如图所示，电子设备500包括处理器510和存储器520。其中，存储器520中存储有计算机程序指令，计算机程序指令被处理器510运行时用于执行如前所述的基于目标定位的自动化测试方法。

根据本发明的第四方面，还提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行如前所述的基于目标定位的自动化测试方法。存储介质例如可以包括平板电脑的存储部件、计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合

本领域普通技术人员通过阅读上述有关基于目标定位的自动化测试方法的相关描述可以理解基于目标定位的自动化测试装置、电子设备以及存储介质的具体细节以及有益效果，为了简洁在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和/或设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于目标定位的自动化测试方法，所述自动化测试方法用于测试应用软件，其特征在于，包括：

响应于用户的操作，确定所述应用软件中的、期望测试的控件；

获取所述控件在所述应用软件中的布局信息，并基于所述控件的布局信息，自动确定所述控件的截图范围；

基于所述控件的截图范围，对所述控件执行自动化测试。

2.如权利要求1所述的基于目标定位的自动化测试方法，其特征在于，所述响应于用户的操作确定所述应用软件中的、期望测试的控件之前，所述方法还包括：

将所述应用软件的用户界面按照一比一的比例同步到集成开发环境。

3.如权利要求2所述的基于目标定位的自动化测试方法，其特征在于，所述获取所述控件在所述应用软件中的布局信息，包括：

所述集成开发环境调用解析工具对所述控件进行解析，以获得所述布局信息。

4.如权利要求3所述的基于目标定位的自动化测试方法，其特征在于，其中所述解析工具包括用户界面测试工具，所述所述集成开发环境调用解析工具对所述控件进行解析，以获得所述布局信息，包括：

调用所述用户界面测试工具获取可扩展标记语言文件，通过对所述可扩展标记语言文件中区域属性进行分析，进而获得所述控件的位置信息，其中，所述布局信息包括所述位置信息。

5.如权利要求1至4任一项所述的基于目标定位的自动化测试方法，其特征在于，所述方法还包括：

确定所述用户的操作的类型，以确定每个操作所对应的数据；

基于不同的数据，生成对应的自动化代码；

基于所述自动化代码，对所述控件执行对应的自动化测试。

6.如权利要求5所述的基于目标定位的自动化测试方法，其特征在于，所述方法还包括：

根据是否继续接收到用户新的操作指令，判断所述自动化测试是否结束。

7.如权利要求5所述的基于目标定位的自动化测试方法，其特征在于，所述方法还包括：

基于所述截图范围，对所述控件进行自动截图，以获得截图图片；

存储所述截图图片，并基于所述截图图片生成对应的自动化代码；

基于所述自动化代码，对所述截图图片中的控件执行自动化测试。

8.一种基于目标定位的自动化测试装置，其特征在于，包括：

确定模块，用于响应于用户的操作，确定应用软件中的、期望测试的控件；

自动截图模块，用于获取所述控件在所述应用软件中的布局信息，并基于所述控件的布局信息，自动确定所述控件的截图范围；

测试模块，用于基于所述控件的截图范围，对所述控件执行自动化测试。

9.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至7任一项所述基于目标定位的自动化测试方法。

10.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至7任一项所述基于目标定位的自动化测试方法。

Images