CN109857663A - 关键字驱动与图像相似度结合的自动化测试平台 - Google Patents

Abstract

本发明公开了关键字驱动与图像相似度结合的自动化测试平台，针对于目前移动端自动化测试所存在的问题，实现了一种基于关键字驱动与图像相似度对比思想结合的自动化测试平台，将关键字脚本生成操作进行了可视化实现。本发明将关键字操作和脚本生成工作可视化，测试人员可以登录平台进行基于关键字的测试用例的编写工作，页面简单易操作，将繁琐的代码任务简化成了简单的字段填写工作，使得编程能力普遍不高的测试人员也可以进行自动化测试，摆脱繁杂的人工测试，将更多的精力放在测试业务的设计上；可以将关键字用例以Excel的形式进行导出，降低了管理成本和理解难度；对于界面的验证采用图像对比的思想，提高了测试效率，更好的保证了软件的质量。

Description

关键字驱动与图像相似度结合的自动化测试平台

技术领域

本发明涉及一种将关键字驱动思想与图像相似度对比结合的自动化测试平台的设计，属于自动化测试领域。

背景技术

智能手机发展至今已经非常普及，人们的生活也越来越离不开它，更确切的说是离不开手机上的各种应用软件。作为给用户提供应用的开发方来说，应用软件的质量至关重要，这时对软件的测试工作就体现出价值。据了解，近几年国内软件测试行业逐渐兴起，也逐渐向规范发展，但大多数的中小型公司还是由于成本或者技术因素都还处于人工测试模式，这种测试模式不仅效率较低，而且对于测试人员的专注力和持久力也是一种考验，再加上现在的开发处于敏捷开发模式，版本迭代周期短，所以要进入自动化测试来避免手工测试所带来的弊端。如何做出更加高效的自动化测试工具，更好的提高自动化测试效率，从而更快更好的保证软件的质量是一个比较热门的研究话题。

目前，许多公司都想引入自动化测试，但是测试人员存在编程能力普遍较低的问题。除了通过技术人员编写测试用例代码来实现自动化测试以外，实现自动化测试还可以使用现有的自动化测试工具，现在的自动化测试工具大都采用的是基于录制回放，脚本维护成本较大。随着发展又出现一种基于数据驱动的测试，是通过测试数据来控制测试流程的一种思想，可以降低测试脚本的维护成本，但是要求测试人员对测试工具中的脚本语言必须非常精通。而关键字驱动思想，是从面向对象的角度出发，通过创建关键字和对应的方法，再通过读关键字的逻辑，调用相应的动作。这时的自动化测试工作就被简化成了关键字的组合，将关键字驱动的测试用例以表格的形式进行管理，就变成了表格的填写工作，对于实现一种近乎零门槛的自动化测试平台供测试人员使用有重要意义。

现有的移动端测试框架有Robotium、Uiautomator、Instrumentation和Appium等，但前三个框架都只能用Java进行编写，对语言有了限制，而Appium支持几乎所有的语言，而且开源，跨平台，测试应用的类型丰富等优势，让它成为了现在比较受欢迎一款自动化测试框架。

随着用户对页面体验感的要求越来越高，UI页面的验证也是一个测试重点，是查看页面布局以及各个控件的位置是否与预期相符的一个过程。但针对于手机应用的截图对比存在几个问题：一是由于手机屏幕大小和分辨率的不同，导致截图的不一致性，具体的控件位置可能会有一小部分的偏差存在；二是得到的截图方向不一致，就算是竖屏也存在方向不一致的情况；三是对于有些背景复杂且对背景关注度不是很高的应用，尤其是游戏应用，如果进行全屏对比，很有可能得到的相似度数值与主观感觉的相似度是不一致的。这些问题的存在也影响着测试的可靠性和效率，针对于这些问题，本发明也提出来相应的解决方案设计和实现。

针对于以上存在的问题和分析，本发明设计实现了一种低门槛的自动化测试平台，将关键字驱动思想与图像相似度对比相结合，整个平台采用了B/S架构进行设计，采用Python的一个轻量级的Web测试框架对平台进行了快速的搭建，对于自动化测试脚本的设计运用关键字思想，将关键字操作以界面化的形式展示出来，再结合Appium和unittest测试框架对脚本进行自动解析生成并执行，对于应用界面的正确性测试使用Python的图像处理库PIL结合图像相似度对比的方法进行实现，解决了测试工作中存在的问题，对于提高测试效率和更方便的进行自动化测试有重要意义。

发明内容

本发明针对于目前移动端自动化测试所存在的问题，设计并实现了一种基于关键字驱动与图像相似度对比思想结合的自动化测试平台，将关键字脚本生成操作进行了可视化实现。旨在让测试人员可以近乎低门槛的进行自动化测试工作，轻松编写自动化测试用例，高效完成自动化测试工作。

本发明采用的技术方案为关键字驱动与图像相似度结合的自动化测试平台，本平台采用的是Appium自动化测试框架，此框架使用WebDriver协议，对使用的语言没有限制，几乎支持所有的语言，而且对native应用、web应用和hybird应用的测试都提供支持，是目前比较受欢迎的、应用比较广泛的自动化测试框架。在此框架的基础上进行封装，来增加脚本的灵活性。对于测试用例的设计采用关键字驱动的思想，对关键字脚本进行了设计，定义了关键字库，并可以根据不同应用不同功能进行关键字的扩展。还针对关键字脚本的解析执行部分设计并实现了关键字解析器，用于解析用例并控制手机进行相应的测试操作。整个平台Web端的开发采用Flask轻量级开发框架，结合jQuery和Bootstrap等前端技术完成了对前端的开发。

本平台功能模块的设计符合基本的测试流程，如附图1所示，包括用户登录/退出模块、测试项目管理模块、测试应用管理模块、测试套组管理模块、测试用例管理模块、测试报告管理模块。用户通过登录模块登录平台，然后进入测试项目管理模块，可以创建或者选取测试项目，选择测试项目后，就可以通过测试应用管理模块对应用进行编辑工作，还能够在测试套组模块中完成对由测试用例模块中生成的测试用例的组合工作，本平台最核心的工作就是测试用例管理模块，此模块通过关键字的选择和必要的参数输入，可以轻松简单的完成测试脚本的编写工作。

附图3描述了整个平台的网络架构，采用的Web服务器和WSGI，以及werkzeug路由请求和jinja2模板引擎都是由Flask框架提供的，使得测试人员可以通过浏览器访问附图4中的各个功能模块，完成自动化测试工作。

此平台的重点是引入了关键字驱动思想，关于关键字驱动思想在本平台的应用如附图1所示，用在了关键字脚本的生成和解析部分。图1中具体的关键字驱动解析部分的设计如图2所示，对关键字按照功能的不同进行了细分，结合Appium测试框架共同完成对关键字脚本的解析执行工作。图2中的断言关键字中有一个界面验证的关键字，对于此关键字的实现，引入了图像相似度对比的方法，完成对应用界面正确性的验证，具体的设计实现流程图如图5所示。

对于关键字用例的设计结合关键字驱动思想和单元测试框架unittest的主要元素，设计成6个字段：Model、step description、Action、FindWay、Element和Value。其中Model字段包括setup、test和teardown，在页面端也对应着这三个部分；step description就是对测试步骤的描述，增加用例的可读性；Action就是所有的关键字；FindWay是指获取控件的方式，包括classname、text、resourceid、xpath等；Element是指应用的控件信息；Value是关键字操作所需要外界来提供的一些参数。

对于截图图像相似度对比部分的设计，见附图5所示，与断言关键字中验证截图的关键字check_image进行绑定实现。针对上述关于应用的截图对比所存在的问题，本发明也一一给出了设计：针对由于手机分辨率和屏幕大小不同而导致的应用控件位置的偏差和布局的偏差，规定在可接受范围内有目标控件的存在且相似度达到了设定的阈值，就可以认为此控件的UI是没有问题的，将两个待对比图像都分隔成120*120的小块区域，通过PIL得到两个图片的长和宽，通过公式：(image_width/120)*x和(image_height/120)*y计算出待对比的坐标数据，进行相应位置的对比，这样就避免了图片大小不一致的情况。针对截图方向不一致问题，则通过图片的长和宽做一次横竖屏判断，然后直接通过坐标变换对相应的坐标进行对比；针对有些背景复杂且对背景关注度不是很高的应用，尤其是游戏应用，进行全屏对比得到的相似度数值与主观感觉的相似度是不一致的问题，引入关键区域对比的思想，将被关注区域左上角和右下角坐标作为参数集传入工具类进行区域性的对比，从而排除了背景因素的干扰。

对于关键字脚本解析器的设计如图2所示，采用unittest框架和python的表格处理模块xlrd对关键字用例表格进行逐行解析，并根据解析到的关键字进行不同方法的调用，结合Appium生成执行命令，发送到手机端进行相应的测试操作。

与现在的测试技术相比，本发明具有的优势有：将关键字操作和脚本生成工作可视化，测试人员可以登录平台进行基于关键字的测试用例的编写工作，页面简单易操作，将繁琐的代码任务简化成了简单的字段填写工作，使得编程能力普遍不高的测试人员也可以进行自动化测试，摆脱繁杂的人工测试，将更多的精力放在测试业务的设计上；可以将关键字用例以Excel的形式进行导出，降低了管理成本和理解难度；对于界面的验证采用图像对比的思想，提高了测试效率，更好的保证了软件的质量。

附图说明

图1结合关键字驱动的平台流程结构图。

图2关键字驱动模块总体设计图。

图3平台总体架构图。

图4平台功能模块设计图。

图5图像相似度对比流程设计图。

具体实施方式

如图1所示，结合测试流程和测试平台的设计要求，将关键字驱动的思想应用到了平台的功能模块中，使得各个功能模块实现交互。图1中展示了关键字驱动模块的具体应用位置，测试人员通过浏览器对平台进行访问，进行用例的编写，存储到用例集中，以Excel的形式存储到指定文件夹中进行管理。在用例执行时会涉及到关键字用例的解析，通过编写好的解析器对得到用例中的关键字进行解析，会同时调用关键字库和对应的映射函数库，最后操作设备进行测试，执行完毕后会发送测试报告，反馈给测试人员方便快速定位错误。

关于关键字驱动模块的具体设计如图2所示，将关键字分成了被测App关键字、操作关键字、断言关键字和逻辑关键字，这四类关键字分别有对应的关键字解析部分。关键字解析器的解析目标是关键字测试脚本，最终结合Appium自动化测试框架，形成执行命令控制手机端进行相应操作。

对于平台总体架构的设计如图3所示，基于关键字驱动的自动化测试平台采用B/S架构进行设计，测试小组的测试人员可以通过浏览器进行访问，为了快速高效的搭建起平台，本平台采用了微型Web框架Flask框架进行开发，此框架将页面操作和后台数据交互分离开，降低了代码的耦合性。其中Flask自带开发服务器，当客户端想要获取资源时，通过浏览器发起HTTP请求，Web服务器使用WSGI协议，把来自客户端的所有请求都交给Flask程序实例，程序实例使用Werkzeug来做路由分发，根据每个URL请求，在__init__.py中找到具体的视图函数，完成后台数据的处理和业务的交互，获取到数据后，把数据传入HTML模板文件中，模板引擎负责渲染HTTP响应数据，然后由Flask返回响应数据给浏览器，最后浏览器将处理返回的结果显示给客户端。

图4展示了对整个平台主要功能模块的划分设计，结合基本的测试流程，将整个测试平台主要划分成以下几个模块：测试项目管理模块、测试应用管理模块、测试环境管理模块、测试套组管理模块、测试用例管理模块、测试报告管理模块。

关于图像相似度对比部分的流程设计如图5所示，采用Python提供的一个图像处理类库PIL进行相似度对比，具体的实施思路是：1)定义一个图像相似度对比的工具文件ImageUtils.py，这个文件可以接受来自外界传入的参数，这些参数包括预期截图路径、实际截图路径和想要对比关注的区域坐标集合。2)定义方法getSimilarity(self,img_a,img_b,coordinatelist,isConcernArea,isMatchWhite)，其中coordinatelist表示传入的关注区域坐标列表，isConcernArea为True表示将要比较coordinatelist指定区域内相似度，为False则表示对coordinatelist区域外的部分进行相似度比较，isMatchWhite表示是否要忽略背景色为白色的区域。在这个方法中首先获取img_a和img_b的长和宽，通过比较长和宽大小的一致性判断横竖屏，接着调用compareImage方法对图片进行对比。3)定义方法compareImage(self,img_a,img_b,coordinatelist,compareRule,isConcernArea,isMatchWhite)，对图像进行120*120的分隔，根据比较规则的不同进行坐标的对应变换，然后调用isSimilaryPixel方法判断两个点是否相似，相似则返回True，对应的similarityNum变量加1，否则不进行累加。通过similarityNum/sumNum进行相似度的计算。4)定义方法isInArea(self,x,y,coordinatelist,isConcernArea)用于判断待比较的点是否在关注区域内，若在则返回True，负责返回False。其中isConcernArea为true表示要进行比较的是在关注区域内的点，为false表示要进行比较的是在被忽略区域以外的点。5)定义函数isSimilaryPixel(self,pixel1,x,y,width,height,img_b)和函数isSimilaryPixel_rgb(self,pixel1,pixel2)，这两个函数通过比较对应点的RGB差值共同完成了对指定点的相似度对比，若差值在允许的误差范围内则返回True，否则返回False。最终统计匹配的点数和总体对比点数，将两者相除，得出一个相似度结果数值，来反映图像的相似性，从而快速的对应用的UI界面进行验证测试，提高了测试效率。

Claims (5)

1.关键字驱动与图像相似度结合的自动化测试平台，其特征在于：

本平台采用的是Appium自动化测试框架，此框架使用WebDriver协议，对使用的语言没有限制，支持所有的语言，而且对native应用、web应用和hybird应用的测试都提供支持；在此框架的基础上进行封装，来增加脚本的灵活性；对于测试用例的设计采用关键字驱动的思想，对关键字脚本进行了设计，定义了关键字库，并根据不同应用不同功能进行关键字的扩展；还针对关键字脚本的解析执行部分设计并实现了关键字解析器，用于解析用例并控制手机进行相应的测试操作；整个平台Web端的开发采用Flask轻量级开发框架，结合jQuery和Bootstrap前端技术完成了对前端的开发；

本平台功能模块的设计符合基本的测试流程，包括用户登录/退出模块、测试项目管理模块、测试应用管理模块、测试套组管理模块、测试用例管理模块、测试报告管理模块；用户通过登录模块登录平台，然后进入测试项目管理模块，可以创建或者选取测试项目，选择测试项目后，就可以通过测试应用管理模块对应用进行编辑工作，还能够在测试套组模块中完成对由测试用例模块中生成的测试用例的组合工作，本平台最核心的工作就是测试用例管理模块，此模块通过关键字的选择和必要的参数输入，完成测试脚本的编写工作。

2.根据权利要求1所述的关键字驱动与图像相似度结合的自动化测试平台，其特征在于：整个平台的网络架构采用的Web服务器和WSGI，以及werkzeug路由请求和jinja2模板引擎都是由Flask框架提供的，使得测试人员通过浏览器访问各个功能模块，完成自动化测试工作。

3.根据权利要求1所述的关键字驱动与图像相似度结合的自动化测试平台，其特征在于：此平台的重点是引入了关键字驱动思想，关于关键字驱动思想在本平台的应用，用在了关键字脚本的生成和解析部分；具体的关键字驱动解析部分，对关键字按照功能的不同进行了细分，结合Appium测试框架共同完成对关键字脚本的解析执行工作；断言关键字中有一个界面验证的关键字，对于此关键字的实现，引入了图像相似度对比的方法，完成对应用界面正确性的验证；

对于关键字用例的设计结合关键字驱动思想和单元测试框架unittest的元素，设计成6个字段：Model、step description、Action、FindWay、Element和Value；其中Model字段包括setup、test和teardown，在页面端也对应着这三个部分；step description就是对测试步骤的描述，增加用例的可读性；Action就是所有的关键字；FindWay是指获取控件的方式，包括classname、text、resourceid、xpath；Element是指应用的控件信息；Value是关键字操作所需要外界来提供的一些参数。

4.根据权利要求3所述的关键字驱动与图像相似度结合的自动化测试平台，其特征在于：对于截图图像相似度对比部分的设计，与断言关键字中验证截图的关键字check_image进行绑定实现；针对由于手机分辨率和屏幕大小不同而导致的应用控件位置的偏差和布局的偏差，规定在可接受范围内有目标控件的存在且相似度达到了设定的阈值，就认为此控件的UI是没有问题的，将两个待对比图像都分隔成120*120的小块区域，通过PIL得到两个图片的长和宽，通过公式：(image_width/120)*x和(image_height/120)*y计算出待对比的坐标数据，进行相应位置的对比，这样就避免了图片大小不一致的情况；针对截图方向不一致问题，则通过图片的长和宽做一次横竖屏判断，然后直接通过坐标变换对相应的坐标进行对比；针对有些背景复杂且对背景关注度不是很高的应用，尤其是游戏应用，进行全屏对比得到的相似度数值与主观感觉的相似度是不一致的问题，引入关键区域对比的思想，将被关注区域左上角和右下角坐标作为参数集传入工具类进行区域性的对比，从而排除了背景因素的干扰。

5.根据权利要求1所述的关键字驱动与图像相似度结合的自动化测试平台，其特征在于：对于关键字解析器，采用unittest框架和python的表格处理模块xlrd对关键字用例表格进行逐行解析，并根据解析到的关键字进行不同方法的调用，结合Appium生成执行命令，发送到手机端进行相应的测试操作。