CN118245368A - 一种基于计算机视觉的gui软件自动化测试系统及方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的GUI软件自动化测试系统及方法，涉及软件工程技术领域，该系统包括计算机视觉模块、测试驱动模块和动作模拟模块；其中，计算机视觉模块包括多种基于深度学习的目标检测模型，根据各目标检测模型识别的UI元素，得到目标关键字集合；动作模拟模块用于模拟用户在目标GUI软件上的动作交互，得到动作关键字集合；测试驱动模块中测试用例生成子模块用于根据目标关键字集合和动作关键字集合生成目标GUI软件的测试用例，测试用例执行子模块用于执行目标GUI软件的测试用例，得到测试结果。本发明运用基于深度学习的计算机视觉技术，实现对软件界面的精准识别，显著提升了测试自动化的可靠性。

Description

一种基于计算机视觉的GUI软件自动化测试系统及方法

技术领域

本发明涉及软件工程技术领域，特别是涉及一种基于计算机视觉的GUI软件自动化测试系统及方法。

背景技术

随着软件开发逐步迈向敏捷化及持续交付的新阶段，GUI软件的自动化测试在保障应用程序质量与用户体验方面扮演着至关重要的角色。目前，GUI测试自动化的方法大致可归为三类：脚本驱动测试、捕获与重放测试以及基于模型的测试。这些方法在实施过程中，依赖于两种主要的UI组件检测技术，分别是入侵式UI组件检测技术与基于图像匹配的计算机视觉技术。

然而，这些方法和技术在实施过程中均面临一些挑战。基于脚本的测试方法虽然具有高度的灵活性，但随着软件的不断更新，需要频繁地维护和更新测试脚本，导致测试脚本的编写和维护成本相对较高。捕获与重放测试方法虽然易用，但对界面变动的敏感性较高，缺乏足够的鲁棒性。而基于模型的测试方法虽然能够覆盖更多的测试场景，但模型的创建和维护过程复杂，成本同样较高。

同样，GUI测试自动化所依赖的组件识别技术也面临一些技术挑战。入侵式的UI组件检测技术高度依赖于UI组件的内部结构，因此仅适用于特定的编程语言或开发框架，这在很大程度上限制了其跨平台应用的可能性。而基于图像匹配的计算机视觉技术虽然在一定程度上提高了测试的适用性，但由于图像处理算法的准确性和效率问题，难以在UI组件在不同分辨率、微小改动等情况下实现准确识别，从而影响测试的稳定性。因此，亟需一种稳定性高的自动化测试系统

发明内容

本发明的目的是提供一种基于计算机视觉的GUI软件自动化测试系统及方法，可实现GUI软件自动化测试的高可靠性。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明提供了一种基于计算机视觉的GUI软件自动化测试系统，包括：计算机视觉模块、测试驱动模块和动作模拟模块；

所述计算机视觉模块，包括多种基于深度学习的目标检测模型，每一所述目标检测模型用于识别目标GUI软件中的一类UI元素；所述计算机视觉模块根据各所述目标检测模型识别的UI元素类型，得到目标关键字集合；所述UI元素包括UI组件、文字或图标元素；所述目标关键字集合包括各所述UI元素类型的目标关键字；

所述动作模拟模块，用于模拟用户在所述目标GUI软件上的动作交互，得到动作关键字集合；

所述测试驱动模块，包括测试用例生成子模块和测试用例执行子模块，所述测试用例生成子模块用于根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例；所述测试用例执行子模块用于执行所述测试用例，得到所述目标GUI软件的测试结果。

可选的，所述目标检测模型包括UI组件类型检测模型、图标类型检测模型、字符检测模型和通用目标检测模型。

可选的，所述目标关键字集合包括UI组件类别关键字集合、图标类型关键字集合、字符关键字集合和通用目标关键字集合。

可选的，所述测试用例为测试单元组成的序列；所述测试单元包括操作测试单元和断言测试单元；所述操作测试单元是由所述目标关键字集合中的目标关键字和所述动作关键字集合中的动作关键字构成的；所述断言测试单元是由所述目标关键字集合中的目标关键字构成的。

可选的，还包括：所述测试管理模块；

所述测试管理模块，用于将生成的测试用例存储至测试用例库、将所述测试用例库中的所述测试用例发送至测试用例执行子模块以及存储所述目标GUI软件的测试结果。

可选的，所述动作关键字集合包括单击指令、双击指令、滚动指令、数字输入指令和字符输入指令。

第二方面，本发明提供了一种基于所述的一种基于计算机视觉的GUI软件自动化测试系统的测试方法，包括：

根据目标关键字集合和动作关键字集合生成所述目标GUI软件的测试用例；

执行所述测试用例，得到所述目标GUI软件的测试结果。

可选的，根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例，具体包括：

基于GUI软件设计文档说明，根据所述目标关键字集合和所述动作关键字集合，采用测试用例生成子模块生成所述测试用例。

可选的，根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例，具体包括：

利用计算机视觉模块对目标GUI软件进行实时检测，根据所述计算机视觉模块识别的目标UI元素的反馈信息，生成所述测试用例；所述反馈信息包括UI组件、文字或图标元素。

可选的，在执行所述测试用例，得到所述目标GUI软件的测试结果之前，还包括：

将所述测试用例存储至测试用例库，并将所述测试用例库中的所述测试用例发送至测试用例执行子模块。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于计算机视觉的GUI软件自动化测试系统及方法，该系统包括计算机视觉模块、测试驱动模块和动作模拟模块。其中计算机视觉模块包含多种目标检测模型，用于识别GUI软件中的UI元素，如UI组件、文字或图标元素，从而生成目标关键字集合。动作模拟模块模拟用户在目标GUI软件上的动作交互，生成动作关键字集合。测试驱动模块包含测试用例生成子模块和测试用例执行子模块。前者根据目标关键字集合和动作关键字集合生成测试用例，后者执行这些测试用例，得到目标GUI软件的测试结果。本发明结合基于深度学习的计算机视觉技术和关键字驱动的自动化测试方法，解决了传统自动化测试系统在UI组件在不同分辨率、微小改动等情况下难以实现准确识别的问题。通过计算机视觉模块，系统可以准确地识别并理解GUI软件中的UI元素，包括UI组件、文字或图标元素，提高了测试的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种基于计算机视觉的GUI软件自动化测试系统的结构示意图；

图2为本发明实施例一提供的GUI软件自动化测试系统及方法相关的测试单元示意图；

图3为本发明实施例二提供的一种基于计算机视觉的GUI软件自动化测试方法流程图；

图4为本发明实施例二提供的GUI软件自动化测试方法的流程示意图。

符号说明：

计算机视觉模块—101，测试驱动模块—102，测试用例生成子模块—103，测试用例执行子模块—104，动作模拟模块—105，测试管理模块—106。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于计算机视觉的GUI软件自动化测试系统及方法，可实现GUI软件自动化测试的高可靠性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，本实施例提供了一种基于计算机视觉的GUI软件自动化测试系统，包括：计算机视觉模块101、测试驱动模块102和动作模拟模块105。

所述计算机视觉模块101，包括多种目标检测模型，每一所述目标检测模型用于识别目标GUI软件中的一类UI元素；所述计算机视觉模块根据各所述目标检测模型识别的UI元素类型，得到目标关键字集合；所述UI元素包括UI组件、文字或图标元素；所述目标关键字集合包括各所述UI元素类型的目标关键字。

所述动作模拟模块105，用于模拟用户在所述目标GUI软件上的动作交互，得到鼠标键盘动作相关的动作关键字集合。

所述测试驱动模块102，包括测试用例生成子模块103和测试用例执行子模块104，所述测试用例生成子模块103用于根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例；所述测试用例执行子模块104用于执行所述测试用例，得到所述目标GUI软件的测试结果。

其中，GUI软件自动化测试系统还包括：所述测试管理模块106。

所述测试管理模块106，用于将生成的测试用例存储至测试用例库、将所述测试用例库中的所述测试用例发送至测试用例执行子模块104以及存储所述目标GUI软件的测试结果。

在本实施例中，计算机视觉模块101中集成了UI组件类型检测模型、图标类型检测模型、字符检测模型和通用目标检测模型，以及可以扩展多种类型的目标检测模型，识别GUI软件界面的各种UI元素，包括但不限于UI组件、文字、图标元素。

UI组件类型检测模型基于YOLOV8目标检测模型和UI组件数据集训练、字符检测模型使用googleOCR、图标检测模型基于YOLOV8目标检测模型和图标数据集训练。通用目标检测模型可以集成主流的基于VOC数据集的开源目标检测模型，各检测模型能够识别的目标类别决定目标关键字集合，包括UI组件类别关键字集合、图标类型关键字集合、字符关键字集合和通用目标关键字集合。

具体的，字符检测模型是针对软件界面上的文字信息而设计的。它利用googleOCR技术，该技术经过大量的数据训练和优化，对字符的识别能力达到了极高的水平。可以准确地捕捉并识别静态的文字或动态变化的数字。

UI组件检测模型则是针对软件界面上的UI组件元素而设计的。这个模型基于YOLOV8和UI组件数据集进行训练，使其具备了强大的UI组件识别能力。

图标检测模型则是针对软件界面上的图标元素而设计的。这个模型基于YOLOV8和图标数据集进行训练，使其具备了强大的图标识别能力。无论是常见的系统图标还是用户自定义的图标，图标检测模型都能够准确地进行识别，从而帮助用户快速定位和识别界面上的图标元素。

在本实施例中，动作模拟模块105决定动作关键字集合，接收测试驱动模块102发出的动作关键字信息和目标信息，在GUI软件界面上执行相应的鼠标键盘动作。

具体的，动作模拟模块105的主要任务是模拟鼠标和键盘的动作。在许多自动化测试或机器人软件中，动作模拟模块105用于模拟用户在GUI(图形用户界面)上的实际交互，如点击、滚动、输入文本等。其中，决定动作关键字集合，这意味着动作模拟模块105有一个或多个预定义的动作关键字集合。这些关键字代表不同的鼠标或键盘动作，如“点击”、“双击”、“滚动”等。接收测试驱动模块102发出的动作关键字信息和目标信息；在GUI软件界面上执行相应的鼠标键盘动作；当动作模拟模块105接收到来自测试驱动模块102的信息后，它会根据这些信息在GUI软件界面上执行相应的鼠标或键盘动作。例如，如果测试驱动模块102发送了一个“点击”关键字和一个按钮的位置坐标，动作模拟模块105就会找到这个按钮所在位置并在GUI上模拟点击它。

在本实施例中，测试驱动模块102包括测试用例生成子模块103和测试用例执行子模块104，测试用例为测试单元组成的序列。测试单元有“操作”和“断言”两种类型，“操作”测试单元包括“动作”和“目标”字段，分别由动作关键字集合和目标关键字集合决定。“断言”测试单元只有“目标”字段，由目标关键字集合决定。“操作”测试单元和“断言”测试单元可以以任何顺序和任何数量出现，根据测试需求形成一个序列，没有固定的模式或限制。

其中，测试用例生成子模块103，测试用例生成子模块103用于根据计算机视觉模块101决定的目标关键字集合和动作模拟模块105决定的动作关键字集合以静态生成或者动态生成的方式生成测试用例。

其中，测试用例执行子模块104，测试用例执行子模块104用于接收测试测试用例，解析测试用例的测试单元，对“操作”测试单元和“断言”测试单元的“目标”字段值传入计算机视觉模块101执行，对“操作”测试单元的“动作”字段值传入动作模拟模块105，驱动测试执行过程，产生测试结果文件。

如图2所示，测试用例是json格式文件，图2中所示是一个以json形式组织测试用例中的一个测试单元，json格式的测试单元有三个字段，type、action和target。type字段有两个可选值Action和Assertion，分别代表测试单元的“操作”和“断言”两种类型的测试单元。action字段的值决定于动作关键字集合。target字段包含了component和text字段，component和text字段的值决定于相关目标关键字集合。该测试单元指示测试驱动模块102查找一个包含文本“打开”的按钮。故在本实施例中，测试用例是如图2所示的以type字段为Action和Assertion的json代码块表示的测试单元以任何顺序和任何数量出现，根据测试需求形成一个序列，没有固定的模式或限制，以一个json文件形式组织。

实施例二

如图3所示，本实施例提供了一种基于所述一种基于计算机视觉的GUI软件自动化测试系统的测试方法，包括：

步骤101：根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例。

步骤102：执行所述测试用例，得到所述目标GUI软件的测试结果。

其中，在执行步骤101时，具体包括：

基于GUI软件设计文档说明，根据所述目标关键字集合和所述动作关键字集合，采用测试用例生成子模块103生成所述测试用例。

具体的，该方法为一种测试用例静态生成方法，基于GUI软件自动化测试系统，该方法包括基于GUI软件设计文档说明，根据计算机视觉模块101提供的目标关键字集合和动作模拟模块105提供的动作关键字集合，测试人员或自动化工具由测试用例生成子模块103生成所述的测试用例。

可选的，另一种测试用例生成方法是测试用例动态生成方法，利用计算机视觉模块101对目标GUI软件手动测试过程进行实时检测，根据所述计算机视觉模块识别的目标UI元素的反馈信息，生成所述测试用例；所述反馈信息包括UI组件、文字或图标元素。

其中，在执行步骤102之前，还包括：

将所述测试用例存储至测试用例库，并将所述测试用例库中的所述测试用例发送至测试用例执行子模块104，具体包括：

1)测试人员根据所述的测试用例静态生成方法或所述的测试用例动态生成方法生成所述的测试用例并传给所述的测试管理模块106的所述的测试用例库。

2)测试人员由所述的测试管理模块106下发测试任务，所述的测试管理模块106将所述的测试用例库的所有所述的测试用例发送到测试用例执行子模块104。

其中，在执行步骤102时，具体包括：

1)测试用例执行子模块104解析当前处理的所述的测试用例的所述的测试单元序列中的每个测试单元，得到“操作”测试单元的“动作”和“目标”字段字段值和“断言”测试单元的“目标”字段值。

2)测试用例执行子模块104将得到的“操作”测试单元的“目标”字段值传给计算机视觉模块101。

3)计算机视觉模块101根据接收到的“操作”测试单元的“目标”字段值，识别当前GUI软件界面上相应的目标，并将识别结果信息传给测试用例执行子模块104。

4)测试用例执行子模块104将计算机视觉模块101传送的识别结果信息中的目标信息和测试单元中的“操作”测试单元的“动作”字段值传送给动作模拟模块105。

5)动作模拟模块105根据坐标信息和测试单元的“动作”字段值在GUI软件屏幕上对应位置做出相应动作。

6)“断言”测试单元的“目标”字段值传送给计算机视觉模块101，计算机视觉模块101根据接收到的“断言”测试单元的“目标”字段值，识别当前GUI软件界面上相应的目标，并将识别结果信息传送到测试用例执行子模块104，完成断言。

7)测试用例执行子模块104记录测试结果，传送到测试管理模块106。

8)测试用例执行子模块104解析下一测试用例的所述的测试单元序列中的每个测试单元，并返回执行“测试用例执行子模块104将得到的“操作”测试单元的“目标”字段值传给计算机视觉模块101”的步骤，直到全部测试用例执行完毕。

具体的，如图4所示，本实施例提供的GUI软件自动化测试方法流程示意图。包括：

步骤S101：测试人员根据所述的测试用例静态生成方法或所述的测试用例动态生成方法生成json格式的测试用例并传给所述的测试管理模块106的所述的测试用例库。

步骤S102：测试人员由所述的测试管理模块106下发测试任务，所述的测试管理模块106将所述的测试用例库的所有所述的测试用例发送到测试用例执行子模块104。

测试用例是json格式文件，如图2所示。图2中所示是一个以json形式组织测试用例中的一个测试单元，json格式的测试单元有三个字段，type、action和target。type字段有两个可选值Action和Assertion，分别代表测试单元的“操作”和“断言”两种类型的测试单元。action字段的值决定于动作关键字集合。target字段包含了component和text字段，component和text字段的值决定于相关目标关键字集合。该测试单元指示测试驱动模块102查找一个包含文本“打开”的按钮。

实施例二的测试用例是如图2所示的以type字段为Action和Assertion的json代码块表示的测试单元以任何顺序和任何数量出现，根据测试需求形成一个序列，没有固定的模式或限制，以一个json文件形式组织。

步骤S103：测试用例执行子模块104解析当前处理的所述的测试用例的测试单元序列中的每个json格式的测试单元，得到type字段值为“Action”的测试单元中“action”和“target”的字段值和type字段值为“Action”的测试单元中“target”字段值。

步骤S104：测试用例执行子模块104将得到的type字段值为“Action”的测试单元的“target”字段值传给计算机视觉模块101。

步骤S105：计算机视觉模块101根据接收到的type字段值为type字段值为“Action”的测试单元中的“target”字段值，识别当前GUI软件界面上相应的目标，并将识别结果信息传给测试用例执行子模块104。

步骤S106：测试用例执行子模块104将计算机视觉模块101传送的识别结果信息中的目标信息和测试单元中的type字段值为“Action”的测试单元中的“action”字段值传送给动作模拟模块105。

步骤S107：动作模拟模块105根据坐标信息和测试单元的“action”字段值在GUI软件屏幕上对应位置做出相应动作。

步骤S108：type字段值为“Assertion”的测试单元中的“target”字段值传送给计算机视觉模块101，计算机视觉模块101根据接收到的type字段值为“Assertion”的测试单元中“target”字段值，识别当前GUI软件界面上相应的目标，并将识别结果信息传送到测试用例执行子模块104，完成断言，记录测试结果

步骤S109：测试用例执行子模块104检查是否有待解析测试用例，如有，返回S103，解析下一个测试用例，如果判定所有测试用例执行完毕，测试用例执行子模块104传送全部测试用例执行结果到测试管理模块106。

综上所述，本发明具有以下技术效果：

本发明提供的一种基于计算机视觉的GUI软件自动化测试系统及方法，能够应对当下GUI软件测试中的多种挑战，尤其是跨平台和UI元素检测脆弱性的问题，能够自适应GUI变动，减少脚本维护工作，并支持广泛的应用场景和平台，从而提高测试自动化的可靠性和效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，包括：计算机视觉模块、测试驱动模块和动作模拟模块；

所述计算机视觉模块，包括多种基于深度学习的目标检测模型，每一所述目标检测模型用于识别目标GUI软件中的一类UI元素；所述计算机视觉模块根据各所述目标检测模型识别的UI元素类型，得到目标关键字集合；所述UI元素包括UI组件、文字或图标元素；所述目标关键字集合包括各所述UI元素类型的目标关键字；

所述动作模拟模块，用于模拟用户在所述目标GUI软件上的动作交互，得到动作关键字集合；

所述测试驱动模块，包括测试用例生成子模块和测试用例执行子模块，所述测试用例生成子模块用于根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例；所述测试用例执行子模块用于执行所述测试用例，得到所述目标GUI软件的测试结果。

2.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，所述目标检测模型包括UI组件类型检测模型、图标类型检测模型、字符检测模型和通用目标检测模型。

3.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，所述目标关键字集合包括UI组件类别关键字集合、图标类型关键字集合、字符关键字集合和通用目标关键字集合。

4.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，所述测试用例为测试单元组成的序列；所述测试单元包括操作测试单元和断言测试单元；所述操作测试单元是由所述目标关键字集合中的目标关键字和所述动作关键字集合中的动作关键字构成的；所述断言测试单元是由所述目标关键字集合中的目标关键字构成的。

5.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，还包括：所述测试管理模块；

所述测试管理模块，用于将生成的测试用例存储至测试用例库、将所述测试用例库中的所述测试用例发送至测试用例执行子模块以及存储所述目标GUI软件的测试结果。

6.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，所述动作关键字集合包括单击指令、双击指令、滚动指令、数字输入指令和字符输入指令。

7.一种基于权利要求1-6中任一项所述的一种基于计算机视觉的GUI软件自动化测试系统的测试方法，其特征在于，包括：

根据目标关键字集合和动作关键字集合生成所述目标GUI软件的测试用例；

执行所述测试用例，得到所述目标GUI软件的测试结果。

8.根据权利要求7所述的测试方法，其特征在于，根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例，具体包括：

基于GUI软件设计文档说明，根据所述目标关键字集合和所述动作关键字集合，采用测试用例生成子模块生成所述测试用例。

9.根据权利要求7所述的测试方法，其特征在于，根据所述目标关键字集合和所述动作关键字集合生成所述目标GUI软件的测试用例，具体包括：

利用计算机视觉模块对目标GUI软件进行实时检测，根据所述计算机视觉模块识别的目标UI元素的反馈信息，生成所述测试用例；所述反馈信息包括UI组件、文字或图标元素。

10.根据权利要求7所述的测试方法，其特征在于，在执行所述测试用例，得到所述目标GUI软件的测试结果之前，还包括：

将所述测试用例存储至测试用例库，并将所述测试用例库中的所述测试用例发送至测试用例执行子模块。