CN115982005A - 基于人工智能的自动化测试方法和装置 - Google Patents

Abstract

本发明提供了一种基于人工智能的自动化测试方法和装置，涉及自动化测试技术领域，可用于金融领域，方法包括：采集待测试系统界面的图像数据；解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息；将图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，目标检测模型检测图像数据中的图像元素得到描述信息相符的目标元素位置信息；根据目标元素位置信息与操作内容模拟鼠标键盘操作以进行自动化测试。本申请通过人工智能技术识别被测界面中元素，测试人员无需关注源代码，界面发生改变时仅需要简单的修改脚本即可正常测试，能更加快速、准确的识别被测界面的元素，从而可以提升自动化测试效率。

Description

基于人工智能的自动化测试方法和装置

技术领域

本发明涉及自动化测试技术领域，可用于金融领域，尤其涉及一种基于人工智能的自动化测试方法和装置。

背景技术

自动化测试代替手工重复劳动，把以人为驱动的测试行为转化为机器自动执行，从而可以节省人力、时间或硬件资源，提高测试效率。目前比较常用的自动化测试主要是通过元素的id，序列的索引等找到对应的元素，模拟鼠标事件进行操作。但是存在问题：被测界面一旦发生改动，脚本维护成本较高，利用索引寻找元素的方法存在一定的误差，由于id不能重复，因此，系统开发时需要引入大量id值，使得代码不够简洁、可读性变差，也会增加开发人员的工作量。

发明内容

有鉴于此，本发明提供一种基于人工智能的自动化测试方法和装置，以解决上述提及的至少一个问题。

为了实现上述目的，本发明采用以下方案：

根据本发明的第一方面，提供一种基于人工智能的自动化测试方法，该方法包括：采集待测试系统界面的图像数据；解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息；将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息；根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

优选的，本发明一实施例中根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试之后，该方法还包括：判断自动化测试完成前所述测试系统界面是否发生改变，若发生改变，则重新采集待测试系统界面的图像数据并重复执行前述方法步骤。

优选的，本发明一实施例中上述目标检测模型由现实测试用例经过训练获得，该方法还包括：记录每次自动化测试过程中每个步骤的结果形成测试用例；根据自动化测试运行结果判断测试准确率是否达标，若不达标则，则将记录的测试用例加入训练集来对目标检测模型进行重新训练。

优选的，本发明一实施例中上述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息包括：所述目标检测模型利用目标检测技术及光学字符识别技术检测所述图像数据中的图像元素，分析得到图像元素类型，所述元素类型包括按钮、输入框、文本和图像类型；根据解析得到的待操作元素的描述信息，检测所述图像数据中与所述描述信息中描述类型相符、内容匹配的目标元素；输出所述目标元素的位置信息。

根据本发明的第二方面，提供一种基于人工智能的自动化测试装置，该装置包括：图像采集单元，用于采集待测试系统界面的图像数据；图像解析单元，用于解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息；目标检测单元，用于将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息；自动化测试单元，用于根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

优选的，本发明一实施例中该装置还包括：判断单元，用于判断自动化测试完成前所述测试系统界面是否发生改变，若发生改变，则通知所述图像采集单元重新采集待测试系统界面的图像数据并由所述图像解析单元、目标检测单元及自动化测试单元重新执行自动化测试步骤。

优选的，本发明一实施例中目标检测模型由现实测试用例经过训练获得，所述装置还包括：记录单元，用于记录每次自动化测试过程中每个步骤的结果形成测试用例；达标判断单元，用于根据自动化测试运行结果判断测试准确率是否达标，若不达标则，则将记录的测试用例加入训练集来对目标检测模型进行重新训练。

优选的，本发明一实施例中目标检测单元中目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息包括：所述目标检测模型利用目标检测技术及光学字符识别技术检测所述图像数据中的图像元素，分析得到图像元素类型，所述元素类型包括按钮、输入框、文本和图像类型；根据解析得到的待操作元素的描述信息，检测所述图像数据中与所述描述信息中描述类型相符、内容匹配的目标元素；输出所述目标元素的位置信息。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述方法的步骤。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本发明的第五方面，提供一种计算机程序产品，包括计算机程序/指令，其所述计算机程序/指令被处理器执行时实现上述方法的步骤。

由上述技术方案可知，本申请提供的基于人工智能的自动化测试方法和装置，通过人工智能技术识别被测界面中元素，测试人员无需关注源代码，界面发生改变时仅需要简单的修改脚本即可正常测试，测试脚本采用近乎自然语言的方式编写，极大的降低了测试脚本编写及维护的成本，同时降低了对测试人员的技能要求。另外本申请能更加快速、准确的识别被测界面的元素，从而可以提升自动化测试效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例提供的一种基于人工智能的自动化测试方法的流程示意图；

图2是本申请另一实施例提供的一种基于人工智能的自动化测试方法的流程示意图；

图3是本申请实施例提供目标检测模型输出目标元素位置的流程示意图；

图4是本申请实施例提供的一种基于人工智能的自动化测试装置的结构示意图；

图5是本申请另一实施例提供的一种基于人工智能的自动化测试装置的结构示意图；

图6是本申请实施例提供的电子设备的系统构成图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

如图1所示为本申请实施例提供的一种基于人工智能的自动化测试方法的流程示意图，该方法包括如下步骤：

步骤S101：采集待测试系统界面的图像数据。

当待测试的系统界面打开后，本申请可以对该系统界面的图像数据进行采集，采集的方式比如可以是截屏的方式，得到的图像数据比如可以是JPG等格式的图片文件。

步骤S102：解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息。

在本实施例中，可以采用接近自然语言的方式编写自动化测试脚本，通过解析该自动化测试脚本，将其转化成程序可以识别的数据结果。解析该自动化测试脚本后可以获得本次测试的具体操作内容，然后可以提取该操作内容中待操作元素的描述信息，该描述信息可以包括待操作元素的元素类型和具体的元素信息。

上述元素类型比如可以包括按钮、输入框、文本、图像等类型，元素信息即这些类型所对应的具体内容。

步骤S103：将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息。

在本实施例中，通过预先构建的目标检测模型来对步骤S101采集的图像数据进行检测，分析该图像数据中的元素类型及元素内容，然后得到符合待操作元素描述信息的目标元素的位置信息，并输出该目标元素的位置信息。

优选的，上述目标检测模型可以由现实测试用例经过训练获得，相应的，本实施例的方法还可以包括如下步骤：记录每次自动化测试过程中每个步骤的结果形成测试用例；根据自动化测试运行结果判断测试准确率是否达标，若不达标则，则将记录的测试用例加入训练集来对目标检测模型进行重新训练。即本实施例的自动化测试方法可以在测试运行过程中记录测试结果和过程，然后形成测试实例，当本实施例的目标检测模型检测结果准确率下降时，利用这些测试实例重新训练模型，直到满足要求后再继续投入使用。

步骤S104：根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

自动化测试脚本的操作内容是针对目标元素进行的一系列操作，比如文本输入操作、点击按钮操作、浏览图片操作等，通过步骤S103输出的目标元素位置以及步骤S102解析得到的操作内容，就可以实现对目标元素的操作，从而实现自动化测试的目的。

由上述技术方案可知，本申请提供的基于人工智能的自动化测试方法，通过人工智能技术识别被测界面中元素，测试人员无需关注源代码，界面发生改变时仅需要简单的修改脚本即可正常测试，测试脚本采用近乎自然语言的方式编写，极大的降低了测试脚本编写及维护的成本，同时降低了对测试人员的技能要求。另外本申请能更加快速、准确的识别被测界面的元素，从而可以提升自动化测试效率。

如图2所示为本申请另一实施例提供的一种基于人工智能的自动化测试方法的流程示意图，该方法包括如下步骤：

步骤S101：采集待测试系统界面的图像数据。

步骤S102：解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息。

步骤S103：将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息。

优选的，如图3所示，本步骤中目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息具体可以包括：

步骤S1031：所述目标检测模型利用目标检测技术及光学字符识别技术检测所述图像数据中的图像元素，分析得到图像元素类型，所述元素类型包括按钮、输入框、文本和图像类型。

步骤S1032：根据解析得到的待操作元素的描述信息，检测所述图像数据中与所述描述信息中描述类型相符、内容匹配的目标元素。

步骤S1033：输出所述目标元素的位置信息。

步骤S104：根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

步骤S105：判断自动化测试完成前所述测试系统界面是否发生改变，若发生改变，则返回步骤S101，若未发生改变，则继续执行自动化测试直至结束。

在本实施例中，通过实时侦测测试界面元素的变动，来及时调整自动化测试，可以防止因界面的变动而导致自动化测试出错的情况发生。

由上述技术方案可知，本申请提供的基于人工智能的自动化测试方法，通过人工智能技术识别被测界面中元素，测试人员无需关注源代码，界面发生改变时仅需要简单的修改脚本即可正常测试，测试脚本采用近乎自然语言的方式编写，极大的降低了测试脚本编写及维护的成本，同时降低了对测试人员的技能要求。另外本申请能更加快速、准确的识别被测界面的元素，从而可以提升自动化测试效率。

如图4所示为本申请实施例提供的一种基于人工智能的自动化测试装置的结构示意图，该装置包括：图像采集单元410、图像解析单元420、目标检测单元430和自动化测试单元440，它们之间依次相连。

图像采集单元410用于采集待测试系统界面的图像数据。

当待测试的系统界面打开后，本申请可以对该系统界面的图像数据进行采集，采集的方式比如可以是截屏的方式，得到的图像数据比如可以是JPG等格式的图片文件。

图像解析单元420用于解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息。

在本实施例中，可以采用接近自然语言的方式编写自动化测试脚本，通过解析该自动化测试脚本，将其转化成程序可以识别的数据结果。解析该自动化测试脚本后可以获得本次测试的具体操作内容，然后可以提取该操作内容中待操作元素的描述信息，该描述信息可以包括待操作元素的元素类型和具体的元素信息。

上述元素类型比如可以包括按钮、输入框、文本、图像等类型，元素信息即这些类型所对应的具体内容。

目标检测单元430用于将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息。

优选的，本实施例中上述目标检测模型由现实测试用例经过训练获得，本装置还包括：记录单元，用于记录每次自动化测试过程中每个步骤的结果形成测试用例；达标判断单元，用于根据自动化测试运行结果判断测试准确率是否达标，若不达标则，则将记录的测试用例加入训练集来对目标检测模型进行重新训练。

自动化测试单元440用于根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

由上述技术方案可知，本申请提供的基于人工智能的自动化测试装置，通过人工智能技术识别被测界面中元素，测试人员无需关注源代码，界面发生改变时仅需要简单的修改脚本即可正常测试，测试脚本采用近乎自然语言的方式编写，极大的降低了测试脚本编写及维护的成本，同时降低了对测试人员的技能要求。另外本申请能更加快速、准确的识别被测界面的元素，从而可以提升自动化测试效率。

如图5所示为本申请实施例提供的一种基于人工智能的自动化测试装置的结构示意图，该装置包括：图像采集单元510、图像解析单元520、目标检测单元530、自动化测试单元540和判断单元550，它们之间依次相连，其中判断单元550还和图像采集单元510相连。

图像采集单元510用于采集待测试系统界面的图像数据。

图像解析单元520用于解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息。

目标检测单元530用于将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息。

优选的，本实施例中，目标检测模型利用目标检测技术及光学字符识别技术检测所述图像数据中的图像元素，分析得到图像元素类型，所述元素类型包括按钮、输入框、文本和图像类型；根据解析得到的待操作元素的描述信息，检测所述图像数据中与所述描述信息中描述类型相符、内容匹配的目标元素；输出所述目标元素的位置信息。

自动化测试单元540用于根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

判断单元550用于判断自动化测试完成前所述测试系统界面是否发生改变，若发生改变，则通知所述图像采集单元510重新采集待测试系统界面的图像数据并由所述图像解析单元520、目标检测单元530及自动化测试单元540重新执行自动化测试步骤。

由上述技术方案可知，本申请提供的基于人工智能的自动化测试装置，通过人工智能技术识别被测界面中元素，测试人员无需关注源代码，界面发生改变时仅需要简单的修改脚本即可正常测试，测试脚本采用近乎自然语言的方式编写，极大的降低了测试脚本编写及维护的成本，同时降低了对测试人员的技能要求。另外本申请能更加快速、准确的识别被测界面的元素，从而可以提升自动化测试效率。

图6是本发明实施例提供的电子设备的示意图。图6所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器501和存储器502。处理器501和存储器502通过总线503连接。存储器502适于存储处理器501可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器501执行以实现上述基于人工智能的自动化测试方法中的步骤。

上述处理器501可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器501通过执行存储器502所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线503将上述多个组件连接在一起，同时将上述组件连接到显示控制器504和显示装置以及输入/输出(I/O)装置505。输入/输出(I/O)装置505可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置505通过输入/输出(I/O)控制器506与系统相连。

其中，存储器502可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述基于人工智能的自动化测试方法的步骤。

本发明实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述基于人工智能的自动化测试方法的步骤。

综上所述，本申请提供的基于人工智能的自动化测试方法和装置，通过人工智能技术识别被测界面中元素，测试人员无需关注源代码，界面发生改变时仅需要简单的修改脚本即可正常测试，测试脚本采用近乎自然语言的方式编写，极大的降低了测试脚本编写及维护的成本，同时降低了对测试人员的技能要求。另外本申请能更加快速、准确的识别被测界面的元素，从而可以提升自动化测试效率。

以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，本发明基于工厂模式的消息通知方法和装置可用于金融领域相关业务的消息通知发送，也可用于除金融领域之外的任意领域，本发明对基于工厂模式的消息通知方法和装置的应用领域不做限定。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于人工智能的自动化测试方法，其特征在于，所述方法包括：

采集待测试系统界面的图像数据；

解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息；

将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息；

根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

2.如权利要求1所述的基于人工智能的自动化测试方法，其特征在于，根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试之后，所述方法还包括：

判断自动化测试完成前所述测试系统界面是否发生改变，若发生改变，则重新采集待测试系统界面的图像数据并重复执行所述自动化测试方法步骤。

3.如权利要求1所述的基于人工智能的自动化测试方法，其特征在于，所述目标检测模型由现实测试用例经过训练获得，所述方法还包括：

记录每次自动化测试过程中每个步骤的结果形成测试用例；

根据自动化测试运行结果判断测试准确率是否达标，若不达标则，则将记录的测试用例加入训练集来对目标检测模型进行重新训练。

4.如权利要求1所述的基于人工智能的自动化测试方法，其特征在于，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息包括：

所述目标检测模型利用目标检测技术及光学字符识别技术检测所述图像数据中的图像元素，分析得到图像元素类型，所述元素类型包括按钮、输入框、文本和图像类型；

根据解析得到的待操作元素的描述信息，检测所述图像数据中与所述描述信息中描述类型相符、内容匹配的目标元素；

输出所述目标元素的位置信息。

5.一种基于人工智能的自动化测试装置，其特征在于，所述装置包括：

图像采集单元，用于采集待测试系统界面的图像数据；

图像解析单元，用于解析自动化测试脚本获取操作内容并提取所述操作内容中待操作元素的描述信息；

目标检测单元，用于将所述图像数据及所述待操作元素的描述信息作为目标检测模型的输入数据，所述目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息；

自动化测试单元，用于根据所述目标元素位置信息与所述操作内容模拟鼠标键盘操作以进行自动化测试。

6.如权利要求5所述的基于人工智能的自动化测试装置，其特征在于，所述装置还包括：

判断单元，用于判断自动化测试完成前所述测试系统界面是否发生改变，若发生改变，则通知所述图像采集单元重新采集待测试系统界面的图像数据并由所述图像解析单元、目标检测单元及自动化测试单元重新执行自动化测试步骤。

7.如权利要求5所述的基于人工智能的自动化测试装置，其特征在于，所述目标检测模型由现实测试用例经过训练获得，所述装置还包括：

记录单元，用于记录每次自动化测试过程中每个步骤的结果形成测试用例；

达标判断单元，用于根据自动化测试运行结果判断测试准确率是否达标，若不达标则，则将记录的测试用例加入训练集来对目标检测模型进行重新训练。

8.如权利要求5所述的基于人工智能的自动化测试装置，其特征在于，所述目标检测单元中目标检测模型检测所述图像数据中的图像元素得到所述描述信息相符的目标元素位置信息包括：

所述目标检测模型利用目标检测技术及光学字符识别技术检测所述图像数据中的图像元素，分析得到图像元素类型，所述元素类型包括按钮、输入框、文本和图像类型；

根据解析得到的待操作元素的描述信息，检测所述图像数据中与所述描述信息中描述类型相符、内容匹配的目标元素；

输出所述目标元素的位置信息。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述基于人工智能的自动化测试方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述基于人工智能的自动化测试方法的步骤。

11.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至4任一项基于人工智能的自动化测试方法的步骤。

Images