CN114860604B - 自动识别动态验证码的自动测试方法、系统和存储介质 - Google Patents

Abstract

本申请公开了一种自动识别动态验证码的自动测试方法、系统和存储介质，包括录制步骤和回放步骤；所述回放步骤包括：执行录制脚本中的语句，其中，在执行到验证码模型调用语句时，执行以下步骤：调用对应的验证码处理模型，根据验证码所处位置识别验证码的内容和验证码正确度；当所述验证码正确度大于等于阈值时，执行验证码处理流程；当所述验证码正确度小于阈值时，点击更新验证码，并返回执行调用对应的验证码处理模型的步骤。通过本方案可以实现随机验证码在自动测试中的验证。

Description

自动识别动态验证码的自动测试方法、系统和存储介质

技术领域

本申请涉及图像识别及自动测试技术，特别是一种自动识别动态验证码的自动测试方法、系统和存储介质。

背景技术

在自动测试时，部分软件的登录和验证需要输入随机的验证码，这些验证码主要用于防范机器人。这些验证码有多种类型，例如，要求输入图中数字或者文字的，要求按照文字的顺序点击图中文字的，还有要求选中包括特定物品图像的。

每次出现的验证码均不同，因此，在自动测试过程中，无法将这些动态验证码进行录入。目前可以利用图像识别的方式进行识别，但是由于验证码通常经过特殊设计，识别率较低，导致当前技术应用在自动测试时经常发生脚本错误无法执行等情况，且现有技术所能够应对的验证码通常是最简单的类型，不能满足目前多样化的测试需求。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种自动识别动态验证码的自动测试方法、系统和存储介质，以解决随机验证码在自动测试中所造成的问题。

本申请实施例提供了一种自动识别动态验证码的自动测试方法，包括录制步骤和回放步骤：

所述录制步骤包括：

显示录制区域和录制工具栏区域，所述录制工具栏区域包括验证码类型选项；

接收针对所述验证码类型的选项的操作，在当前软件画面中确定验证码类型和验证码所处位置；

在录制脚本中写入对应类型的验证码模型调用语句；

所述回放步骤包括：

执行录制脚本中的语句，其中，

在执行到验证码模型调用语句时，执行以下步骤：

调用对应的验证码处理模型，根据验证码所处位置识别验证码的内容和验证码正确度；

当所述验证码正确度大于等于阈值时，执行验证码处理流程；

当所述验证码正确度小于阈值时，点击更新验证码，并返回执行调用对应的验证码处理模型的步骤。

在一些实施例中，所述验证码类型包括第一类型和第二类型；

第一类型为在多个图片选出图中包含特定对象的图片；

第二类型为识别图片中的文字，并输入或者点击对应文字。

在一些实施例中，当所述验证码类型为第一类型时，所述识别验证码的内容，具体包括：

获取验证码中的描述文本，确定识别对象；

根据识别对象选择识别模型识别验证码图像；

根据识别的结果确定选择的验证码图片。

在一些实施例中，所述根据识别对象选择识别模型识别验证码图像，具体包括：

判断多个验证码图像是否属于同一图片，若是，则将多个验证码图像合并处理后，送入根据识别对象选择的识别模型进行识别；若否，则将多个验证码图像分别送入根据识别对象选择的识别模型进行识别。

在一些实施例中，将多个验证码图像合并处理后，送入根据识别对象选择的识别模型进行识别具体包括：

将多个验证码图像按排版合并成完整图片；

将完整图片送入根据识别对象选择的识别模型，识别出识别对象的轮廓；

根据识别对象的轮廓确定包含识别对象至少部分的验证码图像。

在一些实施例中，所述判断多个验证码图像是否属于同一图片，包括：

计算相邻验证码图像相邻边的像素相似度；

当超过预设数量的相邻验证码图像相邻边的相似度满足预设条件的，且所述相邻边均不是纯色时，判定多个验证码图像属于同一图片。

在一些实施例中，计算相邻验证码图像相邻边的像素相似度，具体为：

将相邻两个验证码图像相邻边的像素点转换为向量；

计算向量的相似度作为像素相似度。

在一些实施例中，将相邻两个验证码图像相邻边的像素点转换为向量，具体是：

按照设定间隔抽取验证码图像相邻边的像素点，按位置顺序将像素点的颜色值拼接成向量。

另一方面，本申请实施例一种自动识别动态验证码的自动测试系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的自动识别动态验证码的自动测试方法。

另一方面，本申请实施例一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时，实现所述的自动识别动态验证码的自动测试方法。

本申请实施例包括录制步骤和回放步骤，在录制步骤中，显示录制区域和录制工具栏区域，用户可以通过录制工具栏区域选择验证码类型和验证码的位置，程序将在录制脚本中写入对应的调用语句；在回放的时候，执行到对应的验证码模型调用语句的时候，根据验证码所处的位置识别验证码的内容，并输出正确度，并基于正确度的大小判断处理验证码的方式，通过这一方式可以减少因为验证码验证错误导致的脚本卡死。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的自动识别动态验证码的自动测试方法；

图2是本申请实施例提供的自动识别动态验证码的自动测试方法的界面示意图；

图3是本申请实施例提供的一种轮廓包围面积占比和争取度关系的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，本申请实施例提供了一种自动识别动态验证码的自动测试方法，包括录制步骤和回放步骤。一般情况下，通过录制脚本和回放脚本，可以实现自动模拟人工动作，并抓取相关错误的画面，以此来替代人工重复点击测试的工作。

所述录制步骤包括：

S11、显示录制区域和录制工具栏区域，所述录制工具栏区域包括验证码类型选项。在测试软件的录制界面，录制区域是指对待测软件进行操作的区域。工具栏是指针对测试软件的一些工具选项。

S12、接收针对所述验证码类型的选项的操作，在当前软件画面中确定验证码类型和验证码所处位置。如图2所示，在录制工具栏处，用户可以选择验证码类型，并框出验证码所在的位置。在此处，可以根据用户框选的验证码位置，从而更加快地确定出验证码的位置和相关的内容。

S13、在录制脚本中写入对应类型的验证码模型调用语句。

在本步骤中，录制脚本的时候会将用户针对待测软件操作的位置、类型和相关的截图写入脚本之中。在脚本执行时，会根据脚本中的信息重复模拟这些动作。然而，对于随机验证码的处理而言，由于每次出现的验证码都不同，当需要对携带随机验证码的软件进行测试的时候，如果需要脚本顺利执行，则需要对随机验证码进行处理，否则脚本无法正常执行。

而在本实施例中随机验证码可以分为两大类，包括第一类型和第二类型。

第一类型为在多个图片选出图中包含特定对象的图片。例如，选中包含动物的图像，或者选择包含汽车的图像。其中，这一类任务又细分成两种，一种是多个验证码图像分别是独立的图像，另一种是验证码图像是由一个图像分割出来的。对于前者，只要识别每个验证码图像就可以确定需要点击的验证码图像，转换成对应位置的点击坐标即可。对于后者而言，由于图像是被切割出来的，因此，如果每个图片进行识别，将难以完成任务。因此，需要对两种情况进行识别和区分。在部分实施例中，可以由用户确定具体的类型。在部分实施例中，可以通过一些图像识别的方法识别这些图片是否属于同一图像。

第二类型为识别图片中的文字，并输入或者点击对应文字。例如，输入图片中的文字，或者按照文字的顺序点击图中的文字。

所述回放步骤包括：

S21、执行录制脚本中的语句，其中，

S22、在执行到验证码模型调用语句时，执行以下步骤：

S221、调用对应的验证码处理模型，根据验证码所处位置识别验证码的内容和验证码正确度。在录制脚本的时候已经将验证码的位置进行框选，因此模型可以被框选的区域截图输入到模型中，识别出与验证码有关的内容。其中，可以通过文字识别验证码的任务类型。这里只需要利用自然语言处理模型对常见的任务类型句式进行训练即可获得识别模型。而验证码的正确度，可以通过模型输出的分类概率来确定，例如，模型在判定一个图片中是否包含动物，会分别输出包含和不包含两种情况的概率，对于二分类任务而言，如果两个结果所对应的概率接近，说明模型越不能正确分类，因此，可以基于两个概率之比来折算成正确度，可以根据模型输出结果的概率处以另一个分类的概率，即输出结果的大概率处以小概率来确定争取度，具体的函数关系可以通过经验统计得到，只需要确保比例越大，对应的正确度越大即可，最后可以将正确度映射到0～100％的区间。对于多个图片而言，可以将这些正确度进行加权运算得出最终的正确度，例如将多个图片的正确率加平均。这样就可以通过验证码正确度来衡量这次识别能否通过验证。例如，在识别带有动物的图片这一任务中，4个验证码图片识别带有动物的正确度分别是53％、74％、91％、98％，如果采用家平均的方式，则最终正确度是79％。当然，也可以采取各结果中的最低概率作为最终的正确度，在该例子中是53％。

S222、当所述验证码正确度大于等于阈值时，执行验证码处理流程。验证码处理流程是指根据验证码识别的内容和验证码的任务完成选择或者点击的任务。

S223、当所述验证码正确度小于阈值时，点击更新验证码，并返回执行调用对应的验证码处理模型的步骤。对于验证码刷新的位置，可以在设置验证码类型的时候进行设置。通过这一方式，当模型识别得到的验证码正确度不高的时候，可以对验证码进行刷新，然后重新识别验证码。显然，对于当前识别度较高的模型，可以设置较高的阈值来保证验证码的正确。此外，避免模型无法达到正确度而导致脚本卡死，可以动态调整阈值，当连续N(正整数)次正确度低于阈值，则按照一定步进降低阈值。

因此，通过设置阈值的大小，判定是否需要跳过这一验证码来获取更加可能通过的验证码，这样可以避免脚本因为错误识别验证码而无法继续执行。

在一些实施例中，当所述验证码类型为第一类型时，所述识别验证码的内容，具体包括：

获取验证码中的描述文本，确定识别对象。具体地，由于在录制阶段，用户已经框选了验证码所在区域，可以对验证码所在区域的文字进行识别，从而确定识别的对象是什么。这类验证码类型，通常句式是“选出包含某某物的图片”，在该句式中，“某某物”就是识别的对象。

根据识别对象选择识别模型识别验证码图像。具体地，判断多个验证码图像是否属于同一图片，若是，则将多个验证码图像合并处理后，送入根据识别对象选择的识别模型进行识别；若否，则将多个验证码图像分别送入根据识别对象选择的识别模型进行识别。前面的实施例讨论到，这类验证码有两种形态，一种是各验证码图像是独立的，另一种是各验证码图像实际上从一个大的图片中切割出来。对于不同的类型，需要有不同的处理方式。本实施例通过识别多个验证码图像是否属于同一个图片，可以自动区分这两种任务，减少用户在选择验证码类型时需要操作的项目。此外，通过本实施例即便两种类型的验证码进行混合，本实施例也可以处理，更加方便用户使用。需要理解的是任务类型不同，识别的对象不同，因此，可以选择相对应的模型，至于模型的配置似乎于模型的识别能力。在现有技术中，已经有大量训练好的图像识别模型供开发人员获取，开发人员只需要配置多个相关类型的识别模型，并将他们与具体的任务类型进行关联，就可以完成相关任务。例如，任务是识别动物，则选择识别动物的图像识别模型。

根据识别的结果确定选择的验证码图片。

在一些实施例中，将多个验证码图像合并处理后，送入根据识别对象选择的识别模型进行识别具体包括：

将多个验证码图像按排版合并成完整图片；

将完整图片送入根据识别对象选择的识别模型，识别出识别对象的轮廓；

根据识别对象的轮廓确定包含识别对象至少部分的验证码图像。

具体地，在处理属于同一图片的验证码的时候，首先识别出图中的识别对象的轮廓，轮廓可以采用二值分割的方式对合并后的图片处理得到，识别轮廓的目的是为了确定这个对象涉及到哪些验证码图像。对于这一类的验证码，正确度需要考虑各验证码图像被轮廓所包围的比例。可以设置正确度与该比例呈正相关，具体函数关系可以按实际统计情况确定。这一类验证码容易识别错误的原因是识别对象有一小部分在某个验证码图片上，而轮廓划分往往是不够准确的。因此，如图3所示，可以设置一个分段函数，将所占比例低于最低阈值的准确度判定为0，将所占比例大于等于最低阈值的准确度设置为与所占比例正相关的关系。

在一些实施例中，所述判断多个验证码图像是否属于同一图片，包括：

计算相邻验证码图像相邻边的像素相似度。

具体地，可以将相邻两个验证码图像相邻边的像素点转换为向量；例如，按照设定间隔抽取验证码图像相邻边的像素点，按位置顺序将像素点的颜色值拼接成向量。然后计算向量的相似度作为像素相似度。

当超过预设数量的相邻验证码图像相邻边的相似度满足预设条件的，且所述相邻边均不是纯色时，判定多个验证码图像属于同一图片。通常，由一个图像切割得到的多个验证码图像，相邻图像的相邻边是自然衔接的，因此，两个相邻图像的相邻边的像素相似度会很高，甚至是相同的，因此可以通过相似度判断是否属于同一个图片。但是对于各验证码图像不属于同一图片的情况，也有可能每个图片都是白色底，因此此种情况还需要排除。故在条件中还需要判断验证码图像的边缘是否纯色，对于切割的图像，纯色的边缘是极为少见的，因此，通过这一方式可以有效且高效率地判定各验证码图像是否同一个图像。

本申请实施例一种自动识别动态验证码的自动测试系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的自动识别动态验证码的自动测试方法。

本申请实施例一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时，实现所述的自动识别动态验证码的自动测试方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (6)

1.一种自动识别动态验证码的自动测试方法，其特征在于，包括录制步骤和回放步骤；

所述录制步骤包括：

显示录制区域和录制工具栏区域，所述录制工具栏区域包括验证码类型选项；接收针对所述验证码类型的选项的操作，在当前软件画面中确定验证码类型和验证码所处位置；

在录制脚本中写入对应类型的验证码模型调用语句；

所述回放步骤包括：

执行录制脚本中的语句，其中，

在执行到验证码模型调用语句时，执行以下步骤：

调用对应的验证码处理模型，根据验证码所处位置识别验证码的内容和验证码正确度；

当所述验证码正确度大于等于阈值时，执行验证码处理流程；所述正确度通过模型输出的分类概率来确定；

当所述验证码正确度小于阈值时，点击更新验证码，并返回执行调用对应的验证码处理模型的步骤；

所述验证码类型为在多个图片选出图中包含特定对象的图片；

所述识别验证码的内容，具体包括：

获取验证码中的描述文本，确定识别对象；

判断多个验证码图像是否属于同一图片，若是，则将多个验证码图像合并处理后，送入根据识别对象选择的识别模型进行识别；若否，则将多个验证码图像分别送入根据识别对象选择的识别模型进行识别；

根据识别的结果确定选择的验证码图片；

其中，将多个验证码图像合并处理后，送入根据识别对象选择的识别模型进行识别具体包括：

将多个验证码图像按排版合并成完整图片；

将完整图片送入根据识别对象选择的识别模型，识别出识别对象的轮廓；

根据识别对象的轮廓确定包含识别对象至少部分的验证码图像。

2.根据权利要求1所述的一种自动识别动态验证码的自动测试方法，其特征在于,所述判断多个验证码图像是否属于同一图片，包括：

计算相邻验证码图像相邻边的像素相似度；

当超过预设数量的相邻验证码图像相邻边的相似度满足预设条件的，且所述相邻边均不是纯色时，判定多个验证码图像属于同一图片。

3.根据权利要求2所述的一种自动识别动态验证码的自动测试方法，其特征在于,计算相邻验证码图像相邻边的像素相似度，具体为：

将相邻两个验证码图像相邻边的像素点转换为向量；

计算向量的相似度作为像素相似度。

4.根据权利要求2所述的一种自动识别动态验证码的自动测试方法，其特征在于,将相邻两个验证码图像相邻边的像素点转换为向量，具体是：

按照设定间隔抽取验证码图像相邻边的像素点，按位置顺序将像素点的颜色值拼接成向量。

5.一种自动识别动态验证码的自动测试系统，其特征在于,包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-4任一项所述的自动识别动态验证码的自动测试方法。

6.一种计算机可读存储介质，其存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-4任一项所述的自动识别动态验证码的自动测试方法。

Images