CN109901996A - 辅助测试的方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种辅助测试的方法、装置、电子设备及可读存储介质，以提高测试效率。所述方法包括：获得待测图标和显示终端的屏幕截图；将所述屏幕截图的特征与所述待测图标的特征比较，确定所述屏幕截图是否包含所述待测图标；在所述屏幕截图包含所述待测图标的情况下，确定所述待测图标在所述屏幕截图中的位置；模拟针对所述待测图标在所述屏幕截图中的位置的测试。

Description

辅助测试的方法、装置、电子设备及可读存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种辅助测试的方法、装置、电子设备及可读存储介质。

背景技术

自动测试是指不依靠人工，由设备自动运行测试程序完成测试，得出测试结果。相关技术中，通过分析XML文件的脚本代码，对XML文件形成的树状结构进行深度遍历，实现自动化测试。然而，该方法是基于XML文件实现的，不适用于图像方面的测试，因为图像无法用XML文件表示。

目前，对图像方面的测试需要借助于人工观察，导致测试断节、人力成本高、测试效率低。

发明内容

本申请实施例提供一种辅助测试的方法、装置、电子设备及可读存储介质，以提高测试效率。

本申请实施例第一方面提供了一种辅助测试的方法，所述方法包括：

获得第一待测图标和显示终端的屏幕截图；

将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标；

在所述屏幕截图包含所述第一待测图标的情况下，模拟针对所述第一待测图标的测试。

可选地，将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标，包括：

确定所述屏幕截图包括的多个子图分别与所述第一待测图标的匹配值，所述匹配值包括以下至少一者：特征点匹配度、以所述第一待测图标为模板的模板匹配度、SSIM结构相似度、局部方差；

根据所述各个子图的匹配值，确定所述各个子图是否包含所述第一待测图标。

可选地，根据所述各个子图的匹配值，确定所述各个子图是否包含所述第一待测图标，包括：

将所述各个子图的匹配值分别输入预先训练的概率预测模型，确定所述各个子图包含所述第一待测图标的概率；

根据所述各个子图包含所述第一待测图标的概率是否大于预设概率阈值，确定所述各个子图是否包含所述第一待测图标。

可选地，模拟针对所述第一待测图标的测试，包括：

确定所述第一待测图标在所述屏幕截图中的位置；

针对所述第一待测图标在所述屏幕截图中的位置，模拟对该位置的点击操作；

检测所述显示终端响应于所述点击操作而显示的页面是否为目标页面；

在所述页面是目标页面的情况下，停止测试并输出表征测试通过的测试结果。

可选地，所述方法还包括：

在所述页面不是目标页面的情况下，获得所述页面的截图和第二待测图标，所述第二待测图标与所述第一待测图标不同；

将所述页面的截图的特征与所述第二待测图标的特征比较，确定所述页面的截图是否包含所述第二待测图标；

在所述页面的截图包含所述第二待测图标的情况下，模拟针对所述第二待测图标的测试。

可选地，在检测所述显示终端响应于所述点击操作而显示的页面是否为目标页面之前，所述方法还包括：

将所述页面的截图输入深度残差网络ResNet，确定该页面是否包含弹窗；

在所述页面包含弹窗的情况下，将所述页面的截图输入预先训练的CTPN模型，确定所述页面中弹窗内的文字的位置；

将所述页面中弹窗对应的图像输入CRNN模型，识别所述弹窗内的文字是否为预设文字。

可选地，所述方法还包括：

在所述屏幕截图不包含所述第一待测图标的情况下，输出表征测试未通过的测试结果。

本申请实施例第二方面提供一种辅助测试的装置，所述装置包括：

第一获得模块，用于获得第一待测图标和显示终端的屏幕截图；

第一比较模块，用于将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标；

第一模拟测试模块，用于在所述屏幕截图包含所述第一待测图标的情况下，模拟针对所述第一待测图标的测试。

可选地，所述第一比较模块包括：

第一确定子模块，用于确定所述屏幕截图包括的多个子图分别与所述第一待测图标的匹配值，所述匹配值包括以下至少一者：特征点匹配度、以所述第一待测图标为模板的模板匹配度、SSIM结构相似度、局部方差；

第二确定子模块，用于根据所述各个子图的匹配值，确定所述各个子图是否包含所述第一待测图标。

可选地，所述第二确定子模块包括：

第三确定子模块，用于将所述各个子图的匹配值分别输入预先训练的概率预测模型，确定所述各个子图包含所述第一待测图标的概率；

第四确定子模块，用于根据所述各个子图包含所述第一待测图标的概率是否大于预设概率阈值，确定所述各个子图是否包含所述第一待测图标。

可选地，所述第一模拟测试模块包括：

第五确定子模块，用于确定所述第一待测图标在所述屏幕截图中的位置；

模拟子模块，用于针对所述第一待测图标在所述屏幕截图中的位置，模拟对该位置的点击操作；

检测子模块，用于检测所述显示终端响应于所述点击操作而显示的页面是否为目标页面；

输出子模块，用于在所述页面是目标页面的情况下，停止测试并输出表征测试通过的测试结果。

可选地，所述装置还包括：

第二获得模块，用于在所述页面不是目标页面的情况下，获得所述页面的截图和第二待测图标，所述第二待测图标与所述第一待测图标不同；

第二比较模块，用于将所述页面的截图的特征与所述第二待测图标的特征比较，确定所述页面的截图是否包含所述第二待测图标；

第二模拟测试模块，用于在所述页面的截图包含所述第二待测图标的情况下，模拟针对所述第二待测图标的测试。

可选地，所述装置还包括：

第一确定模块，用于将所述页面的截图输入深度残差网络ResNet，确定该页面是否包含弹窗；

第二确定模块，用于在所述页面包含弹窗的情况下，将所述页面的截图输入预先训练的CTPN模型，确定所述页面中弹窗内的文字的位置；

识别模块，用于将所述页面中弹窗对应的图像输入CRNN模型，识别所述弹窗内的文字是否为预设文字。

可选地，所述装置还包括：

输出模块，用于在所述屏幕截图不包含所述待测图标的情况下，输出表征测试未通过的测试结果。

本申请实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的方法的步骤。

采用本申请实施例提供的辅助测试的方法，通过对屏幕截图的特征和第一待测图标的特征进行对比，确定屏幕截图是否包含第一待测图标，并在屏幕截图包含第一待测图标的情况下，模拟针对该第一待测图标的测试。整个测试过程无需人为观察屏幕截图是否包含第一待测图标，基于对屏幕截图的特征和第一待测图标的特征对比分析，实现自动化测试，提高了测试效率，降低了人力成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的辅助测试的方法的流程图；

图2是本申请实施例中第一待测图标和屏幕截图的示意图；

图3是本申请一实施例提供的辅助测试的方法中步骤S12的流程图；

图4是本申请一实施例提供的辅助测试的方法中步骤S14的流程图；

图5是本申请一实施例提出的辅助测试的装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，图1是本申请一实施例提出的辅助测试的方法的流程图。如图1所示，该方法包括以下步骤：

步骤S11：获得第一待测图标和显示终端的屏幕截图。

在本实施例中，第一待测图标是指任何需要测试的图标，可以是APP(应用程序)图标、也可以是带链接的图标、或者可以是店铺或商品的图片等。显示终端的屏幕截图是通过对显示终端当前显示的页面进行截图操作而得到的。

其中，截图操作可以通过程序自动实现，即可以对显示终端在任一时刻显示的页面进行截图操作，或者，可以每隔一定周期对显示终端显示的页面进行截图操作。显示终端的屏幕截图的数量可以是一个或多个，具体根据测试需要设定。示例地，参考图2，图2是本申请实施例中第一待测图标和屏幕截图的示意图。图2中，第一待测图标是一个店铺的图片，屏幕截图是对手机当前显示的页面进行截图操作后得到的。

在采用本实施例提供的方法进行测试的过程中，只需提供第一待测图标和显示终端的屏幕截图即可，后续的测试过程是自动化的，无需人工介入。

步骤S12：将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标。

步骤S13：在所述屏幕截图包含所述第一待测图标的情况下，模拟针对所述第一待测图标的测试。

在一种实施方式中，步骤S13包括以下步骤：

在所述屏幕截图包含所述第一待测图标的情况下，确定所述第一待测图标在所述屏幕截图中的位置；

模拟针对所述第一待测图标在所述屏幕截图中的位置的测试。

在本实施例中，通过对显示终端显示的页面进行截图操作，得到屏幕截图，然后将屏幕截图的特征与第一待测图标的特征比较，确定屏幕截图是否包含第一待测图标，无需人工观察显示终端显示的页面是否包含第一待测图标。

在一种实施方式中，参考图3，图3是本申请一实施例提供的辅助测试的方法中步骤S12的流程图。如图3所示，步骤S12包括以下步骤：

步骤S121：确定所述屏幕截图包括的多个子图分别与所述第一待测图标的匹配值，所述匹配值包括以下至少一者：特征点匹配度、以所述第一待测图标为模板的模板匹配度、SSIM结构相似度、局部方差；

步骤S122：根据所述各个子图的匹配值，确定所述各个子图是否包含所述第一待测图标。

在本实施例中，考虑到屏幕截图的尺寸通常比第一待测图标的尺寸大，因而可以采用滑窗的方式，获得屏幕截图包括的各个子图。然后将屏幕截图包括的各个子图的特征分别与第一待测图标的特征比较。具体地，参考第一待测图标的尺寸设置滑窗的尺寸，例如，将滑窗的尺寸设置为与第一待测图标的尺寸相同。然后按照从左至右从上到下的顺序在屏幕截图上移动滑窗，每次移动都可以从屏幕截图上截取一个子图，如此得到多个子图，这些子图可以相互重叠或不相互重叠，本申请实施例不做限定。

在获得屏幕截图包括的多个子图后，将多个子图中的每张子图的特征与第一待测图标的特征比较，具体可以确定每张子图与第一待测图标的匹配值，该匹配值可以包括一个或多个数值的加权平均值，分别从不同维度表征一张子图与第一待测图标的匹配程度。确定一张子图与第一待测图标的匹配值，包括但不限于以下任一方式或以下多种方式的组合：

第一种方式：确定一张子图与第一待测图标的特征点匹配度。具体地，从一张子图和第一待测图标中分别提取特征点，例如：SURF特征点或者SIFT特征点(SIFT特征点和SURF特征点都是优秀的尺度不变特征，常用来进行物体辨识和图像匹配)，然后确定从该子图和第一待测图标中分别提取的特征点的匹配度。具体计算特征点的匹配度的方法可以参考相关技术，在此不再赘述。

第二种方式：以第一待测图标为模板，确定一张子图与第一待测图标的模板匹配度。具体可以采用相关技术中的SQDIFF模板匹配算法实现，在此不再赘述。

第三种方式：确定一张子图与第一待测图标的SSIM结构相似度。该方式通过比较一张子图与第一待测图标的结构信息，确定两者在结构信息上的匹配程度。

第四种方式：确定一张子图与第一待测图标的局部方差。该方式是从图像的局部细节方面，衡量一张子图与第一待测图标的相似度。在实际实施时，还可以确定一张子图与第一待测图标的局部标准差等。

以上仅列举了一些从不同维度衡量一张子图与第一待测图标的匹配度的方式，在实际实施时，凡是衡量两张图像的相似度或匹配度的方法均可以应用于本申请，将第一待测图标作为两张图像中的一张图像，将上述子图作为两张图像中的另一张图像，即可得到一张子图与第一待测图标的匹配值。

采用以上方式，可以得到一张子图与第一待测图标的匹配值，对屏幕截图包括的多张子图，分别参考上述方式，即可得到屏幕截图包括的多张子图分别与第一待测图标的匹配值，一张子图与第一待测图标的匹配值越高，该子图为第一待测图标的可能性越大。

在一种实施方式中，步骤S122包括以下步骤：

将所述各个子图的匹配值分别输入预先训练的概率预测模型，确定所述各个子图包含所述第一待测图标的概率；

根据所述各个子图包含所述第一待测图标的概率是否大于预设概率阈值，确定所述各个子图是否包含所述第一待测图标。

在本实施例中，为了提高确定屏幕截图是否包含第一待测图标的准确度，可以预先训练一个概率预测模型。首先，获得多张样本图像和待测样本图标，对每张样本图像，确定该样本图像与待测样本图标的匹配值，并根据该样本图像是否包含待测样本图标，对该样图像进行标记。标记过程可以由人工完成，即人工判断该样本图像是否包括待测样本图标，进而对该样本图像进行标记，使得该样本图像携带标记。

按照上述过程确定每个样本图像与待测样本图标的匹配值，并对每个样本图像进行标记，进而得到多个携带标记的样本图像以及多个样本图像各自与待测样本图标的匹配值。然后以多个携带标记的样本图像和这些样本图像与待测样本图标的匹配值为输入，对逻辑回归模型进行训练，得到概率预测模型，概率预测模型用于根据单个图像与第一待测图标的匹配值，预测单个图像是否包含第一待测图标的概率。

在得到预先训练的概率预测模型后，将屏幕截图包括的各个子图的匹配值输入该概率预测模型，即可得到各个子图包含第一待测图标的概率。

在具体实施时，为了确定屏幕截图是否包含第一待测图标，可以预先设置一个概率阈值，如果屏幕截图包括的各个子图中，有一张子图与第一待测图标的匹配值大于该概率阈值，则可以确定该子图包括第一待测图标，该子图在屏幕截图中的位置即为第一待测图标在屏幕截图中的位置。如果屏幕截图包括的各个子图中，有不止一张子图与第一待测图标的匹配值大于该概率阈值，则可以将与第一待测图标的匹配值最大的子图在屏幕截图中的位置，确定为第一待测图标在屏幕截图中的位置。如果屏幕截图包括的各个子图中，任一子图与第一待测图标的匹配值均不大于该概率阈值，则可以确定屏幕截图不包括第一待测图标。

在确定屏幕截图包括第一待测图标后，或者，在确定屏幕截图包括第一待测图标且确定第一待测图标在屏幕截图中的位置后，即可通过调用相应的测试程序模拟针对该位置的测试。示例地，模拟点击该第一待测图标所在的位置。

采用上述技术方案，通过对屏幕截图的特征和第一待测图标的特征进行对比，确定屏幕截图是否包含第一待测图标，并在屏幕截图包含第一待测图标的情况下，确定第一待测图标在屏幕截图中的位置，进而模拟针对该位置的测试。整个测试过程无需人为观察屏幕截图是否包含第一待测图标，基于对屏幕截图的特征和第一待测图标的特征对比分析，实现自动化测试，提高了测试效率，降低了人力成本。

在一种实施方式中，参考图4，图4是本申请一实施例提供的辅助测试的方法中步骤S13的流程图。如图4所示，步骤S13包括以下步骤：

步骤S131：确定所述第一待测图标在所述屏幕截图中的位置；

步骤S132：针对所述第一待测图标在所述屏幕截图中的位置，模拟对该位置的点击操作；

步骤S133：检测所述显示终端响应于所述点击操作而显示的页面是否为目标页面；

步骤S134：在所述页面是目标页面的情况下，停止测试并输出表征测试通过的测试结果；

步骤S135：在所述页面不是目标页面的情况下，获得所述页面的截图和第二待测图标，所述第二待测图标与所述第一待测图标不同；

步骤S136：将所述页面的截图的特征与所述第二待测图标的特征比较，确定所述页面的截图是否包含所述第二待测图标；

步骤S137：在所述页面的截图包含所述第二待测图标的情况下，模拟针对所述第二待测图标的测试。

结合以上实施方式，在另一种实施方式中，所述方法还包括：

在所述屏幕截图不包含所述第一待测图标的情况下，输出表征测试未通过的测试结果。

在本实施例中，对第一待测图标测试可以是模拟针对第一待测图标所在位置的点击操作。因为大部分人机交互都是通过点击操作来实现的。例如：用户点击app图标，则显示终端应该跳转到显示该app的启动页面。又例如：用户点击商品的图标，则显示终端应该跳转到显示商品详情的页面。

在模拟针对屏幕截图中的第一待测图标的点击操作后，可以检测显示终端是否做出相应地响应，进而跳转到显示目标页面。本申请实施例中的目标页面可以是预先设置的停止测试的最终页面，该页面不包含第一待测图标，如果显示终端跳转到的页面不是最终页面，则可以继续测试，对显示终端跳转到的页面进行截屏操作，得到新的屏幕截图，并检测该新的屏幕截图是否包含第二待测图标，进而在新的屏幕截图包含第二待测图标的情况下，继续模拟针对新的屏幕截图中的第二待测图标的测试，其中，第二待测图标与第一待测图标不同。

如果屏幕截图包含第一待测图标，在模拟针对屏幕截图中的第一待测图标的点击操作后，如果显示终端跳转到显示最终页面时，结束测试，输出表征测试通过的测试结果，即第一待测图标的功能是正常的；如果显示终端跳转到显示不同于最终页面的页面，则继续测试，对该页面进行截屏操作，得到新的屏幕截图，并检测该新的屏幕截图是否包含第二待测图标。如果屏幕截图中不包含第二待测图标，则输出表征测试未通过的测试结果。

在一种实施方式中，在上述步骤S133之前，所述方法还包括：

将所述页面的截图输入深度残差网络ResNet，确定该页面是否包含弹窗检测所述显示终端响应于所述点击操作而显示的页面是否包含弹窗；

在所述页面包含弹窗的情况下，将所述页面的截图输入预先训练的CTPN模型，确定所述页面中弹窗内的文字的位置；

将所述页面中弹窗对应的图像输入CRNN模型，识别所述弹窗内的文字是否为预设文字。

在本实施例中，考虑到目标页面可能包含弹窗图像，因而增加了对弹窗图像的检测。其中，弹窗图像可以是一个与用户交互的窗口，包含不同选项的文字，例如：允许、禁止。

具体地，在模拟针对屏幕截图中的待测图标的点击操作后，可以检测显示终端是否做出相应地响应，进而跳转到的页面是否包含弹窗图像。在具体实施时，检测一个页面是否包含弹窗图像，可以将该页面的截图输入深度残差网络ResNet，进而确定该页面是否包含弹窗图像，其中，深度残差网络ResNet是预先训练的具有识别弹窗图像的网络。或者，也可以参考相关技术中关于弹窗图像检测的方法。

在确定显示终端跳转到的页面包含弹窗图像的情况下，可以测试弹窗图像是否正常。具体地，将该页面的截图输入预先训练的CTPN模型，确定该页面中弹窗内的文字的位置，然后，将该页面中弹窗对应的图像输入CRNN模型，识别弹窗内的文字是否为预设文字。

其中，对弹窗内的文字进行识别，判定是否是预设文字，即判定是否是预先设置的正确的文字，例如：禁止、允许。在完成对弹窗的检测之后，再继续执行上述步骤S133。

采用上述方案，在对待测图标进行自动化测试的过程中，结合了对弹窗图像的检测和测试，整个测试过程无需人为介入，效率较高。

基于同一发明构思，本申请一实施例提供一种辅助测试的装置。参考图5，图5是本申请一实施例提供的辅助测试的装置的示意图。如图5所示，该装置包括：

第一获得模块501，用于获得第一待测图标和显示终端的屏幕截图；

第一比较模块502，用于将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标；

第一模拟测试模块503，用于在所述屏幕截图包含所述第一待测图标的情况下，模拟针对所述第一待测图标的测试。

可选地，所述第一比较模块包括：

第一确定子模块，用于确定所述屏幕截图包括的多个子图分别与所述第一待测图标的匹配值，所述匹配值包括以下至少一者：特征点匹配度、以所述第一待测图标为模板的模板匹配度、SSIM结构相似度、局部方差；

第二确定子模块，用于根据所述各个子图的匹配值，确定所述各个子图是否包含所述第一待测图标。

可选地，所述第二确定子模块包括：

第三确定子模块，用于将所述各个子图的匹配值分别输入预先训练的概率预测模型，确定所述各个子图包含所述第一待测图标的概率；

第四确定子模块，用于根据所述各个子图包含所述第一待测图标的概率是否大于预设概率阈值，确定所述各个子图是否包含所述第一待测图标。

可选地，所述第一模拟测试模块包括：

第五确定子模块，用于确定所述第一待测图标在所述屏幕截图中的位置；

模拟子模块，用于针对所述第一待测图标在所述屏幕截图中的位置，模拟对该位置的点击操作；

检测子模块，用于检测所述显示终端响应于所述点击操作而显示的页面是否为目标页面；

输出子模块，用于在所述页面是目标页面的情况下，停止测试并输出表征测试通过的测试结果。

可选地，所述装置还包括：

第二获得模块，用于在所述页面不是目标页面的情况下，获得所述页面的截图和第二待测图标，所述第二待测图标与所述第一待测图标不同；

第二比较模块，用于将所述页面的截图的特征与所述第二待测图标的特征比较，确定所述页面的截图是否包含所述第二待测图标；

第二模拟测试模块，用于在所述页面的截图包含所述第二待测图标的情况下，模拟针对所述第二待测图标的测试。

可选地，所述装置还包括：

第一确定模块，用于将所述页面的截图输入深度残差网络ResNet，确定该页面是否包含弹窗；

第二确定模块，用于在所述页面包含弹窗的情况下，将所述页面的截图输入预先训练的CTPN模型，确定所述页面中弹窗内的文字的位置；

识别模块，用于将所述页面中弹窗对应的图像输入CRNN模型，识别所述弹窗内的文字是否为预设文字。

可选地，所述装置还包括：

输出模块，用于在所述屏幕截图不包含所述待测图标的情况下，输出表征测试未通过的测试结果。

基于同一发明构思，本申请另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种辅助测试的方法、装置、存储介质和电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种辅助测试的方法，其特征在于，所述方法包括：

获得第一待测图标和显示终端的屏幕截图；

将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标；

在所述屏幕截图包含所述第一待测图标的情况下，模拟针对所述第一待测图标的测试。

2.根据权利要求1所述的方法，其特征在于，将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标，包括：

确定所述屏幕截图包括的多个子图分别与所述第一待测图标的匹配值，所述匹配值包括以下至少一者：特征点匹配度、以所述第一待测图标为模板的模板匹配度、SSIM结构相似度、局部方差；

根据所述各个子图的匹配值，确定所述各个子图是否包含所述第一待测图标。

3.根据权利要求2所述的方法，其特征在于，根据所述各个子图的匹配值，确定所述各个子图是否包含所述第一待测图标，包括：

将所述各个子图的匹配值分别输入预先训练的概率预测模型，确定所述各个子图包含所述第一待测图标的概率；

根据所述各个子图包含所述第一待测图标的概率是否大于预设概率阈值，确定所述各个子图是否包含所述第一待测图标。

4.根据权利要求1所述的方法，其特征在于，模拟针对所述第一待测图标的测试，包括：

确定所述第一待测图标在所述屏幕截图中的位置；

针对所述第一待测图标在所述屏幕截图中的位置，模拟对该位置的点击操作；

检测所述显示终端响应于所述点击操作而显示的页面是否为目标页面；

在所述页面是目标页面的情况下，停止测试并输出表征测试通过的测试结果。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述页面不是目标页面的情况下，获得所述页面的截图和第二待测图标，所述第二待测图标与所述第一待测图标不同；

将所述页面的截图的特征与所述第二待测图标的特征比较，确定所述页面的截图是否包含所述第二待测图标；

在所述页面的截图包含所述第二待测图标的情况下，模拟针对所述第二待测图标的测试。

6.根据权利要求4所述的方法，其特征在于，在检测所述显示终端响应于所述点击操作而显示的页面是否为目标页面之前，所述方法还包括：

将所述页面的截图输入深度残差网络ResNet，确定该页面是否包含弹窗；

在所述页面包含弹窗的情况下，将所述页面的截图输入预先训练的CTPN模型，确定所述页面中弹窗内的文字的位置；

将所述页面中弹窗对应的图像输入CRNN模型，识别所述弹窗内的文字是否为预设文字。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述屏幕截图不包含所述第一待测图标的情况下，输出表征测试未通过的测试结果。

8.一种辅助测试的装置，其特征在于，所述装置包括：

第一获得模块，用于获得第一待测图标和显示终端的屏幕截图；

比较模块，用于将所述屏幕截图的特征与所述第一待测图标的特征比较，确定所述屏幕截图是否包含所述第一待测图标；

模拟测试模块，用于在所述屏幕截图包含所述第一待测图标的情况下，模拟针对所述第一待测图标的测试。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求17任一所述的方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-7任一所述的方法的步骤。