CN113849415A - 控件测试方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种控件测试方法、装置，存储介质及电子设备，以减少自动化测试过程中对测试脚本的修改，从而提高自动化测试的效率。该方法包括：获取待测试控件对应的关键字，所述关键字用于标识所述待测试控件表征的内容；通过预训练的识别模型对待测试页面中的控件进行识别；当无法在所述待测试页面中识别到所述待测试控件时，基于所述关键字在控件图片集中查找对应的控件图片，其中所述控件图片集包括标注有关键字的多个控件图片；当基于所述关键字在所述控件图片集中查找到对应的控件图片时，将查找到的所述控件图片与所述待测试页面的页面截图进行图像匹配，并基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试。

Description

控件测试方法、装置、存储介质及电子设备

技术领域

本公开涉及测试技术领域，具体地，涉及一种控件测试方法、装置、存储介质及电子设备。

背景技术

随着AI(Artificial Intelligence，人工智能)技术的日益成熟，AI在自动化测试中应用的越来越广泛。比如，可以通过目标检测等AI图像识别技术，对待测试页面的控件内容进行识别，从而根据识别结果进行控件测试。

实际应用中，经常存在AI图像识别模型无法识别出待测试控件的情况。在此种情况下，相关技术通常是人工修改测试脚本，以通过模板匹配的方式实现对控件进行自动化测试。但是，此种方式需要耗费较多的人力和时间，从而影响对控件的自动化测试效率。

发明内容

本公开的目的是提供一种控件测试方法、装置、存储介质及电子设备，以减少测试过程中对测试脚本的修改，从而提高对控件的自动化测试效率。

为了实现上述目的，第一方面，本公开提供一种控件测试方法，所述方法包括：

获取待测试控件对应的关键字，所述关键字用于标识所述待测试控件表征的内容；

通过预训练的识别模型对待测试页面中的控件进行识别；

当无法在所述待测试页面中识别到所述待测试控件时，基于所述关键字在控件图片集中查找对应的控件图片，其中所述控件图片集包括标注有关键字的多个控件图片；

当基于所述关键字在所述控件图片集中查找到对应的控件图片时，将查找到的所述控件图片与所述待测试页面的页面截图进行图像匹配，并基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试。

可选地，所述识别模型包括图像识别模型，所述方法还包括：

当通过所述图像识别模型无法识别所述待测试页面中的目标控件时，截取所述目标控件对应的控件图片，并对所述控件图片标注目标关键字，得到目标控件图片；

将所述目标控件图片添加到所述控件图片集，并基于添加所述目标控件图片后的所述控件图片集生成控件标注文件；

响应于所述控件标注文件的生成，调用所述控件标注文件对所述图像识别模型进行训练，得到目标识别模型；

所述通过预训练的识别模型对待测试页面中的控件进行识别，包括：

通过所述目标识别模型对待测试页面中的控件进行图像识别。

可选地，所述调用所述控件标注文件对所述图像识别模型进行训练，得到目标识别模型，包括：

调用所述控件标注文件对第一进程中的图像识别模型进行训练，得到目标识别模型；

所述通过所述目标识别模型对待测试页面中的控件进行识别，包括：

将第二进程中的图像识别模型替换为所述目标识别模型，其中所述第二进程中的图像识别模型与训练之前所述第一进程中的图像识别模型相同；

通过所述第二进程中的所述目标识别模型对所述待测试页面进行图像识别，得到识别结果。

可选地，所述调用所述控件标注文件对所述图像识别模型进行训练，得到目标识别模型，包括：

若达到预设的训练时刻，则调用上次模型训练与本次模型训练之间生成的当前控件标注文件，并将所述当前控件标注文件作为目标标注文件，或者将所述当前控件标注文件与上次模型训练时获取到的历史控件标注文件进行数据融合，得到目标标注文件；

调用所述目标控件标注文件对所述图像识别模型进行训练，得到目标识别模型。

可选地，所述基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试，包括：

若在所述页面截图中匹配到与所述控件图片中控件的相似度超过预设相似度的控件，则基于所述控件在所述页面截图中的位置进行控件测试。

可选地，所述方法还包括：

当无法在所述待测试页面中识别到所述待测试控件时，若基于所述关键字在所述控件图片集中无法查找到对应的控件图片，则输出用于表征无法定位到所述待测试控件的第一提示信息；或者

若基于查找到的所述控件图片在所述页面截图中未成功匹配到对应的控件，则输出用于表征无法定位到所述待测试控件的第二提示信息。

第二方面，本公开提供一种控件测试装置，所述装置包括：

获取模块，用于获取待测试控件对应的关键字，所述关键字用于标识所述待测试控件表征的内容；

识别模块，用于通过预训练的识别模型对待测试页面中的控件进行识别；

第一测试模块，用于当无法在所述待测试页面中识别到所述待测试控件时，基于所述关键字在控件图片集中查找对应的控件图片，其中所述控件图片集包括标注有关键字的多个控件图片；

第二测试模块，用于当基于所述关键字在所述控件图片集中查找到对应的控件图片时，将查找到的所述控件图片与所述待测试页面的页面截图进行图像匹配，并基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试。

可选地，所述识别模型包括图像识别模型，所述装置还包括：

第一标注模块，用于当通过所述图像识别模型无法识别所述待测试页面中的目标控件时，截取所述目标控件对应的控件图片，并对所述控件图片标注目标关键字，得到目标控件图片；

第二标注模块，用于将所述目标控件图片添加到所述控件图片集，并基于添加所述目标控件图片后的所述控件图片集生成控件标注文件；

训练模块，用于响应于所述控件标注文件的生成，调用所述控件标注文件对第一进程中的图像识别模型进行训练，得到目标识别模型；

所述识别模块用于：

通过所述目标识别模型对待测试页面中的控件进行图像识别。

第三方面，本公开提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。

通过上述技术方案，控件图片集中的控件图片标注有关键字，当通过识别模型无法在待测试页面中识别到待测试控件时，可以基于该关键字在控件图片集中查找对应的控件图片，从而基于查找到的控件图片在待测试页面的页面截图中进行图像匹配，进而基于图像匹配的结果在待测试页面中定位待测试控件进行测试。由此，通过识别模型无法识别待测试控件时，无需人工修改测试脚本来进行模板匹配，可以减少测试过程中耗费的人力和时间，从而提高对控件的自动化测试效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开一示例性实施例示出的一种控件测试方法的流程图；

图2是根据本公开一示例性实施例示出的一种控件测试方法中控件图片的示意图；

图3是根据本公开一示例性实施例示出的一种控件测试方法中控件图片集的示意图；

图4是根据本公开另一示例性实施例示出的一种控件测试方法的流程图；

图5是根据本公开一示例性实施例示出的一种控件测试装置的框图；

图6是根据本公开一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

发明人研究发现，相关技术中测试脚本通常被编写为通过AI图像识别的方式对待测试页面进行控件定位，若遇到AI图像识别模型无法识别出待测试控件，则需要人工修改测试脚本中的控件定位方式为模板匹配的方式。其中，模板匹配的方式是指根据预先设定的控件模板图片在待测试页面中进行匹配。然后，通过重新训练AI图像识别模型，在AI图像识别模型重新训练后，即更新AI图像识别模型后，再人工修改测试脚本中的控件定位方式为AI图像识别的方式。

由此可见，相关技术在遇到AI图像识别模型无法识别出待测试控件的情况时，需要两次人工修改测试脚本，操作繁琐，耗费了较多的人力和时间，从而影响对控件的自动化测试效率。

因此，本公开提供一种控件测试方法、装置、存储介质及电子设备，以减少测试过程中对测试脚本的修改，提高对控件的自动化测试效率。

图1是根据本公开一示例性实施例示出的一种控件测试方法的流程图。参照图1，该控件测试方法包括：

步骤101，获取待测试控件对应的关键字，该关键字用于标识待测试控件表征的内容。

步骤102，通过预训练的识别模型对待测试页面中的控件进行识别。

步骤103，当无法在待测试页面中识别到待测试控件时，基于关键字在控件图片集中查找对应的控件图片。其中控件图片集包括标注有关键字的多个控件图片。

步骤104，当基于关键字在控件图片集中查找到对应的控件图片时，将查找到的控件图片与待测试页面的页面截图进行图像匹配，并基于图像匹配的结果在待测试页面中定位待测试控件进行测试。

示例地，待测试控件对应的关键字可以用于标识待测试控件表征的内容。比如，图2所示的两个控件，其表征的内容为“我的”，则该两个控件对应的关键字可以是“我的”。在每次控件测试中，可以给定待测试控件的关键字，从而在通过识别模型无法识别待测试控件时，可以基于该关键字在控件图片集查找对应的控件图片进行自动的模板匹配，而无需人工修改测试脚本来进行模板匹配，进而提高对控件的自动化测试效率。

示例地，识别模型可以包括OCR(Optical Character Recognition，光学字符识别)识别模型，还可以包括各种类型的AI图像识别模型，本公开实施例对此不作限定。通过识别模型对待测试页面中的控件进行识别，得到的识别结果可以包括用于表征识别到的控件内容的关键字。因此，可以基于识别结果中是否包括待测试控件对应的关键字来确定是否在待测试页面中识别到待测试控件。

示例地，若识别结果中包括待测试控件对应的关键字，则说明通过识别模型在待测试页面中识别到待测试控件，从而可以针对识别到待测试控件进行控件测试。反之，若识别结果中不包括待测试控件对应的关键字，则说明识别模型无法在待测试页面中识别到待测试控件。进一步，可以基于待测试控件对应的关键字在控件图片集中查找对应的控件图片进行控件定位。其中，若基于关键字在控件图片集中查找到对应的控件图片，则可以将查找到的控件图片与待测试页面的页面截图进行图像匹配，从而基于图像匹配的结果在待测试页面中定位待测试控件。

示例地，待测试页面的页面截图可以是在对待测试页面进行图像识别之前对待测试页面进行截图操作而得到的。将控件图片与待测试页面的页面截图进行图像匹配比如可以是：先按照控件图片的尺寸，将页面截图划分为多个子图像，然后分别将控件图片与每一个子图像进行匹配。当然，将控件图片与待测试页面的页面截图进行匹配还可以采用其他可能的图像匹配方式，本公开实施例对此不作限定。

在可能的方式中，基于图像匹配的结果在待测试页面中定位待测试控件进行测试可以是：若在页面截图中匹配到与控件图片中控件的相似度超过预设相似度的控件，则基于控件在页面截图中的位置进行控件测试。

示例地，预设相似度可以根据实际情况设定，本公开实施例不作限定。

继续沿用上述举例，在分别将控件图片与每一个子图像进行匹配后，若匹配到某个子图像中的控件与该控件图片中的控件之间的相似度超过预设相似度，则可以基于该子图像中的控件在页面截图中的位置进行控件测试。由此，通过识别模型无法识别待测试控件时，无需人工修改测试脚本来进行模板匹配，可以减少测试过程中耗费的人力和时间，从而提高控件测试效率。

在可能的方式中，当无法在待测试页面中识别到待测试控件时，若基于关键字在控件图片集中无法查找到对应的控件图片，则可以输出用于表征无法定位到待测试控件的第一提示信息；或者，若基于查找到的控件图片在页面截图中未成功匹配到对应的控件，则可以输出用于表征无法定位到待测试控件的第二提示信息。

应当理解的是，若识别结果中的关键字不包括待测试控件对应的关键字，则说明通过识别模型无法识别到待测试控件。此种情况下，若基于关键字在控件图片集中也无法查找到对应的控件图片，则可以输出用于表征无法定位到待测试控件的第一提示信息，以提示用户未能在待测试页面中定位到该关键字对应的待测试控件。或者，若基于目标控件图片在待测试页面无法定位到待测试控件，则可以输出用于表征无法定位到待测试控件的第二提示信息，以提示用户待测试页面中不存在该关键字对应的待测试控件。

在可能的方式中，当通过图像识别模型无法识别待测试页面中的目标控件时，还可以截取目标控件对应的控件图片，并对该控件图片标注目标关键字，得到目标控件图片，然后将目标控件图片添加到控件图片集，并基于添加目标控件图片后的控件图片集生成控件标注文件，最后，可以响应于控件标注文件的生成，调用控件标注文件对图像识别模型进行训练，得到目标识别模型。相应地，步骤102可以是：通过目标识别模型对待测试页面中的控件进行图像识别。

应当理解的是，相关技术中遇到图像识别模型无法识别的目标控件时，通常是截取该目标控件对应的图片发送给后端系统，等待后端系统基于该目标控件对应的图片更新图像识别模型后，通过修改测试脚本才能再次使用图像识别模型进行控件定位。可见，按照相关技术中的此种方式，需要等待较长的模型训练时间，从而影响控件测试的效率。

而本公开实施例中，当遇到图像识别模型无法识别待测试页面中的目标控件时，可以截取目标控件对应的控件图片，并对控件图片标注目标关键字，得到目标控件图片，然后基于该目标控件图片自动生成控件标注文件，并响应于该控件标注文件的生成，调用该控件标注文件对图像识别模型进行训练。也即是说，本公开实施例在控件标注文件生成后，可以将控件标注文件实时应用于图像识别模型的训练，从而根据训练后的图像识别模型(即目标识别模型)进行控件测试。由此，可以实现标注、训练和应用的一体化流程，减少模型训练的等待时间，进一步提高控件测试效率。

示例地，截取的控件图片可以是目标控件对应的控件图标，比如，图2中所示的两个控件图标。在截取到对应的控件图片后，可以基于该控件图片表征的内容对该控件图片标注关键字。比如，控件图片如图2所示，则可以对其标注关键字“我的”，得到目标控件图片。

示例地，将目标控件图片添加到控件图片集可以是：将该控件图片以及该控件图片所属设备的分辨率和像素密度等信息添加到控件图片集中。由此，控件图片集中各控件图片可以对应有图片基本信息。比如，图3所示，关键字“我的”对应的控件图片集中，包括多个控件图片，每一控件图片对应有文件名file_name、像素比例值density、所属设备的分辨率device_resolution和像素密度shot_resolution。

应当理解的是，具有相同关键字的控件图片可以存放在同一个控件图片集，则一个控件图片集可以对应一个关键字。在此种情况下，获取到待测试控件的关键字后，可以先基于待测试控件的关键字确定具有相同关键字的目标控件图片集，然后基于该目标控件图片集中的每一个控件图片在页面截图中进行图像匹配。或者，具有不同关键字的控件图片可以存放在同一个控件图片集，且该控件图片集中一个关键字对应至少一个控件图片，则可以基于待测试控件的关键字在该控件图片集查找对应的目标控件图片，然后进行对应的图像匹配。

示例地，控件标注文件为基于控件图片集生成的、可以直接用于训练图像识别模型的数据，相较于控件图片集中的数据，控件标注文件中的数据除了上文所述的图片基本信息外，还可以包括控件图片在对应的样本页面中的位置信息等信息，便于图像识别模型的训练。

在生成控件标注文件后，可以通过脚本调用该控件标注文件对图像识别模型进行训练，即可以通过脚本将标注的结果实时应用于模型训练。由此，可以减少模型训练的等待时间，提高控件测试效率。

在可能的方式中，可以调用控件标注文件对第一进程中的图像识别模型进行训练，得到目标识别模型。相应地，可以将第二进程中的图像识别模型替换为目标识别模型，其中第二进程中的图像识别模型与训练之前第一进程中的图像识别模型相同。然后通过第二进程中的目标识别模型对待测试页面进行图像识别。

也即是说，可以通过两个进程实现将标注结果实时应用于模型训练，实现图像识别模型的在线训练。其中，第一进程的图像识别模型用于执行模型训练过程，第二进程中的图像识别模型用于执行模型应用过程，即对待测试页面进行实时识别。在第一进程中的图像识别模型训练后，可以通过脚本替换第二进程中当前运行的图像识别模型。

由此，可以同时进行模型训练和模型应用，在模型训练的过程中可以不中断模型应用的过程，从而减少模型训练的等待时间，提高控件测试效率。

在可能的方式中，调用控件标注文件对图像识别模型进行训练，得到目标识别模型还可以是：若达到预设的训练时刻，则调用上次模型训练与本次模型训练之间生成的当前控件标注文件，并将当前控件标注文件作为目标标注文件，或者将当前控件标注文件与上次模型训练时获取到的历史控件标注文件进行数据融合，得到目标标注文件。最后，调用目标控件标注文件对图像识别模型进行训练，得到目标识别模型。

其中，预设的训练时刻可以是根据实际情况设定的，本公开实施例对此不作限定。比如，可以设定周期性进行模型训练，以在保证训练效果的情况下减少运行损耗。在此种情况下，训练时刻可以是每一周期的开始时刻，从而定时触发模型训练。

在控件标注文件生成且达到预设的训练时刻时，可以通过脚本调用上次模型训练与本次模型训练之间生成的当前控件标注文件。应当理解的是，每次模型训练过程中，调用的控件标注文件可以被保存下来，因此在某次模型训练时可以仅调用上次模型训练与本次模型训练之间生成的控件标注文件，以减少不必要的数据传输。

另外，应当理解的是，本实施例中，虽然模型训练的触发需同时满足控件标注文件生成和达到预设的训练时刻这两个条件，但是控件标注文件生成后可以实时传递给模型训练的进程，在达到预设的训练时刻后可以立即进行模型训练，从而根据训练后的图像识别模型进行控件测试。也即是说，本公开实施例同样能够实现标注、训练和应用的一体化流程，减少模型训练的等待时间。

在得到当前控件标注文件后，可以基于该当前控件标注文件对图像识别模型进行补充训练。此种方式由于当前控件标注文件的数据量不大，因此训练效率较高。或者，在得到当前控件标注文件后，可以基于该当前控件标注文件和上次模型训练时获取到的历史控件标注文件进行数据融合，得到目标标注文件进行完整的模板训练。此种方式由于是将当前控件标注文件和历史控件标注文件进行了融合训练，因此训练效率相较于前一种方式有所降低，但是由于训练数据的全面性，训练结果的准确性相较于前一种方式会有所提升。在实际应用时，可以根据实际需求选择对应的训练方式，本公开实施例对此不作限定。

在训练图像识别模型后，无需修改测试脚本，可以直接通过训练后的目标识别模型对待测试页面进行图像识别，从而可以提高控件测试效率。

下面通过另一示例性实施例对本公开提供的控件测试方法进行说明。参照图4，该控件测试方法包括以下步骤：

步骤401，截取待标注控件的样本图片。

其中，该待标注控件可以是通过识别模型在待测试页面中无法识别的目标控件，当然也可以是通过其他方式确定的控件，比如用户指定的控件，等等，本公开实施例对此不作限定。

步骤402，获取样本图片对应的样本关键字。

其中，样本关键字可以是根据待标注控件表征的内容而确定的。

步骤403，将样本图片以及所属设备的分辨率和像素密度等信息添加到样本关键字对应的控件图片集中。

步骤404，生成控件标注文件。

步骤405，若达到预设的训练时刻，则通过脚本调用控件标注文件。

其中，调用的控件标注文件可以是上次模型训练与本次模型训练之间生成的当前控件标注文件，或者也可以是已生成的所有控件标注文件，本公开实施例对此不作限定。

步骤406，基于调用的控件标注文件对第一进程中图像识别模型进行训练，得到目标识别模型。

步骤407，将第二进程中当前运行的图像识别模型替换为目标识别模型。

步骤408，获取目标关键字。该目标关键字为待测试控件的关键字。

步骤409，获取待测试页面的页面截图。

步骤410，对页面截图进行图像识别。

步骤411，对页面截图进行OCR文字识别。

步骤412，获取OCR识别结果和图像识别结果，得到目标识别结果。

步骤413，判断目标识别结果中是否包括目标关键字，若包括，则进入步骤414，否则进入步骤415。

步骤414，判断目标关键字是否存在控件图片集中，若存在，则进入步骤416，否则进入步骤417。

步骤415，定位目标关键字对应的待测试控件进行测试。

步骤416，将目标关键字在控件图片集中对应的目标控件图片与页面截图进行匹配，并进入步骤418。

步骤417，提示无法定位到待测试控件。

步骤418，判断是否匹配成功，若匹配成功则进入步骤415，否则进入步骤417。

上述各步骤的具体实施方式已在上文进行详细举例说明，这里不再赘述。另外应当理解的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受上文所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，上文所描述的实施例属于优选实施例，所涉及的步骤并不一定是本公开所必须的。

通过上述方式，通过图像识别无法识别时，可以基于给定的目标关键字在控件图片集中查找到对应的目标控件图片，从而基于该目标控件图片进行控件测试。由此，在通过图像识别无法识别时，无需人工修改测试脚本来进行模板匹配，可以减少测试过程中耗费的人力和时间，从而提高控件测试效率。另一方面，在控件标注文件生成后，可以将控件标注文件实时应用于图像识别模型的训练，从而根据训练后的图像识别模型(即目标识别模型)进行控件测试。由此，可以通过脚本控制实现标注、训练和应用的一体化流程，减少模型训练的等待时间，进一步提高控件测试效率。

基于同一构思，本公开还提供一种控件测试装置，该装置可以通过软件、硬件或者两者结合的方式成为电子设备的部分或全部。参照图5，该控件测试装置500可以包括：

获取模块501，用于获取待测试控件对应的关键字，所述关键字用于标识所述待测试控件表征的内容；

识别模块502，用于通过预训练的识别模型对待测试页面中的控件进行识别；

第一测试模块503，用于当无法在所述待测试页面中识别到所述待测试控件时，基于所述关键字在控件图片集中查找对应的控件图片，其中所述控件图片集包括标注有关键字的多个控件图片；

第二测试模块504，用于当基于所述关键字在所述控件图片集中查找到对应的控件图片时，将查找到的所述控件图片与所述待测试页面的页面截图进行图像匹配，并基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试。

可选地，所述识别模型包括图像识别模型，所述装置500还包括：

第一标注模块，用于当通过所述图像识别模型无法识别所述待测试页面中的目标控件时，截取所述目标控件对应的控件图片，并对所述控件图片标注目标关键字，得到目标控件图片；

第二标注模块，用于将所述目标控件图片添加到所述控件图片集，并基于添加所述目标控件图片后的所述控件图片集生成控件标注文件；

训练模块，用于响应于所述控件标注文件的生成，调用所述控件标注文件对第一进程中的图像识别模型进行训练，得到目标识别模型；

所述识别模块502用于：

通过所述目标识别模型对待测试页面中的控件进行图像识别。

可选地，所述训练模块用于：

调用所述控件标注文件对第一进程中的图像识别模型进行训练，得到目标识别模型；

所述识别模块502用于：

将第二进程中的图像识别模型替换为所述目标识别模型，其中所述第二进程中的图像识别模型与训练之前所述第一进程中的图像识别模型相同；

通过所述第二进程中的所述目标识别模型对所述待测试页面进行图像识别。

可选地，所述训练模块用于：

当达到预设的训练时刻时，调用上次模型训练与本次模型训练之间生成的当前控件标注文件，并将所述当前控件标注文件作为目标标注文件，或者将所述当前控件标注文件与上次模型训练时获取到的历史控件标注文件进行数据融合，得到目标标注文件；

调用所述目标控件标注文件对所述图像识别模型进行训练，得到目标识别模型。

可选地，所述第二测试模块504用于：

若在所述页面截图中匹配到与所述控件图片中控件的相似度超过预设相似度的控件，则基于所述控件在所述页面截图中的位置进行控件测试。

可选地，所述装置500还包括：

提示模块，用于在所述识别结果中的所述关键字不包括所述目标关键字的情况下，当基于所述目标关键字在所述控件图片集中无法查找到对应的目标控件图片时，输出用于表征无法定位到所述待测试控件的第一提示信息；或者，当基于所述目标控件图片在所述待测试页面无法定位到对应的控件时，输出用于表征无法定位到所述待测试控件的第二提示信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，本公开还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述任一控件测试方法的步骤。

在可能的方式中，该电子设备的框图可以如图6所示。参照图6，该电子设备600可以包括：处理器601，存储器602。该电子设备600还可以包括多媒体组件603，输入/输出(I/O)接口604，以及通信组件605中的一者或多者。

其中，处理器601用于控制该电子设备600的整体操作，以完成上述的控件测试方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该电子设备600的操作，这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该电子设备600与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件605可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的控件测试方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的控件测试方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器602，上述程序指令可由电子设备600的处理器601执行以完成上述的控件测试方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的控件测试方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种控件测试方法，其特征在于，所述方法包括：

获取待测试控件对应的关键字，所述关键字用于标识所述待测试控件表征的内容；

通过预训练的识别模型对待测试页面中的控件进行识别；

当无法在所述待测试页面中识别到所述待测试控件时，基于所述关键字在控件图片集中查找对应的控件图片，其中所述控件图片集包括标注有关键字的多个控件图片；

当基于所述关键字在所述控件图片集中查找到对应的控件图片时，将查找到的所述控件图片与所述待测试页面的页面截图进行图像匹配，并基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试。

2.根据权利要求1所述的方法，其特征在于，所述识别模型包括图像识别模型，所述方法还包括：

当通过所述图像识别模型无法识别所述待测试页面中的目标控件时，截取所述目标控件对应的控件图片，并对所述控件图片标注目标关键字，得到目标控件图片；

将所述目标控件图片添加到所述控件图片集，并基于添加所述目标控件图片后的所述控件图片集生成控件标注文件；

响应于所述控件标注文件的生成，调用所述控件标注文件对所述图像识别模型进行训练，得到目标识别模型；

所述通过预训练的识别模型对待测试页面中的控件进行识别，包括：

通过所述目标识别模型对待测试页面中的控件进行图像识别。

3.根据权利要求2所述的方法，其特征在于，所述调用所述控件标注文件对所述图像识别模型进行训练，得到目标识别模型，包括：

调用所述控件标注文件对第一进程中的图像识别模型进行训练，得到目标识别模型；

所述通过所述目标识别模型对待测试页面中的控件进行识别，包括：

将第二进程中的图像识别模型替换为所述目标识别模型，其中所述第二进程中的图像识别模型与训练之前所述第一进程中的图像识别模型相同；

通过所述第二进程中的所述目标识别模型对所述待测试页面进行图像识别。

4.根据权利要求2所述的方法，其特征在于，所述调用所述控件标注文件对所述图像识别模型进行训练，得到目标识别模型，包括：

若达到预设的训练时刻，则调用上次模型训练与本次模型训练之间生成的当前控件标注文件，并将所述当前控件标注文件作为目标标注文件，或者将所述当前控件标注文件与上次模型训练时获取到的历史控件标注文件进行数据融合，得到目标标注文件；

调用所述目标控件标注文件对所述图像识别模型进行训练，得到目标识别模型。

5.根据权利要求1-4任一所述的方法，其特征在于，所述基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试，包括：

若在所述页面截图中匹配到与所述控件图片中控件的相似度超过预设相似度的控件，则基于所述控件在所述页面截图中的位置进行控件测试。

6.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

当无法在所述待测试页面中识别到所述待测试控件时，若基于所述关键字在所述控件图片集中无法查找到对应的控件图片，则输出用于表征无法定位到所述待测试控件的第一提示信息；或者

若基于查找到的所述控件图片在所述页面截图中未成功匹配到对应的控件，则输出用于表征无法定位到所述待测试控件的第二提示信息。

7.一种控件测试装置，其特征在于，所述装置包括：

获取模块，用于获取待测试控件对应的关键字，所述关键字用于标识所述待测试控件表征的内容；

识别模块，用于通过预训练的识别模型对待测试页面中的控件进行识别；

第一测试模块，用于当无法在所述待测试页面中识别到所述待测试控件时，基于所述关键字在控件图片集中查找对应的控件图片，其中所述控件图片集包括标注有关键字的多个控件图片；

第二测试模块，用于当基于所述关键字在所述控件图片集中查找到对应的控件图片时，将查找到的所述控件图片与所述待测试页面的页面截图进行图像匹配，并基于图像匹配的结果在所述待测试页面中定位所述待测试控件进行测试。

8.根据权利要求7所述的装置，其特征在于，所述识别模型包括图像识别模型，所述装置还包括：

第一标注模块，用于当通过所述图像识别模型无法识别所述待测试页面中的目标控件时，截取所述目标控件对应的控件图片，并对所述控件图片标注目标关键字，得到目标控件图片；

第二标注模块，用于将所述目标控件图片添加到所述控件图片集，并基于添加所述目标控件图片后的所述控件图片集生成控件标注文件；

训练模块，用于响应于所述控件标注文件的生成，调用所述控件标注文件对第一进程中的图像识别模型进行训练，得到目标识别模型；

所述识别模块用于：

通过所述目标识别模型对待测试页面中的控件进行图像识别。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。

Images