CN116175558A - 一种智能机械手测试系统和测试方法 - Google Patents

Abstract

本发明提供了一种用户界面图像、标识和智能终端性能的测试方法，应用于智能机械手测试系统，所述方法包括：获取至少一个用户界面测试请求；解析各个用户界面测试请求中的用户界面图像和应用程序的标识；基于用户界面图像、标识异常或应用程序异常性能检测模型，智能机械手测试系统的识别和控制模块确定各个用户界面图像和应用程序的标识所对应的用户界面图像、标识异常或应用程序异常性能识别结果，智能机械手测试系统的固定和触控装置配合完成用户界面图像或标识异常检测模型或应用程序异常性能检测模型的进行点触或划动操作；根据各个用户界面图像、标识异常或应用程序异常性能识别结果，生成智能终端性能的测试报告。提升测试的效果。

Description

一种智能机械手测试系统和测试方法

技术领域

本发明涉及测试设备技术领域，尤其涉及一种基于深度卷积神经网络的对于智能终端的测试系统、测试方法、测试装置、测试用电子设备及测试用计算机可读存储介质。

背景技术

随着业务的增长和客户需求的提升，对APP(应用程序Application，APP)智能终端的UI(User Interface,用户界面)的要求越来越高，以及客制项目的增多，越来越多的APP的UI界面出现了向复杂化发展的趋势。

在APP产品上线前，测试人员需要对含APP的智能终端的各个界面进行测试，以识别是否存在APP标识\图标、UI界面图裂、未加载完整错误图标、按钮/图标重叠、页面加载异常、页面排版和页面错误信息等界面异常情形，有时候会导致所需要检查的界面数量多达1000+，图片的数量2000+。如果所有页面都要人工检查，则需要投入大量的测试成本，导致UI测试成本增大。

目前机械手的自动化针对不同厂商的智能终端，如手机或平板进行相关的性能测试时，由于其上层显示不同，通过UI自动化进行适配时需要消耗大量的时间去维护相关的脚本，且随着OS(操作系统Operating System，OS)的升级同样需要进行大量的适配脚本。因此，脚本维护比较费事，所以提出一种基于深度学习目标检测的机械手自动化系统。

目前基于机械手的智能终端性能自动化测试主要是通过位置的判断来进行相应的点击和性能指标的计算。此外，基于图像的UI自动化其原理是基于图像识别的原理进行相应的操作，这种方式的不足之处就基准图像发生变化后，就需要进行相应的跟新，维护的成本和难度比较高，当界面的图像发生了变化的时候就需要做相应的调整，且对于不同厂家的UI来说，UI或标识不相同，因此性能自动化设备的测试兼容性不够强。

发明内容

本发明的目的在于有必要开发新型的智能测试设备和测试方法以解决现有技术存在的上述问题本文提出一种基于深度学习目标检测算法的控制机械手完成性能自动化测试的方案，解决性能自动化测试过程中不同设备、不同OS(Android或IOS)的兼容性问题。

本申请实施例的第一方面提供了一种用户界面图像、标识和智能终端性能的测试方法，应用于智能机械手测试系统，所述方法包括：

获取至少一个用户界面测试请求；

解析各个所述用户界面测试请求中的用户界面图像和应用程序的标识；

基于用户界面图像、标识异常或应用程序异常性能检测模型，所述智能机械手测试系统的识别和控制模块确定各个所述用户界面图像和所述应用程序的标识所对应的所述用户界面图像、标识异常或应用程序异常性能识别结果，所述智能机械手测试系统的固定和触控装置配合完成所述用户界面图像或标识异常检测模型或应用程序异常性能检测模型的进行点触或划动操作；

根据各个所述用户界面图像、标识异常或应用程序异常性能识别结果，生成所述智能终端性能的测试报告。

本申请实施例与现有技术相比存在的有益效果是：

本方案主要是基于深度学习的相关理论，将其和机械手进行结合进行相应的性能测试，该技术的实现可以满足以下需求：

可以利用机械手实现不同类型UI界面的智能终端，如手机或平板性能自动化测试可以利用机械手实现不同分辨率、不同屏幕亮下的智能终端，如手机或平板性能自动化测试。

根据各个所述用户界面图像或标识异常或应用程序异常性能识别结果，生成智能终端性能的测试报告。

在进一步的实施方式中所述的测试方法，所述基于用户界面图像、标识异常或应用程序异常性能检测模型，确定各个所述用户界面图像所对应的用户界面图像或标识异常或应用程序异常性能识别结果，包括：

针对各个所述用户界面图像、标识或应用程序，在所述机械手测试智能装置中的多个所述用户界面图像、标识异常检测或应用程序异常性能检测单元中选择与所述用户界面图像、标识匹配的目标用户界面图像或标识异常检测模型或应用程序的标识匹配的目标图像和标识异常检测单元或应用程序异常性能检测单元，并将相应的机械手测试装置的固定和触控装置被分配至所述目标用户界面图像或标识异常检测或目标应用程序异常性能检测单元；基于各个所述目标用户界面图像或标识异常检测模型或目标应用程序异常性能检测单元中的应用程序异常性能检测模型，分别确定被分配的所述应用程序的标识所对应的目标用户界面图像或标识异常或应用程序异常性能识别结果。

进一步的实施方式中所述的测试方法，在基于所述用户界面图像或标识异常检测模型或应用程序异常性能检测模型，确定各个所述用户界面图像、标识所对应的用户界面图像或标识异常和/或应用程序异常性能识别结果之后，所述方法还包括：

根据对应所述用户界面图像或标识异常或应用程序异常性能识别结果为用户界面图像存在异常的各个用户界面图像、标识或应用程序异常性能，生成异常图像集或应用程序异常性能的标识集；

获取针对所述异常图像集、标识集中的至少一个目标异常用户界面图像或标识的误识别标记信息或

至少一个目标应用程序异常性能标识集误的识别标记信息；

根据各个具有误识别标记信息的所述目标异常图像，更新所述应用程序异常性能检测模型的训练样本集；

根据各个具有误识别标记信息的所述目标应用程序异常性能，更新所述应用程序异常性能检测模型的训练样本集；

基于经更新后的训练样本集，重新训练所述用户界面图像或标识异常检测模型和/或应用程序异常性能检测模型。

进一步的实施方式中所述的测试方法，所述用户界面图像或标识异常检测模型和/或应用程序异常性能检测模型包括深度学习模型模块，

其中，所述基于图像或标识异常检测模型和/或应用程序异常性能检测模型，确定各个所述用户界面图像和所述应用程序标识所对应的应用程序异常性能识别结果，包括：

将所述用户界面图像提供给所述深度学习模型模块，以由所述深度学习模型模块确定所述用户界面图像是否存在界面显示异常；

将所述应用程序异常性能的标识提供给所述深度学习模型模块，以由所述深度学习模型模块确定所述应用程序是否存在性能异常。

进一步的实施方式中所述的测试方法，智能机械手测试系统识别和控制装置，其中，所述基于用户界面图像或标识异常和/或应用程序异常性能检测模型，确定各个所述用户界面图像和/或所对应的用户界面图像或标识异常和/或应用程序异常性能识别结果，包括：

基于所述识别和控制装置，识别所述用户界面图像中的用户界面图像信息或标识信息或文本信息或所述智能终端的运行性能信息；

当所识别的图像信息或标识信息或文本信息或运行性能信息不符合预设的标准文本条件时，确定所述用户界面图像或标识存在界面图像显示或标识显示或文本显示或应用程序运行性能异常。

进一步的实施方式中所述的测试方法，所述方法还包括：通过所述固定和触控装置在所述智能终端的显示屏上进行点触或划动操作和设置，进行不同操作系统之下的不同所述智能终端的不同分辨率或屏幕亮度的性能测试。

本申请实施例的第二方面提供了一种智能机械手测试系统，包括：

固定和触控装置，用于固定智能终端，并在所述智能终端的显示屏上进行点触或划动操作；

识别和控制装置，用于识别所述智能终端的品牌、用户界面以及应用程序的标识，并指令所述固定和触控装置进行测试操作；

所述识别和控制模块还包括：

请求获取单元，被配置为获取至少一个用户界面测试请求；

请求解析单元，被配置为解析各个所述用户界面测试请求中的用户界面图像和测试用例标识；

模型识别单元，被配置为基于用户界面图像或标识异常检测模型或应用程序异常性能检测模型；所述智能机械手测试系统，通过所述识别和控制模块确定各个所述用户界面图像所对应的用户界面图像或标识异常或应用程序异常性能的识别结果，所述固定和触控装置配合完成用户界面图像或标识异常检测模型或应用程序异常性能检测模型而进行的点触或划动操作；

报告生成单元，被配置为根据各个所述测试用例标识和相应的所述应用程序异常性能识别结果，生成所述智能终端性能测试报告。

在进一步的实施方式中所述的一种智能机械手测试系统，所述固定和触控装置，包括智能终端固定支架、三轴机械臂和触控笔，所述智能终端固定支架，用于对智能终端固定进行固定；三轴机械臂，用于在空间中进行移动；

触控笔，用于在三轴机械臂的控制之下对智能终端的显示屏进行点触或划动操作。

在进一步的实施方式中所述的一种智能机械手测试系统，所述识别和控制装置包括高清相机、高速相机和所述高清相机，用于对用户界面图像、应用程序标识在测试过程中的显示进行记录；所述高速相机，用于对应用程序在测试过程中的表现进行记录；所述AI算法模块，用于训练和存储用户界面图像或标识异常或应用程序异常性能检测模型。

本发明要解决的技术问题是：本发明涉及机器视觉和机械手性能自动化测试，减少UI自动化适配，增强测试的兼容性和鲁棒性，提高性能测试的效率。通过建立目标检测模型来识别不同UI的各类图标，从而实现相应APP的性能测试，如TOP100 APP的性能。深度学习模型建立完成后，所需要做的就是将待测试的内容和范围需要提前设置好。例如，对于我们需要检测的目标apk以及启动的顺序通过脚本配置文件完成，当模型检测出来的目标和提前设置好的目标一致时，则进行相关的性能检测操作，从而实现更快速的对机械手自动化性能测试适配，从而实现快速的部署，解决项目迭代过程中的脚本，能够大大提高测试的速度，实现无人值守。对于多机械手设备，可以实现多台设备的自动化测试，进一步实现高效自动化测试。

本申请实施例的第三方面提供了一种测试装置，包括：请求获取单元，被配置为获取至少一个用户界面测试请求；请求解析单元，被配置为解析各个所述用户界面测试请求中的用户界面图像和测试用例标识；模型识别单元，被配置为基于用户界面图像或标识异常应用程序异常性能检测模型，确定各个所述用户界面图像所对应的用户界面图像或标识异常应用程序异常性能识别结果；报告生成单元，被配置为根据各个所述测试用例标识和相应的所述用户界面图像或标识异常应用程序异常性能识别结果，生成图像界面测试报告。

本申请实施例的第四方面提供了一种测试装置，包括：测试获取单元，被配置为获取自动化测试指令，所述自动化测试指令包括至少一个测试用例标识；截图单元，被配置为根据各个所述测试用例标识执行相应的测试操作，并对各个所述测试操作所对应的用户界面进行截图；发送单元，被配置为根据各个用户界面截图和相应的测试应用程序的标识，发送用户界面测试请求至服务端，使得所述服务端调用用户界面图像或标识异常应用程序异常性能检测模型而生成用户界面图像、标识异常和应用程序异常性能测试报告，其中所述用户界面图像、标识异常和应用程序异常性能测试报告包含各个所述测试用例标识和相应的所述用户界面图像或标识异常应用程序异常性能识别结果。

本申请实施例的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面提供的方法步骤。

本申请实施例的第六方面提供了一种计算机程序电子设备，当计算机程序产品在电子设备上运行时，使得电子设备实现如上述第一方面提供的方法步骤。通过本申请实施例，智能机械手测试系统的固定和触控装置可以接收用户界面或应用程序标识测试请求，并自动生成针对测试用户界面图像、标识和应用程序性能的测试报告，无需人工检测UI界面，可以有效降低测试成本。另外，通过调用图像或标识异常应用程序异常性能检测模型来确定用户界面图像或标识异常或应用程序异常性能识别结果，利用机器学习技术，可以提高对正常图像和异常图像、正常标识和异常标识的识别准确度，并保障对异常图像或标识的识别效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种智能机械手测试系统结构示意图；

图2为本发明实施例提供的一种深度学习神经网络模型构建示意图；

图3为本发明实施例提供的一种测试方法流程示意图；

图4为本发明实施例提供的一种智能机械手测试装置的模块结构示意图；

图5为本发明实施例提供的一种电子设备示意图；

图6为本发明实施例提供的智能机械手测试装置的硬件配置框图示意图；

图7为本发明实施例提供的yolov7目标检测网络图,。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到‘所描述条件或事件’”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到‘所描述条件或事件’”。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

具体实现中，本申请实施例中描述的被测智能终端，如电子设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器)的计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的电子设备。然而，应当理解的是，电子设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

可以在电子设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

本发明实施例中所提供的一种可能的测试方法，针对智能机械手性能测试的现状，本发明要解决的技术问题在于基于深度学习目标检测模型控制机械手移动的方法实现对智能终端，如手机或平板的性能测试。该方法采用高清相机结合单阶段目标检测算法yolov7来进行APP图标的检测，将需要测试的apk以及其启动的顺序通过脚本配置文件提前设置完成，当检测的目标与所设置的目标一致时，控制机械手的运动，其原理是，基于目标在图像中的位置，通过相机标定的原理找到变换矩阵进行空间坐标变换，找到目标相对于三轴机械臂的位姿，最后，通过机械臂控制系统，引导机械臂移动并且使用触控笔完成点击操作，最后通过高速相机记录实现性能指标的计算，发现性能存在的问题，从而进行优化提升用户体验

在一些实施例中，如图1中的智能机械手的组成整体上可以分成两个部分，视觉模块和机械模块。其中视觉模块主要由两台相机，高清相机和高速相机及AI算法模块组成。其涉及到的深度学习模型，主要用到的是yolov7目标检测算法实现目标检测，高清相机主要是基于训练出来的深度学习模型完成手机上的UI检测，同时与设定的待检测目标进行比对，目标确定后，通过坐标转换的方式，找到目标相对于机械手的位置，从而引导机械手的进行相关操作，高速相机则是进行图片的抓拍进行相关性能指标的计算。B机械模块主要是由三轴机械臂、触控笔、以及固定手机的支架组成，三轴机械臂结合触控笔完成相应的点击和滑动操作，手机支架对手机进行固定。整体的流程是，通过视觉模块进行相应的定位，之后通过机械模块完成相应的操作，最终再通过视觉模块进行相关性能指标的计算。

在一些实施例中，如图2所示，深度学习模型：深度学习模型构建时，首先需要进行数据集的制作，主要是基于TOP100的app图标进行收集，对不同手机厂商的手机进行收集，小米、华为、pixel、荣耀等，手机进行数据集的制作(这里只关注手机厂商默认的图标，不考虑手机主题)。这样制作的数据集包含的样本的数量较小，因此，在进行数据集的过程中需要使用图像增强的技术来对数据集进行扩充，来提高目标检测的精度，主要的包括随机裁剪，扭曲，扩增，镜像，形变等变化。此外，为了提高在A屏幕亮度和B屏幕分辨率的不同情况下的识别准确性，对不同屏幕亮度和不同屏幕分辨率下的图标或标识也做相应的标记。

图2深度学习模型构建过程中，从上到下整体上分成：数据集制作、深度模型的构建与推理、结果输出三大部分。其中，数据集的制作通过手动标记完成，模型构建过程中目标检测网络选取了yolov7目标检测算法，其网络结构体如图4，yolo属于单阶段的目标检测算法，通过一个网络就可以实现检测和分类的任务，因此，该系列算法的的检测速度比较快。数据集制作完成后，输入yolov7目标检测网络中进行训练，模型训练的过程，将采集好的数据集制作成yolo格式，同时分成训练集、测试集和验证集，通过加载预训练模型进行训练，yolov7是yolo系列网络中最新的网络模型，其主干特征提取网络主要是使用ELAN，通过控制最短最长的梯度路径，更深的网络可以有效地学习和收敛，最终模型收敛生成相应的训练模型。检测头整体结构采用的是anchor的结构，通过降采样算法，融合不同通道的特征，网络的输出为(100+5)*3给，其中100表示Top100 APP，最终在三种不同类型的特征图上进行预测，如图7所示，三种尺度的特征图分别是20*20，40*40，80*80，这样提高了小目标检测的精度，这里对图标的识别在某种程度上也是属于小目标检测的范畴。最终生成yolov7的深度学习网络检测模型。

在其它一些实施例中，如图2深度学习模型构建过程中，目标检测网络选取了yolov7目标检测算法，yolo属于单阶段的目标检测算法，通过一个网络就可以实现检测和分类的任务，因此，该系列算法的的检测速度比较快。yolov7是yolo系列网络中最新的网络模型，其主干特征提取网络主要是使用ELAN，通过控制最短最长的梯度路径，更深的网络可以有效地学习和收敛。检测头整体结构采用的是anchor的结构，通过降采样算法，融合不同通道的特征，最终在三种不同类型的特征图上进行预测，提高了小目标检测的精度，这里对APP图标的识别在某种程度上也是属于小目标检测的范畴。模型训练的过程，将采集好的数据集制作成yolo格式，同时分成训练集、测试集和验证集，通过加载预训练模型进行训练，最终生成yolov7的深度学习网络检测模型，如图7所示。

在其它一些实施例中，如图3是系统的整体运行流程图所示，首先需要设定待检测目标，如步骤S1，然后与高清相机中的视频流结合训练出来的深度学习网络模型进行比较来确定最终的检测范围，如步骤S2，根据确定下来的目标在图像中的位置，进行相应的空间坐标转换，如步骤S3，通过坐标转换找到目标相对于机械手的位置，进而控制机械手的滑动移动，如步骤S4，找到目标位置利用触控笔做点击操作，如步骤S5，通过判断目标是否被点击来控制高速相机的动作，如步骤S6，如果目标被点击被高速相机进行记录，如步骤S7，同时进行相关性能指标的计算，如步骤S8，通过点击和滑动进行不同不同分辨率、不同屏幕亮的性能测试，该测试过程被高速相机记录；此外通过与期望值的比较来进一步的做相应的操作，如步骤S9，判断所有APP目标是否测试完成，如步骤S10，如果没有完成则测试下一个目标APP，如步骤S12，如果测试出来的数据超过测试的基准值则重新测试，如步骤S11，重新测试的次数需要设定，如步骤S14。如果在设定的次数内都不符合预期，如步骤S13，则标记为fail，进行下一个目标的相关操作，如步骤S15。

在其它一些实施例中的测试方法，公开的一种基于深度学习模型的智能机械手测试系统用于智能终端性能自动化测试方法，所述方法包括以下步骤：

S100:识别智能设备的不同品牌，进一步识别智能设备的不同OS和不同UI，训练完成的深度网络模型通过处理高清相机的视频流实现目标APP图标的检测，通过和设定的需要进行检测目标进行比较，如果一致则将进行相应的性能检测操作。机械手的移动是根据目标在相机图像中的位置，通过坐标变换找到变换矩阵后，找到检测目标相对机机械臂的位置，然后通过机械臂的控制系统控制机械臂的移动，移动完成后通过触控笔完成点击。做的智能终端显示屏坐标系统、机械手机器视觉系统识别坐标系统和机械手臂移动坐标系统三者融合匹配。

S110:高速相机完成测试过程中的数据记录，进行性能指标的计算。

在其它一些实施例中的测试方法，通过深度网络模型，基于图像控制机械臂和触控笔完成点击操作其步骤如下：

S200：深度网络模型选取yolov7模型来进行目标检测，该检测模型对小目标检测的精确度比较高，且检测速度较快，实现目标的位置和种类进行判断，为机械臂的移动提供依据。

S210：当设定的目标与检测到的目标一致时，机械臂通过高清相机的视频中检测到的位置做相关的移动，其原理是目标在图像中的位姿，通过位姿变换找到目标相对与机械手的位姿，然后通过机械械臂的控制系统规划出相应的路径，移动完成后使用触控笔完成点击操作。

在其它一些实施例中的测试方法所述的根据深度学习模型控制机械手移动及触控笔点击的方法实现性能测试，通过控制高速相机对APP点击过程中的数据进行记录分析，与设定的标准值及测试次数进行比较完成自动化测试。

在还有一些实施例中，如图2所示，在构建训练模型的过程中，首先可以建立完善的训练数据集和测试数据集，每张图片都是不重复的，拥有场景、内容格式、颜色、图标等特征，将这些图片分为两种类别有效的(即，正常图像)和无效的(即，异常图像)。此外，数据集中的一个文件夹对应

一个品种，图片具有各种尺寸，均为jpg格式，个别图片需要重新转换，均为彩色图片，并可以将图像进行数据集增强处理，例如，调整图像尺寸，然后将所有图片的80％的图片当作训练集，10％当作验证集，10％当作测试集，并且将训练集随机打乱。

具体地，可以加载预先训练好的模型，首先将预先训练的模型加载到测试应用中，重新训练模型的过程与模型构建训练的过程基本相同，但区别在于，在重新训练模型的过程中，除了数据之外，还将原始学习的模型参数和模型结构作为输入，并且不需要再次编译模型，其可以被作为模型重训练的起点。在重训练结束后，可以对比之前模型与训练结束后的训练曲线图，以大致判断模型重训练的效果，然后对重训练后的模型进行验证和测试，以确定是否需要继续重训练或将重训练后的模型投入实际测试应用。

在本申请实施例中，随着测试应用的长期使用过程，可以对一些识别有误的图像进行人工分类，重新加入数据集进行重训练，让现有模型学习到新的数据集中图像特征。从自动化测试-图像识别-模型重训练形成了一个闭环，逐步优化并提升测试应用的服务性能。另外，在模型重训练过程中，因为保存的h5格式模型有完整的模型结构，并在保存前已经编译过，此时不再需要编译模型，并可以直接加载h5格式模型继续在它上面进行训练，接下来保存新的模型和验证。需说明的是，并不是所有的重训练过程都可以使模型识别准确率提高，而取决于数据集内数据的特征。

在一些实施方式中，还可以通过web服务部署验证模型，继续为UI界面异常识别服务。在不断UI识别自动化过程中，使得识别服务模型会不断地进行自我学习，更加匹配当前*需求变动下APP界面和内容的变动，不再需要从头训练模型也可以提升准确率，使得针对图片的异常识别操作更加易用和高效。

在本申请实施例中，只需要维护正常的自动化用例，便可以自动实现UI界面检查和UI文本检查，并且都是零接入工作量的方式，使SQA(Software Quality Assurance,软件质量保证)在实现UI检查和文本检查这一过程时不需要将时间投入在维护上面，可以减轻UI测试过程中的工作量。

通过本申请实施例，实现更加智能化、可控、具有更多可能性的异常识别功能，使得智能化的识别不再受到像素值、图像尺寸、图像上显示的不同内容等影响。此外，本申请实施例可以实现对广泛范围的异常类型的识别操作，比如，发现APP-UI繁锁的页面布局异常、发现APP界面图裂开等。这种情况极少见又是偶发性，如果人工检查可能刷新一下页面这个问题就没有了，但它可能有一定因素导致的图裂；如发现未加载完整的错误图标，一般都是网络原因或者图片资源不存在导致，同样在UI图像识别自动化测试中可以很轻易的被发现，如发现按钮、图标的重叠，这种情况也是极少发现，这属于页面排版中的一种情况，在图像识别时可以轻易发现，有时候不明显的页面人工检查很容易漏掉，也是很难复现的；如发现页面加载异常，这种一般是无网络或者APP组件发生了错误导致组件加载不完整；如发现页面错误信息，有时候APP因为某些bug导致显示一些内部代码抛出的异常，等等。

如图4所示，本发明实施例提供的一种智能测试装置800的AI算法模块包括请求获取单元810、请求解析单元820、模型识别单元830和报告生成单元840。

请求获取单元810被配置为获取至少一个用户界面测试请求。

请求解析单元820被配置为解析各个所述用户界面测试请求中的用户界面图像和测试用例标识。

模型识别单元830被配置为基于图像或标识异常应用程序异常性能检测模型，确定各个所述用户界面图像所对应的图像或标识异常应用程序异常性能识别结果。

报告生成单元840被配置为根据各个所述测试用例标识和相应的所述图像或标识异常应用程序异常性能识别结果，生成图像界面测试报告。

图5是本申请实施例的智能测试装置的一示例的示意图。如图5所示，该实施例的电子设备900包括：处理器910、存储器920以及存储在所述存储器920中并可在所述处理器910上运行的计算机程序930。所述处理器910执行所述计算机程序930时实现上述测试方法实施例中的步骤，例如图3所示的步骤S1至S15。或者，所述处理器910执行所述计算机程序930时实现上述各装置实施例中各模块/单元的功能，例如图4所示单元810至840的功能。

示例性的，所述计算机程序930可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器920中，并由所述处理器910执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序930在所述电子设备900中的执行过程。例如，所述计算机程序930可以被分割成请求获取程序模块、请求解析程序模块、模型识别程序模块和报告生成程序模块。

在一些实施例中，图6示出了智能机械手测试装置30的硬件配置框图。智能机械手测试装置30包括调谐解调器310、移动通信模块320、无线通信模块330、采集器340、外部装置接口350、控制器360、显示器370、音频输出接口380、存储器、供电电源、用户接口中的至少一种。

在又一些实施例中，调谐解调器310通过天线感应到电磁波，将感应到的电磁波转换为电信号，再通过电路的处理和变换，最终转为声音，例如通过无线接收方式接收广播信号，以及从广播信号中解调出音频信号。

移动通信模块320可以提供应用在智能机械手测试装置30上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块320可以包括至少一个滤波器、开关、功率放大器、低噪声放大器(low noise amplifier，LNA)等。移动通信模块320可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调谐解调器310进行解调。移动通信模块320还可以对经调谐解调器310调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块320的至少部分功能模块可以被设置于控制器360中。在一些实施例中，移动通信模块320的至少部分功能模块可以与控制器360的至少部分模块被设置在同一个器件中。

无线通信模块330可以提供应用在智能机械手测试装置30上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(bluetooth，BT)、全球导航卫星系统(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近距离无线通信技术(near field communication，NFC)、红外技术(infrared，IR)等无线通信的解决方案。无线通信模块330可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块330经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到控制器360。无线通信模块330还可以从控制器360接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。

在其它一些实施例中，采集器340用于采集外部环境或与外部交互的信号。例如，采集器340包括光接收器，用于采集环境光线强度的传感器；或者，采集器340包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，采集器340包括声音采集器，如麦克风等，用于接收外部声音。

在又一些实施例中，外部装置接口350可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在其它一些实施例中，控制器360和调谐解调器310可以位于不同的分体设备中，即调谐解调器310也可在控制器360所在的主体设备的外置设备中，如外置机顶盒等。

再一些实施例中，控制器360，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器360控制智能机械手测试装置30的整体操作。例如：响应于接收到用于选择在显示器370上显示UI对象的用户命令，控制器360便可以执行与由用户命令选择的对象有关的操作。

在一些可能的实施例中控制器360包括中央处理器(central processing unit，CPU)，视频处理器，音频处理器，图形处理器(graphics processing unit，GPU)，RAM，ROM，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

中央处理器，用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。中央处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接智能机械手测试装置30上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的图形用户界面信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器370上显示的图形用户界面输入用户命令，则用户输入接口通过图形用户界面接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。图形用户界面是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏等可视的界面元素中的至少一种。

在一些实施例中，显示器370包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控界面等。

在其它一些实施例中，显示器370可为液晶显示器、有机电激光(organic lightemitting diode，OLED)显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在又一些实施例中，音频输出接口380包括扬声器、外接音响输出电子等。

在一些实施例中，用户接口，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。

在具体实现时，上述智能机械手测试装置30，可以为手机，平板电脑，手持计算机，个人电脑(personal computer，PC)，蜂窝电话，个人数字助理(personal digitalassistant，PDA)，可穿戴式设备(如智能手表)，智能家居设备(如电视机)，车载电脑，游戏机，以及增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等包含摄像头的电子产品，本实施例对智智能机械手测试装置30的具体设备形态不做特殊限制。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

所述电子设备900可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器910、存储器920。本领域技术人员可以理解，图5仅是电子设备900的示例，并不构成对电子设备900的限定，可以包括比图示更多或少的部件，或组合某些部件，或不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器910可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器920可以是所述电子设备900的内部存储单元，例如电子设备900的硬盘或内存。所述存储器920也可以是所述电子设备900的外部存储设备，例如所述电子设备900上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器920还可以既包括所述电子设备900的内部存储单元也包括外部存储设备。所述存储器920用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器920还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。

专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述单元既可以采用硬件的形式实现，也可以采用软件的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，

Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种用户界面图像、标识和智能终端性能的测试方法，应用于智能机械手测试系统，其特征在于，所述方法包括：

获取至少一个用户界面测试请求；

解析各个所述用户界面测试请求中的用户界面图像和应用程序的标识；

基于用户界面图像、标识异常或应用程序异常性能检测模型，所述智能机械手测试系统的识别和控制模块确定各个所述用户界面图像和所述应用程序的标识所对应的所述用户界面图像、标识异常或应用程序异常性能识别结果，所述智能机械手测试系统的固定和触控装置配合完成所述用户界面图像或标识异常检测模型或应用程序异常性能检测模型的进行点触或划动操作；

根据各个所述用户界面图像、标识异常或应用程序异常性能识别结果，生成所述智能终端性能的测试报告。

2.如权利要求1所述的方法，其特征在于，所述基于用户界面图像或标识异常或应用程序异常性能检测模型，确定各个所述用户界面图像所对应的用户界面图像或标识异常或应用程序异常性能识别结果，包括：

针对各个所述用户界面图像、标识或应用程序，在所述机械手测试智能装置中的多个所述用户界面图像或标识异常检测或应用程序异常性能检测单元中选择与所述用户界面图像、标识匹配的目标用户界面图像或标识异常检测模型或应用程序的标识匹配的目标用户界面图像或标识异常检测单元或应用程序异常性能检测单元，并将相应的机械手测试装置的固定和触控装置被分配至所述目标图像或标识异常检测或目标应用程序异常性能检测单元；基于各个所述目标用户界面图像或标识异常检测模型或目标应用程序异常性能检测单元中的应用程序异常性能检测模型，分别确定被分配的所述应用程序的标识所对应的目标用户界面图像或标识异常或应用程序异常性能识别结果。

3.如权利要求1所述的方法，其特征在于，在基于所述用户界面图像或标识异常检测模型或应用程序异常性能检测模型，确定各个所述用户界面图像、标识所对应的用户界面图像或标识异常或应用程序异常性能识别结果之后，所述方法还包括：

根据对应所述用户界面图像或标识异常或应用程序异常性能识别结果为用户界面图像存在异常的各个用户界面图像、标识或应用程序异常性能，生成异常用户界面图像集或应用程序异常性能的标识集；

获取针对所述异常图像集、标识集中的至少一个目标异常用户界面图像或标识的误识别标记信息或

至少一个目标应用程序异常性能标识集误的识别标记信息；

根据各个具有误识别标记信息的所述目标异常图像，更新所述应用程序异常性能检测模型的训练样本集；

根据各个具有误识别标记信息的所述目标应用程序异常性能，更新所述应用程序异常性能检测模型的训练样本集；

基于经更新后的训练样本集，重新训练所述用户界面图像或标识异常检测模型或应用程序异常性能检测模型。

4.如权利要求1所述的方法，其特征在于，所述用户界面图像或标识异常检测模型和/或应用程序异常性能检测模型包括深度学习模型模块，

其中，所述基于用户界面图像或标识异常检测模型或应用程序异常性能检测模型，确定各个所述用户界面图像和所述应用程序标识所对应的应用程序异常性能识别结果，包括：

将所述用户界面图像提供给所述深度学习模型模块，以由所述深度学习模型模块确定所述用户界面图像是否存在界面显示异常；

将所述应用程序异常性能的标识提供给所述深度学习模型模块，以由所述深度学习模型模块确定所述应用程序是否存在性能异常。

5.如权利要求1所述的方法，其特征在于，所述智能机械手测试系统的识别和控制装置，

其中，所述基于用户界面图像或标识异常和/或应用程序异常性能检测模型，确定各个所述用户界面图像和/或所对应的用户界面图像或标识异常或应用程序异常性能识别结果，包括：

基于所述识别和控制装置，识别所述用户界面图像中的图像信息或标识信息或文本信息或所述智能终端运行性能信息；

当所识别的图像信息或标识信息或文本信息或运行性能信息不符合预设的标准文本条件时，确定所述用户界面图像或标识存在界面图像显示或标识显示或文本显示或应用程序运行性能异常。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：通过所述固定和触控装置在所述智能终端的显示屏上进行点触或划动操作和设置，进行不同操作系统之下的不同所述智能终端的不同分辨率或屏幕亮度的性能测试。

7.一种智能机械手测试系统，其特征在于，包括：

固定和触控装置，用于固定智能终端，并在所述智能终端的显示屏上进行点触或划动操作；

识别和控制装置，用于识别所述智能终端的品牌、用户界面以及应用程序的标识，并指令所述固定和触控装置进行测试操作；

所述识别和控制模块还包括：

请求获取单元，被配置为获取至少一个用户界面测试请求；

请求解析单元，被配置为解析各个所述用户界面测试请求中的用户界面图像和测试用例标识；

模型识别单元，被配置为基于用户界面图像或标识异常检测模型或应用程序异常性能检测模型，所述机械手测试装置，通过所述识别和控制模块确定各个所述用户界面图像所对应的用户界面图像或标识异常或应用程序异常性能的识别结果，所述固定和触控装置配合完成用户界面图像或标识异常检测模型或应用程序异常性能检测模型而进行的点触或划动操作；

报告生成单元，被配置为根据各个所述测试用例标识和相应的所述应用程序异常性能识别结果，生成所述智能终端性能测试报告。

8.如权利要求7所述的一种智能机械手测试系统，其特征在于，所述固定和触控装置，包括智能终端固定支架、三轴机械臂和触控笔，

所述智能终端固定支架，用于对智能终端固定进行固定；

三轴机械臂，用于在空间中进行移动；

触控笔，用于在三轴机械臂的控制之下对智能终端的显示屏进行点触或划动操作。

9.如权利要求7所述的一种智能机械手测试系统，其特征在于，

所述识别和控制装置包括高清相机、高速相机和AI算法模块；

所述高清相机，用于对用户界面图像、应用程序的标识在测试过程中的显示进行记录；

所述高速相机，用于对应用程序在测试过程中的表现进行记录；

所述AI算法模块，用于训练和存储用户界面图像或标识异常或应用程序异常性能检测模型。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如如权利要求1-7中任一项所述方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。

Images