CN113076169A - 基于卷积神经网络的用户界面测试结果分类方法及装置 - Google Patents

基于卷积神经网络的用户界面测试结果分类方法及装置 Download PDF

Info

Publication number
CN113076169A
CN113076169A CN202110484586.3A CN202110484586A CN113076169A CN 113076169 A CN113076169 A CN 113076169A CN 202110484586 A CN202110484586 A CN 202110484586A CN 113076169 A CN113076169 A CN 113076169A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
execution result
user interface
test execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110484586.3A
Other languages
English (en)
Inventor
吕美洁
郭继泱
高小明
刘泱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110484586.3A priority Critical patent/CN113076169A/zh
Publication of CN113076169A publication Critical patent/CN113076169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的用户界面测试结果分类方法及装置，涉及人工智能技术领域。方法包括：获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类。本发明能够有效提高用户界面测试结果分类的全面性和准确性，同时减少对测试人员的依赖和工作量，提升用户界面测试的效率。

Description

基于卷积神经网络的用户界面测试结果分类方法及装置
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于卷积神经网络的用户界面测试结果分类方法及装置。
背景技术
用户界面(User Interface,用户界面)是软件系统展示给用户的内容，是用户与软件系统交互的重要媒介，随着软件行业的高速发展和用户数量的激增，用户对用户界面的要求也不断提升，因而，作为软件测试中的重要一环，用户界面测试变得尤为关键。目前，对用户界面测试用例执行结果的判别主要有两种方式：(1)人工判别：依据测试人员对软件系统的熟悉及以往的经验，判别用户界面的展示是否正确，包括：页面是否存在异常空白、是否存在元素缺失、界面元素排列是否错位、界面是否存在文字乱码、界面元素触发后的反应是否符合预期等。(2)自动化脚本关键元素检测：目前主流的用户界面自动化测试框架，如selenium框架，主要是通过定位并抓取用户界面上的特定元素，并判别当前元素状态是否符合预期来进行测试用例执行结果的判定。
以上两种判别方式都存在着一些缺点：(1)人工判别：投入人力较多，耗时较长，同时人工判别也容易出现误判的情况，对测试人员自身的素质有强依赖，需要测试人员对软件系统十分了解。(2)自动化脚本关键元素检测：该方法只能对部分页面元素进行校验，存在检测遗漏的可能，若进行全量页面元素校验则会大大增加自动化测试耗时，降低自动化测试效率，在实践中可行性非常低。同时该方法只能检测目标元素是否存在，状态是否正确，对于元素的排列布局、展示风格是否符合预期无法判定。
因此，急需一种更为自动化和智能化的用户界面测试结果分类方法。
发明内容
针对现有技术中的问题，本发明提供一种基于卷积神经网络的用户界面测试结果分类方法及装置，具体包括以下技术方案：
第一方面，本发明提供一种基于卷积神经网络的用户界面测试结果分类方法，包括：
获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；
将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类；
其中，所述深度卷积神经网络模型用于对输入的图片进行分类，且所述深度卷积神经网络模型包含：一个线性输出层和至少八层残差块。
其中，所述获取用户界面对应的测试执行结果图片，包括：
采用用于软件测试的自动化脚本，将每个用户界面对应的测试执行结果进行截图处理，得到测试执行结果图片。
其中，所述预设的深度卷积神经网络模型是基于测试执行结果图片数据和该测试执行结果图片对应的分类数据，进行训练得到的，包括：
获取训练集数据；其中，所述训练集数据包括：测试执行结果图片和测试执行结果图片对应的分类；
基于所述训练数据进行训练得到深度卷积神经网络模型；
其中，基于所述训练数据进行训练得到深度卷积神经网络模型，包括：
对训练集数据进行批归一化和ReLU函数激活，再经过第一个卷积层；
经过第一个卷积层后进行批归一化、ReLU函数激活和随机权重丢弃，再经过第二个卷积层；
经过第二个卷积层后进行最大化池化处理，得到深度卷积神经网络模型。
其中，所述深度卷积神经网络模型采用宏平均的方式对预处理后的测试执行结果图片进行分类。
第二方面，本发明提供一种基于卷积神经网络的用户界面测试结果分类装置，包括：
获取模块，用于获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；
分类模块，用于将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类；
其中，所述深度卷积神经网络模型用于对输入的图片进行分类，且所述深度卷积神经网络模型包含：一个线性输出层和至少八层残差块。
其中，所述获取模块包括：
脚本截图单元，用于采用用于软件测试的自动化脚本，将每个用户界面对应的测试执行结果进行截图处理，得到测试执行结果图片。
其中，所述预设的深度卷积神经网络模型是基于测试执行结果图片数据和该测试执行结果图片对应的分类数据，进行训练得到的，包括：
数据集模块，用于获取训练集数据；其中，所述训练集数据包括：测试执行结果图片和测试执行结果图片对应的分类；
训练模块，用于基于所述训练数据进行训练得到深度卷积神经网络模型；
其中，基于所述训练数据进行训练得到深度卷积神经网络模型，包括：
第一卷积单元，用于对训练集数据进行批归一化和ReLU函数激活，再经过第一个卷积层；
第二卷积单元，用于经过第一个卷积层后进行批归一化、ReLU函数激活和随机权重丢弃，再经过第二个卷积层；
池化单元，用于经过第二个卷积层后进行最大化池化处理，得到深度卷积神经网络模型。
其中，所述深度卷积神经网络模型采用宏平均的方式对预处理后的测试执行结果图片进行分类。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于卷积神经网络的用户界面测试结果分类方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于卷积神经网络的用户界面测试结果分类方法的步骤。
由上述技术方案可知，本发明提供一种基于卷积神经网络的用户界面测试结果分类方法及装置，通过深度卷积神经网络自动学习用户界面测试用例执行结果图片的特征并进行错误分类，无需人工提取图片特征，对用户界面测试用例执行结果进行智能分类，提高用户界面测试结果分类的全面性和准确性，同时减少对测试人员的依赖和工作量，提升用户界面测试的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的基于卷积神经网络的用户界面测试结果分类方法的流程示意图。
图2为本发明实施例中深度卷积神经网络模型的训练流程图。
图3为本发明实施例中残差块的示意图。
图4为本发明实施例中的基于卷积神经网络的用户界面测试结果分类装置的结构示意图。
图5为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于卷积神经网络的用户界面测试结果分类方法的实施例，参见图1，所述基于卷积神经网络的用户界面测试结果分类方法具体包含有如下内容：
S101：获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；
在本步骤中，采集用户界面测试用例执行结果图片，具体是利用已有的用于软件测试的自动化脚本，将每个用户界面测试用例执行结果进行截图作为用例执行结果图片。将用户界面测试用例执行结果的分类结论作为相应的训练图片标签，如果用例执行成功，则将该图片标注为成功，如果用例执行失败，则将该图片标注为所属的错误类别：
对图片所述的类型进行标注。首先，根据用户界面测试预期，将用例执行错误分为几类，如页面元素缺失、页面大面积异常空白、页面乱码、元素顺序错位、元素状态错误等。然后，如果用例执行成功，则对应的训练图片标注为成功；如果用例执行失败，则将对应的训练图片标注为所属的错误类别。在训练集中，每种分类对应的训练样本不少于10张，训练样本越多，深度卷积神经网络模型得到的分类结果准确率越高。对所有图片进行预处理，将预处理后的数据分为训练集和测试集。对所有图片进行预处理，将预处理后的数据分为训练集和测试集。预处理是将对图片进行灰度化，得到灰度图片。
S102：将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类；
其中，所述深度卷积神经网络模型用于对输入的图片进行分类，且所述深度卷积神经网络模型包含：一个线性输出层和至少八层残差块。
在本步骤中，参见图2，利用训练集中预处理后数据对深度卷积神经网络模型进行训练，深度卷积神经网络模型由m层残差块和一个线性输出层组成，其中m≥8。
进一步的，每个残差块中跨越2个卷积层，具体流程为：首先对输入数据进行批归一化和ReLU函数激活，再经过第一个卷积层；然后进行批归一化、ReLU函数激活和随机权重丢弃，再经过第二个卷积层；最后进行最大化池化处理。
进一步的，线性输出层的处理包括批归一化、ReLU函数激活、全连接层和Softmax函数，具体包括：
(1)残差块。如图3所示，每个残差块中跨越2个卷积层，让两个卷积层拟合输入数据和映射后的输出数据之间的残差，帮助网络解决退化问题。具体流程为；首先对输入数据进行批归一化和ReLU函数激活，再经过第一个卷积层；然后进行批归一化、ReLU函数激活和随机权重丢弃，再经过第二个卷积层；最后进行最大化池化处理。
批归一化是深度卷积神经网络训练的特殊步骤，可以大幅提升深度卷积神经网络的最大可训练深度，不仅加快模型的收敛速度，同时在一定程度缓解了深层网络中“梯度弥散”的问题，从而使训练深层网络模型更加容易和稳定。
深度卷积神经网络中的每个神经元节点接受上一层神经元的输出值作为该神经元的输入值，并将输入值传递给下一层。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数也就是激活函数。在本发明专利中，选用修正线性单元(rectified linear unit，ReLU)函数作为激活函数，在反向传播时帮助更新参数，帮助网络克服梯度消失的问题。对于Relu函数，它的数学形式可以描述为f(x)＝max{0,x}。
卷积神经网络的卷积层由若干个特征图组成，每个特征图上的所有神经元共享同一个卷积核的参数，由卷积核对前一层输入图像做卷积运算得到。卷积核中每一个元素都作为权值参数，同输入图像相应区块的像素值相乘，然后将各项乘积求和，并经过激活函数得到输出像素。
在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。为了降低过拟合现象，可以采用随机权重丢弃法，即在每个训练批次中，忽略一半的特征检测器(让一半的隐层节点值为0)。通过随机权重丢弃，可以明显地降低过拟合现象。
池化层的作用是基于局部相关性原理进行池化采样，从而在减少数据量的同时保留有用信息。目前，主要有两种池化操作：平均池化和最大池化，其中最大池化使用更加频繁，其效果一般要优于平均池化。最大池化是把区块中元素的最大值作为函数输出，提取特征平面的局部最大响应。
(3)线性输出层。线性输出层的处理包括批归一化、ReLU函数激活、全连接层和Softmax函数。
全连接层的作用是连接所有的神经元，向下一层神经元传递数据。上一层的神经元和下一层的神经元相互连接，由于应用到了全部的局部特征，所以被称为全连接层。全连接层将最后一层卷积得到的特征图(矩阵)展开成一维向量，并为分类器提供输入。
Softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。
深度卷积神经网络模型评估模块，利用测试集中预处理后数据对深度卷积神经网络模型用户界面测试结果分类效果进行全面的评估，采用宏平均Macro F1进行评价，具体包括：
Macro F1定义为：将n分类的评价拆成n个二分类的评价，计算每个二分类的F1分数，n个F1分数的平均值即为Macro F1。其中二分类的F1分数定义为：
Figure BDA0003049790930000071
其中，Pre为精确率(Precision)，Rec为召回率(Recall)，TP为正确地预测为正例的样本数，TN为正确地预测为反例的样本数，FP为错误地预测为正例的样本数，FN为错误地预测为反例的样本数。
从上述描述可知，本发明实施例提供的基于卷积神经网络的用户界面测试结果分类方法，通过深度卷积神经网络自动学习用户界面测试用例执行结果图片的特征并进行错误分类，无需人工提取图片特征，对用户界面测试用例执行结果进行智能分类，提高用户界面测试结果分类的全面性和准确性，同时减少对测试人员的依赖和工作量，提升用户界面测试的效率。
本发明实施例提供一种能够实现所述基于卷积神经网络的用户界面测试结果分类方法中全部内容的基于卷积神经网络的用户界面测试结果分类装置的具体实施方式，参见图4，所述基于卷积神经网络的用户界面测试结果分类装置具体包括如下内容：
获取模块10，用于获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；
分类模块20，用于将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类；
其中，所述深度卷积神经网络模型用于对输入的图片进行分类，且所述深度卷积神经网络模型包含：一个线性输出层和至少八层残差块。
其中，所述获取模块包括：
脚本截图单元，用于采用用于软件测试的自动化脚本，将每个用户界面对应的测试执行结果进行截图处理，得到测试执行结果图片。
其中，所述预设的深度卷积神经网络模型是基于测试执行结果图片数据和该测试执行结果图片对应的分类数据，进行训练得到的，包括：
数据集模块30，用于获取训练集数据；其中，所述训练集数据包括：测试执行结果图片和测试执行结果图片对应的分类；
训练模块40，用于基于所述训练数据进行训练得到深度卷积神经网络模型；
其中，基于所述训练数据进行训练得到深度卷积神经网络模型，包括：
第一卷积单元，用于对训练集数据进行批归一化和ReLU函数激活，再经过第一个卷积层；
第二卷积单元，用于经过第一个卷积层后进行批归一化、ReLU函数激活和随机权重丢弃，再经过第二个卷积层；
池化单元，用于经过第二个卷积层后进行最大化池化处理，得到深度卷积神经网络模型。
其中，所述深度卷积神经网络模型采用宏平均的方式对预处理后的测试执行结果图片进行分类。
本发明提供的基于卷积神经网络的用户界面测试结果分类装置的实施例具体可以用于执行上述实施例中的基于卷积神经网络的用户界面测试结果分类方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本发明实施例提供的基于卷积神经网络的用户界面测试结果分类装置，通过获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类。能够有效提高用户界面测试结果分类的全面性和准确性，同时减少对测试人员的依赖和工作量，提升用户界面测试的效率。
本申请提供一种用于实现所述基于卷积神经网络的用户界面测试结果分类方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述基于卷积神经网络的用户界面测试结果分类方法的实施例及用于实现所述基于卷积神经网络的用户界面测试结果分类装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图5为本申请实施例的电子设备9600的系统构成的示意框图。如图5所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图5是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，基于卷积神经网络的用户界面测试结果分类功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类。
从上述描述可知，本申请的实施例提供的电子设备，通过获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类。能够有效提高用户界面测试结果分类的全面性和准确性，同时减少对测试人员的依赖和工作量，提升用户界面测试的效率。
在另一个实施方式中，基于卷积神经网络的用户界面测试结果分类装置可以与中央处理器9100分开配置，例如可以将基于卷积神经网络的用户界面测试结果分类配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现基于卷积神经网络的用户界面测试结果分类功能。
如图5所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图5中所示的所有部件；此外，电子设备9600还可以包括图5中没有示出的部件，可以参考现有技术。
如图5所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的基于卷积神经网络的用户界面测试结果分类方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于卷积神经网络的用户界面测试结果分类方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类。
从上述描述可知，本发明实施例提供的计算机可读存储介质，通过获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类。能够有效提高用户界面测试结果分类的全面性和准确性，同时减少对测试人员的依赖和工作量，提升用户界面测试的效率。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应明白，本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于卷积神经网络的用户界面测试结果分类方法，其特征在于，包括：
获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；
将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类；
其中，所述深度卷积神经网络模型用于对输入的图片进行分类，且所述深度卷积神经网络模型包含：一个线性输出层和至少八层残差块。
2.根据权利要求1所述的基于卷积神经网络的用户界面测试结果分类方法，其特征在于，所述获取用户界面对应的测试执行结果图片，包括：
采用用于软件测试的自动化脚本，将每个用户界面对应的测试执行结果进行截图处理，得到测试执行结果图片。
3.根据权利要求1所述的基于卷积神经网络的用户界面测试结果分类方法，其特征在于，所述预设的深度卷积神经网络模型是基于测试执行结果图片数据和该测试执行结果图片对应的分类数据，进行训练得到的，包括：
获取训练集数据；其中，所述训练集数据包括：测试执行结果图片和测试执行结果图片对应的分类；
基于所述训练数据进行训练得到深度卷积神经网络模型；
其中，基于所述训练数据进行训练得到深度卷积神经网络模型，包括：
对训练集数据进行批归一化和ReLU函数激活，再经过第一个卷积层；
经过第一个卷积层后进行批归一化、ReLU函数激活和随机权重丢弃，再经过第二个卷积层；
经过第二个卷积层后进行最大化池化处理，得到深度卷积神经网络模型。
4.根据权利要求1所述的基于卷积神经网络的用户界面测试结果分类方法，其特征在于，所述深度卷积神经网络模型采用宏平均的方式对预处理后的测试执行结果图片进行分类。
5.一种基于卷积神经网络的用户界面测试结果分类装置，其特征在于，包括：
获取模块，用于获取用户界面对应的测试执行结果图片并对所述测试执行结果图片进行预处理；
分类模块，用于将预处理后的测试执行结果图片输入至预设的深度卷积神经网络模型，得到所述测试执行结果图片对应的测试结果分类；
其中，所述深度卷积神经网络模型用于对输入的图片进行分类，且所述深度卷积神经网络模型包含：一个线性输出层和至少八层残差块。
6.根据权利要求5所述的基于卷积神经网络的用户界面测试结果分类装置，其特征在于，所述获取模块包括：
脚本截图单元，用于采用用于软件测试的自动化脚本，将每个用户界面对应的测试执行结果进行截图处理，得到测试执行结果图片。
7.根据权利要求5所述的基于卷积神经网络的用户界面测试结果分类装置，其特征在于，所述预设的深度卷积神经网络模型是基于测试执行结果图片数据和该测试执行结果图片对应的分类数据，进行训练得到的，包括：
数据集模块，用于获取训练集数据；其中，所述训练集数据包括：测试执行结果图片和测试执行结果图片对应的分类；
训练模块，用于基于所述训练数据进行训练得到深度卷积神经网络模型；
其中，基于所述训练数据进行训练得到深度卷积神经网络模型，包括：
第一卷积单元，用于对训练集数据进行批归一化和ReLU函数激活，再经过第一个卷积层；
第二卷积单元，用于经过第一个卷积层后进行批归一化、ReLU函数激活和随机权重丢弃，再经过第二个卷积层；
池化单元，用于经过第二个卷积层后进行最大化池化处理，得到深度卷积神经网络模型。
8.根据权利要求5所述的基于卷积神经网络的用户界面测试结果分类装置，其特征在于，所述深度卷积神经网络模型采用宏平均的方式对预处理后的测试执行结果图片进行分类。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的基于卷积神经网络的用户界面测试结果分类方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述的基于卷积神经网络的用户界面测试结果分类方法的步骤。
CN202110484586.3A 2021-04-30 2021-04-30 基于卷积神经网络的用户界面测试结果分类方法及装置 Pending CN113076169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484586.3A CN113076169A (zh) 2021-04-30 2021-04-30 基于卷积神经网络的用户界面测试结果分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484586.3A CN113076169A (zh) 2021-04-30 2021-04-30 基于卷积神经网络的用户界面测试结果分类方法及装置

Publications (1)

Publication Number Publication Date
CN113076169A true CN113076169A (zh) 2021-07-06

Family

ID=76616320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484586.3A Pending CN113076169A (zh) 2021-04-30 2021-04-30 基于卷积神经网络的用户界面测试结果分类方法及装置

Country Status (1)

Country Link
CN (1) CN113076169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193417A1 (zh) * 2022-04-08 2023-10-12 郑州大学第一附属医院 一种基于深度学习的gui测试方法、系统及存储设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596258A (zh) * 2018-04-27 2018-09-28 南京邮电大学 一种基于卷积神经网络随机池化的图像分类方法
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN111401472A (zh) * 2020-04-09 2020-07-10 中国人民解放军国防科技大学 基于深度卷积神经网络的红外目标分类方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596258A (zh) * 2018-04-27 2018-09-28 南京邮电大学 一种基于卷积神经网络随机池化的图像分类方法
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN111401472A (zh) * 2020-04-09 2020-07-10 中国人民解放军国防科技大学 基于深度卷积神经网络的红外目标分类方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANWEI JIANG等: "Classification of Alzheimer’s disease via Eight-Layer Convolutional Neural Network with Batch Normalization and Dropout Techniques", 《JOURNAL OF MEDICAL IMAGING AND HEALTH INFORMATICS》, 31 July 2020 (2020-07-31), pages 2 - 16 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193417A1 (zh) * 2022-04-08 2023-10-12 郑州大学第一附属医院 一种基于深度学习的gui测试方法、系统及存储设备

Similar Documents

Publication Publication Date Title
CN109740657B (zh) 一种用于图像数据分类的神经网络模型的训练方法与设备
CN111709371B (zh) 基于人工智能的分类方法、装置、服务器和存储介质
CN110909807A (zh) 基于深度学习的网络验证码识别方法、装置及计算机设备
US11334773B2 (en) Task-based image masking
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
CN108446688B (zh) 人脸图像性别判断方法、装置、计算机设备及存储介质
CN111259812B (zh) 基于迁移学习的内河船舶重识别方法、设备及存储介质
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
CN112650885A (zh) 视频分类方法、装置、设备和介质
EP4220555A1 (en) Training method and apparatus for image segmentation model, image segmentation method and apparatus, and device
CN111291773A (zh) 特征识别的方法及装置
CN112149754B (zh) 一种信息的分类方法、装置、设备及存储介质
WO2023280229A1 (zh) 图像处理方法、电子设备及存储介质
CN111753929A (zh) 基于人工智能的分类方法、装置、终端和存储介质
CN110276405B (zh) 用于输出信息的方法和装置
Ashwinkumar et al. Deep learning based approach for facilitating online proctoring using transfer learning
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN110427998A (zh) 模型训练、目标检测方法及装置、电子设备、存储介质
CN113076169A (zh) 基于卷积神经网络的用户界面测试结果分类方法及装置
CN110716778A (zh) 应用兼容性测试方法、装置及系统
CN115062769A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
CN116416486A (zh) 图像识别方法及系统
CN113486853A (zh) 视频检测方法及装置、电子设备和介质
CN112308067A (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination