CN112633341A - 一种界面测试方法、装置、计算机设备和存储介质 - Google Patents

一种界面测试方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112633341A
CN112633341A CN202011480763.2A CN202011480763A CN112633341A CN 112633341 A CN112633341 A CN 112633341A CN 202011480763 A CN202011480763 A CN 202011480763A CN 112633341 A CN112633341 A CN 112633341A
Authority
CN
China
Prior art keywords
interface
current
image
different
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011480763.2A
Other languages
English (en)
Inventor
何兆武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202011480763.2A priority Critical patent/CN112633341A/zh
Publication of CN112633341A publication Critical patent/CN112633341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种界面测试方法、装置、计算机设备和存储介质。所述方法包括：通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；对各个界面区域中的文字或图形图标进行识别，得到识别结果；遍历当前界面的不同区块，并根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。因此，采用本申请实施例，由于引入了预设界面划分模型，这样，能够对当前界面的界面区域进行划分，自动划分出各个界面区域；根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果，由于避免了人工对界面布局和界面配色进行测试，因此，最终提高了界面测试效率。

Description

一种界面测试方法、装置、计算机设备和存储介质
技术领域
本发明涉及互联网技术领域，特别涉及一种界面测试方法、装置和计算机设备。
背景技术
界面自动化是功能测试的一个主要手段，是检验系统是否可以正常使用的有效方法，通过界面自动化，可以直观地知道系统或软件是否按设计方案进行布局展示。
Selenium、UFT、Appium、Testin、AutoIt、Sikuli都是界面自动化测试很好的工具，这些传统的界面自动化测试工具，要么通过Xpath定位界面元素，要么基于简单的录制回放，一方面要求测试人员有一定的代码基础，另一方面自动化脚本稳定性复用性不高，往往开发修改一下代码，脚本就要重新修改一遍。一套自动化脚本成本很高，而且不能跨平台跨系统跨浏览器，容易给测试人员造成较差的使用体验。
由于测试人员被动地开发自动化脚本，往往需要测试人员花费大量时间用于对界面元素去定位，从而降低了测试人员的开发效率。
传统的界面自动化方法无法实现界面布局、界面色彩搭配等界面检查功能，因此，针对上述检查过程，需要耗费测试人员大量的时间去测试，而且测试效果也不好。
如何实现对界面的自动化测试过程，是待解决的技术问题。
发明内容
基于此，有必要针对现有无法实现对界面的自动化测试问题，提供一种界面测试方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供了一种界面测试方法，所述方法包括：
获取当前界面的界面图像，所述界面图像包括当前界面的界面区域和界面元素；
通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；
对各个界面区域中的文字或图形图标进行识别，得到识别结果；
遍历当前界面的不同区块，并根据所述识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
在一种实施方式中，所述预设界面划分模型为采用Mask R-CNN实例分割算法建立起来的识别划分模型，所述通过预设界面划分模型对当前界面的界面区域进行划分包括：
对获取到的当前界面的所述界面图像进行图片预处理，得到预处理后的图片；
将所述预处理后的图片输入ResNeXt神经网络中，输出对应的特征图；
对所述特征图中的每一个点设定预对应的感兴趣区域，并选取所述特征图中的多个点对应的感兴趣区域作为候选感兴趣区域；
将多个候选感兴趣区域送入RPN网络中进行二值分类和BB回归处理，得到多个确定的感兴趣区域；
根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分，以将当前界面划分为不同区域，不同类别的分类器能够对具有不同界面特征和界面元素的界面区域进行分类。
在一种实施方式中，在所述根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分之前，所述方法还包括：
对当前界面的所述界面图像和所述特征图进行匹配处理。
在一种实施方式中，所述对当前界面的所述界面图像和所述特征图进行匹配处理包括：
分别获取所述界面图像的各个第一像素元素和所述特征图的各个第二像素元素；
根据第一预设条件判断在像素元素上所述界面图像与所述特征图是否匹配，若各个第一像素元素与对应的第二像素元素之间的差异符合所述第一预设条件，则判断出在所述像素元素上所述界面图像和所述特征图匹配，否则，则判断出在所述像素元素上所述界面图像和所述特征图不匹配。
在一种实施方式中，所述对当前界面的所述界面图像和所述特征图进行匹配处理还包括：
分别获取所述界面图像的各个第一特征元素和所述特征图的各个第二特征元素；
根据第二预设条件判断在特征元素上所述界面图像与所述特征图是否匹配，若各个第一特征元素与对应的第二特征元素之间的差异符合所述第二预设条件，则判断出在所述特征元素上所述界面图像和所述特征图匹配，否则，则判断出在所述特征元素上所述界面图像和所述特征图不匹配。
在一种实施方式中，在所述对不同区块的界面布局和界面配色进行界面测试之前，所述方法还包括：
根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中，所述操作栈用于对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
在一种实施方式中，在所述根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中之前，所述方法还包括：
为当前界面的不同界面区域对应的区块配置不同的区块权重。
第二方面，本申请实施例提供了一种界面测试装置，所述装置包括：
获取单元，用于获取当前界面的界面图像，所述界面图像包括当前界面的界面区域和界面元素；
划分单元，用于通过预设界面划分模型对所述获取单元获取的当前界面的界面区域进行划分，划分出各个界面区域；
识别单元，用于对所述划分单元划分出的各个界面区域中的文字或图形图标进行识别，得到识别结果；
测试单元，用于遍历当前界面的不同区块，并根据所述识别单元识别出的所述识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的方法步骤。
第四方面，本申请实施例提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；对各个界面区域中的文字或图形图标进行识别，得到识别结果；遍历当前界面的不同区块，并根据所述识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。因此，采用本申请实施例，由于引入了预设界面划分模型，这样，能够对当前界面的界面区域进行划分，自动划分出各个界面区域；根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果，由于避免了人工对界面布局和界面配色进行测试，因此，最终提高了界面测试效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为一个实施例中提供的一种界面测试方法的实施环境图；
图2为一个实施例中计算机设备的内部结构框图；
图3是本公开实施例提供的一种界面测试方法的流程示意图；
图4是本公开实施例提供的一种界面测试装置的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图详细说明本公开的可选实施例。
图1为一个实施例中提供的一种界面测试方法的实施环境图，如图1所示，在该实施环境中，包括计算机设备110以及终端120。
需要说明的是，终端120以及计算机设备110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。计算机设备110以及终端110可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。
图2为一个实施例中计算机设备的内部结构示意图。如图2所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种界面测试方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种短信验证码的权限处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，本公开实施例提供一种界面测试方法，该界面测试方法应用于服务器端，具体包括以下方法步骤：
S302：获取当前界面的界面图像，界面图像包括当前界面的界面区域和界面元素。
S304：通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；
在本申请实施例中，预设界面划分模型为采用Mask R-CNN实例分割算法建立起来的识别划分模型；
在本申请实施例中，采用Mask R-CNN实例分割算法构建预设界面划分模型的方法为常规方法，在此不再赘述。
在本申请实施例中，Mask R-CNN是一个实例分割(Instance segmentation)算法，可以用来做目标实例分割。Mask R-CNN的实例分割是在语义分割的基础上对同类物体进行更精细的分割。
通过预设界面划分模型对当前界面的界面区域进行划分包括以下步骤：
对获取到的当前界面的界面图像进行图片预处理，得到预处理后的图片；
在本申请实施例中，对图片预处理的方式是常规的方式，例如，对当前界面的界面图像进行提高图像清晰度的处理，使得当前界面的不同区域对应的区块之间的界限更加清晰，还有其它处理方法，在此不再赘述。
将预处理后的图片输入ResNeXt神经网络中，输出对应的特征图；
在本申请实施例中，ResNeXt网络为ResNet网络的升级版。随着超参数数量的增加(例如，通道数、滤波器尺寸等)，网络设计的难度和计算开销也会增加。而ResNeXt网络所具有的结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。
对特征图中的每一个点设定预对应的感兴趣区域，并选取特征图中的多个点对应的感兴趣区域作为候选感兴趣区域；
在本申请实施例中，感兴趣区域是从图像中选择的一个图像区域，该区域是进行图像分析所关注的重点。通过设定该感兴趣区域，能够减少处理时间，以及增加精度。
将多个候选感兴趣区域送入RPN网络中进行二值分类和BB回归处理，得到多个确定的感兴趣区域；
在本申请实施例中，将上述候选感兴趣区域送入RPN网络进行二值分类(前景或背景)和BB回归，过滤掉一部分候选的感兴趣区域；
RPN网络是用来提取候选框的网络，专门用来提取候选框。
在本申请实施例中，送入RPN网络的处理步骤如下所述：经过一个3×3的卷积，得到一个256×16×16的特征图，也可以看作16×16个256维特征向量，然后经过两次1×1的卷积，分别得到一个18×16×16的特征图，和一个36×16×16的特征图，也就是16×16×9个结果，每个结果包含2个分数和4个坐标，再结合预先定义的Anchors，经过后处理，就得到候选框。
根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分，以将当前界面划分为不同区域，不同类别的分类器能够对具有不同界面特征和界面元素的界面区域进行分类。
在本申请实施例中，预设的不同类别的分类器是采用已知的用于界面分类的分类器，在此不再赘述。
此外，还可以对各个确定的感兴趣区域进行BB(Bounding-box regression)回归处理，这样，能够实现对各个确定的感兴趣区域的精准定位，通过上述BB回归处理，能够对界面窗口进行微调，使得微调后的界面窗口位置与实际界面窗口的位置一致。
在一种可能的实现方式中，在根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分之前，所述方法还包括以下步骤：对当前界面的界面图像和特征图进行匹配处理。
具体地，对当前界面的界面图像和特征图进行匹配处理包括以下步骤：
分别获取界面图像的各个第一像素元素和特征图的各个第二像素元素；
根据第一预设条件判断在像素元素上界面图像与特征图是否匹配，若各个第一像素元素与对应的第二像素元素之间的差异符合第一预设条件，则判断出在像素元素上界面图像和特征图匹配，否则，则判断出在像素元素上界面图像和特征图不匹配。
除了上述通过根据像素元素判断界面图像与特征图是否匹配之外，还可以根据特征元素判断界面图像与特征图是否匹配，具体地，对当前界面的界面图像和特征图进行匹配处理还包括以下步骤：
分别获取界面图像的各个第一特征元素和特征图的各个第二特征元素；
根据第二预设条件判断在特征元素上界面图像与特征图是否匹配，若各个第一特征元素与对应的第二特征元素之间的差异符合第二预设条件，则判断出在特征元素上界面图像和特征图匹配，否则，则判断出在特征元素上界面图像和特征图不匹配。
S306：对各个界面区域中的文字或图形图标进行识别，得到识别结果；
在本申请实施例中，结合界面控制句柄或浏览器底层源码中的信息，使用FasterRCNN识别模型进行训练，识别已经划分出来的各个区域的不同元素，得到识别结果，并对识别结果进行标记，例如，标记不同划分区域的区块识别结果，具体地，将当前界面有效地划分为四个区块，则对划分出的四个不同区块标记以不同颜色的区块框。
在实际应用中，除了对当前界面的不同区块区域进行标记之外，还可以对不同区块内的主体颜色进行标记，或者对不同区块内的不同字体颜色进行标记，或者对不同区块内的不同字体的相对位置进行标记，或者，对不同区块内的不同目标对象的相对位置进行标记，这里，对标记的内容不做具体限制。
识别出来的结果带有可信值，默认为0，经由后面的反馈神经网络去重新计算识别结果可信值。
若某一区块的信度低于预设的区块信度，则对当前区块对应的区域重新进行识别，不断校正，直至当前区块的信度大于或者等于预设的区块信度，则确定当前区块为可信区块。
在一种可能的实现方式中，在当前区块确定为可信区块时，将当前区块作为可以用作训练识别元素的识别模型的数据，以进一步地提高识别元素的识别模型的训练精度。
S306：遍历当前界面的不同区块，并根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
对当前界面的界面布局进行界面测试，该界面布局的界面测试过程为自动化测试过程，这样，不仅节省了大量的人力和物力，还能够提高界面测试效率。
在本申请实施例中，对当前界面不同区块的界面布局进行界面测试包括以下步骤：
获取当前界面的界面布局结果，并检测当前界面布局结果是否符合视觉稿的要求。
具体地，配合前端设计人员优化布局，根据比例布局界面，以视觉稿为基准，根据区域划分，计算出各区域相对距离，检查界面布局是否达到了视觉稿的要求，这样，不仅实现了自动化测试，还显著地提高了检测精度。
在本申请实施例中，基于图片分析布局，可以批量且迅速地进行界面布局测试，此外，还能够实现不同系统或者不同浏览器所存在的兼容性问题。
在本申请实施例中，通过预设的布局检测算法构建的界面布局检测模型，能够批量且迅速地筛选出界面布局存在如下问题之一的界面，例如：界面布局不对称、界面布局中存在配色冲突、界面布局中不同区块之间界面风格不统一，上述仅仅罗列了常见的问题，在此不再赘述。
上述详细描述了对当前界面不同区块的界面布局进行界面测试的过程，还可以对当前界面不同区块的界面配色进行界面测试。界面配色的界面测试过程，相对于界面布局的测试过程相对简单。具体地，根据获取的大量关于界面配色的案例，分析其遵循的界面配色策略，例如，若想给用户视觉冲击，配置的界面配色策略为：使用具有强对比的不同颜色；上述仅仅是示例，可以根据不同应用场景的需求，调整界面配色策略，在此对界面配色策略不做具体限制。
在本申请实施例中，该测试方法自动分析底层代码是否具有可点击行，自动选择控件进行相关操作，也可以自动遍历界面元素，具体的识别界面元素的方法参见前述相同或相似部分的描述，在此不再赘述。
在一种可能的实现方式中，还可以根据用户需求定制遍历界面的深度，或者指定遍历当前界面的哪些区域，具体的识别界面元素的方法参见前述相同或相似部分的描述，在此不再赘述。在一种可能的实现方式中，本申请实施例提供的界面测试方法还包括以下步骤：生成界面自动化测试案例。
具体地，使用文字、XML路径语言、图标或者同义词去对界面进行自动化测试，充分利用原来的自动化脚本或者历史测试案例。
在本申请实施例提供的自动测试方法中，语义解析单元会获取历史测试步骤、历史测试预期结果，并借鉴历史测试步骤和历史测试预期结果，完成自动化测试过程，得到并输出测试结果。
在一种可能的实现方式中，用户也可以预先输入进行自动化测试的测试策略，并结合获取的历史测试步骤和历史测试预期结果，进行自动化测试，得到并输出测试结果，其中，该测试策略可以以测试策略树或者思维导图结构图的方式呈现，在此不做具体限制。
在一种可能的实现方式中，在对不同区块的界面布局和界面配色进行界面测试之前，所述方法还包括以下步骤：
根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中，操作栈用于对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
在一种可能的实现方式中，为了进一步地提高进行界面测试的测试效率，在根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中之前，所述方法还包括以下步骤：
为当前界面的不同界面区域对应的区块配置不同的区块权重。
具体地，若区块中携带有输入标签，或者，区块中携带还有按钮标签，则当前区块的权重值会得以提高。
此外，还可以根据不同区块所处配置不同的权重值，具体地，可以对当前界面的重要区域，例如，中央区域对应的区块配置较大的权重值，而对当前界面的边界区域，配置较小的权重值。上述仅仅是示例，可以根据不同应用场景下的界面特点对不同区块的权重配置方式进行调整，在此并不做限制。
在实际应用中，为了提高界面测试的测试效率，根据不同区块具有的非零权重值，将各个不同区块依次按序压入操作栈中。
在实际应用场景中，一种可能的按序方式可以为：按照不同区块具有的权重值由高到低依次压入操作栈中。上述仅仅是示例，还可以根据不同应用场景的需求，对不同区块依次压入操作栈的方式进行调整，在此不再赘述。
在本公开实施例中，通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；对各个界面区域中的文字或图形图标进行识别，得到识别结果；遍历当前界面的不同区块，并根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。因此，采用本申请实施例，由于引入了预设界面划分模型，这样，能够对当前界面的界面区域进行划分，自动划分出各个界面区域；根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果，由于避免了人工对界面布局和界面配色进行测试，因此，最终提高了界面测试效率。
下述为本发明界面测试装置实施例，可以用于执行本发明界面测试方法实施例。对于本发明界面测试装置实施例中未披露的细节，请参照本发明界面测试方法实施例。
请参见图4，其示出了本发明一个示例性实施例提供的界面测试装置的结构示意图。该界面测试装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该界面测试装置包括获取单元402、划分单元404、识别单元406和测试单元408。
具体而言，获取单元402，用于获取当前界面的界面图像，界面图像包括当前界面的界面区域和界面元素；
划分单元404，用于通过预设界面划分模型对获取单元402获取的当前界面的界面区域进行划分，划分出各个界面区域；
识别单元406，用于对划分单元404划分出的各个界面区域中的文字或图形图标进行识别，得到识别结果；
测试单元408，用于遍历当前界面的不同区块，并根据识别单元识别出的识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
可选的，划分单元404具体用于：
对获取到的当前界面的界面图像进行图片预处理，得到预处理后的图片；
将预处理后的图片输入ResNeXt神经网络中，输出对应的特征图；
对特征图中的每一个点设定预对应的感兴趣区域，并选取特征图中的多个点对应的感兴趣区域作为候选感兴趣区域；
将多个候选感兴趣区域送入RPN网络中进行二值分类和BB回归处理，得到多个确定的感兴趣区域；
根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分，以将当前界面划分为不同区域，不同类别的分类器能够对具有不同界面特征和界面元素的界面区域进行分类。
可选的，所述装置还包括：
匹配单元(在图4中未示出)，用于在划分单元404根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分之前，对当前界面的界面图像和特征图进行匹配处理。
可选的，匹配单元具体用于：
分别获取界面图像的各个第一像素元素和特征图的各个第二像素元素；
根据第一预设条件判断在像素元素上界面图像与特征图是否匹配，若各个第一像素元素与对应的第二像素元素之间的差异符合第一预设条件，则判断出在像素元素上界面图像和特征图匹配，否则，则判断出在像素元素上界面图像和特征图不匹配。
可选的，匹配单元具体还用于：
分别获取界面图像的各个第一特征元素和特征图的各个第二特征元素；
根据第二预设条件判断在特征元素上界面图像与特征图是否匹配，若各个第一特征元素与对应的第二特征元素之间的差异符合第二预设条件，则判断出在特征元素上界面图像和特征图匹配，否则，则判断出在特征元素上界面图像和特征图不匹配。
可选的，所述装置还包括：
区块处理单元(在图4中未示出)，用于在测试单元408对不同区块进行界面测试之前，根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中，操作栈用于对不同区块进行界面测试，并生成界面测试结果。
可选的，所述装置还包括：
权重配置单元(在图4中未示出)，用于在区块处理单元根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中之前，为当前界面的不同界面区域对应的区块配置不同的区块权重。
需要说明的是，上述实施例提供的界面测试装置在执行界面测试方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的界面测试装置与界面测试方法实施例属于同一构思，其体现实现过程详见界面测试方法实施例，这里不再赘述。
在本公开实施例中，划分单元用于通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；识别单元用于对划分单元划分出的各个界面区域中的文字或图形图标进行识别，得到识别结果；以及测试单元还用于用于遍历当前界面的不同区块，并根据识别单元识别出的识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。因此，采用本申请实施例，由于引入了预设界面划分模型，这样，能够对当前界面的界面区域进行划分，自动划分出各个界面区域；根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果，由于避免了人工对界面布局和界面配色进行测试，因此，最终提高了界面测试效率。
在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取当前界面的界面图像，界面图像包括当前界面的界面区域和界面元素；通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；对各个界面区域中的文字或图形图标进行识别，得到识别结果；遍历当前界面的不同区块，并根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取当前界面的界面图像，界面图像包括当前界面的界面区域和界面元素；通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；对各个界面区域中的文字或图形图标进行识别，得到识别结果；遍历当前界面的不同区块，并根据识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种界面测试方法，其特征在于，所述方法包括：
获取当前界面的界面图像，所述界面图像包括当前界面的界面区域和界面元素；
通过预设界面划分模型对当前界面的界面区域进行划分，划分出各个界面区域；
对各个界面区域中的文字或图形图标进行识别，得到识别结果；
遍历当前界面的不同区块，并根据所述识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
2.根据权利要求1所述的方法，其特征在于，所述预设界面划分模型为采用Mask R-CNN实例分割算法建立起来的识别划分模型，所述通过预设界面划分模型对当前界面的界面区域进行划分包括：
对获取到的当前界面的所述界面图像进行图片预处理，得到预处理后的图片；
将所述预处理后的图片输入ResNeXt神经网络中，输出对应的特征图；
对所述特征图中的每一个点设定预对应的感兴趣区域，并选取所述特征图中的多个点对应的感兴趣区域作为候选感兴趣区域；
将多个候选感兴趣区域送入RPN网络中进行二值分类和BB回归处理，得到多个确定的感兴趣区域；
根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分，以将当前界面划分为不同区域，不同类别的分类器能够对具有不同界面特征和界面元素的界面区域进行分类。
3.根据权利要求2所述的方法，其特征在于，在所述根据预设的不同类别的分类器，对多个确定的感兴趣区域进行界面区域的划分之前，所述方法还包括：
对当前界面的所述界面图像和所述特征图进行匹配处理。
4.根据权利要求3所述的方法，其特征在于，所述对当前界面的所述界面图像和所述特征图进行匹配处理包括：
分别获取所述界面图像的各个第一像素元素和所述特征图的各个第二像素元素；
根据第一预设条件判断在像素元素上所述界面图像与所述特征图是否匹配，若各个第一像素元素与对应的第二像素元素之间的差异符合所述第一预设条件，则判断出在所述像素元素上所述界面图像和所述特征图匹配，否则，则判断出在所述像素元素上所述界面图像和所述特征图不匹配。
5.根据权利要求3所述的方法，其特征在于，所述对当前界面的所述界面图像和所述特征图进行匹配处理还包括：
分别获取所述界面图像的各个第一特征元素和所述特征图的各个第二特征元素；
根据第二预设条件判断在特征元素上所述界面图像与所述特征图是否匹配，若各个第一特征元素与对应的第二特征元素之间的差异符合所述第二预设条件，则判断出在所述特征元素上所述界面图像和所述特征图匹配，否则，则判断出在所述特征元素上所述界面图像和所述特征图不匹配。
6.根据权利要求1所述的方法，其特征在于，在所述对不同区块的界面布局和界面配色进行界面测试之前，所述方法还包括：
根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中，所述操作栈用于对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
7.根据权利要求6所述的方法，其特征在于，在所述根据不同区块具有的非零权重值，将各个不同区块依次压入操作栈中之前，所述方法还包括：
为当前界面的不同界面区域对应的区块配置不同的区块权重。
8.一种界面测试装置，其特征在于，所述装置包括：
获取单元，用于获取当前界面的界面图像，所述界面图像包括当前界面的界面区域和界面元素；
划分单元，用于通过预设界面划分模型对所述获取单元获取的当前界面的界面区域进行划分，划分出各个界面区域；
识别单元，用于对所述划分单元划分出的各个界面区域中的文字或图形图标进行识别，得到识别结果；
测试单元，用于遍历当前界面的不同区块，并根据所述识别单元识别出的所述识别结果对不同区块的界面布局和界面配色进行界面测试，生成界面测试结果。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述权限处理方法的步骤。
10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述权限处理方法的步骤。
CN202011480763.2A 2020-12-15 2020-12-15 一种界面测试方法、装置、计算机设备和存储介质 Pending CN112633341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011480763.2A CN112633341A (zh) 2020-12-15 2020-12-15 一种界面测试方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011480763.2A CN112633341A (zh) 2020-12-15 2020-12-15 一种界面测试方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112633341A true CN112633341A (zh) 2021-04-09

Family

ID=75313359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011480763.2A Pending CN112633341A (zh) 2020-12-15 2020-12-15 一种界面测试方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112633341A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791781A (zh) * 2021-09-09 2021-12-14 南京大学 一种基于图神经网络的界面功能场景划分方法和装置
CN115048309A (zh) * 2022-06-27 2022-09-13 广州掌动智能科技有限公司 无侵入app软件性能测试方法和系统
CN117971641A (zh) * 2023-11-24 2024-05-03 北京东舟技术股份有限公司 应用界面的遍历测试方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035256A (zh) * 2018-06-28 2018-12-18 百度在线网络技术（北京）有限公司 用户界面图像切割方法、装置、服务器和存储介质
CN109918291A (zh) * 2019-01-17 2019-06-21 深圳壹账通智能科技有限公司 软件界面检测方法、装置、计算机设备及存储介质
CN110443140A (zh) * 2019-07-05 2019-11-12 平安科技（深圳）有限公司 文本定位的方法、装置、计算机设备及存储介质
CN111767228A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 基于人工智能的界面测试方法、装置、设备和介质
CN111782552A (zh) * 2020-08-07 2020-10-16 广州极点三维信息科技有限公司 一种基于区域划分的自动测试方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035256A (zh) * 2018-06-28 2018-12-18 百度在线网络技术（北京）有限公司 用户界面图像切割方法、装置、服务器和存储介质
CN109918291A (zh) * 2019-01-17 2019-06-21 深圳壹账通智能科技有限公司 软件界面检测方法、装置、计算机设备及存储介质
CN110443140A (zh) * 2019-07-05 2019-11-12 平安科技（深圳）有限公司 文本定位的方法、装置、计算机设备及存储介质
CN111767228A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 基于人工智能的界面测试方法、装置、设备和介质
CN111782552A (zh) * 2020-08-07 2020-10-16 广州极点三维信息科技有限公司 一种基于区域划分的自动测试方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791781A (zh) * 2021-09-09 2021-12-14 南京大学 一种基于图神经网络的界面功能场景划分方法和装置
CN113791781B (zh) * 2021-09-09 2023-07-18 南京大学 一种基于图神经网络的界面功能场景划分方法和装置
CN115048309A (zh) * 2022-06-27 2022-09-13 广州掌动智能科技有限公司 无侵入app软件性能测试方法和系统
CN115048309B (zh) * 2022-06-27 2023-03-07 广州掌动智能科技有限公司 无侵入app软件性能测试方法和系统
CN117971641A (zh) * 2023-11-24 2024-05-03 北京东舟技术股份有限公司 应用界面的遍历测试方法及电子设备

Similar Documents

Publication Publication Date Title
CN109165249B (zh) 数据处理模型构建方法、装置、服务器和用户端
CN110275834B (zh) 用户界面自动化测试系统及方法
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
CN109034069B (zh) 用于生成信息的方法和装置
CN109901996B (zh) 辅助测试的方法、装置、电子设备及可读存储介质
US20180174288A1 (en) SCORE WEIGHTS FOR USER INTERFACE (ui) ELEMENTS
CN112749081A (zh) 用户界面测试方法及相关装置
CN112416777B (zh) 文本显示测试方法、装置、计算机设备和存储介质
CN110826646A (zh) 机器人视觉测试方法、装置、存储介质及终端设备
CN112308069A (zh) 一种软件界面的点击测试方法、装置、设备及存储介质
US20200320409A1 (en) Model creation supporting method and model creation supporting system
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN112988557A (zh) 一种搜索框定位方法、数据采集方法、装置及介质
CN112381092A (zh) 跟踪方法、装置及计算机可读存储介质
CN113190444B (zh) 一种测试方法、装置及存储介质
CN111783812A (zh) 违禁图像识别方法、装置和计算机可读存储介质
CN108921138B (zh) 用于生成信息的方法和装置
CN112989256A (zh) 识别响应信息中web指纹的方法和装置
CN112905451A (zh) 应用程序的自动化测试方法及装置
CN111401465A (zh) 训练样本优化方法、装置、设备及存储介质
CN113705559B (zh) 基于人工智能的文字识别方法及装置、电子设备
CN115631374A (zh) 控件操作方法、控件检测模型的训练方法、装置和设备
CN112287932B (zh) 一种确定图像质量的方法、装置、设备及存储介质
CN114972500A (zh) 查验方法、标注方法、系统、装置、终端、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210409

WD01 Invention patent application deemed withdrawn after publication