CN112084103A

CN112084103A - 界面测试方法、装置、设备和介质

Info

Publication number: CN112084103A
Application number: CN201910507063.9A
Authority: CN
Inventors: 周琦超; 刘道伟; 吕凌飞; 尹飞; 薛大伟
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-06-12
Filing date: 2019-06-12
Publication date: 2020-12-15
Anticipated expiration: 2039-06-12
Also published as: CN112084103B

Abstract

本发明实施例公开了一种界面测试方法、装置、设备和介质，该方法包括：识别待测试界面中的功能信息区域；基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型；匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。本发明实施例提供了一种界面测试方法、装置、设备和介质，实现了在无需明确的UI参照的前提下，对界面问题的全面高效检测。

Description

界面测试方法、装置、设备和介质

技术领域

本发明实施例涉及用户界面显示领域，尤其涉及一种界面测试方法、装置、设备和介质。

背景技术

测试可以分为后端测试和前端测试。对于后端测试而言，输入和输出都是可比较的基础数据。通过做逻辑上的数据比较即可判断是否异常。

而对于前端测试来说，逻辑的UI(User Interface，用户界面)样式复杂多变，不同系统、不用应用间也表现不一，难以直观地用数据进行描述。因此，通常要靠人工来发现前端显示问题。

对于UI样式的自动测试，目前普遍采用如下三种方案来解决：

(1)基于参照物的图像差异(diff)方案。这种方案使用在有明确UI参照(也即待测试界面在理论上应该显示的界面)的场景下，根据图像差异确定待测逻辑的UI样式与UI参照之间的差异。

(2)基于DOM树的元素检查方法。这种方案使用在能获取展现DOM信息的场景下。通过检查DOM结构中一些重要节点是否存在，以识别是否有元素缺失等UI问题。

(3)基于深度学习的方案。该方案需要准备大量某一场景的正常/异常UI样本来训练模型，通过模型做UI样式的自动分类，从而识别出异常。

上述三种方案使用场景有所不同，所带来的问题和不足也有所不同：

方案(1)要求必须有UI参照，应用场景比较有限，比如真机上的检查以及线上版本的监控等场景由于不容易获取UI参照，所以都不适用本方案。该方法检测出的文本差异会干扰UI异常的判定，带来很大的误差。而UI样式本身更关注结构，允许不同文本数据带来的像素差异。

方案(2)从UI的DOM树出发，首先能发现的UI样式问题有限，因为没有经过渲染引擎的渲染，仅能发现一些元素缺失的问题。对于渲染后是否有控件遮挡等问题难以识别。而且对于一些高定制的hybrid app，现有工具获取DOM树会几率性的失败，稳定性差。

方案(3)用传统机器学习的方式，一方面准备异常训练素材的成本高，而且在训练过程中可能要随时优化模型，周期较长。另一方面，对于不同场景下表现复杂的UI样式，特征难以抽象，模型分类准确率较低。

发明内容

本发明实施例提供一种界面测试方法、装置、设备和介质，以实现在无需明确的UI参照的前提下，对界面问题的全面高效检测。

第一方面，本发明实施例提供了一种界面测试方法，该方法包括：

识别待测试界面中的功能信息区域；

基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型；

匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。

第二方面，本发明实施例还提供了一种界面测试装置，该装置包括：

区域识别模块，用于识别待测试界面中的功能信息区域；

模型确定模块，用于基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型；

模型匹配模块，用于匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。

第三方面，本发明实施例还提供了一种电子设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一项所述的界面测试方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一项所述的界面测试方法。

本发明实施例通过基于所述功能信息区域的位置信息确定待测试界面的数学模型；根据所述待测试界面的数学模型确定所述待测试界面是否异常，从而实现基于UI样式本身的结构对UI样式问题的全面测试。因为待测试界面的数学模型基于所述功能信息区域的位置信息确定，所以待测试界面的数学模型反应的是UI样式本身的结构信息。具体地，该测试既可以实现对功能信息区域缺失问题的测试，也可以实现对渲染后界面显示效果的测试。

通过匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。其中所述待测试界面所属场景的基准数学模型可以根据所述待测试界面所属场景中除待测试界面以外的其他界面的基准界面确定。所以本发明实施例可以实现在无需待测试界面的基准界面作参照的前提下，对待测试界面的异常检测。

又因为该测试过程中无需获取DOM树的工具，所以本发明实施例的技术方案可以提高测试过程的稳定性。

此外，相比传统的深度学习方案，本发明实施例的技术方案更关注UI样式本身的结构，且算法的调整过程可干预，对于同一场景下UI样式复杂的情况可做自动分类，准确性高。并且因为无需准备异常训练素材，所以本发明实施例的技术方案相比传统的深度学习方案降低了测试成本。

附图说明

图1为本发明实施例一提供的一种界面测试方法的流程图；

图2是本发明实施例二提供的一种界面测试方法的流程图；

图3是本发明实施例三提供的一种界面测试方法的流程图；

图4a是本发明实施例四提供的一种界面测试方法的流程图；

图4b是本发明实施例四提供的一种有效信息区域提取方法的流程图；

图4c是本发明实施例四提供的一种待测试界面截图经过多轮切分的效果示意图；

图4d是本发明实施例四提供的一种功能信息区域确定方法的流程图；

图4e是本发明实施例四提供的一种文本区域合并的流程示意图；

图4f是本发明实施例四提供的一种文本区域合并的效果示意图；

图4g是本发明实施例四提供的一种图标识别效果示意图；

图4h是本发明实施例四提供的一种待测试界面截图转换为数学模型的示意图；

图4i是本发明实施例四提供的一种百科界面测试的流程示意图；

图5是本发明实施例五提供的一种界面测试装置的结构示意图；

图6为本发明实施例六提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种界面测试方法的流程图。本实施例可适用于对用户界面样式进行异常测试的情况。该方法可以由一种界面测试装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的界面测试方法包括：

S110、识别待测试界面中的功能信息区域。

其中，待测试界面截图是截取的待测试界面的图像。

功能信息区域是待测试界面包括的功能区域中功能信息所属区域。

功能区域是待测试界面中用于实现某一功能的区域。例如人物百科界面中第一行是描述人物姓名的功能区域，第二行是人物照片的功能区域和人物简介的功能区域等。

功能信息是指位于功能区域中的信息，该信息可以是图像，也可以是文字。例如，功能信息可以是位于人物简介的功能区域中的人物介绍信息，也可以是人物照片的功能区域中的人物照片等。

具体地，识别待测试界面中的功能信息区域，包括：

基于光学字符识别技术识别待测试界面中的文本；

根据文本的语义对描述同一功能的文本聚类；

将聚类后文本在待测试界面中的区域作为所述功能信息区域。

S120、基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型。

具体地，基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型，包括：

确定所述功能信息区域的位置；

将待测试界面截图所属矩阵中，所述功能信息区域所在位置的像素置1，其他位置的像素置0，生成位置矩阵；

将生成的位置矩阵作为待测试界面的数学模型。

S130、匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。

其中，基准数学模型是所述待测试界面所属场景的基准界面的数学模型。

同一场景的基准数学模型可以有多个，每个基准数学模型表示该场景下的一种界面样式。

基准界面是指在理论上应该显示的界面。

典型地，基准数学模型可以由待测试界面所属场景的界面中，除待测试界面以外的其他界面的基准界面的数学模型确定。

例如，待测试界面是张三的百科界面，张三的百科界面所属的场景为百科场景中的人物百科类型。人物百科类型的基准数学模型可以由李四的基准百科界面的数学模型、王五的基准百科界面的数学模型和除张三以外的其他人的基准百科界面的数学模型中的至少一种确定。

因此，本实施例无需一定要获取待测试界面的基准界面。从而使得本实施例可以适用于一些不容易获取基准界面的测试场景，例如真机上的测试场景以及线上版本的监控场景等。

具体地，根据匹配结果确定所述待测试界面是否异常，包括：

若所述待测试界面的数学模型和基准数学模型匹配成功，则确定所述待测试界面正常；

若所述待测试界面的数学模型和所述的待测试界面所属类型的任一基准数学模型均匹配失败，则确定所述待测试界面异常。

为实现对功能信息区域的详细提取，所述识别待测试界面中的功能信息区域，包括：

识别所述待测试界面中的图标；

将识别的图标所属区域作为所述功能信息区域。

为实现对同一场景下不同界面样式类型的界面的基准数学模型的获取，所述匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型之前，所述方法还包括：

采集所述待测试界面所属场景下的至少两个基准界面；

分别确定所述至少两个基准界面的数学模型；

根据界面样式对所述至少两个基准界面的数学模型进行归并，将经过归并的数学模型作为所述基准数学模型。

具体地，根据界面样式对所述基准界面图像的数学模型进行归并，包括：将具有相同或相近界面样式的基准界面的数学模型归并为一个数学模型。

典型地，根据界面样式对所述基准界面图像的数学模型进行归并，包括：

若所述至少两个基准界面的数学模型中功能信息区域的数量相同，且所述至少两个基准界面之间的差异小于设定差异阈值，则合并所述至少两个基准界面的数学模型。

具体两数学模型的合并可以是：对各数学模型中对应位置的参数求和，然后对求和结果取均值，并将均值作为合并后数学模型对应位置的参数。

实施例二

图2是本发明实施例二提供的一种界面测试方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2，本实施例提供的界面测试方法包括：

S210、基于所述待测试界面的背景色，提取所述待测试界面中的有效信息区域。

其中，有效信息区域是指包括有效信息的区域。具体地，有效信息区域可以是文本区域、图像区域和标点区域等。

具体地，所述基于所述待测试界面的背景色，提取待测试界面中的有效信息区域，包括：

根据待测试界面截图的像素值，确定所述待测试界面的背景色；

遍历所述待测试界面截图中的行，若所述行的像素值均与所述背景色相同，则将该行作为分割行；

遍历所述待测试界面截图中的列，若所述列的像素值均与所述背景色相同，则将该列作为分割列；

以所述分割行和所述分割列为边界，从所述待测试界面截图中划分出至少一个所述有效信息区域。

所述根据所述待测试界面截图的像素值，确定所述待测试界面的背景色，包括：

提取所述待测试界面截图中边角位置的像素值；

对提取的像素值进行数量统计；

将数量最多的像素值作为所述背景色的颜色值。

例如，提取的像素中包括第一像素坐标点的值、第二像素坐标点的值、第三像素坐标点的值和第四像素坐标点的值，其中，第一像素坐标点的值、第二像素坐标点的值和第四像素坐标点的值相同且数量最多，那么将第一像素坐标点的值作为背景色的颜色值。

S220、识别所述有效信息区域中的文本区域和图像区域。

其中，文本区域是指待测试界面中文本所在区域。图像区域是指待测试界面中图像所在区域，该图像为待测试界面中的图像。

具体地，所述识别所述有效信息区域中的文本区域和图像区域，包括：

根据所述有效信息区域中的噪声、所述有效信息区域的区域面积和所述有效信息区域的区域尺寸中的至少一种，识别所述有效信息区域中的文本区域和图像区域。

典型地，所述根据所述有效信息区域中的噪声、所述有效信息区域的区域面积和所述有效信息区域的区域尺寸中的至少一种，识别所述有效信息区域中的文本区域和图像区域，包括：

根据所述有效信息区域中的噪声，对所述有效信息区域中的文本区域和图像区域进行初识别；

根据所述有效信息区域的区域面积和/或区域尺寸，对初识别结果进行校正。

S230、根据所述待测试界面的文本属性，合并属于同一功能的文本区域。

其中，所述文本属性包括：单行文本高度、行间距和字体颜色中的至少一种。

具体地，所述根据所述待测试界面的文本属性，合并属于同一功能的文本区域，包括：

根据所述文本区域在纵轴上的位置、所述文本区域与所述图像区域的位置关系、所述文本区域之间的距离、所述文本区域合并后的尺寸以及所述文本区域之间的高度差中的至少一种，对属于同一功能的文本区域进行横向合并；

根据经过横向合并的所述文本区域在横轴上的位置、经过横向合并的所述文本区域之间的高度差以及经过横向合并的所述文本区域之间字体颜色的差值中的至少一种，对属于同一功能的文本区域进行纵向合并。

S240、将识别的图像区域和经过合并的文本区域作为所述功能信息区域。

S250、基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型。

S260、匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。

本发明实施例的技术方案通过基于所述待测试界面的背景色，提取所述待测试界面中的有效信息区域；识别所述有效信息区域中的文本区域和图像区域；根据所述待测试界面的文本属性，合并属于同一功能的文本区域；将识别的图像区域和经过合并的文本区域作为所述功能信息区域，从而实现对待测试界面中的功能信息区域进行有效的识别。

实施例三

图3是本发明实施例三提供的一种界面测试方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3，本实施例提供的界面测试方法包括：

S310、识别待测试界面中的功能信息区域。

S320、确定所述功能信息区域在设定坐标系中的位置坐标。

具体地，设定坐标可以是任意坐标系。

典型地，该设定坐标系与待测试界面截图的图像坐标系相同。

通常待测试界面截图的坐标系以图像的左上角为原点，向右延伸为x轴的正半轴，向下延伸为y轴的正半轴。

可选地，可以将所述功能信息区域在设定坐标系中任意点的坐标作为所述功能信息区域在设定坐标系中的位置坐标。

然而发明人发现:功能信息通常以功能区域的左上角为起点进行分布，因此功能信息区域的左上角坐标可以反应功能信息所属功能区域的左上角的位置坐标，而功能信息区域中的其他位置的坐标却可以随着功能信息的长短而变动。所以，将所述功能信息区域左上角坐标，作为所述功能信息区域在设定坐标系中的位置坐标。

S330、根据所述功能信息区域的位置坐标，对所述功能信息区域进行编号。

具体编号顺序可以根据需要设定。

典型地，根据所述功能信息区域的位置坐标，将所述功能信息区域按照从上至下从左至右依次编号。

S340、将所述功能信息区域作为节点，基于所述节点的编号建立有向完全图。

S350、根据所述有向完全图中边所关联的功能信息区域之间的距离，对所述有向完全图的边赋权值。

具体地，所述有向完全图中边所关联的功能信息区域之间的距离为一维数据。

典型地，所述根据所述有向完全图中边所关联的功能信息区域之间的距离，对所述有向完全图的边赋权值，包括：

确定所述有向完全图中边所关联的功能信息区域在至少两个维度上的距离；

将在每一维度上的距离除以所述待测试界面在该维度上的界面尺寸；

根据每一维度上的商值，确定所述有向完全图的边的权值。

S360、将所述有向完全图转换为三维数组，并将所述三维数组作为所述待测试界面的数学模型。

S370、匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。

本发明实施例的技术方案，通过根据所述功能信息区域的位置坐标，对所述功能信息区域进行编号；将所述功能信息区域作为节点，基于所述节点的编号建立有向完全图；根据所述有向完全图中边所关联的功能信息区域之间的距离，对所述有向完全图的边赋权值；将所述有向完全图转换为三维数组，并将所述三维数组作为所述待测试界面的数学模型，从而使得确定的数学模型既包括了功能信息区域间的位置布局信息，又包括了功能信息区域在视觉上的结构信息。

实施例四

图4a是本发明实施例四提供的以一种界面测试方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图4a，本实施例提供的界面测试方法包括：

S410、提取所述待测试界面截图中的有效信息区域。

具体地，参见图4b，提取所述待测试界面截图中的有效信息区域包括如下步骤：

S411、取待测试界面截图上下左右四个边角的像素，将所述四个边角的像素中数量最多的像素坐标点的值作为背景色的颜色值。

S412、遍历所述待测试界面截图的每行像素，如果某行各点像素一致且和背景色相同，则标记该行作为可分割行。

S413、遍历所述待测试界面截图的每列像素，如果某列各点像素一致且和背景色相同，则标记该列作为可分割列。

S414、行列各遍历一遍后，以标记出的可分割行和可分割列作为边界，将待测试界面截图分为各个子区域。

S415、在各个子区域内重复S412、S413和S414，以对文本进行完全切分，将切分后的区域作为有效信息区域。

其中，切分截止条件可以是设定重复轮数，也可以是设定截止切分条件。具体地，重复轮数可根据UI复杂度进行调整，设定截止切分条件可以是区域尺寸小于设定尺寸阈值。

待测试界面截图经过多轮切分的效果示意图参见图4c。

S420、根据有效信息区域确定待测试界面中的功能信息区域。

具体地，参见图4d，S420包括：

S421、识别有效信息区域中文本区域和图像区域。

提取出合适粒度的有效信息区域后，要对各个有效信息区域做初步的分类，识别出文本区域和图像区域。

其中，基于如下属性进行文本区域和图像区域的识别：

(1)图像区域的噪点值一般会较高，可用一个噪点阈值做初步区分。

(2)文本区域的面积一般较小。

(3)文本区域的长宽比会远大于1。

对于图像区域，保留完整个体，对于文本区域，根据一定的策略做合并。

S422、合并属于同一功能的文本区域。

对于零散的文本区域，要将属于同一功能的文本区域进行合并。合并后的文本区域可以表征UI在视觉上的逻辑结构划分。

这部分算法可根据不同产品的UI规范做灵活适配，一些重要的属性包括单行文本高度、行间距、字体颜色等。

典型地，对于网页搜索结果来说，文本区域合并遵循以下几个基本原则：

(1)横向距离不超过单行文本高度才可以合并，纵向距离不超过单行文本高度才可以合并。

(2)区域主体颜色一致才可以合并(区分标题加黑、正文灰字等)

(3)一些特殊处理：正文中的飘红不影响合并、多个图片下的文字标注不做横向合并等。

在段落上属于同行的文本和多行文本之间的合并策略有很大的不同。本实施例方案的合并算法区分了横向合并和纵向合并，参见图4e，具体合并流程如下：1、横向合并；2、纵向合并。

其中横向合并包括：

1.1、遍历文本区域，确定待横向合并的文本区域。

具体地，确定待横向合并的文本区域包括：

如果位于不同行的文本区域不在一个纵轴上，也即位于不同行的文本区域在y轴上的值不同，那么不对位于不同行的文本区域合并；

对于位于同一行的至少两个图片下的文本区域横向不合并，对于同一个图片下的不同行的文本区域进行横向合并；

通过判断文本区域之间的距离和文本区域的宽高比是否符合设定阈值，以实现对标点符合的识别，并将识别的标点符号所属文本区域横向合并。

1.2、对待横向合并的文本区域进行横向聚合。

具体地，对待横向合并的文本区域进行横向聚合，包括：

记录高度差较大的文本区域；

判断横向合并后是否有重叠区域；

如果文本区域之间的高度差大于设定高度阈值，且纵坐标不同，那么不对该文本区域进行横向合并。

纵向合并包括：

2.1、遍历经过横向聚合的文本区域，确定待纵向合并的文本区域。

在同行不同列的文本区域不进行纵向合并；

对于横向合并中记录的高度差较大的文本区域不进行合并；

若文本区域之间的横坐标不同，则不进行合并；

如果文本区域之间的高度差大于设定高度阈值，且纵坐标不同，那么不对该文本区域进行合并。

2.2、根据待纵向合并的文本区域的颜色差值，确定待纵向合并的文本区域是否可以合并。

对于内容中的标红字体做染黑处理，避免根据字体颜色差值导致的不融合。

2.3、判断待纵向合并的文本区域在纵向合并后与图片是否有重叠。

2.4、若没有，则对待纵向合并的文本区域进行纵向合并。

若纵向聚合后的文本区域没有重合，则对待纵向合并的文本区域进行纵向合并。

文本区域合并后效果参见图4f。

S423、从合并后的文本区域中识别图标，并将识别的图标所属区域从合并后的文本区域中切分。

通常UI样式中，除了上文所提到的大图片和文本段落外，还会有一些小图标，这些图标紧跟在文本之后，大小和文字相仿，极可能被合并在文本段落中。但是这些图标又是独立的逻辑个体，是UI中不可或缺的部分，所以需要识别出来做单独的拆分。

本实施例方案基于图像模板匹配实现图标的识别，具体描述如下：

(1)截取原尺寸图标作为模板；

(2)以同尺寸的搜索窗口在合并后的文本区域中滑动(从左到右，从上到下)；

(3)计算各窗口和图标模板的相似度；

(4)若相似度超过一定阈值，则认定该区域为匹配的图标。

图标识别效果参见图4g，单独区分出用户界面最下方紧跟文本的图标。

S424、将识别的图像区域、图标所属区域和切分了图标所属区域的文本区域作为待测试界面中的功能信息区域。

S430、根据功能信息区域的位置信息确定待测试界面的数学模型。

经过上述的处理后，可以获取到UI样式在视觉上的逻辑区域划分。

根据功能信息区域的位置信息确定待测试界面的数学模型，包括：

(1)计算各功能信息区域的位置，将功能信息区域左上角坐标作为该功能信息区域的位置坐标。

这种方法可以有效规避不同文本带来的样式误差。

(2)将各功能信息区域从上至下从左至右依次编号，计算各功能信息区域在X轴和Y轴的距离。

(3)以各功能信息区域为节点，建立有向完全图。

(4)给有向完全图的边赋权值。使用(2)中计算的距离除以对应的图像高/宽，得到相对距离，作为边的权值。

(5)将有向完全图转换为矩阵进而转换成三维数组，将三维数组作为待测试界面的数学模型。

假定节点数为N，将节点按照图像y轴坐标升序排列，将有向完全图转换为N×N的矩阵M，M中每个元素为对应两个节点x、y坐标差除以图像总宽、高的二元组。

例如：M[0][1]＝[(node0_x–node1_x)/img_width,(node0_y–node1_y)/img_height]。

其中，node0_x为0节点的横坐标，node1_x为1节点的横坐标，img_width为待测试界面截图的宽度，node0_y为0节点的纵坐标，node1_y为1节点的纵坐标，img_height为待测试界面截图的高度。

参见图4h，待测试界面最终被转换成了三维数组形式的数学模型。

S440、匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。

匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型之前，进行离线训练，用大量真实流量覆盖产品的各种UI样式，经过建模和归并计算后，得到属于该产品的有限的基准数学模型，作为初始的知识库。

具体地，对于同一个场景下可能出现的多种UI样式，可通过上述的建模方法做分别的抽象。对于文本差异所带来的差异微小的模型，用归并算法做收敛，通常若功能信息区域数一致且相对距离误差在5％以内，则认为是同一数学模型，保证一个数学模型最终对应一种UI样式。

在线下测试时，匹配所述待测试界面的数学模型和知识库中的基准数学模型，匹配失败就判定待测试界面的UI样式异常。

同时，知识库可以随着UI样式的变化增长不断进行扩充，保证测试的有效性。

参见图4i，以百科产品为例，UI样式自动测试流程如下：

离线训练阶段，对1万个百科界面进行截图，并根据截图对百科界面建立数学模型，生成1万个数学模型；对生成的1万个数学模型进行归并计算得到10个基准数学模型，并将基准数学模型存储于知识库中，其中每个基准数学模型对应一种UI样式。

线下测试阶段，响应百科界面的测试请求，召回待测试百科界面；对待测试百科界面进行截图，并根据截图对待测试百科界面进行数学建模；将待测试百科界面的数学模型与知识库中的基准知识模型进行匹配；若匹配失败，则确定待测试百科界面异常；从异常的待测试百科界面中提取新UI样式的数学模型填充进知识库，将异常的待测试百科界面中其他的数学模型作为错误界面，并进行记录。

本实施例的技术方案，在设计上分为两个主要部分：(1)解决UI2Code的问题，将UI样式转换成可量化易比较的数据形式。本实施例创新了一种图像抽象建模方法，这种建模方法关注UI样式在视觉上的结构和布局，忽略不同文本带来的差异。而在UI视觉布局信息中最重要的两个要素是功能信息区域和功能信息区域相对待测试界面截图的位置。功能信息区域是最基础的元素，增多或缺失都会导致UI样式问题，而功能信息区域间的相对位置构成了整个UI的结构，相对位置发生变更就会表现出控件遮挡和错位等问题。

(2)对于产品某一场景下复杂的UI样式，用大量的正向样本训练出该场景下完善的模型知识库，相近模型归并收敛，保证一个模型能表征某个具体样式，从而形成该场景初始的UI样式知识库，线下测试时通过和知识库进行模型匹配，就能准确的实现UI的自动测试。

本发明实施例的技术方案，可以实现如下效果：

(1)本方案无需图像参照和DOM信息等条件，适用线下测试所有场景，具有跨平台、跨应用的特点。

(2)本方案能发现常见的所有UI样式问题，包括页面空白、控件错位遮挡、元素缺失等。且没有工具依赖，稳定性高。

(3)本方案的UI建模方法相比传统的深度学习，更关注UI样式本身的结构，且算法的调整过程可干预，对于同一场景下UI样式复杂的情况可做自动分类，准确性高。

需要说明的是，经过本实施例的技术教导，本领域技术人员有动机将上述实施例中描述的任一种实施方式进行方案的组合，以实现在无需明确的UI参照的前提下，对界面问题的全面高效检测。

实施例五

图5是本发明实施例五提供的一种界面测试装置的结构示意图。参见图5，本实施例提供的界面测试装置包括：区域识别模块10、模型确定模块20和模型匹配模块30。

其中，区域识别模块10，用于识别待测试界面中的功能信息区域；

模型确定模块20，用于基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型；

模型匹配模块30，用于匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常。

本发明实施例的技术方案，通过基于所述功能信息区域的位置信息确定待测试界面的数学模型；根据所述待测试界面的数学模型确定所述待测试界面是否异常，从而实现基于UI样式本身的结构对UI样式问题的全面测试。因为待测试界面的数学模型基于所述功能信息区域的位置信息确定，所以待测试界面的数学模型反应的是UI样式本身的结构信息。具体地，该测试既可以实现对元素缺失问题的测试，也可以实现对渲染后界面显示效果的测试。

通过匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型，根据匹配结果确定所述待测试界面是否异常，从而实现在无需待测试界面在理论上的显示界面作参照的前提下，对界面问题的检测。

进一步地，所述区域识别模块，包括：区域提取单元、区域识别单元、区域合并单元和区域确定单元。

其中，区域提取单元，用于基于所述待测试界面的背景色，提取所述待测试界面中的有效信息区域；

区域识别单元，用于识别所述有效信息区域中的文本区域和图像区域；

区域合并单元，用于根据所述待测试界面的文本属性，合并属于同一功能的文本区域；

区域确定单元，用于将识别的图像区域和经过合并的文本区域作为所述功能信息区域。

进一步地，所述区域提取单元，包括：背景色确定子单元、分割行确定子单元、分割列确定子单元和区域分割子单元。

其中，背景色确定子单元，用于根据待测试界面截图的像素值，确定所述待测试界面的背景色；

分割行确定子单元，用于遍历所述待测试界面截图中的行，若所述行的像素值均与所述背景色相同，则将该行作为分割行；

分割列确定子单元，用于遍历所述待测试界面截图中的列，若所述列的像素值均与所述背景色相同，则将该列作为分割列；

区域分割子单元，用于以所述分割行和所述分割列为边界，从所述待测试界面截图中划分出至少一个所述有效信息区域。

进一步地，所述背景色确定子单元具体用于：

提取位于所述待测试界面截图中边角位置的像素值；

对提取的像素坐标点的值进行数量统计；

将数量最多的像素坐标点的值作为所述背景色的颜色值。

进一步地，所述区域识别单元，包括：区域识别子单元。

其中，区域识别子单元，用于根据所述有效信息区域中的噪声、所述有效信息区域的区域面积和所述有效信息区域的区域尺寸中的至少一种，识别所述有效信息区域中的文本区域和图像区域。

进一步地，所述区域识别子单元具体用于：

进一步地，所述区域合并单元，包括：横向合并子单元和纵向合并子单元。

其中，横向合并子单元，用于根据所述文本区域在纵轴上的位置、所述文本区域与所述图像区域的位置关系、所述文本区域之间的距离、所述文本区域合并后的尺寸以及所述文本区域之间的高度差中的至少一种，对属于同一功能的文本区域进行横向合并；

纵向合并子单元，用于根据经过横向合并的所述文本区域在横轴上的位置、经过横向合并的所述文本区域之间的高度差以及经过横向合并的所述文本区域之间字体颜色的差值中的至少一种，对属于同一功能的文本区域进行纵向合并。

进一步地，所述模型确定模块，包括：位置确定单元、编号单元、有向完全图建立单元、赋值单元和模型确定单元。

其中，位置确定单元，用于确定所述功能信息区域在设定坐标系中的位置坐标；

编号单元，用于根据所述功能信息区域的位置坐标，对所述功能信息区域进行编号；

有向完全图建立单元，用于将所述功能信息区域作为节点，基于所述节点的编号建立有向完全图；

赋值单元，用于根据所述有向完全图中边所关联的功能信息区域之间的距离，对所述有向完全图的边赋权值；

模型确定单元，用于将所述有向完全图转换为三维数组，并将所述三维数组作为所述待测试界面的数学模型。

进一步地，所述根据所述赋值单元，包括：距离确定子单元、计算子单元和权值确定子单元。

其中，距离确定子单元，用于确定所述有向完全图中边所关联的功能信息区域在至少两个维度上的距离；

计算子单元，用于将在每一维度上的距离除以所述待测试界面在该维度上的界面尺寸；

权值确定子单元，用于根据每一维度上的商值，确定所述有向完全图的边的权值。

进一步地，所述区域识别模块，包括：图标识别单元和区域确定单元。

其中，图标识别单元，用于识别所述待测试界面中的图标；

区域确定单元，用于将识别的图标所属区域作为所述功能信息区域。

进一步地，所述装置还包括：图像采集模块、模型计算模块和模型归并模块。

其中，图像采集模块，用于所述匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型之前，采集所述待测试界面所属场景下的至少两个基准界面；

模型计算模块，用于分别确定所述至少两个基准界面的数学模型；

模型归并模块，用于根据界面样式对所述至少两个基准界面的数学模型进行归并，将经过归并的数学模型作为所述基准数学模型。

本发明实施例所提供的界面测试装置可执行本发明任意实施例所提供的界面测试方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例六提供的一种设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性设备12的框图。图6显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的界面测试方法。

实施例七

本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一项所述的界面测试方法，该方法包括：

识别待测试界面中的功能信息区域；

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种界面测试方法，其特征在于，包括：

识别待测试界面中的功能信息区域；

2.根据权利要求1所述的方法，其特征在于，所述识别待测试界面中的功能信息区域，包括：

基于所述待测试界面的背景色，提取所述待测试界面中的有效信息区域；

识别所述有效信息区域中的文本区域和图像区域；

根据所述待测试界面的文本属性，合并属于同一功能的文本区域；

将识别的图像区域和经过合并的文本区域作为所述功能信息区域。

3.根据权利要求2所述的方法，其特征在于，所述基于所述待测试界面的背景色，提取所述待测试界面中的有效信息区域，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据待测试界面截图的像素值，确定所述待测试界面的背景色，包括：

提取所述待测试界面截图中边角位置的像素值；

对提取的像素值进行数量统计；

将数量最多的像素值作为所述背景色的颜色值。

5.根据权利要求2所述的方法，其特征在于，所述识别所述有效信息区域中的文本区域和图像区域，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述有效信息区域中的噪声、所述有效信息区域的区域面积和所述有效信息区域的区域尺寸中的至少一种，识别所述有效信息区域中的文本区域和图像区域，包括：

7.根据权利要求2所述的方法，其特征在于，所述根据所述待测试界面的文本属性，合并属于同一功能的文本区域，包括：

根据所述文本区域在横轴上的位置、所述文本区域之间的高度差以及所述文本区域之间字体颜色的差值中的至少一种，对属于同一功能的文本区域进行纵向合并。

8.根据权利要求1所述的方法，其特征在于，所述基于所述功能信息区域的位置信息，确定所述待测试界面的数学模型，包括：

确定所述功能信息区域在设定坐标系中的位置坐标；

根据所述功能信息区域的位置坐标，对所述功能信息区域进行编号；

将所述功能信息区域作为节点，基于所述节点的编号建立有向完全图；

根据所述有向完全图中边所关联的功能信息区域之间的距离，对所述有向完全图的边赋权值；

将所述有向完全图转换为三维数组，并将所述三维数组作为所述待测试界面的数学模型。

9.根据权利要求8所述的方法，其特征在于，所述根据所述有向完全图中边所关联的功能信息区域之间的距离，对所述有向完全图的边赋权值，包括：

根据每一维度上的商值，确定所述有向完全图的边的权值。

10.根据权利要求1所述的方法，其特征在于，所述识别待测试界面中的功能信息区域，包括：

识别所述待测试界面中的图标；

将识别的图标所属区域作为所述功能信息区域。

11.根据权利要求1所述的方法，其特征在于，所述匹配所述待测试界面的数学模型和所述待测试界面所属场景的基准数学模型之前，所述方法还包括：

采集所述待测试界面所属场景下的至少两个基准界面；

分别确定所述至少两个基准界面的数学模型；

12.一种界面测试装置，其特征在于，包括：

区域识别模块，用于识别待测试界面中的功能信息区域；

13.根据权利要求12所述的装置，其特征在于，所述区域识别模块，包括：

区域提取单元，用于基于所述待测试界面的背景色，提取所述待测试界面中的有效信息区域；

14.根据权利要求13所述的装置，其特征在于，所述区域提取单元，包括：

背景色确定子单元，用于根据所述待测试界面截图的像素值，确定所述待测试界面的背景色；

15.根据权利要求14所述的装置，其特征在于，所述背景色确定子单元具体用于：

提取位于所述待测试界面截图中边角位置的像素值；

对提取的像素值进行数量统计；

将数量最多的像素值作为所述背景色的颜色值。

16.根据权利要求13所述的装置，其特征在于，所述区域识别单元，包括：

区域识别子单元，用于根据所述有效信息区域中的噪声、所述有效信息区域的区域面积和所述有效信息区域的区域尺寸中的至少一种，识别所述有效信息区域中的文本区域和图像区域。

17.根据权利要求16所述的装置，其特征在于，所述区域识别子单元具体用于：

18.根据权利要求13所述的装置，其特征在于，所述区域合并单元，包括：

横向合并子单元，用于根据所述文本区域在纵轴上的位置、所述文本区域与所述图像区域的位置关系、所述文本区域之间的距离、所述文本区域合并后的尺寸以及所述文本区域之间的高度差中的至少一种，对属于同一功能的文本区域进行横向合并；

19.根据权利要求12所述的装置，其特征在于，所述模型确定模块，包括：

位置确定单元，用于确定所述功能信息区域在设定坐标系中的位置坐标；

20.根据权利要求19所述的装置，其特征在于，所述根据所述赋值单元，包括：

距离确定子单元，用于确定所述有向完全图中边所关联的功能信息区域在至少两个维度上的距离；

21.一种电子设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一项所述的界面测试方法。

22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一项所述的界面测试方法。