CN114255353A - 一种基于加权超图模型的页面显著性要素提取方法及系统 - Google Patents

Abstract

本发明涉及一种基于加权超图模型的页面显著性要素提取方法及系统，包括：利用简单线性迭代聚类算法进行超像素分割；利用模糊C均值聚类算法构建普通超图模型；根据显著性物体检测的先验知识，利用边界超像素和中心超像素的位置关系及颜色相似性为普通超图模型中的顶点和超边进行加权构建加权超图模型；根据转移概率矩阵生成规则得到转移概率矩阵，结合转移概率矩阵并利用随机游走算法检测出页面中的要素。本发明通过自定义的加权策略构建加权超图模型，将图像中的复杂背景弱化或者去掉，只将页面中的重要元素提取出来，降低了匹配时间成本，可更高效准确的服务于图像匹配算法，提高了UI页面自动化测试中的图像识别效率和准确率。

Description

一种基于加权超图模型的页面显著性要素提取方法及系统

技术领域

本发明涉及图像处技术领域，尤其涉及一种基于加权超图模型的页面显著性要素提取方法及系统。

背景技术

自1998年显著性物体检测概念被提出至今，已有大量基于传统模型和基于深度学习模型的显著性物体检测算法。在传统的基于图像特征的显著性物体检测算法中，又分别在空域和频域两个空间维度进行算法改进；而在基于深度学习模型的算法中，大量的算法又在追求时间和精度的平衡。

现有的图像识别算法用于UI页面自动化测试时，由于被测图像背景复杂而导致的自动化测试效率低下以及测试结果不准确的情况。现有的显著性物体检测算法仅仅当被检测图像背景简单或前景和背景对比度明显的情况下得到的显著性图精度较高，而作用于背景复杂或前景和背景对比度不高的图像时仍然存在诸如检测结果不完整、检测物体边界不清晰等问题。

发明内容

为解决现有技术的不足，本发明提出一种基于加权超图模型的页面显著性要素提取方法，本发明所采用的技术方案包括如下步骤：

S1、将输入图像利用简单线性迭代聚类算法分割成超像素；

S2、通过模糊C均值聚类算法构建普通超图模型；

S3、通过将权重值分配给普通超图模型中的顶点和超边构建加权超图模型；

S4、通过随机游走算法对图像中超像素的重要性进行排序，并通过映射规则将超像素级显著性图形成输出的像素级显著性图。

进一步地，所述步骤S3包括以下分步骤：

S31、计算普通超图模型在全局空间关系下的顶点权重值d_w；

S32、计算普通超图模型在颜色相似度下的顶点的权重值矩阵c_w；

S33、根据全局空间关系和颜色相似度的影响，计算普通超图模型在这两个特征下的顶点综合权重值；

S34、将超边中包含全部顶点的平均权重值作为该超边权重值。

进一步地，普通超图模型在全局空间关系下的顶点权重值d_w的表达式为：

其中，d_c和d_i分别表示页面中的中心超像素的位置信息和其他超像素的位置信息；||表示欧氏距离；d_w表示由全局空间关系得到的顶点权重值矩阵。

进一步地，普通超图模型在颜色相似度下的顶点的权重值矩阵c_w的表达式为：

其中，c_c和c_i分别表示图像中心超像素和其他超像素在CIElab颜色空间上的颜色信息。

进一步地，加权超图模型中顶点综合权重的表达式为：

其中V_w表示超图模型中顶点权重矩阵；η为调节普通超图在全局空间关系下的顶点权重值d_w的权重因子；γ为调节普通超图模型在颜色相似度下的顶点的权重因子。

进一步地，设置η＝γ＝1。

进一步地，超边权重值E_w的表达式为：

其中，u_ij'表示普通超图模型的FCM聚类结果；V_w表示超图模型中顶点权重；n表示一条超边中包含的顶点数目。

一种基于加权超图模型的页面显著性要素提取系统，其特征在于，包括：

超像素分割模块，将输入图像利用简单线性迭代聚类算法分割成超像素；

普通超图模型构建模块，通过模糊C均值聚类算法构建普通超图模型；

加权超图模型构建模块，通过将权重值分配给普通超图模型中的顶点和超边构建加权超图模型；

随机游走模块，通过随机游走算法对图像中超像素的重要性进行排序，并通过映射规则将超像素级显著性图形成输出的像素级显著性图。

一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于加权超图模型的页面显著性要素提取方法。

一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储图像数据及加权超图模型；

所述处理器，用于通过调用图像数据及加权超图模型，执行权利要求1至7中任一项所述的基于加权超图模型的页面显著性要素提取方法。

本发明的有益效果为：

采用本发明所述基于加权超图模型的页面显著性要素提取方法，在进行显著性物体检测中不仅考虑了页面中显著性要素的颜色、位置，并引入自定义的加权策略构建加权超图模型，将图像中的复杂背景弱化或者去掉，只将页面中的重要元素提取出来，降低了匹配时时间成本并且提高了测试准确率，可更高效准确的服务于图像匹配算法，提高了UI页面自动化测试中的图像识别效率和准确率。

附图说明

图1为本发明基于加权超图模型的页面显著性要素提取方法流程示意图。

图2为本发明基于加权超图模型的页面显著性要素提取系统流程示意图。

图3为本发明加权超图模型的构建过程示意图。

具体实施方式

为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。

本发明提出的一种基于加权超图模型的页面显著性要素提取算法及系统，包括如下步骤：

步骤一：将输入图像利用简单线性迭代聚类算法分割成超像素；

在人类视觉系统中，处理信息时通常带有语义信息。计算机视觉中的超像素分割模仿人类视觉系统中的预处理阶段，人类视觉系统在处理信息时，将图像中颜色特征、纹理特征相似并且位置相邻的像素组成小区域集中整体处理，这些小区域称为超像素。在众多超像素分割算法中，鉴于简单线性迭代聚类算法相对于其他超像素分割算法具有分割速度快，内存占用少，像素块大小均匀，且对图像中的边缘保留较好的优势，因此本发明选择简单线性迭代聚类算法对输入图像进行超像素分割。

简单线性迭代聚类算法首先对输入图像进行颜色空间转换，将利用RGB颜色模型表示的图像转用CIELab颜色模型表示，这样可以使分割得到的超像素小区域颜色更均匀。在进行颜色空间转换之后，又分别提取像素的L、a、b通道的特征以及二维位置坐标信息组成一个五维向量V₅＝{l,a,b,x,y}，根据向量V₅判断像素之间的差异性，进而确定某一像素是否属于特定像素簇。

简单线性迭代聚类算法的详细步骤为：

(1)初始化聚类中心：按照要求分割的超像素数目，在图像内随机生成种子点(初始的聚类中心)。假设图像中含有n1个像素，要求分割的超像素数目为N个，那么最终生成的每个超像素的尺寸为n1/N，相邻像素点之间的距离(步长)为S＝sqrt(n1/N)。

(2)更新聚类中心。先在初始聚类中心的r*r(r通常取值为3)范围内计算其余像素与初始聚类中心的梯度，再找到使梯度最大所在的像素点，则该像素点成为新的聚类中心。

(3)确定所属类别。计算在聚类中心2S*2S范围内的所有像素与更新的聚类中心的距离。当出现一个像素点属于多个聚类中心的计算范围的情况时，计算该像素点与多个聚类中心的距离，最终该像素点归属于距离值小的聚类中心。计算距离d如下所示。

其中，d₁表示像素之间的颜色距离，d₂表示像素之间的空间距离，δ为系数，且δ∈[1,40]，通常情况下δ＝10.

(4)迭代更新，迭代执行(2)(3)过程，直到算法收敛。一般情况下，迭代10次可达到时间成本和分割效果的平衡。

步骤二：通过模糊C均值聚类算法构建普通超图模型；

本发明利用模糊C均值聚类算法(FCM)构建普通超图模型。FCM算法是一种基于划分的聚类算法，它的思想就是使得被划分到同一簇中的对象之间相似度最大，而不同簇之间的对象相似度最小。模糊C均值聚类算法是普通C均值聚类算法的改进，普通C均值聚类算法对于数据的划分是刚性的，而模糊C均值聚类算法则是一种柔性的模糊划分。在模糊C均值聚类算法中，某个样本(本发明中指超像素)属于所有类别而非某一类别，利用隶属度标记某个样本属于某个类别的概率。FCM算法通过迭代目标函数得到最佳聚类。其目标函数为：

其中，C表示聚类类别数目，u_ij∈[0,1]表示样本j对于类i的隶属度，且

X＝{x₁,x₂,...,x_j,...,x_N}表示样本某一维度特征矩阵；Z＝{z₁,z₂,...z_i,...z_c}表示对应于样本特征维度矩阵的聚类中心特征维度矩阵；聚类中心对于每一个模糊隶属度由m∈(1,∞)控制模糊隶属度的权重指数；d²(x_j,c_i)＝|x_j-z_i|为相似度测量。u_ij和z_i更新等式分别为：

FCM算法详细步骤如下所示:

(1)设置目标函数精度ε(最终趋于稳定值)，模糊指数m(m通常取2)，最大迭代次数T_m；

(2)初始化聚类中心z_i；

(3)由上式更新模糊划分矩阵U＝{u_ij}和聚类中心Z＝{z_i}；

(4)若|J(t)-J(t-1)|πε或C＞T_m则结束聚类；否则，t←t+1转向步骤(3)；

(5)由所得U＝{u_ij}得到各样本分类结果。

比较FCM算法聚类结果和超图中超边可以包含的顶点数得知：传统FCM算法不适合本发明算法。为完成页面中显著性物体提取任务，本发明中对传统FCM算法加下式约束条件。

其中，T_c表示样本j属于某一类别i的隶属度阈值，当样本j≥T_c时，不改变样本j属于类别i的隶属度，反之，隶属度为0。

其中u_i'_j表示加约束条件后的隶属度矩阵，由普通超图模型和聚类算法的对应关系知，u_i'_j即本发明需要的普通超图模型。

步骤三：通过将权重值分配给普通超图模型中的顶点和超边构建加权超图模型；

如图3所示，构造加权超图模型的步骤如下：

(1)将所有超像素的位置值算出来，根据位置选出来图像中的最中心的超像素，然后计算除最中心超像素外其他所有超像素与这个像素的位置的欧氏距离，则得到普通超图模型在全局空间关系下的顶点权重值d_w，表达式为：

其中，d_c和d_i分别表示页面中中心超像素的位置信息和其他超像素的位置信息，||表示欧氏距离。d_w表示由全局空间关系得到的顶点权重值矩阵。

(2)将所有超像素在CIElab空间上的值算出来，根据位置选出来图像中的最中心的超像素，然后计算除最中心超像素外其他所有超像素与这个像素的颜色的欧氏距离，则得到普通超图模型在颜色相似度下的顶点的权重值矩阵c_w的表达式为：

其中，c_c和c_i分别表示图像中心超像素和其他超像素在CIElab颜色空间上的颜色信息。

(3)综合考虑全局空间关系和颜色相似度的影响，计算普通超图模型在这两个特征下的顶点综合权重值；

加权超图模型中顶点综合权重值的表达式为：

其中η为调节普通超图在全局空间关系下的顶点权重值d_w的权重因子；γ为调节普通超图模型在颜色相似度下的顶点的权重因子。

在构建加权超图模型中，在区分显著性物体与背景时，全局空间关系与颜色相似度同样重要，设置η＝γ＝1。

(4)将超边中包含全部顶点的平均权重值作为该超边权重值；

超边的权值E_w的表达式为：

其中，u_ij'表示FCM聚类结果(普通超图模型)；V_w表示超图模型中顶点权重矩阵；n表示一条超边中包含的顶点数目。

步骤四：通过随机游走算法对图像中超像素的重要性进行排序，并通过映射规则将超像素级显著性图形成输出的像素级显著性图。

图像中每个区域的显著性值代表了该区域成为显著性物体的概率，显著性值越大，成为显著性区域的可能性越大，在形成的显著图中越被高亮显示。本发明中显著性值是通过随机游走结果产生的顶走算法时的基本单位是超像素，所以需要将同一超像素的映射结果等值扩展到超像素点概率矩阵v形成的。将概率矩阵中P(u,v)做归一化处理后，利用灰度图像的颜色阈值范围，将顶点概率矩阵v中值映射到[0,255]区间上。需要注意的是，本发明在执行随机游范围内的每个像素，形成最终的灰度显著性图，将其表示为I_op。

其中1,2,3...i表示超像素，v_i为超像素i成为显著性区域的概率。

在形成的显著性图中，可能会出现背景区域与显著性区域颠倒的情况。为避免此情况的发生，本发明依据显著性物体检测中显著性区域往往出现在图像的中心位置以及显著性值的分配策略，设置灰度阈值T_f和行列阈值k，取图像的前后k行和前后k列，对显著性图I_op作下式校正处理。

其中，M_w和M_b分别表示图像前后k行和前后k列中像素灰度值大于和小于等于灰度阈值T_f的像素个数。若M_w＞M_b，说明图像中背景区域误以显著性区域形式显示出来，表示显著图中出现背景区域与显著性区域颠倒的情况，则将显著性图进行翻转操作，形成最终的显著性图，将该图利用到基于图像识别的自动化检测工具中，能极大减少时间成本，提高UI页面案例执行率。

本发明另一方面还涉及一种基于加权超图模型的页面显著性要素提取系统，其结构如图2所示，包括：

超像素分割模块，将输入图像利用简单线性迭代聚类算法分割成超像素；

普通超图模型构建模块，通过模糊C均值聚类算法构建普通超图模型；

加权超图模型构建模块，通过将权重值分配给普通超图模型中的顶点和超边构建加权超图模型；

随机游走模块，通过随机游走算法对图像中超像素的重要性进行排序，并通过映射规则将超像素级显著性图形成输出的像素级显著性图。

通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。

本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。

本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如用于存储图像数据及加权超图模型等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。

优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于加权超图模型的页面显著性要素提取方法，其特征在于，包括如下步骤：

S1、将输入图像利用简单线性迭代聚类算法分割成超像素；

S2、通过模糊C均值聚类算法构建普通超图模型；

S3、通过将权重值分配给普通超图模型中的顶点和超边构建加权超图模型；

S4、通过随机游走算法对图像中超像素的重要性进行排序，并通过映射规则将超像素级显著性图形成输出的像素级显著性图。

2.如权利要求1所述的页面显著性要素提取方法，其特征在于，所述步骤S3包括以下分步骤：

S31、计算普通超图模型在全局空间关系下的顶点权重值d_w；

S32、计算普通超图模型在颜色相似度下的顶点的权重值矩阵c_w；

S33、根据全局空间关系和颜色相似度的影响，计算普通超图模型在这两个特征下的顶点综合权重值；

S34、将超边中包含全部顶点的平均权重值作为该超边权重值。

3.如权利要求2所述的页面显著性要素提取方法，其特征在于，普通超图模型在全局空间关系下的顶点权重值d_w的表达式为：

其中，d_c和d_i分别表示页面中的中心超像素的位置信息和其他超像素的位置信息；d_w表示由全局空间关系得到的顶点权重值矩阵。

4.如权利要求2所述的页面显著性要素提取方法，其特征在于，普通超图模型在颜色相似度下的顶点的权重值矩阵c_w的表达式为：

其中，c_c和c_i分别表示图像中心超像素和其他超像素在CIElab颜色空间上的颜色信息。

5.如权利要求3或4所述的页面显著性要素提取方法，其特征在于，加权超图模型中顶点综合权重的表达式为：

其中V_w表示超图模型中顶点权重；η为调节普通超图在全局空间关系下的顶点权重值d_w的权重因子；γ为调节普通超图模型在颜色相似度下的顶点的权重因子。

6.如权利要求5所述的页面显著性要素提取方法，其特征在于，设置η＝γ＝1。

7.如权利要求2所述的页面显著性要素提取方法，其特征在于，超边权重值E_w的表达式为：

其中，u_ij'表示普通超图模型的FCM聚类结果；V_w表示超图模型中顶点权重；n表示一条超边中包含的顶点数目。

8.一种基于加权超图模型的页面显著性要素提取系统，其特征在于，包括：

超像素分割模块，将输入图像利用简单线性迭代聚类算法分割成超像素；

普通超图模型构建模块，通过模糊C均值聚类算法构建普通超图模型；

加权超图模型构建模块，通过将权重值分配给普通超图模型中的顶点和超边构建加权超图模型；

随机游走模块，通过随机游走算法对图像中超像素的重要性进行排序，并通过映射规则将超像素级显著性图形成输出的像素级显著性图。

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于加权超图模型的页面显著性要素提取方法。

10.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储图像数据及加权超图模型；

所述处理器，用于通过调用图像数据及加权超图模型，执行权利要求1至7中任一项所述的基于加权超图模型的页面显著性要素提取方法。

Images