CN110597719A - 一种用于适配测试的图像聚类方法、装置及介质 - Google Patents

Abstract

本发明公开了一种用于适配测试的图像聚类方法、装置及介质。方法包括：响应于适配测试中的目标操作指令，获取多个初始图像，得到初始图像集合；提取每个初始图像对应的图像特征；当初始图像集合中初始图像对应的第一图像数量大于第一阈值时，基于划分聚类算法和层次聚类算法对初始图像集合进行聚类处理；当初始图像集合中初始图像对应的第一图像数量小于或等于第一阈值时，基于层次聚类算法对初始图像集合进行聚类处理。根据集合中图像数量的不同，采用不同的聚类处理方式，综合考虑了进行聚类处理的效果和效率。基于目标聚类结果里异常图像所属类别中图像的量级，能够提高适配测试中进行异常图像检查的效率。

Description

一种用于适配测试的图像聚类方法、装置及介质

技术领域

本发明涉及互联网通信技术领域，尤其涉及一种用于适配测试的图像聚类方法、装置及介质。

背景技术

UI(User interface，用户界面)自动化测试可以用于对与用户交互相关的用户界面进行测试。可以由对应的UI自动化测试工具按照一定的测试方案和流程进行测试操作。UI自动化测试可以测试用户界面的功能模块的布局是否合理、用户界面的各个控件的放置位置是否符合用户使用习惯等。

对于某一应用A，应用A需要运行于相应的电子设备上，以为用户提供对应的交互功能(比如浏览等)。针对上述运行环境，可以进行对应的适配测试。通过测试可以对运行有该应用A的多个电子设备作性能排行。现有技术中，对于在不同电子设备上呈现的来自同一应用的用户界面，往往通过人工手段进行异常检查。人工检查效率低且成本高。因此，对于针对多个电子设备的适配测试，需要提供更有效的方案。

发明内容

为了解决现有技术应用在对多个电子设备进行适配测试时，人工检查效率低、成本高等问题，本发明提供了一种用于适配测试的图像聚类方法、装置及介质：

一方面，本发明提供了一种用于适配测试的图像聚类方法，所述方法包括：

响应于适配测试中的目标操作指令，获取多个初始图像，得到初始图像集合；

提取每个所述初始图像对应的图像特征；

当所述初始图像集合中所述初始图像对应的第一图像数量大于第一阈值时，基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，以及基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果；

当所述初始图像集合中所述初始图像对应的第一图像数量小于或等于所述第一阈值时，基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果。

另一方面提供了一种用于适配测试的图像聚类装置，所述装置包括：

初始图像获取模块：用于响应于适配测试中的目标操作指令，获取多个初始图像，得到初始图像集合；

图像特征提取模块：用于提取每个所述初始图像对应的图像特征；

第一聚类处理模块：用于当所述初始图像集合中所述初始图像对应的第一图像数量大于第一阈值时，基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，以及基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果；

第二聚类处理模块：用于当所述初始图像集合中所述初始图像对应的第一图像数量小于或等于所述第一阈值时，基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果。

另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的用于适配测试的图像聚类方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的用于适配测试的图像聚类方法。

本发明提供的一种用于适配测试的图像聚类方法、装置及介质，具有如下技术效果：

本发明在适配测试中，响应于同一的目标操作指令，可以获取反映用户界面的初始图像。根据获取到的初始图像的数量的不同，采用不同的图像聚类处理方式，综合考虑了进行图像聚类处理的效果和效率。基于目标聚类结果里异常图像所属类别中图像的量级，能够提高适配测试中进行异常图像检查的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种应用环境的示意图；

图2是本发明实施例提供的一种用于适配测试的图像聚类方法的流程示意图；

图3是本发明实施例提供的基于划分聚类算法进行第一级聚类处理的一种流程示意图；

图4是本发明实施例提供的基于层次聚类算法进行第二级聚类处理的一种流程示意图；

图5是本发明实施例提供的基于层次聚类算法对所述初始图像集合进行聚类处理的一种流程示意图；

图6也是本发明实施例提供的一种用于适配测试的图像聚类方法的流程示意图；

图7是本发明实施例提供的用于异常检查的展示页的示意图；

图8是本发明实施例提供的用于异常检查的展示页中的操作图片列表的示意图；

图9也是本发明实施例提供的用于异常检查的展示页的示意图；

图10是本发明实施例提供的执行聚类任务的分布式部署框架示意图；

图11是本发明实施例提供的一种用于适配测试的图像聚类装置的组成框图；

图12是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，可以包括客户端01和服务器02，客户端与服务器通过网络连接。可以通过客户端将初始图像发送至服务器，服务器对接收到的初始图像作聚类处理。需要说明的是，图1仅仅是一种示例。

具体的，客户端01可以包括运行于实体设备(比如智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等)中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。所述客户端01运行有待测试应用(比如游戏应用等)。

具体的，所述服务器02可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器02可以包括有网络通信单元、处理器和存储器等等。所述服务器02可以为上述客户端提供后台服务。

当然，本发明实施例提供的用于适配测试的图像聚类方法可以由客户端独立执行，可以由服务器独立执行，也可以由客户端与服务器进行交互以执行。

以下介绍本发明一种用于适配测试的图像聚类方法的具体实施例，图2是本发明实施例提供的一种用于适配测试的图像聚类方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201：响应于适配测试中的目标操作指令，获取多个初始图像，得到初始图像集合；

在本发明实施例中，运行有待测试应用的电子设备可能复杂多样，机型、操作系统和分辨率等方面均各不相同，为保证用户获取到的待测试应用与当前使用的电子设备相适配，可以在发布待测试应用之前针对不同类型的电子设备进行适配测试，进而根据测试结果维护待测试应用，使得维护后的待测试应用能够正常运行于所在的电子设备。对多个电子设备进行的适配测试可以测试所运行的同一待测试应用对应的用户界面。在适配测试中，待测试应用可以基于测试用例对应的操作指令生成相应的测试结果，测试结果可以呈现于UI中。对于同一操作指令，不同电子设备呈现于UI中的测试结果可以不同。可以基于该操作指令，获取来自不同电子设备的截图(对应于UI中的测试结果)，也就是初始图像，进而得到初始图像集合。初始图像集合提供了一个用于异常检查的对象数据集。

所述初始图像可以携带有对应的电子设备标识、对应的操作指令标识等。这样便于异常检查中快速、准确的定位电子设备以及测试用例对应的操作指令，能够获知待测试应用与具体电子设备的适配情况，能够有效的基于异常图像进行相关分析，进而可以更好的提升待测试应用的质量。

在实际应用中，待测试应用可以为游戏应用，在游戏适配测试过程中，异常检查是必不可少的一步，异常检查可以检查、获知游戏界面图像渲染异常。游戏界面图像渲染异常会大大影响用户的视觉体验和对战操作等。

S202：提取每个所述初始图像对应的图像特征；

在本发明实施例中，可以对所述初始图像进行相应的图像特征提取。所述初始图像对应的图像特征为直方图特征、纹理特征或哈尔特征(Haar-like features)。直方图特征可以为HOG(Histogram ofOriented Gradient，方向梯度直方图)特征。纹理特征可以为LBP(Local Binary Pattern，局部二值模式)特征。提取出的图像特征可以采用数组、向量或矩阵等形式表示。

可以根据待测试应用对应的界面图像属性，选择对应的图像特征进行提取。初始图像集合中的各个初始图像采用相同的图像特征提取方式，这样可以保证提取出的各个初始图像的图像特征的维数相同。

S203：当所述初始图像集合中所述初始图像对应的第一图像数量大于第一阈值时，基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，以及基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果；

在本发明实施例中，划分聚类算法可以包括：K均值聚类算法(K-meansClustering)、K中心点聚类算法(K-medoids Clustering)和基于随机选择的聚类算法(CLARANS)等。层次聚类算法(Hierarchical Clustering)可以包括利用层次方法的平衡迭代规约和聚类算法(BIRCH)、使用代表点的聚类算法(CURE)、变色龙算法(CHAMELEON)等。

确定所述初始图像集合中所述初始图像对应的第一图像数量。获取第一阈值，根据第一图像数量与第一阈值的比较结果，确定对所述初始图像集合进行聚类处理的方式。当第一图像数量大于第一阈值时，基于划分聚类算法和层次聚类算法对所述初始图像集合进行聚类处理。对于初始图像集合中初始图像的数量较多的情形，结合划分聚类算法和层次聚类算法对初始图像集合进行聚类处理，能够对有效的将其中具有相似图像特征的图像聚为一类，得到多个聚类图像集。

对于第一阈值的设置，可以参考待测试应用的适配测试业务需求、第一类聚类处理方式(基于划分聚类算法和层次聚类算法)对应的效率(比如时间/图像数量)和效果评价指标、第二类聚类处理方式(基于层次聚类算法)对应的效率(比如时间/图像数量)和效果评价指标等。在实际应用中，针对目标操作指令，初始图像集合中来自不同电子设备的截图可能达到几十甚至上百万张，可以设置第一阈值为200。

比如第一图像数量为4000，第一图像数量大于第一阈值(比如200)，此时可以采用第一类聚类处理方式。可以先利用划分聚类算法对所述初始图像集合进行第一级聚类处理，得到的中间聚类结果是一个对所述初始图像集合基于目标类别数进行粗聚类的划分结果。再利用层次聚类算法对所述中间聚类结果进行第二级聚类处理，第二级聚类处理针对的对象数据不再是数量级大且没有经过聚类处理的初始图像集合。基于所述中间聚类结果进行的第二级聚类处理，能够最大程度的发挥层次聚类的效果优势。对于数量级较大的情形，先粗聚类，再细聚类，在保证聚类效果的同时兼顾聚类速度。

具体的，如图3所示，所述基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，包括：

S301：获取所述目标类别数，所述目标类别数小于或等于所述第一阈值；

可以利用K均值聚类算法，该算法作为一种无监督学习算法，可以简单、快速的实现将相似的对象数据归到同一个蔟中。获取目标类别数，目标类别数可以小于或等于第一阈值(比如200)。

S302：创建所述目标类别数的初始类别，以及在所述初始图像集合中，为每个所述初始类别随机分配一个所述初始图像；

比如目标类别数为200，可以创建200个初始类别。在所述初始图像集合中，随机选取200个初始图像，为每个初始类别分配一个初始图像。将初始图像3123(电子设备标识：114；操作指令标识：30)分配至初始类别70，将初始图像12(电子设备标识：20；操作指令标识：30)分配至初始类别55。

S303：对至少一个所述初始图像进行分类处理：根据每个所述初始图像对应的图像特征与各个所述初始类别对应的中心特征之间的相似度，将每个所述初始图像分配至最大相似度对应的所述初始类别，得到所述目标类别数的聚类图像集；

基于每个所述初始图像，分别计算所述初始图像对应的图像特征与各个所述初始类别对应的中心特征之间的距离，以得到对应的各个距离值。从各个所述距离值中确定最小距离值，以及将所述初始图像分配至所述最小距离值对应的所述初始类别。初始类别中分配进其他的初始图像，基于这些初始图像，形成调整后的类别。调整后的类别对应的中心特征可以由该调整后的类别中的所有的初始图像对应图像特征计算得到。需要说明的是，这里对于数据对象(比如初始图像、聚类图像集)对应的特征之间的相似性可以使用距离(距离值越小，越相似，差异越小)和相似度(相似度越大，越相似，差异越小)来评价。

结合前述，初始类别70对应的中心特征为初始图像3123对应的图像特征，初始类别55对应的中心特征为初始图像12对应的图像特征。比如，根据最大相似度，分配进初始类别70的图像还包括初始图像2000、初始图像3。基于初始图像3123、初始图像2000和初始图像3，形成调整后的类别70。调整后的类别70对应的中心特征为根据初始图像3123对应图像特征、初始图像2000对应图像特征和初始图像3对应图像特征计算得到的。

S304：迭代执行所述对至少一个所述初始图像进行分类处理的步骤至迭代完成；

可以迭代执行以下步骤：根据每个所述初始图像对应的图像特征与各个所述调整后的类别对应的中心特征之间的相似度，将每个所述初始图像分配至最大相似度对应的所述调整后的类别。

迭代完成的条件可以是：没有(或最小数目)初始图像被分配给不同的所述调整后的类别；没有(或最小数目)所述调整后的类别对应的中心特征再发生变化；误差平方和局部最小。

S305：根据最后一次迭代获得的所述目标类别数的聚类图像集，得到中间聚类结果。

所述中间聚类结果中中间类别的个数与所述目标类别数相同。

具体的，如图4所示，所述基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果，包括：

S401：获取所述第一目标相似度阈值；

层次聚类可以通过计算不同类别的相似度类来创建一个有层次的嵌套的树。可以对中间聚类结果进行采用“自底向上”的层次聚类处理。获取第一目标相似度阈值，第一目标相似度阈值用于表征数据对象(比如初始图像、聚类图像集)对应的特征之间的目标相似程度。所述第一目标相似度阈值可以灵活设置。

S402：获取所述中间聚类结果中每个中间类别对应的中心特征；

对应每个中间类别对应的中心特征的获取，可以参考步骤S303中的相关记载，这里不再赘述。

S403：基于任意两个所述中间类别对应的中心特征之间的相似度，对所述两个所述中间类别进行合并聚类处理；

当两个所述中间类别对应的中心特征之间的相似度大于所述第一目标相似度阈值时，可以合并所述两个所述中间类别。比如，中间聚类结果包括中间类别1、中间类别2、中间类别3、中间类别4和中间类别5等。基于相似度，中间类别1和中间类别3合并，得到中间类别13以及中间类别13对应的中心特征。

S404：针对合并聚类后的类别，继续执行合并聚类处理，直至合并聚类结果对应的每个类别间相似度小于所述第一目标相似度阈值，得到所述第一目标聚类结果。

针对合并聚类后的类别(中间类别13、中间类别2、中间类别4和中间类别5)，再进行合并聚类处理。当然，迭代完成的条件可以不限于相似度(小于第一目标相似度阈值)，可以是目标迭代次数，也可以根据需要适时终止迭代。所述第一目标聚类结果中目标类别的个数小于或等于中间聚类结果中中间类别的个数。

S204：当所述初始图像集合中所述初始图像对应的第一图像数量小于或等于所述第一阈值时，基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果。

在本发明实施例中，层次聚类算法(Hierarchical Clustering)可以包括利用层次方法的平衡迭代规约和聚类算法(BIRCH)、使用代表点的聚类算法(CURE)、变色龙算法(CHAMELEON)等。

当第一图像数量小于或等于第一阈值时，也就是对于初始图像集合中初始图像的数量较少的情形，可以直接利用层次聚类算法对初始图像集合进行聚类处理。既保证聚类速度，又保证聚类结果的质量。

如图5所述，所述基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果，包括：

S501：当所述初始图像集合中所述初始图像对应的第一图像数量小于或等于所述第一阈值时，获取第二目标相似度阈值；

可以对中间聚类结果进行采用“自底向上”的层次聚类处理。获取第二目标相似度阈值，第二目标相似度阈值用于表征数据对象(比如初始图像、聚类图像集)对应的特征之间的目标相似程度。所述第二目标相似度阈值可以灵活设置，所述第二目标相似度阈值可以与所述第一目标相似度阈值相同。

S502：基于任意两个所述初始图像对应的图像特征之间的相似度，对所述两个所述初始图像进行合并聚类处理；

当两个所述初始图像对应的图像特征之间的相似度大于所述第二目标相似度阈值时，可以将所述两个所述初始图像并入一个类别。比如，基于相似度，初始图像1和初始图像4并入一个类别，得到类别14以及类别14对应的中心特征。

S503：针对合并聚类后的类别，继续执行合并聚类处理，直至合并聚类结果对应的每个类别间相似度小于所述第二目标相似度阈值，得到所述第二目标聚类结果。

针对合并聚类后的类别(类别14、其他类别、未与其他初始图像并入任一类别的初始图像)，再进行合并聚类处理。当然，迭代完成的条件可以不限于相似度(小于第二目标相似度阈值)，可以是目标迭代次数，也可以根据需要适时终止迭代。

S205：获取所述目标聚类结果中每个目标类别对应的所述初始图像的第二图像数量；

在本发明实施例中，如图6所示，由步骤S203和/或S204聚类处理得到目标聚类结果(比如第一目标聚类结果和第二目标聚类结果)，目标聚类结果包括多个目标类别，获取每个所述目标类别中所述初始图像的数量(也就是，第二图像数量)。可以对各个所述目标类别对应的所述第二图像数量进行升序排列。

所述目标聚类结果可以存储于区块链节点中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

S206：获取第二阈值；

针对目标操作指令，来自不同电子设备的初始图像中，作为异常图像的两个图像对应的图像特征也常具有较大的差异性，异常图像对应的图像特征与正常图像对应的图像特征更存在较大的差异性。因此，目标聚类结果中异常图像所属的目标类别中的图像的量级往往较小。可以设置第二阈值为6，当然，也可以将第二阈值设置为其他数值。

S207：分别将每个所述目标类别对应的所述第二图像数量与所述第二阈值进行比较，得到每个所述目标类别对应的比较结果；

比如，目标类别1对应的第二图像数量为100(>6)，目标类别5对应的第二图像数量为3(<6)，目标类别12对应的第二图像数量为20(>6)。

S208：当所述比较结果符合所述第二阈值的要求时，根据所述比较结果对应的所述目标类别，确定待检查类别；

结合前述，可以将目标类别5确定为待检查类别。

S209：获取每个所述待检查类别对应的所述初始图像，得到待检查图像集。

可以根据所述待检查类别对应的所述初始图像，得到待检查图像集，进而可以利用所述待检查图像集进行人工异常检查。这样能够大幅度缩小需要进行检查的范围(数量级层面)，缩短人工检查的时间，降低人工成本。

在一个具体的实施例中，图7、9所示，测试平台可以基于所述待检查图像集生成对应的展示页。在展示页中，将指向不同操作指令(操作步骤)的待检查图像集的显示位置作区分，将指向同一操作指令的待检查图像集的显示位置作集中处理。指向同一操作指令的各个待检查图像集，按照对应的待检查图像集的图像数量的升序排列设置显示位置，比如将待检查图像集A(图像数量为3)的显示位置设置于待检查图像集D(图像数量为6)的显示位置之前。

由于异常图像所属类别中的图像的量级往往较小，可以在待检查图像集中进行异常检查，这样发现出异常图像的可能性也较大。对于检查发现的异常图像，可以作“提bug”处理。可以查看各图像对应的“操作列表”，如图8所示，操作图片列表中可以包括对应电子设备基于不同操作指令的初始图像，进行异常检查后可以进行批量bug提交。在实际应用中，针对一适配测试业务，传统人工UI异常检查大概需要花费90-120分钟，而采用本发明实施例提供的技术方案能够使得耗时减少至30-45分钟，效率提高了2-3倍。所述适配测试业务可以为Top300，可以对运行有同一待测试应用的多个(比如300个)电子设备进行适配测试，通过测试结果可以对多个电子设备作性能排行。

优选的，可以设定测试平台的每个展示页显示的图像数量不超过1000。当前展示页中显示了指向操作指令1的待检查图像集，如果操作指令1对应的各个待检查图像集的图像数量之和小于1000，在该当前展示页中还可以显示指向后续操作指令(比如操作指令3)的待检查图像集。当候选图像集1(指向操作指令1的各个待检查图像集、指向操作指令3的各个待检查图像集以及指向操作指令4的各个待检查图像集)的图像数量之和小于1000，而候选图像集2(指向操作指令1的各个待检查图像集、指向操作指令3的各个待检查图像集、指向操作指令4的各个待检查图像集以及指向操作指令4的各个待检查图像集)的图像数量之和大于1000，那么可以在该当前展示页中可以显示候选图像集1的图像。

当然，展示页中也可以显示待聚类条目，所述待聚类条目可以对应所述比较结果(对应步骤S207)不符合所述第二阈值的要求的聚类图像集。对于所述待聚类条目对应的聚类图像集，可以在对待检查图像集进行优先检查后作补充查看。也可以设置对应的聚类阈值，作进一步的聚类处理。

进一步的，针对一包括多个操作指令的适配测试，甚至至少一个适配测试，可以基于一个操作指令获取得到的初始图像集合的维度创建聚类任务。响应于客户端发送的至少两个图像聚类请求，将所述至少两个图像聚类请求对应的聚类任务插入消息队列中；轮询所述消息队列中的聚类任务；当所述消息队列中的聚类任务符合待处理条件时，为所述消息队列中的聚类任务分配对应的异步处理线程；利用所述异步处理线程处理所述消息队列中的聚类任务；将对应的处理结果写入结果队列中，以及向所述客户端返回所述处理结果。其中，异步处理线程可以按照上述步骤S202-S203的相关记载处理所述消息队列中的聚类任务。

参见图10，可以采用分布式部署形式实现上述聚类任务的处理，具体可以利用Celery(一种用于处理大量消息的分布式系统，提供实时处理的任务队列，同时支持任务调度)。响应于客户端发送的异步任务请求(图像聚类请求)时，Celery pulisher(消息中间件，用于接入服务器)将对应的任务发布到Message queue(消息队列)。Consumer workers(轮询分配件：包括多个Celery worker；Celery worker：异步处理线程、任务执行单元)实时监控Message queue，查看是否有任务，若有任务则提取任务将其分配至对应的Celeryworker中计算。以及，在计算结束后，将处理结果收集起来存储在Result queue(结果队列)里。其中，消息队列可以采用RabbitMQ(面向消息的中间件，实现了高级消息队列协议的开源消息代理软件)。消息队列中的聚类任务和结果队列中的处理结果可以利用Redis(一种键值对数据库)、MongoDB(一种基于分布式文件存储的数据库)等进行存储。当然，还可以利用Python-RQ(一种轻量级分布式任务调度系统)、Pyro(Python Remote Objects，一种分布式任务管理系统)来以分布式部署形式实现上述聚类任务的处理。

由消息中间件从结果队列中提取对应的处理结果返回给客户端。利用Celery简单、灵活且可靠的性质，保障上述聚类任务的异步处理过程有效进行。由Celery worker执行耗时的图像特征提取步骤和聚类处理步骤，能够大大提高聚类任务的执行效率。如果一个上述图像聚类请求中所携带的待聚类图像的数量超过数量阈值，可以将对应的任务拆分。例如对于10000张待聚类图像，可以将每16张作为一组(以一个子任务的形式发布)。计算结束后，再合并所有子任务的结果。在实际应用中，聚类任务的执行效率可以达到200张/s。尤其对于图像数量较大的聚类任务，利用Celery进行图像聚类的效率表现更明显。

由以上本说明书实施例提供的技术方案可见，本说明书实施例中在适配测试中，响应于同一的目标操作指令，可以获取反映用户界面的初始图像。根据获取到的初始图像的数量的不同，采用不同的图像聚类处理方式，综合考虑了进行图像聚类处理的效果和效率。基于目标聚类结果里异常图像所属类别中图像的量级，能够提高适配测试中进行异常图像检查的效率。

本发明实施例还提供了一种用于适配测试的图像聚类装置，如图11所示，所述装置包括：

初始图像获取模块1110：用于响应于适配测试中的目标操作指令，获取多个初始图像，得到初始图像集合；

图像特征提取模块1120：用于提取每个所述初始图像对应的图像特征；

第一聚类处理模块1130：用于当所述初始图像集合中所述初始图像对应的第一图像数量大于第一阈值时，基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，以及基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果；

第二聚类处理模块1140：用于当所述初始图像集合中所述初始图像对应的第一图像数量小于或等于所述第一阈值时，基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果。

需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的用于适配测试的图像聚类方法。

进一步地，图12示出了一种用于实现本发明实施例所提供的方法的电子设备的硬件结构示意图，所述设备可以参与构成或包含本发明实施例所提供的装置。如图12所示，设备120可以包括一个或多个(图中采用1202a、1202b，……，1202n来示出)处理器1202(处理器1202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1204、以及用于通信功能的传输装置1206。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备120还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。

应当注意到的是上述一个或多个处理器1202和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到电子设备120(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1204可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器1202通过运行存储在存储器124内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种用于适配测试的图像聚类方法。存储器1204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1204可进一步包括相对于处理器1202远程设置的存储器，这些远程存储器可以通过网络连接至电子设备120。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备120的通信供应商提供的无线网络。在一个实例中，传输装置1206包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1206可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与电子设备120(或移动设备)的用户界面进行交互。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种用于适配测试的图像聚类方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的用于适配测试的图像聚类方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于适配测试的图像聚类方法，其特征在于，所述方法包括：

响应于适配测试中的目标操作指令，获取多个初始图像，得到初始图像集合；

提取每个所述初始图像对应的图像特征；

当所述初始图像集合中所述初始图像对应的第一图像数量大于第一阈值时，基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，以及基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果；

当所述初始图像集合中所述初始图像对应的第一图像数量小于或等于所述第一阈值时，基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果。

2.根据权利要求1所述的方法，其特征在于，所述基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，包括：

获取所述目标类别数，所述目标类别数小于或等于所述第一阈值；

创建所述目标类别数的初始类别，以及在所述初始图像集合中，为每个所述初始类别随机分配一个所述初始图像；

对至少一个所述初始图像进行分类处理：根据每个所述初始图像对应的图像特征与各个所述初始类别对应的中心特征之间的相似度，将每个所述初始图像分配至最大相似度对应的所述初始类别，得到所述目标类别数的聚类图像集；

迭代执行所述对至少一个所述初始图像进行分类处理的步骤至迭代完成；

根据最后一次迭代获得的所述目标类别数的聚类图像集，得到中间聚类结果。

3.根据权利要求2所述的方法，其特征在于，所述基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果，包括：

获取所述第一目标相似度阈值；

获取所述中间聚类结果中每个中间类别对应的中心特征；

基于任意两个所述中间类别对应的中心特征之间的相似度，对所述两个所述中间类别进行合并聚类处理；

针对合并聚类后的类别，继续执行合并聚类处理，直至合并聚类结果对应的每个类别间相似度小于所述第一目标相似度阈值，得到所述第一目标聚类结果。

4.根据权利要求1所述的方法，其特征在于，所述基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果，包括：

获取所述第二目标相似度阈值；

基于任意两个所述初始图像对应的图像特征之间的相似度，对所述两个所述初始图像进行合并聚类处理；

针对合并聚类后的类别，继续执行合并聚类处理，直至合并聚类结果对应的每个类别间相似度小于所述第二目标相似度阈值，得到所述第二目标聚类结果。

5.根据权利要求1所述的方法，其特征在于，目标聚类结果包括所述第一目标聚类结果和所述第二目标聚类结果，所述方法还包括：

获取所述目标聚类结果中每个目标类别对应的所述初始图像的第二图像数量；

获取第二阈值；

分别将每个所述目标类别对应的所述第二图像数量与所述第二阈值进行比较，得到每个所述目标类别对应的比较结果；

当所述比较结果符合所述第二阈值的要求时，根据所述比较结果对应的所述目标类别，确定待检查类别；

获取每个所述待检查类别对应的所述初始图像，得到待检查图像集。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于客户端发送的至少两个图像聚类请求，将所述至少两个图像聚类请求对应的聚类任务插入消息队列中；

轮询所述消息队列中的聚类任务；

当所述消息队列中的聚类任务符合待处理条件时，为所述消息队列中的聚类任务分配对应的异步处理线程；

利用所述异步处理线程处理所述消息队列中的聚类任务；

将对应的处理结果写入结果队列中，以及向所述客户端返回所述处理结果。

7.根据权利要求1所述的方法，其特征在于，所述初始图像对应的图像特征为直方图特征、纹理特征或哈尔特征。

8.根据权利要求1所述的方法，其特征在于，目标聚类结果包括所述第一目标聚类结果和所述第二目标聚类结果，所述目标聚类结果存储于区块链节点中。

9.一种用于适配测试的图像聚类装置，其特征在于，所述装置包括：

初始图像获取模块：用于响应于适配测试中的目标操作指令，获取多个初始图像，得到初始图像集合；

图像特征提取模块：用于提取每个所述初始图像对应的图像特征；

第一聚类处理模块：用于当所述初始图像集合中所述初始图像对应的第一图像数量大于第一阈值时，基于划分聚类算法确定目标类别数，根据所述目标类别数对所述初始图像集合进行第一级聚类处理，以及基于层次聚类算法确定第一目标相似度阈值，根据所述第一目标相似度阈值对所述第一级聚类处理对应的聚类结果进行第二级聚类处理，得到第一目标聚类结果；

第二聚类处理模块：用于当所述初始图像集合中所述初始图像对应的第一图像数量小于或等于所述第一阈值时，基于所述层次聚类算法确定第二目标相似度阈值，以及根据所述第二目标相似度阈值对所述初始图像集合进行聚类处理，得到第二目标聚类结果。

10.一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-8任一所述的用于适配测试的图像聚类方法。