CN107491384A - 信息处理装置、信息处理方法以及信息处理设备 - Google Patents

Abstract

本公开提供一种用于众包测试的信息处理装置、信息处理方法和信息处理设备。该信息处理装置包括：提取单元，用于从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；聚类单元，用于根据众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及确定单元，用于确定每个测试场景类别的重要度，以基于该重要度获取测试用例。根据本公开的信息处理装置、信息处理方法和信息处理设备至少能够有效地选取重要的测试用例，从而提高众包测试的效率。

Description

信息处理装置、信息处理方法以及信息处理设备

技术领域

本发明涉及信息处理领域，尤其涉及一种用于众包测试的信息处理装置、信息处理方法以及信息处理设备。

背景技术

如今，移动互联网产业高速发展，传统的测试方法已经很难满足越来越大量的移动端应用测试的需求。尽管新的测试技术例如众包测试和自动化测试可以部分缓解测试人员不足的压力，但这些技术本身还存在尚未解决的问题。众包测试可以通过网络提供大量拥有不同背景、使用不同设备的众包测试者的支持。由于众包测试者人数巨大，测试效率和测试覆盖率可以得到很大提高。但是大多数现有主流众包测试平台对测试报告的验证工作还在由平台的雇员进行人工验证，这种方法费时费力而且对于验证者的经验和技巧有着较高的要求。

自动化测试可以用于执行需要多次重复进行、难以人工操作或非常耗时的测试用例，从而节省人力。但是自动化测试的一个瓶颈在于很难提取关键测试用例进行有重点的测试。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于现有技术的上述缺陷，本发明的目的是提供一种信息处理装置、信息处理方法以及信息处理设备，以至少克服现有的问题。

根据本公开的一个方面，提供一种用于众包测试的信息处理装置，包括：提取单元，用于从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；聚类单元，用于根据众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及确定单元，用于确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

根据本公开的另一方面，提供一种用于众包测试的信息处理方法，包括：从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；根据所述众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

根据本公开的又一方面，提供一种用于众包测试的信息处理设备，包括：控制器，被配置成执行以下处理：从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；根据所述众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

根据本公开的另一个方面，还提供了一种电子设备，该电子设备包括如上所述的信息处理设备。

依据本公开的其它方面，还提供了一种使得计算机用作如上所述的信息处理设备的程序。

依据本公开的又一方面，还提供了相应的计算机可读存储介质，该计算机可读存储介质上存储有能够由计算设备执行的计算机程序，该计算机程序在执行时能够使计算设备执行上述信息处理方法。

上述根据本公开实施例的信息处理装置、方法和设备，至少能够获得以下益处：能够有效地提取重要测试用例进行有重点的测试，从而提高众包测试的效率。

通过以下结合附图对本公开的最佳实施例的详细说明，本公开的这些以及其他优点将更加明显。

附图说明

本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：

图1是示意性地示出根据本公开实施例的用于众包测试的信息处理装置的一种示例结构的框图。

图2是示意性地示出图1中的聚类单元20的一种示例结构的框图。

图3示意性示出了用于确定待聚类的测试场景与测试场景类别的均值之间的最长公共子序列LCS的示例。

图4是示出根据本公开实施例的用于众包测试的信息处理装置的另一种示例结构的框图。

图5是示出根据本公开实施例的用于众包测试的信息处理装置的又一种示例结构的框图。

图6是示出根据本公开实施例的用于众包测试的信息处理装置的再一种示例结构的框图。

图7是用于示例性地说明评估单元60的一种示例结构的框图。

图8是示意性示出根据本公开实施例的用于众包测试的信息处理方法的流程图。

图9是示出根据本公开实施例的信息处理设备的一种示例结构的框图。

图10是示出了可用来实现根据本公开实施例的用于众包测试的信息处理装置和信息处理方法的一种可能的硬件配置的结构简图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

图1是示意性地示出根据本公开实施例的用于众包测试的信息处理装置的一种示例结构的框图。

如图1所示，根据本公开的用于众包测试的信息处理装置1包括：提取单元10，用于从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；聚类单元20，用于根据众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及确定单元30，用于确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

提取单元10可以从众包测试数据库所存储的测试记录中提取包括众包测试者的操作序列的测试场景。根据本公开，一个测试场景是一个列表，该列表的每一个节点包括众包测试者对被测应用进行测试时进行的操作的详细信息，即操作序列。优选地，测试场景还可以包括该操作执行时的设备相关信息。众包测试者的操作序列例如包括但不限于：触发的动作所在的类、操作种类及控制ID等。设备相关信息例如包括但不限于：设备功能的开/关信息，例如WIFI、蓝牙等。一个测试场景可以被看作一个众包测试者的操作序列或者包含设备相关信息的众包测试者的操作序列。

通常，应用开发者会将需要测试的应用提交到众包测试平台，然后由众包测试者对应用进行测试并报告崩溃或者进行反馈。在众包测试者对应用进行测试时，众包测试者的操作及其相关的设备状态信息将作为测试记录被嵌入于应用的插件(也称为“测试者行为记录插件”)记录到众包测试平台的数据库(也称为“众包测试数据库”)中。众包测试数据库中通常存储有在崩溃、反馈和正常操作三种情况下的测试记录，即崩溃记录、反馈记录以及正常操作记录：

(1)崩溃记录是指在被测应用发生崩溃时由嵌入应用的测试者行为记录插件自动提交到众包测试平台的测试记录。

(2)反馈记录是在众包测试者发现应用缺陷后使用行为记录插件主动向众包测试平台提交的测试记录。

(3)正常操作记录是指没有崩溃或反馈发生的情况下，测试者从登陆应用到退出应用期间的测试记录。

这些测试记录可以根据崩溃信息、反馈信息的存在与否及正常退出标记进行区分。

上述众包测试平台、测试者行为记录插件和自动化测试平台是本领域公知的用于众包测试的技术和工具，因此在此省略了对其具体架构和操作的详细描述。

在提取单元10从众包测试数据库提取了包括众包测试者的操作序列的多个测试场景之后，可以由聚类单元20基于众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别。

根据本公开的优选实施例，聚类单元20可以被配置为基于众包测试者的操作序列获取测试场景之间的相似度，并根据测试场景之间的相似度对所提取的测试场景进行聚类。

具体地，聚类单元20例如可以对各个测试场景的操作序列进行比较，并依据其相似度、利用改进的K-means算法进行聚类。该算法中，K值可以被设计为可动态增长的值。

图2是示意性地示出图1中的聚类单元20的一种示例结构的框图，其中，该聚类单元利用改进的K-means算法对测试场景进行聚类。

如图2所示，聚类单元20包括：初始类别获取子单元201，用于在所述测试场景中随机选择一个测试场景来生成第一测试场景类别，并将该测试场景作为该第一测试场景类别的均值；聚类子单元202，用于针对待聚类的测试场景，迭代地执行如下操作：基于待聚类的测试场景中包括的操作序列，计算该测试场景与当前所有测试场景类别中每一个的均值之间的相似度；判断所述相似度中的最大相似度是否大于预定阈值：在该最大相似度大于等于预定阈值时，将该待聚类的测试场景聚类到与该最大相似度对应的测试场景类别下，并且基于包括在该测试场景类别中的所有测试场景更新该测试场景类别的均值；在该最大相似度小于预定阈值时，基于该待聚类的测试场景生成新测试场景类别，并将该测试场景作为该新测试场景类别的均值；针对未被聚类的测试场景中的每个测试场景迭代地执行上述操作，直到所有测试场景都被聚类为止。

根据本公开，初始类别获取子单元201在所有测试场景中随机选取一个测试场景的操作序列作为第一测试场景类别的均值。聚类子单元202在剩余的测试场景中随机选取一个测试场景，将其与现有的测试场景类别的均值分别进行比较，以计算相似度。

本领域技术人员可以理解，根据本公开的第一测试场景类别是基于在聚类操作开始时随机选取的一个测试场景而生成的第一个测试场景类别(或者可以被称为初始定义的初始测试场景类别)，其在随后由聚类子单元202进行聚类处理时将作为现有的测试场景类别，随着聚类子单元202的聚类处理迭代地进行，现有的测试场景类别将可能逐渐增加为不止包括第一测试场景类别，在此情况下聚类子单元202将随机选取的待聚类的测试场景与现有的测试场景类别(包括第一测试场景类别)中的每一个的均值逐一进行比较。即，根据本公开的第一测试场景类别中的“第一”并非用于限定而是为了说明其为最先生成的测试场景类别。

根据本公开的优选实施例，聚类子单元202被配置为基于测试场景的操作序列，利用最长公共子序列LCS来确定待聚类的测试场景与当前所有的测试场景类别的均值之间的相似度。根据本公开，测试场景与测试场景类别均值进行比较指的是：将测试场景的操作序列与以最长公共子序列LCS表示的测试场景类别均值的进行比较。

根据本公开，例如在测试场景类别下包括不止一个测试场景的情况下，可以选取该测试场景类别下的所有测试场景的操作序列，两两计算最长公共子序列LCS，选取具有最大值的最长公共子序列作为该测试场景类别的均值。当然，本公开不限于此，还可以以其他方式确定测试场景类别的均值，例如可以在最长公共子序列的值大于某一设定阈值的多个最长公共子序列中随机选取一个最长公共子序列作为该测试场景类别的均值。

具体地，可以将操作序列中的各个操作动作以例如单个字母表示，从而所有测试场景中的每个操作序列可以被抽取为代表该操作序列的字母序列。例如，某个用户执行的操作序列“A→B→C→D→E”，其中字母A、B、C、D、E表示一个操作动作，该操作序列表示该用户针对待测试依次执行了字母A、B、C、D、E所表示的操作动作。聚类子单元202可以针对每个待聚类的测试场景的操作序列，分别计算其与每个测试场景类别的均值之间的最长公共子序列LCS。

将操作序列中的各个操作动作以单个字母表示仅仅是示例，本领域技术人员可以理解，也可以用其他字符或符号等表示操作序列中的操作动作，从而操作序列可以表示为字符序列或符号序列等。

根据本公开，例如，可以通过计算待聚类的测试场景的操作序列与测试场景类别下所有测试场景的操作序列的均值之间的最长公共子序列的长度来确定两个序列的相似度、即该待聚类测试场景与该测试场景类别的均值之间的相似度。

假设有两个待比较的测试场景X、测试场景类别Y，测试场景X包括操作序列a，测试场景类别Y的均值为操作序列b，其中a的长度为s，b为的长度为t。

将操作序列a、b分别置于(s+2)*(t+2)矩阵的第一行与第一列，且将第一行与第一列前2个元素置为空。从矩阵元素(2，2)开始，将第二行与第二列均填充为0。按照从左到右、从上到下的顺序填充矩阵中的每个元素。具体地，在填充矩阵中的单元格时，需要考虑以下条件：它左侧的单元格、它上方的单元格、它左上侧的单元格。

例如可以从矩阵元素(3，3)开始按照以下方式、以从左到右从上到下的顺序依次计算每个元素的值V(i，j)：

(i)基于以下公式(1)-(4)，获取矩阵中用于确定第i行第j列的值的中间变量V(i，j)₁、V(i，j)₂、C(i，j)₁、C(i，j)₂:

V(i，j)₁＝V(i-1，j) (1)

V(i，j)₂＝V(i，j-1) (2)

C(i，j)₁＝V(1，j) (3)

C(i，j)₂＝V(i,1) (4)

其中，V(i-1，j)、V(i，j-1)、V(1，j)、V(i,1)分别表示左侧单元格的值、上方单元格的值、最上方单元格的值和最左侧单元格的值。

(ii)将C(i，j)₁与C(i，j)₂进行比较，并基于比较结果、利用其左上方单元格的值计算V(i，j)₃：

如果C(i，j)₁与C(i，j)₂相等，则利用公式(5)计算V(i，j)₃，否则，利用公式(6)计算V(i，j)₃：

V(i，j)₃＝V(i-1,j-1)+1 (5)

V(i，j)₃＝V(i-1,j-1) (6)

其中，V(i-1,j-1)表示左上方单元格的值。

(iii)根据V(i，j)₁、V(i，j)₂、V(i，j)₃确定V(i，j)，即选取V(i，j)₁、V(i，j)₂、V(i，j)₃中最大者作为V(i，j)填充到矩阵中的相应位置处。

下面参照图3详细描述通过计算待聚类的测试场景与测试场景类别的均值之间的最长公共子序列LCS来确定其相似度的处理。

如图3所示，测试场景X的操作序列a可以由依次执行的6个用户操作A、B、C、D、E和F构成，记作“A→B→C→D→E→F”，其长度s为6；代表测试场景类别Y的均值的操作序列b可以由依次执行的5个用户操作B、C、G、E和A构成，记作“B→C→G→E→A”，其长度t为5。

如图3所示，针对矩阵元素(3，3):

(i)首先计算V(3，3)₁＝V(2，3)＝0，V(3，3)₂＝V(3，2)＝0；C(3，3)₁＝V(1，3)＝“A”；C(3，3)₂＝V(3，1)＝“B”；

(ii)由于A不等于B，因此C(3，3)₁与C(3，3)₂不相等，因此，可以确定V(3，3)＝V(2,2)＝0；

(iii)选取V(3，3)₁、V(3，3)₂、V(3，3)₃中最大者0(因为这三者都为0)作为V(3，3)填充到矩阵中的相应位置处。

从矩阵元素(3，3)开始以从左到右、从上到下的顺序重复上述操作(i)-(iii)依次计算每个元素的值，直到矩阵中所有元素的值都被计算完为止。

然后，得到V(s+2,t+2)、即矩阵右下角元素的值作为这两个操作序列的LCS值，即对应的待聚类测试场景与测试场景类别均值之间的相似度。

对于图3所示的操作序列a和b可以确定其最长公共子序列为3。

然后，计算最长公共子序列的长度与操作序列a和b中较短的操作序列的长度之比作为操作序列a和b之间的相似度β(如图3所示，β＝3/min{s,t}＝3/5＝0.6)作为测试场景X与测试场景类别Y的均值之间的相似度，并将该相似度与预定阈值进行比较，以确定该测试场景是否属于该测试场景类别。

根据本公开，聚类子单元202判断与各个现有的测试场景类别的相似度中的最大相似度是否大于预定阈值：在该最大相似度大于等于预定阈值时，将该测试场景聚类到与该最大相似度对应的测试场景类别下，并且基于包括在该测试场景类别中的所有测试场景更新该测试场景类别的均值；在该最大相似度小于预定阈值时，生成新测试场景类别，并将该测试场景作为该新测试场景类别的均值。

根据本公开，聚类单元20可以在测试场景类别中加入了新的测试场景之后，例如根据以下方式更新该测试场景类别的均值：选取该测试场景类别下的所有测试场景的操作序列(包括新聚类到该测试场景类别下的测试场景的操作序列)，两两计算最长公共子序列LCS，选取平均最长公共子序列LCS最大者为新的均值。

针对每个待聚类的测试场景，迭代地执行上述操作，直到所有的测试场景都被聚类为止。

当所有的测试场景都被聚类，从而获得了多个测试场景类别之后，确定单元30可以确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

根据本公开的实施例，例如可以计算关于聚类生成的测试场景类别的例如关键性以及易出错性这两个参数，以评价这些测试场景类别。

例如，如果某一测试场景类别所包括的测试场景数量占总数的比例较大，说明此测试场景类别被测试者更多地使用，所以更加关键。如果某一测试场景类别中崩溃记录或反馈记录较多，则说明此测试场景类别下的测试场景易于出错，从而需要被更多地测试验证。

根据本公开的实施例，确定单元20被配置为根据各个测试场景类别中包括的测试场景的数目和/或每个测试场景类别中包括的出错的测试场景的数目来确定该测试场景类别的重要度。

例如，可以根据每个测试场景类别中包括的出错的测试场景的数目，利用如下公式(7)计算测试场景类别的出错率P_b：

其中，c(s)表示某测试场景类别中包括的测试场景的数量，b(s)表示该测试场景类别中的崩溃记录与反馈记录的数目之和。

例如，可以基于各个测试场景类别中包括的测试场景的数目以及每个测试场景类别中包括的出错的测试场景的数目、利用如下公式(8)计算各个测试场景类别的关键性：

其中，a(s)表示全部测试场景的数目，c(s)表示某测试场景类别中包括的测试场景的数量，b(s)表示该测试场景类别中的崩溃记录与反馈记录的数目之和，m和n分别代表该测试场景类别占总测试场景类别的比例与该测试场景类别出错率之间的权重。m和n的具体数值可以由本领域技术人员根据实际需要任意设置。

本领域技术人员可以理解：当将上述公式(8)中的m设置为1而n设置为0时，也可以仅仅基于各个测试场景类别中包括的测试场景的数目来确定该测试场景类别的重要度。

通过确定单元30确定各个测试场景类别的重要度，应用开发者例如可以预先决定什么测试场景类别下的测试场景需要被更多地测试。

图4是示出根据本公开实施例的用于众包测试的信息处理装置的另一种示例结构的框图。

如图4所示，除了与图1的信息处理装置1类似地包括提取单元10、聚类单元20、确定单元30之外，信息处理装置2还包括：测试用例生成单元40，被配置成根据确定单元30确定的测试场景类别的重要度从多个测试场景类别中选择测试场景类别，以基于所选择的测试场景类别的均值生成测试用例。

根据本公开，例如测试用例生成单元40可以利用本领域公知的JUnit框架自动生成用于自动化测试的测试用例。针对每个测试场景类别，可以将该测试场景类别的均值首先转换为测试用例进行测试；当由测试场景类别的均值生成测试用例时，只考虑操作序列。

当然，本领域技术人员可以理解，测试用例生成单元40也可以基于所选择的测试场景类别的均值手动生成测试用例用于例如手动测试。

测试用例是应用测试的核心，正确地选择测试用例有助于提高应用测试的效率。根据本公开的信息处理装置2能够基于测试场景类别的重要度生成测试用例，使得能够提取关键测试用例进行有重点地测试，从而能够提高应用测试的效率。

图5是示出根据本公开实施例的用于众包测试的信息处理装置的又一种示例结构的框图。

如图5所示，除了与图4的信息处理装置2类似地包括提取单元10、聚类单元20、确定单元30、测试用例生成单元40之外，信息处理装置3还包括：测试用例执行单元50，用于自动执行由测试用例生成单元40生成的测试用例。

根据本公开，可以自动执行基于测试场景类别的均值而生成的测试用例，每个测试用例将被重复执行，执行次数例如可以与如上所述由确定单元30确定的该测试场景类别的关键性及出错率相关，或者也可以事先由应用开发者定义。执行结束后，执行结果可以反映到最终的报告中以提供给应用开发者。

根据本公开，测试用例执行单元50自动地执行由测试用例生成单元40生成的测试用例，以实现对待测试应用的自动化测试。

通常，众包测试者在对待测试应用进行测试之后，会将测试情况记录在测试报告中反馈给应用开发者。根据本公开的信息处理装置还能够对众包测试者在测试之后提交的测试报告进行验证和评估。

图6是示出根据本公开实施例的用于众包测试的信息处理装置的又一种示例结构的框图。

如图6所示，除了与图1的信息处理装置1类似地包括提取单元10、聚类单元20、确定单元30之外，信息处理装置4还包括：评估单元60，用于对众包测试者提交的测试报告进行评估。

图7是示意性地示出图6中的评估单元60的一种示例结构的框图。

如图7所示，评估单元60包括：第一测试用例生成子单元601，用于根据所述测试报告中的众包测试者的操作序列，基于与所述测试报告中的设备信息不同的设备信息，生成并执行第一测试用例；第二测试用例生成子单元602，用于在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果不一致的情况下，根据测试报告中的众包测试者的操作序列以及设备信息，生成并执行第二测试用例；以及评估子单元603，用于基于所述第一测试用例的执行结果或所述第二测试用例的执行结果，对用户提交的测试报告进行评估。

具体地，在众包测试者提交的报告中包括反馈记录或崩溃记录的情况下，第一测试用例生成子单元基于反馈记录或崩溃记录生成测试用例，即，根据反馈记录或崩溃记录中的众包测试者的操作序列而不考虑设备信息来生成测试用例，即第一测试用例。首先在不同状态的设备上将该第一测试用例执行多次，如果众包测试者报告的缺陷可以被大概率复现，则评估子单元603将众包测试报告评估认为“有效”，且该缺陷为“与设备无关”型。即评估子单元603在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息无关，即此类缺陷会在多种设备上下文中复现，属于软件设计或实现方面的缺陷，比较重要。

对于使用第一测试用例进行测试而未能大概率复现的缺陷，则根据测试报告中的众包测试者的操作序列以及设备信息两者，生成并执行第二测试用例。如果第二测试用例的测试结果表明该缺陷可大概率复现，则也可判定此报告为“有效”，但是该缺陷为“与设备有关”型。即评估子单元603被配置为在第二测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息有关，此类缺陷只在特定的条件下才会发生。

如果针对第二测试用例执行测试的执行结果仍表明该缺陷无法大概率复现，则判定此报告为“无效”或“需要进一步验证”。

通过评估单元60对众包测试者提交的测试报告进行评估，进而将经过评估处理的测试结果反馈给应用开发者，应用开发者可以基于反馈的测试结果对所测试的应用进行例如修正等进一步处理。

虽然图6中仅示出了信息处理装置4包括提取单元10、聚类单元20、确定单元30以及评估单元60的示例，但是本领域技术人员可以理解，根据本公开的信息处理装置4还可以同时包括测试用例生成单元40(以及测试用例执行单元50)，其具体操作与图4(和图5)中的信息处理装置的操作类似，在此省略了其详细描述。

根据本公开的一个实施例，还提供了一种信息处理方法。下面结合图8来描述用于众包测试的信息处理方法的一种示例性处理。

如图8所示，根据本公开的实施例的用于众包测试的信息处理方法的处理流程800开始于S810，然后执行S820的处理。

在步骤S820中，从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列。例如，可以通过执行例如参照图1描述的提取单元10的处理来实现步骤S820，在此省略其描述。然后执行S830。

在步骤S830中，根据众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别。例如，可以通过执行例如参照图1-6描述的聚类单元20的处理来实现步骤S830，在此省略其描述。然后执行S840。

在步骤S840中，确定每个测试场景类别的重要度，以基于该重要度获取测试用例。例如，可以通过执行例如参照图1描述的确定单元30的处理来实现步骤S840，在此省略其描述。然后执行S850。

处理流程800结束于S850。

根据本公开的一个实施例，在步骤S830，可以基于众包测试者的操作序列获取测试场景之间的相似度，并根据测试场景之间的相似度对所提取的测试场景进行聚类。具体地，可以在所述测试场景中随机选择一个测试场景来生成第一测试场景类别，并将该测试场景作为该第一测试场景类别的均值；然后，针对待聚类的测试场景，迭代地执行如下操作：基于待聚类的测试场景中包括的操作序列，计算该测试场景与当前所有测试场景类别中每一个的均值之间的相似度；判断所述相似度中的最大相似度是否大于预定阈值：在该最大相似度大于等于预定阈值时，将该待聚类的测试场景聚类到与该最大相似度对应的测试场景类别下，并且基于包括在该测试场景类别中的所有测试场景更新该测试场景类别的均值；在该最大相似度小于预定阈值时，基于该待聚类的测试场景生成新测试场景类别，并将该测试场景作为该新测试场景类别的均值，针对未被聚类的测试场景中的每个测试场景迭代地执行上述操作，直到所有测试场景都被聚类为止。上述步骤可以例如参考图2-3描述的聚类单元的处理来实现，在此省略对其的详细描述。

根据本公开，可以基于测试场景的操作序列，计算最长公共子序列LCS以确定待聚类的测试场景与测试场景类别的均值之间的相似度。

根据本公开的一个实施例，在步骤S840，可以根据各个测试场景类别中包括的测试场景的数目和/或每个测试场景类别中包括的出错的测试场景的数目来确定该测试场景类别的重要度。该步骤可以例如参考图1描述的确定单元30的处理来实现，在此省略对其的详细描述。

根据本公开的一个实施例，信息处理方法还可以包括：在确定了测试场景类别的重要度之后，根据所述测试场景类别的重要度从所述多个测试场景类别中选择测试场景类别，以基于所选择的测试场景类别的均值生成测试用例。优选的，在生成测试用例之后，自动执行所生成的测试用例。该步骤可以例如参考图4、5描述的测试用例生成单元40和测试用例执行单元50的处理来实现，在此省略对其的详细描述。

根据本公开的另一个实施例，信息处理方法还可以包括对众包测试者提交的测试报告进行评估，包括：根据所述测试报告中的众包测试者的操作序列，基于与所述测试报告中的设备信息不同的设备信息，生成并执行第一测试用例；在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果不一致的情况下，根据测试报告中的众包测试者的操作序列以及设备信息，生成并执行第二测试用例；以及基于所述第一测试用例的执行结果或所述第二测试用例的执行结果，对用户提交的测试报告进行评估。

具体地，在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息无关；在所述第二测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息有关。

上述评估步骤例如可以参考图6和7描述的评估单元60的处理来实现，在此省略对其的详细描述。

此外，本公开的实施例还提供了用于众包测试的信息处理设备。

图9示出了根据本公开实施例的信息处理设备的示意图。

如图9所示，信息处理设备9包括：控制器90，被配置为：被配置成执行以下处理：从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；根据所述众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

与现有技术中相比，根据本公开的信息处理装置、信息处理方法和信息处理设备具有以下优点：能够容易地提取重要测试用例进行有重点的测试，从而提高众包测试的效率。

此外，本公开的实施例还提供了一种电子设备，该电子设备被配置包括如上所述的用于众包测试的信息处理装置。该电子设备例如可以是以下设备中的任意一种：手机；计算机；平板电脑；以及个人数字助理等。相应地，该电子设备能够拥有如上所述的信息处理装置的有益效果和优点。

根据本公开实施例的电子设备可以作为根据本公开的信息处理设备的一个具体应用示例。

上述根据本公开的实施例的用于众包测试的信息处理装置(例如图1-7中所示的信息处理装置)中的各个组成单元、子单元等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的机器安装构成该软件或固件的程序，该机器在安装有各种程序时，能够执行上述各组成单元、子单元的各种功能。

图10是示出了可用来实现根据本公开的实施例的用于众包测试的信息处理装置、信息处理方法和信息处理设备的一种可能的处理设备的硬件配置的结构简图。

在图10中，中央处理单元(CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM1003中，还根据需要存储当CPU 1001执行各种处理等等时所需的数据。CPU1001、ROM 1002和RAM1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。

下述部件也连接到输入/输出接口1005：输入部分1006(包括键盘、鼠标等等)、输出部分1007(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1008(包括硬盘等)、通信部分1009(包括网络接口卡例如LAN卡、调制解调器等)。通信部分1009经由网络例如因特网执行通信处理。根据需要，驱动器1010也可连接到输入/输出接口1005。可拆卸介质1011例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1010上，使得从中读出的计算机程序可根据需要被安装到存储部分1008中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质1011安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本公开的实施例的用于众包测试的信息处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本公开的公开中。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

此外，显然，根据本公开的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。

而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。

此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。

另外，用于众包测试的信息处理终端通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到用于众包测试的信息处理终端中然后执行该程序，也可以实现本公开的各实施例。

综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：

方案1、一种用于众包测试的信息处理装置，包括：

提取单元，用于从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；

聚类单元，用于根据众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及

确定单元，用于确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

方案2、根据方案1所述的用于众包测试的信息处理装置，其中，所述聚类单元被配置为基于众包测试者的操作序列获取测试场景之间的相似度，并根据测试场景之间的相似度对所提取的测试场景进行聚类。

方案3、根据方案2所述的用于众包测试的信息处理装置，其中，所述聚类单元包括：

初始类别获取子单元，用于在所述测试场景中随机选择一个测试场景来生成第一测试场景类别，并将该测试场景作为该第一测试场景类别的均值；

聚类子单元，用于针对待聚类的测试场景，迭代地执行如下操作：

基于待聚类的测试场景中包括的操作序列，计算该测试场景与当前所有测试场景类别中每一个的均值之间的相似度；

判断所述相似度中的最大相似度是否大于预定阈值：

在该最大相似度大于等于预定阈值时，将该待聚类的测试场景聚类到与该最大相似度对应的测试场景类别下，并且基于包括在该测试场景类别中的所有测试场景更新该测试场景类别的均值；

在该最大相似度小于预定阈值时，基于该待聚类的测试场景生成新测试场景类别，并将该测试场景作为该新测试场景类别的均值，

针对未被聚类的测试场景中的每个测试场景迭代地执行上述操作，直到所有测试场景都被聚类为止。

方案4、根据方案3所述的用于众包测试的信息处理装置，其中，所述聚类子单元被配置为基于测试场景的操作序列，计算最长公共子序列LCS以确定待聚类的测试场景与测试场景类别的均值之间的相似度。

方案5、根据方案4所述的用于众包测试的信息处理装置，其中所述确定单元被配置为根据各个测试场景类别中包括的测试场景的数目和/或每个测试场景类别中包括的出错的测试场景的数目来确定该测试场景类别的重要度。

方案6、根据方案1-5中任一项所述的用于众包测试的信息处理装置，还包括测试用例生成单元，被配置成根据所述测试场景类别的重要度从所述多个测试场景类别中选择测试场景类别，以基于所选择的测试场景类别的均值生成测试用例。

方案7、根据方案1-6中任一项所述的用于众包测试的信息处理装置，还包括测试用例执行单元，用于自动执行所生成的测试用例。

方案8、根据方案1-7中任一项所述的用于众包测试的信息处理装置，还包括评估单元，用于对众包测试者提交的测试报告进行评估，所述评估单元包括：

第一测试用例生成子单元，用于根据所述测试报告中的众包测试者的操作序列，基于与所述测试报告中的设备信息不同的设备信息，生成并执行第一测试用例；

第二测试用例生成子单元，用于在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果不一致的情况下，根据测试报告中的众包测试者的操作序列以及设备信息，生成并执行第二测试用例；以及

评估子单元，用于基于所述第一测试用例的执行结果或所述第二测试用例的执行结果，对用户提交的测试报告进行评估。

方案9、根据方案8所述的用于众包测试的信息处理装置，其中，所述评估子单元被配置为在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息无关；在所述第二测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息有关。

方案10、一种用于众包测试的信息处理方法，包括：

从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；

根据所述众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及

确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

方案11、根据方案10所述的用于众包测试的信息处理方法，其中，在所述聚类步骤中，基于众包测试者的操作序列获取测试场景之间的相似度，并根据测试场景之间的相似度对所提取的测试场景进行聚类。

方案12、根据方案11所述的用于众包测试的信息处理方法，其中所述聚类单元步骤包括：

在所述测试场景中随机选择一个测试场景来生成第一测试场景类别，并将该测试场景作为该第一测试场景类别的均值；

针对待聚类的测试场景，迭代地执行如下操作：

基于该待聚类的测试场景中包括的操作序列，计算该测试场景与当前所有测试场景类别中每一个的均值之间的相似度；

判断所述相似度中的最大相似度是否大于预定阈值：

在该最大相似度大于等于预定阈值时，将该测试场景聚类到与该最大相似度对应的测试场景类别下，并且基于包括在该测试场景类别中的所有测试场景更新该测试场景类别的均值；

在该最大相似度小于预定阈值时，基于该待聚类的测试场景生成新测试场景类别，并将该测试场景作为该新测试场景类别的均值，

针对未被聚类的测试场景中的每个测试场景迭代地执行上述操作，直到所有测试场景都被聚类为止。

方案13、根据方案12所述的用于众包测试的信息处理方法，其中，在所述聚类步骤中，基于测试场景的操作序列，计算最长公共子序列LCS以确定待聚类的测试场景与测试场景类别的均值之间的相似度。

方案14、根据方案13所述的用于众包测试的信息处理方法，其中在所述确定步骤中，根据各个测试场景类别中包括的测试场景的数目和/或每个测试场景类别中包括的出错的测试场景的数目来确定该测试场景类别的重要度。

方案15、根据方案10-14中任一项所述的用于众包测试的信息处理方法，还包括：根据所述测试场景类别的重要度从所述多个测试场景类别中选择测试场景类别，以基于所选择的测试场景类别的均值生成测试用例。

方案16、根据方案10-15中任一项所述的用于众包测试的信息处理方法，还包括对众包测试者提交的测试报告进行评估，所述评估步骤包括：

根据所述测试报告中的众包测试者的操作序列，基于与所述测试报告中的设备信息不同的设备信息，生成并执行第一测试用例；

在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果不一致的情况下，根据测试报告中的众包测试者的操作序列以及设备信息，生成并执行第二测试用例；以及

基于所述第一测试用例的执行结果或所述第二测试用例的执行结果，对用户提交的测试报告进行评估。

方案17、根据方案16所述的用于众包测试的信息处理方法，其中，在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息无关；在所述第二测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息有关。

方案18、一种用于众包测试的信息处理设备，包括：

控制器，被配置成执行以下处理：

从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；

根据所述众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及

确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

方案19、一种电子设备，包括根据方案1-9中任一项所述的用于众包测试的信息处理设备，其中电子设备是手机、计算机、平板电脑、或个人数字助理。

方案20、一种计算机可读存储介质，其上存储有能够由计算设备执行的计算机程序，该程序使得计算机用作如方案1-9中任一项所述的用于众包测试的信息处理设备。

最后，还需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管上面已经通过本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开所要求保护的范围内。

Claims (10)

1.一种用于众包测试的信息处理装置，包括：

提取单元，用于从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；

聚类单元，用于根据众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及

确定单元，用于确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

2.根据权利要求1所述的用于众包测试的信息处理装置，其中，所述聚类单元被配置为基于众包测试者的操作序列获取测试场景之间的相似度，并根据测试场景之间的相似度对所提取的测试场景进行聚类。

3.根据权利要求2所述的用于众包测试的信息处理装置，其中，所述聚类单元包括：

初始类别获取子单元，用于在所述测试场景中随机选择一个测试场景来生成第一测试场景类别，并将该测试场景作为该第一测试场景类别的均值；

聚类子单元，用于针对待聚类的测试场景，迭代地执行如下操作：

基于所述待聚类的测试场景中包括的操作序列，计算该测试场景与当前所有测试场景类别中每一个的均值之间的相似度；

判断所述相似度中的最大相似度是否大于预定阈值：

在该最大相似度大于等于预定阈值时，将该待聚类的测试场景聚类到与该最大相似度对应的测试场景类别下，并且基于包括在该测试场景类别中的所有测试场景更新该测试场景类别的均值；

在该最大相似度小于预定阈值时，基于该待聚类的测试场景生成新测试场景类别，并将该测试场景作为该新测试场景类别的均值，

针对待聚类的测试场景中的每个测试场景迭代地执行上述操作，直到所有测试场景都被聚类为止。

4.根据权利要求3所述的用于众包测试的信息处理装置，其中，所述聚类子单元被配置为基于测试场景的操作序列，利用最长公共子序列LCS来确定待聚类的测试场景与测试场景类别的均值之间的相似度。

5.根据权利要求4所述的用于众包测试的信息处理装置，其中所述确定单元被配置为根据各个测试场景类别中包括的测试场景的数目和/或每个测试场景类别中包括的出错的测试场景的数目来确定该测试场景类别的重要度。

6.根据权利要求1-5中任一项所述的用于众包测试的信息处理装置，还包括测试用例生成单元，被配置成根据所述测试场景类别的重要度从所述多个测试场景类别中选择测试场景类别，以基于所选择的测试场景类别的均值生成测试用例。

7.根据权利要求1-5中任一项所述的用于众包测试的信息处理装置，还包括评估单元，用于对众包测试者提交的测试报告进行评估，所述评估单元包括：

第一测试用例生成子单元，用于根据所述测试报告中的众包测试者的操作序列，基于与所述测试报告中的设备信息不同的设备信息，生成并执行第一测试用例；

第二测试用例生成子单元，用于在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果不一致的情况下，根据测试报告中的众包测试者的操作序列以及设备信息，生成并执行第二测试用例；以及

评估子单元，用于基于所述第一测试用例的执行结果或所述第二测试用例的执行结果，对用户提交的测试报告进行评估。

8.根据权利要求7所述的用于众包测试的信息处理装置，其中，所述评估子单元被配置为在所述第一测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息无关；在所述第二测试用例的执行结果与所述测试报告中反馈的执行结果一致的情况下，将测试报告中反馈的错误评估为与设备信息有关。

9.一种用于众包测试的信息处理方法，包括：

从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；

根据所述众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及

确定每个测试场景类别的重要度，以基于该重要度获取测试用例。

10.一种用于众包测试的信息处理设备，包括：

控制器，被配置成执行以下处理：

从众包测试数据库所存储的测试记录中提取测试场景，所述测试场景包括众包测试者的操作序列；

根据所述众包测试者的操作序列，对所提取的测试场景进行聚类，以获得多个测试场景类别；以及

确定每个测试场景类别的重要度，以基于该重要度获取测试用例。